Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Не плутати з Рекурентна нейронна мережа Рекурси вні нейро нні мере жі РНМ англ recursive neural networks RNN це клас гли

Рекурсивна нейронна мережа

Рекурсивна нейронна мережа
Не плутати з Рекурентна нейронна мережа.

Рекурси́вні нейро́нні мере́жі (РНМ, англ. recursive neural networks, RNN) — це клас глибоких нейронних мереж, створюваних рекурсивним застосуванням одного й того ж набору ваг до структури, щоби здійснювати Структурове передбачування вхідних структур мінливого розміру, або скалярне передбачування на них, шляхом обходу заданої структури в топологічній послідовності. РНМ були успішними, наприклад, в навчанні послідовнісних та деревних структур в обробці природної мови, головним чином неперервних представлень фраз та речень на основі векторного представлення слів. Вперше РНМ було введено для навчання розподілених представлень структури, таких як терміни логіки. Моделі та загальні схеми було розроблено в подальших працях, починаючи з 1990-х років.

Архітектури

Базова

image
Архітектура простої рекурсивної мережі

У випадку найпростішої архітектури вузли поєднуються у батьківські із застосуванням вагової матриці, яка є спільною для всієї мережі, та нелінійності, такої як гіперболічний тангенс. Якщо c1 та c2 є n-мірними векторними представленнями вузлів, то їхній батьківський вузол також буде n-мірним вектором, що обчислюється як

image

де W є навченою ваговою матрицею image.

Цю архітектуру, з деякими поліпшеннями, було застосовано для успішного розбору природних сцен та для синтаксичного розбору речень природної мови.

Рекурсивна каскадна кореляція

Рекурсивна каскадна кореляція (РекКК, англ. Recursive Cascade Correlation, RecCC) є конструктивним нейромережевим підходом до деревних областей з новаторськими застосуваннями в хімії та розширенням для орієнтованих ациклічних графів.

Некерована РНМ

Систему для некерованих РНМ (англ. Unsupervised RNN) було представлено в працях .

Тензорна

Рекурсивні нейронні тензорні мережі (англ. recursive neural tensor networks) використовують одну функцію поєднання на основі тензорів для всіх вузлів дерева.

Тренування

Стохастичний градієнтний спуск

Як правило, для тренування таких мереж застосовують стохастичний градієнтний спуск (СГС, англ. stochastic gradient descent, SGD). Градієнт обчислюють, застосовуючи зворотне поширення структурою (ЗПС), що є варіацією зворотного поширення в часі, яке використовують для рекурентних нейронних мереж.

Властивості

В літературі було доведено здатність РНМ до універсального наближення над деревами.

Пов'язані моделі

Рекурентні нейронні мережі

Рекурентні нейронні мережі є рекурсивними штучними нейронними мережами з певною структурою: такою, як в лінійного ланцюжка. В той час як рекурсивні нейронні мережі працюють на будь-якій ієрархічній структурі, поєднуючи дочірні представлення в батьківські, рекурентні нейронні мережі діють на лінійній послідовності часу, поєднуючи попередній такт і приховане представлення в представлення поточного такту.

Деревні мережі з відлунням стану

Дієвий підхід до втілення РНМ дають деревні мережі з відлунням стану (англ. Tree Echo State Networks) в рамках парадигми резервуарного обчислення.

Розширення для графів

До розширень для графів належать графова нейронна мережа (ГНМ, англ. Graph Neural Network, GNN), нейронна мережа для графів (НМДГ, англ. Neural Network for Graphs, NN4G) та новіші згорткові нейронні мережі для графів.

Примітки

  1. Goller, C.; Küchler, A. Learning task-dependent distributed representations by backpropagation through structure. Neural Networks, 1996., IEEE. doi:10.1109/ICNN.1996.548916. (англ.)
  2. Sperduti, A.; Starita, A. (1 травня 1997). . IEEE Transactions on Neural Networks. 8 (3): 714—735. doi:10.1109/72.572108. ISSN 1045-9227. Архів оригіналу за 16 червня 2018. Процитовано 19 квітня 2017. (англ.)
  3. Frasconi, P.; Gori, M.; Sperduti, A. (1 вересня 1998). . IEEE Transactions on Neural Networks. 9 (5): 768—786. doi:10.1109/72.712151. ISSN 1045-9227. Архів оригіналу за 23 червня 2018. Процитовано 19 квітня 2017. (англ.)
  4. Socher, Richard; Lin, Cliff; Ng, Andrew Y.; Manning, Christopher D. (PDF). The 28th International Conference on Machine Learning (ICML 2011). Архів оригіналу (PDF) за 21 квітня 2017. Процитовано 19 квітня 2017. (англ.)
  5. Bianucci, Anna Maria; Micheli, Alessio; Sperduti, Alessandro; Starita, Antonina (2000). . Applied Intelligence (англ.). 12 (1-2): 117—147. doi:10.1023/A:1008368105614. ISSN 0924-669X. Архів оригіналу за 15 лютого 2017. Процитовано 19 квітня 2017. (англ.)
  6. Micheli, A.; Sona, D.; Sperduti, A. (1 листопада 2004). . IEEE Transactions on Neural Networks. 15 (6): 1396—1410. doi:10.1109/TNN.2004.837783. ISSN 1045-9227. Архів оригіналу за 23 червня 2018. Процитовано 19 квітня 2017. (англ.)
  7. Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickert, Marc (2004). Recursive self-organizing network models. Neural Networks. 17: 1061—1085. (англ.)
  8. Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro; Strickert, Marc (1 березня 2004). A general framework for unsupervised processing of structured data. Neurocomputing. 57: 3—35. doi:10.1016/j.neucom.2004.01.008. (англ.)
  9. Socher, Richard; Perelygin, Alex; Y. Wu, Jean; Chuang, Jason; D. Manning, Christopher; Y. Ng, Andrew; Potts, Christopher. (PDF). EMNLP 2013. Архів оригіналу (PDF) за 28 грудня 2016. Процитовано 19 квітня 2017. (англ.)
  10. Hammer, Barbara (3 жовтня 2007). (англ.). Springer. ISBN . Архів оригіналу за 15 лютого 2017. Процитовано 19 квітня 2017. (англ.)
  11. Hammer, Barbara; Micheli, Alessio; Sperduti, Alessandro (1 травня 2005). . Neural Computation (англ.). 17 (5): 1109—1159. doi:10.1162/0899766053491878. Архів оригіналу за 15 лютого 2017. Процитовано 19 квітня 2017. (англ.)
  12. Gallicchio, Claudio; Micheli, Alessio (4 лютого 2013). Tree Echo State Networks. Neurocomputing. 101: 319—337. doi:10.1016/j.neucom.2012.08.017. (англ.)
  13. Scarselli, F.; Gori, M.; Tsoi, A. C.; Hagenbuchner, M.; Monfardini, G. (1 січня 2009). . IEEE Transactions on Neural Networks. 20 (1): 61—80. doi:10.1109/TNN.2008.2005605. ISSN 1045-9227. Архів оригіналу за 17 червня 2017. Процитовано 19 квітня 2017. (англ.)
  14. Micheli, A. (1 березня 2009). . IEEE Transactions on Neural Networks. 20 (3): 498—511. doi:10.1109/TNN.2008.2010350. ISSN 1045-9227. Архів оригіналу за 31 січня 2017. Процитовано 19 квітня 2017. (англ.)


image Це незавершена стаття зі штучного інтелекту.
Ви можете проєкту, виправивши або дописавши її.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Ne plutati z Rekurentna nejronna merezha Rekursi vni nejro nni mere zhi RNM angl recursive neural networks RNN ce klas glibokih nejronnih merezh stvoryuvanih rekursivnim zastosuvannyam odnogo j togo zh naboru vag do strukturi shobi zdijsnyuvati Strukturove peredbachuvannya vhidnih struktur minlivogo rozmiru abo skalyarne peredbachuvannya na nih shlyahom obhodu zadanoyi strukturi v topologichnij poslidovnosti RNM buli uspishnimi napriklad v navchanni poslidovnisnih ta derevnih struktur v obrobci prirodnoyi movi golovnim chinom neperervnih predstavlen fraz ta rechen na osnovi vektornogo predstavlennya sliv Vpershe RNM bulo vvedeno dlya navchannya rozpodilenih predstavlen strukturi takih yak termini logiki Modeli ta zagalni shemi bulo rozrobleno v podalshih pracyah pochinayuchi z 1990 h rokiv ArhitekturiBazova Arhitektura prostoyi rekursivnoyi merezhi U vipadku najprostishoyi arhitekturi vuzli poyednuyutsya u batkivski iz zastosuvannyam vagovoyi matrici yaka ye spilnoyu dlya vsiyeyi merezhi ta nelinijnosti takoyi yak giperbolichnij tangens Yaksho c1 ta c2 ye n mirnimi vektornimi predstavlennyami vuzliv to yihnij batkivskij vuzol takozh bude n mirnim vektorom sho obchislyuyetsya yak p1 2 tanh W c1 c2 displaystyle p 1 2 tanh left W c 1 c 2 right de W ye navchenoyu vagovoyu matriceyu n 2n displaystyle n times 2n Cyu arhitekturu z deyakimi polipshennyami bulo zastosovano dlya uspishnogo rozboru prirodnih scen ta dlya sintaksichnogo rozboru rechen prirodnoyi movi Rekursivna kaskadna korelyaciya Rekursivna kaskadna korelyaciya RekKK angl Recursive Cascade Correlation RecCC ye konstruktivnim nejromerezhevim pidhodom do derevnih oblastej z novatorskimi zastosuvannyami v himiyi ta rozshirennyam dlya oriyentovanih aciklichnih grafiv Nekerovana RNM Sistemu dlya nekerovanih RNM angl Unsupervised RNN bulo predstavleno v pracyah Tenzorna Rekursivni nejronni tenzorni merezhi angl recursive neural tensor networks vikoristovuyut odnu funkciyu poyednannya na osnovi tenzoriv dlya vsih vuzliv dereva TrenuvannyaStohastichnij gradiyentnij spusk Yak pravilo dlya trenuvannya takih merezh zastosovuyut stohastichnij gradiyentnij spusk SGS angl stochastic gradient descent SGD Gradiyent obchislyuyut zastosovuyuchi zvorotne poshirennya strukturoyu ZPS sho ye variaciyeyu zvorotnogo poshirennya v chasi yake vikoristovuyut dlya rekurentnih nejronnih merezh VlastivostiV literaturi bulo dovedeno zdatnist RNM do universalnogo nablizhennya nad derevami Pov yazani modeliRekurentni nejronni merezhi Rekurentni nejronni merezhi ye rekursivnimi shtuchnimi nejronnimi merezhami z pevnoyu strukturoyu takoyu yak v linijnogo lancyuzhka V toj chas yak rekursivni nejronni merezhi pracyuyut na bud yakij iyerarhichnij strukturi poyednuyuchi dochirni predstavlennya v batkivski rekurentni nejronni merezhi diyut na linijnij poslidovnosti chasu poyednuyuchi poperednij takt i prihovane predstavlennya v predstavlennya potochnogo taktu Derevni merezhi z vidlunnyam stanu Diyevij pidhid do vtilennya RNM dayut derevni merezhi z vidlunnyam stanu angl Tree Echo State Networks v ramkah paradigmi rezervuarnogo obchislennya Rozshirennya dlya grafiv Do rozshiren dlya grafiv nalezhat grafova nejronna merezha GNM angl Graph Neural Network GNN nejronna merezha dlya grafiv NMDG angl Neural Network for Graphs NN4G ta novishi zgortkovi nejronni merezhi dlya grafiv PrimitkiGoller C Kuchler A Learning task dependent distributed representations by backpropagation through structure Neural Networks 1996 IEEE doi 10 1109 ICNN 1996 548916 angl Sperduti A Starita A 1 travnya 1997 IEEE Transactions on Neural Networks 8 3 714 735 doi 10 1109 72 572108 ISSN 1045 9227 Arhiv originalu za 16 chervnya 2018 Procitovano 19 kvitnya 2017 angl Frasconi P Gori M Sperduti A 1 veresnya 1998 IEEE Transactions on Neural Networks 9 5 768 786 doi 10 1109 72 712151 ISSN 1045 9227 Arhiv originalu za 23 chervnya 2018 Procitovano 19 kvitnya 2017 angl Socher Richard Lin Cliff Ng Andrew Y Manning Christopher D PDF The 28th International Conference on Machine Learning ICML 2011 Arhiv originalu PDF za 21 kvitnya 2017 Procitovano 19 kvitnya 2017 angl Bianucci Anna Maria Micheli Alessio Sperduti Alessandro Starita Antonina 2000 Applied Intelligence angl 12 1 2 117 147 doi 10 1023 A 1008368105614 ISSN 0924 669X Arhiv originalu za 15 lyutogo 2017 Procitovano 19 kvitnya 2017 angl Micheli A Sona D Sperduti A 1 listopada 2004 IEEE Transactions on Neural Networks 15 6 1396 1410 doi 10 1109 TNN 2004 837783 ISSN 1045 9227 Arhiv originalu za 23 chervnya 2018 Procitovano 19 kvitnya 2017 angl Hammer Barbara Micheli Alessio Sperduti Alessandro Strickert Marc 2004 Recursive self organizing network models Neural Networks 17 1061 1085 angl Hammer Barbara Micheli Alessio Sperduti Alessandro Strickert Marc 1 bereznya 2004 A general framework for unsupervised processing of structured data Neurocomputing 57 3 35 doi 10 1016 j neucom 2004 01 008 angl Socher Richard Perelygin Alex Y Wu Jean Chuang Jason D Manning Christopher Y Ng Andrew Potts Christopher PDF EMNLP 2013 Arhiv originalu PDF za 28 grudnya 2016 Procitovano 19 kvitnya 2017 angl Hammer Barbara 3 zhovtnya 2007 angl Springer ISBN 9781846285677 Arhiv originalu za 15 lyutogo 2017 Procitovano 19 kvitnya 2017 angl Hammer Barbara Micheli Alessio Sperduti Alessandro 1 travnya 2005 Neural Computation angl 17 5 1109 1159 doi 10 1162 0899766053491878 Arhiv originalu za 15 lyutogo 2017 Procitovano 19 kvitnya 2017 angl Gallicchio Claudio Micheli Alessio 4 lyutogo 2013 Tree Echo State Networks Neurocomputing 101 319 337 doi 10 1016 j neucom 2012 08 017 angl Scarselli F Gori M Tsoi A C Hagenbuchner M Monfardini G 1 sichnya 2009 IEEE Transactions on Neural Networks 20 1 61 80 doi 10 1109 TNN 2008 2005605 ISSN 1045 9227 Arhiv originalu za 17 chervnya 2017 Procitovano 19 kvitnya 2017 angl Micheli A 1 bereznya 2009 IEEE Transactions on Neural Networks 20 3 498 511 doi 10 1109 TNN 2008 2010350 ISSN 1045 9227 Arhiv originalu za 31 sichnya 2017 Procitovano 19 kvitnya 2017 angl Ce nezavershena stattya zi shtuchnogo intelektu Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi

Дата публікації:
Топ