Ця стаття має кілька недоліків. Будь ласка, допоможіть удосконалити її або обговоріть ці проблеми на .
|
Зворо́тне поши́рення в ча́сі (ЗПЧ, англ. Backpropagation through time, BPTT) — це методика на основі градієнту для тренування певних типів рекурентних нейронних мереж. Її можна застосовувати для тренування мереж Елмана. Цей алгоритм було незалежно виведено численними дослідниками.
Алгоритм
Тренувальні данні для ЗПЧ повинні бути впорядкованою послідовністю пар входів-виходів, . Для мусить бути вказано початкове значення. Для цієї мети зазвичай застосовують вектор з усіх нулів.
ЗПЧ починається з розгортання рекурентної нейронної мережі в часі, як показано на цьому зображенні. Ця рекурентна нейронна мережа містить дві нейронні мережі прямого поширення, f та g. Коли ця мережа розгортається в часі, то розгорнута мережа містить k примірників f, і один примірник g. У наведеному прикладі мережу було розгорнуто до глибини k = 3.
Потім тренування відбувається подібним чином, як і при тренуванні нейронної мережі прямого поширення зворотним поширенням, за тим виключенням, що тренувальні зразки відвідуються послідовно. Кожен тренувальний зразок складається з . (Всі дії для k моментів часу потрібні тому, що розгорнута мережа містить входи на кожному з розгорнутих рівнів.) Після представлення зразка для тренування уточнення ваг у кожному з примірників f () підсумовуються, і потім застосовуються до всіх примірників f. Як початкове значення , як правило, використовують нульовий вектор.
Псевдокод
Псевдокод ЗПЧ:
Зворотне_поширення_в_часі(a, y) // a[t] є входом у момент часу t. y[t] є виходом Розгорнути мережу, щоби містила k примірників f повторювати до досягнення критерію зупинки: x = вектор нульової величини; // x є поточним контекстом для t від 0 до n - k // t є часом. n є довжиною тренувальної послідовності Встановити входи мережі в x, a[t], a[t+1], ..., a[t+k-1] p = поширити входи в прямому напрямку всією розгорнутою мережею e = y[t+k] - p; // похибка = ціль - передбачення Поширити в зворотному напрямку похибку e всією розгорнутою мережею Підбити загальну суму змін ваг у k примірниках f. Уточнити всі ваги в f та g. x = f(x, a[t]); // обчислити контекст для наступного моменту часу
Переваги
ЗВЧ має схильність бути значно швидшим для тренування рекурентних нейронних мереж, ніж методики оптимізації загального призначення, такі як еволюційна оптимізація.
Недоліки
ЗВЧ зазнає труднощів з локальними оптимумами. В рекурентних нейронних мережах локальний оптимум є набагато значнішою проблемою, ніж у нейронних мережах прямого поширення. Рекурентний зворотний зв'язок у таких мережах має схильність створювати хаотичні реакції в поверхні похибки, в результаті чого локальні оптимуми виникають часто, і в дуже поганих місцях поверхні похибки.
Див. також
Примітки
- Mozer, M. C. (1995). Y. Chauvin; D. Rumelhart (ред.). A Focused Backpropagation Algorithm for Temporal Pattern Recognition. Hillsdale, NJ: Lawrence Erlbaum Associates. с. 137—169. (англ.)
- Robinson, A. J. & Fallside, F. (1987). The utility driven dynamic error propagation network (Технічний звіт). № CUED/F-INFENG/TR.1. Cambridge University, Engineering Department. (англ.)
- Paul J. Werbos (1988). Generalization of backpropagation with application to a recurrent gas market model. Neural Networks. 1 (4): 339—356. doi:10.1016/0893-6080(88)90007-X. (англ.)
- Jonas Sjöberg and Qinghua Zhang and Lennart Ljung and Albert Benveniste and Bernard Deylon and Pierre-yves Glorennec and Hakan Hjalmarsson and Anatoli Juditsky (1995). Nonlinear Black-Box Modeling in System Identification: a Unified Overview. Automatica. 31: 1691—1724. doi:10.1016/0005-1098(95)00120-8. (англ.)
- M.P. Cuéllar and M. Delgado and M.C. Pegalajar (2006). An Application of Non-linear Programming to Train Recurrent Neural Networks in Time Series Prediction Problems. Enterprise Information Systems VII. Springer Netherlands: 95–102. doi:10.1007/978-1-4020-5347-4\_11. ISBN . (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Cya stattya maye kilka nedolikiv Bud laska dopomozhit udoskonaliti yiyi abo obgovorit ci problemi na storinci obgovorennya Cya stattya potrebuye uporyadkuvannya dlya vidpovidnosti standartam yakosti Vikipediyi Bud laska dopomozhit polipshiti cyu stattyu Mozhlivo storinka obgovorennya mistit zauvazhennya shodo potribnih zmin kviten 2017 Cyu stattyu napisano zanadto profesijnim stilem zi specifichnoyu terminologiyeyu sho mozhe buti nezrozumilim dlya bilshosti chitachiv Vi mozhete dopomogti vdoskonaliti cyu stattyu zrobivshi yiyi zrozumiloyu dlya nespecialistiv bez vtrat zmistu Mozhlivo storinka obgovorennya mistit zauvazhennya shodo potribnih zmin kviten 2017 Zvoro tne poshi rennya v cha si ZPCh angl Backpropagation through time BPTT ce metodika na osnovi gradiyentu dlya trenuvannya pevnih tipiv rekurentnih nejronnih merezh Yiyi mozhna zastosovuvati dlya trenuvannya merezh Elmana Cej algoritm bulo nezalezhno vivedeno chislennimi doslidnikami AlgoritmZPCh rozgortaye rekurentnu nejronnu merezhu v chasi Trenuvalni danni dlya ZPCh povinni buti vporyadkovanoyu poslidovnistyu par vhodiv vihodiv a0 y0 a1 y1 a2 y2 ak 1 yk 1 displaystyle langle mathbf a 0 mathbf y 0 rangle langle mathbf a 1 mathbf y 1 rangle langle mathbf a 2 mathbf y 2 rangle langle mathbf a k 1 mathbf y k 1 rangle Dlya x0 displaystyle mathbf x 0 musit buti vkazano pochatkove znachennya Dlya ciyeyi meti zazvichaj zastosovuyut vektor z usih nuliv ZPCh pochinayetsya z rozgortannya rekurentnoyi nejronnoyi merezhi v chasi yak pokazano na comu zobrazhenni Cya rekurentna nejronna merezha mistit dvi nejronni merezhi pryamogo poshirennya f ta g Koli cya merezha rozgortayetsya v chasi to rozgornuta merezha mistit k primirnikiv f i odin primirnik g U navedenomu prikladi merezhu bulo rozgornuto do glibini k 3 Potim trenuvannya vidbuvayetsya podibnim chinom yak i pri trenuvanni nejronnoyi merezhi pryamogo poshirennya zvorotnim poshirennyam za tim viklyuchennyam sho trenuvalni zrazki vidviduyutsya poslidovno Kozhen trenuvalnij zrazok skladayetsya z xt at at 1 at 2 at k 1 yt k displaystyle langle mathbf x t mathbf a t mathbf a t 1 mathbf a t 2 mathbf a t k 1 mathbf y t k rangle Vsi diyi dlya k momentiv chasu potribni tomu sho rozgornuta merezha mistit vhodi na kozhnomu z rozgornutih rivniv Pislya predstavlennya zrazka dlya trenuvannya utochnennya vag u kozhnomu z primirnikiv f f1 f2 fk displaystyle f 1 f 2 f k pidsumovuyutsya i potim zastosovuyutsya do vsih primirnikiv f Yak pochatkove znachennya x displaystyle mathbf x yak pravilo vikoristovuyut nulovij vektor PsevdokodPsevdokod ZPCh Zvorotne poshirennya v chasi a y a t ye vhodom u moment chasu t y t ye vihodom Rozgornuti merezhu shobi mistila k primirnikiv f povtoryuvati do dosyagnennya kriteriyu zupinki x vektor nulovoyi velichini x ye potochnim kontekstom dlya t vid 0 do n k t ye chasom n ye dovzhinoyu trenuvalnoyi poslidovnosti Vstanoviti vhodi merezhi v x a t a t 1 a t k 1 p poshiriti vhodi v pryamomu napryamku vsiyeyu rozgornutoyu merezheyu e y t k p pohibka cil peredbachennya Poshiriti v zvorotnomu napryamku pohibku e vsiyeyu rozgornutoyu merezheyu Pidbiti zagalnu sumu zmin vag u k primirnikah f Utochniti vsi vagi v f ta g x f x a t obchisliti kontekst dlya nastupnogo momentu chasuPerevagiZVCh maye shilnist buti znachno shvidshim dlya trenuvannya rekurentnih nejronnih merezh nizh metodiki optimizaciyi zagalnogo priznachennya taki yak evolyucijna optimizaciya NedolikiZVCh zaznaye trudnoshiv z lokalnimi optimumami V rekurentnih nejronnih merezhah lokalnij optimum ye nabagato znachnishoyu problemoyu nizh u nejronnih merezhah pryamogo poshirennya Rekurentnij zvorotnij zv yazok u takih merezhah maye shilnist stvoryuvati haotichni reakciyi v poverhni pohibki v rezultati chogo lokalni optimumi vinikayut chasto i v duzhe poganih miscyah poverhni pohibki Div takozhZvorotne poshirennya strukturoyuPrimitkiMozer M C 1995 Y Chauvin D Rumelhart red A Focused Backpropagation Algorithm for Temporal Pattern Recognition Hillsdale NJ Lawrence Erlbaum Associates s 137 169 angl Robinson A J amp Fallside F 1987 The utility driven dynamic error propagation network Tehnichnij zvit CUED F INFENG TR 1 Cambridge University Engineering Department angl Paul J Werbos 1988 Generalization of backpropagation with application to a recurrent gas market model Neural Networks 1 4 339 356 doi 10 1016 0893 6080 88 90007 X angl Jonas Sjoberg and Qinghua Zhang and Lennart Ljung and Albert Benveniste and Bernard Deylon and Pierre yves Glorennec and Hakan Hjalmarsson and Anatoli Juditsky 1995 Nonlinear Black Box Modeling in System Identification a Unified Overview Automatica 31 1691 1724 doi 10 1016 0005 1098 95 00120 8 angl M P Cuellar and M Delgado and M C Pegalajar 2006 An Application of Non linear Programming to Train Recurrent Neural Networks in Time Series Prediction Problems Enterprise Information Systems VII Springer Netherlands 95 102 doi 10 1007 978 1 4020 5347 4 11 ISBN 978 1 4020 5323 8 angl