Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Вчи телеве нав я зування англ teacher forcing це алгоритм для тренування ваг рекурентних нейронних мереж РНМ Він передба

Вчителеве нав'язування

Вчителеве нав'язування

Вчи́телеве нав'я́зування (англ. teacher forcing) — це алгоритм для тренування ваг рекурентних нейронних мереж (РНМ). Він передбачає подавання спостережуваних значень послідовності (тобто, істинних зразків) назад до РНМ після кожного кроку, відтак змушуючи РНМ триматися близько до істинної послідовності.

Термін «вчителеве нав'язування» може бути обґрунтовано порівнянням РНМ з людиною-студентом, яка складає багаточастинний іспит, де відповідь на кожну частину (наприклад, математичний розрахунок) залежить від відповіді на попередню частину. У цій аналогії, замість того, щоб оцінювати кожну відповідь у кінці, з ризиком того, що студент завалить всі окремі частини, навіть якщо помилку він зробив лише в першій, вчитель записує оцінку для кожної окремої частини, а потім говорить студентові правильну відповідь, яка буде використовуватися в наступній частині.

Використання зовнішнього вчителевого сигналу відрізняється від реальночасового рекурентного навчання (РЧРН, англ. RTRL). Вчителеві сигнали відомі з осциляторних мереж. Перспектива полягає в тому, що вчителеве нав'язування допомагає скорочувати час тренування.

Термін «вчителеве нав'язування» запровадили 1989 року [en] та , які повідомили, що цю методику в той час вже «часто використовували у завданнях з динамічного керованого навчання».

Доповідь [en] 2016 року представила пов'язаний метод «професорового нав'язування» (англ. "professor forcing").

Див. також

Посилання

  1. John F. Kolen; Stefan C. Kremer (15 January 2001). A Field Guide to Dynamical Recurrent Networks (англ.). John Wiley & Sons. с. 202–. ISBN .
  2. Lamb, Alex M; Goyal, Anirudh; Zhang, Ying; Zhang, Saizheng; Courville, Aaron C; (2016). Professor Forcing: A New Algorithm for Training Recurrent Networks. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 29.
  3. Wong, Wanshun (15 жовтня 2019). What is Teacher Forcing?. Towards Data Science (англ.). Процитовано 25 березня 2022.
  4. Zhang, Ming (31 July 2008). Artificial Higher Order Neural Networks for Economics and Business (англ.). IGI Global. с. 195–. ISBN .
  5. Yves Chauvin; David E. Rumelhart (1 February 2013). Backpropagation: Theory, Architectures, and Applications (англ.). Psychology Press. с. 473–. ISBN .
  6. George Bekey; Kenneth Y. Goldberg (30 November 1992). Neural Networks in Robotics (англ.). Springer Science & Business Media. с. 247–. ISBN .
  7. Williams, Ronald J.; Zipser, David (June 1989). A Learning Algorithm for Continually Running Fully Recurrent Neural Networks. Neural Computation (англ.). 1 (2): 270—280. CiteSeerX 10.1.1.52.9724. doi:10.1162/neco.1989.1.2.270. ISSN 0899-7667. S2CID 14711886.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Vchi televe nav ya zuvannya angl teacher forcing ce algoritm dlya trenuvannya vag rekurentnih nejronnih merezh RNM Vin peredbachaye podavannya sposterezhuvanih znachen poslidovnosti tobto istinnih zrazkiv nazad do RNM pislya kozhnogo kroku vidtak zmushuyuchi RNM trimatisya blizko do istinnoyi poslidovnosti Termin vchiteleve nav yazuvannya mozhe buti obgruntovano porivnyannyam RNM z lyudinoyu studentom yaka skladaye bagatochastinnij ispit de vidpovid na kozhnu chastinu napriklad matematichnij rozrahunok zalezhit vid vidpovidi na poperednyu chastinu U cij analogiyi zamist togo shob ocinyuvati kozhnu vidpovid u kinci z rizikom togo sho student zavalit vsi okremi chastini navit yaksho pomilku vin zrobiv lishe v pershij vchitel zapisuye ocinku dlya kozhnoyi okremoyi chastini a potim govorit studentovi pravilnu vidpovid yaka bude vikoristovuvatisya v nastupnij chastini Vikoristannya zovnishnogo vchitelevogo signalu vidriznyayetsya vid realnochasovogo rekurentnogo navchannya RChRN angl RTRL Vchitelevi signali vidomi z oscilyatornih merezh Perspektiva polyagaye v tomu sho vchiteleve nav yazuvannya dopomagaye skorochuvati chas trenuvannya Termin vchiteleve nav yazuvannya zaprovadili 1989 roku en ta yaki povidomili sho cyu metodiku v toj chas vzhe chasto vikoristovuvali u zavdannyah z dinamichnogo kerovanogo navchannya Dopovid en 2016 roku predstavila pov yazanij metod profesorovogo nav yazuvannya angl professor forcing Div takozhInteraktivne mashinne navchannya Navchannya z pidkriplennyamPosilannyaJohn F Kolen Stefan C Kremer 15 January 2001 A Field Guide to Dynamical Recurrent Networks angl John Wiley amp Sons s 202 ISBN 978 0 7803 5369 5 Lamb Alex M Goyal Anirudh Zhang Ying Zhang Saizheng Courville Aaron C 2016 Professor Forcing A New Algorithm for Training Recurrent Networks Advances in Neural Information Processing Systems angl Curran Associates Inc 29 Wong Wanshun 15 zhovtnya 2019 What is Teacher Forcing Towards Data Science angl Procitovano 25 bereznya 2022 Zhang Ming 31 July 2008 Artificial Higher Order Neural Networks for Economics and Business angl IGI Global s 195 ISBN 978 1 59904 898 7 Yves Chauvin David E Rumelhart 1 February 2013 Backpropagation Theory Architectures and Applications angl Psychology Press s 473 ISBN 978 1 134 77581 1 George Bekey Kenneth Y Goldberg 30 November 1992 Neural Networks in Robotics angl Springer Science amp Business Media s 247 ISBN 978 0 7923 9268 2 Williams Ronald J Zipser David June 1989 A Learning Algorithm for Continually Running Fully Recurrent Neural Networks Neural Computation angl 1 2 270 280 CiteSeerX 10 1 1 52 9724 doi 10 1162 neco 1989 1 2 270 ISSN 0899 7667 S2CID 14711886

Дата публікації:
Топ