Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Ця стаття про метанавчання в машиннім навчанні Про метанавчання в соціальній психології див en Про метанавчання в нейрон

Метанавчання (інформатика)

Метанавчання (інформатика)
Ця стаття про метанавчання в машиннім навчанні. Про метанавчання в соціальній психології див. [en]. Про метанавчання в нейронауці див. [en].
Див. також: Ансамблеве навчання

Метанавча́ння (англ. meta learning) — це підгалузь машинного навчання, в якій застосовують алгоритми автоматичного навчання до метаданих про експерименти з машинного навчання. Станом на 2017 рік цей термін не знайшов стандартного тлумачення, проте головна мета полягає у використанні таких метаданих для розуміння того, як автоматичне навчання може стати гнучким у розв'язуванні проблем навчання, й відтак покращити продуктивність наявних алгоритмів навчання, або навчити (індукувати) сам алгоритм навчання, звідси альтернативний термін навча́ння навча́тися (англ. learning to learn).

Гнучкість важлива, оскільки кожен алгоритм навчання ґрунтується на наборі припущень щодо даних, його [en]. Це означає, що він навчатиметься добре, лише якщо ці упередження відповідають задачі навчання. Алгоритм навчання може працювати дуже добре в одній області, але не в наступній. Це накладає серйозні обмеження на використання методів машинного навчання та добування даних, оскільки зв'язок між задачею навчання (часто якась база даних) та ефективністю різних алгоритмів навчання досі не зрозумілий.

Використовуючи різні види метаданих, як-от властивості задачі навчання, властивості алгоритму (як-от показники продуктивності), або образи, попередньо отримані з даних, можливо вивчати, обирати, змінювати та комбінувати різні алгоритми навчання, щоби ефективно розв'язати задану задачу навчання. Критика підходів метанавчання дуже схожа на критику метаевристики, можливо пов'язаної задачі. Добра аналогія з метанавчанням і джерело натхнення ранніх праць Юргена Шмідхубера (1987) та праці [en] зі співавт. (1991) виходить з того, що генетична еволюція навчається процедури навчання, закодованої в генах, і виконується в мозку кожної людини. У відкритій ієрархічній системі метанавчання з використанням генетичного програмування можливо навчатися кращих еволюційних методів за допомогою метаеволюції, яку саму по собі можливо вдосконалювати за допомогою метаметаеволюції тощо.

Визначення

Пропоноване визначення системи метанавчання поєднує три вимоги:

  • Система мусить включати підсистему навчання.
  • Досвід набувається шляхом використання метазнань, виділених
    • у попередньому епізоді навчання на єдиному наборі даних, або
    • з різних областей.
  • Упередження навчання має обиратися динамічно.

Упередження (англ. bias) стосується припущень, які впливають на вибір пояснювальних гіпотез, а не поняття зміщення (теж англ. bias), поданого в компромісі зміщення та дисперсії. Метанавчання цікавиться двома аспектами упереджень навчання.

  • Декларативне упередження (англ. declarative bias) визначає подання простору гіпотез і впливає на розмір простору пошуку (наприклад, подавати гіпотези лише за допомогою лінійних функцій).
  • Процедурне упередження (англ. procedural bias) накладає обмеження на впорядкування індуктивних гіпотез (наприклад, надавання переваги меншим гіпотезам).

Поширені підходи

Існує три поширені підходи:

  • 1) використання (циклічних) мереж із зовнішньою або внутрішньою пам'яттю (на основі моделей, англ. model-based)
  • 2) навчання ефективних мір відстані (на основі мір, англ. metrics-based)
  • 3) явна оптимізація параметрів моделі для швидкого навчання (на основі оптимізації, англ. optimization-based).

На основі моделей

Моделі метанавчання на основі моделей швидко уточнюють свої параметри за кілька кроків тренування, чого можливо досягати за рахунок їхньої внутрішньої архітектури, або керування іншою моделлю метанавчання.

Нейронні мережі з доповненою пам'яттю

Стверджують, що нейронна мережа з доповненою пам'яттю (англ. Memory-Augmented Neural Network), або скорочено НМДП (англ. MANN), здатна швидко кодувати нову інформацію, й відтак адаптуватися до нових завдань, лише за кількома прикладами.

Метамережі

Метамережі (англ. Meta Networks, MetaNet) навчаються знання метарівня між завданнями та зміщують свої індуктивні упередження за допомогою швидкого параметрування для швидкого узагальнення.

На основі мір

Центральна ідея метанавчання на основі мір подібна до алгоритмів найближчих сусідів, чия вага породжується ядровою функцією. Воно спрямоване на навчання міри або функції відстані над об'єктами. Поняття доброї міри залежить від задачі. Вона повинна подавати зв'язок між входами в просторі завдання й полегшувати розв'язання задачі.

Згорткова сіамська нейронна мережа

[en] складається з двох мереж-близнюків, вихід яких тренується спільно. Існує функція поверх для навчання зв'язку між парами зразків даних входу. Ці дві мережі однакові, мають однакові ваги й параметри мережі.

Узгоджувальні мережі

Узгоджувальні мережі (англ. Matching Networks) навчаються мережі́, яка відображує невеличкий мічений опорний набір даних та немічений приклад до його мітки, уникаючи необхідності тонкого настроювання для пристосовування до нових типів класів.

Реляційна мережа

Реляційна мережа (РМ, англ. Relation Network, RN) навчається наскрізно з нуля. Під час метанавчання вона навчається навчатися глибокої міри відстані, щоби порівнювати невелику кількість зображень у межах епізодів, кожен з яких розроблено для імітування постановки навчання з кількох поглядів (англ. few-shot setting).

Прототипові мережі

Прототипові мережі (англ. Prototypical Networks) навчаються метричного простору, в якому класифікування можливо виконувати шляхом обчислення відстаней до прототипних подань кожного з класів. Порівняно з нещодавніми підходами навчання з кількох поглядів, вони відображають простіше індуктивне зміщення, корисне в цьому режимі обмежених даних, і досягають задовільних результатів.

На основі оптимізації

Мета алгоритмів метанавчання на основі оптимізації полягає в тому, щоби налаштувати алгоритм оптимізації таким чином, щоби модель могла навчатися добре з кількох прикладів.

Метанавчання ДКЧП

Система метанавчання на основі ДКЧП (англ. LSTM-based meta-learner) призначена навчатися точного алгоритму оптимізації, який використовують для тренування іншої системи навчання нейромережного [en] в режимі кількох поглядів. Ця параметризація дозволяє навчатися відповідних уточнень параметрів спеціально для сценарію, коли буде зроблено встановлену кількість уточнень, у той же час навчаючись загальних початкових значень навчаної мережі (класифікатора), які забезпечують швидку збіжність тренування.

Часова дискретність

МАМН (англ. MAML), скорочення від моделеагностичного метанавчання (англ. Model-Agnostic Meta-Learning), це доволі загальний алгоритмом оптимізації, сумісний із будь-якою моделлю, яка навчається за допомогою градієнтного спуску.

Рептилія

Рептилія (англ. Reptile) — це надзвичайно простий алгоритм оптимізації метанавчання, враховуючи, що обидві його складові покладаються на метаоптимізацію через градієнтний спуск, й обидві не залежать від моделі.

Приклади

Деякі підходи, які розглядали як приклади метанавчання:

  • Рекурентні нейронні мережі (РНМ) це універсальні обчислювачі. 1993 року Юрген Шмідхубер показав, як «самореферентні» (англ. "self-referential") РНМ можуть у принципі навчатися зворотним поширенням запускати алгоритм зміни власних ваг, що може доволі сильно відрізнятися від зворотного поширення. 2001 року [en], А. С. Янгер та П. Р. Конвелл створили успішну систему керованого метанавчання на основі РНМ з довгою короткочасною пам'яттю. За допомогою зворотного поширення вона навчалася алгоритму навчання квадратичних функцій, набагато швидшого за зворотне поширення. 2017 року дослідники з Deepmind (Марцін Андрихович зі співавт.) розширили цей підхід до оптимізації.
  • У 1990-х роках дослідницька група Шмідхубера досягла метанавчання з підкріпленням (англ. Meta Reinforcement Learning), або Мета НП (англ. Meta RL), за допомогою самозмінних стратегій, написаних універсальною мовою програмування, яка містить спеціальні інструкції для зміни самої стратегії. Є єдине ціложиттєве випробування. Мета агента НП полягає в максимізації винагороди. Він навчається прискорювати отримування винагороди, постійно вдосконалюючи власний алгоритм навчання, який є частиною «самореферентної» стратегії.
  • Екстремальний тип метанавчання з підкріпленням втілено [en], теоретичною побудовою, яка може перевіряти та змінювати будь-яку частину власного програмного забезпечення, яке також містить загальну систему доведення теорем. Вона може досягати рекурсивного самовдосконалення довідно оптимальним чином.
  • Моделеагностичне метанавчання (МАМН, англ. Model-Agnostic Meta-Learning, MAML) представили 2017 року [en] зі співавт. Для заданої послідовності завдань параметри заданої моделі тренуються таким чином, що декілька ітерацій градієнтного спуску з невеликою кількістю тренувальних даних з нового завдання вестимуть до доброї продуктивності узагальнення на цьому завданні. МАМН «тренує модель бути легкою для тонкого настроювання». МАМН успішно застосовували для еталонного класифікування зображень із кількох поглядів та для навчання з підкріпленням на основі градієнта стратегії.
  • Виявляння метазнань (англ. discovering meta-knowledge) працює шляхом індукування знань (наприклад, правил), які виражають, як кожен метод навчання працюватиме на різних задачах навчання. Метадані утворюються характеристиками даних (загальними, статистичними, інформаційно-теоретичними, …) у задачі навчання та характеристиками алгоритму навчання (тип, налаштування параметрів, міри продуктивності, …). Потім інший алгоритм навчання навчається того, як характеристики даних співвідносяться з характеристиками алгоритмів. Для нової задачі навчання вимірюють характеристики даних і передбачують продуктивність різних алгоритмів навчання. Відтак, можливо передбачувати, які алгоритми найкраще підходять для нової задачі.
  • Складене узагальнювання (англ. stacked generalisation) працює шляхом поєднання кількох (різних) алгоритмів навчання. Метадані утворюються передбаченнями цих різних алгоритмів. Інший алгоритм навчання вчиться з цих метаданих передбачувати, які поєднання алгоритмів дають загалом добрі результати. Для заданої нової задачі навчання поєднують передбачення обраного набору алгоритмів (наприклад, шляхом (зваженого) голосування), щоби забезпечити остаточне передбачення. Оскільки вважають, що кожен з алгоритмів працює над підмножиною задач, сподіваються, що поєднання буде гнучкішим та здатним робити добрі передбачення.
  • Підсилювання (англ. boosting) пов'язане зі складеним узагальнюванням, але використовує той самий алгоритм декілька разів, де приклади в тренувальних даних під час кожного виконання отримують різні ваги. Це дає різні передбачення, кожне з яких зосереджено на правильному передбаченні підмножини даних, а поєднання цих передбачень призводить до кращих (але витратніших) результатів.
  • Динамічне обирання упередження (англ. dynamic bias selection) працює шляхом зміни індуктивного упередження алгоритму навчання відповідно до заданої задачі. Це робиться шляхом зміни ключових аспектів алгоритму навчання, таких як подання гіпотез, евристичні формули та параметри. Існує багато різних підходів.
  • Індуктивне передавання (англ. inductive transfer) вивчає, як покращувати процес навчання з плином часу. Метадані містять знання про попередні епізоди навчання та використовуються для ефективної розробки ефективної гіпотези для нового завдання. Пов'язаний підхід називають [en]», його мета полягає у використанні набутих знань з однієї області щоби допомагати навчатися в інших областях.
  • Інші підходи з використанням метаданих для покращування автоматичного навчання — це [en], [en] і [en].
  • Було розпочато певну початкову теоретичну роботу щодо використання [en] як основи для опосередкованого агентами метанавчання щодо продуктивності учнів-людей і підлаштовування курсу навчання штучного агента.
  • АвтоМН (англ. AutoML), як-от проєкт Google Brain «ШІ будує ШІ» (англ. "AI building AI"), який, за твердженням Google, 2017 року ненадовго перевершив наявні еталони [en].

Примітки

  1. Schmidhuber, Jürgen (1987). Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook (PDF). Diploma Thesis, Tech. Univ. Munich (англ.).
  2. Schaul, Tom; Schmidhuber, Jürgen (2010). Metalearning. Scholarpedia (англ.). 5 (6): 4650. Bibcode:2010SchpJ...5.4650S. doi:10.4249/scholarpedia.4650.
  3. P. E. Utgoff (1986). Shift of bias for inductive concept learning. У R. Michalski, J. Carbonell, & T. Mitchell (ред.). Machine Learning: An Artificial Intelligence Approach (англ.). с. 163—190.
  4. Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Learning to learn a synaptic rule (PDF). IJCNN'91 (англ.).
  5. Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (20 липня 2013). Metalearning: a survey of trends and technologies. Artificial Intelligence Review (англ.). 44 (1): 117—130. doi:10.1007/s10462-013-9406-y. ISSN 0269-2821. PMC 4459543. PMID 26069389.
  6. Brazdil, Pavel; Carrier, Christophe Giraud; Soares, Carlos; Vilalta, Ricardo (2009). Metalearning - Springer. Cognitive Technologies (англ.). doi:10.1007/978-3-540-73263-1. ISBN .
  7. Gordon, Diana; Desjardins, Marie (1995). Evaluation and Selection of Biases in Machine Learning (PDF). Machine Learning (англ.). 20: 5—22. doi:10.1023/A:1022630017346. Процитовано 27 березня 2020.
  8. Weng, Lilian (30 листопада 2018). Meta-Learning: Learning to Learn Fast. OpenAI Blog (англ.). Процитовано 27 жовтня 2019.
  9. Santoro, Adam; Bartunov, Sergey; Wierstra, Daan; Lillicrap, Timothy. Meta-Learning with Memory-Augmented Neural Networks (PDF) (англ.). Google DeepMind. Процитовано 29 жовтня 2019.
  10. Munkhdalai, Tsendsuren; Yu, Hong (2017). Meta Networks (англ.). arXiv:1703.00837 [cs.LG].
  11. Koch, Gregory; Zemel, Richard; Salakhutdinov, Ruslan (2015). Siamese Neural Networks for One-shot Image Recognition (PDF) (англ.). Toronto, Ontario, Canada: Department of Computer Science, University of Toronto.
  12. Vinyals, O.; Blundell, C.; Lillicrap, T.; Kavukcuoglu, K.; Wierstra, D. (2016). Matching networks for one shot learning (PDF) (англ.). Google DeepMind. Процитовано 3 листопада 2019.
  13. Sung, F.; Yang, Y.; Zhang, L.; Xiang, T.; Torr, P. H. S.; Hospedales, T. M. (2018). Learning to compare: relation network for few-shot learning (PDF) (англ.).
  14. Snell, J.; Swersky, K.; Zemel, R. S. (2017). Prototypical networks for few-shot learning (PDF) (англ.).
  15. Ravi, Sachin; Larochelle, Hugo (2017). Optimization as a model for few-shot learning. ICLR 2017 (англ.). Процитовано 3 листопада 2019.
  16. Finn, Chelsea; Abbeel, Pieter; Levine, Sergey (2017). Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (англ.). arXiv:1703.03400 [cs.LG].
  17. Nichol, Alex; Achiam, Joshua; Schulman, John (2018). On First-Order Meta-Learning Algorithms (англ.). arXiv:1803.02999 [cs.LG].
  18. Schmidhuber, Jürgen (1993). A self-referential weight matrix. Proceedings of ICANN'93, Amsterdam (англ.): 446—451.
  19. Hochreiter, Sepp; Younger, A. S.; Conwell, P. R. (2001). Learning to Learn Using Gradient Descent. Proceedings of ICANN'01 (англ.): 87—94.
  20. Andrychowicz, Marcin; Denil, Misha; Gomez, Sergio; Hoffmann, Matthew; Pfau, David; Schaul, Tom; Shillingford, Brendan; de Freitas, Nando (2017). Learning to learn by gradient descent by gradient descent. Proceedings of ICML'17, Sydney, Australia (англ.).
  21. Schmidhuber, Jürgen (1994). On learning how to learn learning strategies (PDF). Technical Report FKI-198-94, Tech. Univ. Munich (англ.).
  22. Schmidhuber, Jürgen; Zhao, J.; Wiering, M. (1997). Shifting inductive bias with success-story algorithm, adaptive Levin search, and incremental self-improvement. Machine Learning (англ.). 28: 105—130. doi:10.1023/a:1007383707642.
  23. Schmidhuber, Jürgen (2006). Gödel machines: Fully Self-Referential Optimal Universal Self-Improvers. In B. Goertzel & C. Pennachin, Eds.: Artificial General Intelligence (англ.): 199—226.
  24. Begoli, Edmon (May 2014). Procedural-Reasoning Architecture for Applied Behavior Analysis-based Instructions. Doctoral Dissertations (англ.). Knoxville, Tennessee, USA: University of Tennessee, Knoxville: 44—79. Процитовано 14 жовтня 2017.
  25. Robots Are Now 'Creating New Robots,' Tech Reporter Says. NPR.org (англ.). 2018. Процитовано 29 березня 2018.
  26. AutoML for large scale image classification and object detection. Google Research Blog (англ.). November 2017. Процитовано 29 березня 2018.

Посилання

  • Стаття Metalearning у Сколарпедії (англ.)
  • Vilalta, R.; Drissi, Y. (2002). A perspective view and survey of meta-learning (PDF). Artificial Intelligence Review (англ.). 18 (2): 77—95.
  • Giraud-Carrier, C.; Keller, J. (2002). Meta-Learning. У Meij, J. (ред.). Dealing with the data flood (англ.). The Hague: STT/Beweton.
  • Brazdil, P.; Giraud-Carrier, C.; Soares, C.; Vilalta, R. (2009). Metalearning: Concepts and Systems. Metalearning: applications to data mining (англ.). Springer.
  • Відеокурси про метанавчання з покроковим поясненням МАМН, прототипових і реляційних мереж. (англ.)

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Cya stattya pro metanavchannya v mashinnim navchanni Pro metanavchannya v socialnij psihologiyi div en Pro metanavchannya v nejronauci div en Div takozh Ansambleve navchannya Metanavcha nnya angl meta learning ce pidgaluz mashinnogo navchannya v yakij zastosovuyut algoritmi avtomatichnogo navchannya do metadanih pro eksperimenti z mashinnogo navchannya Stanom na 2017 rik cej termin ne znajshov standartnogo tlumachennya prote golovna meta polyagaye u vikoristanni takih metadanih dlya rozuminnya togo yak avtomatichne navchannya mozhe stati gnuchkim u rozv yazuvanni problem navchannya j vidtak pokrashiti produktivnist nayavnih algoritmiv navchannya abo navchiti indukuvati sam algoritm navchannya zvidsi alternativnij termin navcha nnya navcha tisya angl learning to learn Gnuchkist vazhliva oskilki kozhen algoritm navchannya gruntuyetsya na nabori pripushen shodo danih jogo en Ce oznachaye sho vin navchatimetsya dobre lishe yaksho ci uperedzhennya vidpovidayut zadachi navchannya Algoritm navchannya mozhe pracyuvati duzhe dobre v odnij oblasti ale ne v nastupnij Ce nakladaye serjozni obmezhennya na vikoristannya metodiv mashinnogo navchannya ta dobuvannya danih oskilki zv yazok mizh zadacheyu navchannya chasto yakas baza danih ta efektivnistyu riznih algoritmiv navchannya dosi ne zrozumilij Vikoristovuyuchi rizni vidi metadanih yak ot vlastivosti zadachi navchannya vlastivosti algoritmu yak ot pokazniki produktivnosti abo obrazi poperedno otrimani z danih mozhlivo vivchati obirati zminyuvati ta kombinuvati rizni algoritmi navchannya shobi efektivno rozv yazati zadanu zadachu navchannya Kritika pidhodiv metanavchannya duzhe shozha na kritiku metaevristiki mozhlivo pov yazanoyi zadachi Dobra analogiya z metanavchannyam i dzherelo nathnennya rannih prac Yurgena Shmidhubera 1987 ta praci en zi spivavt 1991 vihodit z togo sho genetichna evolyuciya navchayetsya proceduri navchannya zakodovanoyi v genah i vikonuyetsya v mozku kozhnoyi lyudini U vidkritij iyerarhichnij sistemi metanavchannya z vikoristannyam genetichnogo programuvannya mozhlivo navchatisya krashih evolyucijnih metodiv za dopomogoyu metaevolyuciyi yaku samu po sobi mozhlivo vdoskonalyuvati za dopomogoyu metametaevolyuciyi tosho ViznachennyaProponovane viznachennya sistemi metanavchannya poyednuye tri vimogi Sistema musit vklyuchati pidsistemu navchannya Dosvid nabuvayetsya shlyahom vikoristannya metaznan vidilenih u poperednomu epizodi navchannya na yedinomu nabori danih abo z riznih oblastej Uperedzhennya navchannya maye obiratisya dinamichno Uperedzhennya angl bias stosuyetsya pripushen yaki vplivayut na vibir poyasnyuvalnih gipotez a ne ponyattya zmishennya tezh angl bias podanogo v kompromisi zmishennya ta dispersiyi Metanavchannya cikavitsya dvoma aspektami uperedzhen navchannya Deklarativne uperedzhennya angl declarative bias viznachaye podannya prostoru gipotez i vplivaye na rozmir prostoru poshuku napriklad podavati gipotezi lishe za dopomogoyu linijnih funkcij Procedurne uperedzhennya angl procedural bias nakladaye obmezhennya na vporyadkuvannya induktivnih gipotez napriklad nadavannya perevagi menshim gipotezam Poshireni pidhodiIsnuye tri poshireni pidhodi 1 vikoristannya ciklichnih merezh iz zovnishnoyu abo vnutrishnoyu pam yattyu na osnovi modelej angl model based 2 navchannya efektivnih mir vidstani na osnovi mir angl metrics based 3 yavna optimizaciya parametriv modeli dlya shvidkogo navchannya na osnovi optimizaciyi angl optimization based Na osnovi modelej Modeli metanavchannya na osnovi modelej shvidko utochnyuyut svoyi parametri za kilka krokiv trenuvannya chogo mozhlivo dosyagati za rahunok yihnoyi vnutrishnoyi arhitekturi abo keruvannya inshoyu modellyu metanavchannya Nejronni merezhi z dopovnenoyu pam yattyu Stverdzhuyut sho nejronna merezha z dopovnenoyu pam yattyu angl Memory Augmented Neural Network abo skorocheno NMDP angl MANN zdatna shvidko koduvati novu informaciyu j vidtak adaptuvatisya do novih zavdan lishe za kilkoma prikladami Metamerezhi Metamerezhi angl Meta Networks MetaNet navchayutsya znannya metarivnya mizh zavdannyami ta zmishuyut svoyi induktivni uperedzhennya za dopomogoyu shvidkogo parametruvannya dlya shvidkogo uzagalnennya Na osnovi mir Centralna ideya metanavchannya na osnovi mir podibna do algoritmiv najblizhchih susidiv chiya vaga porodzhuyetsya yadrovoyu funkciyeyu Vono spryamovane na navchannya miri abo funkciyi vidstani nad ob yektami Ponyattya dobroyi miri zalezhit vid zadachi Vona povinna podavati zv yazok mizh vhodami v prostori zavdannya j polegshuvati rozv yazannya zadachi Zgortkova siamska nejronna merezha en skladayetsya z dvoh merezh bliznyukiv vihid yakih trenuyetsya spilno Isnuye funkciya poverh dlya navchannya zv yazku mizh parami zrazkiv danih vhodu Ci dvi merezhi odnakovi mayut odnakovi vagi j parametri merezhi Uzgodzhuvalni merezhi Uzgodzhuvalni merezhi angl Matching Networks navchayutsya merezhi yaka vidobrazhuye nevelichkij michenij opornij nabir danih ta nemichenij priklad do jogo mitki unikayuchi neobhidnosti tonkogo nastroyuvannya dlya pristosovuvannya do novih tipiv klasiv Relyacijna merezha Relyacijna merezha RM angl Relation Network RN navchayetsya naskrizno z nulya Pid chas metanavchannya vona navchayetsya navchatisya glibokoyi miri vidstani shobi porivnyuvati neveliku kilkist zobrazhen u mezhah epizodiv kozhen z yakih rozrobleno dlya imituvannya postanovki navchannya z kilkoh poglyadiv angl few shot setting Prototipovi merezhi Prototipovi merezhi angl Prototypical Networks navchayutsya metrichnogo prostoru v yakomu klasifikuvannya mozhlivo vikonuvati shlyahom obchislennya vidstanej do prototipnih podan kozhnogo z klasiv Porivnyano z neshodavnimi pidhodami navchannya z kilkoh poglyadiv voni vidobrazhayut prostishe induktivne zmishennya korisne v comu rezhimi obmezhenih danih i dosyagayut zadovilnih rezultativ Na osnovi optimizaciyi Meta algoritmiv metanavchannya na osnovi optimizaciyi polyagaye v tomu shobi nalashtuvati algoritm optimizaciyi takim chinom shobi model mogla navchatisya dobre z kilkoh prikladiv Metanavchannya DKChP Sistema metanavchannya na osnovi DKChP angl LSTM based meta learner priznachena navchatisya tochnogo algoritmu optimizaciyi yakij vikoristovuyut dlya trenuvannya inshoyi sistemi navchannya nejromerezhnogo en v rezhimi kilkoh poglyadiv Cya parametrizaciya dozvolyaye navchatisya vidpovidnih utochnen parametriv specialno dlya scenariyu koli bude zrobleno vstanovlenu kilkist utochnen u toj zhe chas navchayuchis zagalnih pochatkovih znachen navchanoyi merezhi klasifikatora yaki zabezpechuyut shvidku zbizhnist trenuvannya Chasova diskretnist MAMN angl MAML skorochennya vid modeleagnostichnogo metanavchannya angl Model Agnostic Meta Learning ce dovoli zagalnij algoritmom optimizaciyi sumisnij iz bud yakoyu modellyu yaka navchayetsya za dopomogoyu gradiyentnogo spusku Reptiliya Reptiliya angl Reptile ce nadzvichajno prostij algoritm optimizaciyi metanavchannya vrahovuyuchi sho obidvi jogo skladovi pokladayutsya na metaoptimizaciyu cherez gradiyentnij spusk j obidvi ne zalezhat vid modeli PrikladiDeyaki pidhodi yaki rozglyadali yak prikladi metanavchannya Rekurentni nejronni merezhi RNM ce universalni obchislyuvachi 1993 roku Yurgen Shmidhuber pokazav yak samoreferentni angl self referential RNM mozhut u principi navchatisya zvorotnim poshirennyam zapuskati algoritm zmini vlasnih vag sho mozhe dovoli silno vidriznyatisya vid zvorotnogo poshirennya 2001 roku en A S Yanger ta P R Konvell stvorili uspishnu sistemu kerovanogo metanavchannya na osnovi RNM z dovgoyu korotkochasnoyu pam yattyu Za dopomogoyu zvorotnogo poshirennya vona navchalasya algoritmu navchannya kvadratichnih funkcij nabagato shvidshogo za zvorotne poshirennya 2017 roku doslidniki z Deepmind Marcin Andrihovich zi spivavt rozshirili cej pidhid do optimizaciyi U 1990 h rokah doslidnicka grupa Shmidhubera dosyagla metanavchannya z pidkriplennyam angl Meta Reinforcement Learning abo Meta NP angl Meta RL za dopomogoyu samozminnih strategij napisanih universalnoyu movoyu programuvannya yaka mistit specialni instrukciyi dlya zmini samoyi strategiyi Ye yedine cilozhittyeve viprobuvannya Meta agenta NP polyagaye v maksimizaciyi vinagorodi Vin navchayetsya priskoryuvati otrimuvannya vinagorodi postijno vdoskonalyuyuchi vlasnij algoritm navchannya yakij ye chastinoyu samoreferentnoyi strategiyi Ekstremalnij tip metanavchannya z pidkriplennyam vtileno en teoretichnoyu pobudovoyu yaka mozhe pereviryati ta zminyuvati bud yaku chastinu vlasnogo programnogo zabezpechennya yake takozh mistit zagalnu sistemu dovedennya teorem Vona mozhe dosyagati rekursivnogo samovdoskonalennya dovidno optimalnim chinom Modeleagnostichne metanavchannya MAMN angl Model Agnostic Meta Learning MAML predstavili 2017 roku en zi spivavt Dlya zadanoyi poslidovnosti zavdan parametri zadanoyi modeli trenuyutsya takim chinom sho dekilka iteracij gradiyentnogo spusku z nevelikoyu kilkistyu trenuvalnih danih z novogo zavdannya vestimut do dobroyi produktivnosti uzagalnennya na comu zavdanni MAMN trenuye model buti legkoyu dlya tonkogo nastroyuvannya MAMN uspishno zastosovuvali dlya etalonnogo klasifikuvannya zobrazhen iz kilkoh poglyadiv ta dlya navchannya z pidkriplennyam na osnovi gradiyenta strategiyi Viyavlyannya metaznan angl discovering meta knowledge pracyuye shlyahom indukuvannya znan napriklad pravil yaki virazhayut yak kozhen metod navchannya pracyuvatime na riznih zadachah navchannya Metadani utvoryuyutsya harakteristikami danih zagalnimi statistichnimi informacijno teoretichnimi u zadachi navchannya ta harakteristikami algoritmu navchannya tip nalashtuvannya parametriv miri produktivnosti Potim inshij algoritm navchannya navchayetsya togo yak harakteristiki danih spivvidnosyatsya z harakteristikami algoritmiv Dlya novoyi zadachi navchannya vimiryuyut harakteristiki danih i peredbachuyut produktivnist riznih algoritmiv navchannya Vidtak mozhlivo peredbachuvati yaki algoritmi najkrashe pidhodyat dlya novoyi zadachi Skladene uzagalnyuvannya angl stacked generalisation pracyuye shlyahom poyednannya kilkoh riznih algoritmiv navchannya Metadani utvoryuyutsya peredbachennyami cih riznih algoritmiv Inshij algoritm navchannya vchitsya z cih metadanih peredbachuvati yaki poyednannya algoritmiv dayut zagalom dobri rezultati Dlya zadanoyi novoyi zadachi navchannya poyednuyut peredbachennya obranogo naboru algoritmiv napriklad shlyahom zvazhenogo golosuvannya shobi zabezpechiti ostatochne peredbachennya Oskilki vvazhayut sho kozhen z algoritmiv pracyuye nad pidmnozhinoyu zadach spodivayutsya sho poyednannya bude gnuchkishim ta zdatnim robiti dobri peredbachennya Pidsilyuvannya angl boosting pov yazane zi skladenim uzagalnyuvannyam ale vikoristovuye toj samij algoritm dekilka raziv de prikladi v trenuvalnih danih pid chas kozhnogo vikonannya otrimuyut rizni vagi Ce daye rizni peredbachennya kozhne z yakih zoseredzheno na pravilnomu peredbachenni pidmnozhini danih a poyednannya cih peredbachen prizvodit do krashih ale vitratnishih rezultativ Dinamichne obirannya uperedzhennya angl dynamic bias selection pracyuye shlyahom zmini induktivnogo uperedzhennya algoritmu navchannya vidpovidno do zadanoyi zadachi Ce robitsya shlyahom zmini klyuchovih aspektiv algoritmu navchannya takih yak podannya gipotez evristichni formuli ta parametri Isnuye bagato riznih pidhodiv Induktivne peredavannya angl inductive transfer vivchaye yak pokrashuvati proces navchannya z plinom chasu Metadani mistyat znannya pro poperedni epizodi navchannya ta vikoristovuyutsya dlya efektivnoyi rozrobki efektivnoyi gipotezi dlya novogo zavdannya Pov yazanij pidhid nazivayut en jogo meta polyagaye u vikoristanni nabutih znan z odniyeyi oblasti shobi dopomagati navchatisya v inshih oblastyah Inshi pidhodi z vikoristannyam metadanih dlya pokrashuvannya avtomatichnogo navchannya ce en en i en Bulo rozpochato pevnu pochatkovu teoretichnu robotu shodo vikoristannya en yak osnovi dlya oposeredkovanogo agentami metanavchannya shodo produktivnosti uchniv lyudej i pidlashtovuvannya kursu navchannya shtuchnogo agenta AvtoMN angl AutoML yak ot proyekt Google Brain ShI buduye ShI angl AI building AI yakij za tverdzhennyam Google 2017 roku nenadovgo perevershiv nayavni etaloni en PrimitkiSchmidhuber Jurgen 1987 Evolutionary principles in self referential learning or on learning how to learn the meta meta hook PDF Diploma Thesis Tech Univ Munich angl Schaul Tom Schmidhuber Jurgen 2010 Metalearning Scholarpedia angl 5 6 4650 Bibcode 2010SchpJ 5 4650S doi 10 4249 scholarpedia 4650 P E Utgoff 1986 Shift of bias for inductive concept learning U R Michalski J Carbonell amp T Mitchell red Machine Learning An Artificial Intelligence Approach angl s 163 190 Bengio Yoshua Bengio Samy Cloutier Jocelyn 1991 Learning to learn a synaptic rule PDF IJCNN 91 angl Lemke Christiane Budka Marcin Gabrys Bogdan 20 lipnya 2013 Metalearning a survey of trends and technologies Artificial Intelligence Review angl 44 1 117 130 doi 10 1007 s10462 013 9406 y ISSN 0269 2821 PMC 4459543 PMID 26069389 Brazdil Pavel Carrier Christophe Giraud Soares Carlos Vilalta Ricardo 2009 Metalearning Springer Cognitive Technologies angl doi 10 1007 978 3 540 73263 1 ISBN 978 3 540 73262 4 Gordon Diana Desjardins Marie 1995 Evaluation and Selection of Biases in Machine Learning PDF Machine Learning angl 20 5 22 doi 10 1023 A 1022630017346 Procitovano 27 bereznya 2020 Weng Lilian 30 listopada 2018 Meta Learning Learning to Learn Fast OpenAI Blog angl Procitovano 27 zhovtnya 2019 Santoro Adam Bartunov Sergey Wierstra Daan Lillicrap Timothy Meta Learning with Memory Augmented Neural Networks PDF angl Google DeepMind Procitovano 29 zhovtnya 2019 Munkhdalai Tsendsuren Yu Hong 2017 Meta Networks angl arXiv 1703 00837 cs LG Koch Gregory Zemel Richard Salakhutdinov Ruslan 2015 Siamese Neural Networks for One shot Image Recognition PDF angl Toronto Ontario Canada Department of Computer Science University of Toronto Vinyals O Blundell C Lillicrap T Kavukcuoglu K Wierstra D 2016 Matching networks for one shot learning PDF angl Google DeepMind Procitovano 3 listopada 2019 Sung F Yang Y Zhang L Xiang T Torr P H S Hospedales T M 2018 Learning to compare relation network for few shot learning PDF angl Snell J Swersky K Zemel R S 2017 Prototypical networks for few shot learning PDF angl Ravi Sachin Larochelle Hugo 2017 Optimization as a model for few shot learning ICLR 2017 angl Procitovano 3 listopada 2019 Finn Chelsea Abbeel Pieter Levine Sergey 2017 Model Agnostic Meta Learning for Fast Adaptation of Deep Networks angl arXiv 1703 03400 cs LG Nichol Alex Achiam Joshua Schulman John 2018 On First Order Meta Learning Algorithms angl arXiv 1803 02999 cs LG Schmidhuber Jurgen 1993 A self referential weight matrix Proceedings of ICANN 93 Amsterdam angl 446 451 Hochreiter Sepp Younger A S Conwell P R 2001 Learning to Learn Using Gradient Descent Proceedings of ICANN 01 angl 87 94 Andrychowicz Marcin Denil Misha Gomez Sergio Hoffmann Matthew Pfau David Schaul Tom Shillingford Brendan de Freitas Nando 2017 Learning to learn by gradient descent by gradient descent Proceedings of ICML 17 Sydney Australia angl Schmidhuber Jurgen 1994 On learning how to learn learning strategies PDF Technical Report FKI 198 94 Tech Univ Munich angl Schmidhuber Jurgen Zhao J Wiering M 1997 Shifting inductive bias with success story algorithm adaptive Levin search and incremental self improvement Machine Learning angl 28 105 130 doi 10 1023 a 1007383707642 Schmidhuber Jurgen 2006 Godel machines Fully Self Referential Optimal Universal Self Improvers In B Goertzel amp C Pennachin Eds Artificial General Intelligence angl 199 226 Begoli Edmon May 2014 Procedural Reasoning Architecture for Applied Behavior Analysis based Instructions Doctoral Dissertations angl Knoxville Tennessee USA University of Tennessee Knoxville 44 79 Procitovano 14 zhovtnya 2017 Robots Are Now Creating New Robots Tech Reporter Says NPR org angl 2018 Procitovano 29 bereznya 2018 AutoML for large scale image classification and object detection Google Research Blog angl November 2017 Procitovano 29 bereznya 2018 PosilannyaStattya Metalearning u Skolarpediyi angl Vilalta R Drissi Y 2002 A perspective view and survey of meta learning PDF Artificial Intelligence Review angl 18 2 77 95 Giraud Carrier C Keller J 2002 Meta Learning U Meij J red Dealing with the data flood angl The Hague STT Beweton Brazdil P Giraud Carrier C Soares C Vilalta R 2009 Metalearning Concepts and Systems Metalearning applications to data mining angl Springer Videokursi pro metanavchannya z pokrokovim poyasnennyam MAMN prototipovih i relyacijnih merezh angl

Дата публікації:
Топ