Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Самокеро ване навча ння СКН англ self supervised learning SSL це парадигма машинного навчання для обробки даних нижчої я

Самокероване навчання

Самокероване навчання

Самокеро́ване навча́ння (СКН, англ. self-supervised learning, SSL) — це парадигма машинного навчання для обробки даних нижчої якості, а не для покращення кінцевих результатів. Самокероване навчання точніше імітує те, як вчаться класифікувати об'єкти люди.

Типовий метод СКН ґрунтується на штучній нейронній мережі або іншій моделі, як-от [en]. Модель навчається у два етапи. По-перше, завдання розв'язується на основі допоміжної або зачіпкової задачі класифікування з використанням псевдоміток, які допомагають встановити початковий стан параметрів моделі. По-друге, фактичне завдання виконується з керованим або некерованим навчанням. До інших допоміжних завдань належать доповнювання замаскованих вхідних образів (пауз тиші в мовленні або замаскованих чорним частин зображення).

Останніми роками самокероване навчання дало обнадійливі результати й знайшло практичне застосування в [en], і Facebook та інші використовують його для розпізнавання мовлення.

Типи

Для задачі бінарного класифікування тренувальні дані можливо розділити на позитивні та негативні приклади. Позитивні приклади — це ті, які відповідають меті. Наприклад, якщо ви вчитеся розпізнавати птахів, то позитивні тренувальні дані — це ті зображення, що містять птахів. Негативні приклади — ті, що не містять.

Контрастове самокероване навчання

Контрастове самокероване навчання (англ. contrastive self-supervised learning) використовує як позитивні, так і негативні приклади. Функція втрат контрастового навчання мінімізує відстань із позитивними зразками, водночас максимізуючи відстань із негативними.

Неконтрастове самокероване навчання

Неконтрастове самокероване навчання (НКСКН, англ. non-contrastive self-supervised learning, NCSSL) використовує лише позитивні приклади. Всупереч очікуванням, НКСКЛ збігається до корисного локального мінімуму, замість досягати тривіального розв'язку з нульовими втратами. Для прикладу бінарного класифікування воно навчилося би тривіально класифікувати кожен приклад як позитивний. Для ефективного НКСКН потрібен додатковий передбачувач з інтерактивного боку, який не має зворотного поширення з цільового боку.

Порівняння з іншими видами машинного навчання

СКН належить до методів керованого навчання, оскільки мета полягає у породженні класифікованого виходу із входу. Проте водночас воно не вимагає явного використання мічених пар входів-виходів. Натомість кореляції, вбудовані в дані метадані, та знання предметної області, присутні в даних входу, виділяються з даних неявно й автономно. Ці керівні сигнали, породжені з даних, можливо відтак використовувати для тренування.

СКН подібне до некерованого навчання тим, що не потребує міток у зразках даних. Проте, на відміну від некерованого навчання, воно не здійснюється з використанням притаманних структур даних.

Напівкероване навчання поєднує кероване та некероване навчання, вимагаючи [en] лише невеликої частини тренувальних даних.

У передавальнім навчанні модель, розроблену для одного завдання, повторно використовують для іншого.

Тренування автокодувальника за своєю суттю становить самокерований процес, оскільки образ на виході повинен стати оптимальною відбудовою власне образу на вході. Проте в сучасному жаргоні термін «самокероване» став асоціюватися із завданнями класифікування, які ґрунтуються на постановці тренування із зачіпковим завданням (англ. pretext task). Вона включає розробку (людиною) такого зачіпкового завдання (завдань), на відміну від випадку повністю самодостатнього тренування автокодувальника.

У навчанні з підкріпленням самокероване навчання з поєднання втрат може створювати абстрактні подання, де у стисненому вигляді зберігається лише найважливіша інформація про стан.

Приклади

Самокероване навчання особливо підходить для розпізнавання мовлення. Наприклад, Facebook розробила самокерований алгоритм wav2vec для розпізнавання мовлення за допомогою двох глибоких згорткових нейронних мереж, які будуються одна з одної.

Модель Bidirectional Encoder Representations from Transformers (двоспрямовані кодувальні подання з трансформерів, BERT) Google використовують для кращого розуміння контексту пошукових запитів.

GPT-3 OpenAI — це авторегресійна мовна модель, яку можливо використовувати в обробці мови. Її можливо використовувати, серед іншого, для перекладу текстів та відповідей на питання.

Bootstrap Your Own Latent («натягни своє власне латентне», BYOL) — це НКСКН, яке дало чудові результати в [en], а також в еталонних передавальних та напівкерованих перевірках.

[en] — це приклад самокерованого навчання в обробці природної мови. З невеликої кількості мічених прикладів він навчається передбачувати, в [en] вжито багатозначне слово в певному місці тексту.

DirectPred — це НКСКН, яке встановлює ваги передбачувачів безпосередньо, замість того, щоби навчатися їх за допомогою уточнення градієнтом.

Примітки

  1. Bouchard, Louis (25 листопада 2020). What is Self-Supervised Learning? | Will machines ever be able to learn like humans?. Medium (англ.). Процитовано 9 червня 2021.
  2. Yarowsky, David (1995). Unsupervised Word Sense Disambiguation Rivaling Supervised Methods. Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics (англ.). Cambridge, MA: Association for Computational Linguistics: 189—196. doi:10.3115/981658.981684. Процитовано 1 November 2022.
  3. Doersch, Carl; Zisserman, Andrew (October 2017). Multi-task Self-Supervised Visual Learning. 2017 IEEE International Conference on Computer Vision (ICCV) (англ.). IEEE. с. 2070—2079. arXiv:1708.07860. doi:10.1109/iccv.2017.226. ISBN . S2CID 473729.
  4. Beyer, Lucas; Zhai, Xiaohua; Oliver, Avital; Kolesnikov, Alexander (October 2019). S4L: Self-Supervised Semi-Supervised Learning. 2019 IEEE/CVF International Conference on Computer Vision (ICCV) (англ.). IEEE. с. 1476—1485. arXiv:1905.03670. doi:10.1109/iccv.2019.00156. ISBN . S2CID 167209887.
  5. Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). Unsupervised Visual Representation Learning by Context Prediction. 2015 IEEE International Conference on Computer Vision (ICCV) (англ.). IEEE. с. 1422—1430. arXiv:1505.05192. doi:10.1109/iccv.2015.167. ISBN . S2CID 9062671.
  6. Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (April 2018). Fast and robust segmentation of white blood cell images by self-supervised learning. Micron (англ.). 107: 55—71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969. S2CID 3796689.
  7. Gidaris, Spyros; Bursuc, Andrei; Komodakis, Nikos; Perez, Patrick Perez; Cord, Matthieu (October 2019). Boosting Few-Shot Visual Learning with Self-Supervision. 2019 IEEE/CVF International Conference on Computer Vision (ICCV) (англ.). IEEE. с. 8058—8067. arXiv:1906.05186. doi:10.1109/iccv.2019.00815. ISBN . S2CID 186206588.
  8. Wav2vec: State-of-the-art speech recognition through self-supervision. ai.facebook.com (англ.). Процитовано 9 червня 2021.
  9. Demystifying a key self-supervised learning technique: Non-contrastive learning. ai.facebook.com (англ.). Процитовано 5 жовтня 2021.
  10. Littwin, Etai; Wolf, Lior (June 2016). The Multiverse Loss for Robust Transfer Learning. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (англ.). IEEE. с. 3957—3966. arXiv:1511.09033. doi:10.1109/cvpr.2016.429. ISBN . S2CID 6517610.
  11. Kramer, Mark A. (1991). Nonlinear principal component analysis using autoassociative neural networks (PDF). AIChE Journal (англ.). 37 (2): 233—243. doi:10.1002/aic.690370209.
  12. Francois-Lavet, Vincent; Bengio, Yoshua; Precup, Doina; Pineau, Joelle (2019). Combined Reinforcement Learning via Abstract Representations. Proceedings of the AAAI Conference on Artificial Intelligence (англ.). arXiv:1809.04506.
  13. Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing. Google AI Blog (англ.). 2 листопада 2018. Процитовано 9 червня 2021.
  14. Wilcox, Ethan; Qian, Peng; Futrell, Richard; Kohita, Ryosuke; Levy, Roger; Ballesteros, Miguel (2020). Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (англ.). Stroudsburg, PA, USA: Association for Computational Linguistics: 4640—4652. arXiv:2010.05725. doi:10.18653/v1/2020.emnlp-main.375. S2CID 222291675.
  15. Grill, Jean-Bastien; Strub, Florian; Altché, Florent; Tallec, Corentin; Richemond, Pierre H.; Buchatskaya, Elena; Doersch, Carl; Pires, Bernardo Avila; Guo, Zhaohan Daniel; Azar, Mohammad Gheshlaghi; Piot, Bilal (10 вересня 2020). Bootstrap your own latent: A new approach to self-supervised Learning (англ.). arXiv:2006.07733 [cs.LG].

Література

  • Balestriero, Randall; Ibrahim, Mark; Sobal, Vlad; Morcos, Ari; Shekhar, Shashank; Goldstein, Tom; Bordes, Florian; Bardes, Adrien; Mialon, Gregoire; Tian, Yuandong; Schwarzschild, Avi; Wilson, Andrew Gordon; Geiping, Jonas; Garrido, Quentin; Fernandez, Pierre (24 квітня 2023). A Cookbook of Self-Supervised Learning (англ.). arXiv:2304.12210 [cs.LG].

Посилання

  • Doersch, Carl; Zisserman, Andrew (October 2017). Multi-task Self-Supervised Visual Learning. 2017 IEEE International Conference on Computer Vision (ICCV) (англ.). с. 2070—2079. arXiv:1708.07860. doi:10.1109/ICCV.2017.226. ISBN . S2CID 473729.
  • Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). Unsupervised Visual Representation Learning by Context Prediction. 2015 IEEE International Conference on Computer Vision (ICCV) (англ.). с. 1422—1430. arXiv:1505.05192. doi:10.1109/ICCV.2015.167. ISBN . S2CID 9062671.
  • Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (1 квітня 2018). Fast and robust segmentation of white blood cell images by self-supervised learning. Micron (англ.). 107: 55—71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969. S2CID 3796689.
  • Yarowsky, David (1995). Unsupervised Word Sense Disambiguation Rivaling Supervised Methods. Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics (англ.). Cambridge, MA: Association for Computational Linguistics: 189—196. doi:10.3115/981658.981684. Процитовано 1 November 2022.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Samokero vane navcha nnya SKN angl self supervised learning SSL ce paradigma mashinnogo navchannya dlya obrobki danih nizhchoyi yakosti a ne dlya pokrashennya kincevih rezultativ Samokerovane navchannya tochnishe imituye te yak vchatsya klasifikuvati ob yekti lyudi Tipovij metod SKN gruntuyetsya na shtuchnij nejronnij merezhi abo inshij modeli yak ot en Model navchayetsya u dva etapi Po pershe zavdannya rozv yazuyetsya na osnovi dopomizhnoyi abo zachipkovoyi zadachi klasifikuvannya z vikoristannyam psevdomitok yaki dopomagayut vstanoviti pochatkovij stan parametriv modeli Po druge faktichne zavdannya vikonuyetsya z kerovanim abo nekerovanim navchannyam Do inshih dopomizhnih zavdan nalezhat dopovnyuvannya zamaskovanih vhidnih obraziv pauz tishi v movlenni abo zamaskovanih chornim chastin zobrazhennya Ostannimi rokami samokerovane navchannya dalo obnadijlivi rezultati j znajshlo praktichne zastosuvannya v en i Facebook ta inshi vikoristovuyut jogo dlya rozpiznavannya movlennya TipiDlya zadachi binarnogo klasifikuvannya trenuvalni dani mozhlivo rozdiliti na pozitivni ta negativni prikladi Pozitivni prikladi ce ti yaki vidpovidayut meti Napriklad yaksho vi vchitesya rozpiznavati ptahiv to pozitivni trenuvalni dani ce ti zobrazhennya sho mistyat ptahiv Negativni prikladi ti sho ne mistyat Kontrastove samokerovane navchannya Kontrastove samokerovane navchannya angl contrastive self supervised learning vikoristovuye yak pozitivni tak i negativni prikladi Funkciya vtrat kontrastovogo navchannya minimizuye vidstan iz pozitivnimi zrazkami vodnochas maksimizuyuchi vidstan iz negativnimi Nekontrastove samokerovane navchannya Nekontrastove samokerovane navchannya NKSKN angl non contrastive self supervised learning NCSSL vikoristovuye lishe pozitivni prikladi Vsuperech ochikuvannyam NKSKL zbigayetsya do korisnogo lokalnogo minimumu zamist dosyagati trivialnogo rozv yazku z nulovimi vtratami Dlya prikladu binarnogo klasifikuvannya vono navchilosya bi trivialno klasifikuvati kozhen priklad yak pozitivnij Dlya efektivnogo NKSKN potriben dodatkovij peredbachuvach z interaktivnogo boku yakij ne maye zvorotnogo poshirennya z cilovogo boku Porivnyannya z inshimi vidami mashinnogo navchannyaSKN nalezhit do metodiv kerovanogo navchannya oskilki meta polyagaye u porodzhenni klasifikovanogo vihodu iz vhodu Prote vodnochas vono ne vimagaye yavnogo vikoristannya michenih par vhodiv vihodiv Natomist korelyaciyi vbudovani v dani metadani ta znannya predmetnoyi oblasti prisutni v danih vhodu vidilyayutsya z danih neyavno j avtonomno Ci kerivni signali porodzheni z danih mozhlivo vidtak vikoristovuvati dlya trenuvannya SKN podibne do nekerovanogo navchannya tim sho ne potrebuye mitok u zrazkah danih Prote na vidminu vid nekerovanogo navchannya vono ne zdijsnyuyetsya z vikoristannyam pritamannih struktur danih Napivkerovane navchannya poyednuye kerovane ta nekerovane navchannya vimagayuchi en lishe nevelikoyi chastini trenuvalnih danih U peredavalnim navchanni model rozroblenu dlya odnogo zavdannya povtorno vikoristovuyut dlya inshogo Trenuvannya avtokoduvalnika za svoyeyu suttyu stanovit samokerovanij proces oskilki obraz na vihodi povinen stati optimalnoyu vidbudovoyu vlasne obrazu na vhodi Prote v suchasnomu zhargoni termin samokerovane stav asociyuvatisya iz zavdannyami klasifikuvannya yaki gruntuyutsya na postanovci trenuvannya iz zachipkovim zavdannyam angl pretext task Vona vklyuchaye rozrobku lyudinoyu takogo zachipkovogo zavdannya zavdan na vidminu vid vipadku povnistyu samodostatnogo trenuvannya avtokoduvalnika U navchanni z pidkriplennyam samokerovane navchannya z poyednannya vtrat mozhe stvoryuvati abstraktni podannya de u stisnenomu viglyadi zberigayetsya lishe najvazhlivisha informaciya pro stan PrikladiSamokerovane navchannya osoblivo pidhodit dlya rozpiznavannya movlennya Napriklad Facebook rozrobila samokerovanij algoritm wav2vec dlya rozpiznavannya movlennya za dopomogoyu dvoh glibokih zgortkovih nejronnih merezh yaki buduyutsya odna z odnoyi Model Bidirectional Encoder Representations from Transformers dvospryamovani koduvalni podannya z transformeriv BERT Google vikoristovuyut dlya krashogo rozuminnya kontekstu poshukovih zapitiv GPT 3 OpenAI ce avtoregresijna movna model yaku mozhlivo vikoristovuvati v obrobci movi Yiyi mozhlivo vikoristovuvati sered inshogo dlya perekladu tekstiv ta vidpovidej na pitannya Bootstrap Your Own Latent natyagni svoye vlasne latentne BYOL ce NKSKN yake dalo chudovi rezultati v en a takozh v etalonnih peredavalnih ta napivkerovanih perevirkah en ce priklad samokerovanogo navchannya v obrobci prirodnoyi movi Z nevelikoyi kilkosti michenih prikladiv vin navchayetsya peredbachuvati v en vzhito bagatoznachne slovo v pevnomu misci tekstu DirectPred ce NKSKN yake vstanovlyuye vagi peredbachuvachiv bezposeredno zamist togo shobi navchatisya yih za dopomogoyu utochnennya gradiyentom PrimitkiBouchard Louis 25 listopada 2020 What is Self Supervised Learning Will machines ever be able to learn like humans Medium angl Procitovano 9 chervnya 2021 Yarowsky David 1995 Unsupervised Word Sense Disambiguation Rivaling Supervised Methods Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics angl Cambridge MA Association for Computational Linguistics 189 196 doi 10 3115 981658 981684 Procitovano 1 November 2022 Doersch Carl Zisserman Andrew October 2017 Multi task Self Supervised Visual Learning 2017 IEEE International Conference on Computer Vision ICCV angl IEEE s 2070 2079 arXiv 1708 07860 doi 10 1109 iccv 2017 226 ISBN 978 1 5386 1032 9 S2CID 473729 Beyer Lucas Zhai Xiaohua Oliver Avital Kolesnikov Alexander October 2019 S4L Self Supervised Semi Supervised Learning 2019 IEEE CVF International Conference on Computer Vision ICCV angl IEEE s 1476 1485 arXiv 1905 03670 doi 10 1109 iccv 2019 00156 ISBN 978 1 7281 4803 8 S2CID 167209887 Doersch Carl Gupta Abhinav Efros Alexei A December 2015 Unsupervised Visual Representation Learning by Context Prediction 2015 IEEE International Conference on Computer Vision ICCV angl IEEE s 1422 1430 arXiv 1505 05192 doi 10 1109 iccv 2015 167 ISBN 978 1 4673 8391 2 S2CID 9062671 Zheng Xin Wang Yong Wang Guoyou Liu Jianguo April 2018 Fast and robust segmentation of white blood cell images by self supervised learning Micron angl 107 55 71 doi 10 1016 j micron 2018 01 010 ISSN 0968 4328 PMID 29425969 S2CID 3796689 Gidaris Spyros Bursuc Andrei Komodakis Nikos Perez Patrick Perez Cord Matthieu October 2019 Boosting Few Shot Visual Learning with Self Supervision 2019 IEEE CVF International Conference on Computer Vision ICCV angl IEEE s 8058 8067 arXiv 1906 05186 doi 10 1109 iccv 2019 00815 ISBN 978 1 7281 4803 8 S2CID 186206588 Wav2vec State of the art speech recognition through self supervision ai facebook com angl Procitovano 9 chervnya 2021 Demystifying a key self supervised learning technique Non contrastive learning ai facebook com angl Procitovano 5 zhovtnya 2021 Littwin Etai Wolf Lior June 2016 The Multiverse Loss for Robust Transfer Learning 2016 IEEE Conference on Computer Vision and Pattern Recognition CVPR angl IEEE s 3957 3966 arXiv 1511 09033 doi 10 1109 cvpr 2016 429 ISBN 978 1 4673 8851 1 S2CID 6517610 Kramer Mark A 1991 Nonlinear principal component analysis using autoassociative neural networks PDF AIChE Journal angl 37 2 233 243 doi 10 1002 aic 690370209 Francois Lavet Vincent Bengio Yoshua Precup Doina Pineau Joelle 2019 Combined Reinforcement Learning via Abstract Representations Proceedings of the AAAI Conference on Artificial Intelligence angl arXiv 1809 04506 Open Sourcing BERT State of the Art Pre training for Natural Language Processing Google AI Blog angl 2 listopada 2018 Procitovano 9 chervnya 2021 Wilcox Ethan Qian Peng Futrell Richard Kohita Ryosuke Levy Roger Ballesteros Miguel 2020 Structural Supervision Improves Few Shot Learning and Syntactic Generalization in Neural Language Models Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing EMNLP angl Stroudsburg PA USA Association for Computational Linguistics 4640 4652 arXiv 2010 05725 doi 10 18653 v1 2020 emnlp main 375 S2CID 222291675 Grill Jean Bastien Strub Florian Altche Florent Tallec Corentin Richemond Pierre H Buchatskaya Elena Doersch Carl Pires Bernardo Avila Guo Zhaohan Daniel Azar Mohammad Gheshlaghi Piot Bilal 10 veresnya 2020 Bootstrap your own latent A new approach to self supervised Learning angl arXiv 2006 07733 cs LG LiteraturaBalestriero Randall Ibrahim Mark Sobal Vlad Morcos Ari Shekhar Shashank Goldstein Tom Bordes Florian Bardes Adrien Mialon Gregoire Tian Yuandong Schwarzschild Avi Wilson Andrew Gordon Geiping Jonas Garrido Quentin Fernandez Pierre 24 kvitnya 2023 A Cookbook of Self Supervised Learning angl arXiv 2304 12210 cs LG PosilannyaDoersch Carl Zisserman Andrew October 2017 Multi task Self Supervised Visual Learning 2017 IEEE International Conference on Computer Vision ICCV angl s 2070 2079 arXiv 1708 07860 doi 10 1109 ICCV 2017 226 ISBN 978 1 5386 1032 9 S2CID 473729 Doersch Carl Gupta Abhinav Efros Alexei A December 2015 Unsupervised Visual Representation Learning by Context Prediction 2015 IEEE International Conference on Computer Vision ICCV angl s 1422 1430 arXiv 1505 05192 doi 10 1109 ICCV 2015 167 ISBN 978 1 4673 8391 2 S2CID 9062671 Zheng Xin Wang Yong Wang Guoyou Liu Jianguo 1 kvitnya 2018 Fast and robust segmentation of white blood cell images by self supervised learning Micron angl 107 55 71 doi 10 1016 j micron 2018 01 010 ISSN 0968 4328 PMID 29425969 S2CID 3796689 Yarowsky David 1995 Unsupervised Word Sense Disambiguation Rivaling Supervised Methods Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics angl Cambridge MA Association for Computational Linguistics 189 196 doi 10 3115 981658 981684 Procitovano 1 November 2022

Дата публікації:
Топ