Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Маши ни екстрема льного навча ння МЕН англ extreme learning machines ELM це нейронні мережі прямого поширення для класиф

Машина екстремального навчання

Машина екстремального навчання

Маши́ни екстрема́льного навча́ння (МЕН, англ. extreme learning machines, ELM) — це нейронні мережі прямого поширення для класифікування або регресії з єдиним шаром прихованих вузлів, у яких ваги, що з'єднують входи з прихованими вузлами, є випадково призначеними й ніколи не уточнюваними. Ваги між прихованими вузлами та виходами навчаються за один крок, який по суті становить навчання лінійної моделі. Назву «машини екстремального навчання» (англ. extreme learning machine, ELM) цим моделям дав Гуан-Бін Хуан (англ. Guang-Bin Huang).

Згідно їхніх творців, ці моделі здатні видавати добру продуктивність узагальнення, і вчитися в тисячі разів швидше за мережі, треновані застосуванням зворотного поширення.

Алгоритм

Найпростіший алгоритм тренування МЕН вчиться моделі вигляду

image

де W1 є матрицею ваг від входового до прихованого шару, σ є деякою передавальною функцією, а W2 є матрицею ваг від прихованого до виходового шару. Алгоритм діє наступним чином:

  1. Заповнити W1 випадковим гауссовим шумом;
  2. оцінити W2 допасовуванням найменшими квадратами до матриці змінних відгуку Y, обчисленої застосуванням псевдообернення ⋅+ для заданої [en]X:
    image

Надійність

Чорноскриньковий характер нейронних мереж загалом і машин екстремального навчання (МЕН) зокрема є одним з основних занепокоєнь, які відштовхують інженерів від застосування їх у небезпечних задачах автоматизації. До цього конкретного питання підходили за допомогою декількох різних методик. Одним з підходів є зниження залежності від випадкового входу. Інший підхід зосереджується на включенні до процесу навчання МЕН неперервних обмежень, які виводять з попереднього знання про конкретне завдання. Це має сенс, оскільки рішення машинного навчання в багатьох областях застосування мають гарантувати безпечну дію. Зазначені дослідження показали, що особливий вигляд МЕН, з його функційним розділенням та лінійними вагами зчитування, є особливо зручним для дієвого включення неперервних обмежень до визначених наперед областей входового простору.

Полеміка

Заява на винахід МЕН 2008 року спровокувала деяку суперечку. Зокрема, в листі до редактора «IEEE Transactions on Neural Networks» було зазначено, що ідею застосування прихованого шару, з'єднаного з входами випадковими не тренованими вагами, вже було запропоновано в первинній праці з мереж РБФ кінця 1980-х років, і приблизно в ті ж терміни з'явилися експерименти з багатошаровими перцептронами з подібною випадковістю; Гуан-Бін Хуан відповів зазначенням тонких відмінностей. У праці 2015 року Хуан відповів на скарги про винайдення ним назви МЕН для вже наявних методів, поскаржившись на «дуже негативні й некорисні коментарі стосовно МЕН в ані академічному, ані професійному стилі з різних причин та намірів» та «безвідповідальну анонімну атаку, яка має на меті руйнування гармонійного дослідницького середовища», доводячи, що його праця «забезпечує об'єднавчу платформу навчання» для різних типів нейронних мереж, включно з ієрархічно структурованими МЕН. Нещодавнє дослідження замінює випадкові ваги обмеженими випадковими вагами.

Див. також

Примітки

  1. Huang, Guang-Bin; Zhu, Qin-Yu; Siew, Chee-Kheong (2006). Extreme learning machine: theory and applications. Neurocomputing. 70 (1): 489—501. CiteSeerX 10.1.1.217.3692. doi:10.1016/j.neucom.2005.12.126. (англ.)
  2. . Proc. of International Conference on Artificial Neural Networks. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)
  3. . Neurocomputing: 23—30. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)
  4. . International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. 21 (supp02): 35—50. 31 жовтня 2013. doi:10.1142/S021848851340014X. ISSN 0218-4885. Архів оригіналу за 26 квітня 2022. Процитовано 22 квітня 2017. (англ.)
  5. Neumann, Klaus (2014). . University Library Bielefeld. с. 49—74. Архів оригіналу за 2 березня 2017. Процитовано 22 квітня 2017. (англ.)
  6. Wang, Lipo P.; Wan, Chunru R. Comments on "The Extreme Learning Machine". IEEE Trans. Neural Networks. CiteSeerX 10.1.1.217.2330. (англ.)
  7. Huang, Guang-Bin (2015). (PDF). Cognitive Computing. 7. doi:10.1007/s12559-015-9333-0. Архів оригіналу (PDF) за 10 червня 2017. Процитовано 22 квітня 2017. (англ.)
  8. Zhu, W.; Miao, J.; Qing, L.; Huang, G. B. (1 липня 2015). . 2015 International Joint Conference on Neural Networks (IJCNN): 1—8. doi:10.1109/IJCNN.2015.7280669. Архів оригіналу за 22 лютого 2017. Процитовано 22 квітня 2017. (англ.)
  9. Zhu, W.; Miao, J.; Qing, L. (1 липня 2014). Constrained Extreme Learning Machine: A novel highly discriminative random feedforward neural network. 2014 International Joint Conference on Neural Networks (IJCNN): 800—807. doi:10.1109/IJCNN.2014.6889761. (англ.)

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Mashi ni ekstrema lnogo navcha nnya MEN angl extreme learning machines ELM ce nejronni merezhi pryamogo poshirennya dlya klasifikuvannya abo regresiyi z yedinim sharom prihovanih vuzliv u yakih vagi sho z yednuyut vhodi z prihovanimi vuzlami ye vipadkovo priznachenimi j nikoli ne utochnyuvanimi Vagi mizh prihovanimi vuzlami ta vihodami navchayutsya za odin krok yakij po suti stanovit navchannya linijnoyi modeli Nazvu mashini ekstremalnogo navchannya angl extreme learning machine ELM cim modelyam dav Guan Bin Huan angl Guang Bin Huang Zgidno yihnih tvorciv ci modeli zdatni vidavati dobru produktivnist uzagalnennya i vchitisya v tisyachi raziv shvidshe za merezhi trenovani zastosuvannyam zvorotnogo poshirennya AlgoritmNajprostishij algoritm trenuvannya MEN vchitsya modeli viglyadu Y W2s W1x displaystyle mathbf hat Y mathbf W 2 sigma mathbf W 1 x de W1 ye matriceyu vag vid vhodovogo do prihovanogo sharu s ye deyakoyu peredavalnoyu funkciyeyu a W2 ye matriceyu vag vid prihovanogo do vihodovogo sharu Algoritm diye nastupnim chinom Zapovniti W1 vipadkovim gaussovim shumom ociniti W2 dopasovuvannyam najmenshimi kvadratami do matrici zminnih vidguku Y obchislenoyi zastosuvannyam psevdoobernennya dlya zadanoyi en X W2 s W1X Y displaystyle mathbf W 2 sigma mathbf W 1 mathbf X mathbf Y NadijnistChornoskrinkovij harakter nejronnih merezh zagalom i mashin ekstremalnogo navchannya MEN zokrema ye odnim z osnovnih zanepokoyen yaki vidshtovhuyut inzheneriv vid zastosuvannya yih u nebezpechnih zadachah avtomatizaciyi Do cogo konkretnogo pitannya pidhodili za dopomogoyu dekilkoh riznih metodik Odnim z pidhodiv ye znizhennya zalezhnosti vid vipadkovogo vhodu Inshij pidhid zoseredzhuyetsya na vklyuchenni do procesu navchannya MEN neperervnih obmezhen yaki vivodyat z poperednogo znannya pro konkretne zavdannya Ce maye sens oskilki rishennya mashinnogo navchannya v bagatoh oblastyah zastosuvannya mayut garantuvati bezpechnu diyu Zaznacheni doslidzhennya pokazali sho osoblivij viglyad MEN z jogo funkcijnim rozdilennyam ta linijnimi vagami zchituvannya ye osoblivo zruchnim dlya diyevogo vklyuchennya neperervnih obmezhen do viznachenih napered oblastej vhodovogo prostoru PolemikaZayava na vinahid MEN 2008 roku sprovokuvala deyaku superechku Zokrema v listi do redaktora IEEE Transactions on Neural Networks bulo zaznacheno sho ideyu zastosuvannya prihovanogo sharu z yednanogo z vhodami vipadkovimi ne trenovanimi vagami vzhe bulo zaproponovano v pervinnij praci z merezh RBF kincya 1980 h rokiv i priblizno v ti zh termini z yavilisya eksperimenti z bagatosharovimi perceptronami z podibnoyu vipadkovistyu Guan Bin Huan vidpoviv zaznachennyam tonkih vidminnostej U praci 2015 roku Huan vidpoviv na skargi pro vinajdennya nim nazvi MEN dlya vzhe nayavnih metodiv poskarzhivshis na duzhe negativni j nekorisni komentari stosovno MEN v ani akademichnomu ani profesijnomu stili z riznih prichin ta namiriv ta bezvidpovidalnu anonimnu ataku yaka maye na meti rujnuvannya garmonijnogo doslidnickogo seredovisha dovodyachi sho jogo pracya zabezpechuye ob yednavchu platformu navchannya dlya riznih tipiv nejronnih merezh vklyuchno z iyerarhichno strukturovanimi MEN Neshodavnye doslidzhennya zaminyuye vipadkovi vagi obmezhenimi vipadkovimi vagami Div takozhRidkij skinchennij avtomatPrimitkiHuang Guang Bin Zhu Qin Yu Siew Chee Kheong 2006 Extreme learning machine theory and applications Neurocomputing 70 1 489 501 CiteSeerX 10 1 1 217 3692 doi 10 1016 j neucom 2005 12 126 angl Proc of International Conference on Artificial Neural Networks Arhiv originalu za 2 bereznya 2017 Procitovano 22 kvitnya 2017 angl Neurocomputing 23 30 Arhiv originalu za 2 bereznya 2017 Procitovano 22 kvitnya 2017 angl International Journal of Uncertainty Fuzziness and Knowledge Based Systems 21 supp02 35 50 31 zhovtnya 2013 doi 10 1142 S021848851340014X ISSN 0218 4885 Arhiv originalu za 26 kvitnya 2022 Procitovano 22 kvitnya 2017 angl Neumann Klaus 2014 University Library Bielefeld s 49 74 Arhiv originalu za 2 bereznya 2017 Procitovano 22 kvitnya 2017 angl Wang Lipo P Wan Chunru R Comments on The Extreme Learning Machine IEEE Trans Neural Networks CiteSeerX 10 1 1 217 2330 angl Huang Guang Bin 2015 PDF Cognitive Computing 7 doi 10 1007 s12559 015 9333 0 Arhiv originalu PDF za 10 chervnya 2017 Procitovano 22 kvitnya 2017 angl Zhu W Miao J Qing L Huang G B 1 lipnya 2015 2015 International Joint Conference on Neural Networks IJCNN 1 8 doi 10 1109 IJCNN 2015 7280669 Arhiv originalu za 22 lyutogo 2017 Procitovano 22 kvitnya 2017 angl Zhu W Miao J Qing L 1 lipnya 2014 Constrained Extreme Learning Machine A novel highly discriminative random feedforward neural network 2014 International Joint Conference on Neural Networks IJCNN 800 807 doi 10 1109 IJCNN 2014 6889761 angl

Дата публікації:
Топ