Конкурентне навчання є формою некерованого навчання у штучних нейронних мережах, в яких вузли конкурують за право реагувати на підмножину вхідних даних. Варіант навчання за Геббовою теорією, конкурентне навчання працює шляхом підвищення спеціалізації кожного вузла в мережі. Воно добре підходить для пошуку кластерів у межах даних.
Моделі та алгоритми, засновані на принципі конкурентного навчання, включають [en] та самоорганізаційні карти Кохонена.
Засади
Правило конкурентного навчання засноване на трьох елементах:
- Набір однакових нейронів з випадково розподіленими синаптичними вагами, що приводять до різної реакції нейронів на заданий набір вхідних шаблонів
- Обмеження накладено на значення «сили» кожного нейрона
- Механізм, який дозволяє нейронам конкурувати за право реагувати на підмножину вхідних даних, влаштований таким чином, що тільки один вихідний нейрон (або тільки один нейрон у групі) є активним (тобто «увімкнений») за один раз. Нейрон, який перемагає у змаганні, називається нейроном «Переможець отримує все».
Відповідно, окремі нейрони у мережі навчаються спеціалізуватися на ансамблях подібних моделей і тим самим стають «детекторами» для різних класів вхідних шаблонів.
Той факт, що конкурентоспроможні мережі перекодують безліч корельованих входів до одного з декількох вихідних нейронів, по суті усуває надмірність у поданні, що є важливою частиною обробки в біологічних сенсорних системах.
Архітектура та реалізація
Конкурентне навчання зазвичай реалізується з нейронними мережами, які містять прихований шар, який широко відомий як «конкурентний шар» . Кожен конкурентний нейрон описується вектором вагів і обчислює коефіцієнт подібності між вхідними даними та ваговим вектором .
Для кожного вхідного вектора конкурентні нейрони «змагаються» один з одним, щоб виявити, який з них є найбільш подібним до цього конкретного вхідного вектора. Нейрон переможця встановлює свій вихід , а всі інші конкурентні нейрони встановлюють свій вихід.
Зазвичай для вимірювання подібності використовується зворотна евклідова відстань: між вхідним вектором та ваговим вектором .
Приклад алгоритму
Наведемо простий алгоритм конкурентного навчання, щоб знайти три кластера в межах деяких вхідних даних.
1. Налаштування: Нехай набір датчиків подається в три різні вузли, так що кожен вузол підключається до кожного датчика. Нехай ваги, які кожен вузол дає своїм датчикам, встановлюються випадковим чином від 0,0 до 1,0. Нехай вихід кожного вузла є сумою всіх його датчиків, причому потужність сигналу кожного датчика помножується на його вагу.
2. Коли у мережу подаються вхідні дані, вузол з найбільшим виходом вважається переможцем. Вхідні дані класифікується так, якби вони були всередині кластера, що відповідає цьому вузлу.
3. Вузол-переможець оновлює кожну свою вагу, переміщаючи вагу від з'єднань тих датчиків, що дали йому слабкі сигнали, до тих, що дали йому сильніші сигнали.
Таким чином, при отриманні великої кількості даних, кожен вузол сходиться докупи в центрі кластера, який він представляє і активізується з більшою ймовірністю для вхідних даних у цьому кластері та з меншою ймовірністю для вхідних даних з інших кластерів.
Див. також
Примітки
- ; David Zipser; James L. McClelland та ін. (1986). Parallel Distributed Processing, Vol. 1. MIT Press. с. 151—193.
- Rumelhart, David E., and David Zipser. «Feature discovery by competitive learning [ 12 вересня 2017 у Wayback Machine.].» Cognitive science 9.1 (1985): 75-112.
- Haykin, Simon, «Neural Network. A comprehensive foundation.» Neural Networks 2.2004 (2004).
- Barlow, Horace B. «Unsupervised learning.» Neural computation 1.3 (1989): 295—311.
- Edmund T.. Rolls, and Gustavo Deco. Computational neuroscience of vision. Oxford: Oxford university press, 2002.
- Salatas, John (24 серпня 2011). . ICT Research Blog. Архів оригіналу за 12 листопада 2012. Процитовано 28 січня 2012.
Посилання та ПЗ
- Draft Report «Деякі конкурентні методи навчання» [ 1 жовтня 2020 у Wayback Machine.] (містить опис деяких алгоритмів)
- DemoGNG — Java-симулятор методів конкурентного навчання [ 29 січня 2019 у Wayback Machine.]
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Konkurentne navchannya ye formoyu nekerovanogo navchannya u shtuchnih nejronnih merezhah v yakih vuzli konkuruyut za pravo reaguvati na pidmnozhinu vhidnih danih Variant navchannya za Gebbovoyu teoriyeyu konkurentne navchannya pracyuye shlyahom pidvishennya specializaciyi kozhnogo vuzla v merezhi Vono dobre pidhodit dlya poshuku klasteriv u mezhah danih Modeli ta algoritmi zasnovani na principi konkurentnogo navchannya vklyuchayut en ta samoorganizacijni karti Kohonena ZasadiPravilo konkurentnogo navchannya zasnovane na troh elementah Nabir odnakovih nejroniv z vipadkovo rozpodilenimi sinaptichnimi vagami sho privodyat do riznoyi reakciyi nejroniv na zadanij nabir vhidnih shabloniv Obmezhennya nakladeno na znachennya sili kozhnogo nejrona Mehanizm yakij dozvolyaye nejronam konkuruvati za pravo reaguvati na pidmnozhinu vhidnih danih vlashtovanij takim chinom sho tilki odin vihidnij nejron abo tilki odin nejron u grupi ye aktivnim tobto uvimknenij za odin raz Nejron yakij peremagaye u zmaganni nazivayetsya nejronom Peremozhec otrimuye vse Vidpovidno okremi nejroni u merezhi navchayutsya specializuvatisya na ansamblyah podibnih modelej i tim samim stayut detektorami dlya riznih klasiv vhidnih shabloniv Toj fakt sho konkurentospromozhni merezhi perekoduyut bezlich korelovanih vhodiv do odnogo z dekilkoh vihidnih nejroniv po suti usuvaye nadmirnist u podanni sho ye vazhlivoyu chastinoyu obrobki v biologichnih sensornih sistemah Arhitektura ta realizaciyaArhitektura konkurentnoyi nejronnoyi merezhi Konkurentne navchannya zazvichaj realizuyetsya z nejronnimi merezhami yaki mistyat prihovanij shar yakij shiroko vidomij yak konkurentnij shar Kozhen konkurentnij nejron opisuyetsya vektorom vagiv w i w i 1 w i d T i 1 M displaystyle mathbf w i left w i1 w id right T i 1 M i obchislyuye koeficiyent podibnosti mizh vhidnimi danimi x n x n 1 x n d T R d displaystyle mathbf x n left x n1 x nd right T in mathbb R d ta vagovim vektorom w i displaystyle mathbf w i Dlya kozhnogo vhidnogo vektora konkurentni nejroni zmagayutsya odin z odnim shob viyaviti yakij z nih ye najbilsh podibnim do cogo konkretnogo vhidnogo vektora Nejron peremozhcya vstanovlyuye svij vihid o m 1 displaystyle o m 1 a vsi inshi konkurentni nejroni vstanovlyuyut svij vihido i 0 i 1 M i m displaystyle o i 0 i 1 M i neq m Zazvichaj dlya vimiryuvannya podibnosti vikoristovuyetsya zvorotna evklidova vidstan x w i displaystyle left mathbf x mathbf w i right mizh vhidnim vektorom x n displaystyle mathbf x n ta vagovim vektorom w i displaystyle mathbf w i Priklad algoritmuNavedemo prostij algoritm konkurentnogo navchannya shob znajti tri klastera v mezhah deyakih vhidnih danih 1 Nalashtuvannya Nehaj nabir datchikiv podayetsya v tri rizni vuzli tak sho kozhen vuzol pidklyuchayetsya do kozhnogo datchika Nehaj vagi yaki kozhen vuzol daye svoyim datchikam vstanovlyuyutsya vipadkovim chinom vid 0 0 do 1 0 Nehaj vihid kozhnogo vuzla ye sumoyu vsih jogo datchikiv prichomu potuzhnist signalu kozhnogo datchika pomnozhuyetsya na jogo vagu 2 Koli u merezhu podayutsya vhidni dani vuzol z najbilshim vihodom vvazhayetsya peremozhcem Vhidni dani klasifikuyetsya tak yakbi voni buli vseredini klastera sho vidpovidaye comu vuzlu 3 Vuzol peremozhec onovlyuye kozhnu svoyu vagu peremishayuchi vagu vid z yednan tih datchikiv sho dali jomu slabki signali do tih sho dali jomu silnishi signali Takim chinom pri otrimanni velikoyi kilkosti danih kozhen vuzol shoditsya dokupi v centri klastera yakij vin predstavlyaye i aktivizuyetsya z bilshoyu jmovirnistyu dlya vhidnih danih u comu klasteri ta z menshoyu jmovirnistyu dlya vhidnih danih z inshih klasteriv Div takozhAnsambleve navchannya Nejronnij gaz en Primitki David Zipser James L McClelland ta in 1986 Parallel Distributed Processing Vol 1 MIT Press s 151 193 Rumelhart David E and David Zipser Feature discovery by competitive learning 12 veresnya 2017 u Wayback Machine Cognitive science 9 1 1985 75 112 Haykin Simon Neural Network A comprehensive foundation Neural Networks 2 2004 2004 Barlow Horace B Unsupervised learning Neural computation 1 3 1989 295 311 Edmund T Rolls and Gustavo Deco Computational neuroscience of vision Oxford Oxford university press 2002 Salatas John 24 serpnya 2011 ICT Research Blog Arhiv originalu za 12 listopada 2012 Procitovano 28 sichnya 2012 Posilannya ta PZDraft Report Deyaki konkurentni metodi navchannya 1 zhovtnya 2020 u Wayback Machine mistit opis deyakih algoritmiv DemoGNG Java simulyator metodiv konkurentnogo navchannya 29 sichnya 2019 u Wayback Machine