Нейронна мережа Коско (Двонаправлена асоціативна пам'ять — ДАП) — нейронна мережа, розроблена Бартом Коско. Це одношарова нейронна мережа зі зворотними зв'язками, базується на двох ідеях: теорії адаптивного резонансу Стефана Гросберга і автоасоціативній пам'яті Хопфілда. Двонаправлена асоціативна пам'ять (ДАП) є гетероасоціативною; вектор вхідних сигналів надходить на один набір нейронів, а відповідний вихідний вектор виробляється на іншому наборі нейронів. Як і мережа Хопфілда, ДАП здатна до узагальнення, виробляючи правильні реакції, незважаючи на спотворені входи. Крім того, можуть бути реалізовані адаптивні версії ДАП, що виділяють еталонний образ із зашумленних прикладів. Ці можливості сильно нагадують процес мислення людини і дозволяють штучним нейронних мережах зробити крок у напрямку моделювання мозку.
Синхронна ДАП
Мережа складається з двох шарів елементів, між якими є двосторонні зв'язки, з'єднані з елементами за принципом усі з усіма. Тому для опису мережі може використовуватися матриця ваг. У разі, коли ця матриця квадратна і симетрична, ДАП перетворюється на автоасоціативну мережу Хопфілда.
Коли на вхід мережі подається якийсь стимул, який є зашумленими, то передача сигналів усередині ДАП відбувається так довго поки мережа не знайде найближчий еталон (асоціацію), якому раніше навчали мережу. Цей процес можна інтерпретувати як спогад і стабілізацію пам'яті.
Неперервна ДАП
Безперервні асинхронні ДАП відкидають синхронність і розривність, але функціонують в основному аналогічно дискретним версіям.
У синхронної ДАП формальні нейрони в шарах 1 і 2 синхронні, тобто кожен нейрон має пам'ять, причому всі нейрони змінюють стани одночасно. У асинхронної системі будь-якої нейрон вільний змінювати стан в будь-який час, коли його вхід наказує це зробити.
При визначенні функції активації нейрона використовувався простий поріг, тим самим утворюючи розривною передатної функції нейронів. До цього моменту стає відомий метод зворотного поширення помилки, тому з'являється можливість створити неперевну модифікацію ДАП. Було показано, що сигмоїда здатна посилювати низькорівневі сигнали, в той же час стискаючи динамічний діапазон нейронів. Неперевна ДАП може мати сигмоїдну функцію з величиною l, близькою до одиниці, утворюючи тим самим нейрони з плавною і неперевною реакцією.
Адаптивна ДАП
Адаптивна ДАП змінює свої ваги в процесі функціонування. Це означає, що подача на вхід мережі навчального набору вхідних векторів змушує її змінювати енергетичний стан до отримання резонансу. Поступово короткочасна пам'ять перетворюється на довгострокову пам'ять, настроюючи мережу в результаті її функціонування. У процесі навчання вектори подаються на шар А, а асоційовані вектори на шар В. Один з них або обидва вектора можуть бути зашумленими версіями еталону; мережа навчається вихідним векторам, вільним від шуму. У цьому випадку вона витягує сутність асоціацій, навчаючись еталонам, хоча «бачила» тільки зашумлені апроксимації.
Конкуруюча ДАП
У багатьох конкуруючих нейронних системах спостерігаються деякі види конкуренції між нейронами. У нейронах, що обробляють сигнали від сітківки, латеральне гальмування призводить до збільшення виходу найвисокоактивніших нейронів за рахунок сусідніх. Такі системи збільшують контрастність, піднімаючи рівень активності нейронів, під'єднаних до яскравої області сітківки, в той же час ще більше ослаблюючи виходи нейронів, під'єднаних до темних областей.
У ДАП конкуренція реалізується взаємним з'єднанням нейронів усередині кожного шару за допомогою додаткових зв'язків. Ваги цих зв'язків формують іншу вагову матрицю з позитивними значеннями елементів головної діагоналі і негативними значеннями інших елементів.
Див. також
Література
- Kosko B. Bi-directional associative memories // IEEE Transactions on Systems, Man and Cybernetics. — 1987. — С. 18(1):49-60.
- Kosko B. Competitive adaptive bi-directional associative memories. // In Proceedings of the IEEE First International Conference on Neural Networks, eds. M.Caudill and C.Butler. — San Diego: 1987. — С. vol. 2, pp. 759-66.
- Kosko B. Constructing an associative memory. — 1987. — С. pp. 137-44.
- Kosko В., Guest С. Optical bi-directional associative memories. // Sosiety for Photo-optical and Instrumentation Engineers Proceedings: Image Understanding. — 1987. — С. 758:11-18.
- Уоссермен, Ф. . — М.: Мир, 1992. — 240 с. —
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Nejronna merezha Kosko Dvonapravlena asociativna pam yat DAP nejronna merezha rozroblena Bartom Kosko Ce odnosharova nejronna merezha zi zvorotnimi zv yazkami bazuyetsya na dvoh ideyah teoriyi adaptivnogo rezonansu Stefana Grosberga i avtoasociativnij pam yati Hopfilda Dvonapravlena asociativna pam yat DAP ye geteroasociativnoyu vektor vhidnih signaliv nadhodit na odin nabir nejroniv a vidpovidnij vihidnij vektor viroblyayetsya na inshomu nabori nejroniv Yak i merezha Hopfilda DAP zdatna do uzagalnennya viroblyayuchi pravilni reakciyi nezvazhayuchi na spotvoreni vhodi Krim togo mozhut buti realizovani adaptivni versiyi DAP sho vidilyayut etalonnij obraz iz zashumlennih prikladiv Ci mozhlivosti silno nagaduyut proces mislennya lyudini i dozvolyayut shtuchnim nejronnih merezhah zrobiti krok u napryamku modelyuvannya mozku Arhitektura nejronnoyi merezhi KoskoSinhronna DAPMerezha skladayetsya z dvoh shariv elementiv mizh yakimi ye dvostoronni zv yazki z yednani z elementami za principom usi z usima Tomu dlya opisu merezhi mozhe vikoristovuvatisya matricya vag U razi koli cya matricya kvadratna i simetrichna DAP peretvoryuyetsya na avtoasociativnu merezhu Hopfilda Koli na vhid merezhi podayetsya yakijs stimul yakij ye zashumlenimi to peredacha signaliv useredini DAP vidbuvayetsya tak dovgo poki merezha ne znajde najblizhchij etalon asociaciyu yakomu ranishe navchali merezhu Cej proces mozhna interpretuvati yak spogad i stabilizaciyu pam yati Neperervna DAPBezperervni asinhronni DAP vidkidayut sinhronnist i rozrivnist ale funkcionuyut v osnovnomu analogichno diskretnim versiyam U sinhronnoyi DAP formalni nejroni v sharah 1 i 2 sinhronni tobto kozhen nejron maye pam yat prichomu vsi nejroni zminyuyut stani odnochasno U asinhronnoyi sistemi bud yakoyi nejron vilnij zminyuvati stan v bud yakij chas koli jogo vhid nakazuye ce zrobiti Pri viznachenni funkciyi aktivaciyi nejrona vikoristovuvavsya prostij porig tim samim utvoryuyuchi rozrivnoyu peredatnoyi funkciyi nejroniv Do cogo momentu staye vidomij metod zvorotnogo poshirennya pomilki tomu z yavlyayetsya mozhlivist stvoriti neperevnu modifikaciyu DAP Bulo pokazano sho sigmoyida zdatna posilyuvati nizkorivnevi signali v toj zhe chas stiskayuchi dinamichnij diapazon nejroniv Neperevna DAP mozhe mati sigmoyidnu funkciyu z velichinoyu l blizkoyu do odinici utvoryuyuchi tim samim nejroni z plavnoyu i neperevnoyu reakciyeyu Adaptivna DAPAdaptivna DAP zminyuye svoyi vagi v procesi funkcionuvannya Ce oznachaye sho podacha na vhid merezhi navchalnogo naboru vhidnih vektoriv zmushuye yiyi zminyuvati energetichnij stan do otrimannya rezonansu Postupovo korotkochasna pam yat peretvoryuyetsya na dovgostrokovu pam yat nastroyuyuchi merezhu v rezultati yiyi funkcionuvannya U procesi navchannya vektori podayutsya na shar A a asocijovani vektori na shar V Odin z nih abo obidva vektora mozhut buti zashumlenimi versiyami etalonu merezha navchayetsya vihidnim vektoram vilnim vid shumu U comu vipadku vona vityaguye sutnist asociacij navchayuchis etalonam hocha bachila tilki zashumleni aproksimaciyi Konkuruyucha DAPU bagatoh konkuruyuchih nejronnih sistemah sposterigayutsya deyaki vidi konkurenciyi mizh nejronami U nejronah sho obroblyayut signali vid sitkivki lateralne galmuvannya prizvodit do zbilshennya vihodu najvisokoaktivnishih nejroniv za rahunok susidnih Taki sistemi zbilshuyut kontrastnist pidnimayuchi riven aktivnosti nejroniv pid yednanih do yaskravoyi oblasti sitkivki v toj zhe chas she bilshe oslablyuyuchi vihodi nejroniv pid yednanih do temnih oblastej U DAP konkurenciya realizuyetsya vzayemnim z yednannyam nejroniv useredini kozhnogo sharu za dopomogoyu dodatkovih zv yazkiv Vagi cih zv yazkiv formuyut inshu vagovu matricyu z pozitivnimi znachennyami elementiv golovnoyi diagonali i negativnimi znachennyami inshih elementiv Div takozhAsociativna pam yat Nejronna merezha Hopfilda Nejronna merezha Vorda Rekurentni nejronni merezhiLiteraturaKosko B Bi directional associative memories IEEE Transactions on Systems Man and Cybernetics 1987 S 18 1 49 60 Kosko B Competitive adaptive bi directional associative memories In Proceedings of the IEEE First International Conference on Neural Networks eds M Caudill and C Butler San Diego 1987 S vol 2 pp 759 66 Kosko B Constructing an associative memory 1987 S pp 137 44 Kosko V Guest S Optical bi directional associative memories Sosiety for Photo optical and Instrumentation Engineers Proceedings Image Understanding 1987 S 758 11 18 Uossermen F M Mir 1992 240 s ISBN 5 03 002115 9