Модулярна нейронна мережа (англ. Modular neural network) — група нейронних мереж (які в даному випадку називаються модулями), що керуються певним посередником. Кожна нейронна мережа слугує модулем і оперує окремими входами для вирішення певних підзавдань із групи завдань, які повинна виконати модулярна нейронна мережа. Посередник приймає вихідні сигнали кожного модуля нейронної мережі, виконує певну їх обробку і створює вихідний сигнал усієї модулярної мережі. Посередник не отримує жодних інших сигналів, окрім сигналів з виходів модулів нейронної мережі. Модулі не взаємодіють між собою.
Біологічні основи
Створення модулярних нейронних мереж надихнули дослідження і відкриття модулярної будови головного мозку. У зоровій корі, наприклад, складні завдання вирішуються розбиттям їх на багато підзавдань. В таламусі знаходиться латеральне колінчасте тіло (ЛКТ), що розділене на шари, які обробляють колір зображення і контрастність: головні компоненти зорової інформації. Після такої незалежної обробки компонентів зображення, ЛКТ передає результат в зону А1 зорової кори, яка в свою чергу передає до інших зон. Зони зорової кори виконують функції компілювання результатів. Нейронні мережі зорової кори до певної міри є ієрархічними і більш-менш ізольованими, особливо на нижчих рівнях обробки інформації. Проте на вищих рівнях обробки (коли завдання стають більш абстрактними), ізоляція і компартменталізація між модулями порушується і вони передають інформацію в різних напрямках. В цьому випадку модулярні нейронні мережі є неточною моделлю, або навіть неадекватною.
Властивості модулярних нейронних мереж
Складність
Одна з основних переваг модулярних нейронних мереж полягає в здатності розбивати великі нейронні мережі на менші компоненти, якими легше оперувати Деякі завдання є практично нерозв'язними для немодулярних нейронних мереж, не зважаючи на збільшення їх розміру.
Ефективність
Кількість зв'язків в нейронній мережі надзвичайно швидко зростає при додаванні нових нейронів. Оскільки обчислювальний час залежить від кількості нейронів і їх зв'язків, то будь-яке збільшення кількості нейронів призведе до значного збільшення обчислювального часу. Розділення завдання між субмережами у модулярній мережі призводить до того, що кожен модуль працює над частиною усього завдання, а не вся мережа намагається виконати глобальне завдання відразу, що є ефективнішим.
Навчання
Велика нейронна мережа, що намагається змоделювати багато параметрів може страждати від інтерференції з новими даними, оскільки ці дані можуть сильно впливати на вже існуючі зв'язки, що збиватиме процес навчання мережі з ритму роботи. В модулярній нейронній мережі кожна субмережа прив'язана до певного типу завдання, що не призводить до спантеличення усієї мережі при надходженні нових даних. Крім того, навчальні дані, що використовуються для кожної підмережі, можуть бути унікальними, що призводить до більшої ефективності навчання.
Надійність
Не залежно від того чи є нейронна мережа штучною чи природною, вона може бути чутливою до інтерференції, або втрати того чи іншого нейрону. Компартменталізуючи завдання, можна легко діагностувати інтерференцію або втрату нейронів і їх ефекти на інші підмережі усуваються, оскільки підмережі працюють незалежно.
Див. також
Посилання
- Azam, Farooq. Biologically Inspired Modular Neural Networks. PhD Dissertation, Virginia Tech. 2000 scholar.lib.vt.edu/theses/available/etd-06092000-12150028/unrestricted/etd.pdf
- Happel, Bart and Murre, Jacob. The Design and Evolution of Modular Neural Network Architectures. Neural Networks, 7: 985—1004; 1994. http://citeseer.comp.nus.edu.sg/cache/papers/cs/3480/ftp:zSzzSzftp.mrc-apu.cam.ac.ukzSzpubzSznnzSzmurrezSznnga1.pdf/the-design-and-evolution.pdf[недоступне посилання з квітня 2019]
- Hubel, DH and Livingstone, MS. Color and contrast sensitivity in the lateral geniculate body and primary visual cortex of the macaque monkey. Journal of Neuroscience. 10: 2223—2237; 1990 http://www.jneurosci.org/cgi/content/abstract/10/7/2223 [ 8 вересня 2008 у Wayback Machine.]
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Modulyarna nejronna merezha angl Modular neural network grupa nejronnih merezh yaki v danomu vipadku nazivayutsya modulyami sho keruyutsya pevnim poserednikom Kozhna nejronna merezha sluguye modulem i operuye okremimi vhodami dlya virishennya pevnih pidzavdan iz grupi zavdan yaki povinna vikonati modulyarna nejronna merezha Poserednik prijmaye vihidni signali kozhnogo modulya nejronnoyi merezhi vikonuye pevnu yih obrobku i stvoryuye vihidnij signal usiyeyi modulyarnoyi merezhi Poserednik ne otrimuye zhodnih inshih signaliv okrim signaliv z vihodiv moduliv nejronnoyi merezhi Moduli ne vzayemodiyut mizh soboyu Biologichni osnoviStvorennya modulyarnih nejronnih merezh nadihnuli doslidzhennya i vidkrittya modulyarnoyi budovi golovnogo mozku U zorovij kori napriklad skladni zavdannya virishuyutsya rozbittyam yih na bagato pidzavdan V talamusi znahoditsya lateralne kolinchaste tilo LKT sho rozdilene na shari yaki obroblyayut kolir zobrazhennya i kontrastnist golovni komponenti zorovoyi informaciyi Pislya takoyi nezalezhnoyi obrobki komponentiv zobrazhennya LKT peredaye rezultat v zonu A1 zorovoyi kori yaka v svoyu chergu peredaye do inshih zon Zoni zorovoyi kori vikonuyut funkciyi kompilyuvannya rezultativ Nejronni merezhi zorovoyi kori do pevnoyi miri ye iyerarhichnimi i bilsh mensh izolovanimi osoblivo na nizhchih rivnyah obrobki informaciyi Prote na vishih rivnyah obrobki koli zavdannya stayut bilsh abstraktnimi izolyaciya i kompartmentalizaciya mizh modulyami porushuyetsya i voni peredayut informaciyu v riznih napryamkah V comu vipadku modulyarni nejronni merezhi ye netochnoyu modellyu abo navit neadekvatnoyu Vlastivosti modulyarnih nejronnih merezhSkladnist Odna z osnovnih perevag modulyarnih nejronnih merezh polyagaye v zdatnosti rozbivati veliki nejronni merezhi na menshi komponenti yakimi legshe operuvati Deyaki zavdannya ye praktichno nerozv yaznimi dlya nemodulyarnih nejronnih merezh ne zvazhayuchi na zbilshennya yih rozmiru Efektivnist Kilkist zv yazkiv v nejronnij merezhi nadzvichajno shvidko zrostaye pri dodavanni novih nejroniv Oskilki obchislyuvalnij chas zalezhit vid kilkosti nejroniv i yih zv yazkiv to bud yake zbilshennya kilkosti nejroniv prizvede do znachnogo zbilshennya obchislyuvalnogo chasu Rozdilennya zavdannya mizh submerezhami u modulyarnij merezhi prizvodit do togo sho kozhen modul pracyuye nad chastinoyu usogo zavdannya a ne vsya merezha namagayetsya vikonati globalne zavdannya vidrazu sho ye efektivnishim Navchannya Velika nejronna merezha sho namagayetsya zmodelyuvati bagato parametriv mozhe strazhdati vid interferenciyi z novimi danimi oskilki ci dani mozhut silno vplivati na vzhe isnuyuchi zv yazki sho zbivatime proces navchannya merezhi z ritmu roboti V modulyarnij nejronnij merezhi kozhna submerezha priv yazana do pevnogo tipu zavdannya sho ne prizvodit do spantelichennya usiyeyi merezhi pri nadhodzhenni novih danih Krim togo navchalni dani sho vikoristovuyutsya dlya kozhnoyi pidmerezhi mozhut buti unikalnimi sho prizvodit do bilshoyi efektivnosti navchannya Nadijnist Ne zalezhno vid togo chi ye nejronna merezha shtuchnoyu chi prirodnoyu vona mozhe buti chutlivoyu do interferenciyi abo vtrati togo chi inshogo nejronu Kompartmentalizuyuchi zavdannya mozhna legko diagnostuvati interferenciyu abo vtratu nejroniv i yih efekti na inshi pidmerezhi usuvayutsya oskilki pidmerezhi pracyuyut nezalezhno Div takozhKortikalna kolonka Minikolonka Nejroevolyuciya Klitinni nejronni merezhiPosilannyaAzam Farooq Biologically Inspired Modular Neural Networks PhD Dissertation Virginia Tech 2000 scholar lib vt edu theses available etd 06092000 12150028 unrestricted etd pdf Happel Bart and Murre Jacob The Design and Evolution of Modular Neural Network Architectures Neural Networks 7 985 1004 1994 http citeseer comp nus edu sg cache papers cs 3480 ftp zSzzSzftp mrc apu cam ac ukzSzpubzSznnzSzmurrezSznnga1 pdf the design and evolution pdf nedostupne posilannya z kvitnya 2019 Hubel DH and Livingstone MS Color and contrast sensitivity in the lateral geniculate body and primary visual cortex of the macaque monkey Journal of Neuroscience 10 2223 2237 1990 http www jneurosci org cgi content abstract 10 7 2223 8 veresnya 2008 u Wayback Machine