Самоорганізаційна карта Кохонена (англ. Self-organizing map — SOM) — нейронна мережа з некерованим навчанням, яка використовується для конструювання багатовимірного простору в простір з нижчою розмірністю (найчастіше, двовимірний). Створює дискретне представлення вхідних просторів навчальних вибірок, які називаються картою (англ. map), і тому використання цього типу нейронної мережі є методом для зниження розмірності. Самоорганізовані карти відрізняються від інших штучних нейронних мереж, оскільки вони застосовують конкурентне навчання, яке є протилежним до навчання з виправленням помилок (наприклад, метод зворотного поширення помилки з градієнтним спуском), і в тому сенсі, що вони використовують функцію сусідства для збереження топологічних властивостей вхідного простору.
Це робить самоорганізовані карти корисними для візуалізації шляхом створення маловимірних зображень багатовимірних даних, цей процес схожий на багатовимірне шкалювання. Штучна нейронна мережа, впроваджена фінським професором Теуво Кохоненом у 1980-х роках, іноді називають картою Кохонена або мережею Кохонена. Мережа Кохонена є зручною для обчислювання абстракцією, що ґрунтується на біологічних моделях нейронних систем з 1970-х років, та моделі морфогенезу, що були впроваджені ще Аланом Тюрінгом у 1950-х роках.
У той час як заведено вважати, що цей тип структури мережі пов'язана із мережею прямого поширення, вузли якої зображуються пов'язаними між собою, але тип архітектури самоорганізованої карти принципово відрізняється в аранжуванні та мотивації.
Корисні розширення цього типу нейронної мережі включають використання тороїдальних сіток, де протилежні ребра з'єднані та використовується велика кількість вузлів.
Показано, що самоорганізовані карти з невеликим числом вузлів поводяться подібно до кластеризації методом к–середніх, більші самоорганізовані карти візуалізують дані таким чином, що є принципово топологічним за характером.
Широко використовується [en]. Значення U-матриці конкретного вузла — це середня відстань між ваговим вектором вузла та його найближчими сусідами. Наприклад, у квадратній сітці ми можемо розглядати найближчі 4 або 8 вузлів (окіл фон Неймана і Мура, відповідно) або шість вузлів у гексагональній сітці.
Великі карти показують нові властивості. У картах, що складаються із тисяч вузлів, можна виконувати кластерні операції на самій карті.
Структура та операції
Як і більшість штучних нейронних мереж, самоорганізаційні карти працюють у двох режимах: навчання та відображення (англ. mapping). «Навчання» створює карту використовуючи вхідні приклади (конкурентний процес, або [en]), тоді як «відображення» автоматично класифікує новий вхідний вектор.
Видимою частиною самоорганізаційні карти є простір карти, який складається з компонентів, які називаються вузлами або нейронами. Простір карти визначається заздалегідь, як правило, як скінчення двовимірна область, де вузли розташовані у правильній гексагональній або прямокутній сітці. Кожен вузол пов'язаний з «ваговим» вектором, який є позицією у вхідному просторі; тобто, цей вектор має таку ж розмірність, що і кожний вхідний вектор. Хоча вузли в просторі карти залишаються фіксованими, тренування полягає в переміщенні векторів ваги у напрямку вхідних даних (зменшення метрики відстані) без псування топології, індукованої з простору карти. Таким чином, самоорганізаційна карта описує відображення (англ. mapping) з багатовимірного вхідного простору до картографічного простору з меншою вимірністю. Після навчання карта може класифікувати вектор з вхідного простору, знаходячи вузол з найближчим (найменшою метричною відстанню) ваговим вектором до вхідного вектора простору.
Алгоритм навчання
Метою навчання самоорганізаційної карти — змусити різні частини мережі давати однакову відповідь на певні вхідні шаблони. Це частково мотивується тим, як візуальна, слухова або інша сенсорна інформація обробляється в окремих частинах кори головного мозку людини.
Ваги нейронів ініціалізуються або малими випадковими значеннями, або рівномірно відбираються з підпростору, охопленого двома найбільшими власними векторами головних компонентів. В останньому варіанті навчання відбувається набагато швидше, оскільки початкові ваги вже дають гарну апроксимацію вагових коефіцієнтів.
У мережу повинна подаватися велика кількість прикладів векторів, що представляють види векторів, найточніше наскільки це можливо, очікуваних при відображенні. Приклади зазвичай застосовуються кілька разів як ітерації.
Навчання використовує конкурентне навчання. Коли навчальний приклад подається в мережу, обчислюється її евклідова відстань до всіх векторів ваги. Нейрон, чий ваговий вектор найбільш схожий на вхідний, називається найкращим вузлом відповідності (НВВ, англ. best matching unit). Ваги цього вузла та нейронів, близьких до нього в сітці самоорганізаційної карти, коригуються до вхідного вектора. Величина зміни зменшується з часом та з відстанню сітки від найкращого вузла відповідності. Формула оновлення нейрона v з ваговим вектором Wv(s) має вигляд
,
де s — індекс кроку, t — індекс в навчальній вибірці, u — індекс НВВ для вхідного вектора , — коефіцієнт навчання, який монотонно зменшується; — функція сусідства, яка дає відстань між нейроном u і нейроном v на етапі s. Залежно від реалізації, t може сканувати набір навчальних даних, що систематично вибирається випадковим чином з набору даних (статистичний бутстреп), або реалізувати інший метод вибірки (наприклад, складано-ножева перевибірка). (t = 0, 1, 2,…,T-1, потім повторюється, T — розмір навчальної вибірки).
Функція сусідства залежить від відстані між найкращим вузлом відповідності (нейрон u) та нейрона v. У найпростішому випадку беруть 1 для всіх нейронів, достатньо близьких до НВВ, та 0 для інших, проте, натомість часто використовують функцію Гауса. Незалежно від функціональної форми, функція сусідства стискається з часом. На початку, коли сусідство є далеким, самоорганізація відбувається в глобальному масштабі. Коли окіл зменшується до декількох нейронів, ваги сходяться до локальних оцінок. У деяких реалізаціях коефіцієнт навчання та функція сусідства неухильно зменшуються зі збільшенням s, в інших випадках (зокрема, коли t сканує набір даних навчання) вони зменшуються покроково, один раз на кожні T кроків.
Цей процес повторюється для кожного вхідного вектора для (зазвичай великого) числа циклів . Мережа зав'язує вихідні вузли з групами або шаблонами у наборі вхідних даних. Якщо ці шаблони можна назвати, їх імена можуть бути прикріплені до відповідних вузлів в натренованій мережі.
Під час встановлення відповідностей буде один нейрон-переможець: нейрон, чий ваговий вектор лежить ближче до вхідного вектора. Його можна просто визначити обчисленням евклідової відстані між вхідним вектором та ваговим вектором.
В цій статті підкреслювалися вхідні дані як вектори, та слід зазначити, що будь-який вид об'єкта, який може бути представлений в цифровому форматі, який має відповідну міру відстані, пов'язану з ним, та в якому можливі необхідні операції для навчання, може бути використаний для побудови самоорганізаційної карти. Це можуть бути матриці, неперервні функції або навіть інші самоорганізаційні карти.
Змінні
- поточна ітерація,
- ліміт ітерацій,
- індекс цільового вхідного вектора даних у вхідній множині ,
- вектор цільових вхідних даних,
- індекс вузла на карті,
- поточний вектор ваги вузла ,
- індекс найкращого вузла відповідності на карті,
- функція сусідства, а також
- коефіцієнт навчання.
Алгоритм
- Розташувати в довільному порядку вектори ваги вузла на карті
- Випадковим чином вибирати вхідний вектор
- Обійти кожен вузол на карті
- Використовуючи формулу евклідової відстані, для знаходження схожості між вхідним вектором і ваговим вектором вузла карти
- Запам'ятовуємо вузол, який має найменшу відстань (цей вузол є найкращим вузлом відповідності, BMU)
- Оновити вагові вектори вузлів в околі BMU (включаючи сам BMU) шляхом наближення їх до вхідного вектора
- Збільшити та повторювати крок 2 поки
Або інший варіант алгоритму:
- Розташувати в довільному порядку вектори ваги вузла на карті
- Обійти кожен вхідний вектор із набору вхідних даних
- Обійти кожен вузол на карті
- Використовуючи формулу евклідової відстані, для знаходження схожості між вхідним вектором і ваговим вектором вузла карти
- Запам'ятовуємо вузол, який має найменшу відстань (цей вузол є найкращим вузлом відповідності, BMU)
- Оновити вагові вектори вузлів в околі BMU (включаючи сам BMU) шляхом наближення їх до вхідного вектора
- Обійти кожен вузол на карті
- Збільшити та повторювати крок 2 поки
Ініціалізація самоорганізаційної карти Кохонена
Вибір гарного початкового наближення є відомою проблемою для всіх ітераційних методів навчання нейронних мереж. Кохонен використовував випадкове ініціювання ваг самоорганізаційної карти. Останнім часом популярна ініціалізація основних компонентів, в якій ваги початкової карти вибираються з простору перших основних компонентів, завдяки точній відтворюваності результатів.
Ретельне порівняння підходу випадкової ініціації до ініціалізації головних компонентів для одновимірної самоорганізаційної карти (моделі основних кривих) показало, що переваги ініціалізації карти головного компонента не є універсальними. Найкращий метод ініціалізації залежить від геометрії конкретного набору даних. Ініціалізація основного компонента є кращою (в одиниці виміру), якщо головна крива, наближена до набору даних, може бути однозначно та лінійно спроектована на першу головну складову (квазілінійні множини). Однак для нелінійних наборів даних випадкове ініціювання краще.
Інтерпретація
Існує два способи інтерпретації самоорганізаційної карти Кохонена. Оскільки в фазі тренування ваги околиці всіх сусідів переміщуються в одному напрямку, подібні предмети мають тенденцію збуджувати сусідні нейрони. Таким чином, самоорганізаційна карта утворює семантичну карту, де схожі приклади зображаються близькими один до одного, а несхожі — протилежними. Це може бути візуалізовано U-матрицею (евклідова відстань між ваговими векторами сусідніх клітин) SOM..
Інший спосіб полягає в тому, щоб вважати нейронні ваги як вказівники на вхідному просторі. Вони утворюють дискретну апроксимацію розподілу навчальних вибірок. Більше нейронів вказують на регіони з великою кількістю зразків для тренування та менше, де бракує зразків.
Самоорганізаційну карту можна вважати нелінійним узагальненням методу головних компонент (МГК). Було показано що SOM має багато переваг, при використанні як штучних, так і реальних геофізичних даних над звичайними методами вилучення ознак, такими як емпіричні ортогональні функції (МЕОФ) або МГК.
Спочатку SOM не була сформульована як розв'язання проблеми оптимізації. Однак, було зроблено кілька спроб змінити визначення SOM і сформулювати задачу оптимізації, яка дає подібні результати. Наприклад, [en] використовують механічну метафору еластичності для наближення основних різновидів аналогією є еластична мембрана та пластина.
Альтернативи
- [en] (англ. generative topographic map, GTM) є потенційною альтернативою самоорганізованої карти Кохонена. У тому сенсі, що ПТК явно вимагає плавного та безперервного відображення від вхідного простору до простору карти, це збереження топології. Проте в практичному сенсі ця міра топологічного збереження відсутня.
- (англ. time adaptive self-organizing map, TASOM) є розширенням базової самоорганізованої карти Кохонена. TASOM використовує адаптивні навчальні оцінки та функції сусідства. Вона також включає параметр масштабування, щоб зробити мережу інваріантною до масштабування, переміщення та обертання вхідного простору. TASOM та його варіанти використовувалися в декількох застосуваннях, включаючи адаптивну кластеризацію, багаторівневе обмеження, апроксимація вхідного простору та активне моделювання контуру. Крім того, було запропоновано двійкове дерево TASOM або BTASOM, що нагадує бінарне натуральне дерево, що має вузли, що складаються з мереж TASOM, де кількість його рівнів та кількість його вузлів адаптивні до його середовища.
- [en] (англ. growing self-organizing map, GSOM) — це зростаючий варіант самоорганізуючої карти. GSOM була розроблена для розв'язання питання визначення відповідного розміру карти в SOM. Вона починається з мінімального числа вузлів (зазвичай чотирьох) і створює нові вузли в межі на кордоні на основі евристики. Використовуючи значення, що називається коефіцієнтом розповсюдження, аналітик даних має можливість контролювати зростання GSOM.
- Підхід [en] запозичує зі сплайн-інтерполяції ідею мінімізації [en]. У процесі навчання він мінімізує суму квадратичної енергії вигину та розтягування з помилкою апроксимації найменших квадратів.
- Конформний підхід, що використовує конформне відображення для інтерполяції кожного навчального прикладу між вузлами сітки на безперервній поверхні. У цьому підході можливе плавне відображення «один в один».
- (OS-Map) узагальнює функцію сусідства та вибір переможця. Однорідна функція сусідства Гауса замінена експоненціальною матрицею. Таким чином можна задати орієнтацію або в просторі карти, або в просторі даних. Самоорганізаційна карта Кохонена має фіксований масштаб (= 1), так що карти «оптимально описують область спостереження». Але як щодо карти, що охоплює домен двічі або в n-разів? Це тягне за собою концепцію масштабування. OS-Map розглядає масштаб як статистичний опис кількості найкращих узгоджувальних вузлів на карті.
Використання
- Метеорологія та океанографія
- Визначення пріоритетів та відбір проектів
- Аналіз сейсмічних фацій для розвідки нафти і газу
- [en]
- Створення ілюстрації
Див. також
Примітки
- Kohonen, Teuvo; Honkela, Timo (2007). Kohonen Network. Scholarpedia.
- Kohonen, Teuvo (1982). Self-Organized Formation of Topologically Correct Feature Maps. Biological Cybernetics. 43 (1): 59—69. doi:10.1007/bf00337288.
- Von der Malsburg, C (1973). Self-organization of orientation sensitive cells in the striate cortex. Kybernetik. 14 (2): 85—100. doi:10.1007/bf00288907. PMID 4786750.
- Turing, Alan (1952). The chemical basis of morphogenesis. Phil. Trans. R. Soc. 237 (641): 37—72. doi:10.1098/rstb.1952.0012.
- Ultsch, Alfred; Siemon, H. Peter (1990). . У Widrow, Bernard; Angeniol, Bernard (ред.). Proceedings of the International Neural Network Conference (INNC-90), Paris, France, July 9–13, 1990. Т. 1. Dordrecht, Netherlands: Kluwer. с. 305—308. ISBN . Архів оригіналу за 13 червня 2013.
{{}}
: Cite має пустий невідомий параметр:|1=
() - Ultsch, Alfred (2003); U*-Matrix: A tool to visualize clusters in high dimensional data, Department of Computer Science, University of Marburg, Technical Report Nr. 36:1-12
- Ultsch, Alfred (2007). Emergence in Self-Organizing Feature Maps. У Ritter, H.; Haschke, R. (ред.). Proceedings of the 6th International Workshop on Self-Organizing Maps (WSOM '07). Bielefeld, Germany: Neuroinformatics Group. ISBN .
- Jaakko Hollmen (9 березня 1996). Self-Organizing Map (SOM). .
- Haykin, Simon (1999). 9. Self-organizing maps. Neural networks - A comprehensive foundation (вид. 2nd). Prentice-Hall. ISBN .
- Kohonen, Teuvo (2005). Intro to SOM. SOM Toolbox. Процитовано 18 червня 2006.
- Kohonen, Teuvo; Honkela, Timo (2011). Kohonen network. Scholarpedia. Процитовано 24 вересня 2012.
- T. Kohonen, Self-Organization and Associative Memory. Springer, Berlin, 1984.
- A. Ciampi, Y. Lechevallier, Clustering large, multi-level data sets: An approach based on Kohonen self organizing maps, in D.A. Zighed, J. Komorowski, J. Zytkow (Eds.), PKDD 2000, Springer LNCS (LNAI), vol. 1910, pp. 353—358, 2000.
- Akinduko, A.A.; Mirkes, E.M.; Gorban, A.N. (2016). SOM: Stochastic initialization versus principal components. Information Sciences. 364—365: 213—221. doi:10.1016/j.ins.2015.10.013.
- Saadatdoost, Robab, Alex Tze Hiang Sim, and Jafarkarimi, Hosein. «Application of self organizing map for knowledge discovery based in higher education data.» Research and Innovation in Information Systems (ICRIIS), 2011 International Conference on. IEEE, 2011.
- Yin, Hujun; Learning Nonlinear Principal Manifolds by Self-Organising Maps, in ; Kégl, Balázs; Wunsch, Donald C.; and Zinovyev, Andrei (Eds.); Principal Manifolds for Data Visualization and Dimension Reduction, Lecture Notes in Computer Science and Engineering (LNCSE), vol. 58, Berlin, Germany: Springer, 2008,
- Liu, Yonggang; Weisberg, Robert H (2005). . Journal of Geophysical Research. 110 (C6): C06003. Bibcode:2005JGRC..110.6003L. doi:10.1029/2004JC002786. Архів оригіналу за 9 травня 2009. Процитовано 16 квітня 2019.
- Liu, Yonggang; Weisberg, Robert H.; Mooers, Christopher N. K. (2006). . Journal of Geophysical Research. 111 (C5): C05018. Bibcode:2006JGRC..111.5018L. doi:10.1029/2005jc003117. Архів оригіналу за 21 квітня 2009. Процитовано 16 квітня 2019.
- Heskes, Tom; Energy Functions for Self-Organizing Maps, in Oja, Erkki; and Kaski, Samuel (Eds.), Kohonen Maps, Elsevier, 1999
- ; Kégl, Balázs; Wunsch, Donald C.; and Zinovyev, Andrei (Eds.); Principal Manifolds for Data Visualization and Dimension Reduction, Lecture Notes in Computer Science and Engineering (LNCSE), vol. 58, Berlin, Germany: Springer, 2008,
- Kaski, Samuel (1997). Data Exploration Using Self-Organizing Maps. Mathematics, Computing and Management in Engineering Series No. 82. Espoo, Finland: Finnish Academy of Technology. ISBN .
{{}}
: Проігноровано|journal=
() - Shah-Hosseini, Hamed; Safabakhsh, Reza (April 2003). TASOM: A New Time Adaptive Self-Organizing Map. IEEE Transactions on Systems, Man, and Cybernetics—Part B: Cybernetics. 33 (2): 271—282. doi:10.1109/tsmcb.2003.810442. PMID 18238177.
- Shah-Hosseini, Hamed (May 2011). Binary Tree Time Adaptive Self-Organizing Map. Neurocomputing. 74 (11): 1823—1839. doi:10.1016/j.neucom.2010.07.037.
- A. N. Gorban, A. Zinovyev, Principal manifolds and graphs in practice: from molecular biology to dynamical systems, , Vol. 20, No. 3 (2010) 219—232.
- Liou, C.-Y.; Kuo, Y.-T. (2005). Conformal Self-organizing Map for a Genus Zero Manifold. The Visual Computer. 21 (5): 340—353. doi:10.1007/s00371-005-0290-6.
- Liou, C.-Y.; Tai, W.-P. (2000). Conformality in the self-organization network. Artificial Intelligence. 116 (1–2): 265—286. doi:10.1016/S0004-3702(99)00093-4.
- Hua, H., 2016. Image and geometry processing with Oriented and Scalable Map. Neural Networks, 77, pp.1-6.
- Liu, Y., and R.H. Weisberg (2011) A review of self-organizing map applications in meteorology and oceanography. In: Self-Organizing Maps-Applications and Novel Algorithm Design, 253—272.
- Zheng, G. and Vaishnavi, V. (2011) "A Multidimensional Perceptual Map Approach to Project Prioritization and Selection, " AIS Transactions on Human-Computer Interaction (3) 2, pp. 82-103
- Taner, M. T.; Walls, J. D.; Smith, M.; Taylor, G.; Carr, M. B.; Dumas, D. (2001). Reservoir characterization by calibration of self-organized map clusters. SEG Technical Program Expanded Abstracts. 2001: 1552—1555. doi:10.1190/1.1816406.
- Chang, Wui Lee; Pang, Lie Meng; Tay, Kai Meng (March 2017). Application of Self-Organizing Map to Failure Modes and Effects Analysis Methodology. Neurocomputing. PP: 314—320. doi:10.1016/j.neucom.2016.04.073.
- ANNetGPGPU CUDA Library with examples [1] GPU accelerated image creation
Література
- Осовский С. Нейронные сети для обработки информации. — М.: Финансы и статистика, 2002. — 244 с.
- Хайкин С. Нейронные сети: полный курс. — М.: Вильямс, 2006. — 1104 с.
- Паклин Н. Б., Орешков В. И. Бизнес-аналитика: от данных к знаниям. — СПб.: Питер, 2013. — 704 с.
- Матвійчук А. В. Штучний інтелект в економіці: нейронні мережі, нечітка логіка: монографія. / А. В. Матвійчук. — К. : КНЕУ, 2011.– 439 с.
- Кохонен Т. Самоорганизующиеся карты. — М.: БИНОМ. Лаборатория знаний, 2008. — 655 с.
- T. Kohonen, «Self-Organizing Maps», Springer, 1995.
- Trevor Hastie, Robert Tibshirani, Jerome Friedman. Chapter 14.4 Self-Organizing Maps // The Elements of Statistical Learning. — 2009. — С. 528-534.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Samoorganizacijna karta Kohonena angl Self organizing map SOM nejronna merezha z nekerovanim navchannyam yaka vikoristovuyetsya dlya konstruyuvannya bagatovimirnogo prostoru v prostir z nizhchoyu rozmirnistyu najchastishe dvovimirnij Stvoryuye diskretne predstavlennya vhidnih prostoriv navchalnih vibirok yaki nazivayutsya kartoyu angl map i tomu vikoristannya cogo tipu nejronnoyi merezhi ye metodom dlya znizhennya rozmirnosti Samoorganizovani karti vidriznyayutsya vid inshih shtuchnih nejronnih merezh oskilki voni zastosovuyut konkurentne navchannya yake ye protilezhnim do navchannya z vipravlennyam pomilok napriklad metod zvorotnogo poshirennya pomilki z gradiyentnim spuskom i v tomu sensi sho voni vikoristovuyut funkciyu susidstva dlya zberezhennya topologichnih vlastivostej vhidnogo prostoru Ce robit samoorganizovani karti korisnimi dlya vizualizaciyi shlyahom stvorennya malovimirnih zobrazhen bagatovimirnih danih cej proces shozhij na bagatovimirne shkalyuvannya Shtuchna nejronna merezha vprovadzhena finskim profesorom Teuvo Kohonenom u 1980 h rokah inodi nazivayut kartoyu Kohonena abo merezheyu Kohonena Merezha Kohonena ye zruchnoyu dlya obchislyuvannya abstrakciyeyu sho gruntuyetsya na biologichnih modelyah nejronnih sistem z 1970 h rokiv ta modeli morfogenezu sho buli vprovadzheni she Alanom Tyuringom u 1950 h rokah U toj chas yak zavedeno vvazhati sho cej tip strukturi merezhi pov yazana iz merezheyu pryamogo poshirennya vuzli yakoyi zobrazhuyutsya pov yazanimi mizh soboyu ale tip arhitekturi samoorganizovanoyi karti principovo vidriznyayetsya v aranzhuvanni ta motivaciyi Korisni rozshirennya cogo tipu nejronnoyi merezhi vklyuchayut vikoristannya toroyidalnih sitok de protilezhni rebra z yednani ta vikoristovuyetsya velika kilkist vuzliv Pokazano sho samoorganizovani karti z nevelikim chislom vuzliv povodyatsya podibno do klasterizaciyi metodom k serednih bilshi samoorganizovani karti vizualizuyut dani takim chinom sho ye principovo topologichnim za harakterom Shiroko vikoristovuyetsya en Znachennya U matrici konkretnogo vuzla ce serednya vidstan mizh vagovim vektorom vuzla ta jogo najblizhchimi susidami Napriklad u kvadratnij sitci mi mozhemo rozglyadati najblizhchi 4 abo 8 vuzliv okil fon Nejmana i Mura vidpovidno abo shist vuzliv u geksagonalnij sitci Veliki karti pokazuyut novi vlastivosti U kartah sho skladayutsya iz tisyach vuzliv mozhna vikonuvati klasterni operaciyi na samij karti Struktura ta operaciyiYak i bilshist shtuchnih nejronnih merezh samoorganizacijni karti pracyuyut u dvoh rezhimah navchannya ta vidobrazhennya angl mapping Navchannya stvoryuye kartu vikoristovuyuchi vhidni prikladi konkurentnij proces abo en todi yak vidobrazhennya avtomatichno klasifikuye novij vhidnij vektor Vidimoyu chastinoyu samoorganizacijni karti ye prostir karti yakij skladayetsya z komponentiv yaki nazivayutsya vuzlami abo nejronami Prostir karti viznachayetsya zazdalegid yak pravilo yak skinchennya dvovimirna oblast de vuzli roztashovani u pravilnij geksagonalnij abo pryamokutnij sitci Kozhen vuzol pov yazanij z vagovim vektorom yakij ye poziciyeyu u vhidnomu prostori tobto cej vektor maye taku zh rozmirnist sho i kozhnij vhidnij vektor Hocha vuzli v prostori karti zalishayutsya fiksovanimi trenuvannya polyagaye v peremishenni vektoriv vagi u napryamku vhidnih danih zmenshennya metriki vidstani bez psuvannya topologiyi indukovanoyi z prostoru karti Takim chinom samoorganizacijna karta opisuye vidobrazhennya angl mapping z bagatovimirnogo vhidnogo prostoru do kartografichnogo prostoru z menshoyu vimirnistyu Pislya navchannya karta mozhe klasifikuvati vektor z vhidnogo prostoru znahodyachi vuzol z najblizhchim najmenshoyu metrichnoyu vidstannyu vagovim vektorom do vhidnogo vektora prostoru Algoritm navchannyaMetoyu navchannya samoorganizacijnoyi karti zmusiti rizni chastini merezhi davati odnakovu vidpovid na pevni vhidni shabloni Ce chastkovo motivuyetsya tim yak vizualna sluhova abo insha sensorna informaciya obroblyayetsya v okremih chastinah kori golovnogo mozku lyudini Ilyustraciya navchannya samoorganizacijnoyi karti Sinya oblast ce rozpodil trenuvalnih danih a malenkij bilij disk potochna navchalna vibirka otrimana z cih danih Spochatku livoruch vuzli karti dovilno roztashovani v prostori danih Vibirayetsya vuzol najblizhchij do trenuvalnogo vuzla vidilenij zhovtim kolorom ta peremishuyetsya u napryamku trenuvalnih danih oskilki ye menshoyu miroyu yiyi susidami na sitci Pislya bagatoh iteracij sitka maye tendenciyu nablizhatisya do rozpodilu danih pravoruch Vagi nejroniv inicializuyutsya abo malimi vipadkovimi znachennyami abo rivnomirno vidbirayutsya z pidprostoru ohoplenogo dvoma najbilshimi vlasnimi vektorami golovnih komponentiv V ostannomu varianti navchannya vidbuvayetsya nabagato shvidshe oskilki pochatkovi vagi vzhe dayut garnu aproksimaciyu vagovih koeficiyentiv U merezhu povinna podavatisya velika kilkist prikladiv vektoriv sho predstavlyayut vidi vektoriv najtochnishe naskilki ce mozhlivo ochikuvanih pri vidobrazhenni Prikladi zazvichaj zastosovuyutsya kilka raziv yak iteraciyi Navchannya vikoristovuye konkurentne navchannya Koli navchalnij priklad podayetsya v merezhu obchislyuyetsya yiyi evklidova vidstan do vsih vektoriv vagi Nejron chij vagovij vektor najbilsh shozhij na vhidnij nazivayetsya najkrashim vuzlom vidpovidnosti NVV angl best matching unit Vagi cogo vuzla ta nejroniv blizkih do nogo v sitci samoorganizacijnoyi karti koriguyutsya do vhidnogo vektora Velichina zmini zmenshuyetsya z chasom ta z vidstannyu sitki vid najkrashogo vuzla vidpovidnosti Formula onovlennya nejrona v z vagovim vektorom Wv s maye viglyad Wv s 1 Wv s 8 u v s a s D t Wv s displaystyle W v s 1 W v s theta u v s cdot alpha s cdot D t W v s de s indeks kroku t indeks v navchalnij vibirci u indeks NVV dlya vhidnogo vektora D t displaystyle D t a s displaystyle alpha s koeficiyent navchannya yakij monotonno zmenshuyetsya 8 u v s displaystyle theta u v s funkciya susidstva yaka daye vidstan mizh nejronom u i nejronom v na etapi s Zalezhno vid realizaciyi t mozhe skanuvati nabir navchalnih danih sho sistematichno vibirayetsya vipadkovim chinom z naboru danih statistichnij butstrep abo realizuvati inshij metod vibirki napriklad skladano nozheva perevibirka t 0 1 2 T 1 potim povtoryuyetsya T rozmir navchalnoyi vibirki Funkciya susidstva 8 u v s displaystyle theta u v s zalezhit vid vidstani mizh najkrashim vuzlom vidpovidnosti nejron u ta nejrona v U najprostishomu vipadku berut 1 dlya vsih nejroniv dostatno blizkih do NVV ta 0 dlya inshih prote natomist chasto vikoristovuyut funkciyu Gausa Nezalezhno vid funkcionalnoyi formi funkciya susidstva stiskayetsya z chasom Na pochatku koli susidstvo ye dalekim samoorganizaciya vidbuvayetsya v globalnomu masshtabi Koli okil zmenshuyetsya do dekilkoh nejroniv vagi shodyatsya do lokalnih ocinok U deyakih realizaciyah koeficiyent navchannya a displaystyle alpha ta funkciya susidstva 8 displaystyle theta neuhilno zmenshuyutsya zi zbilshennyam s v inshih vipadkah zokrema koli t skanuye nabir danih navchannya voni zmenshuyutsya pokrokovo odin raz na kozhni T krokiv Cej proces povtoryuyetsya dlya kozhnogo vhidnogo vektora dlya zazvichaj velikogo chisla cikliv l displaystyle lambda Merezha zav yazuye vihidni vuzli z grupami abo shablonami u nabori vhidnih danih Yaksho ci shabloni mozhna nazvati yih imena mozhut buti prikripleni do vidpovidnih vuzliv v natrenovanij merezhi Trenuvalnij proces samoorganizacijnoyi karti na pryamokutnij sitci 8h8 z dvovimirnim naborom danih z vikoristannyam evklidovoyi vidstani Pid chas vstanovlennya vidpovidnostej bude odin nejron peremozhec nejron chij vagovij vektor lezhit blizhche do vhidnogo vektora Jogo mozhna prosto viznachiti obchislennyam evklidovoyi vidstani mizh vhidnim vektorom ta vagovim vektorom V cij statti pidkreslyuvalisya vhidni dani yak vektori ta slid zaznachiti sho bud yakij vid ob yekta yakij mozhe buti predstavlenij v cifrovomu formati yakij maye vidpovidnu miru vidstani pov yazanu z nim ta v yakomu mozhlivi neobhidni operaciyi dlya navchannya mozhe buti vikoristanij dlya pobudovi samoorganizacijnoyi karti Ce mozhut buti matrici neperervni funkciyi abo navit inshi samoorganizacijni karti Zminni s displaystyle s potochna iteraciya l displaystyle lambda limit iteracij t displaystyle t indeks cilovogo vhidnogo vektora danih u vhidnij mnozhini D displaystyle mathbf D D t displaystyle D t vektor cilovih vhidnih danih v displaystyle v indeks vuzla na karti Wv displaystyle mathbf W v potochnij vektor vagi vuzla v displaystyle v u displaystyle u indeks najkrashogo vuzla vidpovidnosti na karti 8 u v s displaystyle theta u v s funkciya susidstva a takozh a s displaystyle alpha s koeficiyent navchannya Algoritm Roztashuvati v dovilnomu poryadku vektori vagi vuzla na karti Vipadkovim chinom vibirati vhidnij vektor Obijti kozhen vuzol na karti Vikoristovuyuchi formulu evklidovoyi vidstani dlya znahodzhennya shozhosti mizh vhidnim vektorom i vagovim vektorom vuzla karti Zapam yatovuyemo vuzol yakij maye najmenshu vidstan cej vuzol ye najkrashim vuzlom vidpovidnosti BMU Onoviti vagovi vektori vuzliv v okoli BMU vklyuchayuchi sam BMU shlyahom nablizhennya yih do vhidnogo vektora Wv s 1 Wv s 8 u v s a s D t Wv s displaystyle W v s 1 W v s theta u v s cdot alpha s cdot D t W v s Zbilshiti s displaystyle s ta povtoryuvati krok 2 poki s lt l displaystyle s lt lambda Abo inshij variant algoritmu Roztashuvati v dovilnomu poryadku vektori vagi vuzla na karti Obijti kozhen vhidnij vektor iz naboru vhidnih danih Obijti kozhen vuzol na karti Vikoristovuyuchi formulu evklidovoyi vidstani dlya znahodzhennya shozhosti mizh vhidnim vektorom i vagovim vektorom vuzla karti Zapam yatovuyemo vuzol yakij maye najmenshu vidstan cej vuzol ye najkrashim vuzlom vidpovidnosti BMU Onoviti vagovi vektori vuzliv v okoli BMU vklyuchayuchi sam BMU shlyahom nablizhennya yih do vhidnogo vektora Wv s 1 Wv s 8 u v s a s D t Wv s displaystyle W v s 1 W v s theta u v s cdot alpha s cdot D t W v s Zbilshiti s displaystyle s ta povtoryuvati krok 2 poki s lt l displaystyle s lt lambda Inicializaciya samoorganizacijnoyi karti Kohonena Vibir garnogo pochatkovogo nablizhennya ye vidomoyu problemoyu dlya vsih iteracijnih metodiv navchannya nejronnih merezh Kohonen vikoristovuvav vipadkove iniciyuvannya vag samoorganizacijnoyi karti Ostannim chasom populyarna inicializaciya osnovnih komponentiv v yakij vagi pochatkovoyi karti vibirayutsya z prostoru pershih osnovnih komponentiv zavdyaki tochnij vidtvoryuvanosti rezultativ Retelne porivnyannya pidhodu vipadkovoyi iniciaciyi do inicializaciyi golovnih komponentiv dlya odnovimirnoyi samoorganizacijnoyi karti modeli osnovnih krivih pokazalo sho perevagi inicializaciyi karti golovnogo komponenta ne ye universalnimi Najkrashij metod inicializaciyi zalezhit vid geometriyi konkretnogo naboru danih Inicializaciya osnovnogo komponenta ye krashoyu v odinici vimiru yaksho golovna kriva nablizhena do naboru danih mozhe buti odnoznachno ta linijno sproektovana na pershu golovnu skladovu kvazilinijni mnozhini Odnak dlya nelinijnih naboriv danih vipadkove iniciyuvannya krashe InterpretaciyaKartografichne zobrazhennya samoorganizuyuchoyi karti U matrici na osnovi danih statej Vikipediyi chastota sliv Vidstan oberneno proporcijno podibnosti Gori ye krayami mizh klasterami Chervoni liniyi ye posilannyami mizh stattyami Odnovimirnij analiz SOM ta analiz golovnih komponent MGK dlya nablizhennya danih SOM ce chervona liniya z kvadratami 20 vuzliv Persha golovna komponenta predstavlena blakitnoyu liniyeyu Tochki danih malenki siri kola Dlya MGK chastka nevidpovidnostej sho ne poyasnyuyetsya v comu prikladi stanovit 23 23 dlya SOM 6 86 Principal Component Analysis and Self Organizing Maps applet University of Leicester 2011 lt ref gt Isnuye dva sposobi interpretaciyi samoorganizacijnoyi karti Kohonena Oskilki v fazi trenuvannya vagi okolici vsih susidiv peremishuyutsya v odnomu napryamku podibni predmeti mayut tendenciyu zbudzhuvati susidni nejroni Takim chinom samoorganizacijna karta utvoryuye semantichnu kartu de shozhi prikladi zobrazhayutsya blizkimi odin do odnogo a neshozhi protilezhnimi Ce mozhe buti vizualizovano U matriceyu evklidova vidstan mizh vagovimi vektorami susidnih klitin SOM Inshij sposib polyagaye v tomu shob vvazhati nejronni vagi yak vkazivniki na vhidnomu prostori Voni utvoryuyut diskretnu aproksimaciyu rozpodilu navchalnih vibirok Bilshe nejroniv vkazuyut na regioni z velikoyu kilkistyu zrazkiv dlya trenuvannya ta menshe de brakuye zrazkiv Samoorganizacijnu kartu mozhna vvazhati nelinijnim uzagalnennyam metodu golovnih komponent MGK Bulo pokazano sho SOM maye bagato perevag pri vikoristanni yak shtuchnih tak i realnih geofizichnih danih nad zvichajnimi metodami viluchennya oznak takimi yak empirichni ortogonalni funkciyi MEOF abo MGK Spochatku SOM ne bula sformulovana yak rozv yazannya problemi optimizaciyi Odnak bulo zrobleno kilka sprob zminiti viznachennya SOM i sformulyuvati zadachu optimizaciyi yaka daye podibni rezultati Napriklad en vikoristovuyut mehanichnu metaforu elastichnosti dlya nablizhennya osnovnih riznovidiv analogiyeyu ye elastichna membrana ta plastina Alternativi en angl generative topographic map GTM ye potencijnoyu alternativoyu samoorganizovanoyi karti Kohonena U tomu sensi sho PTK yavno vimagaye plavnogo ta bezperervnogo vidobrazhennya vid vhidnogo prostoru do prostoru karti ce zberezhennya topologiyi Prote v praktichnomu sensi cya mira topologichnogo zberezhennya vidsutnya angl time adaptive self organizing map TASOM ye rozshirennyam bazovoyi samoorganizovanoyi karti Kohonena TASOM vikoristovuye adaptivni navchalni ocinki ta funkciyi susidstva Vona takozh vklyuchaye parametr masshtabuvannya shob zrobiti merezhu invariantnoyu do masshtabuvannya peremishennya ta obertannya vhidnogo prostoru TASOM ta jogo varianti vikoristovuvalisya v dekilkoh zastosuvannyah vklyuchayuchi adaptivnu klasterizaciyu bagatorivneve obmezhennya aproksimaciya vhidnogo prostoru ta aktivne modelyuvannya konturu Krim togo bulo zaproponovano dvijkove derevo TASOM abo BTASOM sho nagaduye binarne naturalne derevo sho maye vuzli sho skladayutsya z merezh TASOM de kilkist jogo rivniv ta kilkist jogo vuzliv adaptivni do jogo seredovisha en angl growing self organizing map GSOM ce zrostayuchij variant samoorganizuyuchoyi karti GSOM bula rozroblena dlya rozv yazannya pitannya viznachennya vidpovidnogo rozmiru karti v SOM Vona pochinayetsya z minimalnogo chisla vuzliv zazvichaj chotiroh i stvoryuye novi vuzli v mezhi na kordoni na osnovi evristiki Vikoristovuyuchi znachennya sho nazivayetsya koeficiyentom rozpovsyudzhennya analitik danih maye mozhlivist kontrolyuvati zrostannya GSOM Pidhid en zapozichuye zi splajn interpolyaciyi ideyu minimizaciyi en U procesi navchannya vin minimizuye sumu kvadratichnoyi energiyi viginu ta roztyaguvannya z pomilkoyu aproksimaciyi najmenshih kvadrativ Konformnij pidhid sho vikoristovuye konformne vidobrazhennya dlya interpolyaciyi kozhnogo navchalnogo prikladu mizh vuzlami sitki na bezperervnij poverhni U comu pidhodi mozhlive plavne vidobrazhennya odin v odin OS Map uzagalnyuye funkciyu susidstva ta vibir peremozhcya Odnoridna funkciya susidstva Gausa zaminena eksponencialnoyu matriceyu Takim chinom mozhna zadati oriyentaciyu abo v prostori karti abo v prostori danih Samoorganizacijna karta Kohonena maye fiksovanij masshtab 1 tak sho karti optimalno opisuyut oblast sposterezhennya Ale yak shodo karti sho ohoplyuye domen dvichi abo v n raziv Ce tyagne za soboyu koncepciyu masshtabuvannya OS Map rozglyadaye masshtab yak statistichnij opis kilkosti najkrashih uzgodzhuvalnih vuzliv na karti VikoristannyaMeteorologiya ta okeanografiya Viznachennya prioritetiv ta vidbir proektiv Analiz sejsmichnih facij dlya rozvidki nafti i gazu en Stvorennya ilyustraciyiDiv takozhNejronna merezha KohonenaPrimitkiKohonen Teuvo Honkela Timo 2007 Kohonen Network Scholarpedia Kohonen Teuvo 1982 Self Organized Formation of Topologically Correct Feature Maps Biological Cybernetics 43 1 59 69 doi 10 1007 bf00337288 Von der Malsburg C 1973 Self organization of orientation sensitive cells in the striate cortex Kybernetik 14 2 85 100 doi 10 1007 bf00288907 PMID 4786750 Turing Alan 1952 The chemical basis of morphogenesis Phil Trans R Soc 237 641 37 72 doi 10 1098 rstb 1952 0012 Ultsch Alfred Siemon H Peter 1990 U Widrow Bernard Angeniol Bernard red Proceedings of the International Neural Network Conference INNC 90 Paris France July 9 13 1990 T 1 Dordrecht Netherlands Kluwer s 305 308 ISBN 978 0 7923 0831 7 Arhiv originalu za 13 chervnya 2013 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite book title Shablon Cite book cite book a Cite maye pustij nevidomij parametr 1 dovidka Ultsch Alfred 2003 U Matrix A tool to visualize clusters in high dimensional data Department of Computer Science University of Marburg Technical Report Nr 36 1 12 Ultsch Alfred 2007 Emergence in Self Organizing Feature Maps U Ritter H Haschke R red Proceedings of the 6th International Workshop on Self Organizing Maps WSOM 07 Bielefeld Germany Neuroinformatics Group ISBN 978 3 00 022473 7 Jaakko Hollmen 9 bereznya 1996 Self Organizing Map SOM Haykin Simon 1999 9 Self organizing maps Neural networks A comprehensive foundation vid 2nd Prentice Hall ISBN 978 0 13 908385 3 Kohonen Teuvo 2005 Intro to SOM SOM Toolbox Procitovano 18 chervnya 2006 Kohonen Teuvo Honkela Timo 2011 Kohonen network Scholarpedia Procitovano 24 veresnya 2012 T Kohonen Self Organization and Associative Memory Springer Berlin 1984 A Ciampi Y Lechevallier Clustering large multi level data sets An approach based on Kohonen self organizing maps in D A Zighed J Komorowski J Zytkow Eds PKDD 2000 Springer LNCS LNAI vol 1910 pp 353 358 2000 Akinduko A A Mirkes E M Gorban A N 2016 SOM Stochastic initialization versus principal components Information Sciences 364 365 213 221 doi 10 1016 j ins 2015 10 013 Saadatdoost Robab Alex Tze Hiang Sim and Jafarkarimi Hosein Application of self organizing map for knowledge discovery based in higher education data Research and Innovation in Information Systems ICRIIS 2011 International Conference on IEEE 2011 Yin Hujun Learning Nonlinear Principal Manifolds by Self Organising Maps in Kegl Balazs Wunsch Donald C and Zinovyev Andrei Eds Principal Manifolds for Data Visualization and Dimension Reduction Lecture Notes in Computer Science and Engineering LNCSE vol 58 Berlin Germany Springer 2008 ISBN 978 3 540 73749 0 Liu Yonggang Weisberg Robert H 2005 Journal of Geophysical Research 110 C6 C06003 Bibcode 2005JGRC 110 6003L doi 10 1029 2004JC002786 Arhiv originalu za 9 travnya 2009 Procitovano 16 kvitnya 2019 Liu Yonggang Weisberg Robert H Mooers Christopher N K 2006 Journal of Geophysical Research 111 C5 C05018 Bibcode 2006JGRC 111 5018L doi 10 1029 2005jc003117 Arhiv originalu za 21 kvitnya 2009 Procitovano 16 kvitnya 2019 Heskes Tom Energy Functions for Self Organizing Maps in Oja Erkki and Kaski Samuel Eds Kohonen Maps Elsevier 1999 Kegl Balazs Wunsch Donald C and Zinovyev Andrei Eds Principal Manifolds for Data Visualization and Dimension Reduction Lecture Notes in Computer Science and Engineering LNCSE vol 58 Berlin Germany Springer 2008 ISBN 978 3 540 73749 0 Kaski Samuel 1997 Data Exploration Using Self Organizing Maps Mathematics Computing and Management in Engineering Series No 82 Espoo Finland Finnish Academy of Technology ISBN 978 952 5148 13 8 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite book title Shablon Cite book cite book a Proignorovano journal dovidka Shah Hosseini Hamed Safabakhsh Reza April 2003 TASOM A New Time Adaptive Self Organizing Map IEEE Transactions on Systems Man and Cybernetics Part B Cybernetics 33 2 271 282 doi 10 1109 tsmcb 2003 810442 PMID 18238177 Shah Hosseini Hamed May 2011 Binary Tree Time Adaptive Self Organizing Map Neurocomputing 74 11 1823 1839 doi 10 1016 j neucom 2010 07 037 A N Gorban A Zinovyev Principal manifolds and graphs in practice from molecular biology to dynamical systems Vol 20 No 3 2010 219 232 Liou C Y Kuo Y T 2005 Conformal Self organizing Map for a Genus Zero Manifold The Visual Computer 21 5 340 353 doi 10 1007 s00371 005 0290 6 Liou C Y Tai W P 2000 Conformality in the self organization network Artificial Intelligence 116 1 2 265 286 doi 10 1016 S0004 3702 99 00093 4 Hua H 2016 Image and geometry processing with Oriented and Scalable Map Neural Networks 77 pp 1 6 Liu Y and R H Weisberg 2011 A review of self organizing map applications in meteorology and oceanography In Self Organizing Maps Applications and Novel Algorithm Design 253 272 Zheng G and Vaishnavi V 2011 A Multidimensional Perceptual Map Approach to Project Prioritization and Selection AIS Transactions on Human Computer Interaction 3 2 pp 82 103 Taner M T Walls J D Smith M Taylor G Carr M B Dumas D 2001 Reservoir characterization by calibration of self organized map clusters SEG Technical Program Expanded Abstracts 2001 1552 1555 doi 10 1190 1 1816406 Chang Wui Lee Pang Lie Meng Tay Kai Meng March 2017 Application of Self Organizing Map to Failure Modes and Effects Analysis Methodology Neurocomputing PP 314 320 doi 10 1016 j neucom 2016 04 073 ANNetGPGPU CUDA Library with examples 1 GPU accelerated image creationLiteraturaOsovskij S Nejronnye seti dlya obrabotki informacii M Finansy i statistika 2002 244 s Hajkin S Nejronnye seti polnyj kurs M Vilyams 2006 1104 s Paklin N B Oreshkov V I Biznes analitika ot dannyh k znaniyam SPb Piter 2013 704 s Matvijchuk A V Shtuchnij intelekt v ekonomici nejronni merezhi nechitka logika monografiya A V Matvijchuk K KNEU 2011 439 s Kohonen T Samoorganizuyushiesya karty M BINOM Laboratoriya znanij 2008 655 s T Kohonen Self Organizing Maps Springer 1995 Trevor Hastie Robert Tibshirani Jerome Friedman Chapter 14 4 Self Organizing Maps The Elements of Statistical Learning 2009 S 528 534