Нейронна мережа Кохонена

Нейронні мережі Кохонена — клас нейронних мереж, основним елементом яких є шар Кохонена. Шар Кохонена складається з адаптивних лінійних суматорів («лінійних формальних нейронів»). Як правило, вихідні сигнали шару Кохонена обробляються за правилом «переможець забирає все»: найбільший сигнал перетворюється в одиничний, решта перетворюються в нуль.

За способами настройки вхідних ваг суматорів і по розв'язуваним завданням розрізняють багато різновидів мереж Кохонена. Найбільш відомі з них:

• Мережі векторного квантування сигналів, тісно пов'язані з найпростішим базовим алгоритмом кластерного аналізу (метод динамічних ядер або K-середніх)
• Самоорганізаційні карти Кохонена (Self-Organising Maps, SOM)
• Мережі векторного квантування, які вивчаються з учителем (Learning Vector Quantization)

Шар кохонена

Базова версія

Шар Кохонена складається з деякої кількості ${\displaystyle n}$ паралельно діючих лінійних елементів. Всі вони мають однакову кількість входів ${\displaystyle m}$ і отримують на свої входи один і той же вектор вхідних сигналів ${\displaystyle x=(x_{1},...x_{m})}$. На виході ${\displaystyle j}$ -го лінійного елемента отримуємо сигнал

${\displaystyle y_{j}=w_{j0}+\sum _{i=1}^{m}w_{ji}x_{i},}$

де ${\displaystyle w_{ji}}$ — ваговий коефіціент ${\displaystyle i}$-го входу ${\displaystyle j}$ нейрона, ${\displaystyle w_{j0}}$ — пороговий коефіціент.

Після проходження шару лінійних елементів сигнали посилаються на обробку за правилом «переможець забирає все»: серед вихідних сигналів ${\displaystyle y_{j}}$шукається максимальний; його номер ${\displaystyle j_{\max }={\rm {arg}}\max _{j}\{y_{j}\}}$ . Остаточно, на виході сигнал з номером ${\displaystyle j_{\max }}$ дорівнює одиниці, решта — нулю. Якщо максимум одночасно досягається для декількох ${\displaystyle j_{\max }}$. То або приймають всі відповідні сигнали рівними одиниці, або тільки перший у списку (за згодою). можна сприймати як набір електричних лампочок, так що для будь-якого вхідного вектора загоряється одна з них.»

Геометрична інтерпретація

Розбиття площини на багатокутники Вороного-Діріхле для випадково вибраних точок (кожна точка вказана в своєму багатокутнику).

Великого поширення набули шари Кохонена, побудовані таким чином: кожному (${\displaystyle j}$-му) нейрону зіставляється точка ${\displaystyle W_{j}=(w_{j1},...w_{jm})}$ в ${\displaystyle m}$-мірному просторі (просторі сигналів). Для вхідного вектора ${\displaystyle x=(x_{1},...x_{m})}$ обчислюються його евклідові відстані ${\displaystyle \rho _{j}(x)}$ до точок ${\displaystyle W_{j}}$ і «найближчий отримує все» — той нейрон, для якого ця відстань мінімально, видає одиницю, решта — нулі. Слід зауважити, що для порівняння відстаней достатньо обчислювати лінійну функцію сигналу:

${\displaystyle \rho _{j}(x)^{2}=\|x-W_{j}\|^{2}=\|W_{j}\|^{2}-2\sum _{i=1}^{m}w_{ji}x_{i}+\|x\|^{2}}$

(тут ${\displaystyle \|y\|}$ — Евклідова довжина вектора: ${\displaystyle \|y\|^{2}=\sum _{i}y_{i}^{2}}$). Останній доданок ${\displaystyle \|x\|^{2}}$ однаково для всіх нейронів, тому для знаходження найближчої точки воно не потрібно. Задача зводиться до пошуку номера найбільшого з значень лінійних функцій:

${\displaystyle j_{\max }={\rm {arg}}\max _{j}\left\{\sum _{i=1}^{m}w_{ji}x_{i}-{\frac {1}{2}}\|W_{j}\|^{2}\right\}.}$

Таким чином, координати точки ${\displaystyle W_{j}=(w_{j1},...w_{jm})}$ збігаються з вагами лінійного нейрона шару Кохонена (при цьому значення порогового коефіцієнта ${\displaystyle w_{j0}=-\|W_{j}\|^{2}/2}$).

Якщо задані точки ${\displaystyle W_{j}=(w_{j1},...w_{jm})}$, то ${\displaystyle m}$-мірний простір розбивається на відповідні комірки триангуляції Вороного-Делоне ${\displaystyle V_{j}}$: багатогранник ${\displaystyle V_{j}}$ складається з точок, які ближче до ${\displaystyle W_{j}}$, ніж до інших ${\displaystyle W_{k}}$ (${\displaystyle k\neq j}$).

Самоорганізаційні Карти Кохонена

Докладніше: Самоорганізаційна Карта Кохонена

Ідея та алгоритм навчання

Завдання векторного квантування полягає, по своїй суті, в найкращій апроксимації всієї сукупності векторів даних ${\displaystyle k}$ кодовими векторами ${\displaystyle W_{j}}$. Самоорганізаційні карти Кохонена також апроксимують дані, проте за наявності додаткової структури в сукупності кодових векторів (англ. codebook). Передбачається, що апріорі задана деяка симетрична таблиця «заходів сусідства» (або «заходів близькості») вузлів: для кожної пари ${\displaystyle j,l}$ (${\displaystyle j,l=1,...k}$) визначено число ${\displaystyle \eta _{jl}}$ (${\displaystyle 0\leq \eta _{jl}\leq 1}$) при цьому діагональні елементи таблиці близькості дорівнюють одиниці (${\displaystyle \eta _{jj}=1}$).

Вектори вхідних сигналів ${\displaystyle x}$ обробляються по одному, для кожного з них знаходиться найближчий кодовий вектор («переможець», який «забирає все») ${\displaystyle W_{j(x)}}$. Після цього всі кодові вектори ${\displaystyle W_{l}}$, для яких ${\displaystyle \eta _{j(x)l}\neq 0}$, перераховуються за формулою:

${\displaystyle W_{l}^{\rm {new}}=W_{l}^{\rm {old}}(1-\eta _{j(x)l}\theta )+x\eta _{j(x)l}\theta ,}$

де ${\displaystyle \theta \in (0,1)}$ — Крок навчання. Сусіди кодового вектора — переможця (по апріорно заданою таблицею близькості) зсуваються в ту ж сторону, що і цей вектор, пропорційний мірі близькості.

Найчастіше, таблиця кодових векторів представляється у вигляді фрагмента квадратної решітки на площині, а міра близькості визначається, виходячи з евклідової відстані на площині.

Самоорганізаційні карти Кохонена служать, в першу чергу, для візуалізації та первісного («розвідувального») аналізу даних. Кожна точка даних відображається відповідним кодовим вектором з решітки. Так отримують уявлення даних на площині («карту даних»). На цій карті можливе відображення багатьох шарів: кількість даних, що потрапляють у вузли (тобто «щільність даних»), різні функції даних і так далі. При відображенні цих шарів корисний апарат географічних інформаційних систем (ГІС). У ГІС підкладкою для зображення інформаційних шарів служить географічна карта. Карта даних є підкладкою для довільного за своєю природою набору даних. Вона служить заміною географічній карті там, де її просто не існує. Принципова відмінність в наступному: на географічній карті сусідні об'єкти володіють близькими географічними координатами, на карті даних близькі об'єкти володіють близькими властивостями. За допомогою карти даних можна візуалізовувати дані, одночасно наносячи на підкладку супутню інформацію (підписи, анотації, атрибути, інформаційні розмальовки). Карта служить також інформаційною моделлю даних. З її допомогою можна заповнювати прогалини в даних. Ця здатність використовується, наприклад, для вирішення завдань прогнозування.

Самоорганізаційні карти і головні многовиди

Ідея самоорганізаційних карт дуже приваблива і породила масу узагальнень, однак, строго кажучи, ми не знаємо, що ми будуємо: карта — це результат роботи алгоритму і не має окремого («об'єктного») визначення. Є, однак, близька теоретична ідея — головні многовиди (principal manifolds). Ці многовиди узагальнюють лінійні головні компоненти. Вони були введені як лінії або поверхневі, що проходять через «середину» розподілу даних, за допомогою умови самоузгодження: кожна точка ${\displaystyle x}$ на головному многовиді ${\displaystyle M}$ є умовним математичним очікуванням тих векторів ${\displaystyle z}$, які проектуються на ${\displaystyle x}$ (за умови ${\displaystyle x=P(z)}$, де ${\displaystyle P}$ — оператор проектування околиці ${\displaystyle M}$ на ${\displaystyle M}$),

${\displaystyle x=\mathbf {E} (z|P(z)=x).}$

Самоорганізаційні карти можуть розглядатися як апроксимації головних многовидів і популярні в цій якості.

Примітки

1. How many kinds of Kohonen networks exist? Internet FAQ Archives. Online Education
2. Hecht-Nielsen, R. (1990), Neurocomputing, Reading, MA: Addison-Wesley, .
3. Kohonen, T. (1988), Learning Vector Quantization, Neural Networks, 1 (suppl 1), 303.
4. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика — Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. —
5. Real time interactive Voronoi and Delaunay diagrams with source code
6. Зінов'єв А. Ю. Візуалізація багатовимірних даних — pca.narod.ru / ZINANN.htm. — Красноярськ: Изд. Красноярського державного технічного університету, 2000. — 180 с.
7. З цієї роботи розпочалося вивчення основних многовидів. Дисертація T. Хасті: Hastie T., Principal Curves and Surfaces [ 3 жовтня 2013 у Wayback Machine.], Ph.D Dissertation, Stanford Linear Accelerator Center, Stanford University, Stanford, California, US, November 1984. А також на сайті PCA
8. Yin H. Learning Nonlinear Principal Manifolds by Self-Organising Maps, In: Gorban A. N. et al (Eds.), LNCSE 58, Springer, 2007

Література

• Trevor Hastie, Robert Tibshirani, Jerome Friedman. Chapter 14.4 Self-Organizing Maps // The Elements of Statistical Learning. — 2009. — С. 528-534.