Adaline

ADALINE (англ. Adaptive Linear Neuron або пізніше англ. Adaptive Linear Element) — адаптивний лінійний нейрон, або адаптивний лінійний елемент. ADALINE по суті є одношаровою нейронною мережею. Він був розроблений професором і його студентом Тедом Гоффом у Стенфордському університеті у 1960 році. ADALINE базується на штучному нейроні МакКаллока-Пітса.

Навчання одного шару ADALINE

Різниця між Адалін і стандартним нейроном МакКаллоха-Пітса полягає в тому, що у фазі навчання ваги Адалін встановлюються відповідно до вагової суми входів (сигнали сітки). В стандартному перцептроні протягом фази навчання сигнали сітки надходять до передавальної функції і її вихід використовується для встановлення ваг.

Багатошарова мережа ADALINE називається Madaline.

Визначення

ADALINE — це одношарова нейросітка з численними вузлами, кожен з яких має багато входів і генерує вихідний сигнал. Позначимо такі змінні:

• ${\displaystyle x}$ — вхідний вектор
• ${\displaystyle w}$ — ваговий вектор
• ${\displaystyle n}$ — число входів
• ${\displaystyle \theta }$ — деяка константа
• ${\displaystyle y}$ — вихід

Вихід визначається наступною формулою: ${\displaystyle y=\sum _{j=1}^{n}x_{j}w_{j}+\theta }$. Припустимо, що

• ${\displaystyle x_{n+1}=1}$
• ${\displaystyle w_{n+1}=\theta }$

Тоді вихід спрощується до скалярного добутку x і w: ${\displaystyle y=\sum _{j=0}^{n}x_{j}w_{j}}$.

Алгоритм навчання

Припустимо:

• ${\displaystyle \eta }$ швидкість навчання (деяка константа)
• ${\displaystyle d}$ бажаний вихід
• ${\displaystyle o}$ поточний вихід

тоді ваги встановлюються таким чином: ${\displaystyle w\leftarrow w+\eta (d-o)x}$. ADALINE сходиться до похибки найменших квадратів: ${\displaystyle E=(d-o)^{2}}$. Це правило оновлення насправді є стохастичним градієнтним спуском для лінійної регресії.

Примітки

1. Talking Nets: An Oral History of Neural Networks.
2. Youtube: widrowlms: Science in Action [ 3 березня 2017 у Wayback Machine.]
3. (PDF). Архів оригіналу (PDF) за 14 липня 2018. Процитовано 9 серпня 2018.
4. Youtube: widrowlms: The LMS algorithm and ADALINE. Part I - The LMS algorithm [ 21 вересня 2016 у Wayback Machine.]
5. Youtube: widrowlms: The LMS algorithm and ADALINE. Part II - ADALINE and memistor ADALINE [ 13 листопада 2020 у Wayback Machine.]
6. (PDF). CS 4793: Introduction to Artificial Neural Networks. Department of Computer Science, University of Texas at San Antonio. Архів оригіналу (PDF) за 15 червня 2010. Процитовано 17 січня 2010.
7. Avi Pfeffer. CS181 Lecture 5 — Perceptrons (PDF). Harvard University.^{[недоступне посилання з 01.06.2017]}

Посилання

• Delta Learning Rule: ADALINE
• Adaline (Adaptive Linear) [ 15 червня 2010 у Wayback Machine.]

Див. також

• MADALINE