Метод корекції зі зворотною передачею сигналу помилки

Метод корекції зі зворотною передачею сигналу помилки - стохастичний метод навчання перцептрона, необхідний для того, щоб гарантувати збіжність при змінних зв'язках більше ніж у одного шару. Метод був запропонований Розенблаттом для і може бути використаний для бінарних багатошарових перцептронів. Є альтернативою методу зворотного поширення помилки, але на відміну від нього гарантує процес збіжності (досягнення рішення).

Алгоритм

• Для кожного R-елементу встановлюється помилка ${\displaystyle E_{r}=R^{*}-r^{*}}$, де ${\displaystyle R^{*}}$ - необхідна, а ${\displaystyle r^{*}}$ - досягнута реакція.
• Для кожного А-елемента ${\displaystyle a_{i}}$ помилка обчислюється так:
  • Спочатку ${\displaystyle E_{i}=0}$;
  • Якщо елемент ${\displaystyle a_{i}}$ активний і зв'язок ${\displaystyle c_{(}ir)}$ закінчується на R-елементі з ненульовою помилкою ${\displaystyle E_{r}}$, що відрізняється по знаку від ваги зв'язку < math>w_ (ir)/math>, то з ймовірністю ${\displaystyle p_{1}}$ до ${\displaystyle E_{i}}$ слід додати корекцію, що дорівнює -1;
  • Якщо елемент ${\displaystyle a_{i}}$ неактивний і зв'язок ${\displaystyle c_{(}ir)}$ закінчується на R-елементі з ненульовою помилкою ${\displaystyle E_{r}}$, не відрізняється (збігається) за знаком від ваги зв'язку ${\displaystyle w_{(}ir)}$, то з ймовірністю ${\displaystyle p_{2}}$ до ${\displaystyle E_{i}}$ слід додати корекцію, що дорівнює 1;
  • Якщо елемент ${\displaystyle a_{i}}$ неактивний і зв'язок ${\displaystyle c_{(}ir)}$ закінчується на R-елементі з ненульовою помилкою ${\displaystyle E_{r}}$, що відрізняється по знаку від ваги зв'язку ${\displaystyle w_{(}ir)}$ (або ${\displaystyle w_{(}ir)=0}$), то з ймовірністю ${\displaystyle p_{3}}$ до ${\displaystyle E_{i}}$ слід додати корекцію , що дорівнює 1;
  • При всіх інших умовах ${\displaystyle E_{i}}$ не змінюється.
• Якщо ${\displaystyle E_{i}\not =0}$, то до всіх активних зв'язків, що закінчується на А чи R елементі, додаємо корекцію ${\displaystyle \eta }$ з знаком, що збігається зі знаком ${\displaystyle E_{i}}$, тобто ${\displaystyle \Delta w_{(}ij)=a_{i}^{*}sign(E_{i})\varepsilon }$, де ${\displaystyle \varepsilon }$ - абсолютне значення ${\displaystyle \eta }$ (як правило одиниця ).

У більшості випадків найкращі характеристики можуть бути отримані якщо ймовірності будуть вибрана відповідно до наступного умові ${\displaystyle p_{1}>p_{2}>p_{3}}$.

Див. також

• Перцептрон
• Метод корекції помилки

Література

1. Фрэнк Розенблатт Принципы нейродинамики: перцептроны и теория механизмов мозга = Principles of Neurodynamic: perceptrons and the theory of brain mechanisms. — М.: «Мир», 1965.
2. Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998