Штучний нейрон (Математичний нейрон Маккалоха — [en], Формальний нейрон) — вузол штучної нейронної мережі, що є спрощеною моделлю природного нейрона. Математично, штучний нейрон зазвичай представляють як деяку нелінійну функцію від єдиного аргументу — лінійної комбінації всіх вхідних сигналів. Цю функцію називають функцією активації або функцією спрацьовування, передавальною функцією. Отриманий результат посилається на єдиний вихід. Такі штучні нейрони об'єднують в мережі — з'єднують виходи одних нейронів з входами інших. Штучні нейрони та мережі є основними елементами ідеального нейрокомп'ютера.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODFMelUzTDBGeWRHbG1hV05wWVd4ZlRtVjFjbTl1WDFOamFHVnRaUzV3Ym1jdk1qSXdjSGd0UVhKMGFXWnBZMmxoYkY5T1pYVnliMjVmVTJOb1pXMWxMbkJ1Wnc9PS5wbmc=.png)
1. Нейрони, вихідні сигнали яких надходять на вхід даного нейрону
2. Суматор вхідних сигналів
3. Обчислювач передавальної функції
4. Нейрони, на входи яких подається сигнал даного нейрону
5. — ваги вхідних сигналів
Біологічний прототип
Біологічний нейрон складається з тіла, діаметром від 3 до 100 мкм, що містить ядро (з великою кількістю ядерних пор) та інші органели (у тому числі сильно розвинений шорсткий ЕПР з активними рибосомами, апарат Гольджі) і відростків. Виділяють два види відростків. Аксон — зазвичай довгий відросток, пристосований для проведення збудження від тіла нейрона. Дендрити — як правило, короткі і сильно розгалужені відростки, які служать головним місцем утворення збуджуючих і гальмівних синапсів (різні нейрони мають різне співвідношення довжини аксона і дендритів). Нейрон може мати кілька дендритів і зазвичай тільки один аксон. Один нейрон може мати зв'язки з десятками тисяч інших нейронів. Кора головного мозку людини містить десятки мільярдів нейронів.
Історія розвитку
Математична модель штучного нейрону була запропонована В. Маккалохом та разом з моделлю мережі, що складається з цих нейронів. Автори показали, що мережа на таких елементах може виконувати числові і логічні операції. Практично мережа була реалізована Френком Розенблатом в 1958 році як комп'ютерна програма, а згодом як електронний пристрій — перцептрон. Спочатку нейрон міг оперувати тільки з сигналами логічного нуля і логічної одиниці, оскільки був побудований на основі біологічного прототипу, який може перебувати тільки в двох станах — збудженому або не збудженому. Розвиток нейронних мереж показав, що для розширення області їхнього застосування необхідно, щоб нейрон міг працювати не тільки з бінарними, але і з безперервними (аналоговими) сигналами. Таке узагальнення моделі нейрона було зроблено Уїдроу і Хоффом, які запропонували використовувати логістичну криву як функцію спрацьовування нейрона.
Зв'язки між штучними нейронами
Зв'язки, якими вихідні сигнали одних нейронів надходять на входи інших, часто називають синапсами за аналогією зі зв'язками між біологічними нейронами. Кожен зв'язок характеризується своєю вагою. Зв'язки з позитивною вагою називаються збудливими, а з негативною — гальмівними. Нейрон має один вихід, який часто називають аксоном за аналогією з біологічним прототипом. З єдиного виходу нейрона сигнал може надходити на довільне число входів інших нейронів.
Математична модель
Математично нейрон являє собою ваговий суматор, єдиний вихід якого визначається через його входи і матрицю ваг таким чином:
Тут і
— відповідно сигнали на входах нейрона і ваги входів, функція u називається індукованим локальним полем, а f(u) — передавальною функцією. Можливі значення сигналів на входах нейрона вважають заданими в інтервалі
. Вони можуть бути або дискретними (0 або 1), або аналоговими. Додатковий вхід
і відповідна йому вага використовується для ініціалізації нейрона. Під ініціалізацією мається на увазі зсув активаційної функції нейрона по горизонтальній осі, тобто формування порогу чутливості нейрона. Крім того, іноді до виходу нейрона спеціально додають якусь випадкову величину, яка називається зсувом. Зсув можна розглядати як сигнал на додатковому, завжди навантаженому, синапсі.
Передавальна функція нейрона
Передавальна функція f (u) визначає залежність сигналу на виході нейрона від зваженої суми сигналів на його входах. У більшості випадків вона є монотонно зростаючою і має область значень або
, проте існують винятки. Також для деяких алгоритмів навчання мережі необхідно, щоб вона була безперервно диференційовною на всій числової осі. Штучний нейрон повністю характеризується своєю передавальною функцією. Використання різних передавальних функцій дозволяє вносити нелінійність в роботу нейрона і в цілому нейронної мережі.
Класифікація нейронів
В основному, нейрони класифікують на основі їх положення в топології мережі. Розділяють:
- Вхідні нейрони — отримують вектор, що кодує вхідний сигнал. Як правило, ці нейрони не виконують обчислювальних операцій, а просто передають отриманий вхідний сигнал на вихід, можливо, посиливши або послабивши його;
- Вихідні нейрони — являють собою виходи мережі. У вихідних нейронах можуть проводитися будь-які обчислювальні операції;
- Проміжні нейрони — виконують основні обчислювальні операції.
Основні типи передавальних функцій
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODBMelJpTDFCcFkyVjNhWE5sVEdsdVpXRnlSblZ1WTNScGIyNHVjM1puTHpJeU1IQjRMVkJwWTJWM2FYTmxUR2x1WldGeVJuVnVZM1JwYjI0dWMzWm5MbkJ1Wnc9PS5wbmc=.png)
Лінійна передавальна функція
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOWhMMkZqTDBoaGNtUk1hVzFwZEVaMWJtTjBhVzl1TG5OMlp5OHlNakJ3ZUMxSVlYSmtUR2x0YVhSR2RXNWpkR2x2Ymk1emRtY3VjRzVuLnBuZw==.png)
Сигнал на виході нейрона лінійно пов'язаний із ваговою сумою сигналів на його вході.
де t — параметр функції. В штучних нейронних мережах із шаруватою структурою, нейрони з передавальними функціями такого типу, як правило, складають вхідний шар. Крім простої лінійної функції можуть бути використовуватись також її модифікації. Наприклад напівлінійна функція (якщо її аргумент менше нуля, то вона дорівнює нулю, а в інших випадках, поводить себе як лінійна) або крокова (лінійна функція з насиченням), яку можна виразити формулою:
При цьому можливий зсув функції по обох осях (як зображено на малюнку).
Недоліками крокової і напівлінійних активаційних функцій щодо лінійної можна назвати те, що вони не є диференційовними на всій числової осі, а отже не можуть бути використані при навчанні за деякими алгоритмам.
Порогова передавальна функція
Інша назва — Функція Гевісайда. Являє собою перепад. До тих пір поки зважений сигнал на вході нейрона не досягає певного рівня - сигнал на виході дорівнює нулю. Як тільки сигнал на вході нейрона перевищує зазначений рівень — вихідний сигнал стрибкоподібно змінюється на одиницю. Найперший представник шаруватих штучних нейронних мереж — перцептрон складався виключно з нейронів такого типу. Математична запис цієї функції виглядає так:
Тут — зсув функції активації щодо горизонтальної осі, відповідно під
слід розуміти зважену суму сигналів на входах нейрона без урахування цього доданку. З огляду на те, що ця функція не є диференційовною на всій осі абсцис, її не можна використовувати в мережах, що навчаються за алгоритмом зворотного поширення помилки та іншим алгоритмам, що вимагають диференційованої передавальної функції.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODVMemsyTDFOcFoyMXZhV1JHZFc1amRHbHZiaTV6ZG1jdk1qSXdjSGd0VTJsbmJXOXBaRVoxYm1OMGFXOXVMbk4yWnk1d2JtYz0ucG5n.png)
Сигмоїдальна передавальна функція
Один із найчастіше використовуваних, в цей час, типів передавальних функцій. Введення функцій сигмоїдального типу було обумовлене обмеженістю нейронних мереж із пороговою функцією активації нейронів — за такої функції активації будь-який із виходів мережі дорівнює або нулю, або одиниці, що обмежує використання мереж не в задачах класифікації. Використання сигмоїдальних функцій дозволило перейти від бінарних виходів нейрона до аналогових. Функції передачі такого типу, як правило, властиві нейронам, що знаходяться у внутрішніх шарах нейронної мережі.
Логістична функція
Математично цю функцію можна виразити так:
Тут t — це параметр функції, що визначає її крутизну. Коли t прямує до нескінченності, функція вироджується в порогову. При сигмоїда вироджується в постійну функцію із значенням 0,5. Область значень даної функції знаходиться в інтервалі (0,1). Важливою перевагою цієї функції є простота її похідної:
Те, що похідна цієї функції може бути виражена через її значення, полегшує використання цієї функції при навчанні мережі за алгоритмом зворотного поширення. Особливістю нейронів з такою передавальною характеристикою є те, що вони посилюють сильні сигнали істотно менше, ніж слабкі, оскільки області сильних сигналів відповідають пологим ділянках характеристики. Це дозволяє запобігти насиченню від великих сигналів.
Гіперболічний тангенс
Використання функції гіперболічного тангенса
відрізняється від розглянутої вище логістичної кривої тим, що його область значень лежить в інтервалі (-1; 1). Оскільки є вірним наступне співвідношення
,
то обидва графіки відрізняються лише масштабом осей. Похідна гіперболічного тангенса, зрозуміло, теж виражається квадратичною функцією значення; властивість протистояти насиченню також має місце.
Радіально-базисна функція передачі
Цей тип функцій приймає як аргумент відстань між вхідним вектором і деяким наперед заданими центром активаційний функції. Значення цієї функції тим вище, чим ближче до центру вхідний вектор. Як радіальну базисну функцію можна, наприклад, використовувати функцію Гауса:
Тут — відстань між центром
і вектором вхідних сигналів
. Скалярний параметр
визначає швидкість спадання функції при віддалені вектора від центру і називається шириною вікна, параметр
визначає зсув активаційний функції по осі абсцис. Мережі, з нейронами, що використовують такі функції, називаються RBF-мережами (англ. Radial basis function network). Як відстані між векторами можуть бути використані різні метрики, зазвичай використовується евклідова відстань:
Тут — j-та компонента вектора, поданого на вхід нейрона, а
— j-та компонента вектора, що визначає положення центру передавальної функції. Відповідно, мережі з такими нейронами називаються ймовірносними та .
У реальних мережах активаційна функція цих нейронів може відображати розподіл ймовірністі будь-якої випадкової величини, або позначати будь-які евристичні залежності між величинами.
Інші функції передачі
Перераховані вище функції становлять лише частину від безлічі передавальних функцій, що використовуються в цей час. До числа інших передавальних функцій входять такі як:
- Експонента
;
- Тригонометричний синус;
- Модульна:
;
- Квадратична.
Стохастичний нейрон
Вище описана модель детерміністичного штучного нейрона, тобто стан на виході нейрона однозначно визначено результатом роботи суматора вхідних сигналів. Розглядають також стохастичні нейрони, де перемикання нейрона відбувається з ймовірністю, що залежить від індукованого локального поля, тобто передавальна функція визначена як
де розподіл ймовірності зазвичай має вигляд сигмоїди
a нормувальна константа вводиться для умови нормалізації розподілу ймовірності
. Таким чином, нейрон активується з ймовірністю P(u). Параметр T — аналог температури (але не температури нейрона!) І визначає безлад в нейронної мережі. Якщо Т спрямувати до 0, стохастичний нейрон перейде в звичайний нейрон з передавальної функцією Хевісайда (пороговою функцією).
Моделювання формальних логічних функцій
Нейрон з пороговою передавальною функцією може моделювати різні логічні функції. Зображення ілюструють, яким чином можна, задавши ваги вхідних сигналів і поріг чутливості, змусити нейрон виконувати кон'юнкцію (логічне «І») і диз'юнкцію (логічне «АБО») над вхідними сигналами, а також Логічне заперечення вхідного сигналу (логічне «НЕ»). Цих трьох операцій достатньо, щоб змоделювати абсолютно будь-яку логічну функцію будь-якого числа аргументів.
- Схема нейрона, налаштованого на моделювання логічного «І»
- Схема нейрона, налаштованого на моделювання логічного «АБО»
- Схема нейрона, налаштованого на моделювання логічного «НЕ»
Відмінності між біологічним і штучним нейроном
Нейронні мережі, побудовані на штучних нейронах, виявляють деякі ознаки, які дозволяють зробити припущення про подібність їх структури до структури мозку живих організмів. Тим не менше, навіть на нижчому рівні штучних нейронів існують суттєві відмінності. Наприклад, штучний нейрон є безінерційною системою, тобто сигнал на виході з'являється одночасно з появою сигналів на вході, що зовсім не характерно для біологічного нейрона.
Див. також
Примітки
- Л. Г. Комарцова, А. В. Максимов «Нейрокомпьютеры», МГТУ им. Н. Э. Баумана, 2004 г.,
- Миркес Е. М., Нейрокомпьютер. Проект стандарта. — Новосибирск: Наука, 1999. — 337 с.
- У статті McCulloch W.S., Pitts W. A logical Clculus of Ideas Immanent in Nervous Activity — Bull. Mathematical Biophysics, 1943 online[недоступне посилання з грудня 2019]
- Л. Н. Ясницкий, «Введение в искусственный интеллект», Изд. Академия, 2005 г., ; стр.29
- У роботіWidrow B., Hoff M.E. Adaptive switching circuits. 1960 IRE WESTCON Conferencion Record. — New York, 1960
- В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.11
- В. А. Терехов — Нейросетевые системы управления — с.12-13
- В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.14
- В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.12
- Дуже часто в літературі можна зустріти назвуперсептрон
- Л. Н. Ясницкий — Введение в искусственный интеллект — с.34
- CIT forum — Нейрокомп'ютери — архітектура і реалізація
- В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.13
- Л. Н. Ясницкий — Введение в искусственный интеллект — с.77
- В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.349
- В. В. Круглов, В. В. Борисов — Искусственные нейронные сети. Теория и практика — с.348
- Л. Н. Ясницкий — Введение в искусственный интеллект — c.30
Література
- Каллан Р. Основные концепции нейронных сетей = The Essence of Neural Networks First Edition. — «Вильямс», 2001. — 288 с. — . (рос.)
- Ясницкий Л.Н. Введение в искусственный интеллект. — Издательский центр "Академия", 2005. — 176 с. — . (рос.)
- Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры. — Изд-во МГТУ им. Н.Э. Баумана, 2002. — 320 с. — . (рос.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Shtuchnij nejron Matematichnij nejron Makkaloha en Formalnij nejron vuzol shtuchnoyi nejronnoyi merezhi sho ye sproshenoyu modellyu prirodnogo nejrona Matematichno shtuchnij nejron zazvichaj predstavlyayut yak deyaku nelinijnu funkciyu vid yedinogo argumentu linijnoyi kombinaciyi vsih vhidnih signaliv Cyu funkciyu nazivayut funkciyeyu aktivaciyi abo funkciyeyu spracovuvannya peredavalnoyu funkciyeyu Otrimanij rezultat posilayetsya na yedinij vihid Taki shtuchni nejroni ob yednuyut v merezhi z yednuyut vihodi odnih nejroniv z vhodami inshih Shtuchni nejroni ta merezhi ye osnovnimi elementami idealnogo nejrokomp yutera Shema shtuchnogo nejronu 1 Nejroni vihidni signali yakih nadhodyat na vhid danogo nejronu 2 Sumator vhidnih signaliv 3 Obchislyuvach peredavalnoyi funkciyi 4 Nejroni na vhodi yakih podayetsya signal danogo nejronu 5 w i displaystyle w i vagi vhidnih signalivBiologichnij prototipDokladnishe Nejron Biologichnij nejron skladayetsya z tila diametrom vid 3 do 100 mkm sho mistit yadro z velikoyu kilkistyu yadernih por ta inshi organeli u tomu chisli silno rozvinenij shorstkij EPR z aktivnimi ribosomami aparat Goldzhi i vidrostkiv Vidilyayut dva vidi vidrostkiv Akson zazvichaj dovgij vidrostok pristosovanij dlya provedennya zbudzhennya vid tila nejrona Dendriti yak pravilo korotki i silno rozgaluzheni vidrostki yaki sluzhat golovnim miscem utvorennya zbudzhuyuchih i galmivnih sinapsiv rizni nejroni mayut rizne spivvidnoshennya dovzhini aksona i dendritiv Nejron mozhe mati kilka dendritiv i zazvichaj tilki odin akson Odin nejron mozhe mati zv yazki z desyatkami tisyach inshih nejroniv Kora golovnogo mozku lyudini mistit desyatki milyardiv nejroniv Istoriya rozvitkuMatematichna model shtuchnogo nejronu bula zaproponovana V Makkalohom ta razom z modellyu merezhi sho skladayetsya z cih nejroniv Avtori pokazali sho merezha na takih elementah mozhe vikonuvati chislovi i logichni operaciyi Praktichno merezha bula realizovana Frenkom Rozenblatom v 1958 roci yak komp yuterna programa a zgodom yak elektronnij pristrij perceptron Spochatku nejron mig operuvati tilki z signalami logichnogo nulya i logichnoyi odinici oskilki buv pobudovanij na osnovi biologichnogo prototipu yakij mozhe perebuvati tilki v dvoh stanah zbudzhenomu abo ne zbudzhenomu Rozvitok nejronnih merezh pokazav sho dlya rozshirennya oblasti yihnogo zastosuvannya neobhidno shob nejron mig pracyuvati ne tilki z binarnimi ale i z bezperervnimi analogovimi signalami Take uzagalnennya modeli nejrona bulo zrobleno Uyidrou i Hoffom yaki zaproponuvali vikoristovuvati logistichnu krivu yak funkciyu spracovuvannya nejrona Zv yazki mizh shtuchnimi nejronamiZv yazki yakimi vihidni signali odnih nejroniv nadhodyat na vhodi inshih chasto nazivayut sinapsami za analogiyeyu zi zv yazkami mizh biologichnimi nejronami Kozhen zv yazok harakterizuyetsya svoyeyu vagoyu Zv yazki z pozitivnoyu vagoyu nazivayutsya zbudlivimi a z negativnoyu galmivnimi Nejron maye odin vihid yakij chasto nazivayut aksonom za analogiyeyu z biologichnim prototipom Z yedinogo vihodu nejrona signal mozhe nadhoditi na dovilne chislo vhodiv inshih nejroniv Matematichna modelMatematichno nejron yavlyaye soboyu vagovij sumator yedinij vihid yakogo viznachayetsya cherez jogo vhodi i matricyu vag takim chinom y f u displaystyle y f u de u i 1 n w i x i w 0 x 0 textstyle u sum i 1 n w i x i w 0 x 0 Tut x i displaystyle x i i w i displaystyle w i vidpovidno signali na vhodah nejrona i vagi vhodiv funkciya u nazivayetsya indukovanim lokalnim polem a f u peredavalnoyu funkciyeyu Mozhlivi znachennya signaliv na vhodah nejrona vvazhayut zadanimi v intervali 0 1 displaystyle 0 1 Voni mozhut buti abo diskretnimi 0 abo 1 abo analogovimi Dodatkovij vhid x 0 displaystyle x 0 i vidpovidna jomu vaga vikoristovuyetsya dlya inicializaciyi nejrona Pid inicializaciyeyu mayetsya na uvazi zsuv aktivacijnoyi funkciyi nejrona po gorizontalnij osi tobto formuvannya porogu chutlivosti nejrona Krim togo inodi do vihodu nejrona specialno dodayut yakus vipadkovu velichinu yaka nazivayetsya zsuvom Zsuv mozhna rozglyadati yak signal na dodatkovomu zavzhdi navantazhenomu sinapsi Peredavalna funkciya nejronaPeredavalna funkciya f u viznachaye zalezhnist signalu na vihodi nejrona vid zvazhenoyi sumi signaliv na jogo vhodah U bilshosti vipadkiv vona ye monotonno zrostayuchoyu i maye oblast znachen 1 1 displaystyle 1 1 abo 0 1 displaystyle 0 1 prote isnuyut vinyatki Takozh dlya deyakih algoritmiv navchannya merezhi neobhidno shob vona bula bezperervno diferencijovnoyu na vsij chislovoyi osi Shtuchnij nejron povnistyu harakterizuyetsya svoyeyu peredavalnoyu funkciyeyu Vikoristannya riznih peredavalnih funkcij dozvolyaye vnositi nelinijnist v robotu nejrona i v cilomu nejronnoyi merezhi Klasifikaciya nejronivV osnovnomu nejroni klasifikuyut na osnovi yih polozhennya v topologiyi merezhi Rozdilyayut Vhidni nejroni otrimuyut vektor sho koduye vhidnij signal Yak pravilo ci nejroni ne vikonuyut obchislyuvalnih operacij a prosto peredayut otrimanij vhidnij signal na vihid mozhlivo posilivshi abo poslabivshi jogo Vihidni nejroni yavlyayut soboyu vihodi merezhi U vihidnih nejronah mozhut provoditisya bud yaki obchislyuvalni operaciyi Promizhni nejroni vikonuyut osnovni obchislyuvalni operaciyi Osnovni tipi peredavalnih funkcijLinijna funkciya aktivaciyi z nasichennyam Linijna peredavalna funkciya Porogova funkciya aktivaciyi Signal na vihodi nejrona linijno pov yazanij iz vagovoyu sumoyu signaliv na jogo vhodi f x t x displaystyle f x tx de t parametr funkciyi V shtuchnih nejronnih merezhah iz sharuvatoyu strukturoyu nejroni z peredavalnimi funkciyami takogo tipu yak pravilo skladayut vhidnij shar Krim prostoyi linijnoyi funkciyi mozhut buti vikoristovuvatis takozh yiyi modifikaciyi Napriklad napivlinijna funkciya yaksho yiyi argument menshe nulya to vona dorivnyuye nulyu a v inshih vipadkah povodit sebe yak linijna abo krokova linijna funkciya z nasichennyam yaku mozhna viraziti formuloyu f x 0 if x 0 1 if x 1 x else displaystyle f x begin cases 0 amp text if x leq 0 1 amp text if x geq 1 x amp text else end cases Pri comu mozhlivij zsuv funkciyi po oboh osyah yak zobrazheno na malyunku Nedolikami krokovoyi i napivlinijnih aktivacijnih funkcij shodo linijnoyi mozhna nazvati te sho voni ne ye diferencijovnimi na vsij chislovoyi osi a otzhe ne mozhut buti vikoristani pri navchanni za deyakimi algoritmam Porogova peredavalna funkciya Insha nazva Funkciya Gevisajda Yavlyaye soboyu perepad Do tih pir poki zvazhenij signal na vhodi nejrona ne dosyagaye pevnogo rivnya T displaystyle T signal na vihodi dorivnyuye nulyu Yak tilki signal na vhodi nejrona perevishuye zaznachenij riven vihidnij signal stribkopodibno zminyuyetsya na odinicyu Najpershij predstavnik sharuvatih shtuchnih nejronnih merezh perceptron skladavsya viklyuchno z nejroniv takogo tipu Matematichna zapis ciyeyi funkciyi viglyadaye tak f x 1 if x T 0 else displaystyle f x begin cases 1 amp text if x geq T 0 amp text else end cases Tut T w 0 x 0 displaystyle T w 0 x 0 zsuv funkciyi aktivaciyi shodo gorizontalnoyi osi vidpovidno pid x displaystyle x slid rozumiti zvazhenu sumu signaliv na vhodah nejrona bez urahuvannya cogo dodanku Z oglyadu na te sho cya funkciya ne ye diferencijovnoyu na vsij osi abscis yiyi ne mozhna vikoristovuvati v merezhah sho navchayutsya za algoritmom zvorotnogo poshirennya pomilki ta inshim algoritmam sho vimagayut diferencijovanoyi peredavalnoyi funkciyi Sigmoyidna funkciya aktivaciyi Sigmoyidalna peredavalna funkciya Dokladnishe Sigmoyida Odin iz najchastishe vikoristovuvanih v cej chas tipiv peredavalnih funkcij Vvedennya funkcij sigmoyidalnogo tipu bulo obumovlene obmezhenistyu nejronnih merezh iz porogovoyu funkciyeyu aktivaciyi nejroniv za takoyi funkciyi aktivaciyi bud yakij iz vihodiv merezhi dorivnyuye abo nulyu abo odinici sho obmezhuye vikoristannya merezh ne v zadachah klasifikaciyi Vikoristannya sigmoyidalnih funkcij dozvolilo perejti vid binarnih vihodiv nejrona do analogovih Funkciyi peredachi takogo tipu yak pravilo vlastivi nejronam sho znahodyatsya u vnutrishnih sharah nejronnoyi merezhi Logistichna funkciya Matematichno cyu funkciyu mozhna viraziti tak s x 1 1 exp t x displaystyle sigma x frac 1 1 exp tx Tut t ce parametr funkciyi sho viznachaye yiyi krutiznu Koli t pryamuye do neskinchennosti funkciya virodzhuyetsya v porogovu Pri t 0 displaystyle t 0 sigmoyida virodzhuyetsya v postijnu funkciyu iz znachennyam 0 5 Oblast znachen danoyi funkciyi znahoditsya v intervali 0 1 Vazhlivoyu perevagoyu ciyeyi funkciyi ye prostota yiyi pohidnoyi d s x d x t f x 1 f x displaystyle cfrac d sigma x dx tf x 1 f x Te sho pohidna ciyeyi funkciyi mozhe buti virazhena cherez yiyi znachennya polegshuye vikoristannya ciyeyi funkciyi pri navchanni merezhi za algoritmom zvorotnogo poshirennya Osoblivistyu nejroniv z takoyu peredavalnoyu harakteristikoyu ye te sho voni posilyuyut silni signali istotno menshe nizh slabki oskilki oblasti silnih signaliv vidpovidayut pologim dilyankah harakteristiki Ce dozvolyaye zapobigti nasichennyu vid velikih signaliv Giperbolichnij tangens Vikoristannya funkciyi giperbolichnogo tangensa t h A x exp A x exp A x exp A x exp A x displaystyle th Ax frac exp Ax exp Ax exp Ax exp Ax vidriznyayetsya vid rozglyanutoyi vishe logistichnoyi krivoyi tim sho jogo oblast znachen lezhit v intervali 1 1 Oskilki ye virnim nastupne spivvidnoshennya t h A 2 x 2 s x 1 displaystyle th frac A 2 x 2 sigma x 1 to obidva grafiki vidriznyayutsya lishe masshtabom osej Pohidna giperbolichnogo tangensa zrozumilo tezh virazhayetsya kvadratichnoyu funkciyeyu znachennya vlastivist protistoyati nasichennyu takozh maye misce Radialno bazisna funkciya peredachi Dokladnishe Radialna bazisna funkciya Cej tip funkcij prijmaye yak argument vidstan mizh vhidnim vektorom i deyakim napered zadanimi centrom aktivacijnij funkciyi Znachennya ciyeyi funkciyi tim vishe chim blizhche do centru vhidnij vektor Yak radialnu bazisnu funkciyu mozhna napriklad vikoristovuvati funkciyu Gausa y exp S R 2 2 s 2 displaystyle y exp left frac S R 2 2 sigma 2 right Tut S X C displaystyle S mathbf X mathbf C vidstan mizh centrom C displaystyle mathbf C i vektorom vhidnih signalivX displaystyle mathbf X Skalyarnij parametr s displaystyle sigma viznachaye shvidkist spadannya funkciyi pri viddaleni vektora vid centru i nazivayetsya shirinoyu vikna parametr R displaystyle R viznachaye zsuv aktivacijnij funkciyi po osi abscis Merezhi z nejronami sho vikoristovuyut taki funkciyi nazivayutsya RBF merezhami angl Radial basis function network Yak vidstani mizh vektorami mozhut buti vikoristani rizni metriki zazvichaj vikoristovuyetsya evklidova vidstan S j 1 N x j c j 2 displaystyle S sqrt sum j 1 N x j c j 2 Tut x j displaystyle x j j ta komponenta vektora podanogo na vhid nejrona a c j displaystyle c j j ta komponenta vektora sho viznachaye polozhennya centru peredavalnoyi funkciyi Vidpovidno merezhi z takimi nejronami nazivayutsya jmovirnosnimi ta U realnih merezhah aktivacijna funkciya cih nejroniv mozhe vidobrazhati rozpodil jmovirnisti bud yakoyi vipadkovoyi velichini abo poznachati bud yaki evristichni zalezhnosti mizh velichinami Inshi funkciyi peredachi Pererahovani vishe funkciyi stanovlyat lishe chastinu vid bezlichi peredavalnih funkcij sho vikoristovuyutsya v cej chas Do chisla inshih peredavalnih funkcij vhodyat taki yak Eksponenta f x exp A x displaystyle f x exp Ax Trigonometrichnij sinus Modulna f x x displaystyle f x left x right Kvadratichna Stohastichnij nejronVishe opisana model deterministichnogo shtuchnogo nejrona tobto stan na vihodi nejrona odnoznachno viznacheno rezultatom roboti sumatora vhidnih signaliv Rozglyadayut takozh stohastichni nejroni de peremikannya nejrona vidbuvayetsya z jmovirnistyu sho zalezhit vid indukovanogo lokalnogo polya tobto peredavalna funkciya viznachena yak f u 1 z jmovirnistyu P u 0 z jmovirnistyu 1 P u displaystyle f u begin cases 1 amp text z jmovirnistyu P u 0 amp text z jmovirnistyu 1 P u end cases de rozpodil jmovirnosti P u displaystyle P u zazvichaj maye viglyad sigmoyidi s u A T 1 exp u T displaystyle sigma u frac A T 1 exp u T a normuvalna konstanta A T displaystyle A T vvoditsya dlya umovi normalizaciyi rozpodilu jmovirnosti 0 1 s u d u 1 displaystyle int 0 1 sigma u du 1 Takim chinom nejron aktivuyetsya z jmovirnistyu P u Parametr T analog temperaturi ale ne temperaturi nejrona I viznachaye bezlad v nejronnoyi merezhi Yaksho T spryamuvati do 0 stohastichnij nejron perejde v zvichajnij nejron z peredavalnoyi funkciyeyu Hevisajda porogovoyu funkciyeyu Modelyuvannya formalnih logichnih funkcijNejron z porogovoyu peredavalnoyu funkciyeyu mozhe modelyuvati rizni logichni funkciyi Zobrazhennya ilyustruyut yakim chinom mozhna zadavshi vagi vhidnih signaliv i porig chutlivosti zmusiti nejron vikonuvati kon yunkciyu logichne I i diz yunkciyu logichne ABO nad vhidnimi signalami a takozh Logichne zaperechennya vhidnogo signalu logichne NE Cih troh operacij dostatno shob zmodelyuvati absolyutno bud yaku logichnu funkciyu bud yakogo chisla argumentiv Shema nejrona nalashtovanogo na modelyuvannya logichnogo I Shema nejrona nalashtovanogo na modelyuvannya logichnogo ABO Shema nejrona nalashtovanogo na modelyuvannya logichnogo NE Vidminnosti mizh biologichnim i shtuchnim nejronomNejronni merezhi pobudovani na shtuchnih nejronah viyavlyayut deyaki oznaki yaki dozvolyayut zrobiti pripushennya pro podibnist yih strukturi do strukturi mozku zhivih organizmiv Tim ne menshe navit na nizhchomu rivni shtuchnih nejroniv isnuyut suttyevi vidminnosti Napriklad shtuchnij nejron ye bezinercijnoyu sistemoyu tobto signal na vihodi z yavlyayetsya odnochasno z poyavoyu signaliv na vhodi sho zovsim ne harakterno dlya biologichnogo nejrona Div takozhPerceptron ADALINE Nejron Zv yazuyuchij nejron MemistorPrimitkiL G Komarcova A V Maksimov Nejrokompyutery MGTU im N E Baumana 2004 g ISBN 5 7038 2554 7 Mirkes E M Nejrokompyuter Proekt standarta Novosibirsk Nauka 1999 337 s ISBN 5 02 031409 9 U statti McCulloch W S Pitts W A logical Clculus of Ideas Immanent in Nervous Activity Bull Mathematical Biophysics 1943 online nedostupne posilannya z grudnya 2019 L N Yasnickij Vvedenie v iskusstvennyj intellekt Izd Akademiya 2005 g ISBN 5 7695 1958 4 str 29 U robotiWidrow B Hoff M E Adaptive switching circuits 1960 IRE WESTCON Conferencion Record New York 1960 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 11 V A Terehov Nejrosetevye sistemy upravleniya s 12 13 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 14 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 12 Duzhe chasto v literaturi mozhna zustriti nazvuperseptron L N Yasnickij Vvedenie v iskusstvennyj intellekt s 34 CIT forum Nejrokomp yuteri arhitektura i realizaciya V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 13 L N Yasnickij Vvedenie v iskusstvennyj intellekt s 77 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 349 V V Kruglov V V Borisov Iskusstvennye nejronnye seti Teoriya i praktika s 348 L N Yasnickij Vvedenie v iskusstvennyj intellekt c 30LiteraturaKallan R Osnovnye koncepcii nejronnyh setej The Essence of Neural Networks First Edition Vilyams 2001 288 s ISBN 5 8459 0210 X ros Yasnickij L N Vvedenie v iskusstvennyj intellekt Izdatelskij centr Akademiya 2005 176 s ISBN 5 7695 1958 4 ros Komarcova L G Maksimov A V Nejrokompyutery Izd vo MGTU im N E Baumana 2002 320 s ISBN 5 7038 1908 3 ros