Мережа радіально базисних функцій (англ. Radial basis function (RBF) networks) у математичному моделюванні — це штучна нейронна мережа, яка використовує радіальні базисні функції у якості функції активації. Виходом мережі є лінійна комбінація радіальних базисних функцій входу та параметрів нейрона. Мережі радіальних базисних функцій мають багато застосувань, зокрема, такі як [en], прогнозування часових рядів, задачі класифікації та керування системою. Вони були вперше сформульовані у статті 1988 року Брумхедом і Лоу, обидва дослідники з [en].
Архітектура мережі
Мережі радіально базисних функцій (RBF) зазвичай мають три шари: вхідний шар, прихований шар з нелінійною RBF функцією активації та лінійний вихідний рівень. Вхід можна моделювати як вектор дійсних чисел . Вихід мережі тоді, є скалярною функцією вхідного вектора, , і має вигляд
де — кількість нейронів у прихованому шарі, є центральним вектором для нейрона , та — це вага нейрона в лінійному виході нейронів. Функції, які залежать лише від відстані від центру вектора, є радіально симетричними щодо цього вектора, отже, називаються радіальною базисною функцією. У базовій формі всі входи пов'язані з кожним прихованим нейроном. За норму, як правило, обирається Евклідова відстань (хоча відстань Махаланобіса, загалом, більш пасує), та радіальна базисна функція зазвичай вважається розподілом Ґауса
- .
Гаусові базисні функції близькі до центрального вектора в тому сенсі, що
тобто зміна параметрів одного нейрона має лише невеликий ефект для вхідних значень, що знаходяться далеко від центру цього нейрона.
Завдяки гнучким умовам на форму функції активації, RBF мережі є універсальними апроксиматорами на компактному просторі . Це означає, що мережа RBF з достатньою кількістю прихованих нейронів може апроксимувати будь-яку неперервну функцію на замкненій обмеженій множині з довільною точністю.
Параметри , , та визначаються так, щоб оптимізують відповідність між і даними.
Нормалізація
Нормалізована архітектура
Окрім вищезгаданої ненормалізованої архітектури, мережі RBF можуть бути нормалізовані. У цьому випадку є відображення
де
відома як «нормована радіально-базисна функція».
Теоретична мотивація для нормалізації
Існує теоретичне обґрунтування цієї архітектури у випадку стохастичного потоку даних. Припустимо, що апроксимація [en] для спільної щільності ймовірностей
де ваги та є зразками даних, і нам потрібно, щоб ядра нормалізувались
і
- .
Щільність ймовірностей у вхідному та вихідному просторах є
і
Очікування у введеного на вхід
де
умовна ймовірність y при заданому . Умовна ймовірність пов'язана з ймовірністю теоремою Баєса.
який дає
- .
Це стає
коли виконується інтегрування.
Локальні лінійні моделі
Іноді зручно розширювати архітектуру, щоб включити локальні лінійні моделі. У цьому випадку архітектури зводяться до першого порядку,
і
в ненормалізованих та нормалізованих випадках, відповідно. Тут визначаються ваги . Можливі також вирази більш високого порядку від лінійних термів. Цей результат можна записати як
де
і
в ненормалізованому випадку і
в нормалізованому. Тут є дельто-функцією Кронекера і визначається як
- .
Навчання
Мережі RBF, як правило, тренуються з пар вхідних і цільових значень , , за двохетапним алгоритмом. На першому етапі обирається центр вектору RBF функції у прихованому шарі. Цей етап виконується кількома способами; центри можуть бути випадково відібрані з деякого набору прикладів, або їх можна визначити за допомогою кластеризації методом к–середніх. Зауважте, що цей крок не керований. Другий крок просто відповідає лінійній моделі з коефіцієнтами до виходів прихованого шару з відношенням до деякої цільової функції. Загальна цільова функція, принаймні для регресії/оцінки функції, є функцією найменших квадратів:
де
- .
Ми маємо явне включення залежності від ваг. Мінімізація цільової функції найменших квадратів за оптимального вибору ваг оптимізує точність підгонки.
Є випадки, коли потрібно оптимізувати багато цілей, таких як гладкість, а також точність. У цьому випадку корисно оптимізувати регуляризовану цільову функцію, таку як
де
і
де оптимізація S максимізує гладкість та відома, як регуляризація.
Третій, не обов'язковий етап зворотного поширення помилки, може бути виконаний для точного настроювання всіх параметрів мережі RBF.
Інтерполяція
RBF мережі можуть бути використані для інтерполяції функції коли значення цих функцій відомі на кінцевому числі точок: . Взяття відомих точок щоб бути центрами радіальних базисних функцій і оцінювати значення основних функцій в тих самих точках ваги можуть бути знайдені з рівняння
Може бути доведено, що інтерполяція матриці у вищенаведеному рівнянні є несингулярною, якщо точки відрізняються, а отже ваги можуть бути знайдені за допомогою простої лінійної алгебри:
Апроксимація функції
Якщо мета полягає не в тому, щоб виконувати жорстку інтерполяцію, а натомість більш загальну [en] або класифікацію, оптимізація дещо складніша, оскільки для центрів немає очевидного вибору. Тренування, як правило, виконуються в два етапи, спочатку фіксуючи ширину та центри, а потім ваги. Це можна виправдати, розглядаючи різну природу нелінійних прихованих нейронів у порівнянні з лінійним вихідним нейроном.
Підготовка центрів базисних функцій
Центри базисних функцій можуть бути випадково відібрані серед вхідних екземплярів або отримані в рамках ортогонального алгоритму навчання найменшої квадрату або знайдені за допомогою кластерізації зразків та вибору кластеризації як центрів.
Ширина RBF, як правило, закріплена за тим самим значенням, яке пропорційно максимальній відстані між вибраними центрами.
Псевдообернене рішення для лінійної ваги
Після того, як центри зафіксовані, ваги, що мінімізують похибку на виході, обчислюються за допомогою лінійного псевдооберненого рішення:
- ,
де записи G є значеннями радіальних базисних функцій, оцінених в точках : .
Існування цього лінійного рішення означає, що на відміну від багатошарових персептронних (MLP) мереж, RBF мережі мають унікальний локальний мінімум (коли центри фіксуються).
Метод градієнтного спуску навчання лінійних ваг
Інший можливий алгоритм тренування — градієнтний спуск.Під час тренування градієнтного спуску ваги коригуються на кожному кроці, рухаючи їх у напрямку, протилежному градієнту об'єктивної функції (таким чином, можна знайти мінімум об'єктивної функції),
де це «навчальний параметр».
Для випадку тренування лінійних ваг, , алгоритм стає
в ненормалізованому випадку і
в нормалізованому.
Для локальної лінійної архітектури навчання градієнт-спуском є
Тренування оператора проектування лінійних ваг
Для випадку тренування лінійних ваг, та , алгоритм стає
в ненормалізованому випадку і
в нормалізованому і
в локально-лінійному випадку.
Для однієї базової функції тренування оператора проєкції зводиться до метода Ньютона.
Приклади
Логістична карта
Основні властивості радіально-базисних функцій можна проілюструвати простим математичним відображенням, логістичне відображення, яке відображає інтервал одиниці на себе. Він може бути використаний для створення зручного прототипу потоку даних. Логістичне відображення може бути використане для вивчення [en], прогнозування часових рядів і теорії керування. Відображення походить з поля популяційна динаміка і стало прототипом для хаосу часових рядів. Відображення в повністю хаотичному режимі дається
- ,
де t — індикатор часу. Значення х у момент t+1 є параболічною параболічною функцією х від часу t. Це рівняння представляє основну геометрію хаосу часових рядів, що породжуються логістичною картою.
Покоління часових рядів з цього рівняння є [en]; ідентифікація основної динаміки або фундаментального рівняння логістичної карти з примірників часових рядів. Мета — знайти оцінку
для f.
Апроксимація функції
Ненормовані радіально базисні функції
Архітектурою є
де
- .
Примітки
- Broomhead, D. S.; Lowe, David (1988). Radial basis functions, multi-variable functional interpolation and adaptive networks (Технічний звіт). № 4148. Архів оригіналу за 22 квітня 2013. Процитовано 13 жовтня 2017.
- Broomhead, D. S.; Lowe, David (1988). Multivariable functional interpolation and adaptive networks. Complex Systems. 2: 321—355.
- Schwenker, Friedhelm; Kestler, Hans A.; Palm, Günther (2001). Three learning phases for radial-basis-function networks. Neural Networks. 14: 439—458. doi:10.1016/s0893-6080(01)00027-2.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Merezha radialno bazisnih funkcij angl Radial basis function RBF networks u matematichnomu modelyuvanni ce shtuchna nejronna merezha yaka vikoristovuye radialni bazisni funkciyi u yakosti funkciyi aktivaciyi Vihodom merezhi ye linijna kombinaciya radialnih bazisnih funkcij vhodu ta parametriv nejrona Merezhi radialnih bazisnih funkcij mayut bagato zastosuvan zokrema taki yak aproksimaciyu funkciyi en prognozuvannya chasovih ryadiv zadachi klasifikaciyi ta keruvannya sistemoyu Voni buli vpershe sformulovani u statti 1988 roku Brumhedom i Lou obidva doslidniki z Royal Signals and Radar Establishment en 1 2 3 Zmist 1 Arhitektura merezhi 1 1 Normalizaciya 1 1 1 Normalizovana arhitektura 1 1 2 Teoretichna motivaciya dlya normalizaciyi 1 2 Lokalni linijni modeli 2 Navchannya 2 1 Interpolyaciya 2 2 Aproksimaciya funkciyi 2 2 1 Pidgotovka centriv bazisnih funkcij 2 2 2 Psevdoobernene rishennya dlya linijnoyi vagi 2 2 3 Metod gradiyentnogo spusku navchannya linijnih vag 2 2 4 Trenuvannya operatora proektuvannya linijnih vag 3 Prikladi 3 1 Logistichna karta 3 2 Aproksimaciya funkciyi 3 2 1 Nenormovani radialno bazisni funkciyi 4 PrimitkiArhitektura merezhired nbsp Malyunok 1 Arhitektura merezhi radialnih bazisnih funkcij Vhidnij vektor x displaystyle x nbsp vikoristovuyetsya yak vhid dlya vsih radialnih bazisnih funkcij kozhna z yakih maye rizni parametri Vihid merezhi yavlyaye soboyu linijnu kombinaciyu vihodiv z radialnih bazisnih funkcij Merezhi radialno bazisnih funkcij RBF zazvichaj mayut tri shari vhidnij shar prihovanij shar z nelinijnoyu RBF funkciyeyu aktivaciyi ta linijnij vihidnij riven Vhid mozhna modelyuvati yak vektor dijsnih chisel x R n displaystyle mathbf x in mathbb R n nbsp Vihid merezhi todi ye skalyarnoyu funkciyeyu vhidnogo vektora f R n R displaystyle varphi mathbb R n to mathbb R nbsp i maye viglyad f x i 1 N a i r x c i displaystyle varphi mathbf x sum i 1 N a i rho mathbf x mathbf c i nbsp de N displaystyle N nbsp kilkist nejroniv u prihovanomu shari c i displaystyle mathbf c i nbsp ye centralnim vektorom dlya nejrona i displaystyle i nbsp ta a i displaystyle a i nbsp ce vaga nejrona i displaystyle i nbsp v linijnomu vihodi nejroniv Funkciyi yaki zalezhat lishe vid vidstani vid centru vektora ye radialno simetrichnimi shodo cogo vektora otzhe nazivayutsya radialnoyu bazisnoyu funkciyeyu U bazovij formi vsi vhodi pov yazani z kozhnim prihovanim nejronom Za normu yak pravilo obirayetsya Evklidova vidstan hocha vidstan Mahalanobisa zagalom bilsh pasuye ta radialna bazisna funkciya zazvichaj vvazhayetsya rozpodilom Gausa r x c i exp b x c i 2 displaystyle rho big left Vert mathbf x mathbf c i right Vert big exp left beta left Vert mathbf x mathbf c i right Vert 2 right nbsp Gausovi bazisni funkciyi blizki do centralnogo vektora v tomu sensi sho lim x r x c i 0 displaystyle lim x to infty rho left Vert mathbf x mathbf c i right Vert 0 nbsp tobto zmina parametriv odnogo nejrona maye lishe nevelikij efekt dlya vhidnih znachen sho znahodyatsya daleko vid centru cogo nejrona Zavdyaki gnuchkim umovam na formu funkciyi aktivaciyi RBF merezhi ye universalnimi aproksimatorami na kompaktnomu prostori R n displaystyle mathbb R n nbsp Ce oznachaye sho merezha RBF z dostatnoyu kilkistyu prihovanih nejroniv mozhe aproksimuvati bud yaku neperervnu funkciyu na zamknenij obmezhenij mnozhini z dovilnoyu tochnistyu Parametri a i displaystyle a i nbsp c i displaystyle mathbf c i nbsp ta b i displaystyle beta i nbsp viznachayutsya tak shob optimizuyut vidpovidnist mizh f displaystyle varphi nbsp i danimi Normalizaciyared nbsp Malyunok 2 Dvi ne normovani radialni bazisni funkciyi odnovimirnij vhid Centri bazisnih funkcij znahodyatsya v c 1 0 75 displaystyle c 1 0 75 nbsp ta c 2 3 25 displaystyle c 2 3 25 nbsp nbsp Malyunok 3 Dvi normovani radialni bazisni funkciyi odnovimirnij vhid Centri bazisnih funkcij znahodyatsya v c 1 0 75 displaystyle c 1 0 75 nbsp ta c 2 3 25 displaystyle c 2 3 25 nbsp nbsp Malyunok 4 Tri normalizovani radialno bazisni funkciyi odnovimirnij vhid Dodatkova osnovna funkciya maye centr v c 3 2 75 displaystyle c 3 2 75 nbsp nbsp Malyunok 5 Chotiri normalizovani radialno bazisni funkciyi odnovimirnij vhid Chetverta bazisna funkciya maye centr v c 4 0 displaystyle c 4 0 nbsp Zauvazhte sho persha osnovna funkciya temno sinya stala lokalizovanoyu Normalizovana arhitekturared Okrim vishezgadanoyi nenormalizovanoyi arhitekturi merezhi RBF mozhut buti normalizovani U comu vipadku ye vidobrazhennya f x d e f i 1 N a i r x c i i 1 N r x c i i 1 N a i u x c i displaystyle varphi mathbf x stackrel mathrm def frac sum i 1 N a i rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N a i u big left Vert mathbf x mathbf c i right Vert big nbsp de u x c i d e f r x c i j 1 N r x c j displaystyle u big left Vert mathbf x mathbf c i right Vert big stackrel mathrm def frac rho big left Vert mathbf x mathbf c i right Vert big sum j 1 N rho big left Vert mathbf x mathbf c j right Vert big nbsp vidoma yak normovana radialno bazisna funkciya Teoretichna motivaciya dlya normalizaciyired Isnuye teoretichne obgruntuvannya ciyeyi arhitekturi u vipadku stohastichnogo potoku danih Pripustimo sho aproksimaciya stohastichnogo yadra en dlya spilnoyi shilnosti jmovirnostej P x y 1 N i 1 N r x c i s y e i displaystyle P left mathbf x land y right 1 over N sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sigma big left vert y e i right vert big nbsp de vagi c i displaystyle mathbf c i nbsp ta e i displaystyle e i nbsp ye zrazkami danih i nam potribno shob yadra normalizuvalis r x c i d n x 1 displaystyle int rho big left Vert mathbf x mathbf c i right Vert big d n mathbf x 1 nbsp i s y e i d y 1 displaystyle int sigma big left vert y e i right vert big dy 1 nbsp Shilnist jmovirnostej u vhidnomu ta vihidnomu prostorah ye P x P x y d y 1 N i 1 N r x c i displaystyle P left mathbf x right int P left mathbf x land y right dy 1 over N sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big nbsp i Ochikuvannya u vvedenogo na vhid x displaystyle mathbf x nbsp f x d e f E y x y P y x d y displaystyle varphi left mathbf x right stackrel mathrm def E left y mid mathbf x right int y P left y mid mathbf x right dy nbsp de P y x displaystyle P left y mid mathbf x right nbsp umovna jmovirnist y pri zadanomu x displaystyle mathbf x nbsp Umovna jmovirnist pov yazana z jmovirnistyu teoremoyu Bayesa P y x P x y P x displaystyle P left y mid mathbf x right frac P left mathbf x land y right P left mathbf x right nbsp yakij daye f x y P x y P x d y displaystyle varphi left mathbf x right int y frac P left mathbf x land y right P left mathbf x right dy nbsp Ce staye f x i 1 N e i r x c i i 1 N r x c i i 1 N e i u x c i displaystyle varphi left mathbf x right frac sum i 1 N e i rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N e i u big left Vert mathbf x mathbf c i right Vert big nbsp koli vikonuyetsya integruvannya Lokalni linijni modelired Inodi zruchno rozshiryuvati arhitekturu shob vklyuchiti lokalni linijni modeli U comu vipadku arhitekturi zvodyatsya do pershogo poryadku f x i 1 N a i b i x c i r x c i displaystyle varphi left mathbf x right sum i 1 N left a i mathbf b i cdot left mathbf x mathbf c i right right rho big left Vert mathbf x mathbf c i right Vert big nbsp i f x i 1 N a i b i x c i u x c i displaystyle varphi left mathbf x right sum i 1 N left a i mathbf b i cdot left mathbf x mathbf c i right right u big left Vert mathbf x mathbf c i right Vert big nbsp v nenormalizovanih ta normalizovanih vipadkah vidpovidno Tut viznachayutsya vagi b i displaystyle mathbf b i nbsp Mozhlivi takozh virazi bilsh visokogo poryadku vid linijnih termiv Cej rezultat mozhna zapisati yak f x i 1 2 N j 1 n e i j v i j x c i displaystyle varphi left mathbf x right sum i 1 2N sum j 1 n e ij v ij big mathbf x mathbf c i big nbsp de e i j a i if i 1 N b i j if i N 1 2 N displaystyle e ij begin cases a i amp mbox if i in 1 N b ij amp mbox if i in N 1 2N end cases nbsp i v i j x c i d e f d i j r x c i if i 1 N x i j c i j r x c i if i N 1 2 N displaystyle v ij big mathbf x mathbf c i big stackrel mathrm def begin cases delta ij rho big left Vert mathbf x mathbf c i right Vert big amp mbox if i in 1 N left x ij c ij right rho big left Vert mathbf x mathbf c i right Vert big amp mbox if i in N 1 2N end cases nbsp v nenormalizovanomu vipadku i v i j x c i d e f d i j u x c i if i 1 N x i j c i j u x c i if i N 1 2 N displaystyle v ij big mathbf x mathbf c i big stackrel mathrm def begin cases delta ij u big left Vert mathbf x mathbf c i right Vert big amp mbox if i in 1 N left x ij c ij right u big left Vert mathbf x mathbf c i right Vert big amp mbox if i in N 1 2N end cases nbsp v normalizovanomu Tut d i j displaystyle delta ij nbsp ye delto funkciyeyu Kronekera i viznachayetsya yak d i j 1 if i j 0 if i j displaystyle delta ij begin cases 1 amp mbox if i j 0 amp mbox if i neq j end cases nbsp Navchannyared Merezhi RBF yak pravilo trenuyutsya z par vhidnih i cilovih znachen x t y t displaystyle mathbf x t y t nbsp t 1 T displaystyle t 1 dots T nbsp za dvohetapnim algoritmom Na pershomu etapi obirayetsya centr vektoru c i displaystyle mathbf c i nbsp RBF funkciyi u prihovanomu shari Cej etap vikonuyetsya kilkoma sposobami centri mozhut buti vipadkovo vidibrani z deyakogo naboru prikladiv abo yih mozhna viznachiti za dopomogoyu klasterizaciyi metodom k serednih Zauvazhte sho cej krok ne kerovanij Drugij krok prosto vidpovidaye linijnij modeli z koeficiyentami w i displaystyle w i nbsp do vihodiv prihovanogo sharu z vidnoshennyam do deyakoyi cilovoyi funkciyi Zagalna cilova funkciya prinajmni dlya regresiyi ocinki funkciyi ye funkciyeyu najmenshih kvadrativ K w d e f t 1 T K t w displaystyle K mathbf w stackrel mathrm def sum t 1 T K t mathbf w nbsp de K t w d e f y t f x t w 2 displaystyle K t mathbf w stackrel mathrm def big y t varphi big mathbf x t mathbf w big big 2 nbsp Mi mayemo yavne vklyuchennya zalezhnosti vid vag Minimizaciya cilovoyi funkciyi najmenshih kvadrativ za optimalnogo viboru vag optimizuye tochnist pidgonki Ye vipadki koli potribno optimizuvati bagato cilej takih yak gladkist a takozh tochnist U comu vipadku korisno optimizuvati regulyarizovanu cilovu funkciyu taku yak H w d e f K w l S w d e f t 1 T H t w displaystyle H mathbf w stackrel mathrm def K mathbf w lambda S mathbf w stackrel mathrm def sum t 1 T H t mathbf w nbsp de S w d e f t 1 T S t w displaystyle S mathbf w stackrel mathrm def sum t 1 T S t mathbf w nbsp i H t w d e f K t w l S t w displaystyle H t mathbf w stackrel mathrm def K t mathbf w lambda S t mathbf w nbsp de optimizaciya S maksimizuye gladkist ta l displaystyle lambda nbsp vidoma yak regulyarizaciya Tretij ne obov yazkovij etap zvorotnogo poshirennya pomilki mozhe buti vikonanij dlya tochnogo nastroyuvannya vsih parametriv merezhi RBF 3 Interpolyaciyared RBF merezhi mozhut buti vikoristani dlya interpolyaciyi funkciyi y R n R displaystyle y mathbb R n to mathbb R nbsp koli znachennya cih funkcij vidomi na kincevomu chisli tochok y x i b i i 1 N displaystyle y mathbf x i b i i 1 ldots N nbsp Vzyattya vidomih tochok x i displaystyle mathbf x i nbsp shob buti centrami radialnih bazisnih funkcij i ocinyuvati znachennya osnovnih funkcij v tih samih tochkah g i j r x j x i displaystyle g ij rho mathbf x j mathbf x i nbsp vagi mozhut buti znajdeni z rivnyannya g 11 g 12 g 1 N g 21 g 22 g 2 N g N 1 g N 2 g N N w 1 w 2 w N b 1 b 2 b N displaystyle left begin matrix g 11 amp g 12 amp cdots amp g 1N g 21 amp g 22 amp cdots amp g 2N vdots amp amp ddots amp vdots g N1 amp g N2 amp cdots amp g NN end matrix right left begin matrix w 1 w 2 vdots w N end matrix right left begin matrix b 1 b 2 vdots b N end matrix right nbsp Mozhe buti dovedeno sho interpolyaciya matrici u vishenavedenomu rivnyanni ye nesingulyarnoyu yaksho tochki x i displaystyle mathbf x i nbsp vidriznyayutsya a otzhe vagi w displaystyle w nbsp mozhut buti znajdeni za dopomogoyu prostoyi linijnoyi algebri w G 1 b displaystyle mathbf w mathbf G 1 mathbf b nbsp Aproksimaciya funkciyired Yaksho meta polyagaye ne v tomu shob vikonuvati zhorstku interpolyaciyu a natomist bilsh zagalnu aproksimaciyu funkciyi en abo klasifikaciyu optimizaciya desho skladnisha oskilki dlya centriv nemaye ochevidnogo viboru Trenuvannya yak pravilo vikonuyutsya v dva etapi spochatku fiksuyuchi shirinu ta centri a potim vagi Ce mozhna vipravdati rozglyadayuchi riznu prirodu nelinijnih prihovanih nejroniv u porivnyanni z linijnim vihidnim nejronom Pidgotovka centriv bazisnih funkcijred Centri bazisnih funkcij mozhut buti vipadkovo vidibrani sered vhidnih ekzemplyariv abo otrimani v ramkah ortogonalnogo algoritmu navchannya najmenshoyi kvadratu abo znajdeni za dopomogoyu klasterizaciyi zrazkiv ta viboru klasterizaciyi yak centriv Shirina RBF yak pravilo zakriplena za tim samim znachennyam yake proporcijno maksimalnij vidstani mizh vibranimi centrami Psevdoobernene rishennya dlya linijnoyi vagired Pislya togo yak centri c i displaystyle c i nbsp zafiksovani vagi sho minimizuyut pohibku na vihodi obchislyuyutsya za dopomogoyu linijnogo psevdoobernenogo rishennya w G b displaystyle mathbf w mathbf G mathbf b nbsp de zapisi G ye znachennyami radialnih bazisnih funkcij ocinenih v tochkah x i displaystyle x i nbsp g j i r x j c i displaystyle g ji rho x j c i nbsp Isnuvannya cogo linijnogo rishennya oznachaye sho na vidminu vid bagatosharovih perseptronnih MLP merezh RBF merezhi mayut unikalnij lokalnij minimum koli centri fiksuyutsya Metod gradiyentnogo spusku navchannya linijnih vagred Inshij mozhlivij algoritm trenuvannya gradiyentnij spusk Pid chas trenuvannya gradiyentnogo spusku vagi koriguyutsya na kozhnomu kroci ruhayuchi yih u napryamku protilezhnomu gradiyentu ob yektivnoyi funkciyi takim chinom mozhna znajti minimum ob yektivnoyi funkciyi w t 1 w t n d d w H t w displaystyle mathbf w t 1 mathbf w t nu frac d d mathbf w H t mathbf w nbsp de n displaystyle nu nbsp ce navchalnij parametr Dlya vipadku trenuvannya linijnih vag a i displaystyle a i nbsp algoritm staye a i t 1 a i t n y t f x t w r x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big rho big left Vert mathbf x t mathbf c i right Vert big nbsp v nenormalizovanomu vipadku i a i t 1 a i t n y t f x t w u x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big u big left Vert mathbf x t mathbf c i right Vert big nbsp v normalizovanomu Dlya lokalnoyi linijnoyi arhitekturi navchannya gradiyent spuskom ye e i j t 1 e i j t n y t f x t w v i j x t c i displaystyle e ij t 1 e ij t nu big y t varphi big mathbf x t mathbf w big big v ij big mathbf x t mathbf c i big nbsp Trenuvannya operatora proektuvannya linijnih vagred Dlya vipadku trenuvannya linijnih vag a i displaystyle a i nbsp ta e i j displaystyle e ij nbsp algoritm staye a i t 1 a i t n y t f x t w r x t c i i 1 N r 2 x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big frac rho big left Vert mathbf x t mathbf c i right Vert big sum i 1 N rho 2 big left Vert mathbf x t mathbf c i right Vert big nbsp v nenormalizovanomu vipadku i a i t 1 a i t n y t f x t w u x t c i i 1 N u 2 x t c i displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big frac u big left Vert mathbf x t mathbf c i right Vert big sum i 1 N u 2 big left Vert mathbf x t mathbf c i right Vert big nbsp v normalizovanomu i e i j t 1 e i j t n y t f x t w v i j x t c i i 1 N j 1 n v i j 2 x t c i displaystyle e ij t 1 e ij t nu big y t varphi big mathbf x t mathbf w big big frac v ij big mathbf x t mathbf c i big sum i 1 N sum j 1 n v ij 2 big mathbf x t mathbf c i big nbsp v lokalno linijnomu vipadku Dlya odniyeyi bazovoyi funkciyi trenuvannya operatora proyekciyi zvoditsya do metoda Nyutona nbsp Malyunok 6 Logistichne vidobrazhennya chasovogo ryadu Povtorna iteraciya logistichnogo vidobrazhennya stvoryuye haotichni chasovi ryadi Znachennya lezhat mizh nulem i odiniceyu Tut predstavleni 100 navchalnih tochok yaki vikoristovuyutsya dlya trenuvannya prikladiv cogo rozdilu Vagi c ce pershi p yat tochok cogo chasovogo ryadu Prikladired Logistichna kartared Osnovni vlastivosti radialno bazisnih funkcij mozhna proilyustruvati prostim matematichnim vidobrazhennyam logistichne vidobrazhennya yake vidobrazhaye interval odinici na sebe Vin mozhe buti vikoristanij dlya stvorennya zruchnogo prototipu potoku danih Logistichne vidobrazhennya mozhe buti vikoristane dlya vivchennya aproksimaciyi funkciyi en prognozuvannya chasovih ryadiv i teoriyi keruvannya Vidobrazhennya pohodit z polya populyacijna dinamika i stalo prototipom dlya haosu chasovih ryadiv Vidobrazhennya v povnistyu haotichnomu rezhimi dayetsya x t 1 d e f f x t 4 x t 1 x t displaystyle x t 1 stackrel mathrm def f left x t right 4x t left 1 x t right nbsp de t indikator chasu Znachennya h u moment t 1 ye parabolichnoyu parabolichnoyu funkciyeyu h vid chasu t Ce rivnyannya predstavlyaye osnovnu geometriyu haosu chasovih ryadiv sho porodzhuyutsya logistichnoyu kartoyu Pokolinnya chasovih ryadiv z cogo rivnyannya ye obernenoyu zadacheyu en identifikaciya osnovnoyi dinamiki abo fundamentalnogo rivnyannya logistichnoyi karti z primirnikiv chasovih ryadiv Meta znajti ocinku x t 1 f x t f t f x t displaystyle x t 1 f left x t right approx varphi t varphi left x t right nbsp dlya f Aproksimaciya funkciyired nbsp Risunok 7 Nenormovani bazisni funkciyi Logistichna karta sinya ta nablizhennya do logistichnoyi karti chervonij pislya odnogo prohodu cherez nabir trenuvan Nenormovani radialno bazisni funkciyired Arhitekturoyu ye f x d e f i 1 N a i r x c i displaystyle varphi mathbf x stackrel mathrm def sum i 1 N a i rho big left Vert mathbf x mathbf c i right Vert big nbsp de r x c i exp b x c i 2 exp b x t c i 2 displaystyle rho big left Vert mathbf x mathbf c i right Vert big exp left beta left Vert mathbf x mathbf c i right Vert 2 right exp left beta left x t c i right 2 right nbsp Primitkired Broomhead D S Lowe David 1988 Radial basis functions multi variable functional interpolation and adaptive networks Tehnichnij zvit 4148 Arhiv originalu za 22 kvitnya 2013 Procitovano 13 zhovtnya 2017 Broomhead D S Lowe David 1988 Multivariable functional interpolation and adaptive networks Complex Systems 2 321 355 a b Schwenker Friedhelm Kestler Hans A Palm Gunther 2001 Three learning phases for radial basis function networks Neural Networks 14 439 458 doi 10 1016 s0893 6080 01 00027 2 Otrimano z https uk wikipedia org w index php title Merezha radialnih bazisnih funkcij amp oldid 44122859