Мережа радіально базисних функцій (англ. Radial basis function (RBF) networks) у математичному моделюванні — це штучна нейронна мережа, яка використовує радіальні базисні функції у якості функції активації. Виходом мережі є лінійна комбінація радіальних базисних функцій входу та параметрів нейрона. Мережі радіальних базисних функцій мають багато застосувань, зокрема, такі як [en], прогнозування часових рядів, задачі класифікації та керування системою. Вони були вперше сформульовані у статті 1988 року Брумхедом і Лоу, обидва дослідники з [en].
Архітектура мережі
Мережі радіально базисних функцій (RBF) зазвичай мають три шари: вхідний шар, прихований шар з нелінійною RBF функцією активації та лінійний вихідний рівень. Вхід можна моделювати як вектор дійсних чисел . Вихід мережі тоді, є скалярною функцією вхідного вектора, , і має вигляд
де — кількість нейронів у прихованому шарі, є центральним вектором для нейрона , та — це вага нейрона в лінійному виході нейронів. Функції, які залежать лише від відстані від центру вектора, є радіально симетричними щодо цього вектора, отже, називаються радіальною базисною функцією. У базовій формі всі входи пов'язані з кожним прихованим нейроном. За норму, як правило, обирається Евклідова відстань (хоча відстань Махаланобіса, загалом, більш пасує), та радіальна базисна функція зазвичай вважається розподілом Ґауса
- .
Гаусові базисні функції близькі до центрального вектора в тому сенсі, що
тобто зміна параметрів одного нейрона має лише невеликий ефект для вхідних значень, що знаходяться далеко від центру цього нейрона.
Завдяки гнучким умовам на форму функції активації, RBF мережі є універсальними апроксиматорами на компактному просторі . Це означає, що мережа RBF з достатньою кількістю прихованих нейронів може апроксимувати будь-яку неперервну функцію на замкненій обмеженій множині з довільною точністю.
Параметри , , та визначаються так, щоб оптимізують відповідність між і даними.
Нормалізація
Нормалізована архітектура
Окрім вищезгаданої ненормалізованої архітектури, мережі RBF можуть бути нормалізовані. У цьому випадку є відображення
де
відома як «нормована радіально-базисна функція».
Теоретична мотивація для нормалізації
Існує теоретичне обґрунтування цієї архітектури у випадку стохастичного потоку даних. Припустимо, що апроксимація [en] для спільної щільності ймовірностей
де ваги та є зразками даних, і нам потрібно, щоб ядра нормалізувались
і
- .
Щільність ймовірностей у вхідному та вихідному просторах є
і
Очікування у введеного на вхід
де
умовна ймовірність y при заданому . Умовна ймовірність пов'язана з ймовірністю теоремою Баєса.
який дає
- .
Це стає
коли виконується інтегрування.
Локальні лінійні моделі
Іноді зручно розширювати архітектуру, щоб включити локальні лінійні моделі. У цьому випадку архітектури зводяться до першого порядку,
і
в ненормалізованих та нормалізованих випадках, відповідно. Тут визначаються ваги . Можливі також вирази більш високого порядку від лінійних термів. Цей результат можна записати як
де
і
в ненормалізованому випадку і
в нормалізованому. Тут є дельто-функцією Кронекера і визначається як
- .
Навчання
Мережі RBF, як правило, тренуються з пар вхідних і цільових значень , , за двохетапним алгоритмом. На першому етапі обирається центр вектору RBF функції у прихованому шарі. Цей етап виконується кількома способами; центри можуть бути випадково відібрані з деякого набору прикладів, або їх можна визначити за допомогою кластеризації методом к–середніх. Зауважте, що цей крок не керований. Другий крок просто відповідає лінійній моделі з коефіцієнтами до виходів прихованого шару з відношенням до деякої цільової функції. Загальна цільова функція, принаймні для регресії/оцінки функції, є функцією найменших квадратів:
де
- .
Ми маємо явне включення залежності від ваг. Мінімізація цільової функції найменших квадратів за оптимального вибору ваг оптимізує точність підгонки.
Є випадки, коли потрібно оптимізувати багато цілей, таких як гладкість, а також точність. У цьому випадку корисно оптимізувати регуляризовану цільову функцію, таку як
де
і
де оптимізація S максимізує гладкість та відома, як регуляризація.
Третій, не обов'язковий етап зворотного поширення помилки, може бути виконаний для точного настроювання всіх параметрів мережі RBF.
Інтерполяція
RBF мережі можуть бути використані для інтерполяції функції коли значення цих функцій відомі на кінцевому числі точок: . Взяття відомих точок щоб бути центрами радіальних базисних функцій і оцінювати значення основних функцій в тих самих точках ваги можуть бути знайдені з рівняння
Може бути доведено, що інтерполяція матриці у вищенаведеному рівнянні є несингулярною, якщо точки відрізняються, а отже ваги можуть бути знайдені за допомогою простої лінійної алгебри:
Апроксимація функції
Якщо мета полягає не в тому, щоб виконувати жорстку інтерполяцію, а натомість більш загальну [en] або класифікацію, оптимізація дещо складніша, оскільки для центрів немає очевидного вибору. Тренування, як правило, виконуються в два етапи, спочатку фіксуючи ширину та центри, а потім ваги. Це можна виправдати, розглядаючи різну природу нелінійних прихованих нейронів у порівнянні з лінійним вихідним нейроном.
Підготовка центрів базисних функцій
Центри базисних функцій можуть бути випадково відібрані серед вхідних екземплярів або отримані в рамках ортогонального алгоритму навчання найменшої квадрату або знайдені за допомогою кластерізації зразків та вибору кластеризації як центрів.
Ширина RBF, як правило, закріплена за тим самим значенням, яке пропорційно максимальній відстані між вибраними центрами.
Псевдообернене рішення для лінійної ваги
Після того, як центри зафіксовані, ваги, що мінімізують похибку на виході, обчислюються за допомогою лінійного псевдооберненого рішення:
- ,
де записи G є значеннями радіальних базисних функцій, оцінених в точках : .
Існування цього лінійного рішення означає, що на відміну від багатошарових персептронних (MLP) мереж, RBF мережі мають унікальний локальний мінімум (коли центри фіксуються).
Метод градієнтного спуску навчання лінійних ваг
Інший можливий алгоритм тренування — градієнтний спуск.Під час тренування градієнтного спуску ваги коригуються на кожному кроці, рухаючи їх у напрямку, протилежному градієнту об'єктивної функції (таким чином, можна знайти мінімум об'єктивної функції),
де це «навчальний параметр».
Для випадку тренування лінійних ваг, , алгоритм стає
в ненормалізованому випадку і
в нормалізованому.
Для локальної лінійної архітектури навчання градієнт-спуском є
Тренування оператора проектування лінійних ваг
Для випадку тренування лінійних ваг, та , алгоритм стає
в ненормалізованому випадку і
в нормалізованому і
в локально-лінійному випадку.
Для однієї базової функції тренування оператора проєкції зводиться до метода Ньютона.
Приклади
Логістична карта
Основні властивості радіально-базисних функцій можна проілюструвати простим математичним відображенням, логістичне відображення, яке відображає інтервал одиниці на себе. Він може бути використаний для створення зручного прототипу потоку даних. Логістичне відображення може бути використане для вивчення [en], прогнозування часових рядів і теорії керування. Відображення походить з поля популяційна динаміка і стало прототипом для хаосу часових рядів. Відображення в повністю хаотичному режимі дається
- ,
де t — індикатор часу. Значення х у момент t+1 є параболічною параболічною функцією х від часу t. Це рівняння представляє основну геометрію хаосу часових рядів, що породжуються логістичною картою.
Покоління часових рядів з цього рівняння є [en]; ідентифікація основної динаміки або фундаментального рівняння логістичної карти з примірників часових рядів. Мета — знайти оцінку
для f.
Апроксимація функції
Ненормовані радіально базисні функції
Архітектурою є
де
- .
Примітки
- Broomhead, D. S.; Lowe, David (1988). (Технічний звіт). № 4148. Архів оригіналу за 22 квітня 2013. Процитовано 13 жовтня 2017.
- Broomhead, D. S.; Lowe, David (1988). Multivariable functional interpolation and adaptive networks. Complex Systems. 2: 321—355.
- Schwenker, Friedhelm; Kestler, Hans A.; Palm, Günther (2001). Three learning phases for radial-basis-function networks. Neural Networks. 14: 439—458. doi:10.1016/s0893-6080(01)00027-2.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Merezha radialno bazisnih funkcij angl Radial basis function RBF networks u matematichnomu modelyuvanni ce shtuchna nejronna merezha yaka vikoristovuye radialni bazisni funkciyi u yakosti funkciyi aktivaciyi Vihodom merezhi ye linijna kombinaciya radialnih bazisnih funkcij vhodu ta parametriv nejrona Merezhi radialnih bazisnih funkcij mayut bagato zastosuvan zokrema taki yak en prognozuvannya chasovih ryadiv zadachi klasifikaciyi ta keruvannya sistemoyu Voni buli vpershe sformulovani u statti 1988 roku Brumhedom i Lou obidva doslidniki z en Arhitektura merezhiMalyunok 1 Arhitektura merezhi radialnih bazisnih funkcij Vhidnij vektor x displaystyle x vikoristovuyetsya yak vhid dlya vsih radialnih bazisnih funkcij kozhna z yakih maye rizni parametri Vihid merezhi yavlyaye soboyu linijnu kombinaciyu vihodiv z radialnih bazisnih funkcij Merezhi radialno bazisnih funkcij RBF zazvichaj mayut tri shari vhidnij shar prihovanij shar z nelinijnoyu RBF funkciyeyu aktivaciyi ta linijnij vihidnij riven Vhid mozhna modelyuvati yak vektor dijsnih chisel x Rn displaystyle mathbf x in mathbb R n Vihid merezhi todi ye skalyarnoyu funkciyeyu vhidnogo vektora f Rn R displaystyle varphi mathbb R n to mathbb R i maye viglyad f x i 1Nair x ci displaystyle varphi mathbf x sum i 1 N a i rho mathbf x mathbf c i de N displaystyle N kilkist nejroniv u prihovanomu shari ci displaystyle mathbf c i ye centralnim vektorom dlya nejrona i displaystyle i ta ai displaystyle a i ce vaga nejrona i displaystyle i v linijnomu vihodi nejroniv Funkciyi yaki zalezhat lishe vid vidstani vid centru vektora ye radialno simetrichnimi shodo cogo vektora otzhe nazivayutsya radialnoyu bazisnoyu funkciyeyu U bazovij formi vsi vhodi pov yazani z kozhnim prihovanim nejronom Za normu yak pravilo obirayetsya Evklidova vidstan hocha vidstan Mahalanobisa zagalom bilsh pasuye ta radialna bazisna funkciya zazvichaj vvazhayetsya rozpodilom Gausa r x ci exp b x ci 2 displaystyle rho big left Vert mathbf x mathbf c i right Vert big exp left beta left Vert mathbf x mathbf c i right Vert 2 right Gausovi bazisni funkciyi blizki do centralnogo vektora v tomu sensi sho lim x r x ci 0 displaystyle lim x to infty rho left Vert mathbf x mathbf c i right Vert 0 tobto zmina parametriv odnogo nejrona maye lishe nevelikij efekt dlya vhidnih znachen sho znahodyatsya daleko vid centru cogo nejrona Zavdyaki gnuchkim umovam na formu funkciyi aktivaciyi RBF merezhi ye universalnimi aproksimatorami na kompaktnomu prostori Rn displaystyle mathbb R n Ce oznachaye sho merezha RBF z dostatnoyu kilkistyu prihovanih nejroniv mozhe aproksimuvati bud yaku neperervnu funkciyu na zamknenij obmezhenij mnozhini z dovilnoyu tochnistyu Parametri ai displaystyle a i ci displaystyle mathbf c i ta bi displaystyle beta i viznachayutsya tak shob optimizuyut vidpovidnist mizh f displaystyle varphi i danimi Normalizaciya Malyunok 2 Dvi ne normovani radialni bazisni funkciyi odnovimirnij vhid Centri bazisnih funkcij znahodyatsya v c1 0 75 displaystyle c 1 0 75 ta c2 3 25 displaystyle c 2 3 25 Malyunok 3 Dvi normovani radialni bazisni funkciyi odnovimirnij vhid Centri bazisnih funkcij znahodyatsya v c1 0 75 displaystyle c 1 0 75 ta c2 3 25 displaystyle c 2 3 25 Malyunok 4 Tri normalizovani radialno bazisni funkciyi odnovimirnij vhid Dodatkova osnovna funkciya maye centr v c3 2 75 displaystyle c 3 2 75 Malyunok 5 Chotiri normalizovani radialno bazisni funkciyi odnovimirnij vhid Chetverta bazisna funkciya maye centr v c4 0 displaystyle c 4 0 Zauvazhte sho persha osnovna funkciya temno sinya stala lokalizovanoyu Normalizovana arhitektura Okrim vishezgadanoyi nenormalizovanoyi arhitekturi merezhi RBF mozhut buti normalizovani U comu vipadku ye vidobrazhennya f x def i 1Nair x ci i 1Nr x ci i 1Naiu x ci displaystyle varphi mathbf x stackrel mathrm def frac sum i 1 N a i rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N a i u big left Vert mathbf x mathbf c i right Vert big de u x ci def r x ci j 1Nr x cj displaystyle u big left Vert mathbf x mathbf c i right Vert big stackrel mathrm def frac rho big left Vert mathbf x mathbf c i right Vert big sum j 1 N rho big left Vert mathbf x mathbf c j right Vert big vidoma yak normovana radialno bazisna funkciya Teoretichna motivaciya dlya normalizaciyi Isnuye teoretichne obgruntuvannya ciyeyi arhitekturi u vipadku stohastichnogo potoku danih Pripustimo sho aproksimaciya en dlya spilnoyi shilnosti jmovirnostej P x y 1N i 1Nr x ci s y ei displaystyle P left mathbf x land y right 1 over N sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sigma big left vert y e i right vert big de vagi ci displaystyle mathbf c i ta ei displaystyle e i ye zrazkami danih i nam potribno shob yadra normalizuvalis r x ci dnx 1 displaystyle int rho big left Vert mathbf x mathbf c i right Vert big d n mathbf x 1 i s y ei dy 1 displaystyle int sigma big left vert y e i right vert big dy 1 Shilnist jmovirnostej u vhidnomu ta vihidnomu prostorah ye P x P x y dy 1N i 1Nr x ci displaystyle P left mathbf x right int P left mathbf x land y right dy 1 over N sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big i Ochikuvannya u vvedenogo na vhid x displaystyle mathbf x f x def E y x yP y x dy displaystyle varphi left mathbf x right stackrel mathrm def E left y mid mathbf x right int y P left y mid mathbf x right dy de P y x displaystyle P left y mid mathbf x right umovna jmovirnist y pri zadanomu x displaystyle mathbf x Umovna jmovirnist pov yazana z jmovirnistyu teoremoyu Bayesa P y x P x y P x displaystyle P left y mid mathbf x right frac P left mathbf x land y right P left mathbf x right yakij daye f x yP x y P x dy displaystyle varphi left mathbf x right int y frac P left mathbf x land y right P left mathbf x right dy Ce staye f x i 1Neir x ci i 1Nr x ci i 1Neiu x ci displaystyle varphi left mathbf x right frac sum i 1 N e i rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N rho big left Vert mathbf x mathbf c i right Vert big sum i 1 N e i u big left Vert mathbf x mathbf c i right Vert big koli vikonuyetsya integruvannya Lokalni linijni modeli Inodi zruchno rozshiryuvati arhitekturu shob vklyuchiti lokalni linijni modeli U comu vipadku arhitekturi zvodyatsya do pershogo poryadku f x i 1N ai bi x ci r x ci displaystyle varphi left mathbf x right sum i 1 N left a i mathbf b i cdot left mathbf x mathbf c i right right rho big left Vert mathbf x mathbf c i right Vert big i f x i 1N ai bi x ci u x ci displaystyle varphi left mathbf x right sum i 1 N left a i mathbf b i cdot left mathbf x mathbf c i right right u big left Vert mathbf x mathbf c i right Vert big v nenormalizovanih ta normalizovanih vipadkah vidpovidno Tut viznachayutsya vagi bi displaystyle mathbf b i Mozhlivi takozh virazi bilsh visokogo poryadku vid linijnih termiv Cej rezultat mozhna zapisati yak f x i 12N j 1neijvij x ci displaystyle varphi left mathbf x right sum i 1 2N sum j 1 n e ij v ij big mathbf x mathbf c i big de eij ai if i 1 N bij if i N 1 2N displaystyle e ij begin cases a i amp mbox if i in 1 N b ij amp mbox if i in N 1 2N end cases i vij x ci def dijr x ci if i 1 N xij cij r x ci if i N 1 2N displaystyle v ij big mathbf x mathbf c i big stackrel mathrm def begin cases delta ij rho big left Vert mathbf x mathbf c i right Vert big amp mbox if i in 1 N left x ij c ij right rho big left Vert mathbf x mathbf c i right Vert big amp mbox if i in N 1 2N end cases v nenormalizovanomu vipadku i vij x ci def diju x ci if i 1 N xij cij u x ci if i N 1 2N displaystyle v ij big mathbf x mathbf c i big stackrel mathrm def begin cases delta ij u big left Vert mathbf x mathbf c i right Vert big amp mbox if i in 1 N left x ij c ij right u big left Vert mathbf x mathbf c i right Vert big amp mbox if i in N 1 2N end cases v normalizovanomu Tut dij displaystyle delta ij ye delto funkciyeyu Kronekera i viznachayetsya yak dij 1 if i j0 if i j displaystyle delta ij begin cases 1 amp mbox if i j 0 amp mbox if i neq j end cases NavchannyaMerezhi RBF yak pravilo trenuyutsya z par vhidnih i cilovih znachen x t y t displaystyle mathbf x t y t t 1 T displaystyle t 1 dots T za dvohetapnim algoritmom Na pershomu etapi obirayetsya centr vektoru ci displaystyle mathbf c i RBF funkciyi u prihovanomu shari Cej etap vikonuyetsya kilkoma sposobami centri mozhut buti vipadkovo vidibrani z deyakogo naboru prikladiv abo yih mozhna viznachiti za dopomogoyu klasterizaciyi metodom k serednih Zauvazhte sho cej krok ne kerovanij Drugij krok prosto vidpovidaye linijnij modeli z koeficiyentami wi displaystyle w i do vihodiv prihovanogo sharu z vidnoshennyam do deyakoyi cilovoyi funkciyi Zagalna cilova funkciya prinajmni dlya regresiyi ocinki funkciyi ye funkciyeyu najmenshih kvadrativ K w def t 1TKt w displaystyle K mathbf w stackrel mathrm def sum t 1 T K t mathbf w de Kt w def y t f x t w 2 displaystyle K t mathbf w stackrel mathrm def big y t varphi big mathbf x t mathbf w big big 2 Mi mayemo yavne vklyuchennya zalezhnosti vid vag Minimizaciya cilovoyi funkciyi najmenshih kvadrativ za optimalnogo viboru vag optimizuye tochnist pidgonki Ye vipadki koli potribno optimizuvati bagato cilej takih yak gladkist a takozh tochnist U comu vipadku korisno optimizuvati regulyarizovanu cilovu funkciyu taku yak H w def K w lS w def t 1THt w displaystyle H mathbf w stackrel mathrm def K mathbf w lambda S mathbf w stackrel mathrm def sum t 1 T H t mathbf w de S w def t 1TSt w displaystyle S mathbf w stackrel mathrm def sum t 1 T S t mathbf w i Ht w def Kt w lSt w displaystyle H t mathbf w stackrel mathrm def K t mathbf w lambda S t mathbf w de optimizaciya S maksimizuye gladkist ta l displaystyle lambda vidoma yak regulyarizaciya Tretij ne obov yazkovij etap zvorotnogo poshirennya pomilki mozhe buti vikonanij dlya tochnogo nastroyuvannya vsih parametriv merezhi RBF Interpolyaciya RBF merezhi mozhut buti vikoristani dlya interpolyaciyi funkciyi y Rn R displaystyle y mathbb R n to mathbb R koli znachennya cih funkcij vidomi na kincevomu chisli tochok y xi bi i 1 N displaystyle y mathbf x i b i i 1 ldots N Vzyattya vidomih tochok xi displaystyle mathbf x i shob buti centrami radialnih bazisnih funkcij i ocinyuvati znachennya osnovnih funkcij v tih samih tochkah gij r xj xi displaystyle g ij rho mathbf x j mathbf x i vagi mozhut buti znajdeni z rivnyannya g11g12 g1Ng21g22 g2N gN1gN2 gNN w1w2 wN b1b2 bN displaystyle left begin matrix g 11 amp g 12 amp cdots amp g 1N g 21 amp g 22 amp cdots amp g 2N vdots amp amp ddots amp vdots g N1 amp g N2 amp cdots amp g NN end matrix right left begin matrix w 1 w 2 vdots w N end matrix right left begin matrix b 1 b 2 vdots b N end matrix right Mozhe buti dovedeno sho interpolyaciya matrici u vishenavedenomu rivnyanni ye nesingulyarnoyu yaksho tochki xi displaystyle mathbf x i vidriznyayutsya a otzhe vagi w displaystyle w mozhut buti znajdeni za dopomogoyu prostoyi linijnoyi algebri w G 1b displaystyle mathbf w mathbf G 1 mathbf b Aproksimaciya funkciyi Yaksho meta polyagaye ne v tomu shob vikonuvati zhorstku interpolyaciyu a natomist bilsh zagalnu en abo klasifikaciyu optimizaciya desho skladnisha oskilki dlya centriv nemaye ochevidnogo viboru Trenuvannya yak pravilo vikonuyutsya v dva etapi spochatku fiksuyuchi shirinu ta centri a potim vagi Ce mozhna vipravdati rozglyadayuchi riznu prirodu nelinijnih prihovanih nejroniv u porivnyanni z linijnim vihidnim nejronom Pidgotovka centriv bazisnih funkcij Centri bazisnih funkcij mozhut buti vipadkovo vidibrani sered vhidnih ekzemplyariv abo otrimani v ramkah ortogonalnogo algoritmu navchannya najmenshoyi kvadratu abo znajdeni za dopomogoyu klasterizaciyi zrazkiv ta viboru klasterizaciyi yak centriv Shirina RBF yak pravilo zakriplena za tim samim znachennyam yake proporcijno maksimalnij vidstani mizh vibranimi centrami Psevdoobernene rishennya dlya linijnoyi vagi Pislya togo yak centri ci displaystyle c i zafiksovani vagi sho minimizuyut pohibku na vihodi obchislyuyutsya za dopomogoyu linijnogo psevdoobernenogo rishennya w G b displaystyle mathbf w mathbf G mathbf b de zapisi G ye znachennyami radialnih bazisnih funkcij ocinenih v tochkah xi displaystyle x i gji r xj ci displaystyle g ji rho x j c i Isnuvannya cogo linijnogo rishennya oznachaye sho na vidminu vid bagatosharovih perseptronnih MLP merezh RBF merezhi mayut unikalnij lokalnij minimum koli centri fiksuyutsya Metod gradiyentnogo spusku navchannya linijnih vag Inshij mozhlivij algoritm trenuvannya gradiyentnij spusk Pid chas trenuvannya gradiyentnogo spusku vagi koriguyutsya na kozhnomu kroci ruhayuchi yih u napryamku protilezhnomu gradiyentu ob yektivnoyi funkciyi takim chinom mozhna znajti minimum ob yektivnoyi funkciyi w t 1 w t nddwHt w displaystyle mathbf w t 1 mathbf w t nu frac d d mathbf w H t mathbf w de n displaystyle nu ce navchalnij parametr Dlya vipadku trenuvannya linijnih vag ai displaystyle a i algoritm staye ai t 1 ai t n y t f x t w r x t ci displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big rho big left Vert mathbf x t mathbf c i right Vert big v nenormalizovanomu vipadku i ai t 1 ai t n y t f x t w u x t ci displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big u big left Vert mathbf x t mathbf c i right Vert big v normalizovanomu Dlya lokalnoyi linijnoyi arhitekturi navchannya gradiyent spuskom ye eij t 1 eij t n y t f x t w vij x t ci displaystyle e ij t 1 e ij t nu big y t varphi big mathbf x t mathbf w big big v ij big mathbf x t mathbf c i big Trenuvannya operatora proektuvannya linijnih vag Dlya vipadku trenuvannya linijnih vag ai displaystyle a i ta eij displaystyle e ij algoritm staye ai t 1 ai t n y t f x t w r x t ci i 1Nr2 x t ci displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big frac rho big left Vert mathbf x t mathbf c i right Vert big sum i 1 N rho 2 big left Vert mathbf x t mathbf c i right Vert big v nenormalizovanomu vipadku i ai t 1 ai t n y t f x t w u x t ci i 1Nu2 x t ci displaystyle a i t 1 a i t nu big y t varphi big mathbf x t mathbf w big big frac u big left Vert mathbf x t mathbf c i right Vert big sum i 1 N u 2 big left Vert mathbf x t mathbf c i right Vert big v normalizovanomu i eij t 1 eij t n y t f x t w vij x t ci i 1N j 1nvij2 x t ci displaystyle e ij t 1 e ij t nu big y t varphi big mathbf x t mathbf w big big frac v ij big mathbf x t mathbf c i big sum i 1 N sum j 1 n v ij 2 big mathbf x t mathbf c i big v lokalno linijnomu vipadku Dlya odniyeyi bazovoyi funkciyi trenuvannya operatora proyekciyi zvoditsya do metoda Nyutona Malyunok 6 Logistichne vidobrazhennya chasovogo ryadu Povtorna iteraciya logistichnogo vidobrazhennya stvoryuye haotichni chasovi ryadi Znachennya lezhat mizh nulem i odiniceyu Tut predstavleni 100 navchalnih tochok yaki vikoristovuyutsya dlya trenuvannya prikladiv cogo rozdilu Vagi c ce pershi p yat tochok cogo chasovogo ryadu PrikladiLogistichna karta Osnovni vlastivosti radialno bazisnih funkcij mozhna proilyustruvati prostim matematichnim vidobrazhennyam logistichne vidobrazhennya yake vidobrazhaye interval odinici na sebe Vin mozhe buti vikoristanij dlya stvorennya zruchnogo prototipu potoku danih Logistichne vidobrazhennya mozhe buti vikoristane dlya vivchennya en prognozuvannya chasovih ryadiv i teoriyi keruvannya Vidobrazhennya pohodit z polya populyacijna dinamika i stalo prototipom dlya haosu chasovih ryadiv Vidobrazhennya v povnistyu haotichnomu rezhimi dayetsya x t 1 def f x t 4x t 1 x t displaystyle x t 1 stackrel mathrm def f left x t right 4x t left 1 x t right de t indikator chasu Znachennya h u moment t 1 ye parabolichnoyu parabolichnoyu funkciyeyu h vid chasu t Ce rivnyannya predstavlyaye osnovnu geometriyu haosu chasovih ryadiv sho porodzhuyutsya logistichnoyu kartoyu Pokolinnya chasovih ryadiv z cogo rivnyannya ye en identifikaciya osnovnoyi dinamiki abo fundamentalnogo rivnyannya logistichnoyi karti z primirnikiv chasovih ryadiv Meta znajti ocinku x t 1 f x t f t f x t displaystyle x t 1 f left x t right approx varphi t varphi left x t right dlya f Aproksimaciya funkciyi Risunok 7 Nenormovani bazisni funkciyi Logistichna karta sinya ta nablizhennya do logistichnoyi karti chervonij pislya odnogo prohodu cherez nabir trenuvan Nenormovani radialno bazisni funkciyi Arhitekturoyu ye f x def i 1Nair x ci displaystyle varphi mathbf x stackrel mathrm def sum i 1 N a i rho big left Vert mathbf x mathbf c i right Vert big de r x ci exp b x ci 2 exp b x t ci 2 displaystyle rho big left Vert mathbf x mathbf c i right Vert big exp left beta left Vert mathbf x mathbf c i right Vert 2 right exp left beta left x t c i right 2 right PrimitkiBroomhead D S Lowe David 1988 Tehnichnij zvit 4148 Arhiv originalu za 22 kvitnya 2013 Procitovano 13 zhovtnya 2017 Broomhead D S Lowe David 1988 Multivariable functional interpolation and adaptive networks Complex Systems 2 321 355 Schwenker Friedhelm Kestler Hans A Palm Gunther 2001 Three learning phases for radial basis function networks Neural Networks 14 439 458 doi 10 1016 s0893 6080 01 00027 2