Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Ієрархі чна часова па м ять ІЧП англ Hierarchical temporal memory HTM це продиктована біологією технологія машинного інт

Ієрархічна часова пам'ять

Ієрархічна часова пам'ять

Ієрархі́чна часова́ па́м'ять (ІЧП, англ. Hierarchical temporal memory, HTM) — це продиктована біологією технологія машинного інтелекту, розроблювана компанією Numenta. Первинно описану [en] з [en] в книзі 2004 року «Про інтелект», ІЧП натепер переважно використовують для виявляння аномалій у потокових даних. Ця технологія ґрунтується на нейронауці та фізіології та взаємодії [en] у новій корі ссавцевого (зокрема, людського) головного мозку.

В основі ІЧП лежать алгоритми навчання, які можуть зберігати високопорядкові послідовності, навчатися їх, робити висновки стосовно них, та згадувати їх. На відміну від більшості інших алгоритмів машинного навчання, ІЧП безперервно навчається (некерованим чином) часових образів у немічених даних. ІЧП є стійкою до шуму, і має високу ємність (вона може навчатися декількох образів одночасно). При застосуванні до комп'ютерів ІЧП є добре пристосованою для передбачування, виявляння аномалій, класифікування, та, зрештою, сенсо́рно-моторних застосувань.

ІЧП було перевірено та втілено у програмному забезпеченні через приклади застосунків від Numenta, і декілька комерційних застосунків від партнерів Numenta.

Структура та алгоритми

Типова мережа ІЧП є деревною ієрархією рівнів (англ. levels, які не слід плутати з «шарами», англ. layers, нової кори, які описано нижче). Ці рівні складаються з менших елементів, званих областями (англ. regions, або вузлами, англ. nodes). Один рівень в цій ієрархії може містити декілька областей. Вищі рівні ієрархії часто мають менше областей. Вищі рівні ієрархії можуть перевикористовувати образи, навчені на нижчих рівнях, поєднуючи їх для запам'ятовування складніших образів.

Усі області ІЧП мають однакову елементарну функцію. В режимах навчання та висновування сенсо́рні дані (наприклад, дані від очей) надходять до областей найнижчого рівня. У породжувальному режимі області найнижчого рівня виводять породжений образ заданої категорії. Найвищий рівень зазвичай має єдину область, яка зберігає найзагальніші та найсталіші категорії (поняття); вони визначають, або визначаються меншими поняттями на нижчих рівнях — поняттями, які є обмеженішими в часі та просторі[]. В режимі висновування область (на будь-якому рівні) інтерпретує інформацію, що надходить знизу з її «дочірніх» областей, як імовірності тих категорій, які вона має в пам'яті.

Кожна з областей ІЧП навчається, ідентифікуючи та запам'ятовуючи просторові образи — поєднання бітів входу, що часто трапляються в один і той же час. Потім вона визначає часові послідовності просторових образів, для яких є правдоподібним траплятися один після одного.

Як модель, що розвивається

ІЧП є алгоритмовою складовою Теорії інтелекту тисячі мізків (англ. Thousand Brains Theory of Intelligence) [en]. Тож нові відкриття про нову кору поступально включають до моделі ІЧП, яка змінюється з часом у відповідь. Нові відкриття не обов'язково роблять нечинними попередні частини цієї моделі, тож ідеї з одного покоління не обов'язково виключають в наступнім. Через еволюційну природу цієї теорії існувало декілька поколінь алгоритмів ІЧП, які стисло описано нижче.

Перше покоління: зета 1

Перше покоління алгоритмів ІЧП іноді називають зета 1 (англ. zeta 1).

Тренування

Під час тренування вузол (або область) отримує на вході часову послідовність просторових образів. Процес навчання складається з двох етапів:

  1. Просторове агрегування (англ. spatial pooling) ідентифікує (у вході) часто спостережувані образи, та запам'ятовує їх як «збіги» (англ. "coincidences"). Образи, які є значно подібними один до одного, трактуються як один і той же збіг. Велике число входових образів звужується до піддатливого числа відомих збігів.
  2. Часове агрегування (англ. temporal pooling) розбиває збіги, для яких є правдоподібним траплятися в тренувальній послідовності один за одним, на часові групи. Кожна з груп образів представляє «причину» (англ. "cause") входового образу (або «ім'я», англ. "name", в книзі «Про інтелект»).

Поняття просторового агрегування та часового агрегування залишаються вельми важливими і для поточних алгоритмів ІЧП. Часове агрегування є ще не дуже добре зрозумілим, і його зміст змінювався протягом часу (з розвитком алгоритмів ІЧП).

Висновування

Під час висно́вування (англ. inference) вузол обчислює набір імовірностей належності образу до кожного з відомих збігів. Потім він обчислює ймовірності подання входом кожної з часових груп. Набір імовірностей, призначених групам, називають «переконанням» (англ. "belief") вузла про входовий образ. (У спрощеному втіленні переконання вузла складається лише з однієї групи — переможниці). Це переконання є результатом висновування, який передається одному або більше «батьківському» вузлові в наступному рівні ієрархії.

Образи, які для вузла є «несподіваними», не мають домінантної ймовірності належності до жодної з часових груп, але мають майже рівні ймовірності належності до декількох із цих груп. Якщо послідовності образів є подібними до тренувальних послідовностей, то призначувані групам імовірності не змінюватимуться так часто, як отримуються образи. Вихід вузла змінюватиметься не сильно, і часова роздільна здатність[: ком.] втрачатиметься.

У загальнішій схемі переконання вузла може надсилатися до входів будь-якого вузла (вузлів) на будь-якому рівні (рівнях), але ці з'єднання між вузлами все одно залишаються незмінними. Вузол вищого рівня поєднує цей вихід з виходом з інших дочірніх вузлів, формуючи таким чином свій власний входовий образ.

Оскільки просторова та часова роздільна здатність втрачаються на кожному вузлі, як описано вище, то переконання, що формуються вузлами вищих рівнів, представляють ще більші проміжки простору й часу. Це покликано відображати будову фізичного світу, як її сприймає людський мозок. Більші поняття (наприклад, причини, дії чи об'єкти) сприймаються як такі, що змінюються повільніше, і складаються з менших понять, як змінюються частіше. Джефф Гокінс постулює, що мозок виробив цю ієрархію для співставляння, передбачування та впливу на будову зовнішнього світу.

Більше подробиць про функціювання ІЧП Зета 1 можливо знайти в старій документації Numenta.

Друге покоління: кортикальні алгоритми навчання

Друге покоління алгоритмів навчання ІЧП, які часто називають кортика́льними алгори́тмами навча́ння (КАН, англ. cortical learning algorithms, CLA), разюче відрізнялося від зета 1. Для подання активності мозку воно покладається на структуру даних, звану розрідженими розподіленими поданнями (англ. sparse distributed representations, тобто, на структуру даних, чиї елементи є двійковими, 1 чи 0, і чиє число 1-чних бітів є малим у порівнянні з числом 0-вих бітів), і на реалістичнішу з погляду біології модель нейрону (який в контексті ІЧП часто називають клітиною, англ. cell). У цьому поколінні ІЧП є дві центральні складові: алгоритм просторового агрегування (англ. spatial pooling), який видає розріджені розподілені подання (РРП, англ. sparse distributed representations, SDR), та алгоритм пам'яті послідовностей (англ. sequence memory), який вчиться представляти та передбачувати складні послідовності.

В цьому новому поколінні розглянуто та частково змодельовано (шари) (англ. layers) та мініколонки (англ. minicolumns) кори головного мозку. Кожен шар ІЧП (не плутати з рівнем ІЧП ієрархії ІЧП, який описано вище) складається з ряду сильно пов'язаних між собою мініколонок. Шар ІЧП створює розріджене розподілене подання свого входу, так що в будь-який момент часу активним є лише фіксований відсоток мініколонок.[: ком.] Мініколонку розуміють як групу клітин, які мають одне й те ж рецептивне поле. Кожна з мініколонок має ряд клітин, здатних пам'ятати декілька попередніх станів. Клітина може бути в одному з трьох станів: активному (англ. active), неактивному (англ. inactive) та передбачувальному (англ. predictive).

Просторове агрегування

Рецептивне поле кожної з мініколонок є фіксованим числом входів, які випадково обираються з набагато більшого числа входів вузла. Залежно від (конкретних) образів на вході, деякі колонки будуть більш або менш пов'язаними з активними входовими значеннями. Просторове агрегування (англ. spatial pooling) обирає відносно стале число найактивніших мініколонок та деактивує (пригнічує) інші мініколонки по сусідству з активними. Подібні входові образи схильні активувати стійкий набір мініколонок. Кількість пам'яті, що використовується кожним шаром, може бути збільшувано з метою навчання складніших просторових образів, або зменшувано з метою навчання простіших образів.

Активні, неактивні та передбачувальні клітини

Як зазначено вище, клітина (або нейрон) мініколонки в будь-який момент часу може бути в активному, неактивному, або передбачувальному стані. Початково клітини є неактивними.

Як клітини стають активними?

Якщо одна або більше клітин в активній мініколонці перебувають у передбачувальному стані (див. нижче), вони будуть єдиними клітинами, які зможуть стати активними в поточний момент часу. Якщо жодна з клітин в активній мініколонці не перебуває в передбачувальному стані (що відбувається в початковий момент часу, або коли активування мініколонки було неочікуваним), активними стають усі клітини.

Як клітини стають передбачувальними?

Коли клітина стає активною, вона поступово утворює з'єднання з сусідніми клітинами, що є схильними бути активними протягом декількох попередніх кроків часу. Таким чином клітина вчиться розпізнавати відому послідовність, перевіряючи, чи є активними з'єднані клітини. Якщо велике число з'єднаних клітин є активними, ця клітина перемикається до передбачувального стану в очікуванні одного або декількох наступних входів послідовності.

Вихід мініколонки

Вихід шару включає мініколонки як в активному, так і в передбачувальному станах. Таким чином, мініколонки є активними протягом довгих періодів часу, що веде до вищої часової стабільності, яку бачить батьківський шар.

Висновування та інтерактивне навчання

Кортикальні алгоритми навчання є здатними навчатися безперервно з кожного нового входового образу, відтак потреби в окремому режимі висновування немає. Під час висновування ІЧП намагається співставляти потік входів з фрагментами попередньо навчених послідовностей. Це дозволяє кожному шарові ІЧП постійно передбачувати правдоподібне продовження розпізнаних послідовностей. Виходом шару є індекс передбаченої послідовності. Оскільки передбачення є схильними змінюватися не так часто, як входові образи, це веде до підвищення часової стабільності виходу у вищих рівнях ієрархії. Передбачування також дозволяє заповнювати пропущені образи в послідовності, та інтерпретувати неоднозначні дані шляхом схиляння системи до передбачуваного висновку.

Застосування КАН

Numenta наразі пропонує кортикальні алгоритми навчання як комерційне програмне забезпечення як послугу (таке як Grok).

Чинність КАН

У вересні 2011 року Джеффові Гокінсу було поставлено таке питання стосовно кортикальних алгоритмів навчання: «Як ви дізнає́теся, чи є зміни, що ви вносите до моделі, добрими, чи ні?» На що Джеффовою відповіддю було «Є дві категорії для цієї відповіді: однією є дивитися на нейронауку, а іншою є методи для машинного інтелекту. В царині нейронауки існує багато передбачень, які ми можемо робити, і їх можливо перевірити. Якщо наші теорії описують широкий спектр спостережень нейронауки, то це каже нам, що ми перебуваємо на правильному шляху. У світі машинного навчання їх це не хвилює, їх хвилює лише те, наскільки добре воно працює на практичних задачах. В нашому випадку це ще треба побачити. Наскільки ви зможете розв'язувати задачі, які ніхто раніше не був здатним розв'язувати, настільки люди це відмітять.»

Третє покоління: сенсо́рно-моторне висновування

Третє покоління будується на другому поколінні, увінчуючи його теорією сенсорно-моторного висновування в новій корі. Ця теорія передбачає, що кортикальні колонки на кожному з рівнів ієрархії можуть навчатися цілісних моделей об'єктів у часі, й що вони навчаються ознак у певних місцях об'єктів. 2018 року цю теорію було розширено, і названо Теорією тисячі мізків (англ. Thousand Brains Theory).

Порівняння моделей нейронів

image
Порівняння штучної нейронної мережі (А), біологічного нейрону (Б), та нейрону ІЧП (В).
Порівняння моделей нейронів
Штучна нейронна мережа (ШНМ) Пірамідний нейрон нової кори (біологічний нейрон) Нейрон моделі ІЧП
  • Декілька синапсів
  • Відсутність дендритів
  • Підсумовує входи × ваги
  • Навчається, змінюючи ваги синапсів
  • Тисячі синапсів на дендритах
  • Активні дендрити: клітина розпізнає сотні унікальних образів
  • Спільне активування набору синапсів дендритного сегменту призводить до [en]-спайку[: ком.] та деполяризації[: ком.] в сомі
  • Джерела входу до клітини:
    1. Входи прямого зв'язку, які формують синапси проксимально до соми та безпосередньо призводять до потенціалу дії
    2. NMDA-спайки, породжувані більш дистально базально[: ком.]
    3. Апікальні дендрити, що деполяризують сому (зазвичай не достатньо для того, щоби створити соматичний потенціал дії)
  • Навчається вирощуванням нових синапсів
  • Натхнений пірамідними клітинами в шарах 2/3 та 5 нової кори
  • Тисячі синапсів
  • Активні дендрити: клітина розпізнає сотні унікальних образів
  • Моделює дендрити та NMDA-спайки, так що кожен масив відповідних детекторів має набір синапсів
  • Навчається моделюванням росту нових синапсів

Порівняння ІЧП та нової кори

ІЧП намагається втілити функціональність, що є характерною для ієрархічно пов'язаної групи областей нової кори. Область (англ. region) нової кори відповідає одному чи більше рівням (англ. levels) в ієрархії ІЧП, тоді як гіпокамп є віддалено подібним до найвищого рівня ІЧП. Один вузол ІЧП може представляти групу кортикальних колонок в межах певної області.

Хоч вона і є головно функціональною моделлю, було здійснено кілька спроб поставити алгоритми ІЧП у відповідність зі структурою нейронних зв'язків у шарах нової кори. Організація нової кори являє собою вертикальні колонки з 6 горизонтальних шарів (англ. layers). Ці 6 шарів клітин у новій корі не слід плутати з рівнями ієрархії ІЧП.

Вузли ІЧП намагаються моделювати частину кортикальних колонок (від 80 до 100 нейронів) із приблизно 20 «клітинами» ІЧП на колонку. ІЧП моделюють лише шари 2 та 3, щоби виявляти просторові та часові ознаки входу, з 1 клітиною на колонку в шарі 2 для просторового «агрегування», й від 1 до 2 дюжин на колонку в шарі 3 для часового агрегування. Ключовою для ІЧП та кори є їхня здатність обходитися з шумом та варіативністю у вході, яка є результатом використання «розрідженого розподіленого подання», в якому в кожен момент часу є активними лише близько 2% колонок.

ІЧП намагається моделювати частину процесу навчання та пластичності кори, як описано вище. До відмінностей між ІЧП та нейронами належать:

  • строго двійкові сигнали та синапси
  • відсутність прямого пригнічування синапсів та дендритів (але імітованого опосередкованого)
  • наразі моделює лише шари 2/3 та 4 (не 5 та 6)
  • відсутність «моторного» керування (шар 5)
  • відсутність зворотного зв'язку між областями (від рівня 6 вищої до рівня 1 нижчої)

Розріджені розподілені подання

Інтегрування компоненти пам'яті з нейронними мережами має довгу історію, що сягає ранніх досліджень у розподілених поданнях та самоорганізаційних картах. Наприклад, у [en] (англ. sparse distributed memory, SDM) образи, кодовані нейронними мережами, використовують як адреси для асоціативної пам'яті, де «нейрони» по суті слугують кодувальниками та декодувальниками адреси.

Комп'ютери зберігають інформацію у щільних (англ. dense) поданнях, таких як 32-бітове слово, в якому є можливими всі комбінації одиниць та нулів. На відміну від цього, мозок використовує розріджені розподілені подання (РРП, англ. sparse distributed representations, SDR). Людська нова кора має приблизно 16 мільярдів нейронів, але в кожен момент часу активним є лише невеликий відсоток. Активності нейронів подібні до бітів у комп'ютері, тож це подання є розрідженим. Подібно до [en], розробленої НАСА у 80-х роках, та векторно-просторових моделей, що використовують у латентно-семантичному аналізі, ІЧП використовує розріджені розподілені подання.

РРП, що використовують в ІЧП, є двійковими поданнями даних, що складаються з багатьох бітів, серед яких активним (одиниці) є лише невеликий відсоток. Типове втілення може мати 2048 колонок та 64 000 штучних нейронів, де лише 40 можуть бути активними одночасно. І хоча залишатися «невикористаними» для більшості бітів у будь-якому взятому поданні може видаватися менш ефективним, РРП мають дві важливі переваги над традиційними щільними поданнями. По-перше, РРП є стійкими до спотворення та неоднозначності через те, що сенс подання розподіляється (розподіленість) на невеликий відсоток (розрідженість) активних бітів. У щільному поданні перекидання єдиного біту повністю змінює сенс, тоді як в РРП один біт може не мати значного впливу на загальний сенс. Це веде до другої переваги РРП: оскільки сенс подання розподілено на всі активні біти, подібність між двома поданнями можливо використовувати як міру семантичної подібності об'єктів, що вони подають. Тобто, якщо два вектори в РРП мають одиниці в одній і тій же позиції, то вони є семантично подібними за цією властивістю. Біти в РРП мають семантичний сенс, і цей сенс розподілено між цими бітами.

На цих властивостях РРП ґрунтується теорія [en], щоби запропонувати нову модель для мовної семантики, де слова кодують їхніми РРП, і подібність між термінами, реченнями та текстами можливо обчислювати за допомогою простих мір відстані.

Подібність до інших моделей

Баєсові мережі

Подібно до баєсової мережі, ІЧП складається з набору вузлів, впорядкованих у деревну ієрархію. Кожен вузол в цій ієрархії виявляє масив причин в отримуваних ним входових шаблонах та часових послідовностях. Для прямого та зворотного поширення переконань від дочірніх до батьківських вузлів і назад використовують баєсів алгоритм [en]. Проте аналогія з баєсовими мережами є обмеженою, оскільки ІЧП можуть бути самотренованими (таким чином, що кожен з вузлів має однозначні родинні зв'язки), управляються з даними, залежними від часу, та надають механізми для [en].

Тай Сін Лі (англ. Таі Sing Lee) та Девід Мамфорд раніше були запропонували теорію ієрархічного кортикального обчислення на основі баєсового [en]. І хоча ІЧП здебільшого відповідає цим ідеям, вона додає подробиці стосовно обробки інваріантних подань у зоровій корі.

Нейронні мережі

Як і будь-яку систему, яка моделює деталі нової кори, ІЧП можливо розглядати як штучну нейронну мережу. Деревна ієрархія, зазвичай використовувана в ІЧП, нагадує звичну топологію традиційних нейронних мереж. ІЧП намагаються моделювати кортикальні колонки (від 80 до 100 нейронів) та їхні взаємодії меншою кількістю «нейронів» ІЧП. Метою нинішніх ІЧП є охопити якомога більше функцій нейронів та мережі (як їх наразі розуміють) в межах можливостей типових комп'ютерів та в областях, які можливо легко зробити корисними, таких як обробка зображень. Наприклад, спроб зворотного зв'язку від вищих рівнів та моторного керування не роблять через те, що наразі не зрозуміло, як їх вбудувати, а замість мінливих синапсів використовують двійкові, оскільки було визначено, що в поточних можливостях ІЧП вони є достатніми.

LAMINART та подібні мережі, які досліджує [en], намагаються моделювати як інфраструктуру кори, так і поведінку нейронів у часовій системі, щоби пояснити нейрофізіологічні та психофізичні дані. Проте ці мережі наразі є занадто складними для реалістичного застосування.

ІЧП є також пов'язаною з працею [en], включно з підходом до моделювання [en] зорової кори, відомим як HMAX. Подібності ІЧП до різних ідей ШІ описано в грудневому випуску 2005 року журналу «Artificial Intelligence».

Неокогнітрон

Неокогнітрон, ієрархічна багатошарова нейронна мережа, запропонована професором [en] 1987 року, є однією з перших моделей нейронних мереж глибокого навчання.

Платформа та розробницькі інструменти NuPIC

Numenta Platform for Intelligent Computing (NuPIC) [ 6 травня 2021 у Wayback Machine.] є одним із декількох доступних втілень ІЧП [ 27 листопада 2020 у Wayback Machine.]. Деякі забезпечує компанія Numenta [ 21 травня 2021 у Wayback Machine.], тоді як деякі розробляє та підтримує спільнота ІЧП з відкритим кодом [ 26 квітня 2021 у Wayback Machine.].

NuPIC включає втілення просторового агрегування та часової пам'яті як мовою C++, так і мовою Python. Вона також включає 3 ППІ [ 5 жовтня 2018 у Wayback Machine.]. Користувачі можуть будувати системи ІЧП, використовуючи прямі втілення цих алгоритмів [ 27 січня 2020 у Wayback Machine.], або будуючи мережу із застосуванням мережного ППІ [ 30 січня 2020 у Wayback Machine.], що є гнучкою системою для побудови складних залежностей між різними рівнями кори.

NuPIC 1.0 [ 9 листопада 2020 у Wayback Machine.] було випущено в липні 2017 року, після чого базу коду було переведено до режиму підтримування. Поточні дослідження продовжуються в дослідницьких базах коду [ 15 грудня 2020 у Wayback Machine.] Numenta.

Застосування

Існують наступні комерційні застосунки з використанням NuPIC:

  • Grok — виявляння аномалій для серверів ІТ, див. www.grokstream.com [ 11 травня 2022 у Wayback Machine.]
  • Cortical.io — розвинена обробка природної мови, див. www.cortical.io [ 20 травня 2021 у Wayback Machine.]

На NuPIC є доступними такі інструменти:

  • HTM Studio — знаходить аномалії в часових рядах з використанням ваших власних даних, див. numenta.com/htm-studio/ [ 25 листопада 2017 у Wayback Machine.]
  • Numenta Anomaly Benchmark — порівнюйте ІЧП-аномалії з іншими методиками виявляння аномалій, див. numenta.com/numenta-anomaly-benchmark/ [ 8 травня 2017 у Wayback Machine.]

На NuPIC є доступними наступні приклади застосунків, див. numenta.com/applications/ [ 2 травня 2017 у Wayback Machine.]:

  • HTM for stocks — приклад відстежування аномалій у ринку цінних паперів (приклад коду)
  • Rogue behavior detection — приклад шукання аномалій в людській поведінці (довідка та приклад коду)
  • Geospatial tracking — приклад шукання аномалій в русі цілей простором та часом (довідка та приклад коду)

Див. також

Пов'язані моделі

Примітки

  1. Cui, Yuwei; Ahmad, Subutai; Hawkins, Jeff (2016). Continuous Online Sequence Learning with an Unsupervised Neural Network Model. Neural Computation. 28 (11): 2474—2504. arXiv:1512.05463. doi:10.1162/NECO_a_00893. PMID 27626963. S2CID 3937908. (англ.)
  2. Ahmad, Subutai; Lavin, Alexander; Purdy, Scott; Agha, Zuha (2017). Unsupervised real-time anomaly detection for streaming data. Neurocomputing. 262: 134—147. doi:10.1016/j.neucom.2017.04.070. (англ.)
  3. . HTM Forum (англ.). 3 червня 2016. Архів оригіналу за 25 грудня 2019. Процитовано 12 квітня 2020. (англ.)
  4. HTM Retrospective на YouTube (англ.)
  5. . numenta.com. Архів оригіналу за 27 травня 2009. (англ.)
  6. Jeff Hawkins lecture describing cortical learning algorithms на YouTube (англ.)
  7. Cui, Yuwei; Ahmad, Subutai; Hawkins, Jeff (2017). The HTM Spatial Pooler—A Neocortical Algorithm for Online Sparse Distributed Coding. Frontiers in Computational Neuroscience. 11: 111. doi:10.3389/fncom.2017.00111. PMC 5712570. PMID 29238299.{{}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () (англ.)
  8. Hawkins, Jeff; Ahmad, Subutai (30 березня 2016). Why Neurons Have Thousands of Synapses, a Theory of Sequence Memory in Neocortex. Front. Neural Circuits. 10: 23. doi:10.3389/fncir.2016.00023. PMC 4811948. PMID 27065813.{{}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () (англ.)
  9. . grokstream.com. Архів оригіналу за 26 квітня 2019. Процитовано 12 квітня 2020. (англ.)
  10. Laserson, Jonathan (September 2011). (PDF). XRDS. 18 (1). doi:10.1145/2000775.2000787. S2CID 21496694. Архів оригіналу (PDF) за 27 листопада 2020. Процитовано 12 квітня 2020. (англ.)
  11. Hawkins, Jeff; Ahmad, Subutai; Cui, Yuwei (2017). A Theory of How Columns in the Neocortex Enable Learning the Structure of the World. Frontiers in Neural Circuits. 11: 81. doi:10.3389/fncir.2017.00081. PMC 5661005. PMID 29118696.{{}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () (англ.)
  12. Have We Missed Half of What the Neocortex Does? Allocentric Location as the Basis of Perception на YouTube (англ.)
  13. . eurekalert.org. 14 січня 2019. Архів оригіналу за 8 листопада 2020. Процитовано 12 квітня 2020. (англ.)
  14. ; . On Intelligence. (англ.) (рос.)
  15. George, Dileep; Hawkins, Jeff (2009). Towards a Mathematical Theory of Cortical Micro-circuits. PLOS Computational Biology. 5 (10): e1000532. Bibcode:2009PLSCB...5E0532G. doi:10.1371/journal.pcbi.1000532. PMC 2749218. PMID 19816557. (англ.)
  16. (PDF). numenta.org. Архів оригіналу (PDF) за 8 березня 2021. Процитовано 12 квітня 2020. (англ.)
  17. Hinton, Geoffrey E. (1984). . Архів оригіналу за 14 листопада 2017. (англ.)
  18. Plate, Tony (1991). (PDF). IJCAI. Архів оригіналу (PDF) за 6 січня 2021. Процитовано 12 квітня 2020. (англ.)
  19. Kanerva, Pentti (1988). . MIT press. Архів оригіналу за 12 квітня 2020. Процитовано 12 квітня 2020. (англ.)
  20. Snaider, Javier; Franklin, Stan (2012). (PDF). Twenty-fifth international flairs conference. S2CID 17547390. Архів оригіналу (PDF) за 29 грудня 2017. Процитовано 12 квітня 2020. (англ.)
  21. Olshausen, Bruno A.; Field, David J. (1997). Sparse coding with an overcomplete basis set: A strategy employed by V1?. Vision Research. 37 (23): 3311—3325. doi:10.1016/S0042-6989(97)00169-7. PMID 9425546. S2CID 14208692. (англ.)
  22. Ahmad, Subutai; Hawkins, Jeff (2016). Numenta NUPIC – sparse distributed representations. arXiv:1601.00720 [q-bio.NC]. (англ.)
  23. De Sousa Webber, Francisco (2015). Semantic Folding Theory And its Application in Semantic Fingerprinting. arXiv:1511.08855 [cs.AI]. (англ.)
  24. Lee, Tai Sing; Mumford, David (2002). Hierarchical Bayesian Inference in the Visual Cortex. Journal of the Optical Society of America. A, Optics, Image Science, and Vision. 20 (7): 1434—48. CiteSeerX 10.1.1.12.2565. doi:10.1364/josaa.20.001434. PMID 12868647. (англ.)
  25. (24 липня 2010). . dileepgeorge.com. Архів оригіналу за 1 серпня 2019. (англ.)
  26. Grossberg, Stephen (2007). Cisek, Paul; Drew, Trevor; Kalaska, John (ред.). (PDF) (Звіт). Amsterdam: Elsevier. с. 79—104. Архів оригіналу (PDF) за 29 серпня 2017. (англ.)
  27. . 169 (2). December 2005: 103—212. Архів оригіналу за 12 квітня 2020. Процитовано 12 квітня 2020. (англ.)
  28. Fukushima, Kunihiko (2007). . Scholarpedia. 2 (1): 1717. Bibcode:2007SchpJ...2.1717F. doi:10.4249/scholarpedia.1717. Архів оригіналу за 17 квітня 2021. Процитовано 12 квітня 2020. (англ.)

Посилання

Офіційні

  • Cortical Learning Algorithm overview [ 11 квітня 2016 у Wayback Machine.] (Accessed May 2013) (англ.)
  • (PDF Sept. 2011) (англ.)
  • Numenta, Inc. (англ.)
  • (англ.)
  • (англ.)
  • OnIntelligence.org Forum [ 16 квітня 2017 у Wayback Machine.], вебфорум для обговорення відповідних тем, особливо відповідним є форум Models and Simulation Topics [ 27 листопада 2016 у Wayback Machine.]. (англ.)
  • Hierarchical Temporal Memory [ 17 серпня 2016 у Wayback Machine.] (презентація Microsoft PowerPoint) (англ.)
  • Cortical Learning Algorithm Tutorial: CLA Basics [ 16 грудня 2020 у Wayback Machine.], розмова на YouTube про кортикальний алгоритм навчання (КАН, англ. cortical learning algorithm, CLA), що використовує модель ІЧП (англ.)

Інші

  • Pattern Recognition by Hierarchical Temporal Memory [ 6 січня 2012 у Wayback Machine.] by Davide Maltoni, April 13, 2011 (англ.)
  • Vicarious [ 22 квітня 2021 у Wayback Machine.] Startup rooted in HTM by Dileep George (англ.)
  • The Gartner Fellows: Jeff Hawkins Interview [ 5 лютого 2012 у Wayback Machine.] by Tom Austin, Gartner, March 2, 2006 (англ.)
  • Emerging Tech: Jeff Hawkins reinvents artificial intelligence[недоступне посилання] by Debra D'Agostino and Edward H. Baker, CIO Insight, May 1, 2006 (англ.)
  • "Putting your brain on a microchip"[недоступне посилання] by Stefanie Olsen, CNET News.com, May 12, 2006 (англ.)
  • "The Thinking Machine" [ 19 березня 2014 у Wayback Machine.] by Evan Ratliff, Wired, March 2007 (англ.)
  • Think like a human [ 12 квітня 2020 у Wayback Machine.] by Jeff Hawkins, IEEE Spectrum, April 2007 (англ.)
  • Neocortex – Memory-Prediction Framework [ 4 лютого 2021 у Wayback Machine.] — відкрите втілення з ліцензією GNU General Public License (англ.)
  • (англ.)

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Iyerarhi chna chasova pa m yat IChP angl Hierarchical temporal memory HTM ce prodiktovana biologiyeyu tehnologiya mashinnogo intelektu rozroblyuvana kompaniyeyu Numenta Pervinno opisanu en z en v knizi 2004 roku Pro intelekt IChP nateper perevazhno vikoristovuyut dlya viyavlyannya anomalij u potokovih danih Cya tehnologiya gruntuyetsya na nejronauci ta fiziologiyi ta vzayemodiyi en u novij kori ssavcevogo zokrema lyudskogo golovnogo mozku V osnovi IChP lezhat algoritmi navchannya yaki mozhut zberigati visokoporyadkovi poslidovnosti navchatisya yih robiti visnovki stosovno nih ta zgaduvati yih Na vidminu vid bilshosti inshih algoritmiv mashinnogo navchannya IChP bezperervno navchayetsya nekerovanim chinom chasovih obraziv u nemichenih danih IChP ye stijkoyu do shumu i maye visoku yemnist vona mozhe navchatisya dekilkoh obraziv odnochasno Pri zastosuvanni do komp yuteriv IChP ye dobre pristosovanoyu dlya peredbachuvannya viyavlyannya anomalij klasifikuvannya ta zreshtoyu senso rno motornih zastosuvan IChP bulo perevireno ta vtileno u programnomu zabezpechenni cherez prikladi zastosunkiv vid Numenta i dekilka komercijnih zastosunkiv vid partneriv Numenta Struktura ta algoritmiTipova merezha IChP ye derevnoyu iyerarhiyeyu rivniv angl levels yaki ne slid plutati z sharami angl layers novoyi kori yaki opisano nizhche Ci rivni skladayutsya z menshih elementiv zvanih oblastyami angl regions abo vuzlami angl nodes Odin riven v cij iyerarhiyi mozhe mistiti dekilka oblastej Vishi rivni iyerarhiyi chasto mayut menshe oblastej Vishi rivni iyerarhiyi mozhut perevikoristovuvati obrazi navcheni na nizhchih rivnyah poyednuyuchi yih dlya zapam yatovuvannya skladnishih obraziv Usi oblasti IChP mayut odnakovu elementarnu funkciyu V rezhimah navchannya ta visnovuvannya senso rni dani napriklad dani vid ochej nadhodyat do oblastej najnizhchogo rivnya U porodzhuvalnomu rezhimi oblasti najnizhchogo rivnya vivodyat porodzhenij obraz zadanoyi kategoriyi Najvishij riven zazvichaj maye yedinu oblast yaka zberigaye najzagalnishi ta najstalishi kategoriyi ponyattya voni viznachayut abo viznachayutsya menshimi ponyattyami na nizhchih rivnyah ponyattyami yaki ye obmezhenishimi v chasi ta prostori proyasniti V rezhimi visnovuvannya oblast na bud yakomu rivni interpretuye informaciyu sho nadhodit znizu z yiyi dochirnih oblastej yak imovirnosti tih kategorij yaki vona maye v pam yati Kozhna z oblastej IChP navchayetsya identifikuyuchi ta zapam yatovuyuchi prostorovi obrazi poyednannya bitiv vhodu sho chasto traplyayutsya v odin i toj zhe chas Potim vona viznachaye chasovi poslidovnosti prostorovih obraziv dlya yakih ye pravdopodibnim traplyatisya odin pislya odnogo Yak model sho rozvivayetsyaIChP ye algoritmovoyu skladovoyu Teoriyi intelektu tisyachi mizkiv angl Thousand Brains Theory of Intelligence en Tozh novi vidkrittya pro novu koru postupalno vklyuchayut do modeli IChP yaka zminyuyetsya z chasom u vidpovid Novi vidkrittya ne obov yazkovo roblyat nechinnimi poperedni chastini ciyeyi modeli tozh ideyi z odnogo pokolinnya ne obov yazkovo viklyuchayut v nastupnim Cherez evolyucijnu prirodu ciyeyi teoriyi isnuvalo dekilka pokolin algoritmiv IChP yaki stislo opisano nizhche Pershe pokolinnya zeta 1 Pershe pokolinnya algoritmiv IChP inodi nazivayut zeta 1 angl zeta 1 Trenuvannya Pid chas trenuvannya vuzol abo oblast otrimuye na vhodi chasovu poslidovnist prostorovih obraziv Proces navchannya skladayetsya z dvoh etapiv Prostorove agreguvannya angl spatial pooling identifikuye u vhodi chasto sposterezhuvani obrazi ta zapam yatovuye yih yak zbigi angl coincidences Obrazi yaki ye znachno podibnimi odin do odnogo traktuyutsya yak odin i toj zhe zbig Velike chislo vhodovih obraziv zvuzhuyetsya do piddatlivogo chisla vidomih zbigiv Chasove agreguvannya angl temporal pooling rozbivaye zbigi dlya yakih ye pravdopodibnim traplyatisya v trenuvalnij poslidovnosti odin za odnim na chasovi grupi Kozhna z grup obraziv predstavlyaye prichinu angl cause vhodovogo obrazu abo im ya angl name v knizi Pro intelekt Ponyattya prostorovogo agreguvannya ta chasovogo agreguvannya zalishayutsya velmi vazhlivimi i dlya potochnih algoritmiv IChP Chasove agreguvannya ye she ne duzhe dobre zrozumilim i jogo zmist zminyuvavsya protyagom chasu z rozvitkom algoritmiv IChP Visnovuvannya Pid chas visno vuvannya angl inference vuzol obchislyuye nabir imovirnostej nalezhnosti obrazu do kozhnogo z vidomih zbigiv Potim vin obchislyuye jmovirnosti podannya vhodom kozhnoyi z chasovih grup Nabir imovirnostej priznachenih grupam nazivayut perekonannyam angl belief vuzla pro vhodovij obraz U sproshenomu vtilenni perekonannya vuzla skladayetsya lishe z odniyeyi grupi peremozhnici Ce perekonannya ye rezultatom visnovuvannya yakij peredayetsya odnomu abo bilshe batkivskomu vuzlovi v nastupnomu rivni iyerarhiyi Obrazi yaki dlya vuzla ye nespodivanimi ne mayut dominantnoyi jmovirnosti nalezhnosti do zhodnoyi z chasovih grup ale mayut majzhe rivni jmovirnosti nalezhnosti do dekilkoh iz cih grup Yaksho poslidovnosti obraziv ye podibnimi do trenuvalnih poslidovnostej to priznachuvani grupam imovirnosti ne zminyuvatimutsya tak chasto yak otrimuyutsya obrazi Vihid vuzla zminyuvatimetsya ne silno i chasova rozdilna zdatnist proyasniti kom vtrachatimetsya U zagalnishij shemi perekonannya vuzla mozhe nadsilatisya do vhodiv bud yakogo vuzla vuzliv na bud yakomu rivni rivnyah ale ci z yednannya mizh vuzlami vse odno zalishayutsya nezminnimi Vuzol vishogo rivnya poyednuye cej vihid z vihodom z inshih dochirnih vuzliv formuyuchi takim chinom svij vlasnij vhodovij obraz Oskilki prostorova ta chasova rozdilna zdatnist vtrachayutsya na kozhnomu vuzli yak opisano vishe to perekonannya sho formuyutsya vuzlami vishih rivniv predstavlyayut she bilshi promizhki prostoru j chasu Ce poklikano vidobrazhati budovu fizichnogo svitu yak yiyi sprijmaye lyudskij mozok Bilshi ponyattya napriklad prichini diyi chi ob yekti sprijmayutsya yak taki sho zminyuyutsya povilnishe i skladayutsya z menshih ponyat yak zminyuyutsya chastishe Dzheff Gokins postulyuye sho mozok virobiv cyu iyerarhiyu dlya spivstavlyannya peredbachuvannya ta vplivu na budovu zovnishnogo svitu Bilshe podrobic pro funkciyuvannya IChP Zeta 1 mozhlivo znajti v starij dokumentaciyi Numenta Druge pokolinnya kortikalni algoritmi navchannya Druge pokolinnya algoritmiv navchannya IChP yaki chasto nazivayut kortika lnimi algori tmami navcha nnya KAN angl cortical learning algorithms CLA razyuche vidriznyalosya vid zeta 1 Dlya podannya aktivnosti mozku vono pokladayetsya na strukturu danih zvanu rozridzhenimi rozpodilenimi podannyami angl sparse distributed representations tobto na strukturu danih chiyi elementi ye dvijkovimi 1 chi 0 i chiye chislo 1 chnih bitiv ye malim u porivnyanni z chislom 0 vih bitiv i na realistichnishu z poglyadu biologiyi model nejronu yakij v konteksti IChP chasto nazivayut klitinoyu angl cell U comu pokolinni IChP ye dvi centralni skladovi algoritm prostorovogo agreguvannya angl spatial pooling yakij vidaye rozridzheni rozpodileni podannya RRP angl sparse distributed representations SDR ta algoritm pam yati poslidovnostej angl sequence memory yakij vchitsya predstavlyati ta peredbachuvati skladni poslidovnosti V comu novomu pokolinni rozglyanuto ta chastkovo zmodelovano shari angl layers ta minikolonki angl minicolumns kori golovnogo mozku Kozhen shar IChP ne plutati z rivnem IChP iyerarhiyi IChP yakij opisano vishe skladayetsya z ryadu silno pov yazanih mizh soboyu minikolonok Shar IChP stvoryuye rozridzhene rozpodilene podannya svogo vhodu tak sho v bud yakij moment chasu aktivnim ye lishe fiksovanij vidsotok minikolonok proyasniti kom Minikolonku rozumiyut yak grupu klitin yaki mayut odne j te zh receptivne pole Kozhna z minikolonok maye ryad klitin zdatnih pam yatati dekilka poperednih staniv Klitina mozhe buti v odnomu z troh staniv aktivnomu angl active neaktivnomu angl inactive ta peredbachuvalnomu angl predictive Prostorove agreguvannya Receptivne pole kozhnoyi z minikolonok ye fiksovanim chislom vhodiv yaki vipadkovo obirayutsya z nabagato bilshogo chisla vhodiv vuzla Zalezhno vid konkretnih obraziv na vhodi deyaki kolonki budut bilsh abo mensh pov yazanimi z aktivnimi vhodovimi znachennyami Prostorove agreguvannya angl spatial pooling obiraye vidnosno stale chislo najaktivnishih minikolonok ta deaktivuye prignichuye inshi minikolonki po susidstvu z aktivnimi Podibni vhodovi obrazi shilni aktivuvati stijkij nabir minikolonok Kilkist pam yati sho vikoristovuyetsya kozhnim sharom mozhe buti zbilshuvano z metoyu navchannya skladnishih prostorovih obraziv abo zmenshuvano z metoyu navchannya prostishih obraziv Aktivni neaktivni ta peredbachuvalni klitini Yak zaznacheno vishe klitina abo nejron minikolonki v bud yakij moment chasu mozhe buti v aktivnomu neaktivnomu abo peredbachuvalnomu stani Pochatkovo klitini ye neaktivnimi Yak klitini stayut aktivnimi Yaksho odna abo bilshe klitin v aktivnij minikolonci perebuvayut u peredbachuvalnomu stani div nizhche voni budut yedinimi klitinami yaki zmozhut stati aktivnimi v potochnij moment chasu Yaksho zhodna z klitin v aktivnij minikolonci ne perebuvaye v peredbachuvalnomu stani sho vidbuvayetsya v pochatkovij moment chasu abo koli aktivuvannya minikolonki bulo neochikuvanim aktivnimi stayut usi klitini Yak klitini stayut peredbachuvalnimi Koli klitina staye aktivnoyu vona postupovo utvoryuye z yednannya z susidnimi klitinami sho ye shilnimi buti aktivnimi protyagom dekilkoh poperednih krokiv chasu Takim chinom klitina vchitsya rozpiznavati vidomu poslidovnist pereviryayuchi chi ye aktivnimi z yednani klitini Yaksho velike chislo z yednanih klitin ye aktivnimi cya klitina peremikayetsya do peredbachuvalnogo stanu v ochikuvanni odnogo abo dekilkoh nastupnih vhodiv poslidovnosti Vihid minikolonki Vihid sharu vklyuchaye minikolonki yak v aktivnomu tak i v peredbachuvalnomu stanah Takim chinom minikolonki ye aktivnimi protyagom dovgih periodiv chasu sho vede do vishoyi chasovoyi stabilnosti yaku bachit batkivskij shar Visnovuvannya ta interaktivne navchannya Kortikalni algoritmi navchannya ye zdatnimi navchatisya bezperervno z kozhnogo novogo vhodovogo obrazu vidtak potrebi v okremomu rezhimi visnovuvannya nemaye Pid chas visnovuvannya IChP namagayetsya spivstavlyati potik vhodiv z fragmentami poperedno navchenih poslidovnostej Ce dozvolyaye kozhnomu sharovi IChP postijno peredbachuvati pravdopodibne prodovzhennya rozpiznanih poslidovnostej Vihodom sharu ye indeks peredbachenoyi poslidovnosti Oskilki peredbachennya ye shilnimi zminyuvatisya ne tak chasto yak vhodovi obrazi ce vede do pidvishennya chasovoyi stabilnosti vihodu u vishih rivnyah iyerarhiyi Peredbachuvannya takozh dozvolyaye zapovnyuvati propusheni obrazi v poslidovnosti ta interpretuvati neodnoznachni dani shlyahom shilyannya sistemi do peredbachuvanogo visnovku Zastosuvannya KAN Numenta narazi proponuye kortikalni algoritmi navchannya yak komercijne programne zabezpechennya yak poslugu take yak Grok Chinnist KAN U veresni 2011 roku Dzheffovi Gokinsu bulo postavleno take pitannya stosovno kortikalnih algoritmiv navchannya Yak vi diznaye tesya chi ye zmini sho vi vnosite do modeli dobrimi chi ni Na sho Dzheffovoyu vidpoviddyu bulo Ye dvi kategoriyi dlya ciyeyi vidpovidi odniyeyu ye divitisya na nejronauku a inshoyu ye metodi dlya mashinnogo intelektu V carini nejronauki isnuye bagato peredbachen yaki mi mozhemo robiti i yih mozhlivo pereviriti Yaksho nashi teoriyi opisuyut shirokij spektr sposterezhen nejronauki to ce kazhe nam sho mi perebuvayemo na pravilnomu shlyahu U sviti mashinnogo navchannya yih ce ne hvilyuye yih hvilyuye lishe te naskilki dobre vono pracyuye na praktichnih zadachah V nashomu vipadku ce she treba pobachiti Naskilki vi zmozhete rozv yazuvati zadachi yaki nihto ranishe ne buv zdatnim rozv yazuvati nastilki lyudi ce vidmityat Tretye pokolinnya senso rno motorne visnovuvannya Tretye pokolinnya buduyetsya na drugomu pokolinni uvinchuyuchi jogo teoriyeyu sensorno motornogo visnovuvannya v novij kori Cya teoriya peredbachaye sho kortikalni kolonki na kozhnomu z rivniv iyerarhiyi mozhut navchatisya cilisnih modelej ob yektiv u chasi j sho voni navchayutsya oznak u pevnih miscyah ob yektiv 2018 roku cyu teoriyu bulo rozshireno i nazvano Teoriyeyu tisyachi mizkiv angl Thousand Brains Theory Porivnyannya modelej nejronivPorivnyannya shtuchnoyi nejronnoyi merezhi A biologichnogo nejronu B ta nejronu IChP V Porivnyannya modelej nejroniv Shtuchna nejronna merezha ShNM Piramidnij nejron novoyi kori biologichnij nejron Nejron modeli IChPDekilka sinapsivVidsutnist dendritivPidsumovuye vhodi vagiNavchayetsya zminyuyuchi vagi sinapsiv Tisyachi sinapsiv na dendritahAktivni dendriti klitina rozpiznaye sotni unikalnih obrazivSpilne aktivuvannya naboru sinapsiv dendritnogo segmentu prizvodit do en spajku proyasniti kom ta depolyarizaciyi proyasniti kom v somiDzherela vhodu do klitini Vhodi pryamogo zv yazku yaki formuyut sinapsi proksimalno do somi ta bezposeredno prizvodyat do potencialu diyiNMDA spajki porodzhuvani bilsh distalno bazalno proyasniti kom Apikalni dendriti sho depolyarizuyut somu zazvichaj ne dostatno dlya togo shobi stvoriti somatichnij potencial diyi Navchayetsya viroshuvannyam novih sinapsiv Nathnenij piramidnimi klitinami v sharah 2 3 ta 5 novoyi koriTisyachi sinapsivAktivni dendriti klitina rozpiznaye sotni unikalnih obrazivModelyuye dendriti ta NMDA spajki tak sho kozhen masiv vidpovidnih detektoriv maye nabir sinapsivNavchayetsya modelyuvannyam rostu novih sinapsivPorivnyannya IChP ta novoyi koriIChP namagayetsya vtiliti funkcionalnist sho ye harakternoyu dlya iyerarhichno pov yazanoyi grupi oblastej novoyi kori Oblast angl region novoyi kori vidpovidaye odnomu chi bilshe rivnyam angl levels v iyerarhiyi IChP todi yak gipokamp ye viddaleno podibnim do najvishogo rivnya IChP Odin vuzol IChP mozhe predstavlyati grupu kortikalnih kolonok v mezhah pevnoyi oblasti Hoch vona i ye golovno funkcionalnoyu modellyu bulo zdijsneno kilka sprob postaviti algoritmi IChP u vidpovidnist zi strukturoyu nejronnih zv yazkiv u sharah novoyi kori Organizaciya novoyi kori yavlyaye soboyu vertikalni kolonki z 6 gorizontalnih shariv angl layers Ci 6 shariv klitin u novij kori ne slid plutati z rivnyami iyerarhiyi IChP Vuzli IChP namagayutsya modelyuvati chastinu kortikalnih kolonok vid 80 do 100 nejroniv iz priblizno 20 klitinami IChP na kolonku IChP modelyuyut lishe shari 2 ta 3 shobi viyavlyati prostorovi ta chasovi oznaki vhodu z 1 klitinoyu na kolonku v shari 2 dlya prostorovogo agreguvannya j vid 1 do 2 dyuzhin na kolonku v shari 3 dlya chasovogo agreguvannya Klyuchovoyu dlya IChP ta kori ye yihnya zdatnist obhoditisya z shumom ta variativnistyu u vhodi yaka ye rezultatom vikoristannya rozridzhenogo rozpodilenogo podannya v yakomu v kozhen moment chasu ye aktivnimi lishe blizko 2 kolonok IChP namagayetsya modelyuvati chastinu procesu navchannya ta plastichnosti kori yak opisano vishe Do vidminnostej mizh IChP ta nejronami nalezhat strogo dvijkovi signali ta sinapsi vidsutnist pryamogo prignichuvannya sinapsiv ta dendritiv ale imitovanogo oposeredkovanogo narazi modelyuye lishe shari 2 3 ta 4 ne 5 ta 6 vidsutnist motornogo keruvannya shar 5 vidsutnist zvorotnogo zv yazku mizh oblastyami vid rivnya 6 vishoyi do rivnya 1 nizhchoyi Rozridzheni rozpodileni podannyaIntegruvannya komponenti pam yati z nejronnimi merezhami maye dovgu istoriyu sho syagaye rannih doslidzhen u rozpodilenih podannyah ta samoorganizacijnih kartah Napriklad u en angl sparse distributed memory SDM obrazi kodovani nejronnimi merezhami vikoristovuyut yak adresi dlya asociativnoyi pam yati de nejroni po suti sluguyut koduvalnikami ta dekoduvalnikami adresi Komp yuteri zberigayut informaciyu u shilnih angl dense podannyah takih yak 32 bitove slovo v yakomu ye mozhlivimi vsi kombinaciyi odinic ta nuliv Na vidminu vid cogo mozok vikoristovuye rozridzheni rozpodileni podannya RRP angl sparse distributed representations SDR Lyudska nova kora maye priblizno 16 milyardiv nejroniv ale v kozhen moment chasu aktivnim ye lishe nevelikij vidsotok Aktivnosti nejroniv podibni do bitiv u komp yuteri tozh ce podannya ye rozridzhenim Podibno do en rozroblenoyi NASA u 80 h rokah ta vektorno prostorovih modelej sho vikoristovuyut u latentno semantichnomu analizi IChP vikoristovuye rozridzheni rozpodileni podannya RRP sho vikoristovuyut v IChP ye dvijkovimi podannyami danih sho skladayutsya z bagatoh bitiv sered yakih aktivnim odinici ye lishe nevelikij vidsotok Tipove vtilennya mozhe mati 2048 kolonok ta 64 000 shtuchnih nejroniv de lishe 40 mozhut buti aktivnimi odnochasno I hocha zalishatisya nevikoristanimi dlya bilshosti bitiv u bud yakomu vzyatomu podanni mozhe vidavatisya mensh efektivnim RRP mayut dvi vazhlivi perevagi nad tradicijnimi shilnimi podannyami Po pershe RRP ye stijkimi do spotvorennya ta neodnoznachnosti cherez te sho sens podannya rozpodilyayetsya rozpodilenist na nevelikij vidsotok rozridzhenist aktivnih bitiv U shilnomu podanni perekidannya yedinogo bitu povnistyu zminyuye sens todi yak v RRP odin bit mozhe ne mati znachnogo vplivu na zagalnij sens Ce vede do drugoyi perevagi RRP oskilki sens podannya rozpodileno na vsi aktivni biti podibnist mizh dvoma podannyami mozhlivo vikoristovuvati yak miru semantichnoyi podibnosti ob yektiv sho voni podayut Tobto yaksho dva vektori v RRP mayut odinici v odnij i tij zhe poziciyi to voni ye semantichno podibnimi za ciyeyu vlastivistyu Biti v RRP mayut semantichnij sens i cej sens rozpodileno mizh cimi bitami Na cih vlastivostyah RRP gruntuyetsya teoriya en shobi zaproponuvati novu model dlya movnoyi semantiki de slova koduyut yihnimi RRP i podibnist mizh terminami rechennyami ta tekstami mozhlivo obchislyuvati za dopomogoyu prostih mir vidstani Podibnist do inshih modelejBayesovi merezhi Podibno do bayesovoyi merezhi IChP skladayetsya z naboru vuzliv vporyadkovanih u derevnu iyerarhiyu Kozhen vuzol v cij iyerarhiyi viyavlyaye masiv prichin v otrimuvanih nim vhodovih shablonah ta chasovih poslidovnostyah Dlya pryamogo ta zvorotnogo poshirennya perekonan vid dochirnih do batkivskih vuzliv i nazad vikoristovuyut bayesiv algoritm en Prote analogiya z bayesovimi merezhami ye obmezhenoyu oskilki IChP mozhut buti samotrenovanimi takim chinom sho kozhen z vuzliv maye odnoznachni rodinni zv yazki upravlyayutsya z danimi zalezhnimi vid chasu ta nadayut mehanizmi dlya en Taj Sin Li angl Tai Sing Lee ta Devid Mamford ranishe buli zaproponuvali teoriyu iyerarhichnogo kortikalnogo obchislennya na osnovi bayesovogo en I hocha IChP zdebilshogo vidpovidaye cim ideyam vona dodaye podrobici stosovno obrobki invariantnih podan u zorovij kori Nejronni merezhi Yak i bud yaku sistemu yaka modelyuye detali novoyi kori IChP mozhlivo rozglyadati yak shtuchnu nejronnu merezhu Derevna iyerarhiya zazvichaj vikoristovuvana v IChP nagaduye zvichnu topologiyu tradicijnih nejronnih merezh IChP namagayutsya modelyuvati kortikalni kolonki vid 80 do 100 nejroniv ta yihni vzayemodiyi menshoyu kilkistyu nejroniv IChP Metoyu ninishnih IChP ye ohopiti yakomoga bilshe funkcij nejroniv ta merezhi yak yih narazi rozumiyut v mezhah mozhlivostej tipovih komp yuteriv ta v oblastyah yaki mozhlivo legko zrobiti korisnimi takih yak obrobka zobrazhen Napriklad sprob zvorotnogo zv yazku vid vishih rivniv ta motornogo keruvannya ne roblyat cherez te sho narazi ne zrozumilo yak yih vbuduvati a zamist minlivih sinapsiv vikoristovuyut dvijkovi oskilki bulo viznacheno sho v potochnih mozhlivostyah IChP voni ye dostatnimi LAMINART ta podibni merezhi yaki doslidzhuye en namagayutsya modelyuvati yak infrastrukturu kori tak i povedinku nejroniv u chasovij sistemi shobi poyasniti nejrofiziologichni ta psihofizichni dani Prote ci merezhi narazi ye zanadto skladnimi dlya realistichnogo zastosuvannya IChP ye takozh pov yazanoyu z praceyu en vklyuchno z pidhodom do modelyuvannya en zorovoyi kori vidomim yak HMAX Podibnosti IChP do riznih idej ShI opisano v grudnevomu vipusku 2005 roku zhurnalu Artificial Intelligence Neokognitron Neokognitron iyerarhichna bagatosharova nejronna merezha zaproponovana profesorom en 1987 roku ye odniyeyu z pershih modelej nejronnih merezh glibokogo navchannya Platforma ta rozrobnicki instrumenti NuPICNumenta Platform for Intelligent Computing NuPIC 6 travnya 2021 u Wayback Machine ye odnim iz dekilkoh dostupnih vtilen IChP 27 listopada 2020 u Wayback Machine Deyaki zabezpechuye kompaniya Numenta 21 travnya 2021 u Wayback Machine todi yak deyaki rozroblyaye ta pidtrimuye spilnota IChP z vidkritim kodom 26 kvitnya 2021 u Wayback Machine NuPIC vklyuchaye vtilennya prostorovogo agreguvannya ta chasovoyi pam yati yak movoyu C tak i movoyu Python Vona takozh vklyuchaye 3 PPI 5 zhovtnya 2018 u Wayback Machine Koristuvachi mozhut buduvati sistemi IChP vikoristovuyuchi pryami vtilennya cih algoritmiv 27 sichnya 2020 u Wayback Machine abo buduyuchi merezhu iz zastosuvannyam merezhnogo PPI 30 sichnya 2020 u Wayback Machine sho ye gnuchkoyu sistemoyu dlya pobudovi skladnih zalezhnostej mizh riznimi rivnyami kori NuPIC 1 0 9 listopada 2020 u Wayback Machine bulo vipusheno v lipni 2017 roku pislya chogo bazu kodu bulo perevedeno do rezhimu pidtrimuvannya Potochni doslidzhennya prodovzhuyutsya v doslidnickih bazah kodu 15 grudnya 2020 u Wayback Machine Numenta ZastosuvannyaIsnuyut nastupni komercijni zastosunki z vikoristannyam NuPIC Grok viyavlyannya anomalij dlya serveriv IT div www grokstream com 11 travnya 2022 u Wayback Machine Cortical io rozvinena obrobka prirodnoyi movi div www cortical io 20 travnya 2021 u Wayback Machine Na NuPIC ye dostupnimi taki instrumenti HTM Studio znahodit anomaliyi v chasovih ryadah z vikoristannyam vashih vlasnih danih div numenta com htm studio 25 listopada 2017 u Wayback Machine Numenta Anomaly Benchmark porivnyujte IChP anomaliyi z inshimi metodikami viyavlyannya anomalij div numenta com numenta anomaly benchmark 8 travnya 2017 u Wayback Machine Na NuPIC ye dostupnimi nastupni prikladi zastosunkiv div numenta com applications 2 travnya 2017 u Wayback Machine HTM for stocks priklad vidstezhuvannya anomalij u rinku cinnih paperiv priklad kodu Rogue behavior detection priklad shukannya anomalij v lyudskij povedinci dovidka ta priklad kodu Geospatial tracking priklad shukannya anomalij v rusi cilej prostorom ta chasom dovidka ta priklad kodu Div takozhNeokognitron Gliboke navchannya Zgortkova nejronna merezha Silnij ShI Shtuchna svidomist en Pro intelekt Sistema pam yati peredbachuvannya en en Bionika en Nejronna mashina Tyuringa en Pov yazani modeli en Bayesova merezha Shtuchna nejronna merezhaPrimitkiCui Yuwei Ahmad Subutai Hawkins Jeff 2016 Continuous Online Sequence Learning with an Unsupervised Neural Network Model Neural Computation 28 11 2474 2504 arXiv 1512 05463 doi 10 1162 NECO a 00893 PMID 27626963 S2CID 3937908 angl Ahmad Subutai Lavin Alexander Purdy Scott Agha Zuha 2017 Unsupervised real time anomaly detection for streaming data Neurocomputing 262 134 147 doi 10 1016 j neucom 2017 04 070 angl HTM Forum angl 3 chervnya 2016 Arhiv originalu za 25 grudnya 2019 Procitovano 12 kvitnya 2020 angl HTM Retrospective na YouTube angl numenta com Arhiv originalu za 27 travnya 2009 angl Jeff Hawkins lecture describing cortical learning algorithms na YouTube angl Cui Yuwei Ahmad Subutai Hawkins Jeff 2017 The HTM Spatial Pooler A Neocortical Algorithm for Online Sparse Distributed Coding Frontiers in Computational Neuroscience 11 111 doi 10 3389 fncom 2017 00111 PMC 5712570 PMID 29238299 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya angl Hawkins Jeff Ahmad Subutai 30 bereznya 2016 Why Neurons Have Thousands of Synapses a Theory of Sequence Memory in Neocortex Front Neural Circuits 10 23 doi 10 3389 fncir 2016 00023 PMC 4811948 PMID 27065813 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya angl grokstream com Arhiv originalu za 26 kvitnya 2019 Procitovano 12 kvitnya 2020 angl Laserson Jonathan September 2011 PDF XRDS 18 1 doi 10 1145 2000775 2000787 S2CID 21496694 Arhiv originalu PDF za 27 listopada 2020 Procitovano 12 kvitnya 2020 angl Hawkins Jeff Ahmad Subutai Cui Yuwei 2017 A Theory of How Columns in the Neocortex Enable Learning the Structure of the World Frontiers in Neural Circuits 11 81 doi 10 3389 fncir 2017 00081 PMC 5661005 PMID 29118696 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya angl Have We Missed Half of What the Neocortex Does Allocentric Location as the Basis of Perception na YouTube angl eurekalert org 14 sichnya 2019 Arhiv originalu za 8 listopada 2020 Procitovano 12 kvitnya 2020 angl On Intelligence angl ros George Dileep Hawkins Jeff 2009 Towards a Mathematical Theory of Cortical Micro circuits PLOS Computational Biology 5 10 e1000532 Bibcode 2009PLSCB 5E0532G doi 10 1371 journal pcbi 1000532 PMC 2749218 PMID 19816557 angl PDF numenta org Arhiv originalu PDF za 8 bereznya 2021 Procitovano 12 kvitnya 2020 angl Hinton Geoffrey E 1984 Arhiv originalu za 14 listopada 2017 angl Plate Tony 1991 PDF IJCAI Arhiv originalu PDF za 6 sichnya 2021 Procitovano 12 kvitnya 2020 angl Kanerva Pentti 1988 MIT press Arhiv originalu za 12 kvitnya 2020 Procitovano 12 kvitnya 2020 angl Snaider Javier Franklin Stan 2012 PDF Twenty fifth international flairs conference S2CID 17547390 Arhiv originalu PDF za 29 grudnya 2017 Procitovano 12 kvitnya 2020 angl Olshausen Bruno A Field David J 1997 Sparse coding with an overcomplete basis set A strategy employed by V1 Vision Research 37 23 3311 3325 doi 10 1016 S0042 6989 97 00169 7 PMID 9425546 S2CID 14208692 angl Ahmad Subutai Hawkins Jeff 2016 Numenta NUPIC sparse distributed representations arXiv 1601 00720 q bio NC angl De Sousa Webber Francisco 2015 Semantic Folding Theory And its Application in Semantic Fingerprinting arXiv 1511 08855 cs AI angl Lee Tai Sing Mumford David 2002 Hierarchical Bayesian Inference in the Visual Cortex Journal of the Optical Society of America A Optics Image Science and Vision 20 7 1434 48 CiteSeerX 10 1 1 12 2565 doi 10 1364 josaa 20 001434 PMID 12868647 angl 24 lipnya 2010 dileepgeorge com Arhiv originalu za 1 serpnya 2019 angl Grossberg Stephen 2007 Cisek Paul Drew Trevor Kalaska John red PDF Zvit Amsterdam Elsevier s 79 104 Arhiv originalu PDF za 29 serpnya 2017 angl 169 2 December 2005 103 212 Arhiv originalu za 12 kvitnya 2020 Procitovano 12 kvitnya 2020 angl Fukushima Kunihiko 2007 Scholarpedia 2 1 1717 Bibcode 2007SchpJ 2 1717F doi 10 4249 scholarpedia 1717 Arhiv originalu za 17 kvitnya 2021 Procitovano 12 kvitnya 2020 angl PosilannyaOficijni Cortical Learning Algorithm overview 11 kvitnya 2016 u Wayback Machine Accessed May 2013 angl PDF Sept 2011 angl Numenta Inc angl angl angl OnIntelligence org Forum 16 kvitnya 2017 u Wayback Machine vebforum dlya obgovorennya vidpovidnih tem osoblivo vidpovidnim ye forum Models and Simulation Topics 27 listopada 2016 u Wayback Machine angl Hierarchical Temporal Memory 17 serpnya 2016 u Wayback Machine prezentaciya Microsoft PowerPoint angl Cortical Learning Algorithm Tutorial CLA Basics 16 grudnya 2020 u Wayback Machine rozmova na YouTube pro kortikalnij algoritm navchannya KAN angl cortical learning algorithm CLA sho vikoristovuye model IChP angl Inshi Pattern Recognition by Hierarchical Temporal Memory 6 sichnya 2012 u Wayback Machine by Davide Maltoni April 13 2011 angl Vicarious 22 kvitnya 2021 u Wayback Machine Startup rooted in HTM by Dileep George angl The Gartner Fellows Jeff Hawkins Interview 5 lyutogo 2012 u Wayback Machine by Tom Austin Gartner March 2 2006 angl Emerging Tech Jeff Hawkins reinvents artificial intelligence nedostupne posilannya by Debra D Agostino and Edward H Baker CIO Insight May 1 2006 angl Putting your brain on a microchip nedostupne posilannya by Stefanie Olsen CNET News com May 12 2006 angl The Thinking Machine 19 bereznya 2014 u Wayback Machine by Evan Ratliff Wired March 2007 angl Think like a human 12 kvitnya 2020 u Wayback Machine by Jeff Hawkins IEEE Spectrum April 2007 angl Neocortex Memory Prediction Framework 4 lyutogo 2021 u Wayback Machine vidkrite vtilennya z licenziyeyu GNU General Public License angl angl

Дата публікації:
Топ