Глибо ке навча ння 2 3 4 англ deep learning також іноді глиби нне навча ння це підмножина методів машинного навчання на

Глибо́ке навча́ння (англ. deep learning, також іноді глиби́нне навча́ння) — це підмножина методів машинного навчання на основі штучних нейронних мережах із навчанням подань. Прикметник «глибоке» (англ. "deep") вказує на використання декількох шарів у мережі. Використовувані методи навчання можуть бути керованими, напівкерованими, та некерованими.

Подання зображень на кількох шарах абстракції в глибокому навчанні

Архітектури глибокого навчання, такі як глибокі нейронні мережі, глибокі мережі переконань, рекурентні нейронні мережі, згорткові нейронні мережі та трансформери, застосовували в таких галузях як комп'ютерне бачення, розпізнавання мовлення, обробка природної мови, машинний переклад, біоінформатика, конструювання ліків, ^[en], кліматологія, перевірка матеріалів і програми настільних ігор, де вони дали результати, порівня́нні, а в деяких випадках і кращі за продуктивність людських експертів.

Штучні нейронні мережі (ШНМ) було натхненно обробкою інформації та розподіленими комунікаційними вузлами в біологічних системах. ШНМ мають різноманітні відмінності від біологічного мозку. Зокрема, штучні нейронні мережі зазвичай статичні та символьні, тоді як біологічний мозок більшості живих організмів динамічний (пластичний) та аналоговий. ШНМ загалом розглядають як низькоякісні моделі функціювання мозку.

Визначення

Глибоке навчання — це клас алгоритмів машинного навчання, який^:199–200 використовує декілька шарів, щоби поступово виділяти з сирого входу ознаки щоразу вищих рівнів. Наприклад, при обробці зображень нижчі шари можуть встановлювати контури, тоді як вищі шари можуть встановлювати поняття, доречні для людини, такі як цифри, літери чи обличчя.

Якщо поглянути на глибоке навчання під іншим кутом, то глибоке навчання позначує «комп'ютерне моделювання» або «автоматизацію» процесів навчання людиною від джерела (наприклад, зображення собак) до об'єкта навчання (собак). Тому мають сенс поняття, сформульовані як «глибше» (англ. "deeper") та «найглибше» (англ. "deepest") навчання. Найглибше навчання позначує повністю автоматичне навчання від джерела до кінцевого об'єкта навчання. Глибше навчання відтак позначує змішаний процес навчання: процес навчання людиною від джерела до навченого напівоб'єкта, за яким слідує комп'ютерний процес навчання від навченого людиною напівоб'єкта до кінцевого об'єкта навчання.

Огляд

Більшість сучасних моделей глибокого навчання ґрунтуються на багатошарових штучних нейронних мережах, таких як згорткові нейронні мережі та трансформери, хоча до них також можуть належати ^[en] та латентні змінні, організовані пошарово в глибоких породжувальних моделях, такі як вузли в глибоких мережах переконань чи глибоких машинах Больцмана.

У глибокому навчанні кожен рівень вчиться перетворювати свої вхідні дані на дещо абстрактніше й складніше подання. У застосунку для розпізнавання зображень сирий вхід може бути матрицею пікселів; перший шар подання може абстрагуватися від пікселів і кодувати контури; другий шар може складати та кодувати їхнє розташування; третій шар може кодувати ніс та очі; а четвертий шар може розпізнавати, що зображення містить обличчя. Важливо, що процес глибокого навчання може самостійно вчитися, які ознаки оптимально розмістити на якому рівні. Це не звільняє від необхідності ручного настроювання; наприклад, різна кількість та розміри шарів можуть забезпечувати різні ступені абстракції.

Слово «глибоке» у «глибокому навчанні» позначує кількість шарів, крізь які перетворюються дані. Точніше, системи глибокого навчання мають значну глибину шляху розподілу внеску (ШРВ, англ. credit assignment path, CAP). ШРВ — це ланцюг перетворень від входу до виходу. ШРВ описують потенційно причинно-наслідкові зв'язки між входом та виходом. Для нейронної мережі прямого поширення глибина ШРВ дорівнює глибині мережі й є кількістю прихованих шарів плюс один (оскільки шар виходу також параметризовано). Для рекурентних нейронних мереж, у яких сигнал може поширюватися крізь шар понад один раз, глибина ШРВ потенційно необмежена. Немає універсально узгодженого порогу глибини, який відділяє неглибоке навчання (англ. shallow learning) від глибокого, але більшість дослідників сходяться на думці, що глибоке навчання використовує глибину ШРВ вище 2. Було показано, що ШРВ глибини 2 це універсальний наближувач у тому сенсі, що він може моделювати будь-яку функцію. Поза цим, більше шарів не додають нічого до здатності мережі наближувати функції. Глибокі моделі (ШРВ > 2) здатні виділяти кращі ознаки, ніж неглибокі моделі, й отже, додаткові шари допомагають ефективно навчатися ознак.

Архітектури глибокого навчання можливо конструювати пошарово жадібним методом. Глибоке навчання допомагає розплутувати ці абстракції й обирати, які ознаки покращують продуктивність.

Для завдань керованого навчання методи глибокого навчання уможливлюють усування конструювання ознак, переводячи дані до компактних проміжних подань, подібних до головних компонент, і виводять багатошарові структури, які усувають надмірність у поданні.

Алгоритми глибокого навчання можливо застосовувати до завдань некерованого навчання. Це важлива перевага, оскільки немічені дані численніші за мічені. Прикладами глибоких структур, які можливо тренувати некерованим чином, є глибокі мережі переконань.

Моделі машинного навчання тепер вправні у виявлянні складних шаблонів у даних фінансових ринків. Завдяки перевагам штучного інтелекту інвестори все частіше використовують методики глибокого навчання для прогнозування та аналізу тенденцій на фондових та валютних ринках.

Інтерпретації

Глибокі нейронні мережі зазвичай інтерпретують у термінах теореми про універсальне наближення або ймовірнісного висновування.

Класична теорема про універсальне наближення стосується здатності нейронної мережі прямого поширення з одним прихованим шаром скінченного розміру наближувати неперервні функції. 1989 року Джордж Цибенко опублікував перше її доведення для сигмоїдних передавальних функцій, а 1991 року ^[de] узагальнив його для багатошарових архітектур прямого поширення. Нещодавня робота також показала, що універсальне наближення також виконується для необмежених передавальних функцій, таких як випрямлений лінійний вузол (англ. rectified linear unit) ^[en].

Теорема про універсальне наближення для глибоких нейронних мереж розглядає пропускну спроможність мереж з обмеженою шириною, дозволяючи зростати глибині. Лу зі співавт. довели, що якщо ширина глибокої нейронної мережі з передавальною функцією ReLU строго більша за розмірність входу, то ця мережа може наближувати будь-яку функцію, інтегровну за Лебегом; якщо її ширина менша або дорівнює розмірності входу, то глибока нейронна мережа не є універсальним наближувачем.

Імовірнісна інтерпретація походить з галузі машинного навчання. Вона відводить провідне місце висновуванню, а також таким поняттям оптимізації як тренування та випробування, пов'язаним із допасовуванням та узагальнюванням відповідно. Конкретніше, ймовірнісна інтерпретація розглядає нелінійність передавальної функції як кумулятивну функцію розподілу. Імовірнісна інтерпретація призвела до запровадження виключення (англ. dropout) як регуляризатора в нейронних мережах. Імовірнісну інтерпретацію було запроваджено дослідниками включно з Гопфілдом, ^[en] та ^[en], й популяризовано в оглядах, таких як від ^[en].

Історія

Існує два типи нейронних мереж: нейронні мережі прямого поширення (НМПП, англ. feedforward neural network, FNN) та рекурентні нейронні мережі (РНМ, англ. recurrent neural network, RNN). РНМ мають цикли у структурі зв'язності, а НМПП — ні. У 1920-х роках ^[en] та ^[en] створили та проаналізували модель Ізінга, яка, по суті, є архітектурою РНМ, що не навчається, і складається з нейроноподібних порогових елементів. 1972 року ^[en] зробив цю архітектуру адаптивною. Його навчання РНМ популяризував Джон Гопфілд 1982 року. РНМ стали центральними для розпізнавання мовлення та ^[en].

Чарльз Тапперт пише, що Френк Розенблат розробив та дослідив усі основні складові сучасних систем глибокого навчання, посилаючись на книгу Розенблата 1962 року, якою було запроваджено багатошаровий перцептрон (БШП) із 3 шарами: шаром входу, прихованим шаром із випадковими вагами, що не навчалися, та шаром виходу. Він також запропонував варіанти, включно з версією з чотирьохшаровими перцептронами, де останні два шари мають ваги, що навчаються (й отже, справжній багатошаровий перцептрон).^{:section 16} Крім того, термін глибоке навчання запропонувала 1986 року ^[en], хоча історія його появи, схоже, набагато складніша.

Перший загальний, робочий алгоритм навчання для глибоких багатошарових перцептронів прямого поширення керованим навчанням опублікували 1967 року Олексій Івахненко та . У статті 1971 року описано глибоку мережу з восьми шарів, треновану методом групового урахування аргументів.

Перший багатошаровий перцептрон глибокого навчання, тренований стохастичним градієнтним спуском, опублікував 1967 року ^[en]. У комп'ютерних експериментах, проведених учнем Амарі, Сайто, п'ятишаровий БШП із двома змінними шарами навчився внутрішніх подань для класифікування нелінійно роздільних класів образів. 1987 року Метью Бренд повідомив, що широкі 12-шарові нелінійні перцептрони можливо повністю наскрізно тренувати відтворювати логічні функції нетривіальної глибини ланцюга за допомогою градієнтного спуску на невеликих пакетах випадкових вибірок входів/виходів, але зробив висновок, що час тренування на тогочасному обладнанні (домегафлопних комп'ютерах) зробив цю методику непрактичною, та запропонував використовувати незмінні випадкові ранні шари як хеш входу для єдиного змінюваного рівня. Натомість подальші розробки апаратного забезпечення та підлаштовування гіперпараметрів зробили наскрізний стохастичний градієнтний спуск нині переважною методикою тренування.

1970 року ^[en] опублікував зворотний режим автоматичного диференціювання дискретно зв'язаних мереж вкладених диференційовних функцій. Він став відомим як зворотне поширення. Це ефективне застосування ланцюгового правила, виведеного Готфрідом Вільгельмом Лейбніцем 1673 року, до мереж диференційовних вузлів. Термінологію «зворотно поширювані похибки» (англ. "back-propagating errors") фактично запровадив 1962 року Розенблат, але він не знав, як це втілити, хоча ^[en] вже 1960 року мав безперервного попередника зворотного поширення в контекст теорії керування. 1982 року ^[en] застосував зворотне поширення до БШП у спосіб, який став стандартним. 1985 року Девід Румельхарт зі співавт. опублікували експериментальний аналіз цієї методики.

Ахітектури глибокого навчання для згорткових нейронних мереж (ЗНМ, англ. convolutional neural networks, CNN) зі згортковими шарами та шарами зниження роздільності почалися з неокогнітрона, запропонованого ^[en] 1980 року. 1969 року він також запропонував передавальну функцію ReLU (англ. rectified linear unit, випрямлений лінійний вузол). Цей випрямляч (англ. rectifier) став найпопулярнішою передавальною функцією для ЗНМ та глибокого навчання в цілому. ЗНМ стали важливим інструментом комп'ютерного бачення.

Термін глибоке навчання (англ. Deep Learning) у спільноті машинного навчання запровадила 1986 року ^[en], а для штучних нейронних мереж — Ігор Айзенберг з колегами у 2000 року в контексті ^[en] порогових нейронів.

1988 року Вей Чжан зі співавт. застосували алгоритм зворотного поширення до згорткової нейронної мережі (спрощений неокогнітрон зі згортковими взаємозв'язками між шарами ознак зображення та останнім повноз'єднаним шаром) для розпізнавання абетки. Вони також запропонували втілення ЗНМ з оптичною обчислювальною системою. 1989 року Ян ЛеКун зі співавт. застосували зворотне поширення до ЗНМ з метою розпізнавання рукописних поштових індексів у пошті. Хоч цей алгоритм і працював, тренування вимагало 3 днів. Згодом Вей Чжан зі співавт. видозмінили свою модель, видаливши останній повноз'єднаний шар, та застосувавши її для сегментування об'єктів медичних зображень 1991 року, та для виявляння раку молочної залози на мамограмах 1994 року. LeNet-5 (1998), 7-рівневу ЗНМ від Яна ЛеКуна зі співавт., що класифікує цифри, кілька банків застосували для розпізнавання рукописних чисел на чеках, оцифрованих у зображення 32×32 пікселі.

У 1980-х роках зворотне поширення не працювало добре для глибокого навчання з довгими шляхами розподілу внеску. Щоби подолати цю проблему, Юрген Шмідхубер (1992) запропонував ієрархію РНМ, попередньо тренованих порівнево самокерованим навчанням. Вона використовує ^[en] для навчання внутрішніх подань у кількох самоорганізованих масштабах часу. Це може істотно полегшувати наступне глибоке навчання. Цю ієрархію РНМ можливо скласти (англ. collapse) в єдину РНМ шляхом ^[en] фрагментувальної (англ. chunker) мережі вищого рівня до автоматизаторної (англ. automatizer) мережі нижчого рівня. 1993 року фрагментувальник розв'язав завдання глибокого навчання, чия глибина перевищувала 1000.

1992 року Юрген Шмідхубер також опублікував альтернативу РНМ (англ. alternative to RNNs), яку зараз називають лінійним трансформером (англ. linear Transformer) або трансформером з лінеаризованою самоувагою (за винятком оператора нормування). Він навчається внутрішніх центрів уваги (англ. internal spotlights of attention): повільна нейронна мережа прямого поширення вчиться за допомогою градієнтного спуску керувати швидкими вагами іншої нейронної мережі через тензорні добутки самопороджуваних шаблонів збудження FROM і TO (званих тепер ключем, англ. key, та значенням, англ. value, самоуваги). Це відображення уваги (англ. attention mapping) швидких ваг застосовують до шаблону запиту.

Сучасний трансформер (англ. Transformer) запропонували Ашиш Васвані зі співавт. у своїй праці 2017 року «Увага — це все, що вам треба». Він поєднує це з оператором softmax та проєкційною матрицею. Трансформери все частіше обирають за модель для обробки природної мови. Багато сучасних великих мовних моделей, таких як ChatGPT, GPT-4 та BERT, використовують саме його. Трансформери також все частіше використовують у комп'ютернім баченні.

1991 року Юрген Шмідхубер також опублікував змагальні нейронні мережі (англ. adversarial neural networks), які змагаються між собою у формі антагоністичної гри, де виграш однієї мережі є програшем іншої. Перша мережа є породжувальною моделлю, яка моделює розподіл імовірності над образами на виході. Друга мережа навчається градієнтним спуском передбачувати реакцію середовища на ці образи. Це було названо «штучною цікавістю» (англ. "artificial curiosity"). 2014 року цей принцип використали у породжувальній змагальній мережі (англ. generative adversarial network, GAN) Ян Ґудфелоу зі співавт. Тут реакція навколишнього середовища дорівнює 1 або 0 залежно від того, чи належить вихід першої мережі до заданого набору. Це можливо використовувати для створення реалістичних дипфейків. Відмінної якості зображення досягла ^[en] Nvidia (2018) на основі прогресивної породжувальної змагальної мережі (англ. Progressive GAN) Теро Карраса зі співавт. Тут породжувач вирощується від малого до великого пірамідним чином.

Дипломну працю ^[en] (1991) його керівник Шмідхубер назвав «одним із найважливіших документів в історії машинного навчання». Він не лише випробував нейронний стискач історії, але й виявив та проаналізував проблему зникання градієнта. Для розв'язання цієї проблеми Хохрайтер запропонував рекурентні залишкові зв'язки. Це призвело до появи методу глибокого навчання, званого довгою короткочасною пам'яттю (ДКЧП, англ. long short-term memory, LSTM), опублікованого 1997 року. Рекурентні нейронні мережі ДКЧП можуть навчатися задач «дуже глибокого навчання» з довгими шляхами розподілу внеску, які вимагають спогадів про події, що відбулися тисячі дискретних часових кроків тому. «Стандартну ДКЧП» (англ. vanilla LSTM) із забувальним вентилем запропонували 1999 року ^[en], Шмідхубер та Фред Каммінс. ДКЧП стала найцитованішою нейронною мережею XX століття. 2015 року Рупеш Кумар Шрівастава, Клаус Ґрефф і Шмідхубер використали принцип ДКЧП для створення магістралевої мережі, нейронної мережі прямого поширення з сотнями шарів, набагато глибшої за попередні. 7 місяців потому, Каймін Хе, Сян'ю Чжан; Шаоцін Рен та Цзянь Сунь виграли ^[en] 2015 із відкритовентильним або безвентильним варіантом магістралевої мережі, названим за́лишковою нейронною мережею (англ. Residual neural network). Вона стала найцитованішою нейронною мережею XXI століття.

1994 року Андре де Карвальо разом з Майком Фейргерстом та Девідом Біссетом опублікували експериментальні результати багатошарової булевої нейронної мережі, відомої також як безвагова нейронна мережа (англ. weightless neural network), складеної з 3-шарового самоорганізовуваного нейромережного модуля виділяння ознак (англ. SOFT), з багатошаровим класифікаційним нейромережним модулем (англ. GSN) за ним, тренованих незалежно. Кожен шар у модулі виділяння ознак виділяв ознаки все вищої складності відносно попереднього шару.

1995 року ^[en] продемонстрував можливість натренувати (протягом двох днів) мережу із шести повноз'єднаних шарів та кількох сотень прихованих вузлів, використовуючи ^[en], розроблений спільно з ^[en] та Гінтоном.

З 1997 року Свен Бенке розширив ієрархічний згортковий підхід прямого поширення у нейронній піраміді абстракцій (англ. Neural Abstraction Pyramid) за допомогою бічних та зворотних з'єднань, щоби гнучко включати контекст у рішення та ітеративно розв'язувати локальні неоднозначності.

У 1990-х і 2000-х роках популярністю користувалися простіші моделі, які використовують сконструйовані вручну ознаки для конкретних завдань, такі як фільтри Ґабора (англ. Gabor filters) та опорновекторні машини (ОВМ, англ. support vector machines, SVM), через обчислювальну витратність штучних нейронних мереж (ШНМ) та брак розуміння того, як мозок сплітає свої біологічні мережі.

Як неглибоке, так і глибоке навчання (наприклад, рекурентні мережі) ШНМ для розпізнавання мовлення досліджували протягом багатьох років. Ці методи ніколи не перевершували технологію неоднорідних внутрішньо-ручних гауссових ^[en]/прихованих марковських моделей (ГСМ-ПММ, англ. GMM-HMM) на основі породжувальних моделей мовлення, тренованих розрізнювально. Було проаналізовано основні труднощі, включно зі зниканням градієнта й слабкою структурою часової кореляції в нейронних передбачувальних моделях. Додатковими труднощами були брак тренувальних даних та обмежена обчислювальна потужність. Більшість дослідників розпізнавання мовлення відійшли від нейронних мереж, щоби займатися породжувальним моделюванням. Винятком був SRI International наприкінці 1990-х років. Фінансований агенціями уряду США АНБ та DARPA, SRI вивчав глибокі нейронні мережі в розпізнаванні мовлення та мовця. Команда розпізнавання мовців на чолі з ^[en] повідомила про значний успіх із глибокими нейронними мережами в обробці мовлення на оцінюванні розпізнавання мовців Національного інституту стандартів і технологій 1998 року. Потім глибоку нейронну мережу SRI було розгорнуто в Nuance Verifier, що стало першим великим промисловим застосуванням глибокого навчання. Принцип піднесення «сирих» ознак над ручною оптимізацією було вперше успішно досліджено в архітектурі глибокого автокодувальника на «сирій» спектрограмі або ознаках лінійного ^[en] наприкінці 1990-х, що показало його перевагу над мел-кепстровими ознаками, які містять етапи незмінного перетворення зі спектрограм. Сирі ознаки мовлення, хвилеформи, згодом дали чудові великомасштабні результати.

Розпізнавання мовлення перейняла ДКЧП. 2003 року ДКЧП на певних завданнях почала конкурувати з традиційними розпізнавачами мовлення. 2006 року ^[en], Сантьяго Фернандес, Фаустіно Ґомес та Шмідхубер поєднали її з ^[en] (НЧК, англ. connectionist temporal classification, CTC) у стеках РНМ ДКЧП. 2015 року в розпізнаванні мовлення Google, як було повідомлено, стався різкий 49-відсотковий стрибок продуктивності завдяки НЧК-тренованій ДКЧП, яку вони зробили доступною через голосовий пошук Google.

Вплив глибокого навчання в промисловості почався на початку 2000-х років, коли, за словами Яна ЛеКуна, ЗНМ вже обробляли приблизно від 10 % до 20 % усіх чеків, виписуваних у США. Промислові застосування глибокого навчання для широкомасштабного розпізнавання мовлення почалися приблизно 2010 року.

2006 року публікації Джеффа Гінтона, ^[en], Осіндеро та ^[en] показали, як багатошарову нейронну мережу прямого поширення можливо ефективно попередньо тренувати шар за шаром, розглядаючи кожен шар по черзі як некеровану обмежену машину Больцмана, а потім тонко налаштовувати її за допомогою керованого зворотного поширення. Ці праці стосувалися навчання для глибоких мереж переконань.

Мотивом семінару NIPS 2009 року з глибокого навчання для розпізнавання мовлення були обмеження глибоких породжувальних моделей мовлення та можливість того, що завдяки потужнішому апаратному забезпеченню та великомасштабним наборам даних глибокі нейронні мережі (ГНМ, англ. deep neural nets, DNN) можуть стати практичними. Вважалося, що попереднє тренування ГНМ за допомогою породжувальних моделей глибоких мереж переконань (ГМП, англ. deep belief nets, DBN) дозволить подолати основні труднощі нейронних мереж. Проте було виявлено, що заміна попереднього тренування великими обсягами тренувальних даних для безпосереднього зворотного поширення при використанні ГНМ з великими контекстнозалежними шарами виходу призводить до різко нижчих рівнів похибок, ніж у гауссової сумішевої моделі (ГСМ)/прихованої марковської моделі (ПММ), що була на рівні останніх досягнень на той час, а також ніж у передовіших систем на основі породжувальних моделей. Природа похибок розпізнавання, породжуваних цими двома типами систем, характерно відрізнялася, пропонуючи технічні прояснення щодо того, як інтегрувати глибоке навчання в наявну високоефективну систему декодування мовлення в реальному часі, розгорнуту всіма основними системами розпізнавання мовлення. Аналіз близько 2009—2010 років, порівнюючи ГСМ (та інші породжувальні моделі мовлення) з моделями ГНМ, стимулював перші промислові інвестиції в глибоке навчання для розпізнавання мовлення. Цей аналіз було зроблено з порівнянною продуктивністю (менше 1,5 % у рівні похибок) між розрізнювальними ГНМ та породжувальними моделями. 2010 року дослідники розширили глибоке навчання від ^[en] до великословникового розпізнавання мовлення, застосувавши великі шари виходу ГНМ на основі контекстнозалежних станів ПММ, побудованих за допомогою дерев рішень.

Глибоке навчання є частиною систем рівня останніх досягнень у різних дисциплінах, зокрема в комп'ютернім баченні та автоматичному розпізнаванні мовлення (АРМ, англ. automatic speech recognition, ASR). Результати на загальновживаних оцінювальних наборах, таких як ^[en] (АРМ) та MNIST (класифікування зображень), а також низці завдань великословникового розпізнавання мовлення, постійно покращувалися. Згорткові нейронні мережі (ЗНМ) для АРМ було витіснено НЧК для ДКЧП, але в комп'ютернім баченні вони успішніші.

Удосконалення апаратного забезпечення відновило інтерес до глибокого навчання. 2009 року Nvidia брала участь у так званому «великому вибуху» глибокого навчання, «оскільки нейронні мережі глибокого навчання тренували за допомогою графічних процесорів (ГП) Nvidia». Того року Ендрю Ин визначив, що ГП можуть підвищити швидкість систем глибокого навчання приблизно в 100 разів. Зокрема, ГП добре підходять для матричних/векторних обчислень, задіяних у машинному навчанні. ГП прискорюють алгоритми тренування на порядки, скорочуючи час роботи з тижнів до днів. Крім того, для ефективної обробки моделей глибокого навчання можливо використовувати спеціалізоване обладнання та оптимізацію алгоритмів.

Революція глибокого навчання

Як глибоке навчання є підмножиною машинного навчання і як машинне навчання є підмножиною штучного інтелекту (ШІ)

Наприкінці 2000-х глибоке навчання почало перевершувати інші методи в змаганнях з машинного навчання. 2009 року довга короткочасна пам'ять, натренована ^[en] (^[en], Сантьяго Фернандес, Фаустіно Ґомес та Юрген Шмідхубер, 2006) стала першою РНМ, яка виграла конкурси з розпізнавання образів, вигравши три змагання з розпізнавання неперервного рукописного тексту. Пізніше Google використала натреновану НЧК ДКЧП для розпізнавання мовлення на смартфоні.

Значний вплив на розпізнавання зображень або об'єктів відчувався з 2011 по 2012 роки. Хоча ЗНМ, треновані зворотним поширенням, існували десятиліттями, а втілення НМ на ГП — роками, включно із ЗНМ, для прогресу в комп'ютернім баченні знадобилися швидші втілення ЗНМ на графічних процесорах. 2011 року DanNet Дена Чирешана, Улі Меєра, Джонатана Маскі, ^[en] та Юргена Шмідхубера вперше досягла надлюдських результатів у змаганні з розпізнавання візуальних образів, перевершивши традиційні методи втричі. Також 2011 року DanNet виграла конкурс із китайського рукописного тексту ICDAR, а в травні 2012 року перемогла в конкурсі з сегментування зображень ISBI. До 2011 року ЗНМ не відігравали великої ролі на конференціях з комп'ютерного бачення, але в червні 2012 року публікація Чирешана зі співавт. на провідній конференції CVPR показала, як максимізувально агрегувальні ЗНМ на ГП можуть значно покращувати багато еталонних рекордів у баченні. У вересні 2012 року DanNet також виграла конкурс ICPR з аналізу великих медичних зображень для виявляння раку, а наступного року також і MICCAI Grand Challenge на ту ж тему. У жовтні 2012 року подібна AlexNet Олексія Крижевського, Іллі Суцкевера та Джефрі Гінтона виграла великомасштабне ^[en] зі значним відривом від неглибоких методів машинного навчання. Мережа VGG-16 ^[en] та ^[en] ще більше знизила рівень похибок і виграла конкурс ImageNet 2014, слідуючи подібній тенденції у широкомасштабному розпізнаванні мовлення.

Потім класифікування зображень було розширено до складнішого завдання ^[en] (підписів) для зображень, часто як поєднання ЗНМ та ДКЧП.

2012 року команда під проводом Джорджа Даля виграла конкурс «Merck Molecular Activity Challenge», використовуючи багатозадачні глибокі нейронні мережі для передбачування ^[en] одного препарату. 2014 року група ^[en] використала глибоке навчання для виявляння нецільових і токсичних впливів хімічних речовин навколишнього середовища у поживних речовинах, побутових товарах і ліках, і виграла «Tox21 Data Challenge» NIH, FDA та ^[en].

2016 року Роджер Парлофф зазначив «революцію глибокого навчання», яка змінила галузь ШІ.

У березні 2019 року ^[en], Джефрі Гінтона та Яна ЛеКуна було нагороджено премією Тюрінга за концептуальні та інженерні прориви, які зробили глибокі нейронні мережі критично важливою складовою обчислювальної техніки.

Нейронні мережі

Докладніше: Штучна нейронна мережа

Спрощений приклад тренування нейронної мережі у виявлянні об'єктів: Мережу тренують кількома зображеннями, відомими як зображення морських зірок та морських їжаків, що корелюють з «вузлами», які подають візуальні ознаки. Морські зірки відповідають текстурі в кружечок та зірковому контурові, тоді як більшість морських їжаків відповідають смугастій текстурі й овальній формі. Проте, приклад морського їжака з текстурою в кружечок створює слабко зважену пов'язаність між ними.

Наступний запуск мережі на вхідному зображенні (ліворуч): Мережа правильно виявляє морську зірку. Проте, слабко зважена пов'язаність між текстурою в кружечок і морським їжаком також передає слабкий сигнал останньому від одного з двох проміжних вузлів. Крім того, черепашка, яку не було включено до тренування, дає слабкий сигнал для овальної форми, що також призводить до слабкого сигналу для виходу морського їжака. Ці слабкі сигнали можуть призвести до хибно позитивного результату для морського їжака.
В реальності текстури та контури не буде подано поодинокими вузлами, а радше пов'язаними ваговими шаблонами декількох вузлів.

Шту́чні нейро́нні мере́жі (ШНМ, англ. artificial neural networks, ANN) або коннекціоні́стські систе́ми (англ. connectionist systems) — це обчислювальні системи, натхненні біологічними нейронними мережами, які складають мозок тварин. Такі системи вчаться (поступово вдосконалюють свої здібності) виконувати завдання, розглядаючи приклади, як правило, без програмування під конкретне завдання. Наприклад, у розпізнаванні зображень вони можуть навчитися встановлювати зображення, які містять котів, аналізуючи приклади зображень, ^[en] вручну як «кіт» чи «кота нема», і використовуючи результати цього аналізу для встановлювання котів на інших зображеннях. Вони знайшли найбільше використання в застосуваннях, які важко висловити за допомогою традиційного комп'ютерного алгоритму з використанням програмування на основі правил .

ШНМ ґрунтується на сукупності з'єднаних вузлів, званих штучними нейронами (аналогічно біологічним нейронам у біологічному мозку). Кожне з'єднання (синапс) між нейронами може передавати сигнал іншому нейронові. Приймальний (постсинаптичний) нейрон може обробляти сигнал(и), а потім сигналізувати подальшим нейронам. Нейрони можуть мати стан, як правило, поданий дійсними числами, зазвичай між 0 та 1. Нейрони та синапси також можуть мати вагу, яка змінюється в міру навчання, що може збільшувати або зменшувати силу сигналу, який вони надсилають далі.

Як правило, нейрони впорядковано в шари (англ. layers). Різні шари можуть виконувати різні типи перетворень над своїми входами. Сигнали проходять від першого шару (шару входу) до останнього шару (шару виходу), можливо, після проходження шарами декілька разів.

Початкова мета нейромережного підходу полягала у розв'язуванні задач таким же чином, як це робив би людський мозок. З часом увага зосередилася на відповідності конкретним розумовим здібностям, що призвело до відхилень від біології, таких як зворотне поширення, або передавання інформації у зворотному напрямку з підлаштовуванням мережі відображувати цю інформацію.

Нейронні мережі використовували для різноманітних завдань, включно з комп'ютерним баченням, розпізнаванням мовлення, машинним перекладом, фільтруванням соціальних мереж, ^[en] та медичною діагностикою.

Станом на 2017 рік нейронні мережі зазвичай мають від кількох тисяч до кількох мільйонів вузлів та мільйони з'єднань. Незважаючи на те, що це число на кілька порядків менше за число нейронів у мозку людини, ці мережі можуть виконувати багато завдань на рівні, що перевершує людський (наприклад, розпізнавати обличчя або грати в «Ґо»).

Глибокі нейронні мережі

Глибока нейронна мережа (ГНМ, англ. deep neural network, DNN) — це штучна нейронна мережа (ШНМ) із кількома шарами між шарами входу та виходу. Існують різні типи нейронних мереж, але вони завжди складаються з тих же складових: нейронів, синапсів, ваг, зміщень та функцій. Ці складові в цілому функціонують у спосіб, що імітує функціювання людського мозку, і їх, як і будь-який інший алгоритм МН, можливо тренувати.^[]

Наприклад, ГНМ, тренована розпізнавати породи собак, проходитиме заданим зображенням й обчислюватиме ймовірність того, що зображений собака належить до певної породи. Користувач може переглядати результати й обирати, які ймовірності мережа повинна відображувати (вище певного порогу тощо) й повертати запропоновану мітку. Кожну математичну маніпуляцію як таку вважають шаром,^[] і складні ГНМ мають багато шарів, звідси й назва «глибокі» мережі.

ГНМ можуть моделювати складні нелінійні зв'язки. Архітектури ГНМ породжують композиційні моделі, де об'єкт виражають багатошаровою композицією примітивів. Додаткові шари дозволяють комбінувати ознаки з нижчих шарів, потенційно моделюючи складні дані меншою кількістю вузлів, ніж неглибокі мережі з подібною продуктивністю. Наприклад, було доведено, що розріджені багатовимірні многочлени експоненційно легше наближувати за допомогою ГНМ, ніж за допомогою неглибоких мереж.

До глибоких архітектур належать багато варіантів кількох основних підходів. Кожна архітектура досягла успіху в певних областях. Не завжди можливо порівняти продуктивність кількох архітектур, якщо їх оцінювали не на однакових наборах даних.

ГНМ, як правило, є мережами прямого прямого поширення, в яких дані проходять з шару входу до шару виходу без повернення назад. Спочатку ГНМ створює карту віртуальних нейронів і призначує зв'язкам між ними випадкові числові значення, або «ваги». Ваги та входи перемножуються й повертають результат між 0 та 1. Якщо мережа не розпізнає певний образ точно, алгоритм підлаштовує ці ваги. Таким чином алгоритм може робити певні параметри впливовішими, доки не визначить правильну математичну операцію для повної обробки даних.

Рекурентні нейронні мережі (РНМ, англ. recurrent neural networks, RNN), в яких дані можуть простувати в будь-якому напрямку, використовують для таких застосувань як моделювання мови. Для цього використання особливо ефективна довга короткочасна пам'ять.

Згорткові глибокі нейронні мережі (ЗНМ, англ. convolutional deep neural networks, CNN) використовують у комп'ютернім баченні. ЗНМ також застосовували до ^[en] для автоматичного розпізнавання мовлення (АРМ, англ. automatic speech recognition, ASR).

Виклики

Як і з ШНМ, при наївному тренуванні ГНМ може виникати багато проблем. Двома поширеними проблемами є перенавчання та обчислювальний час.

ГНМ схильні до перенавчання через додані шари абстрагування, які дозволяють їм моделювати рідкісні залежності в тренувальних даних. Для боротьби з перенавчанням під час тренування можливо застосовувати методи регуляризації, такі як обрізання вузлів (англ. unit pruning) Івахненка, ^[en] (англ. weight decay, $\ell _{2}$ -регуляризація) та розрідженість (англ. sparsity, $\ell _{1}$ -регуляризація). Альтернативна регуляризація виключенням (англ. dropout) випадковим чином вилучає вузли з прихованих шарів під час тренування. Це допомагає виключати рідкісні залежності. Нарешті, дані можливо доповнювати за допомогою таких методів як обрізання та обертання, щоби менші тренувальні набори можливо було збільшити в розмірі задля зменшення ймовірності перенавчання.

ГНМ повинні враховувати багато параметрів тренування, таких як розмір (кількість шарів і кількість вузлів на шар), темп навчання та первинні ваги. (Прочісування простору параметрів) для отримання оптимальних значень може бути недосяжним через часові та обчислювальні витрати. Обчислення прискорюють різні трюки, такі як пакетування (англ. batching, обчислення градієнта на кількох тренувальних прикладах одночасно, замість обчислення на окремих). Великі оброблювальні можливості багатоядерних архітектур (таких як графічні процесори та Intel Xeon Phi) призвели до значного прискорення тренування через придатність таких оброблювальних архітектур для матричних та векторних обчислень.

Крім того, інженери можуть шукати інші типи нейронних мереж із простішими та збіжнішими алгоритмами тренування. Одним із таких видів нейронних мереж є АКММ (^[en], англ. cerebellar model articulation controller, CMAC). Він не потребує темпів навчання та увипадковлених первинних ваг. Може бути гарантовано збіжність його процесу тренування за один крок із новим пакетом даних, а обчислювальна складність алгоритму тренування лінійна щодо кількості задіяних нейронів.

Апаратне забезпечення

З 2010-х років прогрес як в алгоритмах машинного навчання, так і в комп'ютерному апаратному забезпеченні призвів до ефективніших методів тренування глибоких нейронних мереж, які містять багато шарів нелінійних прихованих вузлів і дуже великий шар виходу. До 2019 року графічні процесори (ГП), часто зі спеціальними вдосконаленнями для ШІ, витіснили ЦП як переважний метод тренування великомасштабного комерційного хмарного ШІ. OpenAI оцінила апаратні обчислення, які використовували в найбільших проєктах глибокого навчання від AlexNet (2012) і до AlphaZero (2017), і виявила 300 000-кратне збільшення необхідного обсягу обчислень із тенденцією подвоєння часу кожні 3,4 місяці.

Для прискорення алгоритмів глибокого навчання було розроблено спеціальні електронні схеми, звані процесорами глибокого навчання. До процесорів глибокого навчання належать нейронні процесори (НП, англ. neural processing units, NPU) у мобільних телефонах Huawei та серверах хмарних обчислень, такі як тензорні процесори (ТП, англ. tensor processing units, TPU) у Google Cloud Platform. ^[en] також створила спеціальну систему для обробки великих моделей глибокого навчання, CS-2, що ґрунтується на найбільшому процесорі в галузі, другому поколінні Wafer Scale Engine (WSE-2).

Атомарно тонкі напівпровідники вважають перспективними для енергоефективного апаратного забезпечення глибокого навчання, де одну й ту ж базову структуру пристрою використовують як для логічних операцій, так і для зберігання даних. 2020 року Марега зі співавт. опублікували експерименти з активноканальним матеріалом великої площі для розробки пристроїв і схем з логічною пам'яттю на основі польових транзисторів з плавни́м затвором (англ. floating-gate field-effect transistors, FGFET).

2021 року Й. Фельдманн зі співавт. запропонували інтегрований фотонний апаратний прискорювач для паралельної згорткової обробки. Автори виділяють дві ключові переваги інтегрованої фотоніки над її електронними аналогами: (1) масивна паралельна передача даних через мультиплексування за довжиною хвилі в поєднанні з частотними гребінцями та (2) надзвичайно висока швидкість модуляції даних. Їхня система може виконувати трильйони операцій множення-додавання за секунду, що вказує на потенціал інтегрованої фотоніки у застосуваннях штучного інтелекту, які потребують великих даних.

Застосування

Автоматичне розпізнавання мовлення

Докладніше: Розпізнавання мовлення

Великомасштабне автоматичне розпізнавання мовлення — це перший і найпереконливіший успішний приклад глибокого навчання. РНМ ДКЧП можуть навчатися завдань «дуже глибокого навчання», до яких належать багатосекундні інтервали, що містять мовленнєві події, розділені тисячами дискретних часових кроків, де один часовий крок відповідає приблизно 10 мс. ДКЧП із забувальними вентилями на певних завданнях конкурентоспроможні з традиційними розпізнавачами мовлення.

Початковий успіх у розпізнаванні мовлення ґрунтувався на невеликих завданнях розпізнавання на основі ^[en]. Цей набір даних містить 630 носіїв восьми основних діалектів американської англійської, де кожен читає 10 речень. Його невеликий розмір дозволяє випробувати багато конфігурацій. Що ще важливіше, завдання TIMIT стосується розпізнавання ^[en] послідовностей, яке, на відміну від розпізнавання послідовності слів, дозволяє використовувати слабкі фонобіграмні мовні моделі. Це дозволяє легше аналізувати силу аспектів акустичного моделювання розпізнавання мовлення. Частоту похибки, наведену нижче, включно з цими ранніми результатами, виміряну у відсотках рівнів фональних похибок (РФП, англ. phone error rates, PER), було узагальнено з 1991 року.

Метод	Відсоток рівня фональної похибки (РФП) (%)
РНМ з випадковими початковими значеннями	26,1
Баєсова трифональна ^[en]-ПММ	25,6
Модель прихованої траєкторії (породжувальна)	24,8
Монофональна ГНМ з випадковими початковими значеннями	23,4
Монофональна ГМП-ГНМ	22,4
Трифональна ^[en]-ПММ з навчанням ПМВІ	21,7
Монофональна ГМП-ГНМ на ^[en]	20,7
Згорткова ГНМ	20,0
Згорткова ГНМ з різнорідним агрегуванням	18,7
Ансамблева ГНМ/ЗНМ/РНМ	18,3
Двоспрямована ДКЧП	17,8
Ієрархічна згорткова глибока максимумовиходова мережа	16,5

Дебют ГНМ для розпізнавання мовців наприкінці 1990-х та розпізнавання мовлення приблизно в 2009—2011 роках, а також ДКЧП приблизно в 2003—2007 роках прискорили прогрес у восьми основних областях:

Масштабування вгору/назовні та прискорення тренування та декодування ГНМ
Послідовнісно розрізнювальне тренування
Обробка ознак глибокими моделями з цілісним розумінням механізмів, що лежать в їхній основі
Пристосування ГНМ та споріднених глибоких моделей
^[en] та передавальне навчання за допомогою ГНМ і споріднених глибоких моделей
ЗНМ та як їх проєктувати, щоби найкращим чином використати предметні знання щодо мовлення
РНМ та їхні численні варіанти з ДКЧП
Інші типи глибоких моделей, включно з моделями на основі тензорів та комбінованими породжувально/розрізнювальними моделями.

Усі основні комерційні системи розпізнавання мовлення (наприклад, Microsoft Cortana, Xbox, ^[en], Amazon Alexa, Google Now, Apple Siri, Baidu та голосовий пошук ^[en], а також низка мовленнєвих продуктів ^[en] тощо) ґрунтуються на глибокому навчанні.

Розпізнавання зображень

Докладніше: Комп'ютерне бачення

Поширеним оцінковим набором для класифікування зображень є набір даних бази даних MNIST. Він складається з рукописних цифр і містить 60 000 навчальних та 10 000 випробувальних прикладів. Як і у випадку з TIMIT, його невеликий розмір дозволяє користувачам випробувати кілька конфігурацій. Доступний вичерпний перелік результатів на цьому наборі.

Розпізнавання зображень на основі глибокого навчання стало «надлюдським», даючи точніші результати, ніж люди, учасники змагання. Вперше це сталося 2011 року з розпізнаванням дорожніх знаків, а 2014 року з розпізнаванням облич людей.

Треновані глибоким навчанням транспортні засоби тепер інтерпретують камери кругового огляду. Іншим прикладом є новітній аналіз у лицевій дисморфології (англ. Facial Dysmorphology Novel Analysis, FDNA), який використовують для аналізу випадків вад розвитку людини, пов'язаних із великою базою даних генетичних синдромів.

Обробка образотворчого мистецтва

Візуальна художня обробка Джиммі Вейлза у Франції у стилі «Крику» Мунка, застосованого за допомогою нейронного перенесення стилю

З прогресом, досягнутим у розпізнаванні зображень, тісно пов'язане все ширше застосування методик глибокого навчання до різноманітних завдань образотворчого мистецтва. ГНМ довели свою здатність, наприклад, у

встановлюванні періоду стилю заданої картини
^[en] — вловлюванні стилю певного твору мистецтва та застосуванні його візуально приємним чином до довільної фотографії чи відео
створенні вражаючих зображень на основі випадкових вхідних зорових полів.

Обробка природної мови

Докладніше: Обробка природної мови

Нейронні мережі використовують для втілення мовних моделей з початку 2000-х років. ДКЧП допомогла покращити машинний переклад і моделювання мови.

Іншими ключовими методиками в цій галузі є негативне вибирання (англ. negative sampling) та вкладання слів. Вкладання слів, наприклад word2vec, можливо розглядати як шар подання в архітектурі глибокого навчання, який перетворює атомарне слово в подання розташування слова відносно інших слів у наборі даних; розташування подається як точка у векторному просторі. Використання вкладення слів як вхідного рівня РНМ дозволяє цій мережі аналізувати речення та фрази за допомогою ефективної композиційної векторної граматики. Композиційну векторну граматику можливо розглядати як ^[en] (ІКВГ, англ. probabilistic context free grammar, PCFG), втілену РНМ. Рекурсивні автокодувальники, збудовані поверх вкладень слів, можуть оцінювати схожість речень та виявляти перефразування. Глибокі нейронні архітектури забезпечують найкращі результати для аналізу складників, тональності, пошуку інформації, розуміння розмовної мови, машинного перекладу, контекстного зв'язування об'єктів, розпізнавання стилю написання, розпізнавання іменованих сутностей (класифікування лексем), класифікування тексту та інших.

Останні розробки узагальнюють вкладання слів до вкладання речень.

Перекладач Google використовує велику наскрізну мережу довгої короткочасної пам'яті (ДКЧП). Нейронний машинний переклад Google використовує метод машинного перекладу на основі прикладів, у якому система «вчиться на мільйонах прикладів». Він перекладає «цілі речення за раз, а не частини». Перекладач Google підтримує понад сто мов. Мережа кодує «семантику речення, а не просто запам'ятовує пофразові переклади». Перекладач Google використовує англійську як проміжну між більшістю мовних пар.

Пошук нових ліків та токсикологія

Докладніше: ^[en] та Токсикологія

Значний відсоток ліків-кандидатів не отримує схвалення регуляторних органів. Ці невдачі спричинені недостатньою ефективністю (впливом на мішень), небажаними взаємодіями (впливами поза мішенню) або непередбаченими токсичними впливами. Дослідники вивчали використання глибокого навчання для передбачування ^[en], ^[en] та токсичних впливів хімічних речовин навколишнього середовища у поживних речовинах, побутових товарах і ліках.

AtomNet — це система глибокого навчання для раціонального конструювання ліків на основі структури. AtomNet використовували для передбачування новітніх біомолекул-кандидатів для мішеней таких захворювань як вірус Ебола та розсіяний склероз.

2017 року ^[en] було вперше використано для передбачування різних властивостей молекул у великому наборі токсикологічних даних. 2019 року породжувальні нейронні мережі було використано для створення молекул, які було перевірено експериментально від початку до кінця на мишах.

Управління відносинами з клієнтами

Докладніше: Управління відносинами з клієнтами

^[en] використовували для наближування цінності можливих дій прямого маркетингу, визначених у термінах змінних RFM. Було показано, що ця функція оцінки цінності має природну інтерпретацію як пожиттєва цінність клієнта.

Біоінформатика

Докладніше: Біоінформатика

Автокодувальну ШНМ використовували в біоінформатиці для передбачування анотацій генної онтології та зв'язків між генами й функціями.

У медичній інформатиці глибоке навчання використовували для передбачування якості сну на основі даних з носимих пристроїв та для передбачування ускладнень здоров'я з даних електронних медичних записів.

Оцінювання глибокими нейронними мережами

Глибокі нейронні мережі (ГНМ) можливо використовувати для оцінювання ентропії стохастичних процесів, їх називають нейронними оцінювачами спільної ентропії (НОСЕ, англ. Neural Joint Entropy Estimator, NJEE). Таке оцінювання дає уявлення про вплив випадкових змінних входу на незалежну випадкову змінну. На практиці, ГНМ тренують як класифікатор, який відображує вектор або матрицю входу X у розподіл імовірності виходу над можливими класами випадкової змінної Y за заданого входу X. Наприклад, у завданнях класифікування зображень НОСЕ відображує вектор значень кольорів пікселів у ймовірності над можливими класами зображень. На практиці розподіл імовірності Y отримують за допомогою шару Softmax із кількістю вузлів, яка дорівнює розміру абетки Y. НОСЕ використовує неперервно диференційовні передавальні функції, так що умови теореми про універсальне наближення виконуються. Показано, що цей метод забезпечує сильно слушну оцінку й перевершує інші методи в разі великих розмірів абетки.

Аналіз медичних зображень

Було показано, що глибоке навчання дає конкурентоспроможні результати в медичних застосуваннях, таких як класифікування ракових клітин, виявляння уражень, сегментування органів та покращування зображень. Сучасні інструменти глибокого навчання демонструють високу точність виявляння різних захворювань та доцільність використання їх фахівцями для підвищення ефективності діагностування.

Мобільна реклама

Знайти відповідну мобільну аудиторію для мобільної реклами завжди складно, оскільки необхідно розглянути та проаналізувати багато точок даних, перш ніж стане можливо створити цільовий сегмент і використати його для розміщення реклами на будь-якому рекламному сервері. Глибоке навчання використовували для інтерпретування великих, багатовимірних наборів рекламних даних. Під час циклу інтернет-реклами запит/подача/натискання збирають багато точок даних. Ця інформація може ставати основою машинного навчання для покращення обирання оголошень.

Відновлювання зображень

Глибоке навчання було успішно застосовано до ^[en], таких як знешумлювання, ^[en], ^[en] та кольоризування фільмів. До цих застосувань входять такі методи навчання як «Shrinkage Fields for Effective Image Restoration», який тренується на наборі зображень, та ^[en] (англ. Deep Image Prior), що тренується на зображенні, якому потрібне відновлення.

Виявляння фінансового шахрайства

Глибоке навчання успішно застосовують для виявляння фінансового шахрайства, ухилення від сплати податків та боротьби з відмиванням грошей.

Матеріалознавство

У листопаді 2023 року дослідники з Google DeepMind та Національної лабораторії ім. Лоуренса в Берклі оголосили, що вони розробили систему ШІ, відому як GNoME. Ця система зробила внесла внесок до матеріалознавства, відкривши понад 2 мільйони нових матеріалів за відносно короткий час. GNoME використовує методики глибокого навчання для ефективного дослідження потенційних структур матеріалів, досягаючи значного зростання у встановлюванні стабільних неорганічних кристалічних структур. Передбачення цієї системи були підтверджені за допомогою автономних роботизованих експериментів, продемонструвавши вражаючий рівень успішності в 71 %. Дані про нововідкриті матеріали доступні публічно через базу даних ^[en], надаючи дослідникам можливість встановлювати матеріали з бажаними властивостями для різних застосувань. Цей розвиток має наслідки для майбутнього наукових відкриттів та інтегрування ШІ в дослідження матеріалознавства, потенційно прискорюючи нововведення в матеріалах та знижуючи вартість розробки продуктів. Використання ШІ та глибокого навчання натякає на можливість мінімізації або виключення ручних лабораторних експериментів та дозволяє науковцям більше зосередитися на проєктуванні й аналізі унікальних сполук.

Військові

Міністерство оборони Сполучених Штатів застосовувало глибоке навчання, щоб тренувати роботів виконувати нові завдання через спостереження.

Диференціальні рівняння з частинними похідними

Фізичні нейронні мережі (англ. physics informed neural networks) використовували для розв'язування диференціальних рівнянь із частинними похідними як у прямих, так і в обернених задачах на основі даних. Одним із прикладів є відбудова потоку рідини, керована рівняннями Нав'є — Стокса. Використання фізичних нейронних мереж не потребує часто витратного породжування сітки, на яке спираються звичайні методи обчислювальної гідродинаміки.

Відбудова зображень

Відбудова зображень (англ. image reconstruction) — це відбудова зображень, що лежать в основі пов'язаних із зображеннями вимірювань. Декілька праць показали кращу та відмінну продуктивність методів глибокого навчання порівняно з аналітичними методами для різних застосувань, наприклад, спектральних та ультразвукових зображень.

Епігенетичний годинник

Докладніше: ^[en]

Епігенетичний годинник (англ. epigenetic clock) — це біохімічний тест, який можливо використовувати для вимірювання віку. Галкін зі співавт. використали глибокі нейронні мережі, щоби натренувати епігенетичний годинник старіння з безпрецедентною точністю, використавши понад 6000 зразків крові. Цей годинник використовує інформацію з 1000 CpG-острівців і передбачує людей з певними станами старше здорових контрольних груп: ^[en], лобово-скроневою деменцією, раком яєчника, ожирінням. Цей годинник старіння планувала випустити для загального використання в 2021 року дочірня компанія компанії ^[en], Deep Longevity.

Відношення до когнітивного розвитку людини та розвитку мозку

Глибоке навчання тісно пов'язане з класом теорій ^[en] (особливо нової кори), запропонованих когнітивними нейробіологами на початку 1990-х років. Ці теорії розвитку було втілено в обчислювальних моделях, що зробило їх попередниками систем глибокого навчання. Ці моделі розвитку поділяють таку властивість, що різні запропоновані динаміки навчання в мозку (наприклад, хвиля чинника росту нервів) підтримують самоорганізацію, дещо аналогічну нейронним мережам, які використовують у моделях глибокого навчання. Як і нова кора, нейронні мережі використовують ієрархію багатошарових фільтрів, у яких кожен шар розглядає інформацію з попереднього шару (або робочого середовища), а потім передає свій вихід (і, можливо, початковий вхід) іншим шарам. Цей процес видає самоорганізований стос вимірювальних перетворювачів, добре підлаштованих до їхнього робочого середовища. В описі 1995 року зазначено: «…мозок немовляти, здається, організовується під впливом хвиль так званих чинників росту… різні ділянки мозку стають з'єднаними послідовно, причому один шар тканини дозріває раніше іншого, і так далі, поки не дозріє весь мозок».

Було використано різноманітні підходи для дослідження правдоподібності моделей глибокого навчання з нейробіологічної точки зору. З одного боку, було запропоновано декілька варіантів алгоритму зворотного поширення з метою підвищення реалістичності його обробки. Інші дослідники стверджують, що до біологічної дійсності можуть бути ближчими форми некерованого глибокого навчання, такі як ті, що ґрунтуються на ієрархічних породжувальних моделях та глибоких мережах переконань. У цьому відношенні моделі породжувальних нейронних мереж пов'язували з нейробіологічними свідченнями обробки в корі головного мозку на основі вибірки.

Хоча систематичного порівняння між організацією людського мозку та нейронним кодуванням у глибоких мережах створено ще не було, було повідомлено про кілька аналогій. Наприклад, обчислення, які виконуються блоками глибокого навчання, можуть бути подібними до обчислень справжніх нейронів і нейронних популяцій. Подібним чином, подання, вироблені моделями глибокого навчання, подібні до тих, які вимірюють у зоровій системі приматів як на рівні окремого вузла, так і на рівні популяції.

Комерційна діяльність

Лабораторія ШІ Facebook виконує такі завдання як ^[en] іменами людей на них.

Google DeepMind Technologies розробила систему, здатну навчитися грати у відеоігри Atari, використовуючи як дані входу лише пікселі. 2015 року вони продемонстрували свою систему AlphaGo, яка навчилася грі Ґо настільки добре, що перемогла професійного гравця. Перекладач Google використовує нейронну мережу, щоби перекладати між понад 100 мовами.

2017 року було запущено Covariant.ai, зосереджений на інтегруванні глибокого навчання на заводах.

Станом на 2008 рік дослідники Техаського університету в Остіні (UT) розробили систему машинного навчання під назвою Training an Agent Manually via Evaluative Reinforcement (укр. ручне тренування агента через оцінювальне підкріплення), або TAMER, яка запропонувала нові методи для роботів та комп'ютерних програм, як вчитися виконувати завдання шляхом взаємодії з людиною-інструктором. Спершу розроблений як TAMER, новий алгоритм під назвою Deep TAMER було пізніше представлено 2018 року під час співпраці між Дослідницькою лабораторією армії США (ARL) та дослідниками UT. Deep TAMER використовував глибоке навчання, щоби забезпечити роботові здатність навчатися нових завдань шляхом спостерігання. Використовуючи Deep TAMER, робот навчався завдання разом із тренером-людиною, переглядаючи відеопотоки або спостерігаючи, як людина виконує завдання особисто. Пізніше робот відпрацьовував завдання за допомогою тренера, який давав відгуки, такі як «добра робота» та «погана робота».

Критика та коментарі

Глибоке навчання притягувало як критику, так і коментарі, у деяких випадках поза межами галузі інформатики.

Теорія

Див. також: Поясненний штучний інтелект

Основна критика стосується браку теорії навколо деяких методів. Навчання в найпоширеніших глибоких архітектурах втілено за допомогою добре зрозумілого градієнтного спуску. Проте теорія навколо цих алгоритмів, таких як контрастове розходження, не така ясна^[] (наприклад: Він збігається? Якщо так, то як швидко? Що він наближує?). На методи глибокого навчання часто дивляться як на чорну скриньку, роблячи більшість підтверджень емпірично, а не теоретично.

Інші зазначають, що глибоке навчання слід розглядати як крок до втілення сильного ШІ, а не як всеохопне рішення. Незважаючи на потужність методів глибокого навчання, їм все ще бракує значної частини функціональності, необхідної, щоби втілити цю мету повністю. Психолог-дослідник ^[en] зазначив:

Насправді, глибоке навчання це лише частина більшого завдання створення розумних машин. Таким методикам бракує способів подання причинно-наслідкових зв'язків (…) вони не мають очевидних способів здійснення логічних висновків, і вони також ще далекі від поєднання абстрактних знань, таких як інформація про те, чим є об'єкти, для чого вони, і як їх зазвичай використовують. Найпотужніші системи ШІ, такі як Watson (…) використовують такі методики, як глибоке навчання, як лише один з елементів у дуже складному ансамблі методик, починаючи від статистичних методик баєсового висновування, і аж до дедуктивного міркування.

Серед подальших відсилань до тієї ідеї, що художня чутливість може бути притаманна відносно низьким рівням когнітивної ієрархії, опублікована низка графічних зображень внутрішніх станів глибоких (20—30 шарів) нейронних мереж, які намагаються розгледіти серед по суті випадкових даних зображення, на яких їх було треновано, демонструє візуальну привабливість: первинне повідомлення про це дослідження отримало набагато більше за 1000 коментарів і було предметом протягом деякого часу найвідвідуванішої статті на вебсайті Ґардіан.

Помилки

Деякі архітектури глибокого навчання демонструють проблематичну поведінку, наприклад, впевнене класифікування невпізнанних зображень як належних до знайомої категорії звичайних зображень (2014) та неправильне класифікування незначних збурень правильно класифікованих зображень (2013). Ґьорцель припустив, що така поведінка зумовлена обмеженнями у їхніх внутрішніх поданнях, і що ці обмеження перешкоджатимуть інтегруванню до гетерогенної багатокомпонентної архітектури загального штучного інтелекту (ЗШІ). Можливо, ці проблеми можна розв'язати за допомогою архітектур глибокого навчання, які внутрішньо утворюють стани, гомологічні розкладам граматики зображень спостережуваних об'єктів та подій. ^[en] (візуальної чи мовної) з тренувальних даних було би рівнозначним обмеженню системи ^[en], які оперують поняттями в термінах граматичних ^[en], і є основною метою як засвоєння мови людиною, так і штучного інтелекту (ШІ).

Кіберзагроза

Коли глибоке навчання переміщується з лабораторії у світ, дослідження та досвід показують вразливість штучних нейронних мереж до хакерів та обману. Визначаючи схеми, які ці системи використовують для функціювання, зловмисники можуть змінювати вхідні дані до ШНМ таким чином, що ШНМ знаходить відповідність, яку люди-спостерігачі не розпізнають. Наприклад, зловмисник може внести незначні зміни в зображення таким чином, що ШНМ знайде збіг, навіть якщо для людини зображення виглядає зовсім не схожим на ціль пошуку. Таке маніпулювання називають «змагальною атакою» (англ. "adversarial attack").

2016 року дослідники скористалися однією ШНМ, щоби, підкориговуючи зображення, методом спроб і помилок визначити, на чому зосереджується інша, й таким чином створити зображення, які вводили її в оману. Для людського ока змінені зображення нічим не відрізнялися. Інша група показала, що роздруківки підроблених зображень, які потім фотографували, успішно обманювали систему класифікування зображень. Одним із засобів захисту є зворотний пошук зображень, під час якого можливе підроблене зображення надсилається на сайт, наприклад TinEye, який потім може знайти інші його примірники. Одне із вдосконалень полягає у пошуку з використанням лише частин зображення, щоби встановити зображення, з яких цей фрагмент могло бути взято.

Інша група показала, що певні психоделічні видовища можуть змусити систему розпізнавання облич вважати звичайних людей знаменитостями, потенційно дозволяючи одній людині видавати себе за іншу. 2017 року дослідники додали наліпки до знаків заборони проїзду без зупинки, змусивши ШНМ класифікувати їх неправильно.

Проте ШНМ можливо додатково тренувати виявляти спроби обману, що потенційно веде до перегонів озброєнь між зловмисниками й захисниками, подібних до тих, які вже є основою індустрії захисту від зловмисних програм. ШНМ було навчено перемагати програмне забезпечення захисту від зловмисного програмного забезпечення на основі ШНМ шляхом повторюваних атак на захист зловмисним програмним забезпеченням, яке постійно змінювалося генетичним алгоритмом, доки воно не ошукало протизловмисне програмне забезпечення, зберігаючи свою здатність пошкоджувати ціль.

2016 року інша група продемонструвала, що певні звуки можуть змусити систему голосових команд Google Now відкрити певну веб-адресу, й висунула гіпотезу, що це може «послужити сходинкою для подальших атак (наприклад, відкривання вебсторінки, на якій розміщено зловмисне програмне забезпечення)».

В ^[en]» до тренувального набору системи машинного навчання систематично підкидають хибні дані, щоби завадити їй досягти майстерності.

Етика збирання даних

Більшість систем глибокого навчання покладаються на тренувальні та контрольні (англ. verification) дані, породжувані та/або розмічувані людьми. У філософії засобів масової інформації стверджують, що для цієї мети регулярно використовують не лише низькооплачувану ^[en] (наприклад, на Amazon Mechanical Turk), а й неявні форми людської ^[en], які часто не визнають як таку. Філософ ^[de] розрізняє п'ять типів «машинного заволодівання» людською мікропрацею для породжування тренувальних даних: (1) ігрофікація (вбудовування розмічування або обчислювальних завдань у потік гри), (2) «захоплювання та відстежування» (наприклад, CAPTCHA для розпізнавання зображень, або відстежування кліків на сторінках результатів пошуку Google), (3) використання соціальних мотивів (наприклад, позначування облич у Facebook для отримування позначених зображень обличчя), (4) розроблення інформації (наприклад, за допомогою пристроїв ^[en], таких як відстежувачі активності), та (5) ^[en].

Мюльхоф стверджує, що в більшості комерційних застосувань глибокого навчання для кінцевих користувачів, таких як ^[en], потреба в тренувальних даних після тренування ШНМ не зникає. Скоріше, існує постійна потреба в контрольних даних, створюваних людьми, щоби постійно калібрувати та уточнювати ШНМ. З цією метою Facebook запровадив функцію, що щойно користувачів автоматично розпізнано на зображенні, вони отримують сповіщення. Вони можуть обрати, чи хочуть вони бути публічно позначеними на цьому зображенні, чи повідомити Facebook, що на зображенні не вони. Цей інтерфейс користувача є механізмом породжування «постійного потоку контрольних даних» для подальшого тренування мережі в режимі реального часу. Як стверджує Мюльхоф, залучення людей-користувачів до породжування тренувальних та контрольних даних настільки типове для більшості комерційних застосувань глибокого навчання для кінцевих користувачів, що такі системи можна назвати «штучним інтелектом з участю людини» (англ. "human-aided artificial intelligence").

Див. також

Застосування штучного інтелекту
Порівняння програмного забезпечення глибокого навчання
^[en]
^[en]
Мережа з відлунням стану
^[en]
Перелік наборів даних для досліджень машинного навчання
Резервуарне обчислення
- Мережа з відлунням стану
- Рідкий скінченний автомат
(Простір масштабів та глибоке навчання)
Розріджене кодування
^[en]

Примітки

Schulz, Hannes; Behnke, Sven (1 листопада 2012). Deep Learning. KI - Künstliche Intelligenz (англ.). 26 (4): 357—363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987. S2CID 220523562.
Хома, Ю. В.; Бенч, А. Я. (2019). Порівняльний аналіз програмно-апаратного забезпечення алгоритмів глибокого навчання (PDF). Комп'ютерні системи і мережі (укр.). 1 (1): 97—102.
Дорош, Н. Л.; Цаплюк, О. В. (3-5 листопада 2021). Розпізнавання зображень алгоритмом глибокого навчання (PDF). VII Міжнародна науково-технічна конференція «Комп'ютерне моделювання та оптимізація складних систем» (укр.). Дніпро: УДХТУ. с. 91—92.
Бродкевич, В. М.; Ремесло, В. Я. (2018). Алгоритми машинного навчання (МН) та глибокого навчання (ГН) і їх використання в прикладних додатках (PDF). Міжнародний науковий журнал «Інтернаука» (укр.). Київ. 1 (11 (51)): 56—60. ISSN 2520-2057.
LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). Deep Learning. Nature (англ.). 521 (7553): 436—444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). Multi-column deep neural networks for image classification. 2012 IEEE Conference on Computer Vision and Pattern Recognition (англ.). с. 3642—3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN . S2CID 2161592.
Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). ImageNet Classification with Deep Convolutional Neural Networks (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada (англ.). Архів (PDF) оригіналу за 10 січня 2017. Процитовано 24 травня 2017.
Google's AlphaGo AI wins three-match series against the world's best Go player. TechCrunch (англ.). 25 травня 2017. Архів оригіналу за 17 червня 2018. Процитовано 17 червня 2018.
Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). Toward an Integration of Deep Learning and Neuroscience. Frontiers in Computational Neuroscience (англ.). 10: 94. arXiv:1606.03813. Bibcode:2016arXiv160603813M. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554. S2CID 1994856.
Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (13 лютого 2015). Towards Biologically Plausible Deep Learning (англ.). arXiv:1502.04156 [cs.LG].
Study urges caution when comparing neural networks to the brain. MIT News | Massachusetts Institute of Technology (англ.). 2 листопада 2022. Процитовано 6 грудня 2023.
Deng, L.; Yu, D. (2014). Deep Learning: Methods and Applications (PDF). Foundations and Trends in Signal Processing (англ.). 7 (3–4): 1—199. doi:10.1561/2000000039. Архів (PDF) оригіналу за 14 березня 2016. Процитовано 18 жовтня 2014.
Zhang, W. J.; Yang, G.; Ji, C.; Gupta, M. M. (2018). On Definition of Deep Learning. 2018 World Automation Congress (WAC) (англ.). с. 1—5. doi:10.23919/WAC.2018.8430387. ISBN . S2CID 51971897.
Bengio, Yoshua (2009). Learning Deep Architectures for AI (PDF). Foundations and Trends in Machine Learning (англ.). 2 (1): 1—127. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. S2CID 207178999. Архів оригіналу (PDF) за 4 березня 2016. Процитовано 3 вересня 2015.
Bengio, Y.; Courville, A.; Vincent, P. (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence (англ.). 35 (8): 1798—1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.
LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 травня 2015). Deep learning. Nature (англ.). 521 (7553): 436—444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.
Schmidhuber, J. (2015). Deep Learning in Neural Networks: An Overview. Neural Networks (англ.). 61: 85—117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.
Shigeki, Sugiyama (12 квітня 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities (англ.). IGI Global. ISBN .
Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Greedy layer-wise training of deep networks (PDF). Advances in neural information processing systems (англ.). с. 153—160. Архів (PDF) оригіналу за 20 жовтня 2019. Процитовано 6 жовтня 2019.
Hinton, G.E. (2009). Deep belief networks. Scholarpedia (англ.). 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.
Sahu, Santosh Kumar; Mokhade, Anil; Bokde, Neeraj Dhanraj (січень 2023). An Overview of Machine Learning, Deep Learning, and Reinforcement Learning-Based Techniques in Quantitative Finance: Recent Progress and Challenges. Applied Sciences (англ.). 13 (3): 1956. doi:10.3390/app13031956. ISSN 2076-3417.
Cybenko (1989). Approximations by superpositions of sigmoidal functions (PDF). ^[en] (англ.). 2 (4): 303—314. doi:10.1007/bf02551274. S2CID 3958369. Архів оригіналу (PDF) за 10 October 2015.
Hornik, Kurt (1991). Approximation Capabilities of Multilayer Feedforward Networks. Neural Networks (англ.). 4 (2): 251—257. doi:10.1016/0893-6080(91)90009-t. S2CID 7343126.
Haykin, Simon S. (1999). Neural Networks: A Comprehensive Foundation (англ.). Prentice Hall. ISBN .
Hassoun, Mohamad H. (1995). Fundamentals of Artificial Neural Networks (англ.). MIT Press. с. 48. ISBN .
Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the Width [Архівовано 2019-02-13 у Wayback Machine.]. Neural Information Processing Systems, 6231-6239. (англ.)
Orhan, A. E.; Ma, W. J. (2017). Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback. Nature Communications (англ.). 8 (1): 138. Bibcode:2017NatCo...8..138O. doi:10.1038/s41467-017-00181-8. PMC 5527101. PMID 28743932.
Murphy, Kevin P. (24 серпня 2012). Machine Learning: A Probabilistic Perspective (англ.). MIT Press. ISBN .
Fukushima, K. (1969). Visual feature extraction by a multilayered network of analog threshold elements. IEEE Transactions on Systems Science and Cybernetics (англ.). 5 (4): 322—333. doi:10.1109/TSSC.1969.300225.
Sonoda, Sho; Murata, Noboru (2017). Neural network with unbounded activation functions is universal approximator. Applied and Computational Harmonic Analysis (англ.). 43 (2): 233—268. arXiv:1505.03654. doi:10.1016/j.acha.2015.12.005. S2CID 12149203.
Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning (PDF) (англ.). Springer. ISBN . Архів (PDF) оригіналу за 11 січня 2017. Процитовано 6 серпня 2017.
Brush, Stephen G. (1967). History of the Lenz-Ising Model. Reviews of Modern Physics (англ.). 39 (4): 883—893. Bibcode:1967RvMP...39..883B. doi:10.1103/RevModPhys.39.883.
Amari, Shun-Ichi (1972). Learning patterns and pattern sequences by self-organizing nets of threshold elements. IEEE Transactions (англ.). C (21): 1197—1206.
Schmidhuber, Jürgen (2022). Annotated History of Modern AI and Deep Learning (англ.). arXiv:2212.11279 [cs.NE].
Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences (англ.). 79 (8): 2554—2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.
Tappert, Charles C. (2019). Who Is the Father of Deep Learning?. 2019 International Conference on Computational Science and Computational Intelligence (CSCI) (англ.). IEEE. с. 343—348. doi:10.1109/CSCI49370.2019.00067. ISBN . S2CID 216043128. Процитовано 31 травня 2021.
Rosenblatt, Frank (1962). Principles of Neurodynamics (англ.). Spartan, New York.
^[en] (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Online [Архівовано 2016-04-19 у Wayback Machine.] (англ.)
Fradkov, Alexander L. (1 січня 2020). Early History of Machine Learning. IFAC-PapersOnLine. 21st IFAC World Congress (англ.). 53 (2): 1385—1390. doi:10.1016/j.ifacol.2020.12.1888. ISSN 2405-8963. S2CID 235081987.
Ivakhnenko, A. G.; Lapa, V. G. (1967). Cybernetics and Forecasting Techniques (англ.). American Elsevier Publishing Co. ISBN .
Ivakhnenko, Alexey (1971). Polynomial theory of complex systems (PDF). IEEE Transactions on Systems, Man, and Cybernetics (англ.). SMC-1 (4): 364—378. doi:10.1109/TSMC.1971.4308320. Архів (PDF) оригіналу за 29 серпня 2017. Процитовано 5 листопада 2019.
Robbins, H.; Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics (англ.). 22 (3): 400. doi:10.1214/aoms/1177729586.
(1967). A theory of adaptive pattern classifier. IEEE Transactions (англ.). EC (16): 279—307.
Matthew Brand (1988) Machine and Brain Learning. University of Chicago Tutorial Studies Bachelor's Thesis, 1988. Reported at the Summer Linguistics Institute, Stanford University, 1987 (англ.)
(1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (фін.). University of Helsinki. с. 6—7.
(1976). Taylor expansion of the accumulated rounding error. BIT Numerical Mathematics (англ.). 16 (2): 146—160. doi:10.1007/bf01931367. S2CID 122357351.
Griewank, Andreas (2012). Who Invented the Reverse Mode of Differentiation? (PDF). Documenta Mathematica (англ.) (Extra Volume ISMP): 389—400. Архів оригіналу (PDF) за 21 липня 2017. Процитовано 11 червня 2017.
Leibniz, Gottfried Wilhelm Freiherr von (1920). The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) (англ.). Open court publishing Company. ISBN .
(1960). Gradient theory of optimal flight paths. ARS Journal (англ.). 30 (10): 947—954. doi:10.2514/8.5282.
Werbos, Paul (1982). Applications of advances in nonlinear sensitivity analysis. System modeling and optimization (англ.). Springer. с. 762—770.
Werbos, P. (1974). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Harvard University (англ.). Процитовано 12 червня 2017.
Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation [Архівовано 2022-10-13 у Wayback Machine.]". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986. (англ.)
Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biol. Cybern. (англ.). 36 (4): 193—202. doi:10.1007/bf00344251. PMID 7370364. S2CID 206775608.
Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (16 жовтня 2017). Searching for Activation Functions (англ.). arXiv:1710.05941 [cs.NE].
Aizenberg, I.N.; Aizenberg, N.N.; Vandewalle, J. (2000). Multi-Valued and Universal Binary Neurons (англ.). Science & Business Media. doi:10.1007/978-1-4757-3115-6. ISBN . Процитовано 27 грудня 2023.
Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005. (англ.)
Zhang, Wei (1988). Shift-invariant pattern recognition neural network and its optical architecture. Proceedings of Annual Conference of the Japan Society of Applied Physics (англ.).
Zhang, Wei (1990). Parallel distributed processing model with local space-invariant interconnections and its optical architecture. Applied Optics (англ.). 29 (32): 4790—7. Bibcode:1990ApOpt..29.4790Z. doi:10.1364/AO.29.004790. PMID 20577468.
LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, 1, pp. 541–551, 1989. (англ.)
Zhang, Wei (1991). Image processing of human corneal endothelium based on a learning network. Applied Optics (англ.). 30 (29): 4211—7. Bibcode:1991ApOpt..30.4211Z. doi:10.1364/AO.30.004211. PMID 20706526.
Zhang, Wei (1994). Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network. Medical Physics (англ.). 21 (4): 517—24. Bibcode:1994MedPh..21..517Z. doi:10.1118/1.597177. PMID 8058017.
LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). Gradient-based learning applied to document recognition (PDF). Proceedings of the IEEE (англ.). 86 (11): 2278—2324. CiteSeerX 10.1.1.32.9552. doi:10.1109/5.726791. S2CID 14542261. Процитовано 7 жовтня 2016.
Schmidhuber, Jürgen (1992). Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991) (PDF). Neural Computation (англ.). 4 (2): 234—242. doi:10.1162/neco.1992.4.2.234. S2CID 18271205.{{}}: Обслуговування CS1: Сторінки з параметром url-status, але без параметра archive-url ()
Schmidhuber, Jürgen (1993). Habilitation Thesis (PDF) (нім.). Архів оригіналу (PDF) за 26 червня 2021.
Schmidhuber, Jürgen (1 листопада 1992). Learning to control fast-weight memories: an alternative to recurrent nets. Neural Computation (англ.). 4 (1): 131—139. doi:10.1162/neco.1992.4.1.131. S2CID 16683347.
Schlag, Imanol; Irie, Kazuki; Schmidhuber, Jürgen (2021). Linear Transformers Are Secretly Fast Weight Programmers. ICML 2021 (англ.). Springer. с. 9355—9366.
Choromanski, Krzysztof; Likhosherstov, Valerii; Dohan, David; Song, Xingyou; Gane, Andreea; Sarlos, Tamas; Hawkins, Peter; Davis, Jared; Mohiuddin, Afroz; Kaiser, Lukasz; Belanger, David; Colwell, Lucy; Weller, Adrian (2020). Rethinking Attention with Performers (англ.). arXiv:2009.14794 [cs.CL].
Schmidhuber, Jürgen (1993). Reducing the ratio between learning complexity and number of time-varying variables in fully recurrent nets. ICANN 1993 (англ.). Springer. с. 460—463.
Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (12 червня 2017). Attention Is All You Need (англ.). arXiv:1706.03762 [cs.CL].
Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; von Platen, Patrick; Ma, Clara; Jernite, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Teven; Gugger, Sylvain; Drame, Mariama; Lhoest, Quentin; Rush, Alexander (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (англ.). с. 38—45. doi:10.18653/v1/2020.emnlp-demos.6. S2CID 208117506.
He, Cheng (31 грудня 2021). Transformer in CV. Transformer in CV (англ.). Towards Data Science.
Schmidhuber, Jürgen (1991). A possibility for implementing curiosity and boredom in model-building neural controllers. Proc. SAB'1991 (англ.). MIT Press/Bradford Books. с. 222—227.
Schmidhuber, Jürgen (2010). Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010). IEEE Transactions on Autonomous Mental Development (англ.). 2 (3): 230—247. doi:10.1109/TAMD.2010.2056368. S2CID 234198.
Schmidhuber, Jürgen (2020). Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991). Neural Networks (англ.). 127: 58—66. arXiv:1906.04493. doi:10.1016/j.neunet.2020.04.008. PMID 32334341. S2CID 216056336.
Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014) (англ.). с. 2672—2680. Архів (PDF) оригіналу за 22 листопада 2019. Процитовано 20 серпня 2019.
Prepare, Don't Panic: Synthetic Media and Deepfakes (англ.). witness.org. Архів оригіналу за 2 грудня 2020. Процитовано 25 листопада 2020.
GAN 2.0: NVIDIA's Hyperrealistic Face Generator. SyncedReview.com (англ.). 14 грудня 2018. Процитовано 3 жовтня 2019.
Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (26 лютого 2018). Progressive Growing of GANs for Improved Quality, Stability, and Variation (англ.). arXiv:1710.10196 [cs.NE].
S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen". [Архівовано 2015-03-06 у Wayback Machine.]. Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991. (нім.)
Hochreiter, S. та ін. (15 січня 2001). Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. У Kolen, John F.; Kremer, Stefan C. (ред.). A Field Guide to Dynamical Recurrent Networks (англ.). John Wiley & Sons. ISBN .
Hochreiter, Sepp; Schmidhuber, Jürgen (1 листопада 1997). Long Short-Term Memory. Neural Computation (англ.). 9 (8): 1735—1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276. S2CID 1915014.
Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). Learning to forget: Continual prediction with LSTM. 9th International Conference on Artificial Neural Networks: ICANN '99 (англ.). Т. 1999. с. 850—855. doi:10.1049/cp:19991218. ISBN .
Srivastava, Rupesh Kumar; Greff, Klaus; Schmidhuber, Jürgen (2 травня 2015). Highway Networks (англ.). arXiv:1505.00387 [cs.LG].
Srivastava, Rupesh K; Greff, Klaus; Schmidhuber, Jürgen (2015). Training Very Deep Networks. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 28: 2377—2385.
He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (англ.). Las Vegas, NV, USA: IEEE. с. 770—778. arXiv:1512.03385. doi:10.1109/CVPR.2016.90. ISBN .
de Carvalho, Andre C. L. F.; Fairhurst, Mike C.; Bisset, David (8 серпня 1994). An integrated Boolean neural network for pattern classification. Pattern Recognition Letters (англ.). 15 (8): 807—813. Bibcode:1994PaReL..15..807D. doi:10.1016/0167-8655(94)90009-4.
Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (26 травня 1995). The wake-sleep algorithm for unsupervised neural networks. Science (англ.). 268 (5214): 1158—1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831. S2CID 871473.
Behnke, Sven (2003). Hierarchical Neural Networks for Image Interpretation. Lecture Notes in Computer Science (англ.). Т. 2766. Springer. doi:10.1007/b11963. ISBN . S2CID 1304548.
Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1 серпня 1993). Hybrid neural network/hidden markov model systems for continuous speech recognition. International Journal of Pattern Recognition and Artificial Intelligence (англ.). 07 (4): 899—916. doi:10.1142/s0218001493000455. ISSN 0218-0014.
(1992). A real-time recurrent error propagation network word recognition system. ICASSP. Icassp'92 (англ.): 617—620. ISBN . Архів оригіналу за 9 травня 2021. Процитовано 12 червня 2017.
Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. J. (March 1989). Phoneme recognition using time-delay neural networks (PDF). IEEE Transactions on Acoustics, Speech, and Signal Processing (англ.). 37 (3): 328—339. doi:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN 0096-3518. S2CID 9563026. Архів (PDF) оригіналу за 27 квітня 2021. Процитовано 24 вересня 2019.
Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). Research Developments and Directions in Speech Recognition and Understanding, Part 1. IEEE Signal Processing Magazine (англ.). 26 (3): 75—80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166. hdl:1721.1/51891. S2CID 357467.
Bengio, Y. (1991). Artificial Neural Networks and their Application to Speech/Sequence Recognition (англ.). McGill University Ph.D. thesis. Архів оригіналу за 9 травня 2021. Процитовано 12 червня 2017.
Deng, L.; Hassanein, K.; Elmasry, M. (1994). Analysis of correlation structure for a neural predictive model with applications to speech recognition. Neural Networks (англ.). 7 (2): 331—339. doi:10.1016/0893-6080(94)90027-2.
Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective. Speech Communication (англ.). 31 (2): 225—254. doi:10.1016/S0167-6393(99)00080-1.
Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design. Speech Communication (англ.). 31 (2): 181—192. doi:10.1016/s0167-6393(99)00077-1.
Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available). ResearchGate (англ.). Архів оригіналу за 9 травня 2021. Процитовано 14 червня 2017.
Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). Biologically Plausible Speech Recognition with LSTM Neural Nets (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland (англ.). с. 175—184. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 9 квітня 2016.
; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks. Proceedings of the International Conference on Machine Learning, ICML 2006 (англ.): 369—376. CiteSeerX 10.1.1.75.6306.
Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). An application of recurrent neural networks to discriminative keyword spotting [Архівовано 2018-11-18 у Wayback Machine.]. Proceedings of ICANN (2), pp. 220–229. (англ.)
Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). Google voice search: faster and more accurate (англ.). Архів оригіналу за 9 березня 2016. Процитовано 9 квітня 2016.
Yann LeCun (2016). Slides on Deep Learning Online [Архівовано 2016-04-23 у Wayback Machine.] (англ.)
Hinton, Geoffrey E. (1 жовтня 2007). Learning multiple layers of representation. Trends in Cognitive Sciences (англ.). 11 (10): 428—434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042. S2CID 15066318. Архів оригіналу за 11 жовтня 2013. Процитовано 12 червня 2017.
Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). A Fast Learning Algorithm for Deep Belief Nets (PDF). ^[en] (англ.). 18 (7): 1527—1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950. Архів (PDF) оригіналу за 23 грудня 2015. Процитовано 20 липня 2011.
(2012). Practical recommendations for gradient-based training of deep architectures (англ.). arXiv:1206.5533 [cs.LG].
G. E. Hinton., "Learning multiple layers of representation". [Архівовано 2018-05-22 у Wayback Machine.]. Trends in Cognitive Sciences, 11, pp. 428–434, 2007. (англ.)
Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; ; Kingsbury, B. (2012). Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups. IEEE Signal Processing Magazine (англ.). 29 (6): 82—97. Bibcode:2012ISPM...29...82H. doi:10.1109/msp.2012.2205597. S2CID 206485943.
Deng, L.; Hinton, G.; Kingsbury, B. (травень 2013). New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP) (PDF) (англ.). Microsoft. Архів (PDF) оригіналу за 26 вересня 2017. Процитовано 27 грудня 2023.
Yu, D.; Deng, L. (2014). Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer) (англ.). Springer. ISBN .
Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research. Microsoft Research (англ.). 3 грудня 2015. Архів оригіналу за 16 березня 2018. Процитовано 16 березня 2018.
Li, Deng (September 2014). Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'. Interspeech (англ.). Архів оригіналу за 26 вересня 2017. Процитовано 12 червня 2017.
Yu, D.; Deng, L. (2010). Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition. NIPS Workshop on Deep Learning and Unsupervised Feature Learning (англ.). Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.
Seide, F.; Li, G.; Yu, D. (2011). Conversational speech transcription using context-dependent deep neural networks. Interspeech (англ.): 437—440. doi:10.21437/Interspeech.2011-169. S2CID 398770. Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.
Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (1 травня 2013). Recent Advances in Deep Learning for Speech Research at Microsoft. Microsoft Research (англ.). Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.
Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). Non-linear frequency warping using constant-Q transformation for speech emotion recognition. 2021 International Conference on Computer Communication and Informatics (ICCCI) (англ.). с. 1—4. arXiv:2102.04029. doi:10.1109/ICCCI50826.2021.9402569. ISBN . S2CID 231846518.
Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling (PDF) (англ.). Архів оригіналу (PDF) за 24 квітня 2018.
Li, Xiangang; Wu, Xihong (2014). Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition. arXiv:1410.4281 [cs.CL]. {{}}: Проігноровано невідомий параметр |langyage= ()
Zen, Heiga; Sak, Hasim (2015). Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis (PDF). Google.com (англ.). ICASSP. с. 4470—4474. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 13 червня 2017.
Nvidia CEO bets big on deep learning and VR (англ.). Venture Beat. 5 квітня 2016. Архів оригіналу за 25 листопада 2020. Процитовано 21 квітня 2017.
From not working to neural networking. The Economist (англ.). Архів оригіналу за 31 грудня 2016. Процитовано 26 серпня 2017.
Oh, K.-S.; Jung, K. (2004). GPU implementation of neural networks. Pattern Recognition (англ.). 37 (6): 1311—1314. Bibcode:2004PatRe..37.1311O. doi:10.1016/j.patcog.2004.01.013.
"A Survey of Techniques for Optimizing Deep Learning on GPUs [Архівовано 2021-05-09 у Wayback Machine.]", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019 (англ.)
Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing (англ.), архів оригіналу за 18 травня 2020, процитовано 14 лютого 2021
Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (21 вересня 2010). Deep, Big, Simple Neural Nets for Handwritten Digit Recognition. Neural Computation (англ.). 22 (12): 3207—3220. arXiv:1003.0358. doi:10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131. S2CID 1918673.
Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). Large-scale deep unsupervised learning using graphics processors. Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09 (англ.). New York, NY, USA: ACM. с. 873—880. CiteSeerX 10.1.1.154.372. doi:10.1145/1553374.1553486. ISBN . S2CID 392458.
; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). Efficient Processing of Deep Neural Networks: A Tutorial and Survey. arXiv:1703.09039 [cs.CV].
Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552 (англ.)
Google Research Blog. The neural networks behind Google Voice transcription. August 11, 2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html (англ.)
Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L.M.; Schmidhuber, J. (2011). Flexible, High Performance Convolutional Neural Networks for Image Classification (PDF). International Joint Conference on Artificial Intelligence (англ.). doi:10.5591/978-1-57735-516-8/ijcai11-210. Архів (PDF) оригіналу за 29 вересня 2014. Процитовано 13 червня 2017.
Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, C. J. C.; Bottou, L.; Weinberger, K. Q. (ред.). Advances in Neural Information Processing Systems 25 (PDF) (англ.). Curran Associates, Inc. с. 2843—2851. Архів (PDF) оригіналу за 9 серпня 2017. Процитовано 13 червня 2017.
Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science (англ.). Т. 7908, № Pt 2. с. 411—418. doi:10.1007/978-3-642-40763-5_51. ISBN . PMID 24579167.
Simonyan, Karen; Andrew, Zisserman (2014). Very Deep Convolution Networks for Large Scale Image Recognition (англ.). arXiv:1409.1556 [cs.CV].
Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). Show and Tell: A Neural Image Caption Generator (англ.). arXiv:1411.4555 [cs.CV]..
Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). From Captions to Visual Concepts and Back (англ.). arXiv:1411.4952 [cs.CV]..
Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models (англ.). arXiv:1411.2539 [cs.LG]..
Merck Molecular Activity Challenge. kaggle.com (англ.). Архів оригіналу за 16 липня 2020. Процитовано 16 липня 2020.
Multi-task Neural Networks for QSAR Predictions | Data Science Association. www.datascienceassn.org (англ.). Архів оригіналу за 30 квітня 2017. Процитовано 14 червня 2017.
"Toxicology in the 21st century Data Challenge" (англ.)
NCATS Announces Tox21 Data Challenge Winners (англ.). Архів оригіналу за 8 вересня 2015. Процитовано 5 березня 2015.
NCATS Announces Tox21 Data Challenge Winners (англ.). Архів оригіналу за 28 лютого 2015. Процитовано 5 березня 2015.
Why Deep Learning Is Suddenly Changing Your Life. Fortune (англ.). 2016. Архів оригіналу за 14 квітня 2018. Процитовано 13 квітня 2018.
Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies (англ.). Sourcebooks. ISBN .
Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (January 2016). Mastering the game of Go with deep neural networks and tree search. Nature (англ.). 529 (7587): 484—489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. S2CID 515925.
A Guide to Deep Learning and Neural Networks (англ.), архів оригіналу за 2 листопада 2020, процитовано 16 листопада 2020
Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). Deep neural networks for object detection. Advances in Neural Information Processing Systems (англ.): 2553—2561. Архів оригіналу за 29 червня 2017. Процитовано 13 червня 2017.
Rolnick, David; Tegmark, Max (2018). The power of deeper networks for expressing natural functions. International Conference on Learning Representations. ICLR 2018 (англ.). Архів оригіналу за 7 січня 2021. Процитовано 5 січня 2021.
Hof, Robert D. Is Artificial Intelligence Finally Coming into Its Own?. MIT Technology Review (англ.). Архів оригіналу за 31 березня 2019. Процитовано 10 липня 2018.
Gers, Felix A.; Schmidhuber, Jürgen (2001). LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages. IEEE Transactions on Neural Networks (англ.). 12 (6): 1333—1340. doi:10.1109/72.963769. PMID 18249962. S2CID 10192330. Архів оригіналу за 26 січня 2020. Процитовано 25 лютого 2020.
Sutskever, L.; Vinyals, O.; Le, Q. (2014). Sequence to Sequence Learning with Neural Networks (PDF). Proc. NIPS (англ.). arXiv:1409.3215. Bibcode:2014arXiv1409.3215S. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 13 червня 2017.
Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). Exploring the Limits of Language Modeling (англ.). arXiv:1602.02410 [cs.CL].
Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). Multilingual Language Processing from Bytes (англ.). arXiv:1512.00103 [cs.CL].
Mikolov, T. та ін. (2010). Recurrent neural network based language model (PDF). Interspeech (англ.): 1045—1048. doi:10.21437/Interspeech.2010-343. S2CID 17048224. Архів (PDF) оригіналу за 16 травня 2017. Процитовано 13 червня 2017.
Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available). ResearchGate (англ.). Архів оригіналу за 9 травня 2021. Процитовано 13 червня 2017.
LeCun, Y. та ін. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE (англ.). 86 (11): 2278—2324. doi:10.1109/5.726791. S2CID 14542261.
; Mohamed, Abdel-Rahman; Kingsbury, Brian; (2013). Deep convolutional neural networks for LVCSR. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (англ.). с. 8614—8618. doi:10.1109/icassp.2013.6639347. ISBN . S2CID 13816461.
Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). Advances in optimizing recurrent networks. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (англ.). с. 8624—8628. arXiv:1212.0901. CiteSeerX 10.1.1.752.9151. doi:10.1109/icassp.2013.6639349. ISBN . S2CID 12485056.

[1] Schulz, Hannes; Behnke, Sven (1 листопада 2012). Deep Learning. KI - Künstliche Intelligenz (англ.). 26 (4): 357—363. doi:10.1007/s13218-012-0198-z. ISSN 1610-1987. S2CID 220523562.

[ХомаБенч2019-2] Хома, Ю. В.; Бенч, А. Я. (2019). Порівняльний аналіз програмно-апаратного забезпечення алгоритмів глибокого навчання (PDF). Комп'ютерні системи і мережі (укр.). 1 (1): 97—102.

[ДорошЦаплюк2021-3] Дорош, Н. Л.; Цаплюк, О. В. (3-5 листопада 2021). Розпізнавання зображень алгоритмом глибокого навчання (PDF). VII Міжнародна науково-технічна конференція «Комп'ютерне моделювання та оптимізація складних систем» (укр.). Дніпро: УДХТУ. с. 91—92.

[БродкевичРемесло2018-4] Бродкевич, В. М.; Ремесло, В. Я. (2018). Алгоритми машинного навчання (МН) та глибокого навчання (ГН) і їх використання в прикладних додатках (PDF). Міжнародний науковий журнал «Інтернаука» (укр.). Київ. 1 (11 (51)): 56—60. ISSN 2520-2057.

[NatureBengio-5] LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (2015). Deep Learning. Nature (англ.). 521 (7553): 436—444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.

[:9-6] Ciresan, D.; Meier, U.; Schmidhuber, J. (2012). Multi-column deep neural networks for image classification. 2012 IEEE Conference on Computer Vision and Pattern Recognition (англ.). с. 3642—3649. arXiv:1202.2745. doi:10.1109/cvpr.2012.6248110. ISBN . S2CID 2161592.

[krizhevsky2012-7] Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey (2012). ImageNet Classification with Deep Convolutional Neural Networks (PDF). NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada (англ.). Архів (PDF) оригіналу за 10 січня 2017. Процитовано 24 травня 2017.

[8] Google's AlphaGo AI wins three-match series against the world's best Go player. TechCrunch (англ.). 25 травня 2017. Архів оригіналу за 17 червня 2018. Процитовано 17 червня 2018.

[9] Marblestone, Adam H.; Wayne, Greg; Kording, Konrad P. (2016). Toward an Integration of Deep Learning and Neuroscience. Frontiers in Computational Neuroscience (англ.). 10: 94. arXiv:1606.03813. Bibcode:2016arXiv160603813M. doi:10.3389/fncom.2016.00094. PMC 5021692. PMID 27683554. S2CID 1994856.

[10] Bengio, Yoshua; Lee, Dong-Hyun; Bornschein, Jorg; Mesnard, Thomas; Lin, Zhouhan (13 лютого 2015). Towards Biologically Plausible Deep Learning (англ.). arXiv:1502.04156 [cs.LG].

[11] Study urges caution when comparing neural networks to the brain. MIT News | Massachusetts Institute of Technology (англ.). 2 листопада 2022. Процитовано 6 грудня 2023.

[BOOK2014-12] Deng, L.; Yu, D. (2014). Deep Learning: Methods and Applications (PDF). Foundations and Trends in Signal Processing (англ.). 7 (3–4): 1—199. doi:10.1561/2000000039. Архів (PDF) оригіналу за 14 березня 2016. Процитовано 18 жовтня 2014.

[13] Zhang, W. J.; Yang, G.; Ji, C.; Gupta, M. M. (2018). On Definition of Deep Learning. 2018 World Automation Congress (WAC) (англ.). с. 1—5. doi:10.23919/WAC.2018.8430387. ISBN . S2CID 51971897.

[BENGIODEEP-14] Bengio, Yoshua (2009). Learning Deep Architectures for AI (PDF). Foundations and Trends in Machine Learning (англ.). 2 (1): 1—127. CiteSeerX 10.1.1.701.9550. doi:10.1561/2200000006. S2CID 207178999. Архів оригіналу (PDF) за 4 березня 2016. Процитовано 3 вересня 2015.

[BENGIO2012-15] Bengio, Y.; Courville, A.; Vincent, P. (2013). Representation Learning: A Review and New Perspectives. IEEE Transactions on Pattern Analysis and Machine Intelligence (англ.). 35 (8): 1798—1828. arXiv:1206.5538. doi:10.1109/tpami.2013.50. PMID 23787338. S2CID 393948.

[16] LeCun, Yann; Bengio, Yoshua; Hinton, Geoffrey (28 травня 2015). Deep learning. Nature (англ.). 521 (7553): 436—444. Bibcode:2015Natur.521..436L. doi:10.1038/nature14539. PMID 26017442. S2CID 3074096.

[SCHIDHUB-17] Schmidhuber, J. (2015). Deep Learning in Neural Networks: An Overview. Neural Networks (англ.). 61: 85—117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. S2CID 11715509.

[18] Shigeki, Sugiyama (12 квітня 2019). Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities (англ.). IGI Global. ISBN .

[BENGIO2007-19] Bengio, Yoshua; Lamblin, Pascal; Popovici, Dan; Larochelle, Hugo (2007). Greedy layer-wise training of deep networks (PDF). Advances in neural information processing systems (англ.). с. 153—160. Архів (PDF) оригіналу за 20 жовтня 2019. Процитовано 6 жовтня 2019.

[SCHOLARDBNS-20] Hinton, G.E. (2009). Deep belief networks. Scholarpedia (англ.). 4 (5): 5947. Bibcode:2009SchpJ...4.5947H. doi:10.4249/scholarpedia.5947.

[21] Sahu, Santosh Kumar; Mokhade, Anil; Bokde, Neeraj Dhanraj (січень 2023). An Overview of Machine Learning, Deep Learning, and Reinforcement Learning-Based Techniques in Quantitative Finance: Recent Progress and Challenges. Applied Sciences (англ.). 13 (3): 1956. doi:10.3390/app13031956. ISSN 2076-3417.

[cyb-22] Cybenko (1989). Approximations by superpositions of sigmoidal functions (PDF). ^[en] (англ.). 2 (4): 303—314. doi:10.1007/bf02551274. S2CID 3958369. Архів оригіналу (PDF) за 10 October 2015.

[horn-23] Hornik, Kurt (1991). Approximation Capabilities of Multilayer Feedforward Networks. Neural Networks (англ.). 4 (2): 251—257. doi:10.1016/0893-6080(91)90009-t. S2CID 7343126.

[Haykin,_Simon_1998-24] Haykin, Simon S. (1999). Neural Networks: A Comprehensive Foundation (англ.). Prentice Hall. ISBN .

[Hassoun,_M._1995_p._48-25] Hassoun, Mohamad H. (1995). Fundamentals of Artificial Neural Networks (англ.). MIT Press. с. 48. ISBN .

[ZhouLu-26] Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). The Expressive Power of Neural Networks: A View from the Width [Архівовано 2019-02-13 у Wayback Machine.]. Neural Information Processing Systems, 6231-6239. (англ.)

[27] Orhan, A. E.; Ma, W. J. (2017). Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback. Nature Communications (англ.). 8 (1): 138. Bibcode:2017NatCo...8..138O. doi:10.1038/s41467-017-00181-8. PMC 5527101. PMID 28743932.

[MURPHY-28] Murphy, Kevin P. (24 серпня 2012). Machine Learning: A Probabilistic Perspective (англ.). MIT Press. ISBN .

[Fukushima1969-29] Fukushima, K. (1969). Visual feature extraction by a multilayered network of analog threshold elements. IEEE Transactions on Systems Science and Cybernetics (англ.). 5 (4): 322—333. doi:10.1109/TSSC.1969.300225.

[sonoda17-30] Sonoda, Sho; Murata, Noboru (2017). Neural network with unbounded activation functions is universal approximator. Applied and Computational Harmonic Analysis (англ.). 43 (2): 233—268. arXiv:1505.03654. doi:10.1016/j.acha.2015.12.005. S2CID 12149203.

[prml-31] Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning (PDF) (англ.). Springer. ISBN . Архів (PDF) оригіналу за 11 січня 2017. Процитовано 6 серпня 2017.

[brush67-32] Brush, Stephen G. (1967). History of the Lenz-Ising Model. Reviews of Modern Physics (англ.). 39 (4): 883—893. Bibcode:1967RvMP...39..883B. doi:10.1103/RevModPhys.39.883.

[Amari1972-33] Amari, Shun-Ichi (1972). Learning patterns and pattern sequences by self-organizing nets of threshold elements. IEEE Transactions (англ.). C (21): 1197—1206.

[DLhistory-34] Schmidhuber, Jürgen (2022). Annotated History of Modern AI and Deep Learning (англ.). arXiv:2212.11279 [cs.NE].

[Hopfield1982-35] Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences (англ.). 79 (8): 2554—2558. Bibcode:1982PNAS...79.2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.

[Who_Is_the_Father_of_Deep_Learning?-36] Tappert, Charles C. (2019). Who Is the Father of Deep Learning?. 2019 International Conference on Computational Science and Computational Intelligence (CSCI) (англ.). IEEE. с. 343—348. doi:10.1109/CSCI49370.2019.00067. ISBN . S2CID 216043128. Процитовано 31 травня 2021.

[rosenblatt1962-37] Rosenblatt, Frank (1962). Principles of Neurodynamics (англ.). Spartan, New York.

[dechter1986-38] [en] (1986). Learning while searching in constraint-satisfaction problems. University of California, Computer Science Department, Cognitive Systems Laboratory.Online [Архівовано 2016-04-19 у Wayback Machine.] (англ.)

[39] Fradkov, Alexander L. (1 січня 2020). Early History of Machine Learning. IFAC-PapersOnLine. 21st IFAC World Congress (англ.). 53 (2): 1385—1390. doi:10.1016/j.ifacol.2020.12.1888. ISSN 2405-8963. S2CID 235081987.

[ivak1965-40] Ivakhnenko, A. G.; Lapa, V. G. (1967). Cybernetics and Forecasting Techniques (англ.). American Elsevier Publishing Co. ISBN .

[ivak1971-41] Ivakhnenko, Alexey (1971). Polynomial theory of complex systems (PDF). IEEE Transactions on Systems, Man, and Cybernetics (англ.). SMC-1 (4): 364—378. doi:10.1109/TSMC.1971.4308320. Архів (PDF) оригіналу за 29 серпня 2017. Процитовано 5 листопада 2019.

[robbins1951-42] Robbins, H.; Monro, S. (1951). A Stochastic Approximation Method. The Annals of Mathematical Statistics (англ.). 22 (3): 400. doi:10.1214/aoms/1177729586.

[Amari1967-43] (1967). A theory of adaptive pattern classifier. IEEE Transactions (англ.). EC (16): 279—307.

[Brand1988-44] Matthew Brand (1988) Machine and Brain Learning. University of Chicago Tutorial Studies Bachelor's Thesis, 1988. Reported at the Summer Linguistics Institute, Stanford University, 1987 (англ.)

[lin1970-45] (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (Masters) (фін.). University of Helsinki. с. 6—7.

[lin1976-46] (1976). Taylor expansion of the accumulated rounding error. BIT Numerical Mathematics (англ.). 16 (2): 146—160. doi:10.1007/bf01931367. S2CID 122357351.

[grie2012-47] Griewank, Andreas (2012). Who Invented the Reverse Mode of Differentiation? (PDF). Documenta Mathematica (англ.) (Extra Volume ISMP): 389—400. Архів оригіналу (PDF) за 21 липня 2017. Процитовано 11 червня 2017.

[leibniz1676-48] Leibniz, Gottfried Wilhelm Freiherr von (1920). The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir) (англ.). Open court publishing Company. ISBN .

[kelley1960-49] (1960). Gradient theory of optimal flight paths. ARS Journal (англ.). 30 (10): 947—954. doi:10.2514/8.5282.

[werbos1982-50] Werbos, Paul (1982). Applications of advances in nonlinear sensitivity analysis. System modeling and optimization (англ.). Springer. с. 762—770.

[WERBOS1974-51] Werbos, P. (1974). Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. Harvard University (англ.). Процитовано 12 червня 2017.

[rumelhart1986-52] Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation [Архівовано 2022-10-13 у Wayback Machine.]". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986. (англ.)

[FUKU1980-53] Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position. Biol. Cybern. (англ.). 36 (4): 193—202. doi:10.1007/bf00344251. PMID 7370364. S2CID 206775608.

[54] Ramachandran, Prajit; Barret, Zoph; Quoc, V. Le (16 жовтня 2017). Searching for Activation Functions (англ.). arXiv:1710.05941 [cs.NE].

[MV_1-55] Aizenberg, I.N.; Aizenberg, N.N.; Vandewalle, J. (2000). Multi-Valued and Universal Binary Neurons (англ.). Science & Business Media. doi:10.1007/978-1-4757-3115-6. ISBN . Процитовано 27 грудня 2023.

[56] Co-evolving recurrent neurons learn deep memory POMDPs. Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005. (англ.)

[wz1988-57] Zhang, Wei (1988). Shift-invariant pattern recognition neural network and its optical architecture. Proceedings of Annual Conference of the Japan Society of Applied Physics (англ.).

[wz1990-58] Zhang, Wei (1990). Parallel distributed processing model with local space-invariant interconnections and its optical architecture. Applied Optics (англ.). 29 (32): 4790—7. Bibcode:1990ApOpt..29.4790Z. doi:10.1364/AO.29.004790. PMID 20577468.

[LECUN1989-59] LeCun et al., "Backpropagation Applied to Handwritten Zip Code Recognition", Neural Computation, 1, pp. 541–551, 1989. (англ.)

[60] Zhang, Wei (1991). Image processing of human corneal endothelium based on a learning network. Applied Optics (англ.). 30 (29): 4211—7. Bibcode:1991ApOpt..30.4211Z. doi:10.1364/AO.30.004211. PMID 20706526.

[61] Zhang, Wei (1994). Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network. Medical Physics (англ.). 21 (4): 517—24. Bibcode:1994MedPh..21..517Z. doi:10.1118/1.597177. PMID 8058017.

[lecun98-62] LeCun, Yann; Léon Bottou; Yoshua Bengio; Patrick Haffner (1998). Gradient-based learning applied to document recognition (PDF). Proceedings of the IEEE (англ.). 86 (11): 2278—2324. CiteSeerX 10.1.1.32.9552. doi:10.1109/5.726791. S2CID 14542261. Процитовано 7 жовтня 2016.

[schmidhuber1992-63] Schmidhuber, Jürgen (1992). Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991) (PDF). Neural Computation (англ.). 4 (2): 234—242. doi:10.1162/neco.1992.4.2.234. S2CID 18271205.{{}}: Обслуговування CS1: Сторінки з параметром url-status, але без параметра archive-url ()

[schmidhuber1993-64] Schmidhuber, Jürgen (1993). Habilitation Thesis (PDF) (нім.). Архів оригіналу (PDF) за 26 червня 2021.

[transform1992-65] Schmidhuber, Jürgen (1 листопада 1992). Learning to control fast-weight memories: an alternative to recurrent nets. Neural Computation (англ.). 4 (1): 131—139. doi:10.1162/neco.1992.4.1.131. S2CID 16683347.

[schlag2021-66] Schlag, Imanol; Irie, Kazuki; Schmidhuber, Jürgen (2021). Linear Transformers Are Secretly Fast Weight Programmers. ICML 2021 (англ.). Springer. с. 9355—9366.

[choromanski2020-67] Choromanski, Krzysztof; Likhosherstov, Valerii; Dohan, David; Song, Xingyou; Gane, Andreea; Sarlos, Tamas; Hawkins, Peter; Davis, Jared; Mohiuddin, Afroz; Kaiser, Lukasz; Belanger, David; Colwell, Lucy; Weller, Adrian (2020). Rethinking Attention with Performers (англ.). arXiv:2009.14794 [cs.CL].

[attention1993-68] Schmidhuber, Jürgen (1993). Reducing the ratio between learning complexity and number of time-varying variables in fully recurrent nets. ICANN 1993 (англ.). Springer. с. 460—463.

[vaswani2017-69] Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia (12 червня 2017). Attention Is All You Need (англ.). arXiv:1706.03762 [cs.CL].

[wolf2020-70] Wolf, Thomas; Debut, Lysandre; Sanh, Victor; Chaumond, Julien; Delangue, Clement; Moi, Anthony; Cistac, Pierric; Rault, Tim; Louf, Remi; Funtowicz, Morgan; Davison, Joe; Shleifer, Sam; von Platen, Patrick; Ma, Clara; Jernite, Yacine; Plu, Julien; Xu, Canwen; Le Scao, Teven; Gugger, Sylvain; Drame, Mariama; Lhoest, Quentin; Rush, Alexander (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations (англ.). с. 38—45. doi:10.18653/v1/2020.emnlp-demos.6. S2CID 208117506.

[71] He, Cheng (31 грудня 2021). Transformer in CV. Transformer in CV (англ.). Towards Data Science.

[curiosity1991-72] Schmidhuber, Jürgen (1991). A possibility for implementing curiosity and boredom in model-building neural controllers. Proc. SAB'1991 (англ.). MIT Press/Bradford Books. с. 222—227.

[fun2010-73] Schmidhuber, Jürgen (2010). Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010). IEEE Transactions on Autonomous Mental Development (англ.). 2 (3): 230—247. doi:10.1109/TAMD.2010.2056368. S2CID 234198.

[gancurpm2020-74] Schmidhuber, Jürgen (2020). Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991). Neural Networks (англ.). 127: 58—66. arXiv:1906.04493. doi:10.1016/j.neunet.2020.04.008. PMID 32334341. S2CID 216056336.

[GANnips-75] Goodfellow, Ian; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). Generative Adversarial Networks (PDF). Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014) (англ.). с. 2672—2680. Архів (PDF) оригіналу за 22 листопада 2019. Процитовано 20 серпня 2019.

[76] Prepare, Don't Panic: Synthetic Media and Deepfakes (англ.). witness.org. Архів оригіналу за 2 грудня 2020. Процитовано 25 листопада 2020.

[SyncedReview2018-77] GAN 2.0: NVIDIA's Hyperrealistic Face Generator. SyncedReview.com (англ.). 14 грудня 2018. Процитовано 3 жовтня 2019.

[progressiveGAN2017-78] Karras, T.; Aila, T.; Laine, S.; Lehtinen, J. (26 лютого 2018). Progressive Growing of GANs for Improved Quality, Stability, and Variation (англ.). arXiv:1710.10196 [cs.NE].

[HOCH1991-79] S. Hochreiter., "Untersuchungen zu dynamischen neuronalen Netzen". [Архівовано 2015-03-06 у Wayback Machine.]. Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991. (нім.)

[HOCH2001-80] Hochreiter, S. та ін. (15 січня 2001). Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. У Kolen, John F.; Kremer, Stefan C. (ред.). A Field Guide to Dynamical Recurrent Networks (англ.). John Wiley & Sons. ISBN .

[:0-81] Hochreiter, Sepp; Schmidhuber, Jürgen (1 листопада 1997). Long Short-Term Memory. Neural Computation (англ.). 9 (8): 1735—1780. doi:10.1162/neco.1997.9.8.1735. ISSN 0899-7667. PMID 9377276. S2CID 1915014.

[lstm1999-82] Gers, Felix; Schmidhuber, Jürgen; Cummins, Fred (1999). Learning to forget: Continual prediction with LSTM. 9th International Conference on Artificial Neural Networks: ICANN '99 (англ.). Т. 1999. с. 850—855. doi:10.1049/cp:19991218. ISBN .

[highway2015-83] Srivastava, Rupesh Kumar; Greff, Klaus; Schmidhuber, Jürgen (2 травня 2015). Highway Networks (англ.). arXiv:1505.00387 [cs.LG].

[highway2015neurips-84] Srivastava, Rupesh K; Greff, Klaus; Schmidhuber, Jürgen (2015). Training Very Deep Networks. Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 28: 2377—2385.

[resnet2015-85] He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2016). Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (англ.). Las Vegas, NV, USA: IEEE. с. 770—778. arXiv:1512.03385. doi:10.1109/CVPR.2016.90. ISBN .

[86] Carvalho, Andre C. L. F.; Fairhurst, Mike C.; Bisset, David (8 серпня 1994). An integrated Boolean neural network for pattern classification. Pattern Recognition Letters (англ.). 15 (8): 807—813. Bibcode:1994PaReL..15..807D. doi:10.1016/0167-8655(94)90009-4.

[87] Hinton, Geoffrey E.; Dayan, Peter; Frey, Brendan J.; Neal, Radford (26 травня 1995). The wake-sleep algorithm for unsupervised neural networks. Science (англ.). 268 (5214): 1158—1161. Bibcode:1995Sci...268.1158H. doi:10.1126/science.7761831. PMID 7761831. S2CID 871473.

[88] Behnke, Sven (2003). Hierarchical Neural Networks for Image Interpretation. Lecture Notes in Computer Science (англ.). Т. 2766. Springer. doi:10.1007/b11963. ISBN . S2CID 1304548.

[89] Morgan, Nelson; Bourlard, Hervé; Renals, Steve; Cohen, Michael; Franco, Horacio (1 серпня 1993). Hybrid neural network/hidden markov model systems for continuous speech recognition. International Journal of Pattern Recognition and Artificial Intelligence (англ.). 07 (4): 899—916. doi:10.1142/s0218001493000455. ISSN 0218-0014.

[Robinson1992-90] (1992). A real-time recurrent error propagation network word recognition system. ICASSP. Icassp'92 (англ.): 617—620. ISBN . Архів оригіналу за 9 травня 2021. Процитовано 12 червня 2017.

[91] Waibel, A.; Hanazawa, T.; Hinton, G.; Shikano, K.; Lang, K. J. (March 1989). Phoneme recognition using time-delay neural networks (PDF). IEEE Transactions on Acoustics, Speech, and Signal Processing (англ.). 37 (3): 328—339. doi:10.1109/29.21701. hdl:10338.dmlcz/135496. ISSN 0096-3518. S2CID 9563026. Архів (PDF) оригіналу за 27 квітня 2021. Процитовано 24 вересня 2019.

[Baker2009-92] Baker, J.; Deng, Li; Glass, Jim; Khudanpur, S.; Lee, C.-H.; Morgan, N.; O'Shaughnessy, D. (2009). Research Developments and Directions in Speech Recognition and Understanding, Part 1. IEEE Signal Processing Magazine (англ.). 26 (3): 75—80. Bibcode:2009ISPM...26...75B. doi:10.1109/msp.2009.932166. hdl:1721.1/51891. S2CID 357467.

[Bengio1991-93] Bengio, Y. (1991). Artificial Neural Networks and their Application to Speech/Sequence Recognition (англ.). McGill University Ph.D. thesis. Архів оригіналу за 9 травня 2021. Процитовано 12 червня 2017.

[Deng1994-94] Deng, L.; Hassanein, K.; Elmasry, M. (1994). Analysis of correlation structure for a neural predictive model with applications to speech recognition. Neural Networks (англ.). 7 (2): 331—339. doi:10.1016/0893-6080(94)90027-2.

[Doddington2000-95] Doddington, G.; Przybocki, M.; Martin, A.; Reynolds, D. (2000). The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective. Speech Communication (англ.). 31 (2): 225—254. doi:10.1016/S0167-6393(99)00080-1.

[Heck2000-96] Heck, L.; Konig, Y.; Sonmez, M.; Weintraub, M. (2000). Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design. Speech Communication (англ.). 31 (2): 181—192. doi:10.1016/s0167-6393(99)00077-1.

[97] Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available). ResearchGate (англ.). Архів оригіналу за 9 травня 2021. Процитовано 14 червня 2017.

[graves2003-98] Graves, Alex; Eck, Douglas; Beringer, Nicole; Schmidhuber, Jürgen (2003). Biologically Plausible Speech Recognition with LSTM Neural Nets (PDF). 1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland (англ.). с. 175—184. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 9 квітня 2016.

[graves2006-99] ; Fernández, Santiago; Gomez, Faustino; Schmidhuber, Jürgen (2006). Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks. Proceedings of the International Conference on Machine Learning, ICML 2006 (англ.): 369—376. CiteSeerX 10.1.1.75.6306.

[fernandez2007keyword-100] Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). An application of recurrent neural networks to discriminative keyword spotting [Архівовано 2018-11-18 у Wayback Machine.]. Proceedings of ICANN (2), pp. 220–229. (англ.)

[sak2015-101] Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise; Schalkwyk, Johan (September 2015). Google voice search: faster and more accurate (англ.). Архів оригіналу за 9 березня 2016. Процитовано 9 квітня 2016.

[lecun2016slides-102] Yann LeCun (2016). Slides on Deep Learning Online [Архівовано 2016-04-23 у Wayback Machine.] (англ.)

[103] Hinton, Geoffrey E. (1 жовтня 2007). Learning multiple layers of representation. Trends in Cognitive Sciences (англ.). 11 (10): 428—434. doi:10.1016/j.tics.2007.09.004. ISSN 1364-6613. PMID 17921042. S2CID 15066318. Архів оригіналу за 11 жовтня 2013. Процитовано 12 червня 2017.

[hinton06-104] Hinton, G. E.; Osindero, S.; Teh, Y. W. (2006). A Fast Learning Algorithm for Deep Belief Nets (PDF). ^[en] (англ.). 18 (7): 1527—1554. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950. Архів (PDF) оригіналу за 23 грудня 2015. Процитовано 20 липня 2011.

[bengio2012-105] (2012). Practical recommendations for gradient-based training of deep architectures (англ.). arXiv:1206.5533 [cs.LG].

[HINTON2007-106] G. E. Hinton., "Learning multiple layers of representation". [Архівовано 2018-05-22 у Wayback Machine.]. Trends in Cognitive Sciences, 11, pp. 428–434, 2007. (англ.)

[HintonDengYu2012-107] Hinton, G.; Deng, L.; Yu, D.; Dahl, G.; Mohamed, A.; Jaitly, N.; Senior, A.; Vanhoucke, V.; Nguyen, P.; ; Kingsbury, B. (2012). Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups. IEEE Signal Processing Magazine (англ.). 29 (6): 82—97. Bibcode:2012ISPM...29...82H. doi:10.1109/msp.2012.2205597. S2CID 206485943.

[ReferenceICASSP2013-108] Deng, L.; Hinton, G.; Kingsbury, B. (травень 2013). New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP) (PDF) (англ.). Microsoft. Архів (PDF) оригіналу за 26 вересня 2017. Процитовано 27 грудня 2023.

[ReferenceA-109] Yu, D.; Deng, L. (2014). Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer) (англ.). Springer. ISBN .

[110] Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research. Microsoft Research (англ.). 3 грудня 2015. Архів оригіналу за 16 березня 2018. Процитовано 16 березня 2018.

[interspeech2014Keynote-111] Li, Deng (September 2014). Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'. Interspeech (англ.). Архів оригіналу за 26 вересня 2017. Процитовано 12 червня 2017.

[Roles2010-112] Yu, D.; Deng, L. (2010). Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition. NIPS Workshop on Deep Learning and Unsupervised Feature Learning (англ.). Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.

[113] Seide, F.; Li, G.; Yu, D. (2011). Conversational speech transcription using context-dependent deep neural networks. Interspeech (англ.): 437—440. doi:10.21437/Interspeech.2011-169. S2CID 398770. Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.

[114] Deng, Li; Li, Jinyu; Huang, Jui-Ting; Yao, Kaisheng; Yu, Dong; Seide, Frank; Seltzer, Mike; Zweig, Geoff; He, Xiaodong (1 травня 2013). Recent Advances in Deep Learning for Speech Research at Microsoft. Microsoft Research (англ.). Архів оригіналу за 12 жовтня 2017. Процитовано 14 червня 2017.

[115] Singh, Premjeet; Saha, Goutam; Sahidullah, Md (2021). Non-linear frequency warping using constant-Q transformation for speech emotion recognition. 2021 International Conference on Computer Communication and Informatics (ICCCI) (англ.). с. 1—4. arXiv:2102.04029. doi:10.1109/ICCCI50826.2021.9402569. ISBN . S2CID 231846518.

[sak2014-116] Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling (PDF) (англ.). Архів оригіналу (PDF) за 24 квітня 2018.

[liwu2015-117] Li, Xiangang; Wu, Xihong (2014). Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition. arXiv:1410.4281 [cs.CL]. {{}}: Проігноровано невідомий параметр |langyage= ()

[zen2015-118] Zen, Heiga; Sak, Hasim (2015). Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis (PDF). Google.com (англ.). ICASSP. с. 4470—4474. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 13 червня 2017.

[119] Nvidia CEO bets big on deep learning and VR (англ.). Venture Beat. 5 квітня 2016. Архів оригіналу за 25 листопада 2020. Процитовано 21 квітня 2017.

[120] From not working to neural networking. The Economist (англ.). Архів оригіналу за 31 грудня 2016. Процитовано 26 серпня 2017.

[jung2004-121] Oh, K.-S.; Jung, K. (2004). GPU implementation of neural networks. Pattern Recognition (англ.). 37 (6): 1311—1314. Bibcode:2004PatRe..37.1311O. doi:10.1016/j.patcog.2004.01.013.

[122] "A Survey of Techniques for Optimizing Deep Learning on GPUs [Архівовано 2021-05-09 у Wayback Machine.]", S. Mittal and S. Vaishay, Journal of Systems Architecture, 2019 (англ.)

[chellapilla2006-123] Chellapilla, Kumar; Puri, Sidd; Simard, Patrice (2006), High performance convolutional neural networks for document processing (англ.), архів оригіналу за 18 травня 2020, процитовано 14 лютого 2021

[:3-124] Cireşan, Dan Claudiu; Meier, Ueli; Gambardella, Luca Maria; Schmidhuber, Jürgen (21 вересня 2010). Deep, Big, Simple Neural Nets for Handwritten Digit Recognition. Neural Computation (англ.). 22 (12): 3207—3220. arXiv:1003.0358. doi:10.1162/neco_a_00052. ISSN 0899-7667. PMID 20858131. S2CID 1918673.

[125] Raina, Rajat; Madhavan, Anand; Ng, Andrew Y. (2009). Large-scale deep unsupervised learning using graphics processors. Proceedings of the 26th Annual International Conference on Machine Learning. ICML '09 (англ.). New York, NY, USA: ACM. с. 873—880. CiteSeerX 10.1.1.154.372. doi:10.1145/1553374.1553486. ISBN . S2CID 392458.

[sze2017-126] ; Chen, Yu-Hsin; Yang, Tien-Ju; Emer, Joel (2017). Efficient Processing of Deep Neural Networks: A Tutorial and Survey. arXiv:1703.09039 [cs.CV].

[127] Graves, Alex; and Schmidhuber, Jürgen; Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks, in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC, Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552 (англ.)

[GoogleVoiceTranscription-128] Google Research Blog. The neural networks behind Google Voice transcription. August 11, 2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html (англ.)

[:6-129] Ciresan, D. C.; Meier, U.; Masci, J.; Gambardella, L.M.; Schmidhuber, J. (2011). Flexible, High Performance Convolutional Neural Networks for Image Classification (PDF). International Joint Conference on Artificial Intelligence (англ.). doi:10.5591/978-1-57735-516-8/ijcai11-210. Архів (PDF) оригіналу за 29 вересня 2014. Процитовано 13 червня 2017.

[:8-130] Ciresan, Dan; Giusti, Alessandro; Gambardella, Luca M.; Schmidhuber, Jürgen (2012). Pereira, F.; Burges, C. J. C.; Bottou, L.; Weinberger, K. Q. (ред.). Advances in Neural Information Processing Systems 25 (PDF) (англ.). Curran Associates, Inc. с. 2843—2851. Архів (PDF) оригіналу за 9 серпня 2017. Процитовано 13 червня 2017.

[ciresan2013miccai-131] Ciresan, D.; Giusti, A.; Gambardella, L.M.; Schmidhuber, J. (2013). Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks. Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013. Lecture Notes in Computer Science (англ.). Т. 7908, № Pt 2. с. 411—418. doi:10.1007/978-3-642-40763-5_51. ISBN . PMID 24579167.

[VGG-132] Simonyan, Karen; Andrew, Zisserman (2014). Very Deep Convolution Networks for Large Scale Image Recognition (англ.). arXiv:1409.1556 [cs.CV].

[1411.4555-133] Vinyals, Oriol; Toshev, Alexander; Bengio, Samy; Erhan, Dumitru (2014). Show and Tell: A Neural Image Caption Generator (англ.). arXiv:1411.4555 [cs.CV]..

[1411.4952-134] Fang, Hao; Gupta, Saurabh; Iandola, Forrest; Srivastava, Rupesh; Deng, Li; Dollár, Piotr; Gao, Jianfeng; He, Xiaodong; Mitchell, Margaret; Platt, John C; Lawrence Zitnick, C; Zweig, Geoffrey (2014). From Captions to Visual Concepts and Back (англ.). arXiv:1411.4952 [cs.CV]..

[1411.2539-135] Kiros, Ryan; Salakhutdinov, Ruslan; Zemel, Richard S (2014). Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models (англ.). arXiv:1411.2539 [cs.LG]..

[MERCK2012-136] Merck Molecular Activity Challenge. kaggle.com (англ.). Архів оригіналу за 16 липня 2020. Процитовано 16 липня 2020.

[:5-137] Multi-task Neural Networks for QSAR Predictions | Data Science Association. www.datascienceassn.org (англ.). Архів оригіналу за 30 квітня 2017. Процитовано 14 червня 2017.

[TOX21-138] "Toxicology in the 21st century Data Challenge" (англ.)

[TOX21Data-139] NCATS Announces Tox21 Data Challenge Winners (англ.). Архів оригіналу за 8 вересня 2015. Процитовано 5 березня 2015.

[:11-140] NCATS Announces Tox21 Data Challenge Winners (англ.). Архів оригіналу за 28 лютого 2015. Процитовано 5 березня 2015.

[141] Why Deep Learning Is Suddenly Changing Your Life. Fortune (англ.). 2016. Архів оригіналу за 14 квітня 2018. Процитовано 13 квітня 2018.

[142] Ferrie, C., & Kaiser, S. (2019). Neural Networks for Babies (англ.). Sourcebooks. ISBN .

[143] Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (January 2016). Mastering the game of Go with deep neural networks and tree search. Nature (англ.). 529 (7587): 484—489. Bibcode:2016Natur.529..484S. doi:10.1038/nature16961. ISSN 1476-4687. PMID 26819042. S2CID 515925.

[Nokkada-144] A Guide to Deep Learning and Neural Networks (англ.), архів оригіналу за 2 листопада 2020, процитовано 16 листопада 2020

[145] Szegedy, Christian; Toshev, Alexander; Erhan, Dumitru (2013). Deep neural networks for object detection. Advances in Neural Information Processing Systems (англ.): 2553—2561. Архів оригіналу за 29 червня 2017. Процитовано 13 червня 2017.

[146] Rolnick, David; Tegmark, Max (2018). The power of deeper networks for expressing natural functions. International Conference on Learning Representations. ICLR 2018 (англ.). Архів оригіналу за 7 січня 2021. Процитовано 5 січня 2021.

[147] Hof, Robert D. Is Artificial Intelligence Finally Coming into Its Own?. MIT Technology Review (англ.). Архів оригіналу за 31 березня 2019. Процитовано 10 липня 2018.

[gers2001-148] Gers, Felix A.; Schmidhuber, Jürgen (2001). LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages. IEEE Transactions on Neural Networks (англ.). 12 (6): 1333—1340. doi:10.1109/72.963769. PMID 18249962. S2CID 10192330. Архів оригіналу за 26 січня 2020. Процитовано 25 лютого 2020.

[NIPS2014-149] Sutskever, L.; Vinyals, O.; Le, Q. (2014). Sequence to Sequence Learning with Neural Networks (PDF). Proc. NIPS (англ.). arXiv:1409.3215. Bibcode:2014arXiv1409.3215S. Архів (PDF) оригіналу за 9 травня 2021. Процитовано 13 червня 2017.

[vinyals2016-150] Jozefowicz, Rafal; Vinyals, Oriol; Schuster, Mike; Shazeer, Noam; Wu, Yonghui (2016). Exploring the Limits of Language Modeling (англ.). arXiv:1602.02410 [cs.CL].

[gillick2015-151] Gillick, Dan; Brunk, Cliff; Vinyals, Oriol; Subramanya, Amarnag (2015). Multilingual Language Processing from Bytes (англ.). arXiv:1512.00103 [cs.CL].

[MIKO2010-152] Mikolov, T. та ін. (2010). Recurrent neural network based language model (PDF). Interspeech (англ.): 1045—1048. doi:10.21437/Interspeech.2010-343. S2CID 17048224. Архів (PDF) оригіналу за 16 травня 2017. Процитовано 13 червня 2017.

[:10-153] Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available). ResearchGate (англ.). Архів оригіналу за 9 травня 2021. Процитовано 13 червня 2017.

[LECUN86-154] LeCun, Y. та ін. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE (англ.). 86 (11): 2278—2324. doi:10.1109/5.726791. S2CID 14542261.

[:2-155] ; Mohamed, Abdel-Rahman; Kingsbury, Brian; (2013). Deep convolutional neural networks for LVCSR. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (англ.). с. 8614—8618. doi:10.1109/icassp.2013.6639347. ISBN . S2CID 13816461.

[156] Bengio, Yoshua; Boulanger-Lewandowski, Nicolas; Pascanu, Razvan (2013). Advances in optimizing recurrent networks. 2013 IEEE International Conference on Acoustics, Speech and Signal Processing (англ.). с. 8624—8628. arXiv:1212.0901. CiteSeerX 10.1.1.752.9151. doi:10.1109/icassp.2013.6639349. ISBN . S2CID 12485056.