Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Двонаправлена рекурентна нейронна мережа англ bidirectional recurrent neural network BRNN з єднують у протилежних напрям

Двонаправлені рекурентні нейронні мережі

Двонаправлені рекурентні нейронні мережі

Двонаправлена рекурентна нейронна мережа (англ. bidirectional recurrent neural network, BRNN) з'єднують у протилежних напрямках два прихованих шари з однаковим входом. Завдяки такій формі породжувального навчання, вихідний шар рекурентної нейронної мережі може отримувати інформацію з минулих (попередніх) та майбутніх станів (наступних) одночасно. Вони були винайдені в 1997 році Майком Шустером і Кулдіпом Палівалем. BRNN були введені для збільшення кількості вхідної інформації, доступної для мережі. Наприклад, багатошаровий персептрон (MLP) та нейронна мережа з часовою затримкою (TDNNs) мають обмеження на гнучкість вхідних даних, оскільки вони вимагають фіксування вхідних даних. Стандартна рекурентна нейронна мережа (RNN) також має обмеження, оскільки майбутня вхідна інформація не може бути досягнута з поточного стану. Навпаки, BRNN не вимагає фіксації вхідних даних. Більш того, майбутня вхідна інформація доступна з поточного стану.

image
Структура RNN та BRNN

BRNN особливо корисні, коли наявність контексту вхідних даних покращує результат. Наприклад, при розпізнаванні рукописного тексту, точність може бути посилена розпізнанням букв, розташованих до і після поточної.

Архітектура

Принцип BRNN полягає в тому, щоб розбити нейрони звичайної RNN на два напрямки: один для додатного напрямку часу (подальші стани), а інший для від'ємного напрямку часу (попередні стани). Вихід цих двох станів не пов'язаний з входами станів протилежного напрямку. Загальна структура RNN та BRNN бути зображена на діаграмі. Використовуючи два напрямки часу, може бути використана вхідна інформація з минулого та майбутнього поточного періоду, на відміну від стандартного RNN, що вимагає затримок для включення майбутньої інформації.

Навчання

BRNN можна навчити, використовуючи подібні алгоритми в порівнянні з RNN, тому що два спрямованих нейрони не мають ніяких взаємодій. Проте, коли застосовується зворотне поширення, потрібні додаткові процеси, оскільки оновлення вхідних і вихідних шарів не можуть бути виконані одночасно. Загальні процедури тренувань полягають у наступному: для форвардного проходу спочатку проходять подальші стани і попередні стани, а потім проходять вихідні нейрони. Для зворотного проходу спочатку проходять вихідні нейрони, після чого передаються подальші і попередні стани. Після проходження вперед і назад, ваги оновлюються.

Застосунки

BRNN застосовується у задача:

Див. також

Література

  1. Schuster, Mike, and Kuldip K. Paliwal. «Bidirectional recurrent neural networks.» Signal Processing, IEEE Transactions on 45.11 (1997): 2673—2681.2. Awni Hannun, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan
  2. . deepai.org. Архів оригіналу за 16 лютого 2019.
  3. Graves, Alex, Santiago Fernández, and Jürgen Schmidhuber. «Bidirectional LSTM networks for improved phoneme classification and recognition.» Artificial Neural Networks: Formal Models and Their Applications–ICANN 2005. Springer Berlin Heidelberg, 2005. 799—804.
  4. Graves, Alan, Navdeep Jaitly, and Abdel-rahman Mohamed. «Hybrid speech recognition with deep bidirectional LSTM.» Automatic Speech Recognition and Understanding (ASRU), 2013 IEEE Workshop on. IEEE, 2013.
  5. Sundermeyer, Martin, et al. «Translation modeling with bidirectional recurrent neural networks.» Proceedings of the Conference on Empirical Methods on Natural Language Processing, October. 2014.
  6. Liwicki, Marcus, et al. «A novel approach to on-line handwriting recognition based on bidirectional long short-term memory networks.» Proc. 9th Int. Conf. on Document Analysis and Recognition. Vol. 1. 2007.
  7. Baldi, Pierre, et al. «Exploiting the past and the future in protein secondary structure prediction.» Bioinformatics 15.11 (1999): 937—946.
  8. Pollastri, Gianluca, and Aoife Mclysaght. «Porter: a new, accurate server for protein secondary structure prediction.» Bioinformatics 21.8 (2005): 1719—1720.
  9. Grella and Cangialosi «Non-Projective Dependency Parsing via Latent Heads Representation» (2018).
  10. Dernoncourt, Franck; Lee, Ji Young; Szolovits, Peter (15 травня 2017). NeuroNER: an easy-to-use program for named-entity recognition based on neural networks. arXiv:1705.05487 [cs.CL].

Посилання

  • Створення BRNN / LSTM в Python з Theano [ 12 червня 2018 у Wayback Machine.]
  • Lee, Ceshine (13 листопада 2017). . Towards Data Science. Архів оригіналу за 1 квітня 2019. Процитовано 1 квітня 2019.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Dvonapravlena rekurentna nejronna merezha angl bidirectional recurrent neural network BRNN z yednuyut u protilezhnih napryamkah dva prihovanih shari z odnakovim vhodom Zavdyaki takij formi porodzhuvalnogo navchannya vihidnij shar rekurentnoyi nejronnoyi merezhi mozhe otrimuvati informaciyu z minulih poperednih ta majbutnih staniv nastupnih odnochasno Voni buli vinajdeni v 1997 roci Majkom Shusterom i Kuldipom Palivalem BRNN buli vvedeni dlya zbilshennya kilkosti vhidnoyi informaciyi dostupnoyi dlya merezhi Napriklad bagatosharovij perseptron MLP ta nejronna merezha z chasovoyu zatrimkoyu TDNNs mayut obmezhennya na gnuchkist vhidnih danih oskilki voni vimagayut fiksuvannya vhidnih danih Standartna rekurentna nejronna merezha RNN takozh maye obmezhennya oskilki majbutnya vhidna informaciya ne mozhe buti dosyagnuta z potochnogo stanu Navpaki BRNN ne vimagaye fiksaciyi vhidnih danih Bilsh togo majbutnya vhidna informaciya dostupna z potochnogo stanu Struktura RNN ta BRNN BRNN osoblivo korisni koli nayavnist kontekstu vhidnih danih pokrashuye rezultat Napriklad pri rozpiznavanni rukopisnogo tekstu tochnist mozhe buti posilena rozpiznannyam bukv roztashovanih do i pislya potochnoyi ArhitekturaPrincip BRNN polyagaye v tomu shob rozbiti nejroni zvichajnoyi RNN na dva napryamki odin dlya dodatnogo napryamku chasu podalshi stani a inshij dlya vid yemnogo napryamku chasu poperedni stani Vihid cih dvoh staniv ne pov yazanij z vhodami staniv protilezhnogo napryamku Zagalna struktura RNN ta BRNN buti zobrazhena na diagrami Vikoristovuyuchi dva napryamki chasu mozhe buti vikoristana vhidna informaciya z minulogo ta majbutnogo potochnogo periodu na vidminu vid standartnogo RNN sho vimagaye zatrimok dlya vklyuchennya majbutnoyi informaciyi NavchannyaBRNN mozhna navchiti vikoristovuyuchi podibni algoritmi v porivnyanni z RNN tomu sho dva spryamovanih nejroni ne mayut niyakih vzayemodij Prote koli zastosovuyetsya zvorotne poshirennya potribni dodatkovi procesi oskilki onovlennya vhidnih i vihidnih shariv ne mozhut buti vikonani odnochasno Zagalni proceduri trenuvan polyagayut u nastupnomu dlya forvardnogo prohodu spochatku prohodyat podalshi stani i poperedni stani a potim prohodyat vihidni nejroni Dlya zvorotnogo prohodu spochatku prohodyat vihidni nejroni pislya chogo peredayutsya podalshi i poperedni stani Pislya prohodzhennya vpered i nazad vagi onovlyuyutsya ZastosunkiBRNN zastosovuyetsya u zadacha Rozpiznavannya movlennya u poyednanni z dovgoyu korotkochasnoyu pam yattyu Pereklad Rozpiznavannya rukopisnogo vvedennya Prognoz strukturi proteyinu Rozmichuvannya chastin movi Sintaksichnij analiz zalezhnostej Vidobutok sutnostejDiv takozhShtuchna nejronna merezha Rekurentna nejronna merezha Dovga korotkochasna pam yatLiteraturaSchuster Mike and Kuldip K Paliwal Bidirectional recurrent neural networks Signal Processing IEEE Transactions on 45 11 1997 2673 2681 2 Awni Hannun Carl Case Jared Casper Bryan Catanzaro Greg Diamos Erich Elsen Ryan deepai org Arhiv originalu za 16 lyutogo 2019 Graves Alex Santiago Fernandez and Jurgen Schmidhuber Bidirectional LSTM networks for improved phoneme classification and recognition Artificial Neural Networks Formal Models and Their Applications ICANN 2005 Springer Berlin Heidelberg 2005 799 804 Graves Alan Navdeep Jaitly and Abdel rahman Mohamed Hybrid speech recognition with deep bidirectional LSTM Automatic Speech Recognition and Understanding ASRU 2013 IEEE Workshop on IEEE 2013 Sundermeyer Martin et al Translation modeling with bidirectional recurrent neural networks Proceedings of the Conference on Empirical Methods on Natural Language Processing October 2014 Liwicki Marcus et al A novel approach to on line handwriting recognition based on bidirectional long short term memory networks Proc 9th Int Conf on Document Analysis and Recognition Vol 1 2007 Baldi Pierre et al Exploiting the past and the future in protein secondary structure prediction Bioinformatics 15 11 1999 937 946 Pollastri Gianluca and Aoife Mclysaght Porter a new accurate server for protein secondary structure prediction Bioinformatics 21 8 2005 1719 1720 Grella and Cangialosi Non Projective Dependency Parsing via Latent Heads Representation 2018 Dernoncourt Franck Lee Ji Young Szolovits Peter 15 travnya 2017 NeuroNER an easy to use program for named entity recognition based on neural networks arXiv 1705 05487 cs CL PosilannyaStvorennya BRNN LSTM v Python z Theano 12 chervnya 2018 u Wayback Machine Lee Ceshine 13 listopada 2017 Towards Data Science Arhiv originalu za 1 kvitnya 2019 Procitovano 1 kvitnya 2019

Дата публікації:
Топ