Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Нейронний машинний переклад NMT різновид машинного перекладу який передбачає використання штучної нейронної мережі для п

Нейронний машинний переклад

Нейронний машинний переклад

Нейронний машинний переклад (NMT) — різновид машинного перекладу, який передбачає використання штучної нейронної мережі для прогнозування ймовірності послідовності слів, зазвичай шляхом оперування одразу цілими реченнями в одній інтегрованій моделі.

Властивості

NMT-моделі використовують глибоке навчання та навчання ознакам. Для їх роботи потрібна лише частка пам'яті, необхідної для використання традиційних моделей статистичного машинного перекладу (SMT). Крім того, на відміну від звичайних систем перекладу, усі частини моделі нейронного перекладу навчаються разом від початку до кінця (end-to-end), що дає змогу максимізувати продуктивність перекладу .

Історія

Уперше програми глибокого навчання почали застосовувати в 1990-х роках у задачах із розпізнавання мовлення.

Перша наукова стаття про використання нейронних мереж у машинному перекладі з'явилася у 2014 році, а впродовж кількох наступних із її допомогою вдалося вирішити чимало інших задач. Станом на 2017 рік це такі системи:

  • NMT-системи з великим словником (Large-Vocabulary NMT)
  • NMT-системи з урахуванням частин слів (Subword-NMT)
  • Багатомовні NMT-системи (Multilingual NMT)
  • NMT-системи з багатьма джерелами (Multi-Source NMT)
  • NMT-системи без джерел (Zero-Resource NMT)
  • NMT-системи на рівні символів (Character-dec NMT)
  • Повносимвольні NMT-системи (Fully Character-NMT)
  • NMT-системи без підготовки (Zero-Shot NMT)
  • Google
  • Додаток для захоплення зображень.

У 2015 році NMT-система вперше з'явилася на відкритому конкурсі машинного перекладу (OpenMT '15). На WMT '15 теж уперше взяв участь NMT-претендент; наступного року серед переможців було вже 90 % NMT-систем.

З 2017 року використовує нейронний машинний переклад для миттєвого надання доступу до інформації, вміщеної у глобальній патентній системі}}. Система, розроблена у співпраці з Google, працює 31 мовою. Станом на 2018 рік система переклала понад 9 млн документів}}.

Напрацювання

NMT-система є розвитком статистичного підходу на рівні фраз, який працює на основі незалежних підкомпонентів. Нейронний машинний переклад (NMT) не є кардинальною відмовою від статистичного машинного перекладу (SMT). Його основним вихідним пунктом є використання векторного подання слів і внутрішніх станів — «вбудовування» (embeddings), «подання в неперервному просторі» (continuous space representations).

Структура NMT-моделей простіша порівняно зі структурою моделей на основі фраз: у ній немає окремої мовної моделі, моделі перекладу та моделі перевпорядкування, а є лише одна модель послідовностей, яка передбачає одне слово за раз. Однак це передбачення послідовності слів спирається одразу на все вихідне речення та на всю вже створену цільову послідовність.

Перші спроби моделювання послідовності слів зазвичай проводилися за допомогою рекурентної нейронної мережі (RNN). Двонаправлена рекурентна нейронна мережа, так званий кодувальник (encoder), використовується для кодування вихідного речення для другої RNN, відомого як розкодувальник (decoder), а та, своєю чергою, використовується для передбачення слів цільовою мовою.

Перед рекурентними нейронними мережами постають труднощі під час кодування довгих вхідних даних в один вектор. Їх можна подолати за допомогою механізму уваги (attention mechanism), який дає декодувальнику змогу зосереджуватися на різних частинах вхідних даних під час генерації кожного вихідного слова. Існують моделі покриття (coverage models) для вирішення проблем у таких механізмах уваги, які призводять до генерування надто довгого або надто короткого перекладу (наприклад, ігнорування наявної інформації про вирівнювання).

Згорткові нейронні мережі (convnets) дещо краще обробляють довгі неперервні послідовності, але певний час їх не використовували через наявність кількох недоліків. У 2017 році ці недоліки вдалося успішно подолати за допомогою «механізмів уваги».

Домінуючою архітектурою для кількох мовних пар залишається модель Transformer, яка базується на механізмі уваги. На рівнях «самоуваги» цієї моделі досліджуються залежності між словами послідовності шляхом аналізу зв'язків між усіма словами в парних послідовностях і безпосереднього моделювання цих зв'язків. Цей підхід простіший, ніж механізм селекції, на якому працюють рекурентні нейронні мережі. А його простота дала дослідникам змогу розробляти високоякісні моделі перекладу за допомогою моделі Transformer, навіть в умовах, коли кількість вхідних даних невелика.

Приклади застосування

Нейронний переклад використовується у сервісах перекладу багатьох компаній — як-от Google, Microsoft, Яндекс, ПРОМТ.

  • Google використовує особливий різновид нейронного машинного перекладу — так званий Google Neural Machine Translation (GNMT).
  • Майкрософт використовує подібну технологію для перекладу мовлення — зокрема, у Майкрософт Перекладачі та Skype Перекладачі.
  • Гарвардська група з обробки природної мови випустила OpenNMT — систему нейронного машинного перекладу з відкритим вихідних кодом.
  • У Яндекс.Перекладачі використовується гібридна модель: свій варіант перекладу пропонує і статистична модель, і нейромережа, після чого за допомогою технології CatBoost, яка працює на основі машинного навчання, вибирається кращий з отриманих результатів.

Пропонувати системи на основі нейронних мереж почали й інші постачальники машинного перекладу, зокрема Omniscien Technologies (раніше Asia Online), KantanMT, SDL, Globalese, Systran тощо. DeepL надає загальну систему перекладу із системами штучного інтелекту глибокого навчання.

Див. також

Примітки

  1. Kalchbrenner, Nal; Blunsom, Philip (2013). Recurrent Continuous Translation Models. Proceedings of the Association for Computational Linguistics: 1700—1709.
  2. Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014). Sequence to sequence learning with neural networks. arXiv:1409.3215 [cs.CL].
  3. Kyunghyun Cho; Bart van Merrienboer; Dzmitry Bahdanau; Yoshua Bengio (3 September 2014). On the Properties of Neural Machine Translation: Encoder–Decoder Approaches. arXiv:1409.1259 [cs.CL].
  4. OpenMT Challenge 2015. NIST (англ.). 11 вересня 2015. Процитовано 27 липня 2022.
  5. WMT15. Machine Translate (амер.). Процитовано 27 липня 2022.
  6. Bojar, Ondrej; Chatterjee, Rajen; Federmann, Christian; Graham, Yvette; Haddow, Barry; Huck, Matthias; Yepes, Antonio Jimeno; Koehn, Philipp; Logacheva, Varvara; Monz, Christof; Negri, Matteo; Névéol, Aurélie; Neves, Mariana; Popel, Martin; Post, Matt; Rubino, Raphael; Scarton, Carolina; Specia, Lucia; Turchi, Marco; Verspoor, Karin; Zampieri, Marcos (2016). (PDF). ACL 2016 First Conference on Machine Translation (WMT16). The Association for Computational Linguistics: 131—198. Архів оригіналу (PDF) за 27 січня 2018. Процитовано 27 січня 2018.
  7. Neural Machine Translation. European Patent Office. 16 липня 2018. Процитовано 14 червня 2021.
  8. Wołk, Krzysztof; Marasek, Krzysztof (2015). Neural-based Machine Translation for Medical Text Domain. Based on European Medicines Agency Leaflet Texts. Procedia Computer Science. 64 (64): 2—9. arXiv:1509.08644. Bibcode:2015arXiv150908644W. doi:10.1016/j.procs.2015.08.456. S2CID 15218663.
  9. Dzmitry Bahdanau; Cho Kyunghyun; Yoshua Bengio (2014). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473 [cs.CL].
  10. Bahdanau, Dzmitry; Cho, Kyunghyun; Bengio, Yoshua (1 вересня 2014). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473 [cs.CL].
  11. Tu, Zhaopeng; Lu, Zhengdong; Liu, Yang; Liu, Xiaohua; Li, Hang (2016). Modeling Coverage for Neural Machine Translation. arXiv:1601.04811 [cs.CL].
  12. Coldewey, Devin (29 серпня 2017). DeepL schools other online translators with clever machine learning. TechCrunch. Процитовано 27 січня 2018.
  13. Barrault, Loïc; Bojar, Ondřej; Costa-jussà, Marta R.; Federmann, Christian; Fishel, Mark; Graham, Yvette; Haddow, Barry; Huck, Matthias; Koehn, Philipp (August 2019). Findings of the 2019 Conference on Machine Translation (WMT19). Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1). Florence, Italy: Association for Computational Linguistics: 1—61. doi:10.18653/v1/W19-5301.
  14. OpenNMT - Open-Source Neural Machine Translation. opennmt.net. Процитовано 27 липня 2022.
  15. CatBoost - state-of-the-art open-source gradient boosting library with categorical features support. catboost.ai (англ.). Процитовано 27 липня 2022.
  16. Machine Translation. Omniscien Technologies (амер.). Процитовано 27 липня 2022.
  17. SDL Brings Powerful Cloud-Based Neural Machine Translation to Global Brands. www.rws.com (амер.). Процитовано 27 липня 2022.
  18. Horváth, Greg (5 вересня 2017). Globalese 3.0 released. Globalese (амер.). Процитовано 27 липня 2022.
  19. Neural Machine Translation (NMT) | SYSTRAN. www.systransoft.com (англ.). Процитовано 27 липня 2022.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Nejronnij mashinnij pereklad NMT riznovid mashinnogo perekladu yakij peredbachaye vikoristannya shtuchnoyi nejronnoyi merezhi dlya prognozuvannya jmovirnosti poslidovnosti sliv zazvichaj shlyahom operuvannya odrazu cilimi rechennyami v odnij integrovanij modeli VlastivostiNMT modeli vikoristovuyut gliboke navchannya ta navchannya oznakam Dlya yih roboti potribna lishe chastka pam yati neobhidnoyi dlya vikoristannya tradicijnih modelej statistichnogo mashinnogo perekladu SMT Krim togo na vidminu vid zvichajnih sistem perekladu usi chastini modeli nejronnogo perekladu navchayutsya razom vid pochatku do kincya end to end sho daye zmogu maksimizuvati produktivnist perekladu IstoriyaUpershe programi glibokogo navchannya pochali zastosovuvati v 1990 h rokah u zadachah iz rozpiznavannya movlennya Persha naukova stattya pro vikoristannya nejronnih merezh u mashinnomu perekladi z yavilasya u 2014 roci a vprodovzh kilkoh nastupnih iz yiyi dopomogoyu vdalosya virishiti chimalo inshih zadach Stanom na 2017 rik ce taki sistemi NMT sistemi z velikim slovnikom Large Vocabulary NMT NMT sistemi z urahuvannyam chastin sliv Subword NMT Bagatomovni NMT sistemi Multilingual NMT NMT sistemi z bagatma dzherelami Multi Source NMT NMT sistemi bez dzherel Zero Resource NMT NMT sistemi na rivni simvoliv Character dec NMT Povnosimvolni NMT sistemi Fully Character NMT NMT sistemi bez pidgotovki Zero Shot NMT Google Dodatok dlya zahoplennya zobrazhen U 2015 roci NMT sistema vpershe z yavilasya na vidkritomu konkursi mashinnogo perekladu OpenMT 15 Na WMT 15 tezh upershe vzyav uchast NMT pretendent nastupnogo roku sered peremozhciv bulo vzhe 90 NMT sistem Z 2017 roku vikoristovuye nejronnij mashinnij pereklad dlya mittyevogo nadannya dostupu do informaciyi vmishenoyi u globalnij patentnij sistemi Sistema rozroblena u spivpraci z Google pracyuye 31 movoyu Stanom na 2018 rik sistema pereklala ponad 9 mln dokumentiv NapracyuvannyaNMT sistema ye rozvitkom statistichnogo pidhodu na rivni fraz yakij pracyuye na osnovi nezalezhnih pidkomponentiv Nejronnij mashinnij pereklad NMT ne ye kardinalnoyu vidmovoyu vid statistichnogo mashinnogo perekladu SMT Jogo osnovnim vihidnim punktom ye vikoristannya vektornogo podannya sliv i vnutrishnih staniv vbudovuvannya embeddings podannya v neperervnomu prostori continuous space representations Struktura NMT modelej prostisha porivnyano zi strukturoyu modelej na osnovi fraz u nij nemaye okremoyi movnoyi modeli modeli perekladu ta modeli perevporyadkuvannya a ye lishe odna model poslidovnostej yaka peredbachaye odne slovo za raz Odnak ce peredbachennya poslidovnosti sliv spirayetsya odrazu na vse vihidne rechennya ta na vsyu vzhe stvorenu cilovu poslidovnist Pershi sprobi modelyuvannya poslidovnosti sliv zazvichaj provodilisya za dopomogoyu rekurentnoyi nejronnoyi merezhi RNN Dvonapravlena rekurentna nejronna merezha tak zvanij koduvalnik encoder vikoristovuyetsya dlya koduvannya vihidnogo rechennya dlya drugoyi RNN vidomogo yak rozkoduvalnik decoder a ta svoyeyu chergoyu vikoristovuyetsya dlya peredbachennya sliv cilovoyu movoyu Pered rekurentnimi nejronnimi merezhami postayut trudnoshi pid chas koduvannya dovgih vhidnih danih v odin vektor Yih mozhna podolati za dopomogoyu mehanizmu uvagi attention mechanism yakij daye dekoduvalniku zmogu zoseredzhuvatisya na riznih chastinah vhidnih danih pid chas generaciyi kozhnogo vihidnogo slova Isnuyut modeli pokrittya coverage models dlya virishennya problem u takih mehanizmah uvagi yaki prizvodyat do generuvannya nadto dovgogo abo nadto korotkogo perekladu napriklad ignoruvannya nayavnoyi informaciyi pro virivnyuvannya Zgortkovi nejronni merezhi convnets desho krashe obroblyayut dovgi neperervni poslidovnosti ale pevnij chas yih ne vikoristovuvali cherez nayavnist kilkoh nedolikiv U 2017 roci ci nedoliki vdalosya uspishno podolati za dopomogoyu mehanizmiv uvagi Dominuyuchoyu arhitekturoyu dlya kilkoh movnih par zalishayetsya model Transformer yaka bazuyetsya na mehanizmi uvagi Na rivnyah samouvagi ciyeyi modeli doslidzhuyutsya zalezhnosti mizh slovami poslidovnosti shlyahom analizu zv yazkiv mizh usima slovami v parnih poslidovnostyah i bezposerednogo modelyuvannya cih zv yazkiv Cej pidhid prostishij nizh mehanizm selekciyi na yakomu pracyuyut rekurentni nejronni merezhi A jogo prostota dala doslidnikam zmogu rozroblyati visokoyakisni modeli perekladu za dopomogoyu modeli Transformer navit v umovah koli kilkist vhidnih danih nevelika Prikladi zastosuvannyaNejronnij pereklad vikoristovuyetsya u servisah perekladu bagatoh kompanij yak ot Google Microsoft Yandeks PROMT Google vikoristovuye osoblivij riznovid nejronnogo mashinnogo perekladu tak zvanij Google Neural Machine Translation GNMT Majkrosoft vikoristovuye podibnu tehnologiyu dlya perekladu movlennya zokrema u Majkrosoft Perekladachi ta Skype Perekladachi Garvardska grupa z obrobki prirodnoyi movi vipustila OpenNMT sistemu nejronnogo mashinnogo perekladu z vidkritim vihidnih kodom U Yandeks Perekladachi vikoristovuyetsya gibridna model svij variant perekladu proponuye i statistichna model i nejromerezha pislya chogo za dopomogoyu tehnologiyi CatBoost yaka pracyuye na osnovi mashinnogo navchannya vibirayetsya krashij z otrimanih rezultativ Proponuvati sistemi na osnovi nejronnih merezh pochali j inshi postachalniki mashinnogo perekladu zokrema Omniscien Technologies ranishe Asia Online KantanMT SDL Globalese Systran tosho DeepL nadaye zagalnu sistemu perekladu iz sistemami shtuchnogo intelektu glibokogo navchannya Div takozhShtuchna nejronna merezha Mashinne navchannya Perekladach Google Nejronnij mashinnij pereklad Google Microsoft TranslatorPrimitkiKalchbrenner Nal Blunsom Philip 2013 Recurrent Continuous Translation Models Proceedings of the Association for Computational Linguistics 1700 1709 Sutskever Ilya Vinyals Oriol Le Quoc Viet 2014 Sequence to sequence learning with neural networks arXiv 1409 3215 cs CL Kyunghyun Cho Bart van Merrienboer Dzmitry Bahdanau Yoshua Bengio 3 September 2014 On the Properties of Neural Machine Translation Encoder Decoder Approaches arXiv 1409 1259 cs CL OpenMT Challenge 2015 NIST angl 11 veresnya 2015 Procitovano 27 lipnya 2022 WMT15 Machine Translate amer Procitovano 27 lipnya 2022 Bojar Ondrej Chatterjee Rajen Federmann Christian Graham Yvette Haddow Barry Huck Matthias Yepes Antonio Jimeno Koehn Philipp Logacheva Varvara Monz Christof Negri Matteo Neveol Aurelie Neves Mariana Popel Martin Post Matt Rubino Raphael Scarton Carolina Specia Lucia Turchi Marco Verspoor Karin Zampieri Marcos 2016 PDF ACL 2016 First Conference on Machine Translation WMT16 The Association for Computational Linguistics 131 198 Arhiv originalu PDF za 27 sichnya 2018 Procitovano 27 sichnya 2018 Neural Machine Translation European Patent Office 16 lipnya 2018 Procitovano 14 chervnya 2021 Wolk Krzysztof Marasek Krzysztof 2015 Neural based Machine Translation for Medical Text Domain Based on European Medicines Agency Leaflet Texts Procedia Computer Science 64 64 2 9 arXiv 1509 08644 Bibcode 2015arXiv150908644W doi 10 1016 j procs 2015 08 456 S2CID 15218663 Dzmitry Bahdanau Cho Kyunghyun Yoshua Bengio 2014 Neural Machine Translation by Jointly Learning to Align and Translate arXiv 1409 0473 cs CL Bahdanau Dzmitry Cho Kyunghyun Bengio Yoshua 1 veresnya 2014 Neural Machine Translation by Jointly Learning to Align and Translate arXiv 1409 0473 cs CL Tu Zhaopeng Lu Zhengdong Liu Yang Liu Xiaohua Li Hang 2016 Modeling Coverage for Neural Machine Translation arXiv 1601 04811 cs CL Coldewey Devin 29 serpnya 2017 DeepL schools other online translators with clever machine learning TechCrunch Procitovano 27 sichnya 2018 Barrault Loic Bojar Ondrej Costa jussa Marta R Federmann Christian Fishel Mark Graham Yvette Haddow Barry Huck Matthias Koehn Philipp August 2019 Findings of the 2019 Conference on Machine Translation WMT19 Proceedings of the Fourth Conference on Machine Translation Volume 2 Shared Task Papers Day 1 Florence Italy Association for Computational Linguistics 1 61 doi 10 18653 v1 W19 5301 OpenNMT Open Source Neural Machine Translation opennmt net Procitovano 27 lipnya 2022 CatBoost state of the art open source gradient boosting library with categorical features support catboost ai angl Procitovano 27 lipnya 2022 Machine Translation Omniscien Technologies amer Procitovano 27 lipnya 2022 SDL Brings Powerful Cloud Based Neural Machine Translation to Global Brands www rws com amer Procitovano 27 lipnya 2022 Horvath Greg 5 veresnya 2017 Globalese 3 0 released Globalese amer Procitovano 27 lipnya 2022 Neural Machine Translation NMT SYSTRAN www systransoft com angl Procitovano 27 lipnya 2022

Дата публікації:
Топ