Нейромережна модель мови

Статистична моде́ль мо́ви (англ. language model) — це розподіл імовірності над послідовностями слів. Заданій такій послідовності, скажімо, довжини m, вона призначує ймовірність ${\displaystyle P(w_{1},\ldots ,w_{m})}$ усієї цієї послідовності.

Модель мови забезпечує контекст для розрізнювання слів та фраз, які звучать схоже. Наприклад, в американській англійській фрази «recognize speech» (розпізнавати мовлення) та «wreck a nice beach» (вбити гарний пляж) звучать схоже, але означають різні речі.

У побудові моделей мов основною проблемою є розрідженість даних. Більшість можливих послідовностей слів під час тренування не спостерігаються. Одним з розв'язків цієї проблеми є припустити, що ймовірність слова залежить лише від попередніх n слів. Це є відомим як n-грамна модель, або уніграмна модель, коли n = 1. Уніграмна модель є також відомою як модель «торба слів».

Оцінювання відносної правдоподібності різних фраз є корисним у багатьох застосуваннях обробки природної мови, особливо в тих, що породжують текст як вихід. Моделювання мов використовують у розпізнаванні мовлення, машиннім перекладі, розмічуванні частин мови, синтаксичнім аналізі, оптичнім розпізнаванні символів, розпізнаванні рукописного введення, інформаційнім пошуку та інших застосуваннях.

У розпізнаванні мовлення звуки зіставляють з послідовностями слів. Неоднозначності розв'язувати легше, коли свідчення від моделі мови поєднують з моделлю вимови та ^[en].

Моделі мови використовують в інформаційнім пошуку в ^[en]. Там окрему модель мови пов'язують з кожним документом сукупності. Документи ранжують на основі ймовірності запиту Q в моделі мови документа ${\displaystyle M_{d}}$: ${\displaystyle P(Q\mid M_{d})}$. Для цього зазвичай використовують уніграмну модель.

Типи моделей

Уніграмна

Уніграмну модель (англ. unigram model) можливо розглядати як комбінацію декількох одностанових скінченних автоматів. Вона розділює ймовірності різних лексем (англ. term) у контексті, наприклад, з

${\displaystyle P(t_{1}t_{2}t_{3})=P(t_{1})P(t_{2}\mid t_{1})P(t_{3}\mid t_{1}t_{2})}$

до

${\displaystyle P_{\text{uni}}(t_{1}t_{2}t_{3})=P(t_{1})P(t_{2})P(t_{3}).}$

У цій моделі ймовірність кожного зі слів залежить лише від ймовірності цього слова в документі, тож як вузли ми маємо лише одностановий скінченний автомат. Сам цей автомат має розподіл імовірності над усім словником цієї моделі, що підсумовується до 1. Далі наведено ілюстрацію уніграмної моделі документа.

Лексеми	Ймовірність у документі
a	0.1
world	0.2
likes	0.05
we	0.05
share	0.3
…	…

${\displaystyle \sum _{\text{term in doc}}P({\text{term}})=1}$

Ймовірність, яку формують для конкретного запиту (англ. query), обчислюють як

${\displaystyle P({\text{query}})=\prod _{\text{term in query}}P({\text{term}})}$

Різні документи мають уніграмні моделі з різними ймовірностями влучання для слів у них. Розподіли ймовірностей з різних документів використовують для формування ймовірностей влучання для кожного запиту. Документи може бути ранжовано для запиту відповідно до цих імовірностей. Приклад уніграмних моделей двох документів:

Лексеми	Ймовірність у документі 1	Ймовірність у документі 2
a	0.1	0.3
world	0.2	0.1
likes	0.05	0.03
we	0.05	0.02
share	0.3	0.2
…	…	…

У контексті інформаційного пошуку уніграмні моделі мови часто згладжують, щоби уникати випадків, коли P(лексема) = 0. Одним з поширених підходів є формувати модель максимальної правдоподібності для всієї сукупності, й лінійно інтерполювати цю модель сукупності з моделлю максимальної правдоподібності для кожного з документів, щоби згладити її.

n-грамна

Докладніше: n-грам

У n-грамній моделі (англ. n-gram model) ймовірність ${\displaystyle P(w_{1},\ldots ,w_{m})}$ спостерігання речення ${\displaystyle w_{1},\ldots ,w_{m}}$ наближують як

${\displaystyle P(w_{1},\ldots ,w_{m})=\prod _{i=1}^{m}P(w_{i}\mid w_{1},\ldots ,w_{i-1})\approx \prod _{i=1}^{m}P(w_{i}\mid w_{i-(n-1)},\ldots ,w_{i-1})}$

Виходять з того, що ймовірність спостерігання i-того слова w_i в контексті історії попередніх i − 1 слів може бути наближено ймовірністю спостерігання його у скороченій історії контексту з попередніх n − 1 слів (марковська властивість n-того порядку).

Цю умовну ймовірність можливо обчислювати з частотних кількостей n-грамної моделі:

${\displaystyle P(w_{i}\mid w_{i-(n-1)},\ldots ,w_{i-1})={\frac {\mathrm {count} (w_{i-(n-1)},\ldots ,w_{i-1},w_{i})}{\mathrm {count} (w_{i-(n-1)},\ldots ,w_{i-1})}}}$

Терміни бігра́мна (англ. bigram) та тригра́мна (англ. trigram) мовні моделі позначують n-грамні моделі з n = 2 та n = 3 відповідно.

Як правило, ймовірності n-грамних моделей не виводять із частотних кількостей напряму, оскільки моделі, що виводять таким чином, мають серйозні проблеми, коли вони стикаються з будь-якими не баченими раніше явно n-грамами. Натомість необхідним є згладжування якогось вигляду, що призначує якусь частину загальної маси ймовірності небаченим словам або n-грамам. Використовують різні методи, від згладжування «плюс один» (призначування небаченим n-грамам кількості 1, як неінформативного апріорного), і до витонченіших моделей, таких як ^[en] та ^[en].

Двоспрямована

Двоспрямовані представлення (англ. bidirectional representations) обумовлюються як попереднім, так і наступним контекстом (наприклад, словами) в усіх шарах.

Приклад

У біграмній (n = 2) моделі мови ймовірність речення «I saw the red house» наближують як

${\displaystyle P({\text{I, saw, the, red, house}})\approx P({\text{I}}\mid \langle s\rangle )P({\text{saw}}\mid {\text{I}})P({\text{the}}\mid {\text{saw}})P({\text{red}}\mid {\text{the}})P({\text{house}}\mid {\text{red}})P(\langle /s\rangle \mid {\text{house}})}$

тоді як у триграмній (n = 3) моделі мови цим наближенням є

${\displaystyle P({\text{I, saw, the, red, house}})\approx P({\text{I}}\mid \langle s\rangle ,\langle s\rangle )P({\text{saw}}\mid \langle s\rangle ,I)P({\text{the}}\mid {\text{I, saw}})P({\text{red}}\mid {\text{saw, the}})P({\text{house}}\mid {\text{the, red}})P(\langle /s\rangle \mid {\text{red, house}})}$

Зауважте, що контекст перших n – 1 n-грамів заповнено маркерами початку речення, які зазвичай позначують через <s>.

Крім того, без маркера кінця речення ймовірність неграматичної послідовності «*I saw the» буде завжди вищою за ймовірність довшого речення «I saw the red house».

Експоненційна

^[en] моделі мови (англ. maximum entropy language models) кодують взаємозв'язок між словом та n-грамною історією із застосуванням функцій ознак. Цим рівнянням є

${\displaystyle P(w_{m}|w_{1},\ldots ,w_{m-1})={\frac {1}{Z(w_{1},\ldots ,w_{m-1})}}\exp(a^{T}f(w_{1},\ldots ,w_{m}))}$,

де ${\displaystyle Z(w_{1},\ldots ,w_{m-1})}$ є ^[en], ${\displaystyle a}$ є вектором параметрів, а ${\displaystyle f(w_{1},\ldots ,w_{m})}$ є функцією ознак. У найпростішому випадку функція ознак є просто індикатором наявності певного n-граму. Корисно використовувати апріорне на ${\displaystyle a}$, або регуляризацію якогось вигляду.

Іншим прикладом експоненційної моделі мови є логарифмічно-білінійна модель.

Нейромережна

Нейромережні моделі мов (англ. neural language models, або неперервно-просторові моделі мови, англ. continuous space language models) щоби робити свої передбачування використовують неперервні представлення або вкладення слів. Ці моделі використовують нейронні мережі.

Неперервно-просторові вкладення допомагають пом'якшувати прокляття розмірності в моделюванні мов: що на більших і більших текстах тренуються моделі мов, то дедалі більшим стає число унікальних слів (словник). Число можливих послідовностей слів зростає експоненційно з розміром словника, спричинюючи проблему розрідженості даних через експоненційно велику кількість послідовностей. Таким чином, для належного оцінювання ймовірностей потрібні статистики. Нейронні мережі уникають цієї проблеми, представляючи слова розподіленим чином, як нелінійні комбінації ваг у нейронній мережі. Альтернативним описом є те, що нейронна мережа наближує функцію мови. Нейронна мережа може мати архітектуру прямого поширення або рекурентну, і тоді як перша є простішою, остання є поширенішою.^[][]

Як правило, нейромережні моделі мов будують та тренують як імовірнісні класифікатори, що вчаться передбачувати розподіл імовірності

${\displaystyle P(w_{t}|\mathrm {context} )\,\forall t\in V}$.

Тобто, мережа тренується передбачувати розподіл імовірності над словником за якогось заданого лінгвістичного контексту. Це здійснюють застосуванням стандартних алгоритмів тренування нейронних мереж, таких як стохастичний градієнтний спуск зі зворотним поширенням. Контекст може бути вікном попередніх слів фіксованої ширини, так, що мережа передбачує

${\displaystyle P(w_{t}|w_{t-k},\dots ,w_{t-1})}$

з вектору ознак, що представляє попередні k слів. Іншим варіантом є використовувати як ознаки «майбутні» слова, так само як і «минулі», так, що оцінюваною ймовірністю є

${\displaystyle P(w_{t}|w_{t-k},\dots ,w_{t-1},w_{t+1},\dots ,w_{t+k})}$.

Це називають моделлю торби слів. Коли вектори ознак для слів контексту поєднують неперервною операцією, цю модель називають архітектурою неперервної торби слів (НТС, англ. continuous bag-of-words, CBOW).

Третім варіантом, який тренується повільніше за НТС, але працює дещо краще, є обернути попередню задачу, і зробити так, щоби нейронна мережа вчилася контексту за заданого слова. Формальніше, за заданої послідовності слів ${\displaystyle w_{1},w_{2},w_{3},\dots ,w_{T}}$ максимізують усереднену логарифмічну ймовірність

${\displaystyle {\frac {1}{T}}\sum _{t=1}^{T}\sum _{-k\leq j\leq k,j\neq 0}\log P(w_{t+j}|w_{t})}$,

де k, розмір тренованого контексту, може бути функцією від центрального слова ${\displaystyle w_{t}}$. Це називають пропуск-грамною (англ. skip-gram) моделлю мови. Моделі торби слів та пропуск-грамна є основою програми word2vec.

Замість використовувати нейромережні моделі мови, щоби виробляти фактичні ймовірності, поширеним є натомість використання розподіленого представлення, закодованого в «прихованих» шарах мережі, як представлення слів. Тоді кожне слово відображують в n-вимірний дійсний вектор, званий вкладенням слова, де n є розміром шару безпосередньо перед шаром виходу. Представлення в пропуск-грамних моделях мають таку виразну характеристику, що вони моделюють семантичні відношення між словами як лінійні комбінації, вловлюючи свого роду ^[en]. Наприклад, у деяких таких моделях, якщо v є функцією, що відображує слово w до його n-вимірного векторного представлення, то

${\displaystyle v(\mathrm {king} )-v(\mathrm {male} )+v(\mathrm {female} )\approx v(\mathrm {queen} )}$,

де ≈ роблять точним, ставлячи умову, що його права частина мусить бути найближчим сусідом значення лівої частини.

Інші

Позиційна модель мови (англ. positional language model) оцінює ймовірність трапляння заданих слів близько в тексті одне до одного, не обов'язково безпосередньо суміжними. Подібним чином, моделі концепції торби слів використовують семантику, пов'язану з багатослівними виразами, такими як «buy_christmas_present», навіть якщо вони використовуються в інформаційно насичених реченнях на кшталт «today I bought a lot of very nice Christmas presents».

Незважаючи на обмежений успіх використання нейронних мереж, автори визнають необхідність інших методів при моделюванні мов жестів.

Еталони

Для оцінювання систем обробки мови було розроблено різноманітні наборі даних. До них належать:

• Corpus of Linguistic Acceptability
• GLUE benchmark
• Microsoft Research Paraphrase Corpus
• Multi-Genre Natural Language Inference
• Question Natural Language Inference
• Quora Question Pairs
• Recognizing Textual Entailment
• Semantic Textual Similarity Benchmark
• SQuAD question answering Test
• Stanford Sentiment ^[en]
• Winograd NLI

Див. також

• Статистична модель
• ^[en]
• ^[en]
• ^[en]
• Трансформер
• BERT
• GPT
• GPT-3

Виноски

1. Див. Закон Гіпса.

Примітки

1. Kuhn, Roland, and Renato De Mori. "A cache-based natural language model for speech recognition." IEEE transactions on pattern analysis and machine intelligence 12.6 (1990): 570-583. (англ.)
2. Andreas, Jacob, Andreas Vlachos, and Stephen Clark. "Semantic parsing as machine translation [ 15 серпня 2020 у Wayback Machine.]." Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers). 2013. (англ.)
3. Pham, Vu, et al. "Dropout improves recurrent neural networks for handwriting recognition [ 11 листопада 2020 у Wayback Machine.]." 2014 14th International Conference on Frontiers in Handwriting Recognition. IEEE, 2014. (англ.)
4. Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze: An Introduction to Information Retrieval, pages 237–240. Cambridge University Press, 2009 (англ.)
5. Buttcher, Clarke, and Cormack. Information Retrieval: Implementing and Evaluating Search Engines. pg. 289–291. MIT Press. (англ.)
6. Craig Trim, What is Language Modeling? [ 5 грудня 2020 у Wayback Machine.], April 26th, 2013. (англ.)
7. Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (10 жовтня 2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805 [cs.CL]. (англ.)
8. Karpathy, Andrej. . Архів оригіналу за 1 листопада 2020. Процитовано 1 листопада 2020. (англ.)
9. Bengio, Yoshua (2008). . Scholarpedia. Т. 3, № 1. с. 3881. Bibcode:2008SchpJ...3.3881B. doi:10.4249/scholarpedia.3881. Архів оригіналу за 26 жовтня 2020. Процитовано 1 листопада 2020. (англ.)
10. Mikolov, Tomas; Chen, Kai; Corrado, Greg; Dean, Jeffrey (2013). Efficient estimation of word representations in vector space. arXiv:1301.3781 [cs.CL]. (англ.)
11. Mikolov, Tomas; Sutskever, Ilya; Chen, Kai; Corrado irst4=Greg S.; Dean, Jeff (2013). (PDF). ^[en]. с. 3111—3119. Архів оригіналу (PDF) за 29 жовтня 2020. Процитовано 1 листопада 2020. (англ.)
12. Harris, Derrick (16 серпня 2013). . Gigaom. Архів оригіналу за 11 листопада 2020. Процитовано 1 листопада 2020. (англ.)
13. Lv, Yuanhua; Zhai, ChengXiang (2009). (PDF). Proceedings. 32nd international ACM SIGIR conference on Research and development in information retrieval (SIGIR). Архів оригіналу (PDF) за 24 листопада 2020. Процитовано 1 листопада 2020. (англ.)
14. Cambria, Erik; Hussain, Amir (28 липня 2012). Sentic Computing: Techniques, Tools, and Applications (англ.). Springer Netherlands. ISBN . (англ.)
15. Mocialov, Boris; Hastie, Helen; Turner, Graham (August 2018). . Proceedings of the Fifth Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial 2018). Архів оригіналу за 5 грудня 2020. Процитовано 14 березня 2020. (англ.)
16. . nyu-mll.github.io. Архів оригіналу за 7 грудня 2020. Процитовано 25 лютого 2019. (англ.)
17. . gluebenchmark.com (англ.). Архів оригіналу за 4 листопада 2020. Процитовано 25 лютого 2019. (англ.)
18. . Microsoft Download Center (en-us) . Архів оригіналу за 25 жовтня 2020. Процитовано 25 лютого 2019. (англ.)
19. Aghaebrahimian, Ahmad (2017), Quora Question Answer Dataset, Text, Speech, and Dialogue, Lecture Notes in Computer Science, т. 10415, Springer International Publishing, с. 66—73, doi:10.1007/978-3-319-64206-2_8, ISBN  (англ.)
20. Sammons, V.G.Vinod Vydiswaran, Dan Roth, Mark; Vydiswaran, V.G.; Roth, Dan. (PDF). Архів оригіналу (PDF) за 9 серпня 2017. Процитовано 24 лютого 2019. (англ.)
21. . rajpurkar.github.io. Архів оригіналу за 30 жовтня 2020. Процитовано 25 лютого 2019. (англ.)
22. . nlp.stanford.edu. Архів оригіналу за 27 жовтня 2020. Процитовано 25 лютого 2019. (англ.)

Джерела

• J M Ponte and W B Croft (1998). A Language Modeling Approach to Information Retrieval. Research and Development in Information Retrieval. с. 275—281. CiteSeerX 10.1.1.117.4237. (англ.)
• F Song and W B Croft (1999). A General Language Model for Information Retrieval. Research and Development in Information Retrieval. с. 279—280. CiteSeerX 10.1.1.21.6467. (англ.)
• Chen, Stanley; Joshua Goodman (1998). An Empirical Study of Smoothing Techniques for Language Modeling (Технічний звіт). Harvard University. CiteSeerX 10.1.1.131.5458. (англ.)

Посилання

Програмне забезпечення

• BERT на GitHub — Bidirectional Encoder Representations from Transformers
•  — вільний інструментарій для моделей мови на нейронних мережах прямого поширення
• DALM на GitHub — швидке вільне програмне забезпечення для запитів до моделей мови
• Generative Pre-trained Transformer [ 1 березня 2019 у Wayback Machine.]
• IRSTLM [ 19 січня 2022 у Wayback Machine.] — вільне програмне забезпечення для моделювання мов
• Kylm [ 29 листопада 2020 у Wayback Machine.] (Kyoto Language Modeling Toolkit) — вільний інструментарій моделювання мов мовою Java
• KenLM [ 10 листопада 2020 у Wayback Machine.] — швидке вільне програмне забезпечення для моделювання мов
• LMSharp на GitHub — вільний інструментарій моделювання мов для n-грамних моделей зі ^[en] та рекурентно-нейромережних моделей
• MITLM на GitHub — інструментарій моделювання мов МТІ. Вільне програмне забезпечення
• NPLM [ 6 березня 2021 у Wayback Machine.] — вільний інструментарій для моделей мови на нейронних мережах прямого поширення
• OpenGrm NGram library [ 31 жовтня 2020 у Wayback Machine.] — вільне програмне забезпечення для моделювання мов. Побудовано на OpenFst.
• OxLM на GitHub — вільний інструментарій для моделей мови на нейронних мережах прямого поширення
• Positional Language Model [ 8 липня 2019 у Wayback Machine.]
• RandLM [ 20 січня 2022 у Wayback Machine.] — вільне програмне забезпечення для увипадковленого моделювання мов
•  — вільний інструментарій для рекурентно-нейромережних моделей мови
• SRILM [ 21 грудня 2020 у Wayback Machine.] — власницьке програмне забезпечення для моделювання мов
• VariKN [ 23 жовтня 2020 у Wayback Machine.] — вільне програмне забезпечення для створювання, вирощування та обрізання n-грамних моделей зі згладжуванням Кнесера — Нея
• Моделі мови, натреновані на даних newswire [ 18 травня 2021 у Wayback Machine.]