Вбудовування речень це збірна назва для набору методів обробки природної мови NLP де речення зіставляються з векторами д

Вбудовування речень — це збірна назва для набору методів обробки природної мови (NLP), де речення зіставляються з векторами дійсних чисел .

Застосування

Бібліотеки програмного забезпечення глибокого навчання PyTorch і TensorFlow використовують вбудовування речень.

Популярні вбудовування базуються на вихідних даних прихованого шару моделей трансформаторів, таких як BERT. Альтернативним напрямком є об'єднання вбудованих слів, наприклад, тих, які повертаються Word2vec, у вбудовані речення. Найпрямолінійніший підхід — просто обчислити середнє значення векторів слів, відомих як безперервний пакет слів (CBOW). Однак також були запропоновані більш складні рішення, засновані на векторному квантуванні слів. Одним із таких підходів є вектор локально агрегованих вбудованих слів (VLAWE), який продемонстрував покращення продуктивності в завданнях класифікації подальшого тексту.

Оцінка

Для тестування кодувань речень застосувують їх до корпусу речень, що містять композиційні знання (SICK) як для втягування (SICK-E), так і для пов'язаності (SICK-R).

Найкращі результати отримуються завдяки використанню мережі BiLSTM, натренованої на Стенфордському корпусі висновків з природної мови (SNLI) . Коефіцієнт кореляції Пірсона для SICK-R дорівнює 0,885, а результат для SICK-E — 86,3. Незначне покращення у порівнянні з попередніми показниками презентоване в: SICK-R: 0,888 і SICK-E: 87,8 з використанням конкатенації двонаправленого рекурентного блоку Gated .

Див. також

Вбудовування слів

Посилання

Вбудовані речення InferSent і навчальний код
Універсальний кодувальник речень
Вивчення розподілених представлень речень загального призначення за допомогою широкомасштабного багатозадачного навчання

Примітки

Paper Summary: Evaluation of sentence embeddings in downstream and linguistic probing tasks^{[недоступне посилання]}
The Current Best of Universal Word Embeddings and Sentence Embeddings
Sanjeev Arora, Yingyu Liang, and Tengyu Ma. «A simple but tough-to-beat baseline for sentence embeddings.», 2016; openreview: SyK00v5xx.
Trifan, Mircea; Ionescu, Bogdan; Gadea, Cristian; Ionescu, Dan (2015). A graph digital signal processing method for semantic analysis. 2015 IEEE 10th Jubilee International Symposium on Applied Computational Intelligence and Informatics. с. 187—192. doi:10.1109/SACI.2015.7208196. ISBN .
Basile, Pierpaolo; Caputo, Annalina; Semeraro, Giovanni (2012). A Study on Compositional Semantics of Words in Distributional Spaces. 2012 IEEE Sixth International Conference on Semantic Computing. с. 154—161. doi:10.1109/ICSC.2012.55. ISBN .
Microsoft. distilled-sentence-embedding. GitHub.
Google. universal-sentence-encoder. TensorFlow Hub. Процитовано 6 жовтня 2018.
Ionescu, Radu Tudor; Butnaru, Andrei (2019). Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Minneapolis, Minnesota: Association for Computational Linguistics: 363—369. doi:10.18653/v1/N19-1033.
Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. «A SICK cure for the evaluation of compositional distributional semantic models.» In LREC, pp. 216—223. 2014 .
Subramanian, Sandeep; Trischler, Adam; Bengio, Yoshua (2018). Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning. arXiv:1804.00079 [cs.CL].

[1] Paper Summary: Evaluation of sentence embeddings in downstream and linguistic probing tasks^{[недоступне посилання]}

[2] The Current Best of Universal Word Embeddings and Sentence Embeddings

[3] Sanjeev Arora, Yingyu Liang, and Tengyu Ma. «A simple but tough-to-beat baseline for sentence embeddings.», 2016; openreview: SyK00v5xx.

[4] Trifan, Mircea; Ionescu, Bogdan; Gadea, Cristian; Ionescu, Dan (2015). A graph digital signal processing method for semantic analysis. 2015 IEEE 10th Jubilee International Symposium on Applied Computational Intelligence and Informatics. с. 187—192. doi:10.1109/SACI.2015.7208196. ISBN .

[5] Basile, Pierpaolo; Caputo, Annalina; Semeraro, Giovanni (2012). A Study on Compositional Semantics of Words in Distributional Spaces. 2012 IEEE Sixth International Conference on Semantic Computing. с. 154—161. doi:10.1109/ICSC.2012.55. ISBN .

[6] Microsoft. distilled-sentence-embedding. GitHub.

[7] Google. universal-sentence-encoder. TensorFlow Hub. Процитовано 6 жовтня 2018.

[8] Ionescu, Radu Tudor; Butnaru, Andrei (2019). Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation. Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Minneapolis, Minnesota: Association for Computational Linguistics: 363—369. doi:10.18653/v1/N19-1033.

[9] Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. «A SICK cure for the evaluation of compositional distributional semantic models.» In LREC, pp. 216—223. 2014 .

[10] Subramanian, Sandeep; Trischler, Adam; Bengio, Yoshua (2018). Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning. arXiv:1804.00079 [cs.CL].