Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Ця стаття є сирим перекладом з англійської мови Можливо вона створена за допомогою машинного перекладу або перекладачем

Дистрибутивна семантика

Дистрибутивна семантика
Ця стаття є сирим з англійської мови. Можливо, вона створена за допомогою машинного перекладу або перекладачем, який недостатньо володіє обома мовами. Будь ласка, допоможіть поліпшити переклад. (лютий 2024)

Дистрибутивна семантика — це галузь досліджень, що розробляє та вивчає теорії та методи кількісної оцінки та категоризації семантичних подібностей між мовними елементами на базі їхніх дистрибутивних властивостей у великих вибірках мовних даних. Базова ідея дистрибутивної семантики може бути підсумована в так званій гіпотезі: лінгвістичні елементи з подібними дистрибуціями мають подібні значення.

image
Як слова пов'язуються в певній мові демонструється в «семантичному просторі», який математично відповідає векторному простору.

Дистрибутивна гіпотеза

Дистрибутивна гіпотеза в лінгвістиці походить від вживання мови, наприклад слова, які вживаються та трапляються в однакових контекстах, як правило, мають подібні значення.

Ключова ідея, що «слово характеризується компанією, яку воно підтримує», була популяризована у 1950-х роках.

Дистрибутивна гіпотеза є базою статистичної семантики . Хоча вона й виникла в лінгвістиці, зараз вона отримує увагу в когнітивній науці, особливо щодо контексту вживання слів.

За останні роки дистрибутивна гіпотеза стала базою для теорії у вивченні мови: ідея, що діти можуть зрозуміти як використовувати слова, які вони рідко зустрічали раніше, узагальнюючи їх використання на основі дистрибуції подібних слів.

Дистрибутивна гіпотеза припускає, що чим більш семантично схожими є два слова, тим більш дистрибутивно схожими вони будуть, і, отже, тим більше вони будуть мати тенденцію зустрічатися в подібних мовних контекстах.

Незалежно від того, чи справедливе це припущення, воно має значні наслідки як для проблеми в обчислювальному моделюванні, так і для питання про те, як діти здатні вивчати мову так швидко, враховуючи відносно бідні вхідні дані (це також відоме як проблема ).

Дистрибутивне семантичне моделювання у векторних просторах

Дистрибутивна семантика сприяє застосуванню лінійної алгебри як обчислювального інструменту та фреймворку представлення. Базовий підхід полягає у зборі дистрибутивної інформації у великорозмірних векторах та визначенні дистрибутивної/семантичної схожості в термінах векторної схожості. Залежно від того, який тип інформації про дистрибуцію використовується для збирання векторів, можна виокремлювати різні види схожостей: тематичні схожості можна витягнути, заповнивши вектори інформацією про те, в яких областях тексту зустрічаються лінгвістичні елементи; парадигматичні схожості можна витягнути, заповнивши вектори інформацією про те, з якими іншими мовними елементами елементи зустрічаються. Зверніть увагу, що останній тип векторів також можна використовувати для вилучення синтагматичних схожості, дивлячись на окремі векторні компоненти.

Базова ідея кореляції між дистрибутивною та семантичною схожістю може бути реалізована багатьма різними способами. Є великий асортимент обчислювальних моделей, які реалізують дистрибутивну семантику, включаючи латентний семантичний аналіз (LSA), аналог мови гіперпростору (HAL), моделі на основі синтаксису або залежностей, випадкове індексування, семантичне згортання та різні варіанти тематичної моделі .

Дистрибутивні семантичні моделі відрізняються, перш за все, такими параметрами:

Дистрибутивні семантичні моделі, що застосовують лінгвістичні елементи як контекст, ще називають простором слів або моделями векторного простору.

Поза межами лексичної семантики

Під час того як дистрибутивна семантика зазвичай використовується для лексичних одиниць — слів та багатослівних термінів — із значним успіхом, не в останню чергу завдяки її використанню як вхідних даних для нейронно інспірованих моделей глибокого навчання, лексична семантика (значення слів), тільки щоб нести частину семантики цілого висловлювання. Значення речення, наприклад «Тигри люблять кроликів», можна зрозуміти тільки частково, вивчивши значення трьох лексичних одиниць, які воно містить. Дистрибутивну семантику можна просто розширити, щоб охопити більший лінгвістичний елемент, такий як конструкції, з елементами без екземплярів або без них, але деякі базові припущення моделі потрібно дещо скоригувати. та її формулювання лексико-синтаксичного континууму пропонують один підхід для включення більш складних конструкцій у семантичну модель розподілу, а деякі експерименти були реалізовані з використанням підходу випадкового індексування.

розширюють семантичні моделі дистрибуції завдяки явним семантичним функціям, що застосовують синтаксично започатковані правила щоб об'єднати семантики лексичних одиниць, які беруть участь, у композиційну модель для характеристики семантики повних фраз чи речень. Цю роботу спершу запропонували Стівен Кларк, та з Оксфордського університету, в їхній статті 2008 року «Композиційна модель розподілу значення». Було досліджено різні підходи до композиції, включаючи нейронні моделі, і вони обговорюються на відомих семінарах, таких як SemEval .

Додатки

Моделі дистрибутивної семантики успішно застосовуються для наступних завдань:

Програмне забезпечення

  • S-простір на GitHub
  • СемантичніВектори на GitHub
  • Gensim
  • DISCO Builder
  • Індра на GitHub

Див. також

Люди

Примітки

  1. Lenci, Alessandro; Sahlgren, Magnus (2023). Distributional Semantics. Cambridge University Press. ISBN .
  2. Harris, 1954
  3. Firth, 1957
  4. Sahlgren, 2008
  5. McDonald та Ramscar, 2001
  6. Gleitman, 2002
  7. Yarlett, 2008
  8. Rieger, 1991
  9. Deerwester та ін., 1990
  10. Landauer, Thomas K.; Dumais, Susan T. (1997). A solution to Plato's problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. Psychological Review. 104 (2): 211—240. doi:10.1037/0033-295x.104.2.211.
  11. Padó та Lapata, 2007
  12. De Sousa Webber, Francisco. Semantic Folding Theory And its Application in Semantic Fingerprinting. {{}}: |arxiv= є обов'язковим параметром ()
  13. Jordan, Michael I.; Ng, Andrew Y.; Blei, David M. (2003). Latent Dirichlet Allocation. Journal of Machine Learning Research. 3 (Jan): 993—1022.
  14. Church, Kenneth Ward; Hanks, Patrick (1989). Word association norms, mutual information, and lexicography. Proceedings of the 27th Annual Meeting on Association for Computational Linguistics. Morristown, NJ, USA: Association for Computational Linguistics: 76—83. doi:10.3115/981623.981633.
  15. Schütze, 1993
  16. Sahlgren, 2006
  17. Karlgren, Jussi; Kanerva, Pentti (July 2019). High-dimensional distributed semantic spaces for utterances. Natural Language Engineering. 25 (4): 503—517. arXiv:2104.00424. doi:10.1017/S1351324919000226.
  18. Clark, Stephen; Coecke, Bob; Sadrzadeh, Mehrnoosh (2008). A compositional distributional model of meaning (PDF). Proceedings of the Second Quantum Interaction Symposium: 133—140.
  19. SemEval-2014, Task 1.

Джерела

  • Harris, Z. (1954). Distributional structure. Word. 10 (23): 146—162. doi:10.1080/00437956.1954.11659520.
  • Firth, J.R. (1957). A synopsis of linguistic theory 1930-1955. Studies in Linguistic Analysis: 1—32. Reprinted in F.R. Palmer, ред. (1968). Selected Papers of J.R. Firth 1952-1959. London: Longman.
  • Lenci, Alessandro; Sahlgren, Magnus (2023). Distributional Semantics. Cambridge University Press. ISBN .
  • Sahlgren, Magnus (2008). The Distributional Hypothesis (PDF). Rivista di Linguistica. 20 (1): 33—53.
  • Gleitman, Lila R. (2002). Verbs of a feather flock together II. The Legacy of Zellig Harris. Current Issues in Linguistic Theory. Т. 1. с. 209—229. doi:10.1075/cilt.228.17gle. ISBN .
  • Deerwester, Scott; Dumais, Susan T.; Furnas, George W.; Landauer, Thomas K.; Harshman, Richard (1990). (PDF). Journal of the American Society for Information Science. 41 (6): 391—407. CiteSeerX 10.1.1.33.2447. doi:10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9. Архів оригіналу (PDF) за 17 липня 2012.
  • Padó, Sebastian; Lapata, Mirella (2007). Dependency-based construction of semantic space models. Computational Linguistics. 33 (2): 161—199. doi:10.1162/coli.2007.33.2.161.
  • Thomas Landauer; Susan T. Dumais. A Solution to Plato's Problem: The Latent Semantic Analysis Theory of Acquisition, Induction, and Representation of Knowledge. Процитовано 2 липня 2007.
  • Kevin Lund; Curt Burgess (1996). Producing high-dimensional semantic spaces from lexical co-occurrence. Behavior Research Methods, Instruments, and Computers. 28 (2): 203—208. doi:10.3758/bf03204766.

Посилання

  • Зелліг С. Гарріс

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Cya stattya ye sirim perekladom z anglijskoyi movi Mozhlivo vona stvorena za dopomogoyu mashinnogo perekladu abo perekladachem yakij nedostatno volodiye oboma movami Bud laska dopomozhit polipshiti pereklad lyutij 2024 Distributivna semantika ce galuz doslidzhen sho rozroblyaye ta vivchaye teoriyi ta metodi kilkisnoyi ocinki ta kategorizaciyi semantichnih podibnostej mizh movnimi elementami na bazi yihnih distributivnih vlastivostej u velikih vibirkah movnih danih Bazova ideya distributivnoyi semantiki mozhe buti pidsumovana v tak zvanij gipotezi lingvistichni elementi z podibnimi distribuciyami mayut podibni znachennya Yak slova pov yazuyutsya v pevnij movi demonstruyetsya v semantichnomu prostori yakij matematichno vidpovidaye vektornomu prostoru Distributivna gipotezaDistributivna gipoteza v lingvistici pohodit vid vzhivannya movi napriklad slova yaki vzhivayutsya ta traplyayutsya v odnakovih kontekstah yak pravilo mayut podibni znachennya Klyuchova ideya sho slovo harakterizuyetsya kompaniyeyu yaku vono pidtrimuye bula populyarizovana u 1950 h rokah Distributivna gipoteza ye bazoyu statistichnoyi semantiki Hocha vona j vinikla v lingvistici zaraz vona otrimuye uvagu v kognitivnij nauci osoblivo shodo kontekstu vzhivannya sliv Za ostanni roki distributivna gipoteza stala bazoyu dlya teoriyi u vivchenni movi ideya sho diti mozhut zrozumiti yak vikoristovuvati slova yaki voni ridko zustrichali ranishe uzagalnyuyuchi yih vikoristannya na osnovi distribuciyi podibnih sliv Distributivna gipoteza pripuskaye sho chim bilsh semantichno shozhimi ye dva slova tim bilsh distributivno shozhimi voni budut i otzhe tim bilshe voni budut mati tendenciyu zustrichatisya v podibnih movnih kontekstah Nezalezhno vid togo chi spravedlive ce pripushennya vono maye znachni naslidki yak dlya problemi v obchislyuvalnomu modelyuvanni tak i dlya pitannya pro te yak diti zdatni vivchati movu tak shvidko vrahovuyuchi vidnosno bidni vhidni dani ce takozh vidome yak problema Distributivne semantichne modelyuvannya u vektornih prostorahDistributivna semantika spriyaye zastosuvannyu linijnoyi algebri yak obchislyuvalnogo instrumentu ta frejmvorku predstavlennya Bazovij pidhid polyagaye u zbori distributivnoyi informaciyi u velikorozmirnih vektorah ta viznachenni distributivnoyi semantichnoyi shozhosti v terminah vektornoyi shozhosti Zalezhno vid togo yakij tip informaciyi pro distribuciyu vikoristovuyetsya dlya zbirannya vektoriv mozhna viokremlyuvati rizni vidi shozhostej tematichni shozhosti mozhna vityagnuti zapovnivshi vektori informaciyeyu pro te v yakih oblastyah tekstu zustrichayutsya lingvistichni elementi paradigmatichni shozhosti mozhna vityagnuti zapovnivshi vektori informaciyeyu pro te z yakimi inshimi movnimi elementami elementi zustrichayutsya Zvernit uvagu sho ostannij tip vektoriv takozh mozhna vikoristovuvati dlya viluchennya sintagmatichnih shozhosti divlyachis na okremi vektorni komponenti Bazova ideya korelyaciyi mizh distributivnoyu ta semantichnoyu shozhistyu mozhe buti realizovana bagatma riznimi sposobami Ye velikij asortiment obchislyuvalnih modelej yaki realizuyut distributivnu semantiku vklyuchayuchi latentnij semantichnij analiz LSA analog movi giperprostoru HAL modeli na osnovi sintaksisu abo zalezhnostej vipadkove indeksuvannya semantichne zgortannya ta rizni varianti tematichnoyi modeli Distributivni semantichni modeli vidriznyayutsya persh za vse takimi parametrami Vid kontekstu tekstovi regioni chi movni elementi Kontekstne vikno rozmir rozshirennya tosho Chastotne zvazhuvannya napriklad entropiya potochkova vzayemna informaciya tosho Zmenshennya rozmirnosti napriklad rozklad singulyarnogo znachennya tosho Mira podibnosti napriklad kosinus podibnosti vidstan Minkovskogo tosho Distributivni semantichni modeli sho zastosovuyut lingvistichni elementi yak kontekst she nazivayut prostorom sliv abo modelyami vektornogo prostoru Poza mezhami leksichnoyi semantikiPid chas togo yak distributivna semantika zazvichaj vikoristovuyetsya dlya leksichnih odinic sliv ta bagatoslivnih terminiv iz znachnim uspihom ne v ostannyu chergu zavdyaki yiyi vikoristannyu yak vhidnih danih dlya nejronno inspirovanih modelej glibokogo navchannya leksichna semantika znachennya sliv tilki shob nesti chastinu semantiki cilogo vislovlyuvannya Znachennya rechennya napriklad Tigri lyublyat krolikiv mozhna zrozumiti tilki chastkovo vivchivshi znachennya troh leksichnih odinic yaki vono mistit Distributivnu semantiku mozhna prosto rozshiriti shob ohopiti bilshij lingvistichnij element takij yak konstrukciyi z elementami bez ekzemplyariv abo bez nih ale deyaki bazovi pripushennya modeli potribno desho skoriguvati ta yiyi formulyuvannya leksiko sintaksichnogo kontinuumu proponuyut odin pidhid dlya vklyuchennya bilsh skladnih konstrukcij u semantichnu model rozpodilu a deyaki eksperimenti buli realizovani z vikoristannyam pidhodu vipadkovogo indeksuvannya rozshiryuyut semantichni modeli distribuciyi zavdyaki yavnim semantichnim funkciyam sho zastosovuyut sintaksichno zapochatkovani pravila shob ob yednati semantiki leksichnih odinic yaki berut uchast u kompozicijnu model dlya harakteristiki semantiki povnih fraz chi rechen Cyu robotu spershu zaproponuvali Stiven Klark ta z Oksfordskogo universitetu v yihnij statti 2008 roku Kompozicijna model rozpodilu znachennya Bulo doslidzheno rizni pidhodi do kompoziciyi vklyuchayuchi nejronni modeli i voni obgovoryuyutsya na vidomih seminarah takih yak SemEval DodatkiModeli distributivnoyi semantiki uspishno zastosovuyutsya dlya nastupnih zavdan znahodzhennya mizh slovami ta bagatoslivnimi virazami na osnovi semantichnoyi podibnosti avtomatichne stvorennya tezaurusiv i dvomovnih slovnikiv rozshirennya poshukovih zapitiv za dopomogoyu sinonimiv ta asociacij viznachennya temi dokumenta klasterizaciya dokumentiv dlya poshuku informaciyi intelektualnij analiz danih ta rozpiznavannya imenovanih ob yektiv stvorennya riznih predmetnih oblastej analiz nastroyiv modelyuvannya vibirkovih perevag sliv Programne zabezpechennyaS prostir na GitHub SemantichniVektori na GitHub Gensim DISCO Builder Indra na GitHubDiv takozhFrazema Vbudovuvannya rechennya Statistichna semantika Word2vec Vbudovuvannya sliv Lyudi Georgij Furnas Zellig GarrisPrimitkiLenci Alessandro Sahlgren Magnus 2023 Distributional Semantics Cambridge University Press ISBN 9780511783692 Harris 1954 Firth 1957 Sahlgren 2008 McDonald ta Ramscar 2001 Gleitman 2002 Yarlett 2008 Rieger 1991 Deerwester ta in 1990 Landauer Thomas K Dumais Susan T 1997 A solution to Plato s problem The latent semantic analysis theory of acquisition induction and representation of knowledge Psychological Review 104 2 211 240 doi 10 1037 0033 295x 104 2 211 Pado ta Lapata 2007 De Sousa Webber Francisco Semantic Folding Theory And its Application in Semantic Fingerprinting a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite arXiv title Shablon Cite arXiv cite arXiv a arxiv ye obov yazkovim parametrom dovidka Jordan Michael I Ng Andrew Y Blei David M 2003 Latent Dirichlet Allocation Journal of Machine Learning Research 3 Jan 993 1022 Church Kenneth Ward Hanks Patrick 1989 Word association norms mutual information and lexicography Proceedings of the 27th Annual Meeting on Association for Computational Linguistics Morristown NJ USA Association for Computational Linguistics 76 83 doi 10 3115 981623 981633 Schutze 1993 Sahlgren 2006 Karlgren Jussi Kanerva Pentti July 2019 High dimensional distributed semantic spaces for utterances Natural Language Engineering 25 4 503 517 arXiv 2104 00424 doi 10 1017 S1351324919000226 Clark Stephen Coecke Bob Sadrzadeh Mehrnoosh 2008 A compositional distributional model of meaning PDF Proceedings of the Second Quantum Interaction Symposium 133 140 SemEval 2014 Task 1 DzherelaHarris Z 1954 Distributional structure Word 10 23 146 162 doi 10 1080 00437956 1954 11659520 Firth J R 1957 A synopsis of linguistic theory 1930 1955 Studies in Linguistic Analysis 1 32 Reprinted in F R Palmer red 1968 Selected Papers of J R Firth 1952 1959 London Longman Lenci Alessandro Sahlgren Magnus 2023 Distributional Semantics Cambridge University Press ISBN 9780511783692 Sahlgren Magnus 2008 The Distributional Hypothesis PDF Rivista di Linguistica 20 1 33 53 Gleitman Lila R 2002 Verbs of a feather flock together II The Legacy of Zellig Harris Current Issues in Linguistic Theory T 1 s 209 229 doi 10 1075 cilt 228 17gle ISBN 978 90 272 4736 0 Deerwester Scott Dumais Susan T Furnas George W Landauer Thomas K Harshman Richard 1990 PDF Journal of the American Society for Information Science 41 6 391 407 CiteSeerX 10 1 1 33 2447 doi 10 1002 SICI 1097 4571 199009 41 6 lt 391 AID ASI1 gt 3 0 CO 2 9 Arhiv originalu PDF za 17 lipnya 2012 Pado Sebastian Lapata Mirella 2007 Dependency based construction of semantic space models Computational Linguistics 33 2 161 199 doi 10 1162 coli 2007 33 2 161 Thomas Landauer Susan T Dumais A Solution to Plato s Problem The Latent Semantic Analysis Theory of Acquisition Induction and Representation of Knowledge Procitovano 2 lipnya 2007 Kevin Lund Curt Burgess 1996 Producing high dimensional semantic spaces from lexical co occurrence Behavior Research Methods Instruments and Computers 28 2 203 208 doi 10 3758 bf03204766 PosilannyaZellig S Garris

Дата публікації:
Топ