Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
Когере́нтність (від лат. cohaerens. — «який перебуває у зв'язку») — у лінгвістиці цілісність тексту, яка полягає у логіко-семантичній, граматичній та стилістичній співвіднесеності та взаємозалежності складових елементів (слів, речень тощо); одна з характеристик тексту/дискурсу та одна з необхідних умов текстуальності. Одне з основних понять теорії лінгвістики тексту. Крім терміну «когерентність» використовують також терміни «цілісність», «інтеграція» (тексту). Когерентність також називають змістовною зв'язністю тексту.
Когерентність робить текст значимим семантично. Вона досягається за допомогою синтаксичних засобів (дейксиси, анафори, катафори), наявності логічно значимої структури, пресупозиції та логічних наслідків, що посилаються на загальновідомі знання (фонові знання). Термін «когерентність» застосовується під час аналізу дискурсу, інтерпретації глибинних смислів тексту та задуму автора.
Когерентність і когезія
Виключно лінгвістичні елементи, які забезпечують когерентність тексту, позначаються терміном «когезія тексту» — його зв'язність. Однак застосування цих лінгвістичних засобів не забезпечує досягнення когерентності тексту. Вони не завжди сприяють осмисленості дискурсу. Текст є цілісним, тобто когерентним, тільки у тому випадку, коли фонові знання використані у ньому цілісно. Когезія забезпечує внутрішню лексико-граматичну зв'язність тексту: інтерпретація одних елементів тексту залежить від інших, що дозволяє автору передати свою ідею адресату якомога зрозуміліше та точніше. Когерентність організовує частини дискурсу у такий спосіб, що авторський задум стає зрозумілим адресату, реалізує доречність дискурсу. Когерентність означає смислову цілісність тексту на рівні понять, когезія — використання визначених мовних одиниць, форм і експліцитних конекторів. Згідно з Т. В. Мілевською, когезія — властивість елементів тексту, когерентність — властивість тексту в цілому. Когезія — внутрішня (структурна) зв'язність, когерентність — зовнішня (прагматична) зв'язність. Когезія є другорядним елементом у формуванні когерентності, оскільки остання може не мати зовнішніх проявів, але водночас визначати вибір мовних засобів, які реалізують задум автора. Згідно з М. Л. Макаровим, когерентність ширша когезії: когезія є формально-граматичною зв'язністю дискурсу, в той час як когерентність охоплює також семантико-прагматичні (в тому числі тематичні та функціональні) аспекти смислової та діяльної (інтерактивної) зв'язності дискурсу, як локальної, так і глобальної.
На ранніх етапах становлення лінгвістичної теорії тексту простежувалася тенденція розуміти когезію як засіб формального внутрішньотекстового зв'язку. У процесі розвитку лінгвістики тексту поняття "когезія" стало значно ширшим. Додатково приймаються до уваги її текстоутворюючі потенції в області формування не тільки структурної, але і смислової (змістовної) цілісності мови. Ряд дослідників вважає, що когезія, засоби якої визначаються когерентністю, тобто глобальною зв'язністю тексту, є ширшою за когерентність, так як вона охоплює як формально-граматичні аспекти зв'язку висловлювань, так і семантико-прагматичні, функціональні аспекти смислової і діяльної зв'язності дискурсу, які забезпечують лінійність інформації. Когезія, і когерентность забезпечують цілісність та єдність дискурсу. Разом засоби когезії і когерентності, які включають логічні, граматичні, лексичні, стилістичні та інші засоби, створюють зв'язний та зрозумілий текст, який реалізує визначений комунікативний задум. Когезія та когерентність представляють собою різні аспекти зв'язності тексту і можуть розглядатися як різні рівні функціонування одного і того ж текстового феномена. Визначення тексту як лінгвістичної одиниці з основними категоріями - зв'язність та цілісність - у сучасній лінгвістиці вважається недостатнім. Вчені приходять до розуміння тексту як продукту пізнавально-комунікативної діяльності.
Цілісність свідомості
[en] і В. Дреслер визначають когерентність як «цілісність свідомості» і «взаємний доступ (взаємозв'язок) і релевантність у конфігурації понять і зв'язків». Реальність, що створюється у тексті, може не відповідати реальному світу, але і в текстовій реальності ідеї повинні бути пов'язані у логічний спосіб, щоб читач або слухач могли відтворити у своїй свідомості цілісність цієї реальності.
Визначення когерентності тексту як «цілісності свідомості» припускає зв'язок між нею і схемами у теорії схем, популяризованої у 1932 році Ф. Бартлеттом, яка розширює поняття «текст». Схеми, згідно з цією теорією, представляють собою структуровані абстрактні блоки інформації, шляхи побудови моделі реального світу у нашій свідомості, ментальні структури, в межах яких вибудовується інформація про зовнішній світ. Текст не завжди є таким у повному розумінні слова, оскільки не кожний текст володіє когерентністю. Навпроти, когерентність тексту релевантна завдяки своїй залежності від схем кожного окремого індивідуму.
Автоматизовані методи оцінки когерентності текстів
Незважаючи на існування терміну «когерентність тексту», немає загальноприйнятого способу визначення його значення. Різні науковці пропонують свої підходи для обрахування когерентності через визначення складних функцій чи представлення тексту у вигляді деревоподібних структур і графів; інші підходи передбачають використання методів машинного навчання: метод опорних векторів, нейронні мережі тощо.
Entity Grid
У 2008 році була запропонована модель оцінки когерентності тексту, яка отримала назву Entity Grid . Головна ідея моделі полягає в припущенні, що розподіл ключових сутностей тексту (іменні групи, які присутні в реченнях) підпорядковується певній закономірності. Параметром оцінки когерентності вважається частота зміни ролі ключових слів в тексті, тобто аналізується частота зміни наголосів в тексті, які привертають увагу читача. У випадку різких/рівномірних переходів від однієї ключової сутності до іншої оцінка когерентності відповідно зменшується/збільшується. Авторами моделі було запропоноване представлення набору речень у вигляді матриці, що називається Entity Grid. Колонки в матриці відповідають всім сутностям тексту, рядки представляють речення. Комірка матриці містить опис ролі певної сутності у відповідному реченні. Ролі сутності можуть бути наступними: S (subject – головна сутність), O (object – сутність, підрядна головній), X (neither – допоміжна сутність). У випадку відсутності сутності в реченні комірка містить знак «–». Якщо сутність має декілька ролей в реченні, тоді роль встановлюється за наступним пріоритетом (від більшого до меншого): S, O, X. Додатково автори вводять поняття основних сутностей (salient entities). Сутність вважається основною (і потрапляє до матриці) тільки за умови її появи щонайменше 
разів в тексті ( – параметр для гнучкого налаштування параметрів роботи моделі).
Після побудови матриці здійснюється формування векторів ознак. Отримані вектори використовуються як вхідний набір для навчання моделі. Навчена модель здійснює оцінку когерентності у наступний спосіб: текст вважається некогерентним, якщо різниця вектору характеристик цього тексту та шаблонних векторів (результат навчання моделі) складає значення, більше за порогове. Для навчання моделі автори використовували метод опорних векторів (Support Vector Machine – SVM).
Entity Graph
В 2013 році був запропонований новий підхід для оцінки когерентності тексту, який отримав назву Entity Graph. Entity Graph використовує модель графу для оцінки зв’язності речень тексту, що дозволяє враховувати взаємозв’язок між сусідніми та віддаленими реченнями (на відміну від Entity Grid, де переважно розглядався локальний зв’язок речень). Текст представлений за допомогою орієнтованого двочасткового графу (біграфу). Перша підмножина вершин графу відповідає набору речень тексту. Друга підмножина графу – дискурсивна підмножина, в якій кожній вершині ставиться у відповідність сутність. Зважене ребро між вершинами речення і сутності встановлюється в тому випадку, коли сутність присутня в реченні. Вага ребра встановлюється залежно від ролі сутності в реченні: 3 для головної сутності, 2 для підрядної, 1 для всіх інших ролей. Отриманий орієнтований двочастковий граф далі перетворюється в орієнтований проєкційний граф, в якому всі вершини позначають речення тексту, а ребра між ними встановлюються за умови наявності щонайменше однієї спільної сутності. Напрямок ребер відповідає послідовності розміщення речень у тексті. Ваги ребер розраховуються відповідно до трьох різних проєкційних методів. Для оцінки когерентності тексту обраховується середнє арифметичне значення напівстепені виходу вершин графу.
Застосування рекурентних та згорткових нейронних мереж
Для автоматизованої оцінки когерентності тексту використовуються методи з різноманітною архітектурою нейронних мереж: згорткова мережа, рекурентна і рекурсивна мережі. Використання таких типів мереж обумовлене можливістю здійснювати обробку вхідних даних нефіксованого розміру. Застосування згорткових мереж дозволяє аналізувати семантичні канали вхідних речень окремо з подальшим об’єднанням отриманих результатів. Процес оцінки когерентності тексту поділяється на 2 етапи: формування векторного представлення речень та власне розрахунок міри когерентності. Для здійснення векторного представлення речень використовується навчена модель Word2Vec (GloVe, Sentence2Vec, fastText), що здійснює перетворення речення до матричної форми. Подальше трансформування матричної форми нефіксованого розміру до векторного представлення здійснюється за допомогою шарів згортки і субдискретизації, що за допомогою карт ознак дозволяють виділити різні властивості вхідних даних. Далі виконується застосування повнозв’язних шарів і функції softmax для формування кінцевого результату – оцінки цілісності вхідних речень.
Під час роботи згорткової мережі виконується пряме проходження сигналу від входу до виходу. Таким чином, кожний окремий прохід не залежить від попереднього. Проводячи аналогію з процесом читання, можна вважати, що кожне наступне слово є незалежним від попереднього. Однак нейрони головного мозку сприймають і аналізують кожне наступне слово тексту на основі вже прочитаного. Прочитавши частину речення, можна зрозуміти значення слова в даному контексті, або, навіть, його передбачити. Для вирішення цієї проблеми використовують нейрони зі зворотнім зв’язком, які мають додаткові входи зі значеннями, отриманими на попередньому кроці роботи. Такі нейрони «пам’ятають» попередні значення та можуть бути використані довільну кількість разів за один прохід сигналу. Ця властивість має наступні переваги:
- можливість подавати на вхід мережі дані з нефіксованим розміром, що дозволяє здійснювати обробку речень різної довжини;
- зменшення кількості вільних параметрів нейронної мережі, адже можливе багаторазове використання одного нейрону.
Нейронні мережі, що використовують наведені вище нейрони, називаються рекурентними і широко застосовуються для вирішення задач, пов’язаних з обробкою текстів. Більшість сучасних (станом на 2020 рік) методів оцінки когерентності використовують саме зазначені типи нейронних мереж різної архітектури для отримання точних результатів.
Оцінка когерентності україномовних текстів
Більшість методів автоматизованої оцінки когерентності пропонуються для розрахунку цілісності англомовних текстів. Незважаючи на активний розвиток досліджень в напрямку обробки природних мов, дослідження когерентності для україномовних текстів поки знаходиться на початковому етапі.
В роботі було досліджено використання графів семантичної схожості для відстеження впливу семантичної узгодженості речень на загальну оцінку цілісності україномовних текстів. Отримані результати можуть вказувати на наявність багаторазового зв’язку між реченнями тексту, написаного природною українською мовою. Таким чином, варто аналізувати зв'язок між елементами тексту незалежно від їх позиції в тексті. Крім того, доцільно аналізувати спільні терми речення та елементи міжфразової єдності (синоніми, антоніми, гіпоніми, кореферентні зв’язки), що дозволить покращити точність методу.
В роботах і здійснюється перевірка ефективності роботи методів з використанням згорткової та рекурентної нейронних мереж на множині україномовних текстів. Варто зазначити, що результати точності цих методів не перевищують значення графів семантичної схожості. Це може свідчити про необхідність збільшення навчальної вибірки моделей машинного навчання для україномовних текстів порівняно з англомовним корпусом у зв'язку з неоднорідністю структури речення в українській мові.
Див. також
- Когезія (лінгвістика)
Примітки
- Захаренко Е. Н., Комарова Л. Н., Нечаева И. В. Новый словарь иностранных слов: свыше 25 000 слов и словосочетаний. — М. : ООО ИФ «Азбуковник», 2008. — 1040 с. — 3-е изд., испр. и доп. — С. 386.
- Величко М. А. Когезия и когерентность: особенности разграничения и определения понятий [ 28 Березня 2020 у Wayback Machine.]. // Вестник . Серия 2 : Филология и искусствоведение. 2016. Вып. 2 (177). С. 39—43.
- De Beaugrande, Robert; Dressler, Wolfgang. Introduction to Text Linguistics. New York, 1996. P. 84—112.
- Bartlett, F. C. (1932). Remembering: A study in experimental and social psychology. Cambridge: Cambridge University Press.
- Brady Wagoner. Culture and mind in reconstruction: Bartlett's analogy between individual and group processes [ 28 Березня 2020 у Wayback Machine.]. Aalborg University, Denmark.
- DiMaggio, P. (1997). Culture and cognition. Annual Review Of Sociology.
- Regina Barzilay, Mirella Lapata, Modeling local coherence: An entity-based approach, Computational Linguistics, v.34 n.1, p.1-34, March 2008.
- Camille Guinaudeau and Michael Strube. 2013. Graph-based local coherence modeling. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, pages 93–103.
- Cui, Baiyun, et al. "Text Coherence Analysis Based on Deep Neural Network." Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. ACM, 2017.
- Jiwei Li and Eduard Hovy. 2014. A model of coherence based on distributed sentence representation. In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pages 2039–2048. Association for Computational Linguistics.
- Погорілий С.Д., Крамов А.А. Метод розрахунку когерентності українського тексту. Реєстрація, зберігання і обробка даних. 2018. № 4. C. 64–75.
- Погорілий С. Д., Крамов А. А., Яценко Ф. М. Метод аналізу когерентності україномовних текстів із використанням рекурентної нейронної мережі. Математичні машини і системи. 2019. № 4. С. 9–16.
- Погорілий С.Д., Крамов А.А., Білецький П.В. Метод оцінки когерентності україномовних текстів з використанням згорткової нейронної мережі. Збірник наукових праць Військового інституту Київського національного університету імені Тараса Шевченка. 2019. № 65. С. 63–71.
Література
- Bußmann, Hadumod. Lexikon der Sprachwissenschaft. Stuttgart, 1983. S. 537.
- Казаченко О. В. Когерентность и когезия текста [ 28 Березня 2020 у Wayback Machine.] // Альманах современной науки и образования. — Тамбов: Грамота, 2009. — № 8. Ч. 2. — С. 88—90.
- Величко М. А. Когезия и когерентность: особенности разграничения и определения понятий [ 28 Березня 2020 у Wayback Machine.]. // Вестник Адыгейского государственного университета. Серия 2 : Филология и искусствоведение. — 2016. — Вып. 2 (177). — С. 39—43.
Посилання
- (Библиография по когерентности и когезии текста) by Wolfram Bublitz at .
| На цю статтю не посилаються інші статті Вікіпедії. Будь ласка розставте посилання відповідно до . |
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Kogere ntnist vid lat cohaerens yakij perebuvaye u zv yazku u lingvistici cilisnist tekstu yaka polyagaye u logiko semantichnij gramatichnij ta stilistichnij spivvidnesenosti ta vzayemozalezhnosti skladovih elementiv sliv rechen tosho odna z harakteristik tekstu diskursu ta odna z neobhidnih umov tekstualnosti Odne z osnovnih ponyat teoriyi lingvistiki tekstu Krim terminu kogerentnist vikoristovuyut takozh termini cilisnist integraciya tekstu Kogerentnist takozh nazivayut zmistovnoyu zv yaznistyu tekstu Kogerentnist robit tekst znachimim semantichno Vona dosyagayetsya za dopomogoyu sintaksichnih zasobiv dejksisi anafori katafori nayavnosti logichno znachimoyi strukturi presupoziciyi ta logichnih naslidkiv sho posilayutsya na zagalnovidomi znannya fonovi znannya Termin kogerentnist zastosovuyetsya pid chas analizu diskursu interpretaciyi glibinnih smisliv tekstu ta zadumu avtora Kogerentnist i kogeziyaViklyuchno lingvistichni elementi yaki zabezpechuyut kogerentnist tekstu poznachayutsya terminom kogeziya tekstu jogo zv yaznist Odnak zastosuvannya cih lingvistichnih zasobiv ne zabezpechuye dosyagnennya kogerentnosti tekstu Voni ne zavzhdi spriyayut osmislenosti diskursu Tekst ye cilisnim tobto kogerentnim tilki u tomu vipadku koli fonovi znannya vikoristani u nomu cilisno Kogeziya zabezpechuye vnutrishnyu leksiko gramatichnu zv yaznist tekstu interpretaciya odnih elementiv tekstu zalezhit vid inshih sho dozvolyaye avtoru peredati svoyu ideyu adresatu yakomoga zrozumilishe ta tochnishe Kogerentnist organizovuye chastini diskursu u takij sposib sho avtorskij zadum staye zrozumilim adresatu realizuye dorechnist diskursu Kogerentnist oznachaye smislovu cilisnist tekstu na rivni ponyat kogeziya vikoristannya viznachenih movnih odinic form i eksplicitnih konektoriv Zgidno z T V Milevskoyu kogeziya vlastivist elementiv tekstu kogerentnist vlastivist tekstu v cilomu Kogeziya vnutrishnya strukturna zv yaznist kogerentnist zovnishnya pragmatichna zv yaznist Kogeziya ye drugoryadnim elementom u formuvanni kogerentnosti oskilki ostannya mozhe ne mati zovnishnih proyaviv ale vodnochas viznachati vibir movnih zasobiv yaki realizuyut zadum avtora Zgidno z M L Makarovim kogerentnist shirsha kogeziyi kogeziya ye formalno gramatichnoyu zv yaznistyu diskursu v toj chas yak kogerentnist ohoplyuye takozh semantiko pragmatichni v tomu chisli tematichni ta funkcionalni aspekti smislovoyi ta diyalnoyi interaktivnoyi zv yaznosti diskursu yak lokalnoyi tak i globalnoyi Na rannih etapah stanovlennya lingvistichnoyi teoriyi tekstu prostezhuvalasya tendenciya rozumiti kogeziyu yak zasib formalnogo vnutrishnotekstovogo zv yazku U procesi rozvitku lingvistiki tekstu ponyattya kogeziya stalo znachno shirshim Dodatkovo prijmayutsya do uvagi yiyi tekstoutvoryuyuchi potenciyi v oblasti formuvannya ne tilki strukturnoyi ale i smislovoyi zmistovnoyi cilisnosti movi Ryad doslidnikiv vvazhaye sho kogeziya zasobi yakoyi viznachayutsya kogerentnistyu tobto globalnoyu zv yaznistyu tekstu ye shirshoyu za kogerentnist tak yak vona ohoplyuye yak formalno gramatichni aspekti zv yazku vislovlyuvan tak i semantiko pragmatichni funkcionalni aspekti smislovoyi i diyalnoyi zv yaznosti diskursu yaki zabezpechuyut linijnist informaciyi Kogeziya i kogerentnost zabezpechuyut cilisnist ta yednist diskursu Razom zasobi kogeziyi i kogerentnosti yaki vklyuchayut logichni gramatichni leksichni stilistichni ta inshi zasobi stvoryuyut zv yaznij ta zrozumilij tekst yakij realizuye viznachenij komunikativnij zadum Kogeziya ta kogerentnist predstavlyayut soboyu rizni aspekti zv yaznosti tekstu i mozhut rozglyadatisya yak rizni rivni funkcionuvannya odnogo i togo zh tekstovogo fenomena Viznachennya tekstu yak lingvistichnoyi odinici z osnovnimi kategoriyami zv yaznist ta cilisnist u suchasnij lingvistici vvazhayetsya nedostatnim Vcheni prihodyat do rozuminnya tekstu yak produktu piznavalno komunikativnoyi diyalnosti Cilisnist svidomosti en i V Dresler viznachayut kogerentnist yak cilisnist svidomosti i vzayemnij dostup vzayemozv yazok i relevantnist u konfiguraciyi ponyat i zv yazkiv Realnist sho stvoryuyetsya u teksti mozhe ne vidpovidati realnomu svitu ale i v tekstovij realnosti ideyi povinni buti pov yazani u logichnij sposib shob chitach abo sluhach mogli vidtvoriti u svoyij svidomosti cilisnist ciyeyi realnosti Viznachennya kogerentnosti tekstu yak cilisnosti svidomosti pripuskaye zv yazok mizh neyu i shemami u teoriyi shem populyarizovanoyi u 1932 roci F Bartlettom yaka rozshiryuye ponyattya tekst Shemi zgidno z ciyeyu teoriyeyu predstavlyayut soboyu strukturovani abstraktni bloki informaciyi shlyahi pobudovi modeli realnogo svitu u nashij svidomosti mentalni strukturi v mezhah yakih vibudovuyetsya informaciya pro zovnishnij svit Tekst ne zavzhdi ye takim u povnomu rozuminni slova oskilki ne kozhnij tekst volodiye kogerentnistyu Navproti kogerentnist tekstu relevantna zavdyaki svoyij zalezhnosti vid shem kozhnogo okremogo individumu Avtomatizovani metodi ocinki kogerentnosti tekstivNezvazhayuchi na isnuvannya terminu kogerentnist tekstu nemaye zagalnoprijnyatogo sposobu viznachennya jogo znachennya Rizni naukovci proponuyut svoyi pidhodi dlya obrahuvannya kogerentnosti cherez viznachennya skladnih funkcij chi predstavlennya tekstu u viglyadi derevopodibnih struktur i grafiv inshi pidhodi peredbachayut vikoristannya metodiv mashinnogo navchannya metod opornih vektoriv nejronni merezhi tosho Entity Grid U 2008 roci bula zaproponovana model ocinki kogerentnosti tekstu yaka otrimala nazvu Entity Grid Golovna ideya modeli polyagaye v pripushenni sho rozpodil klyuchovih sutnostej tekstu imenni grupi yaki prisutni v rechennyah pidporyadkovuyetsya pevnij zakonomirnosti Parametrom ocinki kogerentnosti vvazhayetsya chastota zmini roli klyuchovih sliv v teksti tobto analizuyetsya chastota zmini nagolosiv v teksti yaki privertayut uvagu chitacha U vipadku rizkih rivnomirnih perehodiv vid odniyeyi klyuchovoyi sutnosti do inshoyi ocinka kogerentnosti vidpovidno zmenshuyetsya zbilshuyetsya Avtorami modeli bulo zaproponovane predstavlennya naboru rechen u viglyadi matrici sho nazivayetsya Entity Grid Kolonki v matrici vidpovidayut vsim sutnostyam tekstu ryadki predstavlyayut rechennya Komirka matrici mistit opis roli pevnoyi sutnosti u vidpovidnomu rechenni Roli sutnosti mozhut buti nastupnimi S subject golovna sutnist O object sutnist pidryadna golovnij X neither dopomizhna sutnist U vipadku vidsutnosti sutnosti v rechenni komirka mistit znak Yaksho sutnist maye dekilka rolej v rechenni todi rol vstanovlyuyetsya za nastupnim prioritetom vid bilshogo do menshogo S O X Dodatkovo avtori vvodyat ponyattya osnovnih sutnostej salient entities Sutnist vvazhayetsya osnovnoyu i potraplyaye do matrici tilki za umovi yiyi poyavi shonajmenshe k displaystyle k raziv v teksti k displaystyle k parametr dlya gnuchkogo nalashtuvannya parametriv roboti modeli Pislya pobudovi matrici zdijsnyuyetsya formuvannya vektoriv oznak Otrimani vektori vikoristovuyutsya yak vhidnij nabir dlya navchannya modeli Navchena model zdijsnyuye ocinku kogerentnosti u nastupnij sposib tekst vvazhayetsya nekogerentnim yaksho riznicya vektoru harakteristik cogo tekstu ta shablonnih vektoriv rezultat navchannya modeli skladaye znachennya bilshe za porogove Dlya navchannya modeli avtori vikoristovuvali metod opornih vektoriv Support Vector Machine SVM Entity Graph V 2013 roci buv zaproponovanij novij pidhid dlya ocinki kogerentnosti tekstu yakij otrimav nazvu Entity Graph Entity Graph vikoristovuye model grafu dlya ocinki zv yaznosti rechen tekstu sho dozvolyaye vrahovuvati vzayemozv yazok mizh susidnimi ta viddalenimi rechennyami na vidminu vid Entity Grid de perevazhno rozglyadavsya lokalnij zv yazok rechen Tekst predstavlenij za dopomogoyu oriyentovanogo dvochastkovogo grafu bigrafu Persha pidmnozhina vershin grafu vidpovidaye naboru rechen tekstu Druga pidmnozhina grafu diskursivna pidmnozhina v yakij kozhnij vershini stavitsya u vidpovidnist sutnist Zvazhene rebro mizh vershinami rechennya i sutnosti vstanovlyuyetsya v tomu vipadku koli sutnist prisutnya v rechenni Vaga rebra vstanovlyuyetsya zalezhno vid roli sutnosti v rechenni 3 dlya golovnoyi sutnosti 2 dlya pidryadnoyi 1 dlya vsih inshih rolej Otrimanij oriyentovanij dvochastkovij graf dali peretvoryuyetsya v oriyentovanij proyekcijnij graf v yakomu vsi vershini poznachayut rechennya tekstu a rebra mizh nimi vstanovlyuyutsya za umovi nayavnosti shonajmenshe odniyeyi spilnoyi sutnosti Napryamok reber vidpovidaye poslidovnosti rozmishennya rechen u teksti Vagi reber rozrahovuyutsya vidpovidno do troh riznih proyekcijnih metodiv Dlya ocinki kogerentnosti tekstu obrahovuyetsya serednye arifmetichne znachennya napivstepeni vihodu vershin grafu Zastosuvannya rekurentnih ta zgortkovih nejronnih merezh Dlya avtomatizovanoyi ocinki kogerentnosti tekstu vikoristovuyutsya metodi z riznomanitnoyu arhitekturoyu nejronnih merezh zgortkova merezha rekurentna i rekursivna merezhi Vikoristannya takih tipiv merezh obumovlene mozhlivistyu zdijsnyuvati obrobku vhidnih danih nefiksovanogo rozmiru Zastosuvannya zgortkovih merezh dozvolyaye analizuvati semantichni kanali vhidnih rechen okremo z podalshim ob yednannyam otrimanih rezultativ Proces ocinki kogerentnosti tekstu podilyayetsya na 2 etapi formuvannya vektornogo predstavlennya rechen ta vlasne rozrahunok miri kogerentnosti Dlya zdijsnennya vektornogo predstavlennya rechen vikoristovuyetsya navchena model Word2Vec GloVe Sentence2Vec fastText sho zdijsnyuye peretvorennya rechennya do matrichnoyi formi Podalshe transformuvannya matrichnoyi formi nefiksovanogo rozmiru do vektornogo predstavlennya zdijsnyuyetsya za dopomogoyu shariv zgortki i subdiskretizaciyi sho za dopomogoyu kart oznak dozvolyayut vidiliti rizni vlastivosti vhidnih danih Dali vikonuyetsya zastosuvannya povnozv yaznih shariv i funkciyi softmax dlya formuvannya kincevogo rezultatu ocinki cilisnosti vhidnih rechen Pid chas roboti zgortkovoyi merezhi vikonuyetsya pryame prohodzhennya signalu vid vhodu do vihodu Takim chinom kozhnij okremij prohid ne zalezhit vid poperednogo Provodyachi analogiyu z procesom chitannya mozhna vvazhati sho kozhne nastupne slovo ye nezalezhnim vid poperednogo Odnak nejroni golovnogo mozku sprijmayut i analizuyut kozhne nastupne slovo tekstu na osnovi vzhe prochitanogo Prochitavshi chastinu rechennya mozhna zrozumiti znachennya slova v danomu konteksti abo navit jogo peredbachiti Dlya virishennya ciyeyi problemi vikoristovuyut nejroni zi zvorotnim zv yazkom yaki mayut dodatkovi vhodi zi znachennyami otrimanimi na poperednomu kroci roboti Taki nejroni pam yatayut poperedni znachennya ta mozhut buti vikoristani dovilnu kilkist raziv za odin prohid signalu Cya vlastivist maye nastupni perevagi mozhlivist podavati na vhid merezhi dani z nefiksovanim rozmirom sho dozvolyaye zdijsnyuvati obrobku rechen riznoyi dovzhini zmenshennya kilkosti vilnih parametriv nejronnoyi merezhi adzhe mozhlive bagatorazove vikoristannya odnogo nejronu Nejronni merezhi sho vikoristovuyut navedeni vishe nejroni nazivayutsya rekurentnimi i shiroko zastosovuyutsya dlya virishennya zadach pov yazanih z obrobkoyu tekstiv Bilshist suchasnih stanom na 2020 rik metodiv ocinki kogerentnosti vikoristovuyut same zaznacheni tipi nejronnih merezh riznoyi arhitekturi dlya otrimannya tochnih rezultativ Ocinka kogerentnosti ukrayinomovnih tekstiv Bilshist metodiv avtomatizovanoyi ocinki kogerentnosti proponuyutsya dlya rozrahunku cilisnosti anglomovnih tekstiv Nezvazhayuchi na aktivnij rozvitok doslidzhen v napryamku obrobki prirodnih mov doslidzhennya kogerentnosti dlya ukrayinomovnih tekstiv poki znahoditsya na pochatkovomu etapi V roboti bulo doslidzheno vikoristannya grafiv semantichnoyi shozhosti dlya vidstezhennya vplivu semantichnoyi uzgodzhenosti rechen na zagalnu ocinku cilisnosti ukrayinomovnih tekstiv Otrimani rezultati mozhut vkazuvati na nayavnist bagatorazovogo zv yazku mizh rechennyami tekstu napisanogo prirodnoyu ukrayinskoyu movoyu Takim chinom varto analizuvati zv yazok mizh elementami tekstu nezalezhno vid yih poziciyi v teksti Krim togo docilno analizuvati spilni termi rechennya ta elementi mizhfrazovoyi yednosti sinonimi antonimi giponimi koreferentni zv yazki sho dozvolit pokrashiti tochnist metodu V robotah i zdijsnyuyetsya perevirka efektivnosti roboti metodiv z vikoristannyam zgortkovoyi ta rekurentnoyi nejronnih merezh na mnozhini ukrayinomovnih tekstiv Varto zaznachiti sho rezultati tochnosti cih metodiv ne perevishuyut znachennya grafiv semantichnoyi shozhosti Ce mozhe svidchiti pro neobhidnist zbilshennya navchalnoyi vibirki modelej mashinnogo navchannya dlya ukrayinomovnih tekstiv porivnyano z anglomovnim korpusom u zv yazku z neodnoridnistyu strukturi rechennya v ukrayinskij movi Div takozhKogeziya lingvistika PrimitkiZaharenko E N Komarova L N Nechaeva I V Novyj slovar inostrannyh slov svyshe 25 000 slov i slovosochetanij M OOO IF Azbukovnik 2008 1040 s 3 e izd ispr i dop S 386 Velichko M A Kogeziya i kogerentnost osobennosti razgranicheniya i opredeleniya ponyatij 28 Bereznya 2020 u Wayback Machine Vestnik Seriya 2 Filologiya i iskusstvovedenie 2016 Vyp 2 177 S 39 43 De Beaugrande Robert Dressler Wolfgang Introduction to Text Linguistics New York 1996 P 84 112 Bartlett F C 1932 Remembering A study in experimental and social psychology Cambridge Cambridge University Press Brady Wagoner Culture and mind in reconstruction Bartlett s analogy between individual and group processes 28 Bereznya 2020 u Wayback Machine Aalborg University Denmark DiMaggio P 1997 Culture and cognition Annual Review Of Sociology Regina Barzilay Mirella Lapata Modeling local coherence An entity based approach Computational Linguistics v 34 n 1 p 1 34 March 2008 Camille Guinaudeau and Michael Strube 2013 Graph based local coherence modeling In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics pages 93 103 Cui Baiyun et al Text Coherence Analysis Based on Deep Neural Network Proceedings of the 2017 ACM on Conference on Information and Knowledge Management ACM 2017 Jiwei Li and Eduard Hovy 2014 A model of coherence based on distributed sentence representation In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing EMNLP pages 2039 2048 Association for Computational Linguistics Pogorilij S D Kramov A A Metod rozrahunku kogerentnosti ukrayinskogo tekstu Reyestraciya zberigannya i obrobka danih 2018 4 C 64 75 Pogorilij S D Kramov A A Yacenko F M Metod analizu kogerentnosti ukrayinomovnih tekstiv iz vikoristannyam rekurentnoyi nejronnoyi merezhi Matematichni mashini i sistemi 2019 4 S 9 16 Pogorilij S D Kramov A A Bileckij P V Metod ocinki kogerentnosti ukrayinomovnih tekstiv z vikoristannyam zgortkovoyi nejronnoyi merezhi Zbirnik naukovih prac Vijskovogo institutu Kiyivskogo nacionalnogo universitetu imeni Tarasa Shevchenka 2019 65 S 63 71 LiteraturaBussmann Hadumod Lexikon der Sprachwissenschaft Stuttgart 1983 S 537 Kazachenko O V Kogerentnost i kogeziya teksta 28 Bereznya 2020 u Wayback Machine Almanah sovremennoj nauki i obrazovaniya Tambov Gramota 2009 8 Ch 2 S 88 90 Velichko M A Kogeziya i kogerentnost osobennosti razgranicheniya i opredeleniya ponyatij 28 Bereznya 2020 u Wayback Machine Vestnik Adygejskogo gosudarstvennogo universiteta Seriya 2 Filologiya i iskusstvovedenie 2016 Vyp 2 177 S 39 43 Posilannya Bibliografiya po kogerentnosti i kogezii teksta by Wolfram Bublitz at Na cyu stattyu ne posilayutsya inshi statti Vikipediyi Bud laska rozstavte posilannya vidpovidno do prijnyatih rekomendacij