Ця стаття про породжувальні моделі в контексті статистичного класифікування Про породжувальні моделі марковських процесі

Ця стаття про породжувальні моделі в контексті статистичного класифікування. Про породжувальні моделі марковських процесів вирішування див. ^[en]. Про мову породжувального моделювання (англ. GML) в комп'ютерній графіці та породжувальному комп'ютерному програмуванні див. ^[en]. Про моделі/системи породжувального штучного інтелекту (породжувального ШІ) див. Породжувальний штучний інтелект.

В теорії ймовірностей та статистиці поро́джувальна моде́ль (англ. generative model) — це модель для породження випадковим чином значень спостережуваних даних, зазвичай для певних заданих прихованих параметрів. Вона визначає спільний розподіл ймовірності над послідовностями спостережень та міток. Породжувальні моделі застосовуються в машинному навчанні або для безпосереднього моделювання даних (тобто для моделювання спостережень, випадково витягнутих з функції густини ймовірності), або як проміжний крок для формування умовної функції густини ймовірності. Умовний розподіл може бути сформовано з породжувальної моделі через правило Баєса.

Шеннон (1948) наводить приклад, у якому таблиця частот пар англійських слів застосовується для породження речення, яке починається з «representing and speedily is an good»; що не є правильною англійською, але все більше й більше наближуватиме її з просуванням таблиці від пар слів до триплетів, і так далі.

Породжувальні моделі контрастують із розрізнювальними в тому, що породжувальна модель є повною ймовірнісною моделлю всіх змінних, тоді як розрізнювальна забезпечує модель лише для цільової змінної (змінних) залежно від спостережуваних. Таким чином, породжувальна модель може застосовуватися, наприклад, для імітації (тобто, породження) значень будь-якої змінної в моделі, тоді як розрізнювальна модель дозволяє лише вибірку цільових змінних залежно від спостережуваних величин. Попри те, що розрізнювальні моделі не потребують моделювання розподілу спостережуваних змінних, вони не можуть в загальному випадку виражати складніші відношення між спостережуваними та цільовими змінними. Вони не обов'язково працюють краще за породжувальні моделі в задачах класифікації та регресії. В сучасних застосуваннях ці два класи розглядаються як взаємодоповнювальні, або як різні погляди на одну й ту саму процедуру.

Типи породжувальних моделей

Типи породжувальних моделей включають:

Якщо спостережувані дані вибираються з породжувальної моделі істинно, то поширеним методом є узгодження параметрів породжувальної моделі для максимізації правдоподібності даних. Проте, оскільки більшість статистичних моделей є лише наближеннями істинного розподілу, якщо призначенням моделі є здійснення висновків про підмножину змінних залежно від відомих значень інших змінних, то може бути показано, що це наближення робить більше припущень, ніж є необхідним для розв'язання наявної задачі. В таких випадках може бути точнішим моделювати функції умовної густини безпосередньо, із застосуванням розрізнювальної моделі (див. вище), хоча в результаті диктувати, який підхід є найбільш підхожим в кожному конкретному випадку, будуть специфічні особливості застосування.

Див. також

Примітки

Шабінський, А. С. (2013). Онтології, ймовірнісні тематичні моделі та тематичні карти у онтолого-керованих інформаційних системах (PDF). Наукові записки НаУКМА. Комп'ютерні науки (укр.). НаУКМА. 151: 52. (PDF) оригіналу за 15 травня 2022.
Тимофєєва, А. Є.; Кудін, О. В.; Кривохата, А. Г.; Лісняк, А. О. (2019). Автоматичне анотування зображень за допомогою нейронних мереж (PDF). Вчені записки ТНУ імені В.І. Вернадського. Серія: технічні науки. Інформатика, обчислювальна техніка та автоматизація (укр.). ТНУ ім. Вернадського. 30 (69): 215. (PDF) оригіналу за 17 квітня 2022.
Бабіч, О. М.; Дух, Д. І.; Глухова, А. С. (2018). Особливості методів машинного навчання щодо їх використання в процесі аналізу англомовних джерел (PDF). Збірник наукових праць Військового інституту Київського національного університету імені Тараса Шевченка (укр.). ВІКНУ (61): 32—39. (PDF) оригіналу за 7 грудня 2023.
C. M. Bishop and J. Lasserre, Generative or Discriminative? getting the best of both worlds. In Bayesian Statistics 8, Bernardo, J. M. et al. (Eds), Oxford University Press. 3–23, 2007. (англ.)

Джерела

Shannon, C.E. (1948) «A Mathematical Theory of Communication», ^[en], vol. 27, pp. 379–423, 623—656, July, October, 1948 (англ.)

[1] Шабінський, А. С. (2013). Онтології, ймовірнісні тематичні моделі та тематичні карти у онтолого-керованих інформаційних системах (PDF). Наукові записки НаУКМА. Комп'ютерні науки (укр.). НаУКМА. 151: 52. (PDF) оригіналу за 15 травня 2022.

[2] Тимофєєва, А. Є.; Кудін, О. В.; Кривохата, А. Г.; Лісняк, А. О. (2019). Автоматичне анотування зображень за допомогою нейронних мереж (PDF). Вчені записки ТНУ імені В.І. Вернадського. Серія: технічні науки. Інформатика, обчислювальна техніка та автоматизація (укр.). ТНУ ім. Вернадського. 30 (69): 215. (PDF) оригіналу за 17 квітня 2022.

[3] Бабіч, О. М.; Дух, Д. І.; Глухова, А. С. (2018). Особливості методів машинного навчання щодо їх використання в процесі аналізу англомовних джерел (PDF). Збірник наукових праць Військового інституту Київського національного університету імені Тараса Шевченка (укр.). ВІКНУ (61): 32—39. (PDF) оригіналу за 7 грудня 2023.

[4] C. M. Bishop and J. Lasserre, Generative or Discriminative? getting the best of both worlds. In Bayesian Statistics 8, Bernardo, J. M. et al. (Eds), Oxford University Press. 3–23, 2007. (англ.)