У теорії ймовірностей та теорії інформації взає́мна інформа́ція (англ. mutual information, MI) двох випадкових змінних — це міра взаємної залежності між цими двома змінними. Конкретніше, вона визначає «кількість інформації» (в таких одиницях, як шеннони, що зазвичай називають бітами), отримуваної про одну випадкову змінну через спостерігання іншої випадкової змінної. Поняття взаємної інформації нерозривно пов'язане з ентропією випадкової змінної, фундаментальним поняттям теорії інформації, яке кількісно оцінює очікувану «кількість інформації», що міститься у випадковій змінній.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOWtMMlEwTDBWdWRISnZjSGt0YlhWMGRXRnNMV2x1Wm05eWJXRjBhVzl1TFhKbGJHRjBhWFpsTFdWdWRISnZjSGt0Y21Wc1lYUnBiMjR0WkdsaFozSmhiUzV6ZG1jdk1qVTJjSGd0Ulc1MGNtOXdlUzF0ZFhSMVlXd3RhVzVtYjNKdFlYUnBiMjR0Y21Wc1lYUnBkbVV0Wlc1MGNtOXdlUzF5Wld4aGRHbHZiaTFrYVdGbmNtRnRMbk4yWnk1d2JtYz0ucG5n.png)
Не обмежуючись, як коефіцієнт кореляції, дійснозначними випадковими змінними, взаємна інформація є загальнішою, і визначає, наскільки подібним є спільний розподіл до добутків розкладених відособлених розподілів . Взаємна інформація — це математичне сподівання поточкової взаємної інформації (англ. pointwise mutual information, PMI).
Визначення
Формально взаємну інформацію двох дискретних випадкових змінних та
може бути визначено як
де є функцією спільного розподілу ймовірностей
та
, а
та
є функціями відособлених розподілів імовірності
та
відповідно.
У випадку неперервних випадкових змінних підсумовування замінюється визначеним подвійним інтегралом:
де тепер є функцією густини спільної ймовірності
та
, а
та
є функціями густини відособлених імовірностей
та
відповідно.
Якщо застосовується логарифм за основою 2, то одиницею вимірювання взаємної інформації є біт.
Обґрунтування
Інтуїтивно, взаємна інформація вимірює інформацію, яку поділяють та
: вона вимірює, наскільки знання однієї з цих змінних зменшує невизначеність щодо іншої. Наприклад, якщо
та
є незалежними, то знання
не дає жодної інформації про
, і навпаки, тому їхня взаємна інформація дорівнює нулеві. З іншого боку, якщо
є детермінованою функцією від
, і
є детермінованою функцією від
, то вся інформація, що передає змінна
, є спільною з
: знання
визначає значення
, і навпаки. В результаті, в цьому випадку взаємна інформація є тим же, що й невизначеність, яка міститься окремо в
(або
), а саме ентропія
(або
). Більше того, ця взаємна інформація і є такою ж, як і ентропія
та як ентропія
. (Дуже особливим випадком цього є такий, коли
та
є однією й тією ж випадковою змінною.)
Взаємна інформація є мірою притаманної залежності, вираженої в спільному розподілі та
, по відношенню до спільного розподілу
та
за припущення незалежності. Взаємна інформація відтак вимірює залежність у наступному сенсі:
, якщо і лише якщо
та
є незалежними випадковими змінними. Це легко побачити в одному напрямку: якщо
та
є незалежними, то
, і тому
Крім того, взаємна інформація є невід'ємною (тобто, , див. нижче) і симетричною (тобто,
, див. нижче).
Відношення до інших величин
Невід'ємність
Застосувавши нерівність Єнсена до визначення взаємної інформації, ми можемо показати, що є невід'ємною, тобто,
Симетричність
Відношення до умовної та спільної ентропій
Взаємну інформацію може бути рівнозначно виражено як
де та
є відособленими ентропіями,
та
є умовними ентропіями, а
є спільною ентропією
та
. Зверніть увагу на аналогію з об'єднанням, різницею та перетином двох множин, яку показано в діаграмі Венна. В термінах каналу зв'язку, в якому вихід
є зашумленою версією входу
, ці відношення узагальнено на малюнку нижче.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODVMemxrTDBacFoyTm9ZVzV1Wld3eU1ERTNZV0pmZFdzdWMzWm5Mekl5TUhCNExVWnBaMk5vWVc1dVpXd3lNREUzWVdKZmRXc3VjM1puTG5CdVp3PT0ucG5n.png)
Оскільки є невід'ємною, як наслідок,
. Тут ми наводимо докладне виведення
:
Доведення інших наведених вище тотожностей є схожими на це.
Інтуїтивно, якщо ентропію розглядати як міру невизначеності випадкової змінної, то
є мірою того, що
не каже про
. Це є «кількістю невизначеності
, яка залишається після того, як стала відомою
», і, отже, праву частину другого з цих рівнянь можливо читати як «кількість невизначеності
за вирахуванням кількості невизначеності
, яка залишається після того, як стала відомою
», що рівнозначно «кількість невизначеності
, яка усувається, коли стає відомою
». Це підтримує інтуїтивне значення взаємної інформації як кількості інформації (тобто, зниження невизначеності), яке знання однієї з змінних забезпечує стосовно іншої.
Зауважте, що в дискретному випадку і, отже,
. Таким чином,
, і можна сформулювати основний принцип, що змінна містить про себе щонайменше стільки ж інформації, скільки могла би забезпечити будь-яка інша змінна. Це відповідає подібним пов'язаним результатам.
Відношення до відстані Кульбака — Лейблера
Взаємну інформацію також може бути виражено як відстань Кульбака — Лейблера добутку відособлених розподілів двох випадкових змінних
та
від спільного розподілу цих випадкових змінних
:
Крім того, нехай . Тоді
Зауважте, що тут відстань Кульбака — Лейблера передбачає інтегрування лише за випадковою змінною , і вираз
тепер є випадковою змінною в
. Таким чином, взаємну інформацію можна також розуміти як математичне сподівання відстані Кульбака — Лейблера [en]
змінної
від умовного розподілу
змінної
відносно
: що більш відмінними в середньому є розподіли
та
, то більшим є приріст інформації.
Баєсове оцінювання взаємної інформації
Як робити баєсове оцінювання взаємної інформації спільного розподілу на основі зразків цього розподілу, є добре зрозумілим. Першою працею про те, як це робити, яка також показала, як робити баєсове оцінювання багато чого іншого в теорії інформації, понад взаємну інформацію, була праця Волперта 1995 року. Наступні дослідники цей аналіз перевивели та розширили. Див. нещодавню працю на основі апріорного, спеціально пристосованого для оцінювання взаємної інформації як такої.
Припущення про незалежність
Формулювання взаємної інформації в термінах відстані Кульбака — Лейблера ґрунтується на зацікавленні в порівнянні з повністю розкладеним діадним добутком
. В багатьох задачах, таких як розклад невід'ємних матриць, цікавлять менш екстремальні розклади, а саме, хочуть порівнювати
з низькоранговим матричним наближенням у якійсь невідомій змінній
, тобто, до якої міри можна мати
Або ж може цікавити дізнатися, скільки інформації несе понад свій розклад. В такому випадку додаткова інформація, що несе повний розподіл
відносно цього матричного розкладу, задається відстанню Кульбака — Лейблера:
Стандартне визначення взаємної інформації відтворюється в екстремальному випадку, коли процес має для
лише одне значення.
Різновиди
Для задоволення різних потреб було запропоновано кілька варіацій взаємної інформації. Серед них є нормалізовані варіанти та узагальнення до понад двох змінних.
Метрика
Багато застосувань вимагають метрики, тобто міри відстань між парами точок. Величина
задовольняє властивості метрики (нерівність трикутника, невід'ємність, [en] та симетрію). Ця метрика відстані також відома як [en].
Якщо є дискретними випадковими змінними, то всі члени ентропії є невід'ємними, тому
і можливо визначити унормовану відстань
Метрика є універсальною метрикою, в тому сенсі, що якщо будь-яка інша міра відстані розмістить
та
поруч, то й
також розглядатиме їх як близькі.[ ]
Підключення визначень показує, що
У теоретико-множинній інтерпретації інформації (див. малюнок в умовній ентропії) це є фактично відстанню Жаккара між та
.
Нарешті,
також є метрикою.
Умовна взаємна інформація
Детальніші відомості з цієї теми ви можете знайти в статті [en].
Іноді корисно виражати взаємну інформацію двох випадкових змінних відносно третьої.
що може бути спрощено як
Обумовлювання третьою випадковою змінною може збільшувати або зменшувати взаємну інформацію, але для дискретних спільно розподілених випадкових змінних завжди залишається істинним
Цей результат застосовувався як основний будівельний блок для доведення інших [en].
Багатовимірна взаємна інформація
Детальніші відомості з цієї теми ви можете знайти в статті [en].
Було запропоновано декілька узагальнень взаємної інформації для понад двох випадкових змінних, такі як [en] та [en]. Якщо розглядати ентропію Шеннона як знакозмінну міру в контексті [en], як описано в статті [en]», то єдиним визначенням багатовимірної взаємної інформації, яке має сенс,[] є наступне:
і для
де (як вище) ми визначаємо
(Це визначення багатовимірної взаємної інформації є ідентичним визначенню [en], за винятком зміни знаку, коли число випадкових змінних є непарним.)
Застосування
Сліпе застосування інформаційних схем для виведення вищевказаного визначення[] зазнавало критики,[] і дійсно, воно знайшло досить обмежене практичне застосування, оскільки важко уявити або зрозуміти значення цієї кількості для великого числа випадкових змінних. Вона може бути нульовою, додатною або від'ємною для будь-якого непарного числа змінних
Одна зі схем багатовимірного узагальнення, яка максимізує взаємну інформацію між спільним розподілом та іншими цільовими змінними, виявилася корисною в обиранні ознак.
Взаємну інформацію також застосовують в галузі обробки сигналів як міру подібності двох сигналів. Наприклад, метрика взаємної інформації ознак (англ. FMI, feature mutual information) — це міра продуктивності злиття зображень, яка застосовує взаємну інформацію для вимірювання кількості інформації, яку злите зображення містить про первинні зображення. Код MATLAB для цієї метрики можна знайти за адресою .
Спрямована інформація
[en], , вимірює кількість інформації, що протікає з процесу
до
, де
позначує вектор
, а
позначує
. Термін «спрямована інформація» (англ. directed information) було започатковано Джеймсом Мессі, й визначено як
.
Зауважте, що якщо , то спрямована інформація стає взаємною інформацією. Спрямована інформація має багато застосувань у задачах, в яких важливу роль відіграє причинність, таких як пропускна здатність каналу зі зворотним зв'язком.
Унормовані варіанти
Унормовані варіанти взаємної інформації забезпечуються коефіцієнтами обмеження,[en] або вправністю (англ. proficiency):
та
Ці два коефіцієнти не обов'язково дорівнюють один одному. В деяких випадках може бути бажаною симетрична міра, така як наступна міра надмірності (англ. redundancy):[]
яка досягає нульового мінімуму, коли змінні є незалежними, і максимального значення
коли одна зі змінних стає абсолютно надмірною при знанні іншої. Див. також надмірність інформації. Іншою симетричною мірою є симетрична невизначеність (Witten та Frank, 2005), яку задають як
що представляє середнє гармонійне двох коефіцієнтів невизначеності .
Якщо розглядати взаємну інформацію як окремий випадок [en] або [en], то унормованими версіями відповідно є
та
Ця унормована версія також відома як показник якості інформації (англ. Information Quality Ratio, IQR), що дає кількісну оцінку інформації змінної на основі іншої змінної відносно повної невизначеності:
Існує унормування, яке випливає з першого розгляду взаємної інформації як аналогу коваріації (таким чином, ентропія Шеннона є аналогом дисперсії). Потім унормована взаємна інформація розраховується подібно до коефіцієнту кореляції Пірсона,
Зважені варіанти
В традиційному формулюванні взаємної інформації
кожна подія чи об'єкт, вказані як , зважуються відповідною ймовірністю
. Це передбачає, що всі об'єкти або події є рівнозначними без врахування ймовірностей їх настання. Проте в деяких застосуваннях може бути так, що певні об'єкти або події є більш значущими, ніж інші, або що деякі шаблони зв'язків є семантично важливішими за інші.
Наприклад, детерміноване відображення може розглядатися як сильніше за детерміноване відображення
, хоча ці відношення видадуть однакову взаємну інформацію. Це відбувається тому, що взаємна інформація взагалі не чутлива до жодного природного впорядкування значень змінних (Cronbach, 1954, Coombs, Dawes та Tversky, 1970, Lockhead, 1970), і тому взагалі не чутлива до форми відносного відображення між зв'язаними змінними. Якщо бажано, щоби перше відношення — яке показує узгодженість за всіма значеннями змінних — оцінювалося вище, ніж друге відношення, то можна використовувати наступну зважену взаємну інформацію (Guiasu, 1977).
яка поміщає вагу на імовірність кожного збігу значень змінних,
. Це дозволяє робити так, щоби деякі ймовірності могли нести більше або менше важливості за інші, тим самим дозволяючи кількісно виразити відповідні чинники цілісності (англ. holistic) або виразності (нім. Prägnanz). У наведеному вище прикладі застосування більших відносних ваг для
,
і
матиме ефект вищої оцінки інформативності для відношення
, ніж для відношення
, що може бути бажаним в деяких випадках розпізнавання образів тощо. Ця зважена взаємна інформація є вираженням зваженої відстані Кульбака — Лейблера, яка, як відомо, може набувати від'ємних значень для деяких входів, і є приклади, де зважена взаємна інформація також набуває від'ємних значень.
Скоригована взаємна інформація
Детальніші відомості з цієї теми ви можете знайти в статті [en].
Розподіл імовірності можна розглядати як розбиття множини. Можна запитати: якщо множину було розбито випадковим чином, яким буде розподіл імовірностей? Яким буде математичне сподівання взаємної інформації? [en] (англ. adjusted mutual information, AMI) віднімає математичне сподівання взаємної інформації таким чином, що вона дорівнює нулеві, коли два різних розподіли носять випадковий характер, і одиниці, коли два розподіли збігаються. Скоригована взаємна інформація визначається за аналогією зі [en] двох різних розбиттів множини.
Абсолютна взаємна інформація
З допомогою ідей колмогоровської складності можна розглядати взаємну інформацію двох послідовностей незалежно від будь-якого розподілу ймовірностей:
Встановлення того, що ця величина є симетричною з точністю до логарифмічного множника (), потребує [en] (Li та Vitányi, 1997). Наближення цієї величини через стиснення може застосовуватися для визначення міри відстані для виконання ієрархічного кластерування послідовностей без жодного знання про предметну область цих послідовностей (Cilibrasi та Vitányi, 2005).
Лінійна кореляція
На відміну від коефіцієнтів кореляції, наприклад, коефіцієнту кореляції моменту добутку, взаємна інформація містить інформацію про всю залежність — лінійну й нелінійну, — а не просто про лінійну залежність, як міри коефіцієнтів кореляції. Тим не менш, у вузькому випадку, в якому спільний розподіл та
є двовимірним нормальним розподілом (за припущення, зокрема, що обидва відособлені розподіли розподілені нормально), існує точний взаємозв'язок між
та коефіцієнтом кореляції
(Гельфанд та Яглом, 1957).
Наведене вище рівняння може бути виведено для двовимірного нормального розподілу наступним чином:
Отже,
Для дискретних даних
Коли та
обмежено перебуванням у дискретному числі станів, то дані спостережень підсумовують до таблиці спряженості зі змінною рядків
(або
) та змінною стовпців
(або
). Взаємна інформація є однією з мір асоційовності або кореляції між змінними рядків і стовпців. До інших мір асоційовності належать статистики критерію хі-квадрат Пірсона, статистики [en] тощо. Фактично, взаємна інформація дорівнює статистиці [en], поділеній на
, де
є розміром вибірки.
Застосування
В багатьох застосуваннях потрібно максимізувати взаємну інформацію (тим самим збільшуючи взаємозалежність), що часто рівнозначне мінімізації умовної ентропії. До прикладів належать:
- У технології пошукових рушіїв взаємну інформацію між фразами та контекстами використовують як ознаку для кластерування методом k-середніх для виявлення семантичних кластерів (понять).
- У телекомунікаціях пропускна спроможність каналу дорівнює взаємній інформації, максимізованій над усіма вхідними розподілами.
- Було запропоновано процедури розрізнювального навчання для прихованих марковських моделей на основі критерію (англ. maximum mutual information, MMI).
- Передбачування [en] з множинного вирівнювання послідовностей.
- Передбачування [en] з попарної присутності або відсутності функціонально пов'язаних генів.
- Взаємну інформацію застосовували в машинному навчанні як критерій для обирання ознак та перетворень ознак. Її можливо застосовувати для характеризування як доречності, так і надлишковості змінних, як в [en].
- Взаємну інформацію використовують у визначенні подібності двох різних кластерувань набору даних. Як така, вона пропонує деякі переваги над традиційним [en].
- Взаємну інформацію слів часто використовують як функцію значущості для обчислення колокації в корпусній лінгвістиці. Це має додаткову складність в тому, що жоден випадок слова не є випадком для двох різних слів; швидше, рахують випадки, в яких 2 слова трапляються суміжно або в безпосередній близькості; це дещо ускладнює розрахунок, оскільки очікувана ймовірність трапляння одного слова в межах
слів від іншого росте з
.
- Взаємну інформацію застосовують у медичній візуалізації для зіставлення зображень. Для заданого еталонного зображення (наприклад, результату сканування мозку) та другого зображення, яке потрібно покласти до тієї ж системи координат, що й еталонне зображення, це зображення деформується доти, доки взаємну інформацію між ним та еталонним зображенням не буде максимізовано.
- Виявляння фазової синхронізації в аналізі часових рядів.
- Метод [en] для нейронних мереж та іншого машинного навчання, включно з алгоритмом [en] на основі інфомаксу.
- В [en] усереднену взаємну інформацію використовують для визначення параметру вкладальної затримки.
- Взаємну інформацію між генами в даних [en] використовує алгоритм для відбудови генних мереж.
- В термінах взаємної інформації може бути виражено [en] у статистичній механіці.Лошмідт зазначив, що може бути неможливим визначити фізичний закон, позбавлений зворотності (наприклад, другий закон термодинаміки), лише з таких фізичних законів, які цю зворотність мають. Він вказав, що в [en]Больцмана було зроблено припущення, що швидкості частинок в газі були постійно некорельованими, що усунуло природну зворотність в ній. Може бути показано, що якщо систему описано густиною ймовірності у фазовому просторі, то з теореми Ліувілля випливає, що спільна інформація (від'ємна спільна ентропія) розподілу залишається сталою в часі. Спільна інформація дорівнює взаємній інформації плюс сума всіх відособлених інформацій (від'ємних відособлених ентропій) для координат кожної з частинок. Припущення Больцмана рівнозначне ігноруванню взаємної інформації в обчисленні ентропії, що дає в результаті термодинамічну ентропію (ділену на сталу Больцмана).
- Взаємну інформацію використовують для навчання структури баєсових мереж/динамічних баєсових мереж, що, як вважають, пояснюють причинно-наслідковий зв'язок між випадковими змінними, прикладом чого може слугувати інструментарій GlobalMIT: навчання глобально оптимальної динамічної баєсової мережі з критерієм взаємної інформації (англ. Mutual Information Test, MIT).
- Популярна функція витрат у навчанні дерев рішень.
- Взаємну інформацію використовують у космології, щоби перевіряти вплив великомасштабних середовищ на властивості галактик у Galaxy Zoo.
- Взаємну інформацію використовували в фізиці Сонця для виведення сонячного диференціального ротора, карти відхилень часу руху сонячних плям, часово-відстаннєвої діаграми з вимірювань спокійного Сонця
Див. також
Примітки
- Cover, T.M.; Thomas, J.A. (1991). Elements of Information Theory (вид. Wiley). ISBN . (англ.)
- Wolpert, D.H.; Wolf, D.R. (1995). Estimating functions of probability distributions from a finite set of samples. Physical Review E. (англ.)
- Hutter, M. (2001). Distribution of Mutual Information. Advances in Neural Information Processing Systems 2001. (англ.)
- Archer, E.; Park, I.M.; Pillow, J. (2013). Bayesian and Quasi-Bayesian Estimators for Mutual Information from Discrete Data. Entropy. (англ.)
- Wolpert, D.H; DeDeo, S. (2013). Estimating Functions of Distributions Defined over Spaces of Unknown Size. Entropy. (англ.)
- Kraskov, Alexander; Stögbauer, Harald; Andrzejak, Ralph G.; Grassberger, Peter (2003). Hierarchical Clustering Based on Mutual Information. arXiv:q-bio/0311039. (англ.)
- Christopher D. Manning; Prabhakar Raghavan; Hinrich Schütze (2008). An Introduction to Information Retrieval. Cambridge University Press. ISBN . (англ.)
- Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). A non-reference image fusion metric based on mutual information of image features. Computers & Electrical Engineering. 37 (5): 744—756. doi:10.1016/j.compeleceng.2011.07.012. (англ.)
- . www.mathworks.com. Архів оригіналу за 16 квітня 2014. Процитовано 4 квітня 2018. (англ.)
- Massey, James (1990). (ISITA). Архів оригіналу за 7 квітня 2018. Процитовано 16 грудня 2018. (англ.)
- Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (February 2009). Finite State Channels With Time-Invariant Deterministic Feedback. IEEE Transactions on Information Theory. 55 (2): 644—662. arXiv:cs/0608070. doi:10.1109/TIT.2008.2009849. (англ.)
- Coombs, Dawes та Tversky, 1970.
- Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). Section 14.7.3. Conditional Entropy and Mutual Information. Numerical Recipes: The Art of Scientific Computing (вид. 3). New York: Cambridge University Press. ISBN . (англ.)
- White, Jim; Steingold, Sam; Fournelle, Connie. (PDF). Архів оригіналу (PDF) за 5 липня 2016. Процитовано 28 червня 2016. (англ.)
- Wijaya, Dedy Rahman; Sarno, Riyanarto; Zulaika, Enny. Information Quality Ratio as a novel metric for mother wavelet selection. Chemometrics and Intelligent Laboratory Systems. 160: 59—71. doi:10.1016/j.chemolab.2016.11.012. (англ.)
- Strehl, Alexander; Ghosh, Joydeep (2002), (PDF), The Journal of Machine Learning Research, 3 (Dec): 583—617, архів оригіналу (PDF) за 3 серпня 2016, процитовано 28 червня 2016 (англ.)
- Kvålseth, T. O. (1991). The relative useful information measure: some comments. Information sciences. 56 (1): 35—38. doi:10.1016/0020-0255(91)90022-m. (англ.)
- Pocock, A. (2012). Feature Selection Via Joint Likelihood [ 5 листопада 2018 у Wayback Machine.] (PDF) (Thesis). (англ.)
- Parsing a Natural Language Using Mutual Information Statistics [ 25 лютого 2014 у Wayback Machine.] by David M. Magerman and Mitchell P. Marcus (англ.)
- Hugh Everett Theory of the Universal Wavefunction [ 16 жовтня 2012 у Wayback Machine.], Thesis, Princeton University, (1956, 1973), pp 1–140 (page 30) (англ.)
- Everett, Hugh (1957). . Reviews of Modern Physics. 29: 454—462. Bibcode:1957RvMP...29..454E. doi:10.1103/revmodphys.29.454. Архів оригіналу за 27 жовтня 2011. Процитовано 28 червня 2016. (англ.)
- GlobalMIT на Google Code
- Keys, Dustin; Kholikov, Shukur; Pevtsov, Alexei A. (February 2015). Application of Mutual Information Methods in Time Distance Helioseismology. Solar Physics. 290 (3): 659—671. arXiv:1501.05597. Bibcode:2015SoPh..290..659K. doi:10.1007/s11207-015-0650-y. (англ.)
Джерела
- Cilibrasi, R.; Vitányi, Paul (2005). Clustering by compression (PDF). IEEE Transactions on Information Theory. 51 (4): 1523—1545. doi:10.1109/TIT.2005.844059. (англ.)
- Cronbach, L. J. (1954). On the non-rational application of information measures in psychology. У (ред.). Information Theory in Psychology: Problems and Methods. Glencoe, Illinois: Free Press. с. 14–30. (англ.)
- Coombs, C. H.; Dawes, R. M.; Tversky, A. (1970). Mathematical Psychology: An Elementary Introduction. Englewood Cliffs, New Jersey: Prentice-Hall. (англ.)
- Church, Kenneth Ward; Hanks, Patrick (1989). . Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics. Архів оригіналу за 2 грудня 2018. Процитовано 16 грудня 2018. (англ.)
- Гельфанд, И. М.; Яглом, А. М. (1957). О вычислении количества информации о случайной функции, содержащейся в другой такой функции. Успехи математических наук. 12 (1(73)): 3—52. (рос.)
- Guiasu, Silviu (1977). Information Theory with Applications. McGraw-Hill, New York. ISBN . (англ.)
- Li, Ming; Vitányi, Paul (February 1997). An introduction to Kolmogorov complexity and its applications. New York: Springer-Verlag. ISBN . (англ.)
- Lockhead, G. R. (1970). Identification and the form of multidimensional discrimination space. Journal of Experimental Psychology. 85 (1): 1—10. doi:10.1037/h0029508. PMID 5458322. (англ.)
- David J. C. MacKay. Information Theory, Inference, and Learning Algorithms [ 17 лютого 2016 у Wayback Machine.] Cambridge: Cambridge University Press, 2003. (available free online) (англ.)
- Haghighat, M. B. A.; Aghagolzadeh, A.; Seyedarabi, H. (2011). A non-reference image fusion metric based on mutual information of image features. Computers & Electrical Engineering. 37 (5): 744—756. doi:10.1016/j.compeleceng.2011.07.012. (англ.)
- Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.) (англ.)
- Witten, Ian H. & Frank, Eibe (2005). . Morgan Kaufmann, Amsterdam. ISBN . Архів оригіналу за 27 листопада 2020. Процитовано 28 червня 2016. (англ.)
- Peng, H.C., Long, F., and Ding, C. (2005). . IEEE Transactions on Pattern Analysis and Machine Intelligence. 27 (8): 1226—1238. doi:10.1109/tpami.2005.159. PMID 16119262. Архів оригіналу за 22 травня 2009. Процитовано 28 червня 2016. CS1 maint: Multiple names: authors list (link) (англ.)
- Andre S. Ribeiro; Stuart A. Kauffman; Jason Lloyd-Price; Bjorn Samuelsson; Joshua Socolar (2008). Mutual Information in Random Boolean models of regulatory networks. Physical Review E. 77 (1). arXiv:0707.3642. Bibcode:2008PhRvE..77a1901R. doi:10.1103/physreve.77.011901. (англ.)
- Wells, W.M. III; Viola, P.; Atsumi, H.; Nakajima, S.; Kikinis, R. (1996). (PDF). Medical Image Analysis. 1 (1): 35—51. doi:10.1016/S1361-8415(01)80004-9. PMID 9873920. Архів оригіналу (PDF) за 6 вересня 2008. Процитовано 28 червня 2016. (англ.)
- Pandey, Biswajit; Sarkar, Suman (2017). How much a galaxy knows about its large-scale environment?: An information theoretic perspective. Monthly Notices of the Royal Astronomical Society Letters. 467: L6. arXiv:1611.00283. Bibcode:2017MNRAS.467L...6P. doi:10.1093/mnrasl/slw250. (англ.)
Література
- Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — (рос.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U teoriyi jmovirnostej ta teoriyi informaciyi vzaye mna informa ciya angl mutual information MI dvoh vipadkovih zminnih ce mira vzayemnoyi zalezhnosti mizh cimi dvoma zminnimi Konkretnishe vona viznachaye kilkist informaciyi v takih odinicyah yak shennoni sho zazvichaj nazivayut bitami otrimuvanoyi pro odnu vipadkovu zminnu cherez sposterigannya inshoyi vipadkovoyi zminnoyi Ponyattya vzayemnoyi informaciyi nerozrivno pov yazane z entropiyeyu vipadkovoyi zminnoyi fundamentalnim ponyattyam teoriyi informaciyi yake kilkisno ocinyuye ochikuvanu kilkist informaciyi sho mistitsya u vipadkovij zminnij Diagrama Venna sho pokazuye aditivni ta riznicevi vidnoshennya riznih mir informaciyi pov yazanih iz korelovanimi zminnimi X displaystyle X ta Y displaystyle Y Oblast yaka mistitsya v oboh kolah ye spilnoyu entropiyeyu H X Y displaystyle mathrm H X Y Kolo livoruch chervonij i fioletovij ye osobistoyu entropiyeyu H X displaystyle mathrm H X v yakomu chervone ye umovnoyu entropiyeyu H X Y displaystyle mathrm H X Y Kolo pravoruch sinij ta fioletovij ye H Y displaystyle mathrm H Y a sinye v nomu ye H Y X displaystyle mathrm H Y X Fioletove ye vzayemnoyu informaciyeyu I X Y displaystyle operatorname I X Y Ne obmezhuyuchis yak koeficiyent korelyaciyi dijsnoznachnimi vipadkovimi zminnimi vzayemna informaciya ye zagalnishoyu i viznachaye naskilki podibnim ye spilnij rozpodil p x y displaystyle p x y do dobutkiv rozkladenih vidosoblenih rozpodiliv p x p y displaystyle p x cdot p y Vzayemna informaciya ce matematichne spodivannya potochkovoyi vzayemnoyi informaciyi angl pointwise mutual information PMI ViznachennyaFormalno vzayemnu informaciyu dvoh diskretnih vipadkovih zminnih X displaystyle X ta Y displaystyle Y mozhe buti viznacheno yak 20 I X Y y Y x Xp x y log p x y p x p y displaystyle operatorname I X Y sum y in mathcal Y sum x in mathcal X p x y log left frac p x y p x p y right de p x y displaystyle p x y ye funkciyeyu spilnogo rozpodilu jmovirnostej X displaystyle X ta Y displaystyle Y a p x displaystyle p x ta p y displaystyle p y ye funkciyami vidosoblenih rozpodiliv imovirnosti X displaystyle X ta Y displaystyle Y vidpovidno U vipadku neperervnih vipadkovih zminnih pidsumovuvannya zaminyuyetsya viznachenim podvijnim integralom 251 I X Y Y Xp x y log p x y p x p y dxdy displaystyle operatorname I X Y int mathcal Y int mathcal X p x y log left frac p x y p x p y right dx dy de p x y displaystyle p x y teper ye funkciyeyu gustini spilnoyi jmovirnosti X displaystyle X ta Y displaystyle Y a p x displaystyle p x ta p y displaystyle p y ye funkciyami gustini vidosoblenih imovirnostej X displaystyle X ta Y displaystyle Y vidpovidno Yaksho zastosovuyetsya logarifm za osnovoyu 2 to odiniceyu vimiryuvannya vzayemnoyi informaciyi ye bit ObgruntuvannyaIntuyitivno vzayemna informaciya vimiryuye informaciyu yaku podilyayut X displaystyle X ta Y displaystyle Y vona vimiryuye naskilki znannya odniyeyi z cih zminnih zmenshuye neviznachenist shodo inshoyi Napriklad yaksho X displaystyle X ta Y displaystyle Y ye nezalezhnimi to znannya X displaystyle X ne daye zhodnoyi informaciyi pro Y displaystyle Y i navpaki tomu yihnya vzayemna informaciya dorivnyuye nulevi Z inshogo boku yaksho X displaystyle X ye determinovanoyu funkciyeyu vid Y displaystyle Y i Y displaystyle Y ye determinovanoyu funkciyeyu vid X displaystyle X to vsya informaciya sho peredaye zminna X displaystyle X ye spilnoyu z Y displaystyle Y znannya X displaystyle X viznachaye znachennya Y displaystyle Y i navpaki V rezultati v comu vipadku vzayemna informaciya ye tim zhe sho j neviznachenist yaka mistitsya okremo v Y displaystyle Y abo X displaystyle X a same entropiya Y displaystyle Y abo X displaystyle X Bilshe togo cya vzayemna informaciya i ye takoyu zh yak i entropiya X displaystyle X ta yak entropiya Y displaystyle Y Duzhe osoblivim vipadkom cogo ye takij koli X displaystyle X ta Y displaystyle Y ye odniyeyu j tiyeyu zh vipadkovoyu zminnoyu Vzayemna informaciya ye miroyu pritamannoyi zalezhnosti virazhenoyi v spilnomu rozpodili X displaystyle X ta Y displaystyle Y po vidnoshennyu do spilnogo rozpodilu X displaystyle X ta Y displaystyle Y za pripushennya nezalezhnosti Vzayemna informaciya vidtak vimiryuye zalezhnist u nastupnomu sensi I X Y 0 displaystyle operatorname I X Y 0 yaksho i lishe yaksho X displaystyle X ta Y displaystyle Y ye nezalezhnimi vipadkovimi zminnimi Ce legko pobachiti v odnomu napryamku yaksho X displaystyle X ta Y displaystyle Y ye nezalezhnimi to p x y p x p y displaystyle p x y p x cdot p y i tomu log p x y p x p y log 1 0 displaystyle log left frac p x y p x p y right log 1 0 Krim togo vzayemna informaciya ye nevid yemnoyu tobto I X Y 0 displaystyle operatorname I X Y geq 0 div nizhche i simetrichnoyu tobto I X Y I Y X displaystyle operatorname I X Y operatorname I Y X div nizhche Vidnoshennya do inshih velichinNevid yemnist Zastosuvavshi nerivnist Yensena do viznachennya vzayemnoyi informaciyi mi mozhemo pokazati sho I X Y displaystyle operatorname I X Y ye nevid yemnoyu tobto 28 I X Y 0 displaystyle operatorname I X Y geq 0 Simetrichnist I X Y I Y X displaystyle operatorname I X Y operatorname I Y X Vidnoshennya do umovnoyi ta spilnoyi entropij Vzayemnu informaciyu mozhe buti rivnoznachno virazheno yak I X Y H X H X Y H Y H Y X H X H Y H X Y H X Y H X Y H Y X displaystyle begin aligned operatorname I X Y amp equiv mathrm H X mathrm H X Y amp equiv mathrm H Y mathrm H Y X amp equiv mathrm H X mathrm H Y mathrm H X Y amp equiv mathrm H X Y mathrm H X Y mathrm H Y X end aligned de H X displaystyle mathrm H X ta H Y displaystyle mathrm H Y ye vidosoblenimi entropiyami H X Y displaystyle mathrm H X Y ta H Y X displaystyle mathrm H Y X ye umovnimi entropiyami a H X Y displaystyle mathrm H X Y ye spilnoyu entropiyeyu X displaystyle X ta Y displaystyle Y Zvernit uvagu na analogiyu z ob yednannyam rizniceyu ta peretinom dvoh mnozhin yaku pokazano v diagrami Venna V terminah kanalu zv yazku v yakomu vihid Y displaystyle Y ye zashumlenoyu versiyeyu vhodu X displaystyle X ci vidnoshennya uzagalneno na malyunku nizhche Vidnoshennya mizh velichinami teoriyi informaciyi Oskilki I X Y displaystyle operatorname I X Y ye nevid yemnoyu yak naslidok H X H X Y displaystyle mathrm H X geq mathrm H X Y Tut mi navodimo dokladne vivedennya I X Y H Y H Y X displaystyle operatorname I X Y mathrm H Y mathrm H Y X I X Y x X y Yp x y log p x y p x p y x X y Yp x y log p x y p x x X y Yp x y log p y x X y Yp x p y x log p y x x X y Yp x y log p y x Xp x y Yp y x log p y x y Y xp x y log p y x Xp x H Y X x y Yp y log p y H Y X H Y H Y H Y X displaystyle begin aligned operatorname I X Y amp sum x in mathcal X y in mathcal Y p x y log frac p x y p x p y amp sum x in mathcal X y in mathcal Y p x y log frac p x y p x sum x in mathcal X y in mathcal Y p x y log p y amp sum x in mathcal X y in mathcal Y p x p y x log p y x sum x in mathcal X y in mathcal Y p x y log p y amp sum x in mathcal X p x left sum y in mathcal Y p y x log p y x right sum y in mathcal Y left sum x p x y right log p y amp sum x in mathcal X p x mathrm H Y X x sum y in mathcal Y p y log p y amp mathrm H Y X mathrm H Y amp mathrm H Y mathrm H Y X end aligned Dovedennya inshih navedenih vishe totozhnostej ye shozhimi na ce Intuyitivno yaksho entropiyu H Y displaystyle mathrm H Y rozglyadati yak miru neviznachenosti vipadkovoyi zminnoyi to H Y X displaystyle mathrm H Y X ye miroyu togo sho X displaystyle X ne kazhe pro Y displaystyle Y Ce ye kilkistyu neviznachenosti Y displaystyle Y yaka zalishayetsya pislya togo yak stala vidomoyu X displaystyle X i otzhe pravu chastinu drugogo z cih rivnyan mozhlivo chitati yak kilkist neviznachenosti Y displaystyle Y za virahuvannyam kilkosti neviznachenosti Y displaystyle Y yaka zalishayetsya pislya togo yak stala vidomoyu X displaystyle X sho rivnoznachno kilkist neviznachenosti Y displaystyle Y yaka usuvayetsya koli staye vidomoyu X displaystyle X Ce pidtrimuye intuyitivne znachennya vzayemnoyi informaciyi yak kilkosti informaciyi tobto znizhennya neviznachenosti yake znannya odniyeyi z zminnih zabezpechuye stosovno inshoyi Zauvazhte sho v diskretnomu vipadku H X X 0 displaystyle mathrm H X X 0 i otzhe H X I X X displaystyle mathrm H X operatorname I X X Takim chinom I X X I X Y displaystyle operatorname I X X geq operatorname I X Y i mozhna sformulyuvati osnovnij princip sho zminna mistit pro sebe shonajmenshe stilki zh informaciyi skilki mogla bi zabezpechiti bud yaka insha zminna Ce vidpovidaye podibnim pov yazanim rezultatam Vidnoshennya do vidstani Kulbaka Lejblera Vzayemnu informaciyu takozh mozhe buti virazheno yak vidstan Kulbaka Lejblera dobutku p x p y displaystyle p x cdot p y vidosoblenih rozpodiliv dvoh vipadkovih zminnih X displaystyle X ta Y displaystyle Y vid spilnogo rozpodilu cih vipadkovih zminnih p x y displaystyle p x y I X Y DKL p x y p x p y displaystyle operatorname I X Y D text KL left p x y parallel p x p y right Krim togo nehaj p x y p x y p y displaystyle p x y p x y p y Todi I X Y y Yp y x Xp x y log2 p x y p x y Yp y DKL p x y p x EY DKL p x y p x displaystyle begin aligned operatorname I X Y amp sum y in mathcal Y p y sum x in mathcal X p x y log 2 frac p x y p x amp sum y in mathcal Y p y D text KL left p x y parallel p x right amp mathbb E Y left D text KL left p x y parallel p x right right end aligned Zauvazhte sho tut vidstan Kulbaka Lejblera peredbachaye integruvannya lishe za vipadkovoyu zminnoyu X displaystyle X i viraz DKL p x y p x displaystyle D text KL p x y parallel p x teper ye vipadkovoyu zminnoyu v Y displaystyle Y Takim chinom vzayemnu informaciyu mozhna takozh rozumiti yak matematichne spodivannya vidstani Kulbaka Lejblera en p x displaystyle p x zminnoyi X displaystyle X vid umovnogo rozpodilu p x y displaystyle p x y zminnoyi X displaystyle X vidnosno Y displaystyle Y sho bilsh vidminnimi v serednomu ye rozpodili p x y displaystyle p x y ta p x displaystyle p x to bilshim ye pririst informaciyi Bayesove ocinyuvannya vzayemnoyi informaciyi Yak robiti bayesove ocinyuvannya vzayemnoyi informaciyi spilnogo rozpodilu na osnovi zrazkiv cogo rozpodilu ye dobre zrozumilim Pershoyu praceyu pro te yak ce robiti yaka takozh pokazala yak robiti bayesove ocinyuvannya bagato chogo inshogo v teoriyi informaciyi ponad vzayemnu informaciyu bula pracya Volperta 1995 roku Nastupni doslidniki cej analiz pereviveli ta rozshirili Div neshodavnyu pracyu na osnovi apriornogo specialno pristosovanogo dlya ocinyuvannya vzayemnoyi informaciyi yak takoyi Pripushennya pro nezalezhnist Formulyuvannya vzayemnoyi informaciyi v terminah vidstani Kulbaka Lejblera gruntuyetsya na zacikavlenni v porivnyanni p x y displaystyle p x y z povnistyu rozkladenim diadnim dobutkom p x p y displaystyle p x cdot p y V bagatoh zadachah takih yak rozklad nevid yemnih matric cikavlyat mensh ekstremalni rozkladi a same hochut porivnyuvati p x y displaystyle p x y z nizkorangovim matrichnim nablizhennyam u yakijs nevidomij zminnij w displaystyle w tobto do yakoyi miri mozhna mati p x y wp x w p w y displaystyle p x y approx sum w p prime x w p prime prime w y Abo zh mozhe cikaviti diznatisya skilki informaciyi nese p x y displaystyle p x y ponad svij rozklad V takomu vipadku dodatkova informaciya sho nese povnij rozpodil p x y displaystyle p x y vidnosno cogo matrichnogo rozkladu zadayetsya vidstannyu Kulbaka Lejblera ILRMA y Y x Xp x y log p x y wp x w p w y displaystyle operatorname I LRMA sum y in mathcal Y sum x in mathcal X p x y log left frac p x y sum w p prime x w p prime prime w y right Standartne viznachennya vzayemnoyi informaciyi vidtvoryuyetsya v ekstremalnomu vipadku koli proces W displaystyle W maye dlya w displaystyle w lishe odne znachennya RiznovidiDlya zadovolennya riznih potreb bulo zaproponovano kilka variacij vzayemnoyi informaciyi Sered nih ye normalizovani varianti ta uzagalnennya do ponad dvoh zminnih Metrika Bagato zastosuvan vimagayut metriki tobto miri vidstan mizh parami tochok Velichina d X Y H X Y I X Y H X H Y 2I X Y H X Y H Y X displaystyle begin aligned d X Y amp mathrm H X Y operatorname I X Y amp mathrm H X mathrm H Y 2 operatorname I X Y amp mathrm H X Y mathrm H Y X end aligned zadovolnyaye vlastivosti metriki nerivnist trikutnika nevid yemnist en ta simetriyu Cya metrika vidstani takozh vidoma yak en Yaksho X Y displaystyle X Y ye diskretnimi vipadkovimi zminnimi to vsi chleni entropiyi ye nevid yemnimi tomu 0 d X Y H X Y displaystyle 0 leq d X Y leq mathrm H X Y i mozhlivo viznachiti unormovanu vidstan D X Y d X Y H X Y 1 displaystyle D X Y frac d X Y mathrm H X Y leq 1 Metrika D displaystyle D ye universalnoyu metrikoyu v tomu sensi sho yaksho bud yaka insha mira vidstani rozmistit X displaystyle X ta Y displaystyle Y poruch to j D displaystyle D takozh rozglyadatime yih yak blizki sumnivno obgovoriti Pidklyuchennya viznachen pokazuye sho D X Y 1 I X Y H X Y displaystyle D X Y 1 frac operatorname I X Y mathrm H X Y U teoretiko mnozhinnij interpretaciyi informaciyi div malyunok v umovnij entropiyi ce ye faktichno vidstannyu Zhakkara mizh X displaystyle X ta Y displaystyle Y Nareshti D X Y 1 I X Y max H X H Y displaystyle D prime X Y 1 frac operatorname I X Y max left mathrm H X mathrm H Y right takozh ye metrikoyu Umovna vzayemna informaciya Detalnishi vidomosti z ciyeyi temi vi mozhete znajti v statti en Inodi korisno virazhati vzayemnu informaciyu dvoh vipadkovih zminnih vidnosno tretoyi I X Y Z EZ I X Y Z z Z y Y x XpZ z pX Y Z x y z log pX Y Z x y z pX Z x z pY Z y z displaystyle begin aligned amp operatorname I X Y Z mathbb E Z big operatorname I X Y Z big amp sum z in mathcal Z sum y in mathcal Y sum x in mathcal X p Z z p X Y Z x y z log left frac p X Y Z x y z p X Z x z p Y Z y z right end aligned sho mozhe buti sprosheno yak I X Y Z z Z y Y x XpX Y Z x y z log pX Y Z x y z pZ z pX Z x z pY Z y z displaystyle begin aligned amp operatorname I X Y Z amp sum z in mathcal Z sum y in mathcal Y sum x in mathcal X p X Y Z x y z log frac p X Y Z x y z p Z z p X Z x z p Y Z y z end aligned Obumovlyuvannya tretoyu vipadkovoyu zminnoyu mozhe zbilshuvati abo zmenshuvati vzayemnu informaciyu ale dlya diskretnih spilno rozpodilenih vipadkovih zminnih X Y Z displaystyle X Y Z zavzhdi zalishayetsya istinnim I X Y Z 0 displaystyle operatorname I X Y Z geq 0 Cej rezultat zastosovuvavsya yak osnovnij budivelnij blok dlya dovedennya inshih en Bagatovimirna vzayemna informaciya Detalnishi vidomosti z ciyeyi temi vi mozhete znajti v statti en Bulo zaproponovano dekilka uzagalnen vzayemnoyi informaciyi dlya ponad dvoh vipadkovih zminnih taki yak en ta en Yaksho rozglyadati entropiyu Shennona yak znakozminnu miru v konteksti en yak opisano v statti en to yedinim viznachennyam bagatovimirnoyi vzayemnoyi informaciyi yake maye sens dzherelo ye nastupne I X1 X1 H X1 displaystyle operatorname I X 1 X 1 mathrm H X 1 i dlya n gt 1 displaystyle n gt 1 I X1 Xn I X1 Xn 1 I X1 Xn 1 Xn displaystyle operatorname I X 1 X n operatorname I X 1 X n 1 operatorname I X 1 X n 1 X n de yak vishe mi viznachayemo I X1 Xn 1 Xn EXn I X1 Xn 1 Xn displaystyle operatorname I X 1 X n 1 X n mathbb E X n bigl operatorname I X 1 X n 1 X n bigr Ce viznachennya bagatovimirnoyi vzayemnoyi informaciyi ye identichnim viznachennyu en za vinyatkom zmini znaku koli chislo vipadkovih zminnih ye neparnim Zastosuvannya Slipe zastosuvannya informacijnih shem dlya vivedennya vishevkazanogo viznachennya dzherelo zaznavalo kritiki chiyeyi i dijsno vono znajshlo dosit obmezhene praktichne zastosuvannya oskilki vazhko uyaviti abo zrozumiti znachennya ciyeyi kilkosti dlya velikogo chisla vipadkovih zminnih Vona mozhe buti nulovoyu dodatnoyu abo vid yemnoyu dlya bud yakogo neparnogo chisla zminnih n 3 displaystyle n geq 3 Odna zi shem bagatovimirnogo uzagalnennya yaka maksimizuye vzayemnu informaciyu mizh spilnim rozpodilom ta inshimi cilovimi zminnimi viyavilasya korisnoyu v obiranni oznak Vzayemnu informaciyu takozh zastosovuyut v galuzi obrobki signaliv yak miru podibnosti dvoh signaliv Napriklad metrika vzayemnoyi informaciyi oznak angl FMI feature mutual information ce mira produktivnosti zlittya zobrazhen yaka zastosovuye vzayemnu informaciyu dlya vimiryuvannya kilkosti informaciyi yaku zlite zobrazhennya mistit pro pervinni zobrazhennya Kod MATLAB dlya ciyeyi metriki mozhna znajti za adresoyu Spryamovana informaciya en I Xn Yn displaystyle operatorname I left X n to Y n right vimiryuye kilkist informaciyi sho protikaye z procesu Xn displaystyle X n do Yn displaystyle Y n de Xn displaystyle X n poznachuye vektor X1 X2 Xn displaystyle X 1 X 2 X n a Yn displaystyle Y n poznachuye Y1 Y2 Yn displaystyle Y 1 Y 2 Y n Termin spryamovana informaciya angl directed information bulo zapochatkovano Dzhejmsom Messi j viznacheno yak I Xn Yn i 1nI Xi Yi Yi 1 displaystyle operatorname I left X n to Y n right sum i 1 n operatorname I left X i Y i Y i 1 right Zauvazhte sho yaksho n 1 displaystyle n 1 to spryamovana informaciya staye vzayemnoyu informaciyeyu Spryamovana informaciya maye bagato zastosuvan u zadachah v yakih vazhlivu rol vidigraye prichinnist takih yak propuskna zdatnist kanalu zi zvorotnim zv yazkom Unormovani varianti Unormovani varianti vzayemnoyi informaciyi zabezpechuyutsya koeficiyentami obmezhennya en abo vpravnistyu angl proficiency CXY I X Y H Y displaystyle C XY frac operatorname I X Y mathrm H Y ta CYX I X Y H X displaystyle C YX frac operatorname I X Y mathrm H X Ci dva koeficiyenti ne obov yazkovo dorivnyuyut odin odnomu V deyakih vipadkah mozhe buti bazhanoyu simetrichna mira taka yak nastupna mira nadmirnosti angl redundancy dzherelo R I X Y H X H Y displaystyle R frac operatorname I X Y mathrm H X mathrm H Y yaka dosyagaye nulovogo minimumu koli zminni ye nezalezhnimi i maksimalnogo znachennya Rmax min H X H Y H X H Y displaystyle R max frac min left mathrm H X mathrm H Y right mathrm H X mathrm H Y koli odna zi zminnih staye absolyutno nadmirnoyu pri znanni inshoyi Div takozh nadmirnist informaciyi Inshoyu simetrichnoyu miroyu ye simetrichna neviznachenist Witten ta Frank 2005 yaku zadayut yak U X Y 2R 2I X Y H X H Y displaystyle U X Y 2R 2 frac operatorname I X Y mathrm H X mathrm H Y sho predstavlyaye serednye garmonijne dvoh koeficiyentiv neviznachenosti CXY CYX displaystyle C XY C YX Yaksho rozglyadati vzayemnu informaciyu yak okremij vipadok en abo en to unormovanimi versiyami vidpovidno ye I X Y min H X H Y displaystyle frac operatorname I X Y min left mathrm H X mathrm H Y right ta I X Y H X Y displaystyle frac operatorname I X Y mathrm H X Y Cya unormovana versiya takozh vidoma yak pokaznik yakosti informaciyi angl Information Quality Ratio IQR sho daye kilkisnu ocinku informaciyi zminnoyi na osnovi inshoyi zminnoyi vidnosno povnoyi neviznachenosti IQR X Y E I X Y I X Y H X Y x X y Yp x y log p x p y x X y Yp x y log p x y 1 displaystyle IQR X Y operatorname E operatorname I X Y frac operatorname I X Y mathrm H X Y frac sum x in X sum y in Y p x y log p x p y sum x in X sum y in Y p x y log p x y 1 Isnuye unormuvannya yake viplivaye z pershogo rozglyadu vzayemnoyi informaciyi yak analogu kovariaciyi takim chinom entropiya Shennona ye analogom dispersiyi Potim unormovana vzayemna informaciya rozrahovuyetsya podibno do koeficiyentu korelyaciyi Pirsona I X Y H X H Y displaystyle frac operatorname I X Y sqrt mathrm H X mathrm H Y Zvazheni varianti V tradicijnomu formulyuvanni vzayemnoyi informaciyi I X Y y Y x Xp x y log p x y p x p y displaystyle operatorname I X Y sum y in Y sum x in X p x y log frac p x y p x p y kozhna podiya chi ob yekt vkazani yak x y displaystyle x y zvazhuyutsya vidpovidnoyu jmovirnistyu p x y displaystyle p x y Ce peredbachaye sho vsi ob yekti abo podiyi ye rivnoznachnimi bez vrahuvannya jmovirnostej yih nastannya Prote v deyakih zastosuvannyah mozhe buti tak sho pevni ob yekti abo podiyi ye bilsh znachushimi nizh inshi abo sho deyaki shabloni zv yazkiv ye semantichno vazhlivishimi za inshi Napriklad determinovane vidobrazhennya 1 1 2 2 3 3 displaystyle 1 1 2 2 3 3 mozhe rozglyadatisya yak silnishe za determinovane vidobrazhennya 1 3 2 1 3 2 displaystyle 1 3 2 1 3 2 hocha ci vidnoshennya vidadut odnakovu vzayemnu informaciyu Ce vidbuvayetsya tomu sho vzayemna informaciya vzagali ne chutliva do zhodnogo prirodnogo vporyadkuvannya znachen zminnih Cronbach 1954 Coombs Dawes ta Tversky 1970 Lockhead 1970 i tomu vzagali ne chutliva do formi vidnosnogo vidobrazhennya mizh zv yazanimi zminnimi Yaksho bazhano shobi pershe vidnoshennya yake pokazuye uzgodzhenist za vsima znachennyami zminnih ocinyuvalosya vishe nizh druge vidnoshennya to mozhna vikoristovuvati nastupnu zvazhenu vzayemnu informaciyu Guiasu 1977 I X Y y Y x Xw x y p x y log p x y p x p y displaystyle operatorname I X Y sum y in Y sum x in X w x y p x y log frac p x y p x p y yaka pomishaye vagu w x y displaystyle w x y na imovirnist kozhnogo zbigu znachen zminnih p x y displaystyle p x y Ce dozvolyaye robiti tak shobi deyaki jmovirnosti mogli nesti bilshe abo menshe vazhlivosti za inshi tim samim dozvolyayuchi kilkisno viraziti vidpovidni chinniki cilisnosti angl holistic abo viraznosti nim Pragnanz U navedenomu vishe prikladi zastosuvannya bilshih vidnosnih vag dlya w 1 1 displaystyle w 1 1 w 2 2 displaystyle w 2 2 i w 3 3 displaystyle w 3 3 matime efekt vishoyi ocinki informativnosti dlya vidnoshennya 1 1 2 2 3 3 displaystyle 1 1 2 2 3 3 nizh dlya vidnoshennya 1 3 2 1 3 2 displaystyle 1 3 2 1 3 2 sho mozhe buti bazhanim v deyakih vipadkah rozpiznavannya obraziv tosho Cya zvazhena vzayemna informaciya ye virazhennyam zvazhenoyi vidstani Kulbaka Lejblera yaka yak vidomo mozhe nabuvati vid yemnih znachen dlya deyakih vhodiv i ye prikladi de zvazhena vzayemna informaciya takozh nabuvaye vid yemnih znachen Skorigovana vzayemna informaciya Detalnishi vidomosti z ciyeyi temi vi mozhete znajti v statti en Rozpodil imovirnosti mozhna rozglyadati yak rozbittya mnozhini Mozhna zapitati yaksho mnozhinu bulo rozbito vipadkovim chinom yakim bude rozpodil imovirnostej Yakim bude matematichne spodivannya vzayemnoyi informaciyi en angl adjusted mutual information AMI vidnimaye matematichne spodivannya vzayemnoyi informaciyi takim chinom sho vona dorivnyuye nulevi koli dva riznih rozpodili nosyat vipadkovij harakter i odinici koli dva rozpodili zbigayutsya Skorigovana vzayemna informaciya viznachayetsya za analogiyeyu zi en dvoh riznih rozbittiv mnozhini Absolyutna vzayemna informaciya Z dopomogoyu idej kolmogorovskoyi skladnosti mozhna rozglyadati vzayemnu informaciyu dvoh poslidovnostej nezalezhno vid bud yakogo rozpodilu jmovirnostej IK X Y K X K X Y displaystyle operatorname I K X Y K X K X Y Vstanovlennya togo sho cya velichina ye simetrichnoyu z tochnistyu do logarifmichnogo mnozhnika IK X Y IK Y X displaystyle operatorname I K X Y approx operatorname I K Y X potrebuye en Li ta Vitanyi 1997 Nablizhennya ciyeyi velichini cherez stisnennya mozhe zastosovuvatisya dlya viznachennya miri vidstani dlya vikonannya iyerarhichnogo klasteruvannya poslidovnostej bez zhodnogo znannya pro predmetnu oblast cih poslidovnostej Cilibrasi ta Vitanyi 2005 Linijna korelyaciya Na vidminu vid koeficiyentiv korelyaciyi napriklad koeficiyentu korelyaciyi momentu dobutku vzayemna informaciya mistit informaciyu pro vsyu zalezhnist linijnu j nelinijnu a ne prosto pro linijnu zalezhnist yak miri koeficiyentiv korelyaciyi Tim ne mensh u vuzkomu vipadku v yakomu spilnij rozpodil X displaystyle X ta Y displaystyle Y ye dvovimirnim normalnim rozpodilom za pripushennya zokrema sho obidva vidosobleni rozpodili rozpodileni normalno isnuye tochnij vzayemozv yazok mizh I displaystyle operatorname I ta koeficiyentom korelyaciyi r displaystyle rho Gelfand ta Yaglom 1957 I 12log 1 r2 displaystyle operatorname I frac 1 2 log left 1 rho 2 right Navedene vishe rivnyannya mozhe buti vivedeno dlya dvovimirnogo normalnogo rozpodilu nastupnim chinom X1X2 N m1m2 S S s12rs1s2rs1s2s22 H Xi 12log 2pesi2 12 12log 2p log si i 1 2 H X1 X2 12log 2pe 2 S 1 log 2p log s1s2 12log 1 r2 displaystyle begin aligned begin pmatrix X 1 X 2 end pmatrix amp sim mathcal N left begin pmatrix mu 1 mu 2 end pmatrix Sigma right qquad Sigma begin pmatrix sigma 1 2 amp rho sigma 1 sigma 2 rho sigma 1 sigma 2 amp sigma 2 2 end pmatrix mathrm H X i amp frac 1 2 log left 2 pi e sigma i 2 right frac 1 2 frac 1 2 log 2 pi log left sigma i right quad i in 1 2 mathrm H X 1 X 2 amp frac 1 2 log left 2 pi e 2 Sigma right 1 log 2 pi log left sigma 1 sigma 2 right frac 1 2 log left 1 rho 2 right end aligned Otzhe I X1 X2 H X1 H X2 H X1 X2 12log 1 r2 displaystyle operatorname I left X 1 X 2 right mathrm H left X 1 right mathrm H left X 2 right mathrm H left X 1 X 2 right frac 1 2 log left 1 rho 2 right Dlya diskretnih danih Koli X displaystyle X ta Y displaystyle Y obmezheno perebuvannyam u diskretnomu chisli staniv to dani sposterezhen pidsumovuyut do tablici spryazhenosti zi zminnoyu ryadkiv X displaystyle X abo i displaystyle i ta zminnoyu stovpciv Y displaystyle Y abo j displaystyle j Vzayemna informaciya ye odniyeyu z mir asocijovnosti abo korelyaciyi mizh zminnimi ryadkiv i stovpciv Do inshih mir asocijovnosti nalezhat statistiki kriteriyu hi kvadrat Pirsona statistiki en tosho Faktichno vzayemna informaciya dorivnyuye statistici en podilenij na 2N displaystyle 2N de N displaystyle N ye rozmirom vibirki ZastosuvannyaV bagatoh zastosuvannyah potribno maksimizuvati vzayemnu informaciyu tim samim zbilshuyuchi vzayemozalezhnist sho chasto rivnoznachne minimizaciyi umovnoyi entropiyi Do prikladiv nalezhat U tehnologiyi poshukovih rushiyiv vzayemnu informaciyu mizh frazami ta kontekstami vikoristovuyut yak oznaku dlya klasteruvannya metodom k serednih dlya viyavlennya semantichnih klasteriv ponyat U telekomunikaciyah propuskna spromozhnist kanalu dorivnyuye vzayemnij informaciyi maksimizovanij nad usima vhidnimi rozpodilami Bulo zaproponovano proceduri rozriznyuvalnogo navchannya dlya prihovanih markovskih modelej na osnovi kriteriyu angl maximum mutual information MMI Peredbachuvannya en z mnozhinnogo virivnyuvannya poslidovnostej Peredbachuvannya en z poparnoyi prisutnosti abo vidsutnosti funkcionalno pov yazanih geniv Vzayemnu informaciyu zastosovuvali v mashinnomu navchanni yak kriterij dlya obirannya oznak ta peretvoren oznak Yiyi mozhlivo zastosovuvati dlya harakterizuvannya yak dorechnosti tak i nadlishkovosti zminnih yak v en Vzayemnu informaciyu vikoristovuyut u viznachenni podibnosti dvoh riznih klasteruvan naboru danih Yak taka vona proponuye deyaki perevagi nad tradicijnim en Vzayemnu informaciyu sliv chasto vikoristovuyut yak funkciyu znachushosti dlya obchislennya kolokaciyi v korpusnij lingvistici Ce maye dodatkovu skladnist v tomu sho zhoden vipadok slova ne ye vipadkom dlya dvoh riznih sliv shvidshe rahuyut vipadki v yakih 2 slova traplyayutsya sumizhno abo v bezposerednij blizkosti ce desho uskladnyuye rozrahunok oskilki ochikuvana jmovirnist traplyannya odnogo slova v mezhah N displaystyle N sliv vid inshogo roste z N displaystyle N Vzayemnu informaciyu zastosovuyut u medichnij vizualizaciyi dlya zistavlennya zobrazhen Dlya zadanogo etalonnogo zobrazhennya napriklad rezultatu skanuvannya mozku ta drugogo zobrazhennya yake potribno poklasti do tiyeyi zh sistemi koordinat sho j etalonne zobrazhennya ce zobrazhennya deformuyetsya doti doki vzayemnu informaciyu mizh nim ta etalonnim zobrazhennyam ne bude maksimizovano Viyavlyannya fazovoyi sinhronizaciyi v analizi chasovih ryadiv Metod en dlya nejronnih merezh ta inshogo mashinnogo navchannya vklyuchno z algoritmom en na osnovi infomaksu V en userednenu vzayemnu informaciyu vikoristovuyut dlya viznachennya parametru vkladalnoyi zatrimki Vzayemnu informaciyu mizh genami v danih en vikoristovuye algoritm dlya vidbudovi gennih merezh V terminah vzayemnoyi informaciyi mozhe buti virazheno en u statistichnij mehanici Loshmidt zaznachiv sho mozhe buti nemozhlivim viznachiti fizichnij zakon pozbavlenij zvorotnosti napriklad drugij zakon termodinamiki lishe z takih fizichnih zakoniv yaki cyu zvorotnist mayut Vin vkazav sho v en Bolcmana bulo zrobleno pripushennya sho shvidkosti chastinok v gazi buli postijno nekorelovanimi sho usunulo prirodnu zvorotnist v nij Mozhe buti pokazano sho yaksho sistemu opisano gustinoyu jmovirnosti u fazovomu prostori to z teoremi Liuvillya viplivaye sho spilna informaciya vid yemna spilna entropiya rozpodilu zalishayetsya staloyu v chasi Spilna informaciya dorivnyuye vzayemnij informaciyi plyus suma vsih vidosoblenih informacij vid yemnih vidosoblenih entropij dlya koordinat kozhnoyi z chastinok Pripushennya Bolcmana rivnoznachne ignoruvannyu vzayemnoyi informaciyi v obchislenni entropiyi sho daye v rezultati termodinamichnu entropiyu dilenu na stalu Bolcmana Vzayemnu informaciyu vikoristovuyut dlya navchannya strukturi bayesovih merezh dinamichnih bayesovih merezh sho yak vvazhayut poyasnyuyut prichinno naslidkovij zv yazok mizh vipadkovimi zminnimi prikladom chogo mozhe sluguvati instrumentarij GlobalMIT navchannya globalno optimalnoyi dinamichnoyi bayesovoyi merezhi z kriteriyem vzayemnoyi informaciyi angl Mutual Information Test MIT Populyarna funkciya vitrat u navchanni derev rishen Vzayemnu informaciyu vikoristovuyut u kosmologiyi shobi pereviryati vpliv velikomasshtabnih seredovish na vlastivosti galaktik u Galaxy Zoo Vzayemnu informaciyu vikoristovuvali v fizici Soncya dlya vivedennya sonyachnogo diferencialnogo rotora karti vidhilen chasu ruhu sonyachnih plyam chasovo vidstannyevoyi diagrami z vimiryuvan spokijnogo SoncyaDiv takozhPotochkova vzayemna informaciya en PrimitkiCover T M Thomas J A 1991 Elements of Information Theory vid Wiley ISBN 978 0 471 24195 9 angl Wolpert D H Wolf D R 1995 Estimating functions of probability distributions from a finite set of samples Physical Review E angl Hutter M 2001 Distribution of Mutual Information Advances in Neural Information Processing Systems 2001 angl Archer E Park I M Pillow J 2013 Bayesian and Quasi Bayesian Estimators for Mutual Information from Discrete Data Entropy angl Wolpert D H DeDeo S 2013 Estimating Functions of Distributions Defined over Spaces of Unknown Size Entropy angl Kraskov Alexander Stogbauer Harald Andrzejak Ralph G Grassberger Peter 2003 Hierarchical Clustering Based on Mutual Information arXiv q bio 0311039 angl Christopher D Manning Prabhakar Raghavan Hinrich Schutze 2008 An Introduction to Information Retrieval Cambridge University Press ISBN 0 521 86571 9 angl Haghighat M B A Aghagolzadeh A Seyedarabi H 2011 A non reference image fusion metric based on mutual information of image features Computers amp Electrical Engineering 37 5 744 756 doi 10 1016 j compeleceng 2011 07 012 angl www mathworks com Arhiv originalu za 16 kvitnya 2014 Procitovano 4 kvitnya 2018 angl Massey James 1990 ISITA Arhiv originalu za 7 kvitnya 2018 Procitovano 16 grudnya 2018 angl Permuter Haim Henry Weissman Tsachy Goldsmith Andrea J February 2009 Finite State Channels With Time Invariant Deterministic Feedback IEEE Transactions on Information Theory 55 2 644 662 arXiv cs 0608070 doi 10 1109 TIT 2008 2009849 angl Coombs Dawes ta Tversky 1970 Press WH Teukolsky SA Vetterling WT Flannery BP 2007 Section 14 7 3 Conditional Entropy and Mutual Information Numerical Recipes The Art of Scientific Computing vid 3 New York Cambridge University Press ISBN 978 0 521 88068 8 angl White Jim Steingold Sam Fournelle Connie PDF Arhiv originalu PDF za 5 lipnya 2016 Procitovano 28 chervnya 2016 angl Wijaya Dedy Rahman Sarno Riyanarto Zulaika Enny Information Quality Ratio as a novel metric for mother wavelet selection Chemometrics and Intelligent Laboratory Systems 160 59 71 doi 10 1016 j chemolab 2016 11 012 angl Strehl Alexander Ghosh Joydeep 2002 PDF The Journal of Machine Learning Research 3 Dec 583 617 arhiv originalu PDF za 3 serpnya 2016 procitovano 28 chervnya 2016 angl Kvalseth T O 1991 The relative useful information measure some comments Information sciences 56 1 35 38 doi 10 1016 0020 0255 91 90022 m angl Pocock A 2012 Feature Selection Via Joint Likelihood 5 listopada 2018 u Wayback Machine PDF Thesis angl Parsing a Natural Language Using Mutual Information Statistics 25 lyutogo 2014 u Wayback Machine by David M Magerman and Mitchell P Marcus angl Hugh Everett Theory of the Universal Wavefunction 16 zhovtnya 2012 u Wayback Machine Thesis Princeton University 1956 1973 pp 1 140 page 30 angl Everett Hugh 1957 Reviews of Modern Physics 29 454 462 Bibcode 1957RvMP 29 454E doi 10 1103 revmodphys 29 454 Arhiv originalu za 27 zhovtnya 2011 Procitovano 28 chervnya 2016 angl GlobalMIT na Google Code Keys Dustin Kholikov Shukur Pevtsov Alexei A February 2015 Application of Mutual Information Methods in Time Distance Helioseismology Solar Physics 290 3 659 671 arXiv 1501 05597 Bibcode 2015SoPh 290 659K doi 10 1007 s11207 015 0650 y angl DzherelaCilibrasi R Vitanyi Paul 2005 Clustering by compression PDF IEEE Transactions on Information Theory 51 4 1523 1545 doi 10 1109 TIT 2005 844059 angl Cronbach L J 1954 On the non rational application of information measures in psychology U red Information Theory in Psychology Problems and Methods Glencoe Illinois Free Press s 14 30 angl Coombs C H Dawes R M Tversky A 1970 Mathematical Psychology An Elementary Introduction Englewood Cliffs New Jersey Prentice Hall angl Church Kenneth Ward Hanks Patrick 1989 Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics Arhiv originalu za 2 grudnya 2018 Procitovano 16 grudnya 2018 angl Gelfand I M Yaglom A M 1957 O vychislenii kolichestva informacii o sluchajnoj funkcii soderzhashejsya v drugoj takoj funkcii Uspehi matematicheskih nauk 12 1 73 3 52 ros Guiasu Silviu 1977 Information Theory with Applications McGraw Hill New York ISBN 978 0 07 025109 0 angl Li Ming Vitanyi Paul February 1997 An introduction to Kolmogorov complexity and its applications New York Springer Verlag ISBN 0 387 94868 6 angl Lockhead G R 1970 Identification and the form of multidimensional discrimination space Journal of Experimental Psychology 85 1 1 10 doi 10 1037 h0029508 PMID 5458322 angl David J C MacKay Information Theory Inference and Learning Algorithms 17 lyutogo 2016 u Wayback Machine Cambridge Cambridge University Press 2003 ISBN 0 521 64298 1 available free online angl Haghighat M B A Aghagolzadeh A Seyedarabi H 2011 A non reference image fusion metric based on mutual information of image features Computers amp Electrical Engineering 37 5 744 756 doi 10 1016 j compeleceng 2011 07 012 angl Athanasios Papoulis Probability Random Variables and Stochastic Processes second edition New York McGraw Hill 1984 See Chapter 15 angl Witten Ian H amp Frank Eibe 2005 Morgan Kaufmann Amsterdam ISBN 978 0 12 374856 0 Arhiv originalu za 27 listopada 2020 Procitovano 28 chervnya 2016 angl Peng H C Long F and Ding C 2005 IEEE Transactions on Pattern Analysis and Machine Intelligence 27 8 1226 1238 doi 10 1109 tpami 2005 159 PMID 16119262 Arhiv originalu za 22 travnya 2009 Procitovano 28 chervnya 2016 CS1 maint Multiple names authors list link angl Andre S Ribeiro Stuart A Kauffman Jason Lloyd Price Bjorn Samuelsson Joshua Socolar 2008 Mutual Information in Random Boolean models of regulatory networks Physical Review E 77 1 arXiv 0707 3642 Bibcode 2008PhRvE 77a1901R doi 10 1103 physreve 77 011901 angl Wells W M III Viola P Atsumi H Nakajima S Kikinis R 1996 PDF Medical Image Analysis 1 1 35 51 doi 10 1016 S1361 8415 01 80004 9 PMID 9873920 Arhiv originalu PDF za 6 veresnya 2008 Procitovano 28 chervnya 2016 angl Pandey Biswajit Sarkar Suman 2017 How much a galaxy knows about its large scale environment An information theoretic perspective Monthly Notices of the Royal Astronomical Society Letters 467 L6 arXiv 1611 00283 Bibcode 2017MNRAS 467L 6P doi 10 1093 mnrasl slw250 angl LiteraturaGabidulin E M Pilipchuk N I Lekcii po teorii informacii M MFTI 2007 214 s ISBN 5 7417 0197 3 ros