В математичній статистиці розхо́дження, диверге́нція або ві́дстань Кульбака — Лейблера (що також називають відно́сною ентропі́єю, англ. Kullback–Leibler divergence, relative entropy) є мірою того, наскільки один розподіл імовірності відрізняється від іншого, еталонного розподілу ймовірності. До його застосувань належать відно́сна (шеннонова) ентропі́я в інформаційних системах, випадко́вість (англ. randomness) у неперервних часових рядах, та при́ріст інформа́ції (англ. information gain) при порівнюванні статистичних моделей висновування. На противагу до [en], воно є асиметричною міжрозподіловою мірою, і відтак не відповідає вимогам статистичної метрики розкиду. В простому випадку нульове розходження Кульбака — Лейблера показує, що два розглядані розподіли є ідентичними. Простішими словами, воно є мірою несподіваності, з різноманітними застосуваннями, такими як прикладна статистика, гідромеханіка, нейронаука та машинне навчання.
Етимологія
Розходження Кульбака — Лейблера було запропоновано 1951 року Соломоном Кульбаком та [en] як орієнто́ване розхо́дження (англ. directed divergence) між двома розподілами; Кульбак віддавав перевагу термінові інформа́ція розрі́знення (англ. discrimination information). Це розходження обговорено в книзі Кульбака 1959 року «Теорія інформації та статистика».
Означення
Для дискретних розподілів ймовірності та , визначених на одному й тому ж імовірнісному просторі, розходженням Кульбака — Лейблера означено
|
| ( ) |
що є рівнозначним
Іншими словами, воно є математичним сподіванням логарифмічної різниці між імовірностями та , де математичне сподівання беруть із застосуванням ймовірностей . Розходження Кульбака — Лейблера можливо визначити лише якщо для будь-якого означає (абсолютна неперервність). Коли є нулем, внесок відповідного члену розцінюють як нульовий, оскільки
Для розподілів та неперервної випадкової змінної розходженням Кульбака — Лейблера означують інтеграл
|
| ( ) |
де символами та позначено густини імовірності та .
Загальніше, якщо та є ймовірнісними мірами над множиною , а є абсолютно неперервною щодо , то розходженням Кульбака — Лейблера від до означують
де є похідною Радона — Нікодима щодо , і за умови існування правобічного виразу. Це може бути рівнозначно (згідно ланцюгового правила) записано як
що є ентропією відносно . У продовження цього випадку, якщо є будь-якою мірою на , для якої існують та (що означає, що та є абсолютно неперервними щодо ), то розходження Кульбака — Лейблера від до задають як
Логарифми в цих формулах беруть за [en] 2, якщо інформацію вимірюють в одиницях бітів, або за основою , якщо інформацію вимірюють в натах. Більшість формул, що залучають розходження Кульбака — Лейблера, виконуються не залежно від основи логарифму.
Існують різні угоди, як посилатися на словами. Часто на нього посилаються як на розходження між та , проте, це не передає фундаментальної асиметричності в цьому відношенні. Іноді, як у цій статті, можна знайти його опис як розходження від, або щодо . Це віддзеркалює асиметричність баєсового висновування, що починається від апріорного , і уточнюється до апостеріорного .
Простий приклад
Кульбак наводить простий приклад (таблиця 2.1, приклад 2.1). Нехай та є розподілами, показаними в таблиці й на малюнку. є розподілом з лівого боку малюнку, біноміальним розподілом з та . є розподілом з правого боку малюнку, дискретним рівномірним розподілом з трьома можливими результатами, , чи (тобто, ), кожен з імовірністю .
x | 0 | 1 | 2 |
---|---|---|---|
Розподіл P(x) | 0.36 | 0.48 | 0.16 |
Розподіл Q(x) | 0.333 | 0.333 | 0.333 |
КЛ-розходження та обчислюють із застосуванням означення (1) наступним чином. Цей приклад використовує натуральний логарифм з основою e, позначуваний , щоби отримати результати в натах (див. Одиниці вимірювання інформації).
Інтерпретації
Розходження Кульбака — Лейблера від до часто позначують через .
В контексті машинного навчання часто називають [en], отримуваним при застосовуванні замість . За аналогією з теорією інформації, його також називають відно́сною ентропі́єю (англ. relative entropy) щодо . В контексті теорії кодування можливо тлумачити як вимірювання математичного сподівання числа додаткових бітів, необхідних для кодування зразків з із застосуванням коду, оптимізованого для , замість коду, оптимізованого для .
Виражене мовою баєсового висновування, є мірою приросту інформації при перегляді переконань від апріорного розподілу ймовірності до апостеріорного розподілу ймовірності . Іншими словами, це величина інформації, що втрачається при застосуванні для наближення . У застосуваннях зазвичай представляє «істинний» розподіл даних, спостережень, або точно обчислений теоретичний розподіл, тоді як зазвичай представляє теорію, модель, опис, або наближення . Щоби знаходити розподіл , який є найближчим до , ми можемо мінімізувати КЛ-розходження, обчислюючи [en].
Розходження Кульбака — Лейблера є окремим випадком ширшого класу [en], що називають [en], а також класу [en]. Воно є єдиним таким розходженням над імовірностями, що належить до обох класів. І хоч його й часто інтуїтивно сприймають як спосіб вимірювання відстані між розподілами ймовірності, розходження Кульбака — Лейблера не є справжньою метрикою. З ним не дотримується нерівність трикутника, і в загальному випадку не дорівнює . Проте, його [en] вигляд, а саме його гессіан, дає метричний тензор, відомий як [en].
Характеризування
Артур Гобсон довів, що розходження Кульбака — Лейблера є єдиною мірою відмінності між розподілами ймовірності, яка задовольняє деякі бажані властивості, що є канонічним розширенням присутніх у широко вживаному (характеризуванні ентропії). Отже, взаємна інформація є єдиною мірою взаємної залежності, яка дотримується певних пов'язаних умов, оскільки її може бути визначено (в термінах розходження Кульбака — Лейблера).
Існує також баєсове характеризування розходження Кульбака — Лейблера.
Обґрунтування
В теорії інформації теорема Крафта — Макміллана встановлює, що будь-яку безпосередньо розкодовувану схему кодування для кодування повідомлення для виявляння одного значення з ряду можливостей можливо розглядати як представлення неявного розподілу ймовірності над , де є довжиною коду для в бітах. Отже, розходження Кульбака — Лейблера можливо інтерпретувати як математичне сподівання додаткової довжини повідомлення над рівнем, яка мусить передаватися, якщо застосовується код, що є оптимальним для заданого (неправильного) розподілу , в порівнянні з застосуванням коду, що ґрунтується на істинному розподілі .
де є перехресною ентропією та , а є ентропією .
Зауважте також, що існує зв'язок між розходженням Кульбака — Лейблера та [en] в [en].
Властивості
- Розходження Кульбака — Лейблера є завжди невід'ємним,
- результат, відомий як [en], з нульовим якщо і лише якщо майже скрізь. Ентропія відтак встановлює мінімальне значення для перехресної ентропії , математичного сподівання числа бітів, необхідних при використанні коду на основі замість , і, відтак, розходження Кульбака — Лейблера представляє математичне сподівання числа додаткових бітів, що мусять передаватися, щоби ідентифікувати значення , вибране з , якщо застосовується код, що відповідає розподілові ймовірності , а не «істинному» розподілові .
- Розходження Кульбака — Лейблера залишається однозначно означеним і для неперервних розподілів, а до того ж ще й інваріантним відносно перетворень параметрів. Наприклад, якщо здійснюють перетворення змінної на змінну , то, оскільки та , розходження Кульбака — Лейблера може бути переписано:
- де та . І хоча й передбачалося, що перетворення було неперервним, але це не є обов'язковим. Це також показує, що розходження Кульбака — Лейблера дає розмірнісно стійку величину, оскільки якщо є змінною з розмірністю, то та також мають розмірності, бо, наприклад, розмірностей не має. Аргумент логарифмічного члену є й залишається безрозмірнісним, як він і мусить. Отже, це можливо розглядати як певним чином фундаментальнішу величину, ніж деякі інші властивості в теорії інформації (такі як власна інформація та шеннонова ентропія), що для не дискретних ймовірностей можуть ставати невизначеними або від'ємними.
- Розходження Кульбака — Лейблера є [en] для незалежних розподілів практично так само, як і шеннонова ентропія. Якщо є незалежними розподілами, зі спільним розподілом , і аналогічно, то
- Розходження Кульбака — Лейблера є опуклим в парі функцій маси ймовірності , тобто, якщо та є двома парами функцій маси ймовірності, то
Приклади
Багатовимірні нормальні розподіли
Припустімо, що ми маємо два багатовимірні нормальні розподіли з середніми та з (невиродженими) коваріаційними матрицями Якщо ці два розподіли мають однакову розмірність, , то розходження Кульбака — Лейблера між ними є таким:
Логарифм в крайньому члені мусить братися за основою e, оскільки всі члени, крім крайнього, є логарифмами за основою e виразів, що є або коефіцієнтами функції густини, або інакше виникають натурально. Тож це рівняння дає результат, вимірюваний в натах. Ділення всього наведеного вище виразу на дає розходження в бітах.
Особливим випадком, що є широко вживаною величиною у [en], є КЛ-розходження між діагональним багатовимірним нормальним, та стандартним нормальним розподілами:
Відношення до метрик
Можна було би спокуситися назвати розходження Кульбака — Лейблера «метрикою відстані» на просторі розподілів імовірності, але це не буде правильним, оскільки воно не є симетричним, тобто, , як і не задовольняє воно нерівність трикутника. Незважаючи на це, будучи [en], воно породжує топологію на просторі розподілів імовірності. Конкретніше, якщо є послідовністю розподілів, такою, що
то кажуть, що
З [en] випливає, що
де крайнє відповідає звичайній збіжності в повній варіації.
Далі Реньї (1970, 1961)
Інформаційна метрика Фішера
Розходження Кульбака — Лейблера є безпосередньо пов'язаним з [en]. Це можна зробити явним наступним чином. Припустімо, що обидва розподіли ймовірності та параметризовано деяким (можливо, багатовимірним) параметром . Розгляньмо тоді два близькі значення та , такі, що параметр відрізняється лише на невелику величину від значення параметру . Конкретно, до першого порядку матимемо (із застосуванням ейнштейнового запису підсумовування)
де є невеличкою зміною в напрямку , а є відповідним темпом зміни в розподілі ймовірності. Оскільки розходження Кульбака — Лейблера має нульовий абсолютний мінімум для , тобто, , воно змінюється в маленьких параметрах лише до другого порядку. Формальніше, як і для будь-якого мінімуму, перша похідна цього розходження зникає
і за розкладом Тейлора маємо до другого порядку
де матриця Гессе розходження
мусить бути додатно напівозначеною. Якщо дозволити змінюватися (й опустити підіндекс 0), то гессіан визначатиме (можливо, вироджену) ріманову метрику на просторі параметру θ, що називають інформаційною метрикою Фішера.
Теорема інформаційної метрики Фішера
Коли задовольняє наступні нормативні умови:
- існують,
де ξ є незалежною від ρ
тоді
Відношення до інших величин теорії інформації
Багато інших величин теорії інформації можливо інтерпретувати як застосування розходження Кульбака — Лейблера до особливих випадків.
Власна інформація
Власну інформацію, відому також як інформаційний вміст сигналу, випадкової змінної або події, означено як від'ємний логарифм імовірності трапляння заданого результату.
При застосуванні до дискретної випадкової змінної власну інформацію може бути представлено як[]
є розходженням Кульбака — Лейблера розподілу ймовірності від дельти Кронекера, що представляє впевненість, що — тобто, число додаткових біт, що мусить бути передано, щоби ідентифікувати , якби отримувачеві був доступним розподіл імовірності , а не той факт, що .
Взаємна інформація
є розходженням Кульбака — Лейблера добутку двох розподілів відособлених ймовірностей від спільного розподілу ймовірності — тобто, математичним сподіванням числа бітів, яке мусить бути передано, щоби ідентифікувати та , якщо їх кодовано із застосуванням лише їхніх відособлених розподілів замість спільного розподілу. Рівнозначно, якщо спільна ймовірність є відомою, то це є математичним сподіванням числа додаткових бітів, які мусить бути в середньому надіслано, щоби ідентифікувати , якщо значення ще не є відомим отримувачеві.
Шеннонова ентропія
є числом бітів, які мало би бути передано, щоби ідентифікувати з однаково ймовірних можливостей, меншим розходженням Кульбака — Лейблера рівномірного розподілу [en], , від істинного розподілу — тобто, меншим за математичне сподівання числа заощаджених бітів, які мало би бути передано, якби значення було закодовано відповідно до рівномірного розподілу замість істинного розподілу .
Умовна ентропія
є числом бітів, які мало би бути передано, щоби ідентифікувати з однаково ймовірних можливостей, меншим розходженням Кульбака — Лейблера добутку розподілів від істинного спільного розподілу — тобто, меншим за математичне сподівання числа заощаджених бітів, які мало би бути передано, якби значення було кодовано відповідно до рівномірного розподілу замість умовного розподілу змінної за заданого значення .
Перехресна ентропія
Перехресна ентропія між двома розподілами ймовірності вимірює усереднене числом бітів, необхідних, щоби ідентифікувати подію з набору можливостей, якщо застосовувана схема кодування ґрунтується на заданому розподілі ймовірності замість «істинного» розподілу . Відтак, перехресну ентропію двох розподілів та над одним і тим же ймовірнісним простором означено наступним чином:[]
Баєсове уточнювання
У баєсовій статистиці розходження Кульбака — Лейблера можливо застосовувати як міру приросту інформації при переході від апріорного розподілу до апостеріорного розподілу: . Якщо виявлено деякий новий факт , його може бути використано, щоби уточнити апостеріорний розподіл для з до нового апостеріорного розподілу із застосуванням теореми Баєса:
Цей розподіл має нову [en]:
яка може бути меншою або більшою за первинну ентропію . Проте, з точки зору нового розподілу ймовірності, можливо оцінити, що застосування первинного коду на основі замість нового коду на основі додало би таке очікуване число бітів
до довжини повідомлення. Воно відтак представляє величину корисної інформації, або приріст інформації, про , що за нашою оцінкою ми дізналися, виявивши .
Якщо потім надходять подальші дані, , то розподіл імовірності для може бути уточнено далі, щоби дати нове найкраще припущення . Якщо повторно дослідити приріст інформації для застосування замість , то виявиться, що він може бути як більшим, так і меншим за оцінений минулого разу:
- може бути ≤ або > за
і, таким чином, об'єднаний приріст інформації не підкоряється нерівності трикутника:
- може бути <, = або > за
Все, що можливо сказати, це що в середньому при усереднюванні із застосуванням ці дві сторони будуть приблизно рівними.
Баєсове планування експериментів
Поширеною метою в [en] є максимізувати математичне сподівання розходження Кульбака — Лейблера між апріорним та апостеріорним. Коли апостеріорні наближено вважають нормальними розподілами, то план, що максимізує математичне сподівання розходження Кульбака — Лейблера, називають [en].
Розрізнювальна інформація
Розходження Кульбака — Лейблера можливо також розглядати як очікувану розрі́знювальну інформа́цію (англ. discrimination information) для над : середню інформацію на зразок для розрізнення на користь гіпотези проти гіпотези , коли гіпотеза є істинною. Іншою назвою цієї величини, даною їй [en], є очікувана для над , якої варто чекати від кожного зразка.
Очікувана вага свідчення для над не є тим же, що й приріст інформації про розподіл імовірності цих гіпотез, очікуваний на зразок,
Як функцію корисності в баєсовім плануванні експерименту, щоби обирати оптимальне наступне питання для дослідження, можливо використовувати будь-яку з цих двох величин, але вони загалом вестимуть до дещо різних стратегій експериментування.
На ентропійній шкалі приросту інформації різниця між майже впевненістю та абсолютною впевненістю є дуже маленькою — кодування відповідно до майже впевненості вимагає заледве більше бітів, ніж кодування відповідно до впевненості абсолютної. З іншого боку, на [en]-шкалі, що випливає з ваги свідчення, різниця між цими двома є величезною — можливо, нескінченною; це може віддзеркалювати різницю між тим, щоби бути майже впевненими (на ймовірнісному рівні), що, скажімо, гіпотеза Рімана є правильною, в порівнянні з тим, щоби бути впевненими в її правильності, оскільки вона має математичне доведення. Ці дві різні шкали функції втрат для невизначеності є корисними обидві, відповідно до того, наскільки добре кожна з них віддзеркалює певні обставини задачі, що розглядають.
Принцип мінімальної розрізнювальної інформації
Ідея розходження Кульбака — Лейблера як розрізнювальної інформації привела Кульбака до пропозиції принципу мініма́льної розрі́знювальної інформа́ції (МРІ, англ. Minimum Discrimination Information, MDI): за наявності нових фактів повинно бути обрано новий розподіл , що є якомога важче розрізнити від первинного розподілу ; так що нові дані продукують якомога менший приріст інформації .
Наприклад, якщо був апріорний розподіл над та , і згодом дізналися, що істинним розподілом був , то розходженням Кульбака — Лейблера між новим спільним розподілом для та , , та ранішим апріорним розподілом, буде
тобто, сума розходження Кульбака — Лейблера , апріорного розподілу , від уточненого розподілу , та математичного сподівання (із застосуванням розподілу ймовірності ) розходження Кульбака — Лейблера апріорного умовного розподілу від нового умовного розподілу . (Зауважте, що крайнє математичне сподівання часто називають умовним розходженням Кульбака — Лейблера, англ. conditional Kullback–Leibler divergence, (або умовною відносною ентропією, англ. conditional relative entropy), і позначують ) Вона мінімізується, якщо над усім носієм ; і зауважмо, що цей результат включає теорему Баєса, якщо новий розподіл є фактично δ-функцією, що представляє впевненість у тім, що має одне певне значення.
МРІ можливо розглядати як розширення [en]Лапласа, та [en][en]. Зокрема, вона є природним розширенням принципу максимальної ентропії з дискретних на неперервні розподіли, для яких шеннонова ентропія перестає бути настільки корисною (див. диференціальну ентропію), але розходження Кульбака — Лейблера залишається настільки ж відповідним.
В інженерній літературі МРІ іноді називають принципом мінімальної перехресної ентропії (МПЕ, англ. Principle of Minimum Cross-Entropy, MCE), або, для скорочення, англ. Minxent. Мінімізування розходження Кульбака — Лейблера від до по відношенню до є рівнозначним мінімізуванню перехресної ентропії та , оскільки
що є доречним, якщо намагатися обрати адекватне наближення . Проте так же часто це й не є завданням, якого намагаються досягти. Натомість, так же часто це є деякою незмінною апріорною орієнтирною мірою, а є тим, що намагаються оптимізувати, мінімізуючи за деякого обмеження. Це призвело до деякої неоднозначності в літературі, і деякі автори намагаються розв'язати цю невідповідність, переозначуючи перехресну ентропію як замість .
Відношення до доступної роботи
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Ne slid plutati z divergenciyeyu v vektornomu chislenni V matematichnij statistici rozho dzhennya diverge nciya abo vi dstan Kulbaka Lejblera sho takozh nazivayut vidno snoyu entropi yeyu angl Kullback Leibler divergence relative entropy ye miroyu togo naskilki odin rozpodil imovirnosti vidriznyayetsya vid inshogo etalonnogo rozpodilu jmovirnosti Do jogo zastosuvan nalezhat vidno sna shennonova entropi ya v informacijnih sistemah vipadko vist angl randomness u neperervnih chasovih ryadah ta pri rist informa ciyi angl information gain pri porivnyuvanni statistichnih modelej visnovuvannya Na protivagu do en vono ye asimetrichnoyu mizhrozpodilovoyu miroyu i vidtak ne vidpovidaye vimogam statistichnoyi metriki rozkidu V prostomu vipadku nulove rozhodzhennya Kulbaka Lejblera pokazuye sho dva rozglyadani rozpodili ye identichnimi Prostishimi slovami vono ye miroyu nespodivanosti z riznomanitnimi zastosuvannyami takimi yak prikladna statistika gidromehanika nejronauka ta mashinne navchannya EtimologiyaRozhodzhennya Kulbaka Lejblera bulo zaproponovano 1951 roku Solomonom Kulbakom ta en yak oriyento vane rozho dzhennya angl directed divergence mizh dvoma rozpodilami Kulbak viddavav perevagu terminovi informa ciya rozri znennya angl discrimination information Ce rozhodzhennya obgovoreno v knizi Kulbaka 1959 roku Teoriya informaciyi ta statistika OznachennyaDlya diskretnih rozpodiliv jmovirnosti P displaystyle P ta Q displaystyle Q viznachenih na odnomu j tomu zh imovirnisnomu prostori rozhodzhennyam Kulbaka Lejblera oznacheno DKL P Q x XP x log Q x P x displaystyle D text KL P parallel Q sum x in mathcal X P x log left frac Q x P x right 1 sho ye rivnoznachnim DKL P Q x XP x log P x Q x displaystyle D text KL P parallel Q sum x in mathcal X P x log left frac P x Q x right Inshimi slovami vono ye matematichnim spodivannyam logarifmichnoyi riznici mizh imovirnostyami P displaystyle P ta Q displaystyle Q de matematichne spodivannya berut iz zastosuvannyam jmovirnostej P displaystyle P Rozhodzhennya Kulbaka Lejblera mozhlivo viznachiti lishe yaksho Q x 0 displaystyle Q x 0 dlya bud yakogo x displaystyle x oznachaye P x 0 displaystyle P x 0 absolyutna neperervnist Koli P x displaystyle P x ye nulem vnesok vidpovidnogo chlenu rozcinyuyut yak nulovij oskilki limx 0 xlog x 0 displaystyle lim x to 0 x log x 0 Dlya rozpodiliv P displaystyle P ta Q displaystyle Q neperervnoyi vipadkovoyi zminnoyi rozhodzhennyam Kulbaka Lejblera oznachuyut integral s 55 DKL P Q p x log p x q x dx displaystyle D text KL P parallel Q int infty infty p x log left frac p x q x right dx 2 de simvolami p displaystyle p ta q displaystyle q poznacheno gustini imovirnosti P displaystyle P ta Q displaystyle Q Zagalnishe yaksho P displaystyle P ta Q displaystyle Q ye jmovirnisnimi mirami nad mnozhinoyu X displaystyle mathcal X a P displaystyle P ye absolyutno neperervnoyu shodo Q displaystyle Q to rozhodzhennyam Kulbaka Lejblera vid Q displaystyle Q do P displaystyle P oznachuyut DKL P Q Xlog dPdQ dP displaystyle D text KL P parallel Q int mathcal X log left frac dP dQ right dP de dPdQ displaystyle frac dP dQ ye pohidnoyu Radona Nikodima P displaystyle P shodo Q displaystyle Q i za umovi isnuvannya pravobichnogo virazu Ce mozhe buti rivnoznachno zgidno lancyugovogo pravila zapisano yak DKL P Q Xlog dPdQ dPdQdQ displaystyle D text KL P parallel Q int mathcal X log left frac dP dQ right frac dP dQ dQ sho ye entropiyeyu P displaystyle P vidnosno Q displaystyle Q U prodovzhennya cogo vipadku yaksho m displaystyle mu ye bud yakoyu miroyu na X displaystyle mathcal X dlya yakoyi isnuyut p dPdm displaystyle p frac dP d mu ta q dQdm displaystyle q frac dQ d mu sho oznachaye sho p displaystyle p ta q displaystyle q ye absolyutno neperervnimi shodo m displaystyle mu to rozhodzhennya Kulbaka Lejblera vid Q displaystyle Q do P displaystyle P zadayut yak DKL P Q Xplog pq dm displaystyle D text KL P parallel Q int mathcal X p log left frac p q right d mu Logarifmi v cih formulah berut za en 2 yaksho informaciyu vimiryuyut v odinicyah bitiv abo za osnovoyu e displaystyle e yaksho informaciyu vimiryuyut v natah Bilshist formul sho zaluchayut rozhodzhennya Kulbaka Lejblera vikonuyutsya ne zalezhno vid osnovi logarifmu Isnuyut rizni ugodi yak posilatisya na DKL P Q displaystyle D text KL P parallel Q slovami Chasto na nogo posilayutsya yak na rozhodzhennya mizh P displaystyle P ta Q displaystyle Q prote ce ne peredaye fundamentalnoyi asimetrichnosti v comu vidnoshenni Inodi yak u cij statti mozhna znajti jogo opis yak rozhodzhennya P displaystyle P vid abo shodo Q displaystyle Q Ce viddzerkalyuye asimetrichnist bayesovogo visnovuvannya sho pochinayetsya vid apriornogo Q displaystyle Q i utochnyuyetsya do aposteriornogo P displaystyle P Prostij prikladKulbak navodit prostij priklad tablicya 2 1 priklad 2 1 Nehaj P displaystyle P ta Q displaystyle Q ye rozpodilami pokazanimi v tablici j na malyunku P displaystyle P ye rozpodilom z livogo boku malyunku binomialnim rozpodilom z N 2 displaystyle N 2 ta p 0 4 displaystyle p 0 4 Q displaystyle Q ye rozpodilom z pravogo boku malyunku diskretnim rivnomirnim rozpodilom z troma mozhlivimi rezultatami x 0 displaystyle x 0 1 displaystyle 1 chi 2 displaystyle 2 tobto X 0 1 2 displaystyle mathcal X 0 1 2 kozhen z imovirnistyu p 1 3 displaystyle p 1 3 x 0 1 2Rozpodil P x 0 36 0 48 0 16Rozpodil Q x 0 333 0 333 0 333 KL rozhodzhennya DKL P Q displaystyle D text KL P parallel Q ta DKL Q P displaystyle D text KL Q parallel P obchislyuyut iz zastosuvannyam oznachennya 1 nastupnim chinom Cej priklad vikoristovuye naturalnij logarifm z osnovoyu e poznachuvanij ln displaystyle operatorname ln shobi otrimati rezultati v natah div Odinici vimiryuvannya informaciyi DKL P Q x XP x ln P x Q x 0 36ln 0 360 333 0 48ln 0 480 333 0 16ln 0 160 333 0 0852996 displaystyle begin aligned D text KL P parallel Q amp sum x in mathcal X P x ln left frac P x Q x right amp 0 36 ln left frac 0 36 0 333 right 0 48 ln left frac 0 48 0 333 right 0 16 ln left frac 0 16 0 333 right amp 0 0852996 end aligned DKL Q P x XQ x ln Q x P x 0 333ln 0 3330 36 0 333ln 0 3330 48 0 333ln 0 3330 16 0 097455 displaystyle begin aligned D text KL Q parallel P amp sum x in mathcal X Q x ln left frac Q x P x right amp 0 333 ln left frac 0 333 0 36 right 0 333 ln left frac 0 333 0 48 right 0 333 ln left frac 0 333 0 16 right amp 0 097455 end aligned InterpretaciyiRozhodzhennya Kulbaka Lejblera vid Q displaystyle Q do P displaystyle P chasto poznachuyut cherez DKL P Q displaystyle D text KL P parallel Q V konteksti mashinnogo navchannya DKL P Q displaystyle D text KL P parallel Q chasto nazivayut en otrimuvanim pri zastosovuvanni Q displaystyle Q zamist P displaystyle P Za analogiyeyu z teoriyeyu informaciyi jogo takozh nazivayut vidno snoyu entropi yeyu angl relative entropy P displaystyle P shodo Q displaystyle Q V konteksti teoriyi koduvannya DKL P Q displaystyle D text KL P parallel Q mozhlivo tlumachiti yak vimiryuvannya matematichnogo spodivannya chisla dodatkovih bitiv neobhidnih dlya koduvannya zrazkiv z P displaystyle P iz zastosuvannyam kodu optimizovanogo dlya Q displaystyle Q zamist kodu optimizovanogo dlya P displaystyle P Virazhene movoyu bayesovogo visnovuvannya DKL P Q displaystyle D text KL P parallel Q ye miroyu prirostu informaciyi pri pereglyadi perekonan vid apriornogo rozpodilu jmovirnosti Q displaystyle Q do aposteriornogo rozpodilu jmovirnosti P displaystyle P Inshimi slovami ce velichina informaciyi sho vtrachayetsya pri zastosuvanni Q displaystyle Q dlya nablizhennya P displaystyle P U zastosuvannyah P displaystyle P zazvichaj predstavlyaye istinnij rozpodil danih sposterezhen abo tochno obchislenij teoretichnij rozpodil todi yak Q displaystyle Q zazvichaj predstavlyaye teoriyu model opis abo nablizhennya P displaystyle P Shobi znahoditi rozpodil Q displaystyle Q yakij ye najblizhchim do P displaystyle P mi mozhemo minimizuvati KL rozhodzhennya obchislyuyuchi en Rozhodzhennya Kulbaka Lejblera ye okremim vipadkom shirshogo klasu en sho nazivayut en a takozh klasu en Vono ye yedinim takim rozhodzhennyam nad imovirnostyami sho nalezhit do oboh klasiv I hoch jogo j chasto intuyitivno sprijmayut yak sposib vimiryuvannya vidstani mizh rozpodilami jmovirnosti rozhodzhennya Kulbaka Lejblera ne ye spravzhnoyu metrikoyu Z nim ne dotrimuyetsya nerivnist trikutnika i v zagalnomu vipadku DKL P Q displaystyle D text KL P parallel Q ne dorivnyuye DKL Q P displaystyle D text KL Q parallel P Prote jogo en viglyad a same jogo gessian daye metrichnij tenzor vidomij yak en HarakterizuvannyaArtur Gobson doviv sho rozhodzhennya Kulbaka Lejblera ye yedinoyu miroyu vidminnosti mizh rozpodilami jmovirnosti yaka zadovolnyaye deyaki bazhani vlastivosti sho ye kanonichnim rozshirennyam prisutnih u shiroko vzhivanomu harakterizuvanni entropiyi Otzhe vzayemna informaciya ye yedinoyu miroyu vzayemnoyi zalezhnosti yaka dotrimuyetsya pevnih pov yazanih umov oskilki yiyi mozhe buti viznacheno v terminah rozhodzhennya Kulbaka Lejblera Isnuye takozh bayesove harakterizuvannya rozhodzhennya Kulbaka Lejblera ObgruntuvannyaIlyustraciya rozhodzhennya Kulbaka Lejblera KL dlya dvoh normalnih rozpodiliv Chitko vidno tipovu asimetrichnist rozhodzhennya Kulbaka Lejblera V teoriyi informaciyi teorema Krafta Makmillana vstanovlyuye sho bud yaku bezposeredno rozkodovuvanu shemu koduvannya dlya koduvannya povidomlennya dlya viyavlyannya odnogo znachennya xi displaystyle x i z ryadu mozhlivostej X displaystyle X mozhlivo rozglyadati yak predstavlennya neyavnogo rozpodilu jmovirnosti q xi 2 li displaystyle q x i 2 l i nad X displaystyle X de li displaystyle l i ye dovzhinoyu kodu dlya xi displaystyle x i v bitah Otzhe rozhodzhennya Kulbaka Lejblera mozhlivo interpretuvati yak matematichne spodivannya dodatkovoyi dovzhini povidomlennya nad rivnem yaka musit peredavatisya yaksho zastosovuyetsya kod sho ye optimalnim dlya zadanogo nepravilnogo rozpodilu Q displaystyle Q v porivnyanni z zastosuvannyam kodu sho gruntuyetsya na istinnomu rozpodili P displaystyle P DKL P Q x Xp x log q x x Xp x log p x H P Q H P displaystyle begin aligned D text KL P parallel Q amp sum x in mathcal X p x log q x sum x in mathcal X p x log p x amp mathrm H P Q mathrm H P end aligned de H P Q displaystyle mathrm H P Q ye perehresnoyu entropiyeyu P displaystyle P ta Q displaystyle Q a H P displaystyle mathrm H P ye entropiyeyu P displaystyle P Zauvazhte takozh sho isnuye zv yazok mizh rozhodzhennyam Kulbaka Lejblera ta en v en VlastivostiRozhodzhennya Kulbaka Lejblera ye zavzhdi nevid yemnim DKL P Q 0 displaystyle D text KL P parallel Q geq 0 dd rezultat vidomij yak en z nulovim DKL P Q displaystyle D text KL P parallel Q yaksho i lishe yaksho P Q displaystyle P Q majzhe skriz Entropiya H P displaystyle mathrm H P vidtak vstanovlyuye minimalne znachennya dlya perehresnoyi entropiyi H P Q displaystyle mathrm H P Q matematichnogo spodivannya chisla bitiv neobhidnih pri vikoristanni kodu na osnovi Q displaystyle Q zamist P displaystyle P i vidtak rozhodzhennya Kulbaka Lejblera predstavlyaye matematichne spodivannya chisla dodatkovih bitiv sho musyat peredavatisya shobi identifikuvati znachennya x displaystyle x vibrane z X displaystyle X yaksho zastosovuyetsya kod sho vidpovidaye rozpodilovi jmovirnosti Q displaystyle Q a ne istinnomu rozpodilovi P displaystyle P Rozhodzhennya Kulbaka Lejblera zalishayetsya odnoznachno oznachenim i dlya neperervnih rozpodiliv a do togo zh she j invariantnim vidnosno peretvoren parametriv Napriklad yaksho zdijsnyuyut peretvorennya zminnoyi x displaystyle x na zminnu y x displaystyle y x to oskilki P x dx P y dy displaystyle P x dx P y dy ta Q x dx Q y dy displaystyle Q x dx Q y dy rozhodzhennya Kulbaka Lejblera mozhe buti perepisano DKL P Q xaxbP x log P x Q x dx yaybP y log P y dydxQ y dydx dy yaybP y log P y Q y dy displaystyle begin aligned D text KL P parallel Q amp int x a x b P x log left frac P x Q x right dx 6pt amp int y a y b P y log left frac P y frac dy dx Q y frac dy dx right dy int y a y b P y log left frac P y Q y right dy end aligned dd de ya y xa displaystyle y a y x a ta yb y xb displaystyle y b y x b I hocha j peredbachalosya sho peretvorennya bulo neperervnim ale ce ne ye obov yazkovim Ce takozh pokazuye sho rozhodzhennya Kulbaka Lejblera daye rozmirnisno stijku velichinu oskilki yaksho x displaystyle x ye zminnoyu z rozmirnistyu to P x displaystyle P x ta Q x displaystyle Q x takozh mayut rozmirnosti bo napriklad P x dx displaystyle P x dx rozmirnostej ne maye Argument logarifmichnogo chlenu ye j zalishayetsya bezrozmirnisnim yak vin i musit Otzhe ce mozhlivo rozglyadati yak pevnim chinom fundamentalnishu velichinu nizh deyaki inshi vlastivosti v teoriyi informaciyi taki yak vlasna informaciya ta shennonova entropiya sho dlya ne diskretnih jmovirnostej mozhut stavati neviznachenimi abo vid yemnimi Rozhodzhennya Kulbaka Lejblera ye en dlya nezalezhnih rozpodiliv praktichno tak samo yak i shennonova entropiya Yaksho P1 P2 displaystyle P 1 P 2 ye nezalezhnimi rozpodilami zi spilnim rozpodilom P x y P1 x P2 y displaystyle P x y P 1 x P 2 y i Q Q1 Q2 displaystyle Q Q 1 Q 2 analogichno toDKL P Q DKL P1 Q1 DKL P2 Q2 displaystyle D text KL P parallel Q D text KL P 1 parallel Q 1 D text KL P 2 parallel Q 2 dd Rozhodzhennya Kulbaka Lejblera DKL P Q displaystyle D text KL P parallel Q ye opuklim v pari funkcij masi jmovirnosti p q displaystyle p q tobto yaksho p1 q1 displaystyle p 1 q 1 ta p2 q2 displaystyle p 2 q 2 ye dvoma parami funkcij masi jmovirnosti toDKL lp1 1 l p2 lq1 1 l q2 lDKL p1 q1 1 l DKL p2 q2 for 0 l 1 displaystyle D text KL lambda p 1 1 lambda p 2 parallel lambda q 1 1 lambda q 2 leq lambda D text KL p 1 parallel q 1 1 lambda D text KL p 2 parallel q 2 text for 0 leq lambda leq 1 dd PrikladiBagatovimirni normalni rozpodili Pripustimo sho mi mayemo dva bagatovimirni normalni rozpodili z serednimi m0 m1 displaystyle mu 0 mu 1 ta z nevirodzhenimi kovariacijnimi matricyami S0 S1 displaystyle Sigma 0 Sigma 1 Yaksho ci dva rozpodili mayut odnakovu rozmirnist k displaystyle k to rozhodzhennya Kulbaka Lejblera mizh nimi ye takim s 13 DKL N0 N1 12 tr S1 1S0 m1 m0 TS1 1 m1 m0 k ln detS1detS0 displaystyle D text KL mathcal N 0 parallel mathcal N 1 frac 1 2 left operatorname tr left Sigma 1 1 Sigma 0 right mu 1 mu 0 mathsf T Sigma 1 1 mu 1 mu 0 k ln left frac det Sigma 1 det Sigma 0 right right Logarifm v krajnomu chleni musit bratisya za osnovoyu e oskilki vsi chleni krim krajnogo ye logarifmami za osnovoyu e viraziv sho ye abo koeficiyentami funkciyi gustini abo inakshe vinikayut naturalno Tozh ce rivnyannya daye rezultat vimiryuvanij v natah Dilennya vsogo navedenogo vishe virazu na ln 2 displaystyle ln 2 daye rozhodzhennya v bitah Osoblivim vipadkom sho ye shiroko vzhivanoyu velichinoyu u en ye KL rozhodzhennya mizh diagonalnim bagatovimirnim normalnim ta standartnim normalnim rozpodilami DKL N m1 mk T diag s12 sk2 N 0 I 12 i 1k si2 mi2 ln si2 1 displaystyle D text KL left mathcal N left mu 1 ldots mu k mathsf T operatorname diag sigma 1 2 ldots sigma k 2 right parallel mathcal N left mathbf 0 mathbf I right right 1 over 2 sum i 1 k sigma i 2 mu i 2 ln sigma i 2 1 Vidnoshennya do metrikMozhna bulo bi spokusitisya nazvati rozhodzhennya Kulbaka Lejblera metrikoyu vidstani na prostori rozpodiliv imovirnosti ale ce ne bude pravilnim oskilki vono ne ye simetrichnim tobto DKL P Q DKL Q P displaystyle D text KL P parallel Q neq D text KL Q parallel P yak i ne zadovolnyaye vono nerivnist trikutnika Nezvazhayuchi na ce buduchi en vono porodzhuye topologiyu na prostori rozpodiliv imovirnosti Konkretnishe yaksho P1 P2 displaystyle P 1 P 2 ldots ye poslidovnistyu rozpodiliv takoyu sho limn DKL Pn Q 0 displaystyle lim n to infty D text KL P n parallel Q 0 to kazhut sho Pn DQ displaystyle P n xrightarrow D Q Z en viplivaye sho Pn DP Pn TVP displaystyle P n xrightarrow D P Rightarrow P n xrightarrow TV P de krajnye vidpovidaye zvichajnij zbizhnosti v povnij variaciyi Dali Renyi 1970 1961 Informacijna metrika Fishera Rozhodzhennya Kulbaka Lejblera ye bezposeredno pov yazanim z en Ce mozhna zrobiti yavnim nastupnim chinom Pripustimo sho obidva rozpodili jmovirnosti P displaystyle P ta Q displaystyle Q parametrizovano deyakim mozhlivo bagatovimirnim parametrom 8 displaystyle theta Rozglyanmo todi dva blizki znachennya P P 8 displaystyle P P theta ta Q P 80 displaystyle Q P theta 0 taki sho parametr 8 displaystyle theta vidriznyayetsya lishe na neveliku velichinu vid znachennya parametru 80 displaystyle theta 0 Konkretno do pershogo poryadku matimemo iz zastosuvannyam ejnshtejnovogo zapisu pidsumovuvannya P 8 P 80 D8jPj 80 displaystyle P theta P theta 0 Delta theta j P j theta 0 cdots de D8j 8 80 j displaystyle Delta theta j theta theta 0 j ye nevelichkoyu zminoyu 8 displaystyle theta v napryamku j displaystyle j a Pj 80 P 8j 80 displaystyle P j left theta 0 right frac partial P partial theta j theta 0 ye vidpovidnim tempom zmini v rozpodili jmovirnosti Oskilki rozhodzhennya Kulbaka Lejblera maye nulovij absolyutnij minimum dlya P Q displaystyle P Q tobto 8 80 displaystyle theta theta 0 vono zminyuyetsya v malenkih parametrah D8j displaystyle Delta theta j lishe do drugogo poryadku Formalnishe yak i dlya bud yakogo minimumu persha pohidna cogo rozhodzhennya znikaye 8j 8 80DKL P 8 P 80 0 displaystyle left frac partial partial theta j right theta theta 0 D KL P theta parallel P theta 0 0 i za rozkladom Tejlora mayemo do drugogo poryadku DKL P 8 P 80 12D8jD8kgjk 80 displaystyle D text KL P theta parallel P theta 0 frac 1 2 Delta theta j Delta theta k g jk theta 0 cdots de matricya Gesse rozhodzhennya gjk 80 2 8j 8k 8 80DKL P 8 P 80 displaystyle g jk theta 0 left frac partial 2 partial theta j partial theta k right theta theta 0 D text KL P theta parallel P theta 0 musit buti dodatno napivoznachenoyu Yaksho dozvoliti 80 displaystyle theta 0 zminyuvatisya j opustiti pidindeks 0 to gessian gjk 8 displaystyle g jk theta viznachatime mozhlivo virodzhenu rimanovu metriku na prostori parametru 8 sho nazivayut informacijnoyu metrikoyu Fishera Teorema informacijnoyi metriki Fishera Koli p x r displaystyle p x rho zadovolnyaye nastupni normativni umovi log p r 2log p r2 3log p r3 displaystyle tfrac partial log p partial rho tfrac partial 2 log p partial rho 2 tfrac partial 3 log p partial rho 3 isnuyut p r lt F x x 0 F x dx lt 2p r2 lt G x x 0 G x dx lt 3log p r3 lt H x x 0 p x 0 H x dx lt 3 lt displaystyle begin aligned left frac partial p partial rho right amp lt F x int x 0 infty F x dx lt infty left frac partial 2 p partial rho 2 right amp lt G x int x 0 infty G x dx lt infty left frac partial 3 log p partial rho 3 right amp lt H x int x 0 infty p x 0 H x dx lt xi lt infty end aligned de 3 ye nezalezhnoyu vid r x 0 p x r r r 0dx x 0 2p x r r2 r 0dx 0 displaystyle left int x 0 infty frac partial p x rho partial rho right rho 0 dx left int x 0 infty frac partial 2 p x rho partial rho 2 right rho 0 dx 0 todi D p x 0 p x r cr22 O r3 as r 0 displaystyle mathcal D p x 0 parallel p x rho frac c rho 2 2 mathcal O rho 3 text as rho to 0 Vidnoshennya do inshih velichin teoriyi informaciyiBagato inshih velichin teoriyi informaciyi mozhlivo interpretuvati yak zastosuvannya rozhodzhennya Kulbaka Lejblera do osoblivih vipadkiv Vlasna informaciya Dokladnishe Vlasna informaciya Vlasnu informaciyu vidomu takozh yak informacijnij vmist signalu vipadkovoyi zminnoyi abo podiyi oznacheno yak vid yemnij logarifm imovirnosti traplyannya zadanogo rezultatu Pri zastosuvanni do diskretnoyi vipadkovoyi zminnoyi vlasnu informaciyu mozhe buti predstavleno yak dzherelo I m DKL dim pi displaystyle operatorname operatorname I m D text KL delta im parallel p i ye rozhodzhennyam Kulbaka Lejblera rozpodilu jmovirnosti P i displaystyle P i vid delti Kronekera sho predstavlyaye vpevnenist sho i m displaystyle i m tobto chislo dodatkovih bit sho musit buti peredano shobi identifikuvati i displaystyle i yakbi otrimuvachevi buv dostupnim rozpodil imovirnosti P i displaystyle P i a ne toj fakt sho i m displaystyle i m Vzayemna informaciya Vzayemna informaciya dzherelo I X Y DKL P X Y P X P Y EX DKL P Y X P Y EY DKL P X Y P X displaystyle begin aligned operatorname I X Y amp D text KL P X Y parallel P X P Y amp operatorname E X D text KL P Y mid X parallel P Y amp operatorname E Y D text KL P X mid Y parallel P X end aligned ye rozhodzhennyam Kulbaka Lejblera dobutku P X P Y displaystyle P X P Y dvoh rozpodiliv vidosoblenih jmovirnostej vid spilnogo rozpodilu jmovirnosti P X Y displaystyle P X Y tobto matematichnim spodivannyam chisla bitiv yake musit buti peredano shobi identifikuvati X displaystyle X ta Y displaystyle Y yaksho yih kodovano iz zastosuvannyam lishe yihnih vidosoblenih rozpodiliv zamist spilnogo rozpodilu Rivnoznachno yaksho spilna jmovirnist P X Y displaystyle P X Y ye vidomoyu to ce ye matematichnim spodivannyam chisla dodatkovih bitiv yaki musit buti v serednomu nadislano shobi identifikuvati Y displaystyle Y yaksho znachennya X displaystyle X she ne ye vidomim otrimuvachevi Shennonova entropiya Shennonova entropiya dzherelo H X E IX x log N DKL pX x PU X displaystyle begin aligned mathrm H X amp operatorname E operatorname I X x amp log N D text KL p X x parallel P U X end aligned ye chislom bitiv yaki malo bi buti peredano shobi identifikuvati X displaystyle X z N displaystyle N odnakovo jmovirnih mozhlivostej menshim rozhodzhennyam Kulbaka Lejblera rivnomirnogo rozpodilu en X displaystyle X PU X displaystyle P U X vid istinnogo rozpodilu P X displaystyle P X tobto menshim za matematichne spodivannya chisla zaoshadzhenih bitiv yaki malo bi buti peredano yakbi znachennya X displaystyle X bulo zakodovano vidpovidno do rivnomirnogo rozpodilu PU X displaystyle P U X zamist istinnogo rozpodilu P X displaystyle P X Umovna entropiya Umovna entropiya dzherelo H X Y log N DKL P X Y PU X P Y log N DKL P X Y P X P Y DKL P X PU X H X I X Y log N EY DKL P X Y PU X displaystyle begin aligned mathrm H X mid Y amp log N D text KL P X Y parallel P U X P Y amp log N D text KL P X Y parallel P X P Y D text KL P X parallel P U X amp mathrm H X operatorname I X Y amp log N operatorname E Y bigl D text KL P X mid Y parallel P U X bigr end aligned ye chislom bitiv yaki malo bi buti peredano shobi identifikuvati X displaystyle X z N displaystyle N odnakovo jmovirnih mozhlivostej menshim rozhodzhennyam Kulbaka Lejblera dobutku rozpodiliv PU X P Y displaystyle P U X P Y vid istinnogo spilnogo rozpodilu P X Y displaystyle P X Y tobto menshim za matematichne spodivannya chisla zaoshadzhenih bitiv yaki malo bi buti peredano yakbi znachennya X displaystyle X bulo kodovano vidpovidno do rivnomirnogo rozpodilu PU X displaystyle P U X zamist umovnogo rozpodilu P X Y displaystyle P X Y zminnoyi X displaystyle X za zadanogo znachennya Y displaystyle Y Perehresna entropiya Perehresna entropiya mizh dvoma rozpodilami jmovirnosti vimiryuye userednene chislom bitiv neobhidnih shobi identifikuvati podiyu z naboru mozhlivostej yaksho zastosovuvana shema koduvannya gruntuyetsya na zadanomu rozpodili jmovirnosti q displaystyle q zamist istinnogo rozpodilu p displaystyle p Vidtak perehresnu entropiyu dvoh rozpodiliv p displaystyle p ta q displaystyle q nad odnim i tim zhe jmovirnisnim prostorom oznacheno nastupnim chinom dzherelo H p q Ep log q H p DKL p q displaystyle mathrm H p q operatorname E p log q mathrm H p D text KL p parallel q Bayesove utochnyuvannyaU bayesovij statistici rozhodzhennya Kulbaka Lejblera mozhlivo zastosovuvati yak miru prirostu informaciyi pri perehodi vid apriornogo rozpodilu do aposteriornogo rozpodilu p x p x I displaystyle p x to p x mid I Yaksho viyavleno deyakij novij fakt Y y displaystyle Y y jogo mozhe buti vikoristano shobi utochniti aposteriornij rozpodil dlya X displaystyle X z p x I displaystyle p x mid I do novogo aposteriornogo rozpodilu p x y I displaystyle p x mid y I iz zastosuvannyam teoremi Bayesa p x y I p y x I p x I p y I displaystyle p x mid y I frac p y mid x I p x mid I p y mid I Cej rozpodil maye novu en H p y I xp x y I log p x y I displaystyle mathrm H big p mid y I big sum x p x mid y I log p x mid y I yaka mozhe buti menshoyu abo bilshoyu za pervinnu entropiyu H p I displaystyle mathrm H p mid I Prote z tochki zoru novogo rozpodilu jmovirnosti mozhlivo ociniti sho zastosuvannya pervinnogo kodu na osnovi p x I displaystyle p x mid I zamist novogo kodu na osnovi p x y I displaystyle p x mid y I dodalo bi take ochikuvane chislo bitiv DKL p y I p I xp x y I log p x y I p x I displaystyle D text KL big p mid y I parallel p mid I big sum x p x mid y I log left frac p x mid y I p x mid I right do dovzhini povidomlennya Vono vidtak predstavlyaye velichinu korisnoyi informaciyi abo pririst informaciyi pro X displaystyle X sho za nashoyu ocinkoyu mi diznalisya viyavivshi Y y displaystyle Y y Yaksho potim nadhodyat podalshi dani Y2 y2 displaystyle Y 2 y 2 to rozpodil imovirnosti dlya x displaystyle x mozhe buti utochneno dali shobi dati nove najkrashe pripushennya p x y1 y2 I displaystyle p x mid y 1 y 2 I Yaksho povtorno dosliditi pririst informaciyi dlya zastosuvannya p x y1 I displaystyle p x mid y 1 I zamist p x I displaystyle p x mid I to viyavitsya sho vin mozhe buti yak bilshim tak i menshim za ocinenij minulogo razu xp x y1 y2 I log p x y1 y2 I p x I displaystyle sum x p x mid y 1 y 2 I log left frac p x mid y 1 y 2 I p x mid I right mozhe buti abo gt za xp x y1 I log p x y1 I p x I displaystyle displaystyle sum x p x mid y 1 I log left frac p x mid y 1 I p x mid I right i takim chinom ob yednanij pririst informaciyi ne pidkoryayetsya nerivnosti trikutnika DKL p y1 y2 I p I displaystyle D text KL big p mid y 1 y 2 I parallel p mid I big mozhe buti lt abo gt za DKL p y1 y2 I p y1 I DKL p y1 I p I displaystyle D text KL big p mid y 1 y 2 I parallel p mid y 1 I big D text KL big p mid y 1 I parallel p mid I big Vse sho mozhlivo skazati ce sho v serednomu pri userednyuvanni iz zastosuvannyam p y2 y1 x I displaystyle p y 2 mid y 1 x I ci dvi storoni budut priblizno rivnimi Bayesove planuvannya eksperimentiv Poshirenoyu metoyu v en ye maksimizuvati matematichne spodivannya rozhodzhennya Kulbaka Lejblera mizh apriornim ta aposteriornim Koli aposteriorni nablizheno vvazhayut normalnimi rozpodilami to plan sho maksimizuye matematichne spodivannya rozhodzhennya Kulbaka Lejblera nazivayut en Rozriznyuvalna informaciyaRozhodzhennya Kulbaka Lejblera DKL p x H1 p x H0 textstyle D text KL bigl p x mid H 1 parallel p x mid H 0 bigr mozhlivo takozh rozglyadati yak ochikuvanu rozri znyuvalnu informa ciyu angl discrimination information dlya H1 displaystyle H 1 nad H0 displaystyle H 0 serednyu informaciyu na zrazok dlya rozriznennya na korist gipotezi H1 displaystyle H 1 proti gipotezi H0 displaystyle H 0 koli gipoteza H1 displaystyle H 1 ye istinnoyu Inshoyu nazvoyu ciyeyi velichini danoyu yij en ye ochikuvana dlya H1 displaystyle H 1 nad H0 displaystyle H 0 yakoyi varto chekati vid kozhnogo zrazka Ochikuvana vaga svidchennya dlya H1 displaystyle H 1 nad H0 displaystyle H 0 ne ye tim zhe sho j pririst informaciyi pro rozpodil imovirnosti p H displaystyle p H cih gipotez ochikuvanij na zrazok DKL p x H1 p x H0 IG DKL p H x p H I displaystyle D text KL p x mid H 1 parallel p x mid H 0 neq IG D text KL p H mid x parallel p H mid I Yak funkciyu korisnosti v bayesovim planuvanni eksperimentu shobi obirati optimalne nastupne pitannya dlya doslidzhennya mozhlivo vikoristovuvati bud yaku z cih dvoh velichin ale voni zagalom vestimut do desho riznih strategij eksperimentuvannya Na entropijnij shkali prirostu informaciyi riznicya mizh majzhe vpevnenistyu ta absolyutnoyu vpevnenistyu ye duzhe malenkoyu koduvannya vidpovidno do majzhe vpevnenosti vimagaye zaledve bilshe bitiv nizh koduvannya vidpovidno do vpevnenosti absolyutnoyi Z inshogo boku na en shkali sho viplivaye z vagi svidchennya riznicya mizh cimi dvoma ye velicheznoyu mozhlivo neskinchennoyu ce mozhe viddzerkalyuvati riznicyu mizh tim shobi buti majzhe vpevnenimi na jmovirnisnomu rivni sho skazhimo gipoteza Rimana ye pravilnoyu v porivnyanni z tim shobi buti vpevnenimi v yiyi pravilnosti oskilki vona maye matematichne dovedennya Ci dvi rizni shkali funkciyi vtrat dlya neviznachenosti ye korisnimi obidvi vidpovidno do togo naskilki dobre kozhna z nih viddzerkalyuye pevni obstavini zadachi sho rozglyadayut Princip minimalnoyi rozriznyuvalnoyi informaciyi Ideya rozhodzhennya Kulbaka Lejblera yak rozriznyuvalnoyi informaciyi privela Kulbaka do propoziciyi principu minima lnoyi rozri znyuvalnoyi informa ciyi MRI angl Minimum Discrimination Information MDI za nayavnosti novih faktiv povinno buti obrano novij rozpodil f displaystyle f sho ye yakomoga vazhche rozrizniti vid pervinnogo rozpodilu f0 displaystyle f 0 tak sho novi dani produkuyut yakomoga menshij pririst informaciyi DKL f f0 displaystyle D text KL f parallel f 0 Napriklad yaksho buv apriornij rozpodil p x a displaystyle p x a nad x displaystyle x ta a displaystyle a i zgodom diznalisya sho istinnim rozpodilom a displaystyle a buv u a displaystyle u a to rozhodzhennyam Kulbaka Lejblera mizh novim spilnim rozpodilom dlya x displaystyle x ta a displaystyle a q x a u a displaystyle q x mid a u a ta ranishim apriornim rozpodilom bude DKL q x a u a p x a Eu a DKL q x a p x a DKL u a p a displaystyle D text KL q x mid a u a parallel p x a operatorname E u a left D text KL q x mid a parallel p x mid a right D text KL u a parallel p a tobto suma rozhodzhennya Kulbaka Lejblera p a displaystyle p a apriornogo rozpodilu a displaystyle a vid utochnenogo rozpodilu u a displaystyle u a ta matematichnogo spodivannya iz zastosuvannyam rozpodilu jmovirnosti u a displaystyle u a rozhodzhennya Kulbaka Lejblera apriornogo umovnogo rozpodilu p x a displaystyle p x mid a vid novogo umovnogo rozpodilu q x a displaystyle q x mid a Zauvazhte sho krajnye matematichne spodivannya chasto nazivayut umovnim rozhodzhennyam Kulbaka Lejblera angl conditional Kullback Leibler divergence abo umovnoyu vidnosnoyu entropiyeyu angl conditional relative entropy i poznachuyut DKL q x a p x a displaystyle D text KL q x mid a parallel p x mid a s 22 Vona minimizuyetsya yaksho q x a p x a displaystyle q x mid a p x mid a nad usim nosiyem u a displaystyle u a i zauvazhmo sho cej rezultat vklyuchaye teoremu Bayesa yaksho novij rozpodil u a displaystyle u a ye faktichno d funkciyeyu sho predstavlyaye vpevnenist u tim sho a displaystyle a maye odne pevne znachennya MRI mozhlivo rozglyadati yak rozshirennya en Laplasa ta en en Zokrema vona ye prirodnim rozshirennyam principu maksimalnoyi entropiyi z diskretnih na neperervni rozpodili dlya yakih shennonova entropiya perestaye buti nastilki korisnoyu div diferencialnu entropiyu ale rozhodzhennya Kulbaka Lejblera zalishayetsya nastilki zh vidpovidnim V inzhenernij literaturi MRI inodi nazivayut principom minimalnoyi perehresnoyi entropiyi MPE angl Principle of Minimum Cross Entropy MCE abo dlya skorochennya angl Minxent Minimizuvannya rozhodzhennya Kulbaka Lejblera vid m displaystyle m do p displaystyle p po vidnoshennyu do m displaystyle m ye rivnoznachnim minimizuvannyu perehresnoyi entropiyi p displaystyle p ta m displaystyle m oskilki H p m H p DKL p m displaystyle mathrm H p m mathrm H p D text KL p parallel m sho ye dorechnim yaksho namagatisya obrati adekvatne nablizhennya p displaystyle p Prote tak zhe chasto ce j ne ye zavdannyam yakogo namagayutsya dosyagti Natomist tak zhe chasto ce m displaystyle m ye deyakoyu nezminnoyu apriornoyu oriyentirnoyu miroyu a p displaystyle p ye tim sho namagayutsya optimizuvati minimizuyuchi DKL p m displaystyle D text KL p parallel m za deyakogo obmezhennya Ce prizvelo do deyakoyi neodnoznachnosti v literaturi i deyaki avtori namagayutsya rozv yazati cyu nevidpovidnist pereoznachuyuchi perehresnu entropiyu yak DKL p m displaystyle D text KL p parallel m zamist H p m displaystyle mathrm H p m Vidnoshennya do dostupnoyi robotiGrafik zalezhnosti vid tisku ta ob yemu dostupnoyi roboti molyu gazu argonu vidnosno n u obchislenoyi yak To displaystyle T o na rozhodzhennya Kulbaka Lejblera Koli jmovirnosti peremnozhuyutsya