У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї.
Якщо деяка система має дискретну множину доступних станів , якій відповідає розподіл імовірностей для (тобто — ймовірності перебування системи в станах ), то ентропія Реньї з параметром (при і ) системи визначається як
- ,
де кутовими дужками позначено математичне очікування за розподілом ( — ймовірність перебування системи в деякому стані як випадкова величина), логарифм береться за основою 2 (для рахунку в бітах) чи іншою зручною основою (більшою від 1). Основа логарифма визначає одиницю вимірювання ентропії. Так, у математичній статистиці зазвичай використовується натуральний логарифм.
Якщо всі ймовірності , тоді за будь-якого ентропія Реньї . Інакше -ентропія спадає як функція . Причому вищі значення (що прямують до нескінченності) надають ентропії Реньї значення, більшою мірою визначені лише найвищими ймовірностями подій (тобто внесок в ентропію малоймовірних станів зменшується). Проміжний випадок у границі дає ентропію Шеннона, яка має особливі властивості. Нижчі значення (що прямують до нуля), дають значення ентропії Реньї, яке зважує можливі події рівномірніше, менше залежно від їх імовірностей. А при отримуємо максимально можливу -ентропію, рівну незалежно від розподілу (тільки аби ).
Сенс параметра можна описати, кажучи неформальною мовою, як сприйнятливість функціоналу до відхилення стану системи від рівноважного: що більше , то швидше зменшується ентропія за відхилення системи від рівноважного стану. Сенс обмеження полягає в тому, щоб забезпечувалося збільшення ентропії за наближення системи до рівноважного (більш імовірного) стану. Ця вимога є природною для поняття «ентропія». Слід зауважити, що для ентропії Цалліса, яка еквівалентна ентропії Реньї з точністю до незалежного від [en], відповідне обмеження часто опускають, при цьому для від'ємних значень параметра замість максимізації ентропії використовують її мінімізацію.
Ентропія Реньї відіграє важливу роль в екології і статистиці, визначаючи так звані індекси різноманітності. Ентропія Реньї також важлива в квантовій інформації, її можна використовувати як міру складності. У ланцюжку Гейзенберга ентропію Реньї розраховано в термінах модулярних функцій, що залежать від . Вони також призводять до спектру показників фрактальної розмірності.
Ηα для деяких конкретних значень α
Деякі окремі випадки
- при
ентропія Реньї не залежить від імовірностей станів (вироджений випадок) і дорівнює логарифму числа станів (логарифму потужності множини
):
.
Цю ентропію іноді називають [en]. Вона використовується, наприклад, у формулюванні (принципу Больцмана).
- У границі при
, можна показати, використовуючи правило Лопіталя, що
збігається до ентропії Шеннона. Таким чином, сімейство ентропій Реньї можна довизначити функціоналом
.
- Квадратична ентропія, іноді звана ентропією зіткнень, — це ентропія Реньї з параметром
:
,
де і
— незалежні випадкові величини, однаково розподілені на множині
з імовірністю
(
). Квадратична ентропія використовується у фізиці, обробці сигналів, економіці.
- Існує границя
,
яку називають [en], тому що це найменше значення . Ця ентропія також є виродженим випадком, оскільки її значення визначається тільки найбільш імовірним станом.
Нерівності для різних значень α
Два останніх випадки пов'язані співвідношенням . З іншого боку, ентропія Шеннона
може бути як завгодно високою для розподілу X із фіксованою min-ентропією.
тому що
.
, тому що
.
відповідно до нерівності Єнсена
.
Розходження (дивергенції) Реньї
Крім сімейства ентропій, Реньї також визначив спектр мір розходжень (дивергенцій), які узагальнюють розходження Кульбака — Лейблера. Формули цього розділу записано в загальному вигляді — через логарифм за довільною основою. Тому потрібно розуміти, що кожна наведена формула являє собою сімейство еквівалентних функціоналів, визначених з точністю до сталого (додатного) множника.
Розходження Реньї з параметром , де
і
, розподілу
відносно розподілу
(або «відстань від
до
») визначається як
або (формально, без урахування нормування ймовірностей)
,
.
Як і розходження Кульбака — Лейблера, розходження Реньї є невід'ємним для .
Деякі окремі випадки
- При
дивергенція Реньї не визначена, однак сімейство дивергенцій можна довизначити елементом
: мінус логарифм від суми ймовірностей
, таких що відповідні
.
: відстань Бгаттачар'я (мінус логарифм від коефіцієнта Бгаттачар'я, несуттєвим множником
нехтуємо). Це розходження, з точністю до [en], еквівалентне [en] та [ru], проте на відміну від них не задовольняє нерівності трикутника, а тому не є метрикою в просторі розподілів.
: розходження Кульбака — Лейблера (дорівнює математичному сподіванню відносно розподілу
логарифма відношення ймовірностей
).
: логарифм математичного сподівання за розподілом
відношення ймовірностей
. Це розходження з точністю до монотонного перетворення еквівалентне [en]
.
: Логарифм найбільшого відношення ймовірностей
.
Чому випадок — особливий[]
Значення , яке відповідає ентропії Шеннона і розходженню Кульбака — Лейблера, є особливим, тому що тільки в цьому випадку можна виділити змінні A і X зі спільного розподілу ймовірностей, такі що виконується
для ентропії, і
-
для дивергенції.
Останнє означає, що якщо ми шукатимемо розподіл , який зводить до мінімуму розходження деяких основоположних мір
, і отримаємо нову інформацію, яка впливає тільки на розподіл
, то розподіл
не буде залежати від змін
.
У загальному випадку розходження Реньї з довільними значеннями задовольняють умовам незаперечності, неперервності та інваріантності відносно перетворення координат випадкових величин. Важливою властивістю будь-яких ентропії і дивергенції Реньї є адитивність: коли
і
незалежні, з
випливає
і
.
Найсильніші властивості випадку , які передбачають визначення умовної інформації і взаємної інформації з теорії зв'язку, можуть бути дуже важливими в інших застосуваннях або зовсім не важливими, залежно від вимог цих застосувань.
Перехресна ентропія Реньї
Перехресна ентропія від двох розподілів з імовірностями
і
(
) в загальному випадку може визначатися по-різному (залежно від застосування), але має задовольняти умові
. Один з варіантів визначення (аналогічну властивість має перехресна ентропія Шеннона):
.
Інше визначення, запропоноване А. Реньї, можна отримати з таких міркувань. Визначимо ефективне число станів системи як середнє геометричне зважене від величин з вагами
:
.
Звідси випливає вираз для перехресної ентропії Шеннона
.
Міркуючи аналогічно, визначимо ефективне число станів системи як середнє степеневе зважене від величин з вагами
і параметром
:
.
Таким чином, перехресна ентропія Реньї має вигляд
.
- Легко бачити, що в разі, якщо розподіли ймовірностей
і
збігаються, перехресна ентропія Реньї збігається з ентропією Реньї.
- Також при
перехресна ентропія Реньї збігається до перехресної ентропії Шеннона.
- властивість
, істинна для перехресної ентропії Шеннона, в загальному випадку не має місця. Перехресна ентропія Реньї може бути як більшою, так і меншою від ентропії Реньї.
Неперервний випадок
Для формального узагальнення ентропії Шеннона на випадок неперервного розподілу служить поняття диференціальна ентропія. Цілком аналогічно визначається диференційна ентропія Реньї:
.
Розходження (дивергенція) Реньї в неперервному випадку також є узагальненням розходження Кульбака — Лейблера і має вигляд
.
Визначення перехресної ентропії, запропоноване А. Реньї, в неперервному випадку має вигляд
.
У наведених формулах і
— деякі функції густини розподілу ймовірностей, визначені на інтервалі
, і покладається
,
.
Література
- (PDF). Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960. 1961. с. 547—561. Архів оригіналу (PDF) за 17 травня 2013. Процитовано 14 травня 2021.
{{}}
: Пропущений або порожній|title=
() - A. O. Hero, O.Michael and J. Gorman. Alpha-divergences for Classification, Indexing and Retrieval. — 2002. — 7 July. з джерела 11 лютого 2012. Процитовано 14 травня 2021.
- F. Nielsen and S. Boltz. The Burbea-Rao and Bhattacharyya centroids. — 2010. — 7 July. з джерела 21 лютого 2022. Процитовано 14 травня 2021.
- OA Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163—182
- Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U teoriyi informaciyi entropiya Renyi uzagalnennya entropiyi Shennona ye simejstvom funkcionaliv vikoristovuvanih yak mira kilkisnoyi riznomanitnosti neviznachenosti abo vipadkovosti deyakoyi sistemi Nazvano na chest Alfreda Renyi Yaksho deyaka sistema maye diskretnu mnozhinu dostupnih staniv X x1 xn displaystyle X x 1 x n yakij vidpovidaye rozpodil imovirnostej pi displaystyle p i dlya i 1 n displaystyle i 1 n tobto pi displaystyle p i jmovirnosti perebuvannya sistemi v stanah xi displaystyle x i to entropiya Renyi z parametrom a displaystyle alpha pri a 0 displaystyle alpha geq 0 i a 1 displaystyle alpha neq 1 sistemi viznachayetsya yak Ha X 11 alog i 1npia 11 alog pa 1 displaystyle mathrm H alpha X frac 1 1 alpha log sum i 1 n p i alpha frac 1 1 alpha log Big langle p alpha 1 Big rangle de kutovimi duzhkami poznacheno matematichne ochikuvannya za rozpodilom pi displaystyle p i p displaystyle p jmovirnist perebuvannya sistemi v deyakomu stani yak vipadkova velichina logarifm beretsya za osnovoyu 2 dlya rahunku v bitah chi inshoyu zruchnoyu osnovoyu bilshoyu vid 1 Osnova logarifma viznachaye odinicyu vimiryuvannya entropiyi Tak u matematichnij statistici zazvichaj vikoristovuyetsya naturalnij logarifm Yaksho vsi jmovirnosti pi 1 n displaystyle p i 1 n todi za bud yakogo a displaystyle alpha entropiya Renyi Ha X log n displaystyle mathrm H alpha X log n Inakshe a displaystyle alpha entropiya spadaye yak funkciya a displaystyle alpha Prichomu vishi znachennya a displaystyle alpha sho pryamuyut do neskinchennosti nadayut entropiyi Renyi znachennya bilshoyu miroyu viznacheni lishe najvishimi jmovirnostyami podij tobto vnesok v entropiyu malojmovirnih staniv zmenshuyetsya Promizhnij vipadok a 1 displaystyle alpha 1 u granici daye entropiyu Shennona yaka maye osoblivi vlastivosti Nizhchi znachennya a displaystyle alpha sho pryamuyut do nulya dayut znachennya entropiyi Renyi yake zvazhuye mozhlivi podiyi rivnomirnishe menshe zalezhno vid yih imovirnostej A pri a 0 displaystyle alpha 0 otrimuyemo maksimalno mozhlivu a displaystyle alpha entropiyu rivnu log n displaystyle log n nezalezhno vid rozpodilu tilki abi pi 0 displaystyle p i neq 0 Sens parametra a displaystyle alpha mozhna opisati kazhuchi neformalnoyu movoyu yak sprijnyatlivist funkcionalu do vidhilennya stanu sistemi vid rivnovazhnogo sho bilshe a displaystyle alpha to shvidshe zmenshuyetsya entropiya za vidhilennya sistemi vid rivnovazhnogo stanu Sens obmezhennya a 0 displaystyle alpha geq 0 polyagaye v tomu shob zabezpechuvalosya zbilshennya entropiyi za nablizhennya sistemi do rivnovazhnogo bilsh imovirnogo stanu Cya vimoga ye prirodnoyu dlya ponyattya entropiya Slid zauvazhiti sho dlya entropiyi Callisa yaka ekvivalentna entropiyi Renyi z tochnistyu do nezalezhnogo vid X displaystyle X en vidpovidne obmezhennya chasto opuskayut pri comu dlya vid yemnih znachen parametra zamist maksimizaciyi entropiyi vikoristovuyut yiyi minimizaciyu Entropiya Renyi vidigraye vazhlivu rol v ekologiyi i statistici viznachayuchi tak zvani indeksi riznomanitnosti Entropiya Renyi takozh vazhliva v kvantovij informaciyi yiyi mozhna vikoristovuvati yak miru skladnosti U lancyuzhku Gejzenberga XY displaystyle XY entropiyu Renyi rozrahovano v terminah modulyarnih funkcij sho zalezhat vid a displaystyle alpha Voni takozh prizvodyat do spektru pokaznikiv fraktalnoyi rozmirnosti Ha dlya deyakih konkretnih znachen aDeyaki okremi vipadki pri a 0 displaystyle alpha 0 entropiya Renyi ne zalezhit vid imovirnostej staniv virodzhenij vipadok i dorivnyuye logarifmu chisla staniv logarifmu potuzhnosti mnozhini X displaystyle X H0 X log n log X displaystyle mathrm H 0 X log n log X Cyu entropiyu inodi nazivayut en Vona vikoristovuyetsya napriklad u formulyuvanni principu Bolcmana U granici pri a 1 displaystyle alpha to 1 mozhna pokazati vikoristovuyuchi pravilo Lopitalya sho Ha displaystyle mathrm H alpha zbigayetsya do entropiyi Shennona Takim chinom simejstvo entropij Renyi mozhna doviznachiti funkcionalomH1 X dflima 1Ha X H X i 1npilog pi displaystyle mathrm H 1 X stackrel mathrm df lim alpha to 1 mathrm H alpha X mathrm H X sum i 1 n p i log p i Kvadratichna entropiya inodi zvana entropiyeyu zitknen ce entropiya Renyi z parametrom a 2 displaystyle alpha 2 H2 X log i 1npi2 log Prob x y displaystyle mathrm H 2 X log sum i 1 n p i 2 log operatorname Prob x y de x displaystyle x i y displaystyle y nezalezhni vipadkovi velichini odnakovo rozpodileni na mnozhini X displaystyle X z imovirnistyu pi displaystyle p i i 1 n displaystyle i 1 n Kvadratichna entropiya vikoristovuyetsya u fizici obrobci signaliv ekonomici Isnuye granicyaH X dflima Ha X log supipi displaystyle mathrm H infty X stackrel mathrm df lim alpha to infty mathrm H alpha X log sup i p i yaku nazivayut en tomu sho ce najmenshe znachennya Ha displaystyle mathrm H alpha Cya entropiya takozh ye virodzhenim vipadkom oskilki yiyi znachennya viznachayetsya tilki najbilsh imovirnim stanom Nerivnosti dlya riznih znachen a Dva ostannih vipadki pov yazani spivvidnoshennyam H lt H2 lt 2H displaystyle mathrm H infty lt mathrm H 2 lt 2 mathrm H infty Z inshogo boku entropiya Shennona H1 X displaystyle mathrm H 1 X mozhe buti yak zavgodno visokoyu dlya rozpodilu X iz fiksovanoyu min entropiyeyu H2 lt 2H displaystyle mathrm H 2 lt 2 mathrm H infty tomu sho log i 1npi2 log supipi2 2log supipi displaystyle log sum limits i 1 n p i 2 geq log sup i p i 2 2 log sup i p i H lt H2 displaystyle mathrm H infty lt mathrm H 2 tomu sho log i 1npi2 lt log supipi i 1npi log supipi displaystyle log sum limits i 1 n p i 2 lt log sup i p i left sum limits i 1 n p i right log sup i p i H1 H2 displaystyle mathrm H 1 geq mathrm H 2 vidpovidno do nerivnosti Yensena i 1npilog pi log i 1npi2 displaystyle sum limits i 1 n p i log p i leq log sum limits i 1 n p i 2 Rozhodzhennya divergenciyi RenyiKrim simejstva entropij Renyi takozh viznachiv spektr mir rozhodzhen divergencij yaki uzagalnyuyut rozhodzhennya Kulbaka Lejblera Formuli cogo rozdilu zapisano v zagalnomu viglyadi cherez logarifm za dovilnoyu osnovoyu Tomu potribno rozumiti sho kozhna navedena formula yavlyaye soboyu simejstvo ekvivalentnih funkcionaliv viznachenih z tochnistyu do stalogo dodatnogo mnozhnika Rozhodzhennya Renyi z parametrom a displaystyle alpha de a gt 0 displaystyle alpha gt 0 i a 1 displaystyle alpha neq 1 rozpodilu Q displaystyle Q vidnosno rozpodilu P displaystyle P abo vidstan vid P displaystyle P do Q displaystyle Q viznachayetsya yak Da P Q 1a 1log i 1npiaqi1 a 1a 1log p q a 1 P displaystyle D alpha P Q frac 1 alpha 1 log sum i 1 n p i alpha q i 1 alpha frac 1 alpha 1 log Big langle p q alpha 1 P Big rangle abo formalno bez urahuvannya normuvannya jmovirnostej Da P Q Ha pq1 1 a displaystyle D alpha P Q mathrm H alpha Bigg frac p q 1 1 alpha Bigg Ha P Da P Q q 1 displaystyle mathrm H alpha P left D alpha P Q right q 1 Yak i rozhodzhennya Kulbaka Lejblera rozhodzhennya Renyi ye nevid yemnim dlya a gt 0 displaystyle alpha gt 0 Deyaki okremi vipadki Pri a 0 displaystyle alpha 0 divergenciya Renyi ne viznachena odnak simejstvo divergencij mozhna doviznachiti elementomD0 P Q dflima 0Da P Q log i 1nqisgn pi displaystyle D 0 P Q stackrel mathrm df lim alpha to 0 D alpha P Q log sum i 1 n q i operatorname sgn p i minus logarifm vid sumi jmovirnostej q displaystyle q takih sho vidpovidni p gt 0 displaystyle p gt 0 D1 2 P Q 2log i 1npiqi displaystyle D 1 2 P Q 2 log sum i 1 n sqrt p i q i vidstan Bgattachar ya minus logarifm vid koeficiyenta Bgattachar ya nesuttyevim mnozhnikom 2 displaystyle 2 nehtuyemo Ce rozhodzhennya z tochnistyu do en ekvivalentne en ta ru prote na vidminu vid nih ne zadovolnyaye nerivnosti trikutnika a tomu ne ye metrikoyu v prostori rozpodiliv D1 P Q dflima 1Da P Q DKL P Q i 1npilog piqi log pq P displaystyle D 1 P Q stackrel mathrm df lim alpha to 1 D alpha P Q D KL P Q sum i 1 n p i log frac p i q i Big langle log frac p q P Big rangle rozhodzhennya Kulbaka Lejblera dorivnyuye matematichnomu spodivannyu vidnosno rozpodilu P displaystyle P logarifma vidnoshennya jmovirnostej p q displaystyle p q D2 P Q log i 1npi2qi log pq P displaystyle D 2 P Q log sum i 1 n frac p i 2 q i log Big langle frac p q P Big rangle logarifm matematichnogo spodivannya za rozpodilom P displaystyle P vidnoshennya jmovirnostej p q displaystyle p q Ce rozhodzhennya z tochnistyu do monotonnogo peretvorennya ekvivalentne en Dx2 Q P i 1n pi qi 2qi displaystyle D chi 2 Q P sum i 1 n frac p i q i 2 q i D P Q dflima Da P Q log supipiqi displaystyle D infty P Q stackrel mathrm df lim alpha to infty D alpha P Q log sup i frac p i q i Logarifm najbilshogo vidnoshennya jmovirnostej p q displaystyle p q Chomu vipadok a 1 displaystyle alpha 1 osoblivij utochniti Znachennya a 1 displaystyle alpha 1 yake vidpovidaye entropiyi Shennona i rozhodzhennyu Kulbaka Lejblera ye osoblivim tomu sho tilki v comu vipadku mozhna vidiliti zminni A i X zi spilnogo rozpodilu jmovirnostej taki sho vikonuyetsya H A X H A Ep a H X a displaystyle mathrm H A X mathrm H A mathbb E p a mathrm H X a dlya entropiyi i DKL p x a p a m x a Ep a DKL p x a m x a DKL p a m a displaystyle D mathrm KL p x a p a m x a mathbb E p a D mathrm KL p x a m x a D mathrm KL p a m a dlya divergenciyi Ostannye oznachaye sho yaksho mi shukatimemo rozpodil p x a displaystyle p x a yakij zvodit do minimumu rozhodzhennya deyakih osnovopolozhnih mir m x a displaystyle m x a i otrimayemo novu informaciyu yaka vplivaye tilki na rozpodil a displaystyle a to rozpodil p x a displaystyle p x a ne bude zalezhati vid zmin m x a displaystyle m x a U zagalnomu vipadku rozhodzhennya Renyi z dovilnimi znachennyami a displaystyle alpha zadovolnyayut umovam nezaperechnosti neperervnosti ta invariantnosti vidnosno peretvorennya koordinat vipadkovih velichin Vazhlivoyu vlastivistyu bud yakih entropiyi i divergenciyi Renyi ye aditivnist koli A displaystyle A i X displaystyle X nezalezhni z p A X p A p X displaystyle p A X p A p X viplivaye Ha A X Ha A Ha X displaystyle mathrm H alpha A X mathrm H alpha A mathrm H alpha X i Da P A P X Q A Q X Da P A Q A Da P X Q X displaystyle D alpha P A P X Q A Q X D alpha P A Q A D alpha P X Q X Najsilnishi vlastivosti vipadku a 1 displaystyle alpha 1 yaki peredbachayut viznachennya umovnoyi informaciyi i vzayemnoyi informaciyi z teoriyi zv yazku mozhut buti duzhe vazhlivimi v inshih zastosuvannyah abo zovsim ne vazhlivimi zalezhno vid vimog cih zastosuvan Perehresna entropiya RenyiPerehresna entropiya Ha P Q displaystyle mathrm H alpha P Q vid dvoh rozpodiliv z imovirnostyami pi displaystyle p i i qi displaystyle q i i 1 n displaystyle i 1 n v zagalnomu vipadku mozhe viznachatisya po riznomu zalezhno vid zastosuvannya ale maye zadovolnyati umovi Ha P P Ha P displaystyle mathrm H alpha P P mathrm H alpha P Odin z variantiv viznachennya analogichnu vlastivist maye perehresna entropiya Shennona Ha P Q Ha P Da P Q displaystyle mathrm H alpha P Q mathrm H alpha P D alpha P Q Inshe viznachennya zaproponovane A Renyi mozhna otrimati z takih mirkuvan Viznachimo efektivne chislo staniv sistemi yak serednye geometrichne zvazhene vid velichin 1 qi displaystyle 1 q i z vagami pi displaystyle p i n i 1n 1 qi pi displaystyle overline n prod i 1 n 1 q i p i Zvidsi viplivaye viraz dlya perehresnoyi entropiyi Shennona H P Q log n i 1npilog qi displaystyle mathrm H P Q log overline n sum i 1 n p i log q i Mirkuyuchi analogichno viznachimo efektivne chislo staniv sistemi yak serednye stepeneve zvazhene vid velichin 1 qi displaystyle 1 q i z vagami pi displaystyle p i i parametrom 1 a displaystyle 1 alpha n i 1npi 1 qi 1 a 11 a i 1npiqia 1 11 a displaystyle overline n left sum i 1 n p i 1 q i 1 alpha right frac 1 1 alpha left sum i 1 n p i q i alpha 1 right frac 1 1 alpha Takim chinom perehresna entropiya Renyi maye viglyad Ha P Q log n 11 alog i 1npiqia 1 11 alog qa 1 P displaystyle mathrm H alpha P Q log overline n frac 1 1 alpha log sum i 1 n p i q i alpha 1 frac 1 1 alpha log Big langle q alpha 1 P Big rangle Legko bachiti sho v razi yaksho rozpodili jmovirnostej p displaystyle p i q displaystyle q zbigayutsya perehresna entropiya Renyi zbigayetsya z entropiyeyu Renyi Takozh pri a 1 displaystyle alpha to 1 perehresna entropiya Renyi zbigayetsya do perehresnoyi entropiyi Shennona vlastivist H P Q H P DKL P Q H P displaystyle mathrm H P Q mathrm H P D KL P Q geq mathrm H P istinna dlya perehresnoyi entropiyi Shennona v zagalnomu vipadku ne maye miscya Perehresna entropiya Renyi mozhe buti yak bilshoyu tak i menshoyu vid entropiyi Renyi Neperervnij vipadokDlya formalnogo uzagalnennya entropiyi Shennona na vipadok neperervnogo rozpodilu sluzhit ponyattya diferencialna entropiya Cilkom analogichno viznachayetsya diferencijna entropiya Renyi Ha f 11 alog Xfa x dx displaystyle mathrm H alpha f frac 1 1 alpha log int limits X f alpha x dx Rozhodzhennya divergenciya Renyi v neperervnomu vipadku takozh ye uzagalnennyam rozhodzhennya Kulbaka Lejblera i maye viglyad Da g f 1a 1log Xga x f1 a x dx displaystyle D alpha g f frac 1 alpha 1 log int limits X g alpha x f 1 alpha x dx Viznachennya perehresnoyi entropiyi zaproponovane A Renyi v neperervnomu vipadku maye viglyad Ha g f 11 alog Xg x fa 1 x dx displaystyle mathrm H alpha g f frac 1 1 alpha log int limits X g x f alpha 1 x dx U navedenih formulah f x displaystyle f x i g x displaystyle g x deyaki funkciyi gustini rozpodilu jmovirnostej viznacheni na intervali X R displaystyle X subseteq R i pokladayetsya a gt 0 displaystyle alpha gt 0 a 1 displaystyle alpha neq 1 Literatura PDF Proceedings of the 4th Berkeley Symposium on Mathematics Statistics and Probability 1960 1961 s 547 561 Arhiv originalu PDF za 17 travnya 2013 Procitovano 14 travnya 2021 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite conference title Shablon Cite conference cite conference a Propushenij abo porozhnij title dovidka A O Hero O Michael and J Gorman Alpha divergences for Classification Indexing and Retrieval 2002 7 July z dzherela 11 lyutogo 2012 Procitovano 14 travnya 2021 F Nielsen and S Boltz The Burbea Rao and Bhattacharyya centroids 2010 7 July z dzherela 21 lyutogo 2022 Procitovano 14 travnya 2021 OA Rosso EEG analysis using wavelet based information tools Journal of Neuroscience Methods 153 2006 163 182 Renyi entropy as a measure of entanglement in quantum spin chain F Franchini AR Its VE Korepin Journal of Physics A Math Theor 41 2008 025302 1