Умовна ентропія

В теорії інформації умо́вна ентропі́я (або ухи́льність, англ. conditional entropy, equivocation) — це оцінка кількості інформації, необхідної, щоб описати вихід випадкової змінної ${\displaystyle Y}$, враховуючи, що значення іншої випадкової змінної ${\displaystyle X}$ є відомим. Тут інформація вимірюється в шеннонах, натах або гартлі. Ентропія ${\displaystyle Y}$, обумовлена ${\displaystyle X}$ записується як ${\displaystyle \mathrm {H} (Y|X)}$.

Діаграма Венна, що показує адитивні та різницеві відношення серед різних мір інформації, пов'язаних із корельованими змінними ${\displaystyle X}$ та ${\displaystyle Y}$. Область, яка міститься в обох колах, є спільною ентропією ${\displaystyle \mathrm {H} (X,Y)}$. Коло ліворуч (червоний і фіолетовий) є особистою ентропією ${\displaystyle \mathrm {H} (X)}$, в якому червоне є умовною ентропією ${\displaystyle \mathrm {H} (X|Y)}$. Коло праворуч (синій та фіолетовий) є ${\displaystyle \mathrm {H} (Y)}$, а синє в ньому є ${\displaystyle \mathrm {H} (Y|X)}$. Фіолетове є взаємною інформацією ${\displaystyle \operatorname {I} (X;Y)}$.

Означення

Нехай ${\displaystyle \mathrm {H} (Y|X=x)}$ є ентропією дискретної випадкової змінної ${\displaystyle Y}$, обумовленою набуванням дискретною випадковою змінною ${\displaystyle X}$ певного значення ${\displaystyle x}$. Нехай ${\displaystyle Y}$ має функцію маси ймовірності ${\displaystyle p_{Y}{(y)}}$. Безумовна ентропія ${\displaystyle Y}$ обчислюється як ${\displaystyle \mathrm {H} (Y):=\mathbb {E} [\operatorname {I} (Y)]}$, тобто,

${\displaystyle \mathrm {H} (Y)=\sum _{i=1}^{n}{\mathrm {Pr} (Y=y_{i})\,\mathrm {I} (y_{i})}=-\sum _{i=1}^{n}{p_{Y}(y_{i})\log _{2}{p_{Y}(y_{i})}},}$

де ${\displaystyle \operatorname {I} (y_{i})}$ є інформаційним вмістом набування ^[en]${\displaystyle Y}$ значення ${\displaystyle y_{i}}$. Ентропію ${\displaystyle Y}$, обумовлену набуванням випадковою змінною ${\displaystyle X}$ значення ${\displaystyle x}$, визначено аналогічно до умовного математичного сподівання:

${\displaystyle \mathrm {H} (Y|X=x)=\mathbb {E} [\operatorname {I} (Y)|X=x]=-\sum _{i=1}^{n}{\Pr(Y=y_{i}|X=x)\log _{2}{\Pr(Y=y_{i}|X=x)}}.}$

${\displaystyle \mathrm {H} (Y|X)}$ є результатом усереднювання ${\displaystyle \mathrm {H} (Y|X=x)}$ над усіма можливими значеннями ${\displaystyle x}$, що їх може набувати ${\displaystyle X}$.

Для заданих дискретних випадкових змінних ${\displaystyle X}$ з носієм ${\displaystyle {\mathcal {X}}}$ та ${\displaystyle Y}$ з носієм ${\displaystyle {\mathcal {Y}}}$ умовну ентропію ${\displaystyle Y}$ відносно ${\displaystyle X}$ визначають як зважену суму ${\displaystyle \mathrm {H} (Y|X=x)}$ для кожного з можливих значень ${\displaystyle x}$ із застосуванням ${\displaystyle p(x)}$ як вагових коефіцієнтів:^:15

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)\ &\equiv \sum _{x\in {\mathcal {X}}}\,p(x)\,\mathrm {H} (Y|X=x)\\&=-\sum _{x\in {\mathcal {X}}}p(x)\sum _{y\in {\mathcal {Y}}}\,p(y|x)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}}}\sum _{y\in {\mathcal {Y}}}\,p(x,y)\,\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \,p(y|x)\\&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x,y)}{p(x)}}.\\&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log {\frac {p(x)}{p(x,y)}}.\\\end{aligned}}}$

Примітка: Зрозуміло, що вирази ${\displaystyle 0\log 0}$ та ${\displaystyle 0\log c/0}$ для фіксованих ${\displaystyle c>0}$ слід вважати рівними нулеві.

Властивості

Нульова умовна ентропія

${\displaystyle \mathrm {H} (Y|X)=0}$ якщо і лише якщо значення ${\displaystyle Y}$ повністю визначається значенням ${\displaystyle X}$.

Умовна ентропія незалежних випадкових змінних

І навпаки, ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ якщо і лише якщо ${\displaystyle Y}$ та ${\displaystyle X}$ є незалежними випадковими змінними.

Ланцюгове правило

Припустімо, що об'єднана система, яку визначають дві випадкові змінні ${\displaystyle X}$ та ${\displaystyle Y}$, має спільну ентропію ${\displaystyle \mathrm {H} (X,Y)}$, тобто, нам потрібно в середньому ${\displaystyle \mathrm {H} (X,Y)}$ біт інформації, щоби описати її точний стан. Тепер, якщо ми спочатку дізналися значення ${\displaystyle X}$, ми отримали ${\displaystyle \mathrm {H} (X)}$ біт інформації. Щойно ${\displaystyle X}$ стало відомим, нам потрібно лише ${\displaystyle \mathrm {H} (X,Y)-\mathrm {H} (X)}$ біт, щоб описати стан системи в цілому. Ця величина в точності дорівнює ${\displaystyle \mathrm {H} (Y|X)}$, що дає нам ланцюгове правило умовної ентропії:

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X,Y)-\mathrm {H} (X).}$^:17

Ланцюгове правило випливає з вищенаведеного означення умовної ентропії:

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&=\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log \left({\frac {p(x)}{p(x,y)}}\right)\\[4pt]&=-\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}p(x,y)\log(p(x,y))+\sum _{x\in {\mathcal {X}},y\in {\mathcal {Y}}}{p(x,y)\log(p(x))}\\[4pt]&=\mathrm {H} (X,Y)+\sum _{x\in {\mathcal {X}}}p(x)\log(p(x))\\[4pt]&=\mathrm {H} (X,Y)-\mathrm {H} (X).\end{aligned}}}$

В загальному випадку ланцюгове правило для декількох випадкових змінних стверджує, що

${\displaystyle \mathrm {H} (X_{1},X_{2},\ldots ,X_{n})=\sum _{i=1}^{n}\mathrm {H} (X_{i}|X_{1},\ldots ,X_{i-1})}$^:22

Воно має вигляд, подібний до ланцюгового правила в теорії ймовірностей, за винятком того, що замість множення використовується додавання.

Правило Баєса

Правило Баєса для умовної ентропії стверджує, що

${\displaystyle \mathrm {H} (Y|X)\,=\,\mathrm {H} (X|Y)-\mathrm {H} (X)+\mathrm {H} (Y).}$

Доведення. ${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (X,Y)-\mathrm {H} (X)}$ і ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (Y,X)-\mathrm {H} (Y)}$. Через симетрію, ${\displaystyle \mathrm {H} (X,Y)=\mathrm {H} (Y,X)}$. Віднімання цих двох рівнянь має наслідком правило Баєса.

Якщо ${\displaystyle Y}$ є ^[en] від ${\displaystyle Z}$ за заданої ${\displaystyle X}$, то ми маємо

${\displaystyle \mathrm {H} (Y|X,Z)\,=\,\mathrm {H} (Y|X).}$

Інші властивості

Для будь-яких ${\displaystyle X}$ та ${\displaystyle Y}$

${\displaystyle {\begin{aligned}\mathrm {H} (Y|X)&\leq \mathrm {H} (Y)\,\\\mathrm {H} (X,Y)&=\mathrm {H} (X|Y)+\mathrm {H} (Y|X)+\operatorname {I} (X;Y),\qquad \\\mathrm {H} (X,Y)&=\mathrm {H} (X)+\mathrm {H} (Y)-\operatorname {I} (X;Y),\,\\\operatorname {I} (X;Y)&\leq \mathrm {H} (X),\,\end{aligned}}}$

де ${\displaystyle \operatorname {I} (X;Y)}$ є взаємною інформацією ${\displaystyle X}$ та ${\displaystyle Y}$.

Для незалежних ${\displaystyle X}$ та ${\displaystyle Y}$

${\displaystyle \mathrm {H} (Y|X)=\mathrm {H} (Y)}$ та ${\displaystyle \mathrm {H} (X|Y)=\mathrm {H} (X)\,}$

Хоча конкретно-умовна ентропія ${\displaystyle \mathrm {H} (X|Y=y)}$ і може бути або меншою, або більшою за ${\displaystyle \mathrm {H} (X)}$ для заданої ^[en]${\displaystyle y}$ змінної ${\displaystyle Y}$, але ${\displaystyle \mathrm {H} (X|Y)}$ ніколи не може перевищувати ${\displaystyle \mathrm {H} (X)}$.

Умовна диференціальна ентропія

Див. також: Теорія інформації

Означення

Наведене вище означення є для дискретних випадкових змінних, але в випадку неперервних випадкових змінних воно чинним не є. Неперервну версію дискретної умовної ентропії називають умовною диференціальною (або неперервною) ентропією (англ. conditional differential (continuous) entropy). Нехай ${\displaystyle X}$ та ${\displaystyle Y}$ є неперервними випадковими змінними з ^[en]${\displaystyle f(x,y)}$. Диференціальну умовну ентропію ${\displaystyle h(X|Y)}$ означують як

${\displaystyle h(X|Y)=-\int _{{\mathcal {X}},{\mathcal {Y}}}f(x,y)\log f(x|y)\,dxdy}$.^:249

Властивості

На противагу до умовної ентропії дискретних випадкових змінних, умовна диференціальна ентропія може бути від'ємною.

Як і в дискретному випадку, для диференціальної ентропії існує ланцюгове правило:

${\displaystyle h(Y|X)\,=\,h(X,Y)-h(X)}$^:253

Зауважте, проте, що це правило може не виконуватися, якщо залучені диференціальні ентропії не існують, або є нескінченними.

Спільну диференціальну ентропію також використано в означенні взаємної інформації між неперервними випадковими змінними:

${\displaystyle \operatorname {I} (X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)}$

${\displaystyle h(X|Y)\leq h(X)}$, з рівністю якщо і лише якщо ${\displaystyle X}$ та ${\displaystyle Y}$ є незалежними.^:253

Стосунок до похибки оцінювача

Умовна диференціальна ентропія дає нижню межу математичного сподівання квадратичної похибки оцінювача. Для будь-якої випадкової змінної ${\displaystyle X}$, спостереження ${\displaystyle Y}$ та оцінювача ${\displaystyle {\widehat {X}}}$ виконується наступне:^:255

$${\displaystyle \mathbb {E} \left[{\bigl (}X-{\widehat {X}}{(Y)}{\bigr )}^{2}\right]\geq {\frac {1}{2\pi e}}e^{2h(X|Y)}}$$

Це стосується принципу невизначеності в квантовій механіці.

Узагальнення до квантової теорії

У квантовій теорії інформації умовна ентропія узагальнюється до ^[en]. Остання, на відміну від свого класичного аналога, може набувати від'ємних значень.

Див. також

• Інформаційна ентропія
• Взаємна інформація
• ^[en]
• ^[en]
• ^[en]
• Функція правдоподібності

Примітки

1. T. Cover; J. Thomas (1991). Elements of Information Theory. ISBN . (англ.)