Інформація за Фішером

У математичній статистиці та теорії інформації інформацією за Фішером називається міра кількості інформації, що спостережувана випадкова змінна X несе про невідомий параметр θ, від якого залежить ймовірність X. Формально це дисперсія (функції внеску) вибірки. Ця функція названа на честь Рональда Фішера, що описав її.

Визначення

Нехай ${\displaystyle f(\theta ,\;x_{1},\dots ,\,x_{n})}$ — густина розподілу для даної статистичної моделі ${\displaystyle \xi _{1},\dots ,\xi _{n}}$. Тоді якщо визначена функція: ${\displaystyle I_{n}(\theta )=\mathbb {D} _{\theta }\left({\frac {\partial L(\theta ,\;\xi _{1},\dots ,\,\xi _{n})}{\partial \theta }}\right)=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;\xi _{1},\dots ,\,\xi _{n})}{\partial \theta }}\right)^{2},\;L(x_{1},\dots ,x_{n})=\sum _{i=1}^{n}\ln f(\theta ,x_{i})\!}$,

де ${\displaystyle L(\theta ,\;x_{1},\dots ,\,x_{n})}$ — логарифмічна функція правдоподібності, а ${\displaystyle \mathbb {E} _{\theta }\!}$ — математичне сподівання за заданого ${\displaystyle \theta \!}$, то вона називається інформацією за Фішером для даної статистичної моделі при ${\displaystyle n\!}$ незалежних випробуваннях. Для регулярних моделей: ${\displaystyle \mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;\xi _{1},\dots ,\,\xi _{n})}{\partial \theta }}\right)=0\!}$ (У цьому і полягає означення регулярності).

На разі, виписана величина дорівнює її дисперсії, позаяк математичне сподівання функції внеску вибірки рівне нулю,.

Кількістю інформації за Фішером, що міститься в одному спостереженні, називають:

${\displaystyle I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,\xi _{i})}{\partial \theta }}\right)^{2}\!}$.

Для регулярних моделей всі ${\displaystyle I_{i}(\theta )\!}$ рівні між собою.

Якщо вибірка складається з одного елементу, то інформація за Фішером записується так:

${\displaystyle I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,\xi )}{\partial \theta }}\right)^{2}\!}$.

З умови регулярності, а також з того, що у разі незалежності випадкових величин дисперсія суми дорівнює сумі дисперсій, випливає, що для ${\displaystyle n\!}$ незалежних випробувань ${\displaystyle I_{n}(\theta )=nI(\theta )\!}$.

Властивості

• З вказаної вище властивості дисперсій виходить, що у разі незалежності випадкових величин ${\displaystyle \xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)\!}$ (що розглядаються в одній статистичній моделі) інформація за Фішером їхньої суми дорівнює сумі інформацій за Фішером кожної з них.
• Позначимо інформацію за Фішером для випадкової величини ${\displaystyle \xi (\theta ,\,x)\!}$ через ${\displaystyle I^{\xi }(\theta )\!}$. Якщо ${\displaystyle T(\xi )\!}$ — статистика, для якої визначена інформація за Фішером, то ${\displaystyle I^{T(\xi )}\leqslant I^{\xi }\!}$.

Див. також

• Нерівність Крамера — Рао