Нерівність Крамера — Рао

В математичній статистиці нерівністю Крамера—Рао (на честь Гаральда Крамера та К.Р. Рао) називається нерівність, яка при деяких умовах, що накладені на статистичну модель, дає нижню границю для дисперсії оцінки невідомого параметра, виражаючи її через інформацію за Фішером.

Формулювання

Нехай дано статистичну модель ${\displaystyle (X,\,B,\,P_{\theta })}$, ${\displaystyle x=(x_{1},\dots ,\,x_{n})}$ — вибірка розміру ${\displaystyle n}$, визначена функція правдоподібності ${\displaystyle L(\theta ,\,x)=L(\theta ,\;x_{1},\,x_{2},\dots \,x_{n})}$ і виконані такі умови (умови регулярності):

• ${\displaystyle L_{}^{}>0}$ і всюди диференційована по ${\displaystyle \theta _{}^{}}$.
• Функція ${\displaystyle U(\theta ,\,x)={\frac {\partial \ln L(\theta ,\,x)}{\partial \theta }}}$ (функція впливу або внеску вибірки) має скінченну дисперсію (або, що те саме,скінченна інформація за Фішером)
• Для будь-якої статистики ${\displaystyle {\widehat {\theta }}(x)}$ з скінченним другим моментом має місце рівність

${\displaystyle {\frac {\partial }{\partial \theta }}\int \limits _{X}{\widehat {\theta }}(x)\,L(\theta ,\,x)\,dx=\int \limits _{X}{\widehat {\theta }}(x)\,{\frac {\partial }{\partial \theta }}L(\theta ,\,x)\,dx}$.

Нехай при цих умовах дано статистику ${\displaystyle {\widehat {\theta }}(x)}$, яка незміщено оцінює диференційовну функцію ${\displaystyle \tau (\theta )}$. Тоді справедлива наступна нерівність:

• ${\displaystyle \mathrm {D} _{\theta }{\big (}{\widehat {\theta }}(x){\big )}\geqslant {\frac {{\big (}\tau '(\theta ){\big )}^{2}}{I_{n}(\theta )}}}$;
• рівність досягається тоді і тільки тоді, коли ${\displaystyle {\widehat {\theta }}(x)-\tau (\theta )}$ представляється у вигляді ${\displaystyle a(\theta )U(\theta ,\,x)}$.

Тут ${\displaystyle I_{n}^{}(\theta )}$ — інформація за Фішером.

Частковий випадок

Часто використовується наступний частковий випадок нерівності, що наведена вище, що має назву нерівність Крамера-Рао. Нехай виконані умови регулярності, а ${\displaystyle {\widehat {\theta }}(x)}$ — незміщена оцінка параметра ${\displaystyle \theta }$. Тоді

${\displaystyle \mathrm {D} _{\theta }\,{\widehat {\theta }}(x)\geqslant {\frac {1}{I_{n}(\theta )}}}$.

Рівність в цій нерівності досягається тоді і тільки тоді, коли ${\displaystyle {\hat {\theta }}(x)-\theta =a(\theta )U(\theta ,x)}$.

Застосування

Оцінка параметра називається ефективною, якщо для неї нерівність Крамера-Рао перетворюється в рівність. Таким чином, нерівність може бути використана для доведення того, що дисперсія даної оцінки найменша з можливих, тобто що дана оцінка в деякому сенсі краща за інші.

Джерела

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Математическая статистика, под ред. В.С. Зарубина, серия "Математика в техническом университете", вып. XVII, М., МГТУ, 2002
• FandPLimitTool