Функція внеску

У статистиці вне́сок, фу́нкція вне́ску, або ефекти́вний вне́сок (англ. score, score function, efficient score, informant) показує, наскільки чутливо функція правдоподібності ${\displaystyle L(\theta ;X)}$ залежить від свого ^[en] ${\displaystyle \theta }$. В явному вигляді внесок ${\displaystyle \theta }$ є градієнтом логарифмічної правдоподібності по відношенню до ${\displaystyle \theta }$.

Внесок відіграє важливу роль у деяких аспектах висновування. Наприклад:

• у формулюванні локально найпотужнішого статистичного критерію;
• у наближенні похибки в оцінці максимальної правдоподібності;
• у показуванні асимптотичної достатності оцінки максимальної правдоподібності;
• у формулюванні довірчих інтервалів;
• у показуваннях нерівності Крамера — Рао.

Функція внеску також відіграє важливу роль в ^[en], оскільки вона може грати певну роль в обчисленні оцінок максимальної правдоподібності.

Визначення

Функція внеску, або ефективний внесок, — це градієнт (вектор часткових похідних) по відношенню до деякого параметру ${\displaystyle \theta }$ логарифму (зазвичай, натурального логарифму) функції правдоподібності (логарифмічної правдоподібності). Якщо спостереженням є ${\displaystyle X}$, а його правдоподібністю є ${\displaystyle L(\theta ;X)}$, то внесок ${\displaystyle V}$ може бути знайдено за допомогою ланцюгового правила:

${\displaystyle V\equiv V(\theta ,X)={\frac {\partial }{\partial \theta }}\log L(\theta ;X)={\frac {1}{L(\theta ;X)}}{\frac {\partial L(\theta ;X)}{\partial \theta }}.}$

Таким чином, внесок ${\displaystyle V}$ показує чутливість ${\displaystyle L(\theta ;X)}$ (її похідну, нормалізовану за її значенням). Зауважте, що ${\displaystyle V}$ є функцією від ${\displaystyle \theta }$ та спостереження ${\displaystyle X}$, отже, взагалі кажучи, він не є статистикою. Проте в деяких застосуваннях, таких як ^[en], внесок оцінюється на певному значення ${\displaystyle \theta }$ (такому як значення нульової гіпотези, або оцінка максимальної правдоподібності ${\displaystyle \theta }$), і в такому випадку результатом є статистика.

У старій літературі для позначення внеску по відношенню до нескінченно малого перенесення заданої густини може застосовуватися термін «лінійний внесок» (англ. linear score). Цей звичай походить з того часу, коли основним параметром, що становив інтерес, було середнє значення або медіана розподілу. В цьому випадку правдоподібність спостереження задається густиною вигляду ${\displaystyle L(\theta ;X)=f(X+\theta )}$. Тоді «лінійний внесок» визначається як

${\displaystyle V_{\rm {linear}}={\frac {\partial }{\partial X}}\log f(X)}$

Властивості

Середнє значення

За деяких умов ^[en], математичне сподівання ${\displaystyle V}$ по відношенню до спостереження ${\displaystyle x}$ за умови істинності параметру ${\displaystyle \theta }$, що записується як ${\displaystyle \mathbb {E} (V\mid \theta )}$, є нульовим. Щоби побачити це, перепишімо функцію правдоподібності L як функцію густини ймовірності ${\displaystyle L(\theta ;x)=f(x;\theta )}$. Тоді

${\displaystyle {\begin{aligned}\mathbb {E} (V\mid \theta )&=\int _{-\infty }^{+\infty }f(x;\theta ){\frac {\partial }{\partial \theta }}\log L(\theta ;X)\,dx=\int _{-\infty }^{+\infty }{\frac {\partial }{\partial \theta }}\log L(\theta ;X)f(x;\theta )\,dx\\[6pt]&=\int _{-\infty }^{+\infty }{\frac {1}{f(x;\theta )}}{\frac {\partial f(x;\theta )}{\partial \theta }}f(x;\theta )\,dx=\int _{-\infty }^{+\infty }{\frac {\partial f(x;\theta )}{\partial \theta }}\,dx\end{aligned}}}$

Якщо дотримуються певні умови диференційовності (див. Формула Лейбніца), то цей інтеграл може бути переписано як

${\displaystyle {\frac {\partial }{\partial \theta }}\int _{-\infty }^{+\infty }f(x;\theta )\,dx={\frac {\partial }{\partial \theta }}1=0.}$

Варто перевикласти отриманий вище результат словами: математичне сподівання внеску є нульовим. Таким чином, якщо потрібно було повторювано брати проби з деякого розподілу, і повторювано обчислювати внесок, то при наближенні числа повторюваних проб до нескінченності середнє значення цих внесків прямуватиме до нуля.

Дисперсія

Докладніше: Інформація за Фішером

Дисперсія внеску відома як інформація за Фішером, і записується як ${\displaystyle {\mathcal {I}}(\theta )}$. Оскільки математичне сподівання внеску є нульовим, її може бути записано як

${\displaystyle {\mathcal {I}}(\theta )=\mathbb {E} \left\{\left.\left[{\frac {\partial }{\partial \theta }}\log L(\theta ;X)\right]^{2}\right|\theta \right\}.}$

Зауважте, що визначена таким чином інформація за Фішером не є функцією будь-якого конкретного спостереження, оскільки випадкову змінну ${\displaystyle X}$ було усереднено. Це поняття інформації є корисним при порівнянні двох методів спостереження деякого випадкового процесу.

Приклади

Процес Бернуллі

Розгляньмо ^[en] з A успіхами та B невдачами; ймовірністю успіху є θ.

Тоді правдоподібністю L є

${\displaystyle L(\theta ;A,B)={\frac {(A+B)!}{A!B!}}\theta ^{A}(1-\theta )^{B},}$

таким чином, внеском V є

${\displaystyle V={\frac {1}{L}}{\frac {\partial L}{\partial \theta }}={\frac {A}{\theta }}-{\frac {B}{1-\theta }}.}$

Тепер ми можемо перевірити, що математичне сподівання внеску є нульовим. Зауважуючи, що математичним сподіванням A є nθ, а математичним сподіванням B є n(1 − θ) [пригадаймо, що A та B є випадковими змінними], ми можемо побачити, що математичним сподіванням V є

${\displaystyle E(V)={\frac {n\theta }{\theta }}-{\frac {n(1-\theta )}{1-\theta }}=n-n=0.}$

Ми можемо також перевірити й дисперсію ${\displaystyle V}$. Нам відомо, що A + B = n (таким чином, B = n − A), і що дисперсією A є nθ(1 − θ), таким чином, дисперсією V є

${\displaystyle {\begin{aligned}\operatorname {var} (V)&=\operatorname {var} \left({\frac {A}{\theta }}-{\frac {n-A}{1-\theta }}\right)=\operatorname {var} \left(A\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)\right)\\&=\left({\frac {1}{\theta }}+{\frac {1}{1-\theta }}\right)^{2}\operatorname {var} (A)={\frac {n}{\theta (1-\theta )}}.\end{aligned}}}$

Модель із двійковим виходом

Для моделей з двійковими виходами (Y = 1 або 0) внесок моделі може оцінюватися за допомогою логарифму передбачень

${\displaystyle S=Y\log(p)+(1-Y)(\log(1-p))}$

де p є ймовірністю в оцінюваній моделі, а S є внеском.

Застосування

Внесковий алгоритм

Детальніші відомості з цієї теми ви можете знайти в статті ^[en].

Внесковий алгоритм (англ. scoring algorithm) — це ітеративний метод чисельного визначення статистичної оцінки максимальної правдоподібності.

Перевірка внеску

Детальніші відомості з цієї теми ви можете знайти в статті ^[en].

Див. також

• Інформація за Фішером
• Теорія інформації
• ^[en]
• ^[en]
• ^[en]

Примітки

1. Cox та Hinkley, 1974, с. 107.
2. Chentsov, 2001.
3. Cox та Hinkley, 1974, с. 113.
4. Cox та Hinkley, 1974, с. 295.
5. Cox та Hinkley, 1974, с. 222–3.
6. Cox та Hinkley, 1974, с. 254.
7. Steyerberg та ін., 2010.

Література

• Cox, D. R.; Hinkley, D. V. (1974). Theoretical Statistics. Chapman & Hall. ISBN . (англ.)
• Schervish, Mark J. (1995). Theory of Statistics. New York: Springer. Section 2.3.1. ISBN . (англ.)
• Chentsov, N.N. (2001), Informant, у Hazewinkel, Michiel (ред.), Математична енциклопедія, , ISBN  (англ.)
• Steyerberg, E. W.; Vickers, A. J.; Cook, N. R.; Gerds, T.; Gonen, M.; Obuchowski, N.; Pencina, M. J.; Kattan, M. W. (2010). Assessing the performance of prediction models. A framework for traditional and novel measures. . 21 (1): 128—138. doi:10.1097/EDE.0b013e3181c30fb2. (англ.)