Перевірка відношенням правдоподібностей

Не слід плутати з використанням відношень правдоподібності в медичних тестах.

У статистиці переві́рка відно́шенням правдоподі́бностей — це статистична перевірка, що застосовується для порівняння допасованості двох моделей, одна з яких (нульова модель) є окремим випадком іншої (^[en] моделі). Ця перевірка ґрунтується на відношенні правдоподібностей, яке виражає, в скільки разів правдоподібніше, що дані відповідають одній моделі, а не іншій. Це відношення правдоподібностей, або, рівнозначно, його логарифм, може потім застосовуватися для обчислення p-значення, або порівнюватися із ^[en] для ухвалення рішення, чи відкинути нульову модель на користь альтернативної моделі. Коли застосовується логарифм відношення правдоподібностей, така статистика відома як статистика відношення логарифмічних правдоподібностей, а розподіл імовірності цієї перевірної статистики, за припущення, що нульова модель є істинною, може бути наближено із застосуванням теореми Уїлкса.

У випадку порівняння двох моделей, кожна з яких не має відомих параметрів, застосування перевірки відношенням правдоподібностей може бути обґрунтовано ^[en], яка показує, що така перевірка має найвищу потужність серед усіх конкурентів.

Застосування

Кожна з двох порівнюваних моделей, нульова модель та альтернативна модель, окремо співставляється з даними, і записується логарифмічна правдоподібність. Пробна статистика (що часто позначують через D) є подвоєною різницею цих логарифмічних правдоподібностей:

${\displaystyle {\begin{aligned}D&=-2\ln \left({\frac {\text{likelihood for null model}}{\text{likelihood for alternative model}}}\right)\\&=-2\ln({\text{likelihood for null model}})+2\ln({\text{likelihood for alternative model}})\\\end{aligned}}}$

Модель із більшою кількістю параметрів завжди допасовуватиметься щонайменше так же добре (матиме рівну або більшу логарифмічну правдоподібність). Чи є вона суттєво кращою, і чи повинна їй тому віддаватися перевага, визначається виведенням імовірності або p-значення різниці D. Там, де нульова гіпотеза являє собою окремий випадок альтернативної гіпотези, розподіл імовірності статистичного критерію є приблизно хі-квадратним розподілом зі ступенями вільності, що дорівнюють df2 − df1. Символи df1 та df2 представляють кількість вільних параметрів моделей 1 та 2, відповідно, нульової та альтернативної.

Ось приклад застосування. Якщо нульова модель має 1 параметр та логарифмічну правдоподібність −8024, а альтернативна модель має 3 параметри та логарифмічну правдоподібність −8012, то ймовірністю цієї різниці є те, що й хі-квадрат значення +2·(8024 − 8012) = 24 з 3 − 1 = 2 ступенями вільності. Щоби статистика слідувала розподілові хі-квадрат, мусять виконуватися деякі припущення, і часто обчислюють емпіричні p-значення.

Перевірка відношенням правдоподібностей вимагає вкладених моделей, тобто таких моделей, що складнішу може бути перетворено на простішу накладенням набору обмежень на її параметри. Якщо моделі не є вкладеними, то натомість зазвичай може бути застосовано узагальнення перевірки відношенням правдоподібності: відносну правдоподібність.

Гіпотези проста-з-простою

Детальніші відомості з цієї теми ви можете знайти в статті ^[en].

Статистична модель часто є ^[en] функцій густини ймовірності або функцій маси ймовірності ${\displaystyle f(x|\theta )}$. Перевірка гіпотез проста-з-простою має повністю визначені моделі як за нульової гіпотези, так і за ^[en], що для спрощення записуються в термінах фіксованих значень уявного параметра ${\displaystyle \theta }$:

${\displaystyle {\begin{aligned}H_{0}&:&\theta =\theta _{0},\\H_{1}&:&\theta =\theta _{1}.\end{aligned}}}$

Зауважте, що за кожної з гіпотез розподіл даних є повністю визначеним; невідомих параметрів для оцінки немає. Перевірка відношенням правдоподібностей ґрунтується на відношенні правдоподібностей, що часто позначають через ${\displaystyle \Lambda }$ (велика грецька літера лямбда). Відношення правдоподібностей визначається таким чином:

${\displaystyle \Lambda (x)={\frac {L(\theta _{0}|x)}{L(\theta _{1}|x)}}={\frac {f(\cup _{i}\,x_{i}|\theta _{0})}{f(\cup _{i}\,x_{i}|\theta _{1})}}}$

або

${\displaystyle \Lambda (x)={\frac {L(\theta _{0}\mid x)}{\sup\{\,L(\theta \mid x):\theta \in \{\theta _{0},\theta _{1}\}\}}},}$

де ${\displaystyle L(\theta |x)}$ є функцією правдоподібності, а ${\displaystyle \sup }$ — функцією супремума. Зауважте, що деякі джерела можуть використовувати як визначення обернене. У встановленому тут вигляді відношення правдоподібностей є малим, якщо альтернативна модель є кращою за нульову, і перевірка відношенням правдоподібностей дає таке правило рішення:

Якщо ${\displaystyle \Lambda >c}$, не відхиляти ${\displaystyle H_{0}}$;

Якщо ${\displaystyle \Lambda <c}$, відхилити ${\displaystyle H_{0}}$;

Відхилити з імовірністю ${\displaystyle q}$, якщо ${\displaystyle \Lambda =c.}$

Значення ${\displaystyle c,\;q}$ зазвичай обираються для отримання вказаного рівня значущості ${\displaystyle \alpha }$ за допомогою відношення ${\displaystyle q\cdot P(\Lambda =c\;|\;H_{0})+P(\Lambda <c\;|\;H_{0})=\alpha }$. ^[en] стверджує, що ця перевірка відношенням правдоподібностей є найпотужнішою серед усіх перевірок рівня ${\displaystyle \alpha }$ для цієї задачі.

Визначення (перевірка відношенням правдоподібностей для складених гіпотез)

Нульову гіпотезу часто задають, кажучи, що параметр ${\displaystyle \theta }$ належить до вказаної підмножини ${\displaystyle \Theta _{0}}$ простору параметрів ${\displaystyle \Theta }$.

${\displaystyle {\begin{aligned}H_{0}&:&\theta \in \Theta _{0}\\H_{1}&:&\theta \in \Theta _{0}^{\complement }\end{aligned}}}$

Функцією правдоподібності є ${\displaystyle L(\theta |x)=f(x|\theta )}$ (де ${\displaystyle f(x|\theta )}$ є ФГІ або ФМІ), що є функцією від параметра ${\displaystyle \theta }$ при ${\displaystyle x}$, фіксованому на значенні, що фактично спостерігалося, тобто на даних. Статистикою перевірки відношенням правдоподібності є

${\displaystyle \Lambda (x)={\frac {\sup\{\,L(\theta \mid x):\theta \in \Theta _{0}\,\}}{\sup\{\,L(\theta \mid x):\theta \in \Theta \,\}}}.}$

Тут запис ${\displaystyle \sup }$ стосується функції супремума.

Перевірка відношенням правдоподібностей — це будь-яка перевірка з критичною областю (або областю відхилення) вигляду ${\displaystyle \{x|\Lambda \leq c\}}$, де ${\displaystyle c}$ є числом, що задовольняє ${\displaystyle 0\leq c\leq 1}$. Багато поширених перевірних статистик, таких як Z-критерій, F-критерій, (перевірка хі-квадрат Пірсона) та ^[en] є перевірками вкладених моделей, і їх може бути сформульовано як відношення логарифмічних правдоподібностей або їхніх наближень.

Інтерпретація

Будучи функцією даних ${\displaystyle x}$, відношення правдоподібностей є відтак статистикою. Перевірка відношенням правдоподібностей відхиляє нульову гіпотезу, якщо значення цієї статистики є замалим. Наскільки мале є замалим, залежить від рівня значущості перевірки, тобто від того, яка ймовірність помилок першого роду вважається терпимою (помилки першого роду складаються з відхилень нульової гіпотези, що насправді є істинними).

Чисельник відповідає максимальній правдоподібності спостережуваного виходу за нульової гіпотези. Знаменник відповідає максимальній правдоподібності спостережуваного виходу при варіюванні параметрів над усім параметричним простором. Чисельник цього відношення є меншим за знаменник. Отже, відношення правдоподібностей лежить між 0 та 1. Низькі значення відношення правдоподібностей означають, що трапляння спостережуваного результату було менш правдоподібним за нульової гіпотези в порівнянні з альтернативною. Високі значення цієї статистики означають, що трапляння спостережуваного виходу було майже настільки ж правдоподібним за нульової гіпотези, як і за альтернативної, й нульову гіпотезу не можна відкидати.

Розподіл: теорема Уїлкса

Якщо розподіл відношення правдоподібностей, що відповідає певним нульовій та альтернативній гіпотезам, може бути визначено явно, то його можливо безпосередньо застосовувати для формування областей рішень (для прийняття/відхилення нульової гіпотези). Проте в більшості випадків точний розподіл відношення правдоподібностей, що відповідає певним гіпотезам, визначити дуже складно. Зручний результат, що приписують ^[en], каже, що з наближенням розміру вибірки ${\displaystyle n}$ до ${\displaystyle \infty }$ перевірна статистика ${\displaystyle -2\log(\Lambda )}$ для вкладених моделей ставатиме асимптотично ${\displaystyle \chi ^{2}}$-розподіленою зі ступенями вільності, що дорівнюють різниці в розмірності ${\displaystyle \Theta }$ та ${\displaystyle \Theta _{0}}$. Це означає, що для великого розмаїття гіпотез виконавець може обчислювати відношення правдоподібностей ${\displaystyle \Lambda }$ для даних, і порівнювати ${\displaystyle -2\log(\Lambda )}$ зі значенням ${\displaystyle \chi ^{2}}$, що відповідає бажаній статистичній значущості, в ролі наближеної статистичної перевірки.

Приклади

Підкидання монети

Як приклад, у випадку перевірки Пірсона ми могли би спробувати порівняти дві монети, щоби визначити, чи вони мають однакову ймовірність випадіння аверсу. Наші спостереження може бути внесено до таблиці спряженості з рядками, що відповідають монетам, та стовпчиками, що відповідають аверсам (англ. heads) та реверсам (англ. tails). Елементами таблиці спряження будуть кількості разів, яку на монеті цього рядка випав аверс та реверс. Вміст цієї таблиці є нашим спостереженням ${\displaystyle X}$.

	Аверси	Реверси
Монета 1	${\displaystyle k_{1H}}$	${\displaystyle k_{1T}}$
Монета 2	${\displaystyle k_{2H}}$	${\displaystyle k_{2T}}$

Тут ${\displaystyle \Theta }$ складається з можливих комбінацій значень параметрів ${\displaystyle p_{1H}}$, ${\displaystyle p_{1T}}$, ${\displaystyle p_{2H}}$ та ${\displaystyle p_{2T}}$, що є ймовірністю того, що монети 1 та 2 впадуть аверсом або реверсом догори. Надалі ${\displaystyle i=1,2}$ та ${\displaystyle j=H,T}$. Простір гіпотез ${\displaystyle H}$ обмежується звичайними обмеженнями на розподіл імовірності, ${\displaystyle 0\leq p_{ij}\leq 1}$ та ${\displaystyle p_{iH}+p_{iT}=1}$. Простір нульової гіпотези ${\displaystyle H_{0}}$ є підпростором, у якому ${\displaystyle p_{1j}=p_{2j}}$. При позначенні через ${\displaystyle n_{ij}}$ найкращих значень ${\displaystyle p_{ij}}$ за гіпотези ${\displaystyle H}$ оцінка максимальної правдоподібності задається як

${\displaystyle n_{ij}={\frac {k_{ij}}{k_{iH}+k_{iT}}}.}$

Аналогічно, оцінки максимальної правдоподібності ${\displaystyle p_{ij}}$ за нульової гіпотези ${\displaystyle H_{0}}$ задаються як

${\displaystyle m_{ij}={\frac {k_{1j}+k_{2j}}{k_{1H}+k_{2H}+k_{1T}+k_{2T}}},}$

що не залежить від монети ${\displaystyle i}$.

Гіпотезу та нульову гіпотезу може бути злегка переписано так, щоби вони задовольняли такі обмеження, щоби логарифм відношення правдоподібностей мав бажаний гарний розподіл. Оскільки це обмеження спричиняє зведення двовимірної ${\displaystyle H}$ до одновимірної ${\displaystyle H_{0}}$, то асимптотичним розподілом цієї перевірки буде ${\displaystyle \chi ^{2}(1)}$, розподіл ${\displaystyle \chi ^{2}}$ з одним ступенем вільності.

Для загального випадку таблиці спряженості статистику відношення логарифмічних правдоподібностей може бути переписано як

${\displaystyle -2\log \Lambda =2\sum _{i,j}k_{ij}\log {\frac {n_{ij}}{m_{ij}}}.}$

Примітки

1. Neyman та Pearson, 1933.
2. Huelsenbeck та Crandall, 1997.
3. Wilks, 1938.
4. Mood та Graybill, 1963, с. 286.
5. Stuart, Ord та Arnold, 1999, Chapter 22.
6. Cox та Hinkley, 1974, с. 92.
7. Casella та Berger, 2001, с. 375.

Джерела

• Neyman, Jerzy; (Pearson, Egon S.) (1933). On the Problem of the Most Efficient Tests of Statistical Hypotheses (PDF). (Philosophical Transactions of the Royal Society) A: Mathematical, Physical and Engineering Sciences. 231 (694–706): 289—337. Bibcode:1933RSPTA.231..289N. doi:10.1098/rsta.1933.0009. JSTOR 91247. (англ.)
• Huelsenbeck, J. P.; Crandall, K. A. (1997). Phylogeny Estimation and Hypothesis Testing Using Maximum Likelihood (PDF). Annual Review of Ecology and Systematics. 28: 437—466. doi:10.1146/annurev.ecolsys.28.1.437. (англ.)
• (1938). The Large-Sample Distribution of the Likelihood Ratio for Testing Composite Hypotheses. The Annals of Mathematical Statistics. 9: 60—62. doi:10.1214/aoms/1177732360. (англ.)
• Mood, A.M.; Graybill, F.A. (1963). Introduction to the Theory of Statistics (вид. 2nd). McGraw-Hill. ISBN . (англ.)
• Stuart, A.; Ord, K.; Arnold, S (1999). Kendall's Advanced Theory of Statistics. Т. 2A. ^[en]. (англ.)
• Cox, D. R.; Hinkley, D. V. (1974). Theoretical Statistics. Chapman and Hall. ISBN . (англ.)
• Casella, George; Berger, Roger L. (2001). Statistical Inference (вид. Second). ISBN . (англ.)

Посилання

• Практичне застосування описаної перевірки відношенням правдоподібностей (англ.)
• Пакет R: Послідовна перевірка відношення ймовірностей Вальда (англ.)
• інтерактивний клінічний калькулятор (англ.)