Парадокс Ліндлі

Парадокс Ліндлі — це парадоксальна ситуація в статистиці, в якій Баєсові та частотні підходи до перевірки статистичних гіпотез дають різні результати для певного вибору апріорної ймовірності. Проблема розбіжностей між двома підходами була обговорена в підручнику Гарольда Джеффріса 1939 року; він став відомий як парадокс Ліндлі після того, як назвав це неузгодження парадоксом у роботі 1957 року.

Хоч це й іменується парадоксом, різні результати від Баєсових та частотних підходів пояснюються як використання їх для відповіді на принципово різні питання, а не фактичні розбіжності між двома методами.

Тим не менше, для великого класу приорітетів відмінності між частотним і Баєсовсим підходом обумовлені підтриманням рівня значущості: як навіть Ліндлі визнав, «теорія не виправдовує практику збереження фіксованого рівня значущості», і навіть «деякі Розрахунки професора Пірсона в обговоренні цього документа підкреслювали, яким чином рівень значущості повинен змінюватися з розміром вибірки, якщо б втрати та попередні імовірності були фіксовані.» Фактично, якщо критичне значення разом з розміром вибірки зростає досить швидко, то розбіжність між частотним і Байєсовим підходами стає незначною, оскільки розмір вибірки збільшується.

Опис парадоксу

Розглянемо результат ${\displaystyle \textstyle x}$ деякого експерименту, з двома можливими поясненнями, гіпотез ${\displaystyle \textstyle H_{0}}$ і ${\displaystyle \textstyle H_{1}}$, і деякий попередній розподіл ${\displaystyle \textstyle \pi }$, що вказує на невизначеність щодо того, яка гіпотеза є більш точною до врахування ${\displaystyle \textstyle x}$. Парадокс Ліндлі відбувається тоді, коли

1. Результат ${\displaystyle \textstyle x}$ є «значним» шляхом частого тесту ${\displaystyle \textstyle H_{0}}$, що надає достатньо доказів для відхилення ${\displaystyle \textstyle H_{0}}$, скажімо, на рівні 5 %, і
2. Апостеріорна ймовірність ${\displaystyle \textstyle H_{0}}$ даного ${\displaystyle \textstyle x}$ є високою, що надає суттєві докази того, що ${\displaystyle \textstyle H_{0}}$ в краще узгоджується з ${\displaystyle \textstyle x}$ ніж ${\displaystyle \textstyle H_{1}}$.

Ці результати можуть виникати одночасно, коли ${\displaystyle \textstyle H_{0}}$ дуже специфічний, а ${\displaystyle \textstyle H_{1}}$ більш дифузний, і попередній розподіл не сильно сприяє тому чи іншому, як показано нижче.

Числовий приклад

Ми можемо проілюструвати парадокс Ліндлі з числовим прикладом. Уявіть собі певне місто, де за певний період народилося 49 581 хлопчик та 48 870 дівчат. Спостережувана пропорція ${\displaystyle \textstyle x}$ від народження хлопчиків: 49,581 / 98,451 ≈ 0,5036. Ми припускаємо, що кількість чоловічих народжень є біноміальною змінною з параметром ${\displaystyle \textstyle \theta }$. Ми зацікавлені в тестуванні чи ${\displaystyle \textstyle \theta }$ це 0,5 або якесь інше значення. Тобто наша нульова гіпотеза цє ${\displaystyle \textstyle H_{0}:\theta =0.5}$, а альтернативна цє ${\displaystyle \textstyle H_{1}:\theta \neq 0.5}$.

Частотний підхід

Частотний підхід до тестування ${\displaystyle \textstyle H_{0}}$ — це обчислити p-значення, ймовірність спостереження за часткою хлопчиків принаймні такою ж великою як ${\displaystyle \textstyle x}$ припускаючи, що ${\displaystyle \textstyle H_{0}}$ є істинним. Оскільки кількість народжених дуже велика, ми можемо використовувати (нормальне наближення) для частки чоловічих народжень ${\displaystyle \textstyle X\sim N(\ mu,\sigma ^{2})}$, з ${\displaystyle \textstyle \mu =np=n\theta =98,451\times 0.5=49,225.5}$ і ${\displaystyle \textstyle \sigma ^{2}=n\theta (1-\theta )=98,451\times 0.5\times 0.5=24,612.75}$, щоб обчислити

${\displaystyle {\begin{aligned}P(X\geq x\mid \mu =49225.5)=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-({\frac {u-\mu }{\sigma }})^{2}/2}du\\=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi (24,612.75)}}}e^{-{\frac {(u-49225.5)^{2}}{24612.75}}/2}du\approx 0.0117.\end{aligned}}}$

Ми б однаково здивувались б, якщо б ми бачили 49 581 жіночий пологів, тобто ${\displaystyle \textstyle x\approx 0.4964}$, тому частотна, як правило, виконує (двосторонній тест), для якого буде р-значення ${\displaystyle \textstyle p\approx 2\times 0.0117=0.0235}$. В обох випадках значення p нижче, ніж рівень значущості α, 5 %, тому частотний підхід відхиляє ${\displaystyle \textstyle H_{0}}$ оскільки воно не погоджується зі спостереженими даними.

Баєсовий підхід

Припускаючи, що немає підстав висловлювати одну гіпотезу на користь іншої, байєсівський підхід буде встановлювати зв'язок між ймовірностями ${\displaystyle \textstyle \pi (H_{0})=\pi (H_{1})=0.5}$ і рівномірний розподіл до ${\displaystyle \textstyle \theta }$ під ${\displaystyle H_{1}}$, а потім для обчислення Апостеріорної ймовірності ${\displaystyle \textstyle H_{0}}$ використовуючи теорему Байєса,

${\displaystyle P(H_{0}\mid k)={\frac {P(k\mid H_{0})\pi (H_{0})}{P(k\mid H_{0})\pi (H_{0})+P(k\mid H_{1})\pi (H_{1})}}.}$

Після спостереження ${\displaystyle \textstyle k=49,581}$ хлопчиків з ${\displaystyle \textstyle n=98,451}$ народжених, ми можемо обчислити апостеріорну ймовірність кожної гіпотези, використовуючи функцію ймовірностей для біноміальної змінної,

${\displaystyle {\begin{aligned}P(k\mid H_{0})&={n \choose k}(0.5)^{k}(1-0.5)^{n-k}\approx 1.95\times 10^{-4}\\P(k\mid H_{1})&=\int _{0}^{1}{n \choose k}\theta ^{k}(1-\theta )^{n-k}d\theta ={n \choose k}\mathrm {\mathrm {B} } (k+1,n-k+1)=1/(n+1)\approx 1.02\times 10^{-5}\end{aligned}}}$

де ${\displaystyle \textstyle \mathrm {\mathrm {B} } (a,b)}$, це бета-функція.

З цих значень ми знаходимо апостеріорну ймовірність ${\displaystyle P(\textstyle H_{0}\mid k)\approx 0.95}$, що сильно сприяє ${\displaystyle \textstyle H_{0}}$ над ${\displaystyle \textstyle H_{1}}$. Обидва підходи — баєсові та частотні — виявляються конфліктними, і це є «парадокс».

Узгодження Баєсового і частотного підходів

Однак принаймні в прикладі Ліндлі, якщо взяти послідовність рівнів значимості αn, такими, що αn = n-k з k> ½, то задня ймовірність нуля збігається до 0, що відповідає відмові від null. У цьому числовому прикладі, беручи k = ½, призводить до рівня значущості 0,00318, отже, частотна не відкидає нульову гіпотезу, яка приблизно узгоджується з байєсовим підходом.

Distribution of p under the null hypothesis, and the posterior distribution of p.

Якщо хтось використовує (неінформативну апріорну) і тестує гіпотезу, більш схожу з тим, що в частотному підході, парадокс зникає.

Наприклад, якщо ми обчислимо апостеріорний розподіл ${\displaystyle \textstyle P(\theta \mid x,n)}$, використовуючи рівномірний попередній розподіл на ${\displaystyle \textstyle \theta }$ (тобто ${\displaystyle \textstyle \pi (\theta \in [0,1])=1}$), ми знайшли

${\displaystyle P(\theta \mid k,n)=\mathrm {\mathrm {B} } (k+1,n-k+1).}$

Якщо ми використовуємо це, щоб перевірити імовірність того, що новонароджений, швидше буде хлопчиком ніж дівчинкою, тобто ${\displaystyle P(\theta >0.5\mid k,n)}$, ми знайшли

${\displaystyle \int _{0.5}^{1}\mathrm {\mathrm {B} } (49582,48871)\approx 0.983.}$ 

Іншими словами, це дуже ймовірно, що частка новонароджених хлопчиків вище 0,5. Жоден аналіз не дає оцінку розміру ефекту безпосередньо, але обидва можуть використовуватися для визначення, наприклад, якщо частка народжених хлопчиків, імовірно, перевищує певний поріг.

Відсутність фактичного парадоксу

Очевидна розбіжність між двома підходами обумовлена комбінацією факторів. По-перше, часто застосовується підхід над тестами ${\displaystyle \textstyle H_{0}}$ без посилання на ${\displaystyle \textstyle H_{1}}$. Байєсівський підхід оцінюється ${\displaystyle \textstyle H_{0}}$ як альтернатива ${\displaystyle \textstyle H_{1}}$, і вважає що спочатку він краще погоджується з спостереженнями. Це тому, що остання гіпотеза набагато більш дифузна, ніж ${\displaystyle \textstyle \theta }$ може бути в будь-якому місці ${\displaystyle \textstyle [0,1]}$, що призводить до дуже низької апостеріорної імовірності. Щоб зрозуміти, чому корисно розглянути дві гіпотези як генератори спостережень:

• Під ${\displaystyle \textstyle H_{0}}$, ми обираємо ${\displaystyle \textstyle \theta \approx 0.500}$, і запитайте, наскільки імовірно, щоб побачити 49 581 хлопчик у 98 451 народженні.
• Під ${\displaystyle \textstyle H_{1}}$, ми обираємо ${\displaystyle \textstyle \theta }$ випадково з будь-якого місця в межах від 0 до 1, і поставити те саме питання.

Більшість можливих значень для ${\displaystyle \textstyle \theta }$ під ${\displaystyle \textstyle H_{1}}$ дуже погано підтримуються спостереженнями. По суті, очевидна розбіжність між методами не є розбіжністю зовсім, а лише двома різними твердженнями про те, як гіпотези відносяться до даних: Частотна знаходить що ${\displaystyle \textstyle H_{0}}$ це погане пояснення спостереження. Баєсіан знаходить що ${\displaystyle \textstyle H_{0}}$ це набагато краще пояснення спостереження, ніж ${\displaystyle \textstyle H_{1}}$. Співвідношення статі новонароджених становить неможливі 50/50 чоловіки/жінки, відповідно до частого тесту. Проте 50/50 краща апроксимація за більшість, але не за всі інші співвідношення. Гіпотеза ${\displaystyle \textstyle \theta \approx 0.504}$ буде набагато краще, ніж майже всі інші співвідношення, в тому числі ${\displaystyle \textstyle \theta \approx 0.500}$

Наприклад, цей вибір гіпотез та попередніх імовірностей передбачає вислів: "якщо ${\displaystyle \textstyle \theta }$ > 0.49 і ${\displaystyle \textstyle \theta }$ < 0.51, то попередня ймовірність ${\displaystyle \theta }$ рівно 0,5 є 0,50 / 0,51 ${\displaystyle \approx }$ 98 % ". Враховуючи таку сильну перевагу ${\displaystyle \theta =0.5}$, легко зрозуміти, чому Баєсовий підхід сприяє ${\displaystyle \textstyle H_{0}}$ перед лицем ${\displaystyle x\approx 0.5036}$, навіть якщо спостерігається значення ${\displaystyle x}$ брехня ${\displaystyle 2.28\sigma }$ далеко від 0,5. Відхилення понад 2 сигми від ${\displaystyle \textstyle H_{0}}$ вважається значним у частому підході, але його значення виключається попереднім в Баєсовому підході.

Дивлячись на це іншим способом, ми можемо бачити, що попередній розподіл є по суті плоским з дельта-функцією в ${\displaystyle \textstyle \theta =0.5}$. Очевидно, це сумнівно. Фактично, якщо ви мали б малювати дійсні числа як безперервні, то було б більш логічним припустити, що було б неможливим, щоб будь-яке задане число було точно значення параметра, тобто ми повинні вважати P (theta = 0.5) = 0.

Більш реалістичний розподіл для ${\displaystyle \textstyle \theta }$ в альтернативній гіпотезі виробляється менш несподіваний результат для позаду ${\displaystyle \textstyle H_{0}}$. Наприклад, якщо ми замінимо ${\displaystyle \textstyle H_{1}}$ з ${\displaystyle \textstyle H_{2}:\theta =x}$, тобто максимальна оцінка правдоподібності для ${\displaystyle \textstyle \theta }$, апостеріорна імовірність ${\displaystyle \textstyle H_{0}}$ буде всього 0,07 в порівнянні з 0,93 за ${\displaystyle \textstyle H_{2}}$ (Звичайно, реально не можна використовувати MLE як частину попереднього розповсюдження).

Недавні обговорення

Парадокс і досі є джерелом активних обговорень.

Дивитися також

• Коефіцієнт Баєса

Примітки

1. Джеффріс, Гарольд (1939). Теорія ймовірностей. Oxford University Press. MR 0000924.
2. (1957). Статистичний парадокс. . 44 (1–2): 187—192. doi:10.1093/biomet/44.1-2.187. JSTOR 2333251.
3. Нааман, Майкл (1 січня 2016). Майже певна перевірка гіпотез та вирішення парадоксу Джефріса-Ліндлі. Electronic Journal of Statistics (EN) . 10 (1): 1526—1550. doi:10.1214/16-EJS1146. ISSN 1935-7524.
4. Spanos, Aris (2013). Who should be afraid of the Jeffreys-Lindley paradox?. Philosophy of Science. 80.1: 73—93. doi:10.1086/668875.
5. Sprenger, Jan (2013). Testing a Precise Null Hypothesis: The Case of Lindley's Paradox. Philosophy of Science. 80: 733—744. doi:10.1086/673730.
6. Robert, Christian P (2014). On the Jeffreys-Lindley Paradox. Philosophy of Science. 81.2: 216—232. doi:10.1086/675729.

Посилання

• Shafer, Glenn (1982). Lindley's paradox. . 77 (378): 325—334. doi:10.2307/2287244. JSTOR 2287244. MR 0664677.