Закон правдоподібності

У статистиці при́нцип правдоподі́бності (англ. likelihood principle) полягає в тім, що для заданої статистичної моделі все свідчення у вибірці, що має відношення до параметрів моделі, міститься у функції правдоподібності.

Функція правдоподібності виникає з функції густини ймовірності, яку розглядають як функцію від її аргументу розподілового параметризування. Наприклад, розгляньмо модель, яка дає функцію густини ймовірності ƒ_X(x | θ) спостережуваної випадкової змінної X як функцію від параметра θ. Тоді для конкретного значення x змінної X функція ${\displaystyle {\mathcal {L}}}$(θ | x) = ƒ_X(x | θ) є функцією правдоподібності θ: вона дає міру того, наскільки «правдоподібним» є певне значення θ, якщо ми знаємо, що X має значення x. Функція густини може бути густиною по відношенню до зліченної міри, тобто, функцією маси ймовірності.

Дві функції правдоподібності є еквівале́нтними (англ. equivalent), якщо одна з них є добутком іншої на скаляр. При́нцип правдоподі́бності (англ. likelihood principle) полягає в наступному: вся інформація з даних, доречна для висновувань про значення параметрів моделі, міститься в класі еквівалентності, до якого належить функція правдоподібності. Си́льний при́нцип правдоподі́бності (англ. strong likelihood principle) застосовує той самий критерій до таких випадків, як послідовні експерименти, де вибірка даних є результатами, доступними від ранішого застосування до спостережень в експерименті правила зупину.

Приклад

Припустімо, що

• X є числом успіхів у дванадцяти незалежних пробах Бернуллі з імовірністю успішності кожної проби θ, а
• Y є числом незалежних проб Бернуллі, потрібних, щоби отримати три успіхи, знов-таки, з імовірністю θ (= 1/2 для підкидання монети) успіху кожної з проб.

Тоді спостереження X = 3 зумовлює функцію правдоподібності

${\displaystyle {\mathcal {L}}(\theta \mid X=3)={\binom {12}{3}}\theta ^{3}(1-\theta )^{9}=220\theta ^{3}(1-\theta )^{9},}$

тоді як спостереження Y = 12 зумовлює функцію правдоподібності

${\displaystyle {\mathcal {L}}(\theta \mid Y=12)={\binom {11}{2}}\theta ^{3}(1-\theta )^{9}=55\theta ^{3}(1-\theta )^{9}.}$

Принцип правдоподібності каже, що оскільки дані в обох випадках є однаковими, зроблені висновки про значення θ повинні також бути однаковими. Крім того, весь вміст для висновків з даних про значення θ міститься в цих двох правдоподібностях, і є однаковим, якщо вони є пропорційними одна одній. У наведеному вище прикладі саме так воно і є, відображуючи той факт, що різниця між спостеріганням X = 3 та Y = 12 полягає не в фактичних даних, а лише в плануванні експерименту. Детальніше, в одному випадку хтось вирішив наперед спробувати 12 разів, а в іншому — продовжувати пробувати, поки не проспостерігає три успіхи. Висновок про θ повинен бути однаковим, і це відображено в тому факті, що ці дві правдоподібності є пропорційними одна одній.

Проте так буває не завжди. Використання частотницьких методів із застосуванням p-значень веде до різних висновків для цих двох випадків, показуючи, що результат частотницьких методів залежить від процедури експериментування, і відтак порушує принцип правдоподібності.

Закон правдоподібності

Пов'язаним поняттям є зако́н правдоподі́бності (англ. law of likelihood) — уявлення про те, що міра, до якої свідчення підтримує одне значення параметру або гіпотези проти іншого, дорівнює відношенню їхніх правдоподібностей, їхньому відношенню правдоподібностей. Тобто,

${\displaystyle \Lambda ={{\mathcal {L}}(a\mid X=x) \over {\mathcal {L}}(b\mid X=x)}={P(X=x\mid a) \over P(X=x\mid b)}}$

є мірою, до якої спостереження x підтримує значення параметру або гіпотези a проти b. Якщо цим відношенням є 1, то свідчення є нейтральним; якщо більше за 1, то свідчення підтримує a проти b; якщо менше, то навпаки.

У баєсовій статистиці це відношення є відомим як коефіцієнт Баєса, а правило Баєса можливо розглядати як застосування закону правдоподібності до висновування.

У частотницькому висновуванні відношення правдоподібностей використовують у перевірці відношенням правдоподібностей, але інші не правдоподібницькі перевірки використовують також. ^[en] стверджує, що перевірка відношенням правдоподібностей є найпотужнішою перевіркою для порівнювання двох простих гіпотез на заданому рівні значущості, що дає законові правдоподібності частотницьке обґрунтування.

З поєднання принципу правдоподібності з законом правдоподібності випливає, що значення параметру, яке максимізує функцію правдоподібності, є тим значенням, що найсильніше підтримується свідченням. Це є основою для широко вживаного методу максимальної правдоподібності.

Історія

Принцип правдоподібності було вперше означено цією назвою в друці 1962 року (Барнард та ін., Бірнбаум, та Севідж та ін.), але аргументування такого ж принципу, безіменного, та використання цього принципу в застосуваннях сходять до праць Р. Е. Фішера 1920-х років. Закон правдоподібності було означено цією назвою ^[en] (1965 рік). Останнім часом принцип правдоподібності як загальний принцип висновування відстоював ^[en]. Р. Роялл застосував принцип правдоподібності до філософії науки.

^[en] довів, що принцип правдоподібності випливає з двох простіших та позірно розумних принципів, принципу обумовленості та принципу достатності. Принцип обумовленості каже, що якщо експеримент обирають випадковим процесом, не залежним від станів природи ${\displaystyle \theta }$, то лише цей фактично виконуваний експеримент має відношення до висновків про ${\displaystyle \theta }$. Принцип достатності каже, що якщо ${\displaystyle T(X)}$ є достатньою статистикою для ${\displaystyle \theta }$, і якщо в двох експериментах з даними ${\displaystyle x_{1}}$ та ${\displaystyle x_{2}}$ ми маємо ${\displaystyle T(x_{1})=T(x_{2})}$, то свідчення про ${\displaystyle \theta }$, яке несуть ці два експерименти, є одним і тим же.

Аргументи за та проти

Деякі широко вживані методи звичайної статистики, наприклад, багато перевірок значущості, не відповідають принципові правдоподібності.

Розгляньмо коротко деякі аргументи за та проти принципу правдоподібності.

Первісний аргумент Бірнбаума

Проти доведення Бірнбаума принципу правдоподібності виступали філософи науки, включно з ^[en], та статистики, включно з Майклом Евансом. З іншого боку, Грегом Ганденбергером було запропоновано нове доведення принципу правдоподібності.

Аргументи планування експерименту стосовно принципу правдоподібності

В деяких поширених статистичних методах мають значення нереалізовані події. Наприклад, результат перевірки значущості залежить від p-значення, ймовірності результату як екстремального або екстремальнішого за спостереження, а ця ймовірність може залежати від планування експерименту. В тій мірі, в якій приймають принцип правдоподібності, такі методи, відповідно, відхиляють.

Деякі класичні перевірки значущості не ґрунтуються на правдоподібності. Широко цитованим прикладом є задача ^[en]. Припустімо, я сказав вам, що підкинув монету 12 разів, і в процесі проспостерігав 3 аверси. Ви могли би зробити якийсь висновок щодо ймовірності аверсів та щодо того, чи є ця монета справедливою. Припустімо тепер, що я кажу, що підкидав монету допоки не побачив 3 аверси, і підкинув її 12 разів. Чи зробите ви тепер інший висновок?

Функція правдоподібності в обох випадках є однаковою: вона є пропорційною до

${\displaystyle p^{3}(1-p)^{9}.}$

Згідно принципу правдоподібності, висновки в обох випадках повинні бути однаковими.

Припустімо, що ряд науковців оцінює в експериментальних пробах ймовірність певного результату (який ми повинні називати «успіхом»). Загальне уявлення підказує, що якщо зсуву в бік успіху або невдачі немає, то ймовірністю успіху буде половина. Андрій, науковець, здійснив 12 проб, й отримав 3 успіхи та 9 невдач. Потім він пішов з лабораторії.

Богдан, колега з тієї ж лабораторії, продовжив Андрієву працю, й опублікував Андрієві результати, разом з перевіркою значущості. Він перевірив нульову гіпотезу, що p, ймовірність успіху, дорівнює половині, проти p < 0.5. Ймовірністю спостережуваного результату, що з 12 проб 3 або дещо менше (тобто, екстремальніше) були успішними, якщо H₀ є істинною, є

${\displaystyle \left({12 \choose 9}+{12 \choose 10}+{12 \choose 11}+{12 \choose 12}\right)\left({1 \over 2}\right)^{12}}$

що становить 299/4096 = 7.3%. Відтак, нульову гіпотезу на рівні значущості 5% не відкидають.

Вікторія, інша науковиця, читає працю Богдана, й пише листа, кажучи, що існує можливість, що Андрій продовжував спроби, поки не отримав 3 успіхи, в разі чого ймовірність потреби здійснити 12 або більше експериментів задається виразом

${\displaystyle 1-\left({10 \choose 2}\left({1 \over 2}\right)^{11}+{9 \choose 2}\left({1 \over 2}\right)^{10}+\cdots +{2 \choose 2}\left({1 \over 2}\right)^{3}\right)}$

що становить 134/4096 = 3.27%. Тепер цей результат є статистично значущим на рівні 5%. Зауважте, що між цими двома результатами немає суперечності, обидва обчислення є правильними.

Для цих науковців, чи є результат значущим, чи ні, залежить від планування експерименту, а не від правдоподібності (в сенсі функції правдоподібності) того, що значенням параметру є 1/2.

Дехто розглядає результати такого плану як аргументи проти принципу правдоподібності. Іншим вони ілюструють значення принципу правдоподібності, й є аргументом проти перевірок значущості.

Подібні теми виникають при порівнюванні ^[en] з критерієм хі-квадрат Пірсона.

Історія з вольтметром

У своїй книзі «Правдоподібність» (англ. «Likelihood») Едвардс навів на користь принципу правдоподібності такий аргумент. Він цитує наступну історію від Дж. В. Пратта, подану тут у дещо стислому вигляді. Зауважте, що функція правдоподібності залежить лише від того, що сталося фактично, але не від того, що могло статися.

Інженер вибирає випадкову вибірку електровакуумних ламп, і вимірює їхню напругу. Вимірювання коливаються від 75 до 99 В. Статистик обчислює середнє значення цієї вибірки, та довірчий проміжок для істинного середнього. Пізніше статистик з'ясовує, що цей вольтметр не показує більше 100 В, тому, технічно, сукупність виявляється ^[en]. Якщо статистик є ортодоксальним, це вимагає нового аналізу. Проте інженер каже, що він має інший вольтметр, який вимірює до 1000 В, і яким би він скористався, якби якась напруга була більшою за 100. Для статистика це є полегшенням, оскільки це означає, що сукупність фактично взагалі не було цензуровано. Але пізніше статистик з'ясовує, що під час вимірювань другий вольтметр не працював. Інженер повідомляє статистику, що він не став би затримувати первинні вимірювання, поки не буде полагоджено другий вольтметр, а статистик повідомляє інженерові, що потрібні нові вимірювання. Інженер вражений. «Наступного разу ти питатимеш про мій осцилограф!»

Цю історію може бути перекладено на Андрієве правило зупину, наведене вище, наступним чином. Андрій зупинився негайно після 3 успіхів, оскільки його начальник Богдан доручив йому вчинити саме так. Після публікації Богданового статистичного аналізу Андрій зрозумів, що він випустив друге доручення від Богдана провести натомість 12 проб, а праця Богдана ґрунтується на цьому другому дорученні. Андрій дуже радий, що отримав свої 3 успіхи після рівно 12 проб, і пояснює своїй подрузі Вікторії, що за збігом обставин він виконав друге доручення. Пізніше він вражений почути про листа Вікторії, який пояснює, що тепер цей результат є значущим.

Див. також

• Принцип обумовленості
• Правдоподібницька статистика

Зауваження

1. Геометрично, якщо вони займають одну й ту ж точку в проєктивному просторі.

Примітки

1. Dodge, Y. (2003) The Oxford Dictionary of Statistical Terms. OUP. (англ.)
2. Vidakovic, Brani. (PDF). H. Milton Stewart School of Industrial & Systems Engineering. Georgia Tech. Архів оригіналу (PDF) за 21 жовтня 2017. Процитовано 21 жовтня 2017. (англ.)
3. Royall, Richard (1997) Statistical Evidence: A likelihood paradigm. Chapman and Hall, Boca Raton. (англ.)
4. Mayo, D. (2010) "An Error in the Argument from Conditionality and Sufficiency to the Likelihood Principle" [ 18 березня 2020 у Wayback Machine.] in Error and Inference: Recent Exchanges on Experimental Reasoning, Reliability and the Objectivity and Rationality of Science (D Mayo and A. Spanos eds.), Cambridge: Cambridge University Press: 305-314. (англ.)
5. Mayo, Deborah (2014), "On the Birnbaum Argument for the Strong Likelihood Principle [ 26 січня 2020 у Wayback Machine.]", ^[en], 29: 227-266 (with Discussion). (англ.)
6. Evans, Michael (2013) What does the proof of Birnbaum's theorem prove? [ 26 січня 2020 у Wayback Machine.] (англ.)
7. Gandenberger, Greg (2014), "A new proof of the likelihood principle", ^[en], 66: 475-503; DOI:10.1093/bjps/axt039. (англ.)

• ; G.M. Jenkins; C.B. Winsten (1962). Likelihood Inference and Time Series. Journal of the Royal Statistical Society, Series A. 125 (3): 321—372. doi:10.2307/2982406. ISSN 0035-9238. JSTOR 2982406. (англ.)
• ; Wolpert, R.L. (1988). (вид. 2nd). Haywood, CA: The Institute of Mathematical Statistics. ISBN . Архів оригіналу за 26 січня 2020. Процитовано 26 січня 2020. (англ.)
• (1962). On the foundations of statistical inference. Journal of the American Statistical Association. 57 (298): 269—326. doi:10.2307/2281640. ISSN 0162-1459. JSTOR 2281640. MR 0138176. (With discussion.) (англ.)
• (1972). Likelihood (вид. 1st). Cambridge: Cambridge University Press. (англ.)
• (1992). Likelihood (вид. 2nd). Baltimore: Johns Hopkins University Press. ISBN . (англ.)
• (1974). The history of likelihood. International Statistical Review. 42 (1): 9—15. doi:10.2307/1402681. ISSN 0306-7734. JSTOR 1402681. MR 0353514. (англ.)
• Fisher, Ronald A. (1922). . Philosophical Transactions of the Royal Society A. 222 (594–604): 326. Bibcode:1922RSPTA.222..309F. doi:10.1098/rsta.1922.0009. Архів оригіналу (PDF fulltext) за 29 липня 2017. Процитовано 28 грудня 2008. (англ.)
• (1965). Logic of Statistical Inference. Cambridge: Cambridge University Press. ISBN . (англ.)
• Jeffreys, Harold (1961). The Theory of Probability. The Oxford University Press. (англ.)
• (2010), (PDF), у Mayo, D; Spanos, A (ред.), Error and Inference: Recent Exchanges on Experimental Reasoning, Reliability and the Objectivity and Rationality of Science, Cambridge UK: Cambridge University Press, с. 305—314, ISBN , архів оригіналу (PDF) за 18 березня 2020, процитовано 26 січня 2020. (англ.)
• Royall, Richard M. (1997). Statistical Evidence: A Likelihood Paradigm. London: Chapman & Hall. ISBN . (англ.)
• та ін. (1962). The Foundations of Statistical Inference. London: Methuen. (англ.)

Посилання

• Anthony W.F. Edwards. "Likelihood [ 26 січня 2020 у Wayback Machine.]". (англ.)
• Jeff Miller. Earliest Known Uses of Some of the Words of Mathematics (L) [ 21 лютого 2020 у Wayback Machine.] (англ.)
• John Aldrich. Likelihood and Probability in R. A. Fisher’s Statistical Methods for Research Workers [ 22 січня 2020 у Wayback Machine.] (англ.)