Оцінка максимальної правдоподібності

Метод максимальної правдоподібності (також метод найбільшої вірогідності) у математичній статистиці — це метод оцінювання невідомого параметра шляхом максимізації функції правдоподібності. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний Р. Фішером між 1912 і 1922 роками (хоча раніше він використовувався Гаусом, Лапласом і іншими). Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.

Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є нормально розподіленою величиною з невідомою дисперсією і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.

Для фіксованого набору даних і базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.

Застосування

Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:

• лінійні моделі і узагальнені лінійні моделі;
• факторний аналіз;
• моделювання структурних рівнянь;
• багато ситуацій, в рамках перевірки гіпотези і формування довірчого інтервалу;
• дискретні моделі вибору.

Метод застосовується в широких областях науки, зокрема:

• системи зв'язку;
• психометрія;
• економетрика;
• оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах;
• моделювання в ядерній фізиці і фізиці елементарних частинок;
• обчислювальна філогенетика;
• моделювання каналів в транспортних мережах.

Визначення

Нехай маємо вибірку ${\displaystyle X_{1},\ldots ,X_{n}}$ з розподілу ${\displaystyle \mathbb {P} _{\theta }}$, де ${\displaystyle \theta \in \Theta }$ — невідомий параметр. Нехай ${\displaystyle f(\mathbf {x} \mid \theta )\colon \Theta \to \mathbb {R} }$ — функція правдоподібності, де ${\displaystyle \mathbf {x} \in \mathbb {R} }$. Точкова оцінка

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }={\hat {\theta }}_{\mathrm {M\Pi } }(X_{1},\ldots ,X_{n})=\arg \max \limits _{\theta \in \Theta }f(X_{1},\ldots ,X_{n}\mid \theta )}$

називається оцінкою максимальної правдоподібності параметра ${\displaystyle \theta }$. Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

Зауваження

• Оскільки функція ${\displaystyle x\to \ln x,\;x>0,}$ монотонно зростає на всій області визначення, максимум будь-якої функції ${\displaystyle f(\theta )}$ є максимумом функції ${\displaystyle \ln f(\theta )}$, і навпаки. Таким чином,

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }=\arg \max \limits _{\theta \in \Theta }L(X_{1},\ldots ,X_{n}\mid \theta )}$,

де ${\displaystyle L}$ — логарифмічна функція правдоподібності.

• Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).

Приклади

• Нехай ${\displaystyle X_{1},\ldots ,X_{n}\sim \mathrm {U} [0,\theta ]}$ — незалежна вибірка з неперервного рівномірного розподілу на відрізку ${\displaystyle [0,\theta ]}$, де ${\displaystyle \theta >0}$ — невідомий параметр. Тоді функція правдоподібності має вигляд

${\displaystyle f(\mathbf {x} \mid \theta )=\left\{{\begin{array}{ll}{\frac {1}{\theta ^{n}}},&\mathbf {x} \in [0,\theta ]^{n}\subset \mathbb {R} ^{n}\\0,&\mathbf {x} \not \in [0,\theta ]^{n}.\end{array}}\right.}$

Остання рівність може бути переписана у вигляді:

${\displaystyle f(\mathbf {x} \mid \theta )=\left\{{\begin{array}{ll}{\frac {1}{\theta ^{n}}},&\theta \geq \max(x_{1},\ldots ,x_{n})\\0,&\theta <\max(x_{1},\ldots ,x_{n})\end{array}}\right.,}$

де ${\displaystyle \mathbf {x} =(x_{1},\ldots ,x_{n})^{\top }}$, звідки видно, що свого максимуму функція правдоподібності досягає в точці ${\displaystyle \theta =\max(x_{1},\ldots ,x_{n})}$. Таким чином

${\displaystyle {\hat {\theta }}_{\mathrm {M\Pi } }=\max(X_{1},\ldots ,X_{n})}$.

• Нехай ${\displaystyle X_{1},\ldots ,X_{n}\sim \mathrm {N} (\mu ,\sigma ^{2})}$ — незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності ${\displaystyle \left({\hat {\mu }}_{\mathrm {M\Pi } },{\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }\right)^{\top }}$ для невідомого вектора параметрів ${\displaystyle \left(\mu ,\sigma ^{2}\right)^{\top }}$. Логарифмічна функція правдоподібності приймає вигляд

${\displaystyle L(\mathbf {x} \mid \mu ,\sigma ^{2})=-{\frac {n}{2}}\ln(2\pi \sigma ^{2})-{\frac {1}{2\sigma ^{2}}}\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}$.

Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:

${\displaystyle \left\{{\begin{matrix}\displaystyle {\frac {\partial }{\partial \mu }}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\[10pt]\displaystyle {\frac {\partial }{\partial \sigma ^{2}}}L(\mathbf {x} \mid \mu ,\sigma ^{2})=0\\\end{matrix}}\right.\Rightarrow \left\{{\begin{matrix}\displaystyle {\frac {\sum \limits _{i=1}^{n}X_{i}-n\mu }{\sigma ^{2}}}=0\\[10pt]\displaystyle -{\frac {n}{2\sigma ^{2}}}+{\frac {\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}{2\left(\sigma ^{2}\right)^{2}}}=0\\\end{matrix}}\right.,}$

звідки

${\displaystyle {\hat {\mu }}_{\mathrm {M\Pi } }={\bar {X}}}$ — вибіркове середнє, а

${\displaystyle {\widehat {\sigma ^{2}}}_{\mathrm {M\Pi } }=S_{n}^{2}}$ — вибіркова дисперсія.

Примітки

1. Слюсар В.И. Синтез алгоритмов измерения дальности М источников при дополнительном стробировании отсчетов АЦП.// Известия высших учебных заведений. Радиоэлектроника.- 1996. - Том 39, № 5. - C. 55 - 62.[1] [ 5 червня 2014 у Wayback Machine.]
2. Слюсар В.И. Предельное разрешение дальномерных процедур максимального правдоподобия.// Известия высших учебных заведений. Радиоэлектроника.- 1998. - Том 41, № 11. - C. 39 - 45. [2] [ 25 січня 2020 у Wayback Machine.]

Джерела

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
• Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
• Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
• Руденко В. М. (2012). Математична статистика. Київ: Центр учбової літератури. с. 158. ISBN .
• Capinski, Marek; Kopp, Peter E. (2004). Measure, Integral and Probability. Springer Verlag. ISBN .
• Williams D. (1991). Probability with Martingales. Cambridge University Press. ISBN .
• Варюхин В. А., Покровский В. И., Сахно В. Ф. Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки, Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.