Метод максимальної правдоподібності (також метод найбільшої вірогідності) у математичній статистиці — це метод оцінювання невідомого параметра шляхом максимізації функції правдоподібності. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний Р. Фішером між 1912 і 1922 роками (хоча раніше він використовувався Гаусом, Лапласом і іншими). Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.
Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є нормально розподіленою величиною з невідомою дисперсією і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.
Для фіксованого набору даних і базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.
Застосування
Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:
- лінійні моделі і узагальнені лінійні моделі;
- факторний аналіз;
- моделювання структурних рівнянь;
- багато ситуацій, в рамках перевірки гіпотези і формування довірчого інтервалу;
- дискретні моделі вибору.
Метод застосовується в широких областях науки, зокрема:
- системи зв'язку;
- психометрія;
- економетрика;
- оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах;
- моделювання в ядерній фізиці і фізиці елементарних частинок;
- обчислювальна філогенетика;
- моделювання каналів в транспортних мережах.
Визначення
Нехай маємо вибірку з розподілу
, де
— невідомий параметр. Нехай
— функція правдоподібності, де
. Точкова оцінка
називається оцінкою максимальної правдоподібності параметра . Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.
Зауваження
- Оскільки функція
монотонно зростає на всій області визначення, максимум будь-якої функції
є максимумом функції
, і навпаки. Таким чином,
,
де — логарифмічна функція правдоподібності.
- Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).
Приклади
- Нехай
— незалежна вибірка з неперервного рівномірного розподілу на відрізку
, де
— невідомий параметр. Тоді функція правдоподібності має вигляд
Остання рівність може бути переписана у вигляді:
де , звідки видно, що свого максимуму функція правдоподібності досягає в точці
. Таким чином
.
- Нехай
— незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності
для невідомого вектора параметрів
. Логарифмічна функція правдоподібності приймає вигляд
.
Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:
звідки
— вибіркове середнє, а
— вибіркова дисперсія.
Примітки
- Слюсар В.И. Синтез алгоритмов измерения дальности М источников при дополнительном стробировании отсчетов АЦП.// Известия высших учебных заведений. Радиоэлектроника.- 1996. - Том 39, № 5. - C. 55 - 62.[1] [ 5 червня 2014 у Wayback Machine.]
- Слюсар В.И. Предельное разрешение дальномерных процедур максимального правдоподобия.// Известия высших учебных заведений. Радиоэлектроника.- 1998. - Том 41, № 11. - C. 39 - 45. [2] [ 25 січня 2020 у Wayback Machine.]
Джерела
- Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.
- Гнеденко Б. В. Курс теории вероятностей. — 6-е изд. — Москва : Наука, 1988. — 446 с.(рос.)
- Гихман И. И., Скороход А. В., Ядренко М. В. Теория вероятностей и математическая статистика. — Київ : Вища школа, 1988. — 436 с.(рос.)
- Руденко В. М. (2012). Математична статистика. Київ: Центр учбової літератури. с. 158. ISBN .
- Capinski, Marek; Kopp, Peter E. (2004). Measure, Integral and Probability. Springer Verlag. ISBN .
- Williams D. (1991). Probability with Martingales. Cambridge University Press. ISBN .
- Варюхин В. А., Покровский В. И., Сахно В. Ф. Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки, Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Metod maksimalnoyi pravdopodibnosti takozh metod najbilshoyi virogidnosti u matematichnij statistici ce metod ocinyuvannya nevidomogo parametra shlyahom maksimizaciyi funkciyi pravdopodibnosti Vin gruntuyetsya na pripushenni pro te sho vsya informaciya pro statistichnu vibirku mistitsya u cij funkciyi Metod maksimalnoyi pravdopodibnosti buv proanalizovanij rekomendovanij i znachno populyarizuvanij R Fisherom mizh 1912 i 1922 rokami hocha ranishe vin vikoristovuvavsya Gausom Laplasom i inshimi Ocinka maksimalnoyi pravdopodibnosti ye populyarnim statistichnim metodom yakij vikoristovuyetsya dlya stvorennya statistichnoyi modeli na osnovi danih i zabezpechennya ocinki parametriv modeli Metod maksimalnoyi pravdopodibnosti vidpovidaye bagatom vidomim metodam ocinki v oblasti statistiki Napriklad pripustimo sho vi zacikavleni zrostom meshkanciv Ukrayini Pripustimo u vas dani stosovno zrostu deyakoyi kilkosti lyudej a ne vsogo naselennya Krim togo peredbachayetsya sho zrist ye normalno rozpodilenoyu velichinoyu z nevidomoyu dispersiyeyu i serednim znachennyam Vibirkovi serednye znachennya i dispersiya zrostu ye maksimalno pravdopodibnimi do serednogo znachennya i dispersiyi vsogo naselennya Dlya fiksovanogo naboru danih i bazovoyi imovirnisnoyi modeli vikoristovuyuchi metod maksimalnoyi pravdopodibnosti mi nabudemo znachen parametriv modeli yaki roblyat dani blizhchimi do realnih Ocinka maksimalnoyi pravdopodibnosti daye unikalnij i prostij sposib viznachiti rishennya u razi normalnogo rozpodilu ZastosuvannyaMetod ocinki maksimalnoyi pravdopodibnosti zastosovuyetsya dlya shirokogo kola statistichnih modelej zokrema linijni modeli i uzagalneni linijni modeli faktornij analiz modelyuvannya strukturnih rivnyan bagato situacij v ramkah perevirki gipotezi i formuvannya dovirchogo intervalu diskretni modeli viboru Metod zastosovuyetsya v shirokih oblastyah nauki zokrema sistemi zv yazku psihometriya ekonometrika ocinyuvannya kutovih koordinat dzherel signaliv yih chastoti i chasu zatrimki v akustichnih i elektromagnitnih sistemah modelyuvannya v yadernij fizici i fizici elementarnih chastinok obchislyuvalna filogenetika modelyuvannya kanaliv v transportnih merezhah ViznachennyaNehaj mayemo vibirku X1 Xn displaystyle X 1 ldots X n z rozpodilu P8 displaystyle mathbb P theta de 8 8 displaystyle theta in Theta nevidomij parametr Nehaj f x 8 8 R displaystyle f mathbf x mid theta colon Theta to mathbb R funkciya pravdopodibnosti de x R displaystyle mathbf x in mathbb R Tochkova ocinka 8 MP 8 MP X1 Xn arg max8 8f X1 Xn 8 displaystyle hat theta mathrm M Pi hat theta mathrm M Pi X 1 ldots X n arg max limits theta in Theta f X 1 ldots X n mid theta nazivayetsya ocinkoyu maksimalnoyi pravdopodibnosti parametra 8 displaystyle theta Takim chinom ocinka maksimalnoyi pravdopodibnosti ce taka ocinka yaka maksimizuye funkciyu pravdopodibnosti pri fiksovanij realizaciyi vibirki ZauvazhennyaOskilki funkciya x ln x x gt 0 displaystyle x to ln x x gt 0 monotonno zrostaye na vsij oblasti viznachennya maksimum bud yakoyi funkciyi f 8 displaystyle f theta ye maksimumom funkciyi ln f 8 displaystyle ln f theta i navpaki Takim chinom 8 MP arg max8 8L X1 Xn 8 displaystyle hat theta mathrm M Pi arg max limits theta in Theta L X 1 ldots X n mid theta de L displaystyle L logarifmichna funkciya pravdopodibnosti Ocinka maksimalnoyi pravdopodibnosti zagalom mozhe buti zmishenoyu div prikladi PrikladiNehaj X1 Xn U 0 8 displaystyle X 1 ldots X n sim mathrm U 0 theta nezalezhna vibirka z neperervnogo rivnomirnogo rozpodilu na vidrizku 0 8 displaystyle 0 theta de 8 gt 0 displaystyle theta gt 0 nevidomij parametr Todi funkciya pravdopodibnosti maye viglyadf x 8 18n x 0 8 n Rn0 x 0 8 n displaystyle f mathbf x mid theta left begin array ll frac 1 theta n amp mathbf x in 0 theta n subset mathbb R n 0 amp mathbf x not in 0 theta n end array right Ostannya rivnist mozhe buti perepisana u viglyadi f x 8 18n 8 max x1 xn 0 8 lt max x1 xn displaystyle f mathbf x mid theta left begin array ll frac 1 theta n amp theta geq max x 1 ldots x n 0 amp theta lt max x 1 ldots x n end array right de x x1 xn displaystyle mathbf x x 1 ldots x n top zvidki vidno sho svogo maksimumu funkciya pravdopodibnosti dosyagaye v tochci 8 max x1 xn displaystyle theta max x 1 ldots x n Takim chinom 8 MP max X1 Xn displaystyle hat theta mathrm M Pi max X 1 ldots X n Nehaj X1 Xn N m s2 displaystyle X 1 ldots X n sim mathrm N mu sigma 2 nezalezhna vibirka z normalnogo rozpodilu z vidomim serednim i dispersiyeyu Pobuduyemo ocinku maksimalnoyi pravdopodibnosti m MP s2 MP displaystyle left hat mu mathrm M Pi widehat sigma 2 mathrm M Pi right top dlya nevidomogo vektora parametriv m s2 displaystyle left mu sigma 2 right top Logarifmichna funkciya pravdopodibnosti prijmaye viglyadL x m s2 n2ln 2ps2 12s2 i 1n Xi m 2 displaystyle L mathbf x mid mu sigma 2 frac n 2 ln 2 pi sigma 2 frac 1 2 sigma 2 sum limits i 1 n X i mu 2 Shob znajti yiyi maksimum pririvnyuyemo do nulya chastkovi pohidni mL x m s2 0 s2L x m s2 0 i 1nXi nms2 0 n2s2 i 1n Xi m 22 s2 2 0 displaystyle left begin matrix displaystyle frac partial partial mu L mathbf x mid mu sigma 2 0 10pt displaystyle frac partial partial sigma 2 L mathbf x mid mu sigma 2 0 end matrix right Rightarrow left begin matrix displaystyle frac sum limits i 1 n X i n mu sigma 2 0 10pt displaystyle frac n 2 sigma 2 frac sum limits i 1 n X i mu 2 2 left sigma 2 right 2 0 end matrix right zvidki m MP X displaystyle hat mu mathrm M Pi bar X vibirkove serednye a s2 MP Sn2 displaystyle widehat sigma 2 mathrm M Pi S n 2 vibirkova dispersiya PrimitkiSlyusar V I Sintez algoritmov izmereniya dalnosti M istochnikov pri dopolnitelnom strobirovanii otschetov ACP Izvestiya vysshih uchebnyh zavedenij Radioelektronika 1996 Tom 39 5 C 55 62 1 5 chervnya 2014 u Wayback Machine Slyusar V I Predelnoe razreshenie dalnomernyh procedur maksimalnogo pravdopodobiya Izvestiya vysshih uchebnyh zavedenij Radioelektronika 1998 Tom 41 11 C 39 45 2 25 sichnya 2020 u Wayback Machine DzherelaKartashov M V Imovirnist procesi statistika Kiyiv VPC Kiyivskij universitet 2007 504 s Gnedenko B V Kurs teorii veroyatnostej 6 e izd Moskva Nauka 1988 446 s ros Gihman I I Skorohod A V Yadrenko M V Teoriya veroyatnostej i matematicheskaya statistika Kiyiv Visha shkola 1988 436 s ros Rudenko V M 2012 Matematichna statistika Kiyiv Centr uchbovoyi literaturi s 158 ISBN 978 611 01 0277 3 Capinski Marek Kopp Peter E 2004 Measure Integral and Probability Springer Verlag ISBN 9781852337810 Williams D 1991 Probability with Martingales Cambridge University Press ISBN 0 521 40605 6 Varyuhin V A Pokrovskij V I Sahno V F Modificirovannaya funkciya pravdopodobiya v zadache opredeleniya uglovyh koordinat istochnikov s pomoshyu antennoj reshetki Dokl AN SSSR 1983 tom 270 nomer 5 S 1092 1094