Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
У статистиці, затве́рджування моде́лі (англ. model validation) — це задача підтверджування того, що виходи статистичної моделі є прийнятними по відношенню до справжнього процесу, що породжує дані. Іншими словами, затверджування моделі є задачею підтверджування, що виходи статистичної моделі мають достатню точність відтворювання виходів процесу, що породжує дані, щоби було можливо досягати цілей дослідження.
Огляд
Затверджування моделі може ґрунтуватися на двох типах даних: даних, які було використано для побудови моделі, та даних, які не було використано для цієї побудови. Затверджування на основі першого типу зазвичай включає аналіз допасованості моделі, або аналіз того, чи видаються залишки випадковими (тобто, за́лишкову діагностику). Затверджування на основі другого типу даних зазвичай включає аналіз того, чи відбувається помітне погіршення [en] цієї моделі при застосуванні до доречних нових даних.
Затверджування на основі лише першого типу (даних, які було використано в побудові моделі) часто є неадекватним. Крайній приклад проілюстровано на рис. 1. Цей рисунок показує дані (чорні точки), які було породжено прямою лінією + шум. Цей рисунок також показує фігурну лінію, яка є многочленом, обраним таким чином, щоби ідеально допасуватися до даних. Всі залишки для цієї фігурної лінії є нульовими. Отже, затверджування на основі лише першого типу даних дійде висновку, що ця фігурна лінія є доброю моделлю. Проте ця фігурна лінія є очевидно поганою моделлю: інтерполювання, особливо між -5 та -4, схильне бути дуже оманливим; до того ж, було би поганим і будь-яке істотне екстраполювання.
Таким чином, затверджування зазвичай не ґрунтується лише на розгляді даних, які було використано для побудови моделі. Натомість, затверджування зазвичай залучає також і дані, які в побудові використано не було. Іншими словами, затверджування зазвичай включає випробування деяких передбачень моделі.
Модель можливо затверджувати лише відносно певної області застосування. Модель, яка є обґрунтованою для одного застосування, для якихось інших застосувань може бути непрацездатною. Як приклад, розгляньмо фігурну лінію на рис. 1: якби застосування використовувало би входи лише з проміжку [0, 2], то ця фігурна лінія цілком могла би бути прийнятною моделлю.
Методи затверджування
При здійсненні затверджування, згідно [en]», існує три визначні причини потенційних утруднень. Цими трьома причинами є: брак даних, брак контролю над змінними входу, та невизначеність щодо розподілів імовірності та кореляцій, що лежать в основі. До звичних методів розв'язування утруднень у затверджуванні належать наступні: перевірка припущень, зроблених при побудові моделі, вивчення наявних даних та пов'язаних з ними виходів моделі, застосування експертних суджень. Зауважте, що експертні судження зазвичай вимагають спеціальних знань в області застосування.
Експертні судження іноді можливо застосовувати для оцінювання обґрунтованості передбачування без отримування реальних даних: наприклад, для фігурної лінії на рис. 1 експерт цілком може бути здатним оцінити, що істотне екстраполювання буде непридатним. Крім того, експертні судження можливо застосовувати в перевірках тюрінгового виду, де експертам представляють як реальні дані, так і виходи пов'язаної моделі, а потім просять розрізнити їх.
Для деяких класів статистичних моделей є доступними спеціалізовані методи для виконання затверджування. Наприклад, якщо статистичну модель було отримано за допомогою регресії, то існує, і, як правило, застосовується спеціалізований аналіз для [en].
За́лишкова діагностика
| Цей розділ потребує доповнення. (липень 2020) |
За́лишкова діагностика (англ. residual diagnostics) включає аналіз залишків для визначення того, чи видаються залишки фактично випадковими. Такий аналіз зазвичай вимагає оцінок розподілів імовірності для залишків. Оцінки розподілів залишків часто може бути отримувано шляхом повторюваного запускання моделі, наприклад, застосуванням повторюваних [en] (із застосуванням генератора псевдовипадкових чисел для випадкових змінних в моделі).
Якщо статистичну модель було отримано за допомогою регресії, то існує й може застосовуватися [en]; таку діагностику було добре досліджено.
Див. також
Примітки
- [en] (2012), , Assessing the Reliability of Complex Models: Mathematical and statistical foundations of verification, validation, and uncertainty quantification, Washington, DC: [en], с. 52—85, архів оригіналу за 7 липня 2020, процитовано 5 липня 2020 (англ.)
- Batzel, J. J.; Bachar, M.; Karemaker, J. M.; Kappel, F. (2013), Chapter 1: Merging mathematical and physiological knowledge, у Batzel, J. J.; Bachar, M.; Kappel, F. (ред.), Mathematical Modeling and Validation in Physiology, , с. 3—19, doi:10.1007/978-3-642-32882-4_1 (англ.)
- Deaton, M. L. (2006), Simulation models, validation of, у та ін. (ред.), [en], (англ.)
- Mayer, D. G.; Butler, D.G. (1993), Statistical validation, [en], 68: 21—32, doi:10.1016/0304-3800(93)90105-2 (англ.)
Література
- Barlas, Y. (1996), Formal aspects of model validity and validation in system dynamics, System Dynamics Review, 12: 183—210, doi:10.1002/(SICI)1099-1727(199623)12:3<183::AID-SDR103>3.0.CO;2-4 (англ.)
- ; Hardin, J. W. (2012), Chapter 15: Validation, Common Errors in Statistics (вид. Fourth), , с. 277—285 (англ.)
- (2002), Chapter 3: Approximate models, у Huber-Carol, C.; Balakrishnan, N.; Nikulin, M. S.; Mesbah, M. (ред.), Goodness-of-Fit Tests and Model Validity, , с. 25—41 (англ.)
Посилання
- How can I tell if a model fits my data? [ 5 липня 2020 у Wayback Machine.] —Handbook of Statistical Methods (NIST) (англ.)
- Hicks, Dan (14 липня 2017). What are core statistical model validation techniques?. Stack Exchange. (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U statistici zatve rdzhuvannya mode li angl model validation ce zadacha pidtverdzhuvannya togo sho vihodi statistichnoyi modeli ye prijnyatnimi po vidnoshennyu do spravzhnogo procesu sho porodzhuye dani Inshimi slovami zatverdzhuvannya modeli ye zadacheyu pidtverdzhuvannya sho vihodi statistichnoyi modeli mayut dostatnyu tochnist vidtvoryuvannya vihodiv procesu sho porodzhuye dani shobi bulo mozhlivo dosyagati cilej doslidzhennya OglyadZatverdzhuvannya modeli mozhe gruntuvatisya na dvoh tipah danih danih yaki bulo vikoristano dlya pobudovi modeli ta danih yaki ne bulo vikoristano dlya ciyeyi pobudovi Zatverdzhuvannya na osnovi pershogo tipu zazvichaj vklyuchaye analiz dopasovanosti modeli abo analiz togo chi vidayutsya zalishki vipadkovimi tobto za lishkovu diagnostiku Zatverdzhuvannya na osnovi drugogo tipu danih zazvichaj vklyuchaye analiz togo chi vidbuvayetsya pomitne pogirshennya en ciyeyi modeli pri zastosuvanni do dorechnih novih danih Ris 1 Dani chorni tochki yaki bulo porodzheno pryamoyu liniyeyu z deyakim dodanim shumom tochno dopasovani figurnim mnogochlenom Zatverdzhuvannya na osnovi lishe pershogo tipu danih yaki bulo vikoristano v pobudovi modeli chasto ye neadekvatnim Krajnij priklad proilyustrovano na ris 1 Cej risunok pokazuye dani chorni tochki yaki bulo porodzheno pryamoyu liniyeyu shum Cej risunok takozh pokazuye figurnu liniyu yaka ye mnogochlenom obranim takim chinom shobi idealno dopasuvatisya do danih Vsi zalishki dlya ciyeyi figurnoyi liniyi ye nulovimi Otzhe zatverdzhuvannya na osnovi lishe pershogo tipu danih dijde visnovku sho cya figurna liniya ye dobroyu modellyu Prote cya figurna liniya ye ochevidno poganoyu modellyu interpolyuvannya osoblivo mizh 5 ta 4 shilne buti duzhe omanlivim do togo zh bulo bi poganim i bud yake istotne ekstrapolyuvannya Takim chinom zatverdzhuvannya zazvichaj ne gruntuyetsya lishe na rozglyadi danih yaki bulo vikoristano dlya pobudovi modeli Natomist zatverdzhuvannya zazvichaj zaluchaye takozh i dani yaki v pobudovi vikoristano ne bulo Inshimi slovami zatverdzhuvannya zazvichaj vklyuchaye viprobuvannya deyakih peredbachen modeli Model mozhlivo zatverdzhuvati lishe vidnosno pevnoyi oblasti zastosuvannya Model yaka ye obgruntovanoyu dlya odnogo zastosuvannya dlya yakihos inshih zastosuvan mozhe buti nepracezdatnoyu Yak priklad rozglyanmo figurnu liniyu na ris 1 yakbi zastosuvannya vikoristovuvalo bi vhodi lishe z promizhku 0 2 to cya figurna liniya cilkom mogla bi buti prijnyatnoyu modellyu Metodi zatverdzhuvannyaPri zdijsnenni zatverdzhuvannya zgidno en isnuye tri viznachni prichini potencijnih utrudnen Cimi troma prichinami ye brak danih brak kontrolyu nad zminnimi vhodu ta neviznachenist shodo rozpodiliv imovirnosti ta korelyacij sho lezhat v osnovi Do zvichnih metodiv rozv yazuvannya utrudnen u zatverdzhuvanni nalezhat nastupni perevirka pripushen zroblenih pri pobudovi modeli vivchennya nayavnih danih ta pov yazanih z nimi vihodiv modeli zastosuvannya ekspertnih sudzhen Zauvazhte sho ekspertni sudzhennya zazvichaj vimagayut specialnih znan v oblasti zastosuvannya Ekspertni sudzhennya inodi mozhlivo zastosovuvati dlya ocinyuvannya obgruntovanosti peredbachuvannya bez otrimuvannya realnih danih napriklad dlya figurnoyi liniyi na ris 1 ekspert cilkom mozhe buti zdatnim ociniti sho istotne ekstrapolyuvannya bude nepridatnim Krim togo ekspertni sudzhennya mozhlivo zastosovuvati v perevirkah tyuringovogo vidu de ekspertam predstavlyayut yak realni dani tak i vihodi pov yazanoyi modeli a potim prosyat rozrizniti yih Dlya deyakih klasiv statistichnih modelej ye dostupnimi specializovani metodi dlya vikonannya zatverdzhuvannya Napriklad yaksho statistichnu model bulo otrimano za dopomogoyu regresiyi to isnuye i yak pravilo zastosovuyetsya specializovanij analiz dlya en Za lishkova diagnostika Cej rozdil potrebuye dopovnennya lipen 2020 Za lishkova diagnostika angl residual diagnostics vklyuchaye analiz zalishkiv dlya viznachennya togo chi vidayutsya zalishki faktichno vipadkovimi Takij analiz zazvichaj vimagaye ocinok rozpodiliv imovirnosti dlya zalishkiv Ocinki rozpodiliv zalishkiv chasto mozhe buti otrimuvano shlyahom povtoryuvanogo zapuskannya modeli napriklad zastosuvannyam povtoryuvanih en iz zastosuvannyam generatora psevdovipadkovih chisel dlya vipadkovih zminnih v modeli Yaksho statistichnu model bulo otrimano za dopomogoyu regresiyi to isnuye j mozhe zastosovuvatisya en taku diagnostiku bulo dobre doslidzheno Div takozh en Analiz chutlivosti en Vnutrishnya obgruntovanist en en Obgruntovanist en Obirannya statistichnoyi modeli Peredbachuvalna model Perenavchannya Perehresne zatverdzhuvannya Hibna zalezhnistPrimitki en 2012 Assessing the Reliability of Complex Models Mathematical and statistical foundations of verification validation and uncertainty quantification Washington DC en s 52 85 arhiv originalu za 7 lipnya 2020 procitovano 5 lipnya 2020 angl Batzel J J Bachar M Karemaker J M Kappel F 2013 Chapter 1 Merging mathematical and physiological knowledge u Batzel J J Bachar M Kappel F red Mathematical Modeling and Validation in Physiology Springer s 3 19 doi 10 1007 978 3 642 32882 4 1 angl Deaton M L 2006 Simulation models validation of u ta in red en Wiley angl Mayer D G Butler D G 1993 Statistical validation en 68 21 32 doi 10 1016 0304 3800 93 90105 2 angl LiteraturaBarlas Y 1996 Formal aspects of model validity and validation in system dynamics System Dynamics Review 12 183 210 doi 10 1002 SICI 1099 1727 199623 12 3 lt 183 AID SDR103 gt 3 0 CO 2 4 angl Hardin J W 2012 Chapter 15 Validation Common Errors in Statistics vid Fourth John Wiley amp Sons s 277 285 angl 2002 Chapter 3 Approximate models u Huber Carol C Balakrishnan N Nikulin M S Mesbah M red Goodness of Fit Tests and Model Validity Springer s 25 41 angl PosilannyaHow can I tell if a model fits my data 5 lipnya 2020 u Wayback Machine Handbook of Statistical Methods NIST angl Hicks Dan 14 lipnya 2017 What are core statistical model validation techniques Stack Exchange angl