У машинному навчанні, ймові́рнісний класифіка́тор (англ. probabilistic classifier) — це класифікатор, здатний для заданого зразка входу передбачувати розподіл імовірності над множиною класів, а не просто видавати найправдоподібніший клас, до якого повинен був би належати цей зразок. Імовірнісні класифікатори забезпечують класифікацію зі ступенем упевненості, що може бути корисним як саме по собі, так і при поєднанні класифікаторів у ансамблі.
Типи класифікації
Формально, «звичайний» класифікатор є якимось правилом або функцією, яка призначає зразкові x мітку класу ŷ:
Зразки походять із якоїсь множини X (наприклад, множини всіх документів, або множини всіх (зображень)), тоді як мітки класів формують скінченну множину Y, визначену до тренування.
Ймовірнісні ж класифікатори узагальнюють це поняття класифікаторів: замість функцій, вони є умовними розподілами , що означає, що для заданого
вони призначають імовірності всім
(і ці ймовірності дають у сумі одиницю). «Жорстка» класифікація тоді може здійснюватися шляхом застосуванням правила оптимального рішення
або, українською, передбачуваний клас є тим, який має найвищу ймовірність.
Бінарні ймовірнісні класифікатори в статистиці також називають [en]. В економетрії ймовірнісну класифікацію в цілому називають .
Деякі моделі класифікації, такі як наївний баєсів класифікатор, логістична регресія та багатошарові перцептрони (при тренуванні за відповідної функції втрат) є природно ймовірнісними. Інші моделі, такі як опорно-векторні машини, такими не є, але існують методи перетворення їх на ймовірнісні класифікатори.
Породжувальне та обумовлювальне тренування
Деякі моделі, такі як логістична регресія, є тренованими обумовлювально: вони оптимізують на тренувальному наборі безпосередньо умовну ймовірність (див. мінімізацію емпіричного ризику). Інші класифікатори, такі як наївний баєсів, тренуються породжувально: під час тренування знаходяться розподіл обумовлення класами
та апріорне класів
, а умовний розподіл
виводиться через правило Баєса.
Калібрування ймовірності
Не всі класифікаційні моделі є природно ймовірнісними, а деякі, які є, зокрема, наївні баєсові класифікатори, дерева рішень та методи підсилювання, виробляють спотворені розподіли ймовірностей класів. У випадку дерев рішень, де Pr(y|x) є пропорцією тренувальних зразків з міткою y у листку, де закінчується x, ці спотворення виникають тому, що алгоритми навчання, такі як C4.5 або [ru], явно спрямовані на вироблення гомогенних листків (даючи ймовірності, близькі до нуля або одиниці, й відтак високий зсув) при одночасному використанні незначної кількості зразків для оцінки доречної пропорції (висока дисперсія).
Для класифікаційних моделей, які виробляють на своїх виходах якогось роду «бал» (такий як спотворений розподіл імовірності, або «знак відстані до гіперплощини» в опорно-векторній машині), існує кілька методів, які перетворюють ці бали на правильно [en] ймовірності приналежності до класів.
Для бінарного випадку загальний підхід полягає в застосуванні [en], яке навчається моделі логістичної регресії на балах. Альтернативний метод із застосуванням [en], як правило, перевершує метод Платта, коли доступно достатньо тренувальних даних.
У [en] випадку можна використовувати зведення до бінарних задач з наступним одновимірним калібруванням за описаним вище алгоритмом, і подальшим застосуванням алгоритму попарного з'єднання Гасті та Тібширані.
Оцінка ймовірнісної класифікації
До часто вживаних функцій втрат для ймовірнісної класифікації належать [en] та середньоквадратична похибка між передбаченими та справжніми розподілами ймовірності. Перша з них зазвичай використовується для тренування логістичних моделей.
Метод, який використовується для призначення балів парам передбачених імовірностей та фактичних результатів розподілів, так, що різні передбачувальні методи можна порівнювати, називається [en].
Примітки
- Hastie, Trevor; Tibshirani, Robert; Friedman, Jerome (2009). . с. 348. Архів оригіналу за 26 січня 2015. Процитовано 30 жовтня 2016.
В застосуваннях для добування даних інтерес часто полягає більше в самих імовірностях класів
(англ.), ніж у виконанні призначення класу.
- Bishop, Christopher M. (2006). Pattern Recognition and Machine Learning. Springer. (англ.)
- Niculescu-Mizil, Alexandru; Caruana, Rich (2005). (PDF). ICML. doi:10.1145/1102351.1102430. Архів оригіналу (PDF) за 11 березня 2014. Процитовано 30 жовтня 2016. (англ.)
- Zadrozny, Bianca; Elkan, Charles (2001). (PDF). ICML. с. 609—616. Архів оригіналу (PDF) за 24 липня 2015. Процитовано 30 жовтня 2016. (англ.)
- (1999). Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods (PDF). Advances in large margin classifiers. 10 (3): 61—74. (англ.)
- Zadrozny, Bianca; Elkan, Charles (2002). Transforming classifier scores into accurate multiclass probability estimates. (PDF). с. 694—699. doi:10.1145/775047.775151. ISBN . CiteSeerX: 10.1.1.13.7457. Архів оригіналу (PDF) за 20 жовтня 2016. Процитовано 30 жовтня 2016. (англ.)
- Hastie, Trevor; Tibshirani, Robert (1998). Classification by pairwise coupling. [en]. 26 (2): 451—471. doi:10.1214/aos/1028144844. Zbl 0932.62071. CiteSeerX: 10.1.1.46.6032. (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U mashinnomu navchanni jmovi rnisnij klasifika tor angl probabilistic classifier ce klasifikator zdatnij dlya zadanogo zrazka vhodu peredbachuvati rozpodil imovirnosti nad mnozhinoyu klasiv a ne prosto vidavati najpravdopodibnishij klas do yakogo povinen buv bi nalezhati cej zrazok Imovirnisni klasifikatori zabezpechuyut klasifikaciyu zi stupenem upevnenosti sho mozhe buti korisnim yak same po sobi tak i pri poyednanni klasifikatoriv u ansambli Tipi klasifikaciyiFormalno zvichajnij klasifikator ye yakimos pravilom abo funkciyeyu yaka priznachaye zrazkovi x mitku klasu ŷ y f x displaystyle hat y f x Zrazki pohodyat iz yakoyis mnozhini X napriklad mnozhini vsih dokumentiv abo mnozhini vsih zobrazhen todi yak mitki klasiv formuyut skinchennu mnozhinu Y viznachenu do trenuvannya Jmovirnisni zh klasifikatori uzagalnyuyut ce ponyattya klasifikatoriv zamist funkcij voni ye umovnimi rozpodilami Pr Y X displaystyle Pr Y vert X sho oznachaye sho dlya zadanogo x X displaystyle x in X voni priznachayut imovirnosti vsim y Y displaystyle y in Y i ci jmovirnosti dayut u sumi odinicyu Zhorstka klasifikaciya todi mozhe zdijsnyuvatisya shlyahom zastosuvannyam pravila optimalnogo rishennya 39 40 y arg maxy Pr Y y X displaystyle hat y operatorname arg max y Pr Y y vert X abo ukrayinskoyu peredbachuvanij klas ye tim yakij maye najvishu jmovirnist Binarni jmovirnisni klasifikatori v statistici takozh nazivayut en V ekonometriyi jmovirnisnu klasifikaciyu v cilomu nazivayut Deyaki modeli klasifikaciyi taki yak nayivnij bayesiv klasifikator logistichna regresiya ta bagatosharovi perceptroni pri trenuvanni za vidpovidnoyi funkciyi vtrat ye prirodno jmovirnisnimi Inshi modeli taki yak oporno vektorni mashini takimi ne ye ale isnuyut metodi peretvorennya yih na jmovirnisni klasifikatori Porodzhuvalne ta obumovlyuvalne trenuvannyaDeyaki modeli taki yak logistichna regresiya ye trenovanimi obumovlyuvalno voni optimizuyut na trenuvalnomu nabori bezposeredno umovnu jmovirnist Pr Y X displaystyle Pr Y vert X div minimizaciyu empirichnogo riziku Inshi klasifikatori taki yak nayivnij bayesiv trenuyutsya porodzhuvalno pid chas trenuvannya znahodyatsya rozpodil obumovlennya klasami Pr X Y displaystyle Pr X vert Y ta apriorne klasiv Pr Y displaystyle Pr Y a umovnij rozpodil Pr Y X displaystyle Pr Y vert X vivoditsya cherez pravilo Bayesa 43Kalibruvannya jmovirnostiNe vsi klasifikacijni modeli ye prirodno jmovirnisnimi a deyaki yaki ye zokrema nayivni bayesovi klasifikatori dereva rishen ta metodi pidsilyuvannya viroblyayut spotvoreni rozpodili jmovirnostej klasiv U vipadku derev rishen de Pr y x ye proporciyeyu trenuvalnih zrazkiv z mitkoyu y u listku de zakinchuyetsya x ci spotvorennya vinikayut tomu sho algoritmi navchannya taki yak C4 5 abo ru yavno spryamovani na viroblennya gomogennih listkiv dayuchi jmovirnosti blizki do nulya abo odinici j vidtak visokij zsuv pri odnochasnomu vikoristanni neznachnoyi kilkosti zrazkiv dlya ocinki dorechnoyi proporciyi visoka dispersiya Dlya klasifikacijnih modelej yaki viroblyayut na svoyih vihodah yakogos rodu bal takij yak spotvorenij rozpodil imovirnosti abo znak vidstani do giperploshini v oporno vektornij mashini isnuye kilka metodiv yaki peretvoryuyut ci bali na pravilno en jmovirnosti prinalezhnosti do klasiv Dlya binarnogo vipadku zagalnij pidhid polyagaye v zastosuvanni en yake navchayetsya modeli logistichnoyi regresiyi na balah Alternativnij metod iz zastosuvannyam en yak pravilo perevershuye metod Platta koli dostupno dostatno trenuvalnih danih U en vipadku mozhna vikoristovuvati zvedennya do binarnih zadach z nastupnim odnovimirnim kalibruvannyam za opisanim vishe algoritmom i podalshim zastosuvannyam algoritmu poparnogo z yednannya Gasti ta Tibshirani Ocinka jmovirnisnoyi klasifikaciyiDo chasto vzhivanih funkcij vtrat dlya jmovirnisnoyi klasifikaciyi nalezhat en ta serednokvadratichna pohibka mizh peredbachenimi ta spravzhnimi rozpodilami jmovirnosti Persha z nih zazvichaj vikoristovuyetsya dlya trenuvannya logistichnih modelej Metod yakij vikoristovuyetsya dlya priznachennya baliv param peredbachenih imovirnostej ta faktichnih rezultativ rozpodiliv tak sho rizni peredbachuvalni metodi mozhna porivnyuvati nazivayetsya en PrimitkiHastie Trevor Tibshirani Robert Friedman Jerome 2009 s 348 Arhiv originalu za 26 sichnya 2015 Procitovano 30 zhovtnya 2016 V zastosuvannyah dlya dobuvannya danih interes chasto polyagaye bilshe v samih imovirnostyah klasiv pℓ x ℓ 1 K displaystyle p ell x ell 1 dots K nizh u vikonanni priznachennya klasu angl Bishop Christopher M 2006 Pattern Recognition and Machine Learning Springer angl Niculescu Mizil Alexandru Caruana Rich 2005 PDF ICML doi 10 1145 1102351 1102430 Arhiv originalu PDF za 11 bereznya 2014 Procitovano 30 zhovtnya 2016 angl Zadrozny Bianca Elkan Charles 2001 PDF ICML s 609 616 Arhiv originalu PDF za 24 lipnya 2015 Procitovano 30 zhovtnya 2016 angl 1999 Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods PDF Advances in large margin classifiers 10 3 61 74 angl Zadrozny Bianca Elkan Charles 2002 Transforming classifier scores into accurate multiclass probability estimates PDF s 694 699 doi 10 1145 775047 775151 ISBN 1 58113 567 X CiteSeerX 10 1 1 13 7457 Arhiv originalu PDF za 20 zhovtnya 2016 Procitovano 30 zhovtnya 2016 angl Hastie Trevor Tibshirani Robert 1998 Classification by pairwise coupling en 26 2 451 471 doi 10 1214 aos 1028144844 Zbl 0932 62071 CiteSeerX 10 1 1 46 6032 angl