Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
В статистичнім аналізі бінарної класифікації, F-міра (англ. F-score, F-measure) — це одна з мір точності тесту. Її обчислюють через влучність та повноту тесту, де влучність є числом правильно визначених позитивних результатів, поділеним на число всіх позитивних результатів, включно з визначеними неправильно, а повнота є числом правильно визначених позитивних результатів, поділеним на число всіх зразків, які повинно було бути визначено як позитивні.
Міра F1 є середнім гармонійним цих влучності та повноти. Загальніша міра Fβ застосовує додаткові ваги, оцінюючи або влучність, або повноту вище за іншу.
Найвищим можливим значенням F-міри є 1, що вказує на ідеальні влучність та повноту, а найнижчим можливим значенням є 0, якщо або влучність, або повнота є нульовими. Міра F1 є також відомою як індекс Соренсена, та коефіцієнт подібності Дайса (англ. Dice similarity coefficient, DSC).[]
Етимологія
Вважають, що назву F-міри вона отримала на честь іншої F-функції з книги ван Рійсберґена, коли її було представлено та четвертій [en] (англ. Fourth Message Understanding Conference, MUC-4, 1992).
Визначення
| Цей розділ потребує додаткових для поліпшення його . (жовтень 2020) |
Традиційна F-міра, або збалансована F-оцінка (міра F1) є середнім гармонійним влучності та повноти:
- F1 = 2/повнота-1 + влучність-1 = 2 · влучність · повнота/влучність + повнота = ІП/ІП + 1/2(ХП + ХН).
Fβ
Загальнішою F-мірою, Fβ, що використовує додатний дійснозначний коефіцієнт β, де β обирають так, що повноту вважають у β разів важливішою за влучність, є
- Fβ = (1 + β2) · влучність · повнота/(β2 · влучність) + повнота
В термінах помилок першого і другого роду це стає:
- Fβ = (1 + β2) · істинно позитивні/(1 + β2) · істинно позитивні + β2 · хибно негативні + хибно позитивні
Двома широко вживаними значеннями β є 2, яке надає повноті більшої ваги, ніж влучності, та 0,5, яке надає повноті меншої ваги, ніж влучності.
F-міру було виведено таким чином, що Fβ «вимірює ефективність пошуку з урахуванням користувача, який надає в β разів вищої важливості повноті, ніж влучності». Вона ґрунтується на мірі ефективності [en]
- E = 1 − (α/в + 1 − α/п)−1
Вони є взаємопов'язаними як Fβ = 1 − E, де α = 1/1 + β2.
Діагностичне дослідження
Воно пов'язане з галуззю бінарної класифікації, де повноту часто називають «чутливістю».
| Справжній стан | ||||||
| загальна сукупність | позитивний стан | негативний стан | поширеність = Σ позитивних станів/Σ загальної сукупності | точність = Σ істинно позитивних + Σ істинно негативних/Σ загальної сукупності | ||
| позитивний прогнозований стан | (істинно позитивний) | (хибно позитивний), помилка I роду | прогностична значущість позитивного результату (ПЗ+), влучність = Σ істинно позитивних/Σ позитивних прогнозованих станів | [en] (РХВ) = Σ хибно позитивних/Σ позитивних прогнозованих станів | ||
| негативний прогнозований стан | (хибно негативний), помилка II роду | (істинно негативний) | (рівень хибного пропускання) (РХП) = Σ хибно негативних/Σ негативних прогнозованих станів | прогностична значущість негативного результату (ПЗ-) = Σ істинно негативних/Σ негативних прогнозованих станів | ||
| істиннопозитивний рівень (ІПР), повнота, чутливість, ймовірність виявлення, потужність = Σ істинно позитивних/Σ позитивних станів | хибнопозитивний рівень (ХПР), побічний продукт, ймовірність хибної тривоги = Σ хибно позитивних/Σ негативних станів | відношення правдоподібності позитивного результату (ВП+) = ІПР/ХПР | діагностичне відношення шансів (ДВШ) = ВП+/ВП− | міра F1 = 2 · влучність · повнота/влучність + повнота | ||
| (хибнонегативний рівень) (ХНР), коефіцієнт невлучання = Σ хибно негативних/Σ позитивних станів | специфічність, вибірність, істиннонегативний рівень (ІНР) = Σ істинно негативних/Σ негативних станів | відношення правдоподібності негативного результату (ВП-) = ХНР/ІНР | ||||
Застосування
F-міру часто використовують в галузі інформаційного пошуку для вимірювання продуктивності пошуку, класифікації документів, та [en]. Ранні праці зосереджувалися переважно на мірі F1, але з поширенням великомасштабних пошукових рушіїв цілі продуктивності змінилися на акцентування більшої уваги або на влучності, або на повноті, тож Fβ помітно у широкому вжитку.
F-міру також використовують у машиннім навчанні. Проте, F-міри не беруть до уваги істинно негативних, тож для оцінювання продуктивності бінарного класифікатора можуть віддавати перевагу [en] чи [en].
F-міра знайшла широкий вжиток в літературі з обробки природних мов, наприклад, при оцінюванні розпізнавання іменованих сутностей та [en].
Критика
[en] та інші критикують широке використання міри F1, оскільки вона надає однакової важливості влучності та повноті. На практиці, різні типи помилкової класифікації призводять до різних втрат. Іншими словами, відносна важливість влучності та повноти є одним із аспектів задачі.
Згідно Давіде Чікко та Джузеппе Журмана, міра F1 є менш правдивою та інформативною для класифікації бінарного оцінювання, ніж [en] (ККМ, англ. Matthews correlation coefficient, MCC).
Девід Пауерс вказав, що F1 ігнорує істинно негативні, й відтак є оманливою для незбалансованих класів, тоді як міри каппа та кореляції є симетричними, й оцінюють обидва напрямки передбачуваності — класифікатор, що передбачує істинний клас, та істинний клас, що передбачує передбачення класифікатора, пропонуючи окремі багатокласові міри [en] та [en] для цих двох напрямків, зазначаючи, що їхнє середнє геометричне є кореляцією.
Відмінність від індексу Фаулкса — Меттьюза
В той час як F-міра є середнім гармонійним повноти та влучності, [en] є їхнім середнім геометричним.
Розширення до багатокласової класифікації
F-міру також використовують для оцінювання задач із понад двома класами ([en]). В цій постановці остаточну міру отримують мікроусереднюванням (з упередженням за частотою класів) або макроусереднюванням (беручи всі класи однаково важливими). Для макроусереднювання застосовувачі використовувати дві різні формули: F-міру (арифметичних) середніх влучності та повноти по всіх класах, та арифметичне середнє F-мір по всіх класах, серед яких крайня виявляє бажаніші властивості.
Див. також
- Матриця невідповідностей
- METEOR
- [en]
- [en]
- Робоча характеристика приймача
- [en]
- [en], відомий також як вправність (англ. proficiency)
- [en]
Примітки
- Гущин, І. В.; Сич, Д. О. (жовтень 2018). (PDF). Молодий вчений. Харківський національний університет імені В.Н. Каразіна. 10 (62): 264—266. Архів оригіналу (PDF) за 27 вересня 2020. Процитовано 4 жовтня 2020.
- Alguliyev, R. M.; Aliguliyev, R. M.; Imamverdiyev, Y. N.; Sukhostat, L. V. (2018). An improved ensemble approach for dos attacks detection. Радіоелектроніка, інформатика, управління. 2: 73—82.
- Sasaki, Y. (2007). (PDF). Архів оригіналу (PDF) за 23 вересня 2020. Процитовано 4 жовтня 2020. (англ.)
- Van Rijsbergen, C. J. (1979). (вид. 2nd). Butterworth-Heinemann. Архів оригіналу за 6 квітня 2005. Процитовано 4 жовтня 2020. (англ.)
- Beitzel., Steven M. (2006). On Understanding and Classifying Web Queries (Дипломна робота Ph.D.). IIT. CiteSeerX 10.1.1.127.634. (англ.)
- X. Li; Y.-Y. Wang; A. Acero (July 2008). Learning query intent from regularized click graphs. Proceedings of the 31st SIGIR Conference. doi:10.1145/1390334.1390393. S2CID 8482989. (англ.)
- Див., наприклад, оцінку [1]. (англ.)
- Powers, David M. W (2015). What the F-measure doesn't measure. arXiv:1503.06410 [cs.IR]. (англ.)
- Derczynski, L. (2016). . Proceedings of the International Conference on Language Resources and Evaluation. Архів оригіналу за 8 березня 2021. Процитовано 4 жовтня 2020. (англ.)
- Hand, David. . app.dimensions.ai (англ.). doi:10.1007/s11222-017-9746-6. hdl:10044/1/46235. S2CID 38782128. Архів оригіналу за 9 жовтня 2020. Процитовано 8 грудня 2018. (англ.)
- Chicco D, Jurman G (January 2020). The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC Genomics. 21 (6): 6. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
{{}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () (англ.) - Powers, David M W (2011). Evaluation: From Precision, Recall and F-Score to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies. 2 (1): 37—63. hdl:2328/27165. (англ.)
- Tharwat A (August 2018). Classification assessment methods. Applied Computing and Informatics (ahead-of-print). doi:10.1016/j.aci.2018.08.003. (англ.)
- J. Opitz; S. Burst (2019). Macro F1 and Macro F1. arXiv:1911.03347 [stat.ML]. (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Pro kriterij znachushosti div F test V statistichnim analizi binarnoyi klasifikaciyi F mira angl F score F measure ce odna z mir tochnosti testu Yiyi obchislyuyut cherez vluchnist ta povnotu testu de vluchnist ye chislom pravilno viznachenih pozitivnih rezultativ podilenim na chislo vsih pozitivnih rezultativ vklyuchno z viznachenimi nepravilno a povnota ye chislom pravilno viznachenih pozitivnih rezultativ podilenim na chislo vsih zrazkiv yaki povinno bulo buti viznacheno yak pozitivni Vluchnist ta povnota Mira F1 ye serednim garmonijnim cih vluchnosti ta povnoti Zagalnisha mira Fb zastosovuye dodatkovi vagi ocinyuyuchi abo vluchnist abo povnotu vishe za inshu Najvishim mozhlivim znachennyam F miri ye 1 sho vkazuye na idealni vluchnist ta povnotu a najnizhchim mozhlivim znachennyam ye 0 yaksho abo vluchnist abo povnota ye nulovimi Mira F1 ye takozh vidomoyu yak indeks Sorensena ta koeficiyent podibnosti Dajsa angl Dice similarity coefficient DSC dzherelo EtimologiyaVvazhayut sho nazvu F miri vona otrimala na chest inshoyi F funkciyi z knigi van Rijsbergena koli yiyi bulo predstavleno ta chetvertij en angl Fourth Message Understanding Conference MUC 4 1992 ViznachennyaCej rozdil potrebuye dodatkovih posilan na dzherela dlya polipshennya jogo perevirnosti Bud laska dopomozhit udoskonaliti cej rozdil dodavshi posilannya na nadijni avtoritetni dzherela Zvernitsya na storinku obgovorennya za poyasnennyami ta dopomozhit vipraviti nedoliki Material bez dzherel mozhe buti piddano sumnivu ta vilucheno zhovten 2020 Tradicijna F mira abo zbalansovana F ocinka mira F1 ye serednim garmonijnim vluchnosti ta povnoti F1 2 povnota 1 vluchnist 1 2 vluchnist povnota vluchnist povnota IP IP 1 2 HP HN Fb Zagalnishoyu F miroyu Fb sho vikoristovuye dodatnij dijsnoznachnij koeficiyent b de b obirayut tak sho povnotu vvazhayut u b raziv vazhlivishoyu za vluchnist ye Fb 1 b2 vluchnist povnota b2 vluchnist povnota V terminah pomilok pershogo i drugogo rodu ce staye Fb 1 b2 istinno pozitivni 1 b2 istinno pozitivni b2 hibno negativni hibno pozitivni Dvoma shiroko vzhivanimi znachennyami b ye 2 yake nadaye povnoti bilshoyi vagi nizh vluchnosti ta 0 5 yake nadaye povnoti menshoyi vagi nizh vluchnosti F miru bulo vivedeno takim chinom sho Fb vimiryuye efektivnist poshuku z urahuvannyam koristuvacha yakij nadaye v b raziv vishoyi vazhlivosti povnoti nizh vluchnosti Vona gruntuyetsya na miri efektivnosti en E 1 a v 1 a p 1 Voni ye vzayemopov yazanimi yak Fb 1 E de a 1 1 b2 Diagnostichne doslidzhennyaVono pov yazane z galuzzyu binarnoyi klasifikaciyi de povnotu chasto nazivayut chutlivistyu Spravzhnij stan zagalna sukupnist pozitivnij stan negativnij stan poshirenist S pozitivnih staniv S zagalnoyi sukupnosti tochnist S istinno pozitivnih S istinno negativnih S zagalnoyi sukupnosti Prognozovanij stan pozitivnij prognozovanij stan istinno pozitivnij hibno pozitivnij pomilka I rodu prognostichna znachushist pozitivnogo rezultatu PZ vluchnist S istinno pozitivnih S pozitivnih prognozovanih staniv en RHV S hibno pozitivnih S pozitivnih prognozovanih staniv negativnij prognozovanij stan hibno negativnij pomilka II rodu istinno negativnij riven hibnogo propuskannya RHP S hibno negativnih S negativnih prognozovanih staniv prognostichna znachushist negativnogo rezultatu PZ S istinno negativnih S negativnih prognozovanih staniv istinnopozitivnij riven IPR povnota chutlivist jmovirnist viyavlennya potuzhnist S istinno pozitivnih S pozitivnih staniv hibnopozitivnij riven HPR pobichnij produkt jmovirnist hibnoyi trivogi S hibno pozitivnih S negativnih staniv vidnoshennya pravdopodibnosti pozitivnogo rezultatu VP IPR HPR diagnostichne vidnoshennya shansiv DVSh VP VP mira F1 2 vluchnist povnota vluchnist povnota hibnonegativnij riven HNR koeficiyent nevluchannya S hibno negativnih S pozitivnih staniv specifichnist vibirnist istinnonegativnij riven INR S istinno negativnih S negativnih staniv vidnoshennya pravdopodibnosti negativnogo rezultatu VP HNR INRZastosuvannyaF miru chasto vikoristovuyut v galuzi informacijnogo poshuku dlya vimiryuvannya produktivnosti poshuku klasifikaciyi dokumentiv ta en Ranni praci zoseredzhuvalisya perevazhno na miri F1 ale z poshirennyam velikomasshtabnih poshukovih rushiyiv cili produktivnosti zminilisya na akcentuvannya bilshoyi uvagi abo na vluchnosti abo na povnoti tozh Fb pomitno u shirokomu vzhitku F miru takozh vikoristovuyut u mashinnim navchanni Prote F miri ne berut do uvagi istinno negativnih tozh dlya ocinyuvannya produktivnosti binarnogo klasifikatora mozhut viddavati perevagu en chi en F mira znajshla shirokij vzhitok v literaturi z obrobki prirodnih mov napriklad pri ocinyuvanni rozpiznavannya imenovanih sutnostej ta en Kritika en ta inshi kritikuyut shiroke vikoristannya miri F1 oskilki vona nadaye odnakovoyi vazhlivosti vluchnosti ta povnoti Na praktici rizni tipi pomilkovoyi klasifikaciyi prizvodyat do riznih vtrat Inshimi slovami vidnosna vazhlivist vluchnosti ta povnoti ye odnim iz aspektiv zadachi Zgidno Davide Chikko ta Dzhuzeppe Zhurmana mira F1 ye mensh pravdivoyu ta informativnoyu dlya klasifikaciyi binarnogo ocinyuvannya nizh en KKM angl Matthews correlation coefficient MCC Devid Pauers vkazav sho F1 ignoruye istinno negativni j vidtak ye omanlivoyu dlya nezbalansovanih klasiv todi yak miri kappa ta korelyaciyi ye simetrichnimi j ocinyuyut obidva napryamki peredbachuvanosti klasifikator sho peredbachuye istinnij klas ta istinnij klas sho peredbachuye peredbachennya klasifikatora proponuyuchi okremi bagatoklasovi miri en ta en dlya cih dvoh napryamkiv zaznachayuchi sho yihnye serednye geometrichne ye korelyaciyeyu Vidminnist vid indeksu Faulksa MettyuzaV toj chas yak F mira ye serednim garmonijnim povnoti ta vluchnosti en ye yihnim serednim geometrichnim Rozshirennya do bagatoklasovoyi klasifikaciyiF miru takozh vikoristovuyut dlya ocinyuvannya zadach iz ponad dvoma klasami en V cij postanovci ostatochnu miru otrimuyut mikrouserednyuvannyam z uperedzhennyam za chastotoyu klasiv abo makrouserednyuvannyam beruchi vsi klasi odnakovo vazhlivimi Dlya makrouserednyuvannya zastosovuvachi vikoristovuvati dvi rizni formuli F miru arifmetichnih serednih vluchnosti ta povnoti po vsih klasah ta arifmetichne serednye F mir po vsih klasah sered yakih krajnya viyavlyaye bazhanishi vlastivosti Div takozhMatricya nevidpovidnostej METEOR en en Robocha harakteristika prijmacha en en vidomij takozh yak vpravnist angl proficiency en PrimitkiGushin I V Sich D O zhovten 2018 PDF Molodij vchenij Harkivskij nacionalnij universitet imeni V N Karazina 10 62 264 266 Arhiv originalu PDF za 27 veresnya 2020 Procitovano 4 zhovtnya 2020 Alguliyev R M Aliguliyev R M Imamverdiyev Y N Sukhostat L V 2018 An improved ensemble approach for dos attacks detection Radioelektronika informatika upravlinnya 2 73 82 Sasaki Y 2007 PDF Arhiv originalu PDF za 23 veresnya 2020 Procitovano 4 zhovtnya 2020 angl Van Rijsbergen C J 1979 vid 2nd Butterworth Heinemann Arhiv originalu za 6 kvitnya 2005 Procitovano 4 zhovtnya 2020 angl Beitzel Steven M 2006 On Understanding and Classifying Web Queries Diplomna robota Ph D IIT CiteSeerX 10 1 1 127 634 angl X Li Y Y Wang A Acero July 2008 Learning query intent from regularized click graphs Proceedings of the 31st SIGIR Conference doi 10 1145 1390334 1390393 S2CID 8482989 angl Div napriklad ocinku 1 angl Powers David M W 2015 What the F measure doesn t measure arXiv 1503 06410 cs IR angl Derczynski L 2016 Proceedings of the International Conference on Language Resources and Evaluation Arhiv originalu za 8 bereznya 2021 Procitovano 4 zhovtnya 2020 angl Hand David app dimensions ai angl doi 10 1007 s11222 017 9746 6 hdl 10044 1 46235 S2CID 38782128 Arhiv originalu za 9 zhovtnya 2020 Procitovano 8 grudnya 2018 angl Chicco D Jurman G January 2020 The advantages of the Matthews correlation coefficient MCC over F1 score and accuracy in binary classification evaluation BMC Genomics 21 6 6 doi 10 1186 s12864 019 6413 7 PMC 6941312 PMID 31898477 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya angl Powers David M W 2011 Evaluation From Precision Recall and F Score to ROC Informedness Markedness amp Correlation Journal of Machine Learning Technologies 2 1 37 63 hdl 2328 27165 angl Tharwat A August 2018 Classification assessment methods Applied Computing and Informatics ahead of print doi 10 1016 j aci 2018 08 003 angl J Opitz S Burst 2019 Macro F1 and Macro F1 arXiv 1911 03347 stat ML angl