Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
В розпізнаванні образів, інформаційному пошуку та класифікації, влу́чність (англ. precision, яку також називають прогностичною значущістю позитивного результату) є часткою релевантних зразків серед знайдених, тоді як повнота́ (англ. recall, відома також як чутливість) є часткою загального числа позитивних зразків, яку було дійсно знайдено. Як влучність, так і повнота, відтак ґрунтуються на розумінні та мірі релевантності. Влучність не слід плутати з точністю (англ. accuracy), яка є часткою правильно спрогнозованих результатів, як позитивних, так і негативних. Влучність стосується лише позитивних результатів.
Нехай комп'ютерна програма для розпізнавання собак на фотографіях виявила 8 собак на зображенні, що містить 10 котів та 12 собак (власне релевантних елементів). Серед 8 ідентифікованих як собаки 5 і справді є собаками (істинно позитивні), тоді як інші 3 є котами (хибно позитивні). 7 собак було пропущено (хибно негативні), а 7 котів було виключено правильно (істинно негативні). Влучність цієї програми становить 5/8 (істинно позитивні / всі позитивні), тоді як повнота — 5/12 (істинно позитивні / релевантні елементи). Коли пошуковий рушій повертає 30 сторінок, лише 20 з яких є релевантними, в той же час виявляючись нездатним повернути 40 додаткових релевантних сторінок, його влучність становить 20/30 = 2/3, тоді як повнота — 20/60 = 1/3. Тож, у цьому випадку, влучність показує, «наскільки правильними є результати», тоді як повнота — «наскільки повними є результати».
Якщо застосовувати підхід перевірки гіпотез зі статистики, в якому, в цьому випадку, нульова гіпотеза полягає в тім, що заданий зразок є нерелевантним, тобто, не собакою, то відсутність помилок першого і другого роду (тобто, ідеальні чутливість та специфічність у 100 % кожна) відповідає, відповідно, ідеальній влучності (без хибно позитивних) та ідеальній повноті (без хибно негативних).
Загальніше, повнота є просто доповненням рівня помилок II роду, тобто, одиниця мінус рівень помилок II роду. Влучність пов'язана з рівнем помилок I роду, але дещо складнішим чином, оскільки вона також залежить від апріорного розподілу спостерігання релевантного, чи нерелевантного зразка.
Наведений вище приклад із котами та собаками містив 8 − 5 = 3 помилки I роду, що давало рівень помилок I роду 3/10, та 12 − 5 = 7 помилок II роду, що давало рівень помилок II роду 7/12. Влучність можливо розглядати як рівень якості, тоді як повноту — як рівень кількості. Вища влучність означає, що алгоритм видає більше релевантних зразків, ніж нерелевантних, а висока повнота означає, що алгоритм видає більшість із релевантних результатів (незалежно від того, чи він також видає й нерелевантні).
Введення
В інформаційному пошуку зразками є документи, а задачею є повернути набір релевантних документів для заданої умови пошуку. Повнота є числом релевантних документів, знайдених пошуком, поділеним на загальне число релевантних документів, які існують, тоді як влучність є числом релевантних документів, знайдених пошуком, поділеним на загальне число знайдених документів, які знайшов цей пошук.
В задачі класифікації, влучністю для певного класу є число істинно позитивних (тобто, число зразків, правильно відмічених як належні до позитивного класу), поділене на загальне число елементів, відмічених як належні до позитивного класу (тобто, суму істинно позитивних та хибно позитивних, що є зразками, неправильно відміченими як належні до позитивного класу). Повноту в цьому контексті визначено як число істинно позитивних, поділене на загальне число елементів, що насправді належать до позитивного класу (тобто, суму істинно позитивних та хибно негативних, що є зразками, як не було відмічено як належні до позитивного класу, але повинно було бути відмічено).
В інформаційному пошуку ідеальна оцінка влучності в 1,0 означає, що кожен з результатів, знайдених пошуком, був релевантним (але не каже нічого про те, чи всі релевантні документи було знайдено), тоді як ідеальна оцінка повноти в 1,0 означає, що цим пошуком було знайдено всі релевантні документи (але не каже нічого про те, як багато було знайдено також і нерелевантних документів).
В задачі класифікації оцінка влучності в 1,0 для класу C означає, що кожен зі зразків, відмічений як належний до класу C, й насправді належить до класу C (але не каже нічого про число зразків з класу C, які не було правильно відмічено), тоді як повнота в 1,0 означає, що кожен зі зразків з класу C було відмічено як належний до класу C (але не каже нічого про те, скільки зразків з інших класів було неправильно відмічено як належні до класу C).
Між влучністю й повнотою часто існує обернена залежність, коли можливо підвищити одну ціною зниження іншої. Наочним прикладом цього компромісу є нейрохірургія. Розгляньмо нейрохірурга, який видаляє ракову пухлину з мозку пацієнта. Нейрохірургові потрібно видалити всі клітини пухлини, оскільки залишені ракові клітини відродять пухлину. І навпаки, нейрохірург мусить не видаляти здорові клітини мозку, оскільки це призведе до порушень функцій мозку пацієнта. Нейрохірург може бути більш розмашистим щодо області мозку, яку він видаляє, щоби забезпечити видалення всіх ракових клітин. Це рішення підвищує повноту, але знижує влучність. З іншого боку, нейрохірург може бути консервативнішим щодо мозку, який він видаляє, щоби забезпечити вилучення лише ракових клітин. Це рішення підвищує влучність, але знижує повноту. Тобто, вища повнота підвищує шанси видалення здорових клітин (негативний результат), і підвищує шанси видалення всіх ракових клітин (позитивний результат). Вища влучність знижує шанси вилучення здорових клітин (позитивний результат), але також знижує шанси видалення всіх ракових клітин (негативний результат).
Зазвичай оцінки влучності та повноти не обговорюють окремо. Натомість, або значення однієї міри порівнюють за фіксованого рівня іншої міри (наприклад, влучність на рівні повноти 0,75), або поєднують обидві в єдину міру. Прикладами мір, що є поєднаннями влучності та повноти, є F-міра (зважене середнє гармонійне влучності та повноти) та [en], що є середнім геометричним скоригованих на шанси варіантів: коефіцієнтів регресії [en] (Δp') та [en] (Δp). Точність є зваженим (на зміщення) середнім арифметичним влучності та оберненої влучності, так само як і зваженим (на поширеність) середнім арифметичним повноти та оберненої повноти. Обернена влучність та обернена повнота є просто влучністю та повнотою оберненої задачі, де позитивні та негативні мітки поміняно місцями (як для справжніх класів, так і для передбачуваних міток). Повноту та обернену повноту, або, рівнозначно, істиннопозитивний та хибнопозитивний рівні часто відкладають один проти одного як криві РХП, забезпечуючи принциповий механізм дослідження компромісів робочої точки. Поза інформаційним пошуком застосування повноти, влучності та F-міри вважають хибним, оскільки вони ігнорують істинно негативну комірку таблиці невідповідностей, й ними легко маніпулювати, зміщуючи передбачення. Першу проблему «розв'язують» застосуванням точності, а другу проблему «розв'язують» знижуванням складової шансу та перенормовуванням до [en], але це більше не дає можливості досліджувати компроміси графічно. Проте, [en] та [en] є каппа-подібними перенормуваннями повноти та влучності, а їхній середній геометричний [en] відтак виступає незміщеною F-мірою.
Визначення (в контексті інформаційного пошуку)
В контексті інформаційного пошуку визначення влучності та повноти подають в термінах множини знайдених документів (наприклад, переліку документів, виробленого рушієм вебпошуку для якогось запиту), та множини релевантних документів (наприклад, переліку всіх документів в Інтернеті, що є релевантними для певного предмету), пор. релевантність.
Влучність
В галузі інформаційного пошуку, влучність є часткою знайдених документів, що є релевантними запитові:
- влучність = | {релевантні документи} ∩ {знайдені документи} |/| {знайдені документи} |
Наприклад, для текстового пошуку на множині документів, влучність є числом правильних результатів, поділеним на число всіх повернених результатів.
Влучність бере до уваги всі знайдені документи, але її також можливо оцінювати на заданому рівні відсікання, враховуючи лише розташовані найвище результати, що повертає система. Таку міру називають «N-влучністю» (англ. precision at n, P@n).
Влучність використовують разом із повнотою, відсотком всіх релевантних документів, який повертає пошук. Ці дві міри іноді використовують разом в оцінці F1 (або F-мірі), щоби забезпечити єдине вимірювання для системи.
Зауважте, що значення та вживання терміну «влучність» (англ. precision) в області інформаційного пошуку відрізняється від визначення точності та прецизійності (англ. accuracy and precision) в межах інших галузей науки та технології.
Повнота
В інформаційному пошуку повнота є часткою релевантних документів, яку вдається успішно знайти.
- повнота = | {релевантні документи} ∩ {знайдені документи} |/| {релевантні документи} |
Наприклад, для текстового пошуку на множині документів, повнота є числом правильних результатів, поділеним на число результатів, які мало би бути повернуто.
В бінарній класифікації повноту називають чутливістю. Її можливо розглядати як імовірність того, що релевантний документ буде знайдено за запитом.
Досягти повноти 100 % тривіально, якщо повертати у відповідь на запит всі документи. Отже, повнота сама по собі не є достатньою, й потрібно також вимірювати й число нерелевантних документів, наприклад, обчислюючи також і влучність.
Визначення (в контексті класифікації)
Для задач класифікації, терміни істинно позитивні, істинно негативні, хибно позитивні та хибно негативні (див. визначення в помилках першого і другого роду) є порівняннями результатів тестованого класифікатора з надійними зовнішніми судженнями. Терміни позитивні та негативні стосуються передбачень класифікатора (які іноді називають очікуванням), а терміни істинно та хибно стосуються того, чи це передбачення відповідає зовнішньому судженню (іноді відомому як спостереження).
Визначмо експеримент із П позитивними зразками та Н негативними зразками для якоїсь умови. Ці чотири результати може бути виражено таблицею спряженості або матрицею невідповідностей 2×2 наступним чином:
| Справжній стан | ||||||
| загальна сукупність | позитивний стан | негативний стан | поширеність = Σ позитивних станів/Σ загальної сукупності | точність = Σ істинно позитивних + Σ істинно негативних/Σ загальної сукупності | ||
| позитивний прогнозований стан | (істинно позитивний) | (хибно позитивний), помилка I роду | прогностична значущість позитивного результату (ПЗ+), влучність = Σ істинно позитивних/Σ позитивних прогнозованих станів | [en] (РХВ) = Σ хибно позитивних/Σ позитивних прогнозованих станів | ||
| негативний прогнозований стан | (хибно негативний), помилка II роду | (істинно негативний) | (рівень хибного пропускання) (РХП) = Σ хибно негативних/Σ негативних прогнозованих станів | прогностична значущість негативного результату (ПЗ-) = Σ істинно негативних/Σ негативних прогнозованих станів | ||
| істиннопозитивний рівень (ІПР), повнота, чутливість, ймовірність виявлення, потужність = Σ істинно позитивних/Σ позитивних станів | хибнопозитивний рівень (ХПР), побічний продукт, ймовірність хибної тривоги = Σ хибно позитивних/Σ негативних станів | відношення правдоподібності позитивного результату (ВП+) = ІПР/ХПР | діагностичне відношення шансів (ДВШ) = ВП+/ВП− | міра F1 = 2 · влучність · повнота/влучність + повнота | ||
| (хибнонегативний рівень) (ХНР), коефіцієнт невлучання = Σ хибно негативних/Σ позитивних станів | специфічність, вибірність, істиннонегативний рівень (ІНР) = Σ істинно негативних/Σ негативних станів | відношення правдоподібності негативного результату (ВП-) = ХНР/ІНР | ||||
Джерела: Fawcett (2006), Powers (2011), Ting (2011), CAWCR, D. Chicco & G. Jurman (2020) (2020), Tharwat (2018), Смоляр та ін. (2013), Коваль та ін. (2016), Швець (2015), Гущин та Сич (2018), Мірошниченко та Івлієва (2019). |
Влучність та повноту тоді визначають як
- Влучність = ІП/ІП + ХП
- Повнота = ІП/ІП + ХН
Повноту в цьому контексті також називають істиннопозитивним рівнем, або чутливістю, а влучність також називають Прогностична значущість позитивного результату (ПЗ+). До інших пов'язаних мір, які використовують у класифікації, належать істиннонегативний рівень, та точність. Істиннонегативний рівень також називають специфічністю.
- Істиннонегативний рівень = ІН/ІН + ХП
Незбалансовані дані
- Точність = ІП + ІН/ІП + ІН + ХП + ХН
Для незбалансованих наборів даних точність може бути оманливою метрикою. Розгляньмо вибірку з 95 негативними та 5 позитивними значеннями. Класифікування всіх значень як негативних у цьому випадку дає оцінку точності 0,95. Існує багато метрик, які не страждають на цю проблему. Наприклад, збалансована точність (ЗТ, англ. balanced accuracy, bACC) унормовує істинно позитивні та істинно негативні передбачення числом позитивних та негативних зразків відповідно, й ділить їхню суму навпіл:
- Збалансована точність = ІПР + ХПР/2
Для попереднього прикладу (95 негативних та 5 позитивних зразків), класифікування всіх як негативних дає оцінку збалансованої точності 0,5 (максимальною оцінкою ЗТ є одиниця), що є рівнозначним математичному сподіванню випадкового вгадування у збалансованому наборі даних. Збалансована точність може слугувати загальною метрикою продуктивності моделі, незалежно від того, чи є справжні мітки в даних незбалансованими, чи ні, вважаючи втрати на ХН такими же, як і на ХП.
Іншою метрикою є рівень позитивного прогнозованого стану (РППС, англ. predicted positive condition rate, PPCR), що визначає відсоток від загальної сукупності, який буде промарковано. Наприклад, для пошукового рушія, що повертає 30 результатів (знайдених документів) з 1 000 000 документів, РППС становить 0,003 %.
- Рівень позитивного прогнозованого стану = ІП + ХП/ІП + ХП + ІН + ХН
Згідно Сайто та Ремсмаєра, при оцінюванні бінарних класифікаторів на незбалансованих даних графіки влучності—повноти є інформативнішими за графіки РХП. За таких сценаріїв графіки РХП можуть бути візуально оманливими для висновків про надійність виконання класифікації.
Імовірнісна інтерпретація
Влучність і повноту також можливо інтерпретувати не як відношення, а як оцінки ймовірностей:
- Влучність є оцінкою ймовірності того, що документ, випадково вибраний з пулу знайдених документів, є релевантним.
- Повнота є оцінкою ймовірності того, що документ, випадково вибраний з пулу релевантних документів, буде знайдено.
Іншою інтерпретацією є те, що влучність є усередненою ймовірністю релевантного знаходження, а повнота є усередненою ймовірністю повного знаходження, усереднені над багатократними запитами пошуку.
F-міра
Мірою, яка поєднує влучність та повноту, є середнє гармонійне влучності та повноти, традиційна F-міра, або збалансована F-оцінка:
- F = 2 · влучність · повнота/влучність + повнота
Ця міра є приблизно усередненням цих двох, коли вони є близькими, а загальніше є середнім гармонійним, що, у випадку двох чисел, збігається з квадратом середнього геометричного, поділеним на середнє арифметичне. Існує декілька причин, через які F-оцінку може бути критиковано за певних обставин через її зсув як оцінної метрики. Вона є також відомою як міра F1, оскільки повнота та чутливість є зваженими рівномірно.
Вона є окремим випадком загальної міри Fβ (для невід'ємних дійсних значень β):
- Fβ = (1 + β2) · влучність · повнота/β2 · влучність + повнота
Двома іншими широко вживаними мірами F є міра F2, яка приділяє повноті більшої ваги, аніж влучності, та міра F0,5, що робить більший акцент на влучності, аніж на повноті.
F-міру було виведено ван Рійсберґеном (1979) таким чином, що Fβ «вимірює ефективність пошуку з урахуванням користувача, який надає в β разів вищої важливості повноті, ніж влучності». Вона ґрунтується на мірі ефективності ван Рійсберґена Eα = 1 − 1/α/В + 1−α/П, де другий член є зваженим середнім гармонійним влучності та повноти з вагами (α, 1 − α). Вони є взаємопов'язаними як Fβ = 1 − Eα, де α = 1/1 + β2.
Обмеження як цілі
Існують інші параметри та стратегії міри продуктивності системи інформаційного пошуку, такі як площа під кривою РХП (ППК, англ. AUC).
Див. також
- [en], відомий також як вправність (англ. proficiency)
- Чутливість та специфічність
Джерела
- Гущин, І. В.; Сич, Д. О. (жовтень 2018). (PDF). Молодий вчений. Харківський національний університет імені В.Н. Каразіна. 10 (62): 264—266. Архів оригіналу (PDF) за 27 вересня 2020. Процитовано 10 жовтня 2020.
- Швець У. С. Основні поняття доказової медицини. — 2015. з джерела 20 вересня 2020. Процитовано 10 жовтня 2020.
- Коваль, С.С.; Макеєв, С.С.; Новікова, Т.Г. (2016). . Клінічна онкологія. Київ: ДУ «Інститут нейрохірургії ім. акад. А.П. Ромоданова НАМН України». 3 (23). Архів оригіналу за 27 жовтня 2020. Процитовано 10 жовтня 2020.
- Powers, David M W (2011). (PDF). Journal of Machine Learning Technologies. 2 (1): 37—63. Архів оригіналу (PDF) за 14 листопада 2019. (англ.)
- Perruchet, P.; Peereman, R. (2004). The exploitation of distributional information in syllable processing. J. Neurolinguistics. 17 (2–3): 97—119. doi:10.1016/s0911-6044(03)00059-9. S2CID 17104364. (англ.)
- Powers, David M. W. (2012). . Conference of the European Chapter of the Association for Computational Linguistics (EACL2012) Joint ROBUS-UNSUP Workshop. Архів оригіналу за 8 березня 2021. Процитовано 10 жовтня 2020. (англ.)
- * Kent, Allen; Berry, Madeline M.; Luehrs, Jr., Fred U.; Perry, J.W. (1955). Machine literature searching VIII. Operational criteria for designing information retrieval systems. American Documentation. 6 (2): 93. doi:10.1002/asi.5090060209. (англ.)
- Смоляр, В.А.; Шаповал, Н.А.; Гузь, О.А; Хоперія, В.Г. (2013). Оцінка ефективності експрес-гістологічного дослідження у визначенні обсягу дисекції за папілярного раку щитоподібної залози. Клінічна ендокринологія та ендокринна хірургія. Київ: Український науково-практичний центр ендокринної хірургії, трансплантації ендокринних органів і тканин МОЗ України. 3 (44).
- Мірошниченко, І. В.; Івлієва, К. Г. (2019). Оцінювання кредитного ризику методами машинного навчання. doi:10.32702/2307-2105-2019.12.87.
- Fawcett, Tom (2006). An Introduction to ROC Analysis (PDF). Pattern Recognition Letters. 27 (8): 861—874. doi:10.1016/j.patrec.2005.10.010. (англ.)
- Powers, David M W (2011). Evaluation: From Precision, Recall and F-Measure to ROC, Informedness, Markedness & Correlation. Journal of Machine Learning Technologies. 2 (1): 37—63. (англ.)
- Ting, Kai Ming (2011). Sammut, Claude; Webb, Geoffrey I (ред.). Encyclopedia of machine learning. Springer. doi:10.1007/978-0-387-30164-8. ISBN . (англ.)
- Brooks, Harold; Brown, Barb; Ebert, Beth; Ferro, Chris; Jolliffe, Ian; Koh, Tieh-Yong; Roebber, Paul; Stephenson, David (26 січня 2015). WWRP/WGNE Joint Working Group on Forecast Verification Research. Collaboration for Australian Weather and Climate Research. World Meteorological Organisation. Процитовано 17 липня 2019. (англ.)
- Chicco D, Jurman G (January 2020). The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation. BMC Genomics. 21 (1): 6-1–6-13. doi:10.1186/s12864-019-6413-7. PMC 6941312. PMID 31898477.
{{}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () (англ.) - Tharwat A (August 2018). Classification assessment methods. Applied Computing and Informatics. doi:10.1016/j.aci.2018.08.003. (англ.)
- Olson, David L.; and Delen, Dursun (2008); Advanced Data Mining Techniques, Springer, 1st edition (February 1, 2008), page 138, (англ.)
- Mower, Jeffrey P. (12 квітня 2005). PREP-Mt: predictive RNA editor for plant mitochondrial genes. BMC Bioinformatics. 6: 96. doi:10.1186/1471-2105-6-96. ISSN 1471-2105. PMC 1087475. PMID 15826309.
{{}}: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () (англ.) - Saito, Takaya; Rehmsmeier, Marc (4 березня 2015). Brock, Guy (ред.). The Precision-Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets. PLOS ONE (англ.). 10 (3): e0118432. Bibcode:2015PLoSO..1018432S. doi:10.1371/journal.pone.0118432. ISSN 1932-6203. PMC 4349800. PMID 25738806.
{{}}: Проігноровано невідомий параметр|lay-date=(); Проігноровано невідомий параметр|lay-url=()Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () (англ.) - Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff, Deep Metric Learning to Rank [ 14 травня 2019 у Wayback Machine.], In Proc. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019. (англ.)
- Zygmunt Zając. What you wanted to know about AUC. http://fastml.com/what-you-wanted-to-know-about-auc/ [ 21 вересня 2020 у Wayback Machine.] (англ.)
- Baeza-Yates, Ricardo; Ribeiro-Neto, Berthier (1999). Modern Information Retrieval. New York, NY: ACM Press, Addison-Wesley, Seiten 75 ff. (англ.)
- Hjørland, Birger (2010); The foundation of the concept of relevance, Journal of the American Society for Information Science and Technology, 61(2), 217—237 (англ.)
- [en]; Kubala, Francis; Schwartz, Richard; and Weischedel, Ralph (1999); Performance measures for information extraction [ 19 грудня 2009 у Wayback Machine.], in Proceedings of DARPA Broadcast News Workshop, Herndon, VA, February 1999 (англ.)
- van Rijsbergen, Cornelis Joost «Keith» (1979); Information Retrieval, London, GB; Boston, MA: Butterworth, 2nd Edition, (англ.)
Посилання
- Інформаційний пошук — книга К. Й. ван Рійсберґена (1979) [ 6 квітня 2005 у Wayback Machine.] (англ.)
- Обчислювання точності та повноти у задачі багатокласової класифікації [ 11 серпня 2016 у Wayback Machine.] (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
V rozpiznavanni obraziv informacijnomu poshuku ta klasifikaciyi vlu chnist angl precision yaku takozh nazivayut prognostichnoyu znachushistyu pozitivnogo rezultatu ye chastkoyu relevantnih zrazkiv sered znajdenih todi yak povnota angl recall vidoma takozh yak chutlivist ye chastkoyu zagalnogo chisla pozitivnih zrazkiv yaku bulo dijsno znajdeno Yak vluchnist tak i povnota vidtak gruntuyutsya na rozuminni ta miri relevantnosti Vluchnist ne slid plutati z tochnistyu angl accuracy yaka ye chastkoyu pravilno sprognozovanih rezultativ yak pozitivnih tak i negativnih Vluchnist stosuyetsya lishe pozitivnih rezultativ Vluchnist i povnota Nehaj komp yuterna programa dlya rozpiznavannya sobak na fotografiyah viyavila 8 sobak na zobrazhenni sho mistit 10 kotiv ta 12 sobak vlasne relevantnih elementiv Sered 8 identifikovanih yak sobaki 5 i spravdi ye sobakami istinno pozitivni todi yak inshi 3 ye kotami hibno pozitivni 7 sobak bulo propusheno hibno negativni a 7 kotiv bulo viklyucheno pravilno istinno negativni Vluchnist ciyeyi programi stanovit 5 8 istinno pozitivni vsi pozitivni todi yak povnota 5 12 istinno pozitivni relevantni elementi Koli poshukovij rushij povertaye 30 storinok lishe 20 z yakih ye relevantnimi v toj zhe chas viyavlyayuchis nezdatnim povernuti 40 dodatkovih relevantnih storinok jogo vluchnist stanovit 20 30 2 3 todi yak povnota 20 60 1 3 Tozh u comu vipadku vluchnist pokazuye naskilki pravilnimi ye rezultati todi yak povnota naskilki povnimi ye rezultati Yaksho zastosovuvati pidhid perevirki gipotez zi statistiki v yakomu v comu vipadku nulova gipoteza polyagaye v tim sho zadanij zrazok ye nerelevantnim tobto ne sobakoyu to vidsutnist pomilok pershogo i drugogo rodu tobto idealni chutlivist ta specifichnist u 100 kozhna vidpovidaye vidpovidno idealnij vluchnosti bez hibno pozitivnih ta idealnij povnoti bez hibno negativnih Zagalnishe povnota ye prosto dopovnennyam rivnya pomilok II rodu tobto odinicya minus riven pomilok II rodu Vluchnist pov yazana z rivnem pomilok I rodu ale desho skladnishim chinom oskilki vona takozh zalezhit vid apriornogo rozpodilu sposterigannya relevantnogo chi nerelevantnogo zrazka Navedenij vishe priklad iz kotami ta sobakami mistiv 8 5 3 pomilki I rodu sho davalo riven pomilok I rodu 3 10 ta 12 5 7 pomilok II rodu sho davalo riven pomilok II rodu 7 12 Vluchnist mozhlivo rozglyadati yak riven yakosti todi yak povnotu yak riven kilkosti Visha vluchnist oznachaye sho algoritm vidaye bilshe relevantnih zrazkiv nizh nerelevantnih a visoka povnota oznachaye sho algoritm vidaye bilshist iz relevantnih rezultativ nezalezhno vid togo chi vin takozh vidaye j nerelevantni VvedennyaV informacijnomu poshuku zrazkami ye dokumenti a zadacheyu ye povernuti nabir relevantnih dokumentiv dlya zadanoyi umovi poshuku Povnota ye chislom relevantnih dokumentiv znajdenih poshukom podilenim na zagalne chislo relevantnih dokumentiv yaki isnuyut todi yak vluchnist ye chislom relevantnih dokumentiv znajdenih poshukom podilenim na zagalne chislo znajdenih dokumentiv yaki znajshov cej poshuk V zadachi klasifikaciyi vluchnistyu dlya pevnogo klasu ye chislo istinno pozitivnih tobto chislo zrazkiv pravilno vidmichenih yak nalezhni do pozitivnogo klasu podilene na zagalne chislo elementiv vidmichenih yak nalezhni do pozitivnogo klasu tobto sumu istinno pozitivnih ta hibno pozitivnih sho ye zrazkami nepravilno vidmichenimi yak nalezhni do pozitivnogo klasu Povnotu v comu konteksti viznacheno yak chislo istinno pozitivnih podilene na zagalne chislo elementiv sho naspravdi nalezhat do pozitivnogo klasu tobto sumu istinno pozitivnih ta hibno negativnih sho ye zrazkami yak ne bulo vidmicheno yak nalezhni do pozitivnogo klasu ale povinno bulo buti vidmicheno V informacijnomu poshuku idealna ocinka vluchnosti v 1 0 oznachaye sho kozhen z rezultativ znajdenih poshukom buv relevantnim ale ne kazhe nichogo pro te chi vsi relevantni dokumenti bulo znajdeno todi yak idealna ocinka povnoti v 1 0 oznachaye sho cim poshukom bulo znajdeno vsi relevantni dokumenti ale ne kazhe nichogo pro te yak bagato bulo znajdeno takozh i nerelevantnih dokumentiv V zadachi klasifikaciyi ocinka vluchnosti v 1 0 dlya klasu C oznachaye sho kozhen zi zrazkiv vidmichenij yak nalezhnij do klasu C j naspravdi nalezhit do klasu C ale ne kazhe nichogo pro chislo zrazkiv z klasu C yaki ne bulo pravilno vidmicheno todi yak povnota v 1 0 oznachaye sho kozhen zi zrazkiv z klasu C bulo vidmicheno yak nalezhnij do klasu C ale ne kazhe nichogo pro te skilki zrazkiv z inshih klasiv bulo nepravilno vidmicheno yak nalezhni do klasu C Mizh vluchnistyu j povnotoyu chasto isnuye obernena zalezhnist koli mozhlivo pidvishiti odnu cinoyu znizhennya inshoyi Naochnim prikladom cogo kompromisu ye nejrohirurgiya Rozglyanmo nejrohirurga yakij vidalyaye rakovu puhlinu z mozku paciyenta Nejrohirurgovi potribno vidaliti vsi klitini puhlini oskilki zalisheni rakovi klitini vidrodyat puhlinu I navpaki nejrohirurg musit ne vidalyati zdorovi klitini mozku oskilki ce prizvede do porushen funkcij mozku paciyenta Nejrohirurg mozhe buti bilsh rozmashistim shodo oblasti mozku yaku vin vidalyaye shobi zabezpechiti vidalennya vsih rakovih klitin Ce rishennya pidvishuye povnotu ale znizhuye vluchnist Z inshogo boku nejrohirurg mozhe buti konservativnishim shodo mozku yakij vin vidalyaye shobi zabezpechiti viluchennya lishe rakovih klitin Ce rishennya pidvishuye vluchnist ale znizhuye povnotu Tobto visha povnota pidvishuye shansi vidalennya zdorovih klitin negativnij rezultat i pidvishuye shansi vidalennya vsih rakovih klitin pozitivnij rezultat Visha vluchnist znizhuye shansi viluchennya zdorovih klitin pozitivnij rezultat ale takozh znizhuye shansi vidalennya vsih rakovih klitin negativnij rezultat Zazvichaj ocinki vluchnosti ta povnoti ne obgovoryuyut okremo Natomist abo znachennya odniyeyi miri porivnyuyut za fiksovanogo rivnya inshoyi miri napriklad vluchnist na rivni povnoti 0 75 abo poyednuyut obidvi v yedinu miru Prikladami mir sho ye poyednannyami vluchnosti ta povnoti ye F mira zvazhene serednye garmonijne vluchnosti ta povnoti ta en sho ye serednim geometrichnim skorigovanih na shansi variantiv koeficiyentiv regresiyi en Dp ta en Dp Tochnist ye zvazhenim na zmishennya serednim arifmetichnim vluchnosti ta obernenoyi vluchnosti tak samo yak i zvazhenim na poshirenist serednim arifmetichnim povnoti ta obernenoyi povnoti Obernena vluchnist ta obernena povnota ye prosto vluchnistyu ta povnotoyu obernenoyi zadachi de pozitivni ta negativni mitki pominyano miscyami yak dlya spravzhnih klasiv tak i dlya peredbachuvanih mitok Povnotu ta obernenu povnotu abo rivnoznachno istinnopozitivnij ta hibnopozitivnij rivni chasto vidkladayut odin proti odnogo yak krivi RHP zabezpechuyuchi principovij mehanizm doslidzhennya kompromisiv robochoyi tochki Poza informacijnim poshukom zastosuvannya povnoti vluchnosti ta F miri vvazhayut hibnim oskilki voni ignoruyut istinno negativnu komirku tablici nevidpovidnostej j nimi legko manipulyuvati zmishuyuchi peredbachennya Pershu problemu rozv yazuyut zastosuvannyam tochnosti a drugu problemu rozv yazuyut znizhuvannyam skladovoyi shansu ta perenormovuvannyam do en ale ce bilshe ne daye mozhlivosti doslidzhuvati kompromisi grafichno Prote en ta en ye kappa podibnimi perenormuvannyami povnoti ta vluchnosti a yihnij serednij geometrichnij en vidtak vistupaye nezmishenoyu F miroyu Viznachennya v konteksti informacijnogo poshuku V konteksti informacijnogo poshuku viznachennya vluchnosti ta povnoti podayut v terminah mnozhini znajdenih dokumentiv napriklad pereliku dokumentiv viroblenogo rushiyem vebposhuku dlya yakogos zapitu ta mnozhini relevantnih dokumentiv napriklad pereliku vsih dokumentiv v Interneti sho ye relevantnimi dlya pevnogo predmetu por relevantnist Vluchnist V galuzi informacijnogo poshuku vluchnist ye chastkoyu znajdenih dokumentiv sho ye relevantnimi zapitovi vluchnist relevantni dokumenti znajdeni dokumenti znajdeni dokumenti Napriklad dlya tekstovogo poshuku na mnozhini dokumentiv vluchnist ye chislom pravilnih rezultativ podilenim na chislo vsih povernenih rezultativ Vluchnist bere do uvagi vsi znajdeni dokumenti ale yiyi takozh mozhlivo ocinyuvati na zadanomu rivni vidsikannya vrahovuyuchi lishe roztashovani najvishe rezultati sho povertaye sistema Taku miru nazivayut N vluchnistyu angl precision at n P n Vluchnist vikoristovuyut razom iz povnotoyu vidsotkom vsih relevantnih dokumentiv yakij povertaye poshuk Ci dvi miri inodi vikoristovuyut razom v ocinci F1 abo F miri shobi zabezpechiti yedine vimiryuvannya dlya sistemi Zauvazhte sho znachennya ta vzhivannya terminu vluchnist angl precision v oblasti informacijnogo poshuku vidriznyayetsya vid viznachennya tochnosti ta precizijnosti angl accuracy and precision v mezhah inshih galuzej nauki ta tehnologiyi Povnota V informacijnomu poshuku povnota ye chastkoyu relevantnih dokumentiv yaku vdayetsya uspishno znajti povnota relevantni dokumenti znajdeni dokumenti relevantni dokumenti Napriklad dlya tekstovogo poshuku na mnozhini dokumentiv povnota ye chislom pravilnih rezultativ podilenim na chislo rezultativ yaki malo bi buti povernuto V binarnij klasifikaciyi povnotu nazivayut chutlivistyu Yiyi mozhlivo rozglyadati yak imovirnist togo sho relevantnij dokument bude znajdeno za zapitom Dosyagti povnoti 100 trivialno yaksho povertati u vidpovid na zapit vsi dokumenti Otzhe povnota sama po sobi ne ye dostatnoyu j potribno takozh vimiryuvati j chislo nerelevantnih dokumentiv napriklad obchislyuyuchi takozh i vluchnist Viznachennya v konteksti klasifikaciyi Dlya zadach klasifikaciyi termini istinno pozitivni istinno negativni hibno pozitivni ta hibno negativni div viznachennya v pomilkah pershogo i drugogo rodu ye porivnyannyami rezultativ testovanogo klasifikatora z nadijnimi zovnishnimi sudzhennyami Termini pozitivni ta negativni stosuyutsya peredbachen klasifikatora yaki inodi nazivayut ochikuvannyam a termini istinno ta hibno stosuyutsya togo chi ce peredbachennya vidpovidaye zovnishnomu sudzhennyu inodi vidomomu yak sposterezhennya Viznachmo eksperiment iz P pozitivnimi zrazkami ta N negativnimi zrazkami dlya yakoyis umovi Ci chotiri rezultati mozhe buti virazheno tabliceyu spryazhenosti abo matriceyu nevidpovidnostej 2 2 nastupnim chinom Spravzhnij stan zagalna sukupnist pozitivnij stan negativnij stan poshirenist S pozitivnih staniv S zagalnoyi sukupnosti tochnist S istinno pozitivnih S istinno negativnih S zagalnoyi sukupnosti Prognozovanij stan pozitivnij prognozovanij stan istinno pozitivnij hibno pozitivnij pomilka I rodu prognostichna znachushist pozitivnogo rezultatu PZ vluchnist S istinno pozitivnih S pozitivnih prognozovanih staniv en RHV S hibno pozitivnih S pozitivnih prognozovanih staniv negativnij prognozovanij stan hibno negativnij pomilka II rodu istinno negativnij riven hibnogo propuskannya RHP S hibno negativnih S negativnih prognozovanih staniv prognostichna znachushist negativnogo rezultatu PZ S istinno negativnih S negativnih prognozovanih staniv istinnopozitivnij riven IPR povnota chutlivist jmovirnist viyavlennya potuzhnist S istinno pozitivnih S pozitivnih staniv hibnopozitivnij riven HPR pobichnij produkt jmovirnist hibnoyi trivogi S hibno pozitivnih S negativnih staniv vidnoshennya pravdopodibnosti pozitivnogo rezultatu VP IPR HPR diagnostichne vidnoshennya shansiv DVSh VP VP mira F1 2 vluchnist povnota vluchnist povnota hibnonegativnij riven HNR koeficiyent nevluchannya S hibno negativnih S pozitivnih staniv specifichnist vibirnist istinnonegativnij riven INR S istinno negativnih S negativnih staniv vidnoshennya pravdopodibnosti negativnogo rezultatu VP HNR INR Terminologiya ta vivedennya z matrici nevidpovidnostej pozitivnij stan P chislo spravzhnih pozitivnih vipadkiv u danih negativnij stan N chislo spravzhnih negativnih vipadkiv u danih istinno pozitivnij IP rivnoznachno iz vluchannyam istinno negativnij IN rivnoznachno iz pravilnim vidhilennyam hibno pozitivnij HP rivnoznachno z en pomilka I rodu hibno negativnij HN rivnoznachno z propuskannyam pomilka II rodu chutlivist diagnostichna chutlivist DCh povnota en abo istinnopozitivnij riven IPR IPR IP P IP IP HN 1 INR diagnostichna specifichnist DS vibirnist abo istinnonegativnij riven INR INR IN N IN IN HP 1 HPR vluchnist abo prognostichna znachushist pozitivnogo rezultatu PZ PZ IP IP HP 1 RHV prognostichna znachushist negativnogo rezultatu PZ PZ IN IN HN 1 RHP koeficiyent nevluchannya abo hibnonegativnij riven HNR HNR HN P HN HN IP 1 IPR pobichnij produkt abo hibnopozitivnij riven HPR HPR HP N HP HP IN 1 INR en RHV RHV HP HP IP 1 PZ riven hibnogo propuskannya RHP RHP HN HN IN 1 PZ porig poshirenosti PP PP IPR INR 1 INR 1 IPR INR 1 mira zagrozi MZ abo kritichnij indeks uspihu KIU MZ IP IP HN HP tochnist diagnostichna efektivnist DE DE IP IN P N IP IN IP IN HP HN zbalansovana tochnist ZT ZT IPR HPR 2 mira F1 garmonijne serednye vluchnosti ta chutlivosti F1 2 PZ IPR PZ IPR 2 IP 2 IP HP HN en KKM KKM IP IN HP HN IP HP IP HN IN HP IN HN en FM FM IP IP HP IP IP HN PZ IPR en abo bukmekerska poinformovanist BP BP IPR INR 1 en MK abo Dp MK PZ PZ 1 Dzherela Fawcett 2006 Powers 2011 Ting 2011 CAWCR D Chicco amp G Jurman 2020 2020 Tharwat 2018 Smolyar ta in 2013 Koval ta in 2016 Shvec 2015 Gushin ta Sich 2018 Miroshnichenko ta Ivliyeva 2019 Vluchnist ta povnotu todi viznachayut yak Vluchnist IP IP HP Povnota IP IP HN Povnotu v comu konteksti takozh nazivayut istinnopozitivnim rivnem abo chutlivistyu a vluchnist takozh nazivayut Prognostichna znachushist pozitivnogo rezultatu PZ Do inshih pov yazanih mir yaki vikoristovuyut u klasifikaciyi nalezhat istinnonegativnij riven ta tochnist Istinnonegativnij riven takozh nazivayut specifichnistyu Istinnonegativnij riven IN IN HPNezbalansovani daniTochnist IP IN IP IN HP HN Dlya nezbalansovanih naboriv danih tochnist mozhe buti omanlivoyu metrikoyu Rozglyanmo vibirku z 95 negativnimi ta 5 pozitivnimi znachennyami Klasifikuvannya vsih znachen yak negativnih u comu vipadku daye ocinku tochnosti 0 95 Isnuye bagato metrik yaki ne strazhdayut na cyu problemu Napriklad zbalansovana tochnist ZT angl balanced accuracy bACC unormovuye istinno pozitivni ta istinno negativni peredbachennya chislom pozitivnih ta negativnih zrazkiv vidpovidno j dilit yihnyu sumu navpil Zbalansovana tochnist IPR HPR 2 Dlya poperednogo prikladu 95 negativnih ta 5 pozitivnih zrazkiv klasifikuvannya vsih yak negativnih daye ocinku zbalansovanoyi tochnosti 0 5 maksimalnoyu ocinkoyu ZT ye odinicya sho ye rivnoznachnim matematichnomu spodivannyu vipadkovogo vgaduvannya u zbalansovanomu nabori danih Zbalansovana tochnist mozhe sluguvati zagalnoyu metrikoyu produktivnosti modeli nezalezhno vid togo chi ye spravzhni mitki v danih nezbalansovanimi chi ni vvazhayuchi vtrati na HN takimi zhe yak i na HP Inshoyu metrikoyu ye riven pozitivnogo prognozovanogo stanu RPPS angl predicted positive condition rate PPCR sho viznachaye vidsotok vid zagalnoyi sukupnosti yakij bude promarkovano Napriklad dlya poshukovogo rushiya sho povertaye 30 rezultativ znajdenih dokumentiv z 1 000 000 dokumentiv RPPS stanovit 0 003 Riven pozitivnogo prognozovanogo stanu IP HP IP HP IN HN Zgidno Sajto ta Remsmayera pri ocinyuvanni binarnih klasifikatoriv na nezbalansovanih danih grafiki vluchnosti povnoti ye informativnishimi za grafiki RHP Za takih scenariyiv grafiki RHP mozhut buti vizualno omanlivimi dlya visnovkiv pro nadijnist vikonannya klasifikaciyi Imovirnisna interpretaciyaVluchnist i povnotu takozh mozhlivo interpretuvati ne yak vidnoshennya a yak ocinki jmovirnostej Vluchnist ye ocinkoyu jmovirnosti togo sho dokument vipadkovo vibranij z pulu znajdenih dokumentiv ye relevantnim Povnota ye ocinkoyu jmovirnosti togo sho dokument vipadkovo vibranij z pulu relevantnih dokumentiv bude znajdeno Inshoyu interpretaciyeyu ye te sho vluchnist ye userednenoyu jmovirnistyu relevantnogo znahodzhennya a povnota ye userednenoyu jmovirnistyu povnogo znahodzhennya useredneni nad bagatokratnimi zapitami poshuku F miraDokladnishe F mira Miroyu yaka poyednuye vluchnist ta povnotu ye serednye garmonijne vluchnosti ta povnoti tradicijna F mira abo zbalansovana F ocinka F 2 vluchnist povnota vluchnist povnota Cya mira ye priblizno userednennyam cih dvoh koli voni ye blizkimi a zagalnishe ye serednim garmonijnim sho u vipadku dvoh chisel zbigayetsya z kvadratom serednogo geometrichnogo podilenim na serednye arifmetichne Isnuye dekilka prichin cherez yaki F ocinku mozhe buti kritikovano za pevnih obstavin cherez yiyi zsuv yak ocinnoyi metriki Vona ye takozh vidomoyu yak mira F1 oskilki povnota ta chutlivist ye zvazhenimi rivnomirno Vona ye okremim vipadkom zagalnoyi miri Fb dlya nevid yemnih dijsnih znachen b Fb 1 b2 vluchnist povnota b2 vluchnist povnota Dvoma inshimi shiroko vzhivanimi mirami F ye mira F2 yaka pridilyaye povnoti bilshoyi vagi anizh vluchnosti ta mira F0 5 sho robit bilshij akcent na vluchnosti anizh na povnoti F miru bulo vivedeno van Rijsbergenom 1979 takim chinom sho Fb vimiryuye efektivnist poshuku z urahuvannyam koristuvacha yakij nadaye v b raziv vishoyi vazhlivosti povnoti nizh vluchnosti Vona gruntuyetsya na miri efektivnosti van Rijsbergena Ea 1 1 a V 1 a P de drugij chlen ye zvazhenim serednim garmonijnim vluchnosti ta povnoti z vagami a 1 a Voni ye vzayemopov yazanimi yak Fb 1 Ea de a 1 1 b2 Obmezhennya yak ciliIsnuyut inshi parametri ta strategiyi miri produktivnosti sistemi informacijnogo poshuku taki yak plosha pid krivoyu RHP PPK angl AUC Div takozh en vidomij takozh yak vpravnist angl proficiency Chutlivist ta specifichnistDzherelaGushin I V Sich D O zhovten 2018 PDF Molodij vchenij Harkivskij nacionalnij universitet imeni V N Karazina 10 62 264 266 Arhiv originalu PDF za 27 veresnya 2020 Procitovano 10 zhovtnya 2020 Shvec U S Osnovni ponyattya dokazovoyi medicini 2015 z dzherela 20 veresnya 2020 Procitovano 10 zhovtnya 2020 Koval S S Makeyev S S Novikova T G 2016 Klinichna onkologiya Kiyiv DU Institut nejrohirurgiyi im akad A P Romodanova NAMN Ukrayini 3 23 Arhiv originalu za 27 zhovtnya 2020 Procitovano 10 zhovtnya 2020 Powers David M W 2011 PDF Journal of Machine Learning Technologies 2 1 37 63 Arhiv originalu PDF za 14 listopada 2019 angl Perruchet P Peereman R 2004 The exploitation of distributional information in syllable processing J Neurolinguistics 17 2 3 97 119 doi 10 1016 s0911 6044 03 00059 9 S2CID 17104364 angl Powers David M W 2012 Conference of the European Chapter of the Association for Computational Linguistics EACL2012 Joint ROBUS UNSUP Workshop Arhiv originalu za 8 bereznya 2021 Procitovano 10 zhovtnya 2020 angl Kent Allen Berry Madeline M Luehrs Jr Fred U Perry J W 1955 Machine literature searching VIII Operational criteria for designing information retrieval systems American Documentation 6 2 93 doi 10 1002 asi 5090060209 angl Smolyar V A Shapoval N A Guz O A Hoperiya V G 2013 Ocinka efektivnosti ekspres gistologichnogo doslidzhennya u viznachenni obsyagu disekciyi za papilyarnogo raku shitopodibnoyi zalozi Klinichna endokrinologiya ta endokrinna hirurgiya Kiyiv Ukrayinskij naukovo praktichnij centr endokrinnoyi hirurgiyi transplantaciyi endokrinnih organiv i tkanin MOZ Ukrayini 3 44 Miroshnichenko I V Ivliyeva K G 2019 Ocinyuvannya kreditnogo riziku metodami mashinnogo navchannya doi 10 32702 2307 2105 2019 12 87 Fawcett Tom 2006 An Introduction to ROC Analysis PDF Pattern Recognition Letters 27 8 861 874 doi 10 1016 j patrec 2005 10 010 angl Powers David M W 2011 Evaluation From Precision Recall and F Measure to ROC Informedness Markedness amp Correlation Journal of Machine Learning Technologies 2 1 37 63 angl Ting Kai Ming 2011 Sammut Claude Webb Geoffrey I red Encyclopedia of machine learning Springer doi 10 1007 978 0 387 30164 8 ISBN 978 0 387 30164 8 angl Brooks Harold Brown Barb Ebert Beth Ferro Chris Jolliffe Ian Koh Tieh Yong Roebber Paul Stephenson David 26 sichnya 2015 WWRP WGNE Joint Working Group on Forecast Verification Research Collaboration for Australian Weather and Climate Research World Meteorological Organisation Procitovano 17 lipnya 2019 angl Chicco D Jurman G January 2020 The advantages of the Matthews correlation coefficient MCC over F1 score and accuracy in binary classification evaluation BMC Genomics 21 1 6 1 6 13 doi 10 1186 s12864 019 6413 7 PMC 6941312 PMID 31898477 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya angl Tharwat A August 2018 Classification assessment methods Applied Computing and Informatics doi 10 1016 j aci 2018 08 003 angl Olson David L and Delen Dursun 2008 Advanced Data Mining Techniques Springer 1st edition February 1 2008 page 138 ISBN 3 540 76916 1 angl Mower Jeffrey P 12 kvitnya 2005 PREP Mt predictive RNA editor for plant mitochondrial genes BMC Bioinformatics 6 96 doi 10 1186 1471 2105 6 96 ISSN 1471 2105 PMC 1087475 PMID 15826309 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya angl Saito Takaya Rehmsmeier Marc 4 bereznya 2015 Brock Guy red The Precision Recall Plot Is More Informative than the ROC Plot When Evaluating Binary Classifiers on Imbalanced Datasets PLOS ONE angl 10 3 e0118432 Bibcode 2015PLoSO 1018432S doi 10 1371 journal pone 0118432 ISSN 1932 6203 PMC 4349800 PMID 25738806 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Proignorovano nevidomij parametr lay date dovidka Proignorovano nevidomij parametr lay url dovidka Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya angl Fatih Cakir Kun He Xide Xia Brian Kulis Stan Sclaroff Deep Metric Learning to Rank 14 travnya 2019 u Wayback Machine In Proc IEEE Conference on Computer Vision and Pattern Recognition CVPR 2019 angl Zygmunt Zajac What you wanted to know about AUC http fastml com what you wanted to know about auc 21 veresnya 2020 u Wayback Machine angl Baeza Yates Ricardo Ribeiro Neto Berthier 1999 Modern Information Retrieval New York NY ACM Press Addison Wesley Seiten 75 ff ISBN 0 201 39829 X angl Hjorland Birger 2010 The foundation of the concept of relevance Journal of the American Society for Information Science and Technology 61 2 217 237 angl en Kubala Francis Schwartz Richard and Weischedel Ralph 1999 Performance measures for information extraction 19 grudnya 2009 u Wayback Machine in Proceedings of DARPA Broadcast News Workshop Herndon VA February 1999 angl van Rijsbergen Cornelis Joost Keith 1979 Information Retrieval London GB Boston MA Butterworth 2nd Edition ISBN 0 408 70929 4 angl PosilannyaInformacijnij poshuk kniga K J van Rijsbergena 1979 6 kvitnya 2005 u Wayback Machine angl Obchislyuvannya tochnosti ta povnoti u zadachi bagatoklasovoyi klasifikaciyi 11 serpnya 2016 u Wayback Machine angl