У машинному навчанні навчання за набором зразків ННЗ це тип керованого навчання Замість того щоб отримувати множину екзе

У машинному навчанні навчання за набором зразків (ННЗ) — це тип керованого навчання. Замість того, щоб отримувати множину екземплярів, кожен з яких розмічений, учень отримує множину мічених мішків, кожен з яких містить багато екземплярів. У простому випадку двійкової класифікації мішок може бути позначений негативним, якщо всі екземпляри в ньому негативні. З іншого боку, мішок позначається позитивним, якщо в ньому є хоча б один екземпляр, який є позитивним. Для множини мішків із мітками, учень намагається або (i) вивести концепцію, яка правильно позначить окремі екземпляри, або (ii) навчитися маркувати мішки, без виведення цього поняття.

Бабенко (2008) наводить простий приклад для ННЗ. Уявіть кілька людей, і кожен з них має брелок з ключами. Деякі з цих людей можуть увійти до певної кімнати, а деякі — ні. Завдання полягає в тому, щоб передбачити, чи певний ключ або певний брелок дозволить Вам потрапити до цієї кімнати. Для вирішення цієї проблеми нам потрібно знайти точний ключ, який є спільним для всіх «позитивних» брелоків. Якщо ми можемо правильно визначити цей ключ, ми також можемо правильно класифікувати будь-який брелок — він буде ідентифікований як позитивний, якщо він містить необхідний ключ, або негативний, якщо такого немає.

Машинне навчання

Залежно від типу та варіації даних для навчання, машинне навчання може бути умовно класифіковано на три частини: кероване навчання, некероване навчання та навчання з підкріпленням. Навчання за набором зразків (ННЗ) підпадає під визначення керованого навчання, де кожен навчальний екземпляр має мітку — або дискретну або дійснозначну. ННЗ розглядає проблеми з неповними знаннями міток у навчальних наборах. Точніше, у навчанні за набором зразків навчальний набір складається з міток «мішка», кожен з яких є сукупністю нерозмічених екземплярів. Мішок позначається як позитивний, якщо хоча б один екземпляр у ньому є позитивним, і позначається негативно, якщо всі екземпляри в ньому негативні. Мета ННЗ — передбачити розмітку для нових мішків, які раніше не зустрічались.

Історія

Кєлєр (Keeler) та ін. у своїй роботі на початку 1990-х вперше досліджували ННЗ. Термін навчання за набором зразків був введений у середині 1990-х, Дітріхом (Dietterich) та іншими, коли вони досліджували проблему прогнозування активності медичних препаратів. Вони намагалися створити навчальні системи, які могли б передбачити, чи пасує нова молекула для виготовлення якогось препарату, чи ні, проаналізувавши колекцію відомих молекул. Молекули можуть мати багато змінних взаємовиключних низькоенергетичних станів, але лише одна, або декілька з них, пасують для виготовлення препарату. Проблема виникла через те, що вчені могли лише визначити, чи пасує молекула чи ні, але вони не могли точно сказати, який з її низькоенергетичних станів відповідає за це.

Одним із способів вирішення проблеми використовував кероване навчання та розглядав всі низькоенергетичні форми молекули, яка пасує, у якості позитивних випадків навчання, тоді як усі низькоенергетичні форми молекул, які не пасують, розглядаються як негативні випадки. Дітріх з групою авторів показали, що такий метод матиме високий хибний позитивний шум від усіх низькоенергетичних форм, які неправильно позначаються як позитивні, і таким чином не був дуже корисним. Їх підхід полягав у тому, щоб розцінювати кожну молекулу як мічений мішок, а всі альтернативні низькоенергетичні форми цієї молекули як екземпляри в мішку, без окремих міток. Таким чином формулювалось навчання за набором зразків.

Дітерх та ін. для навчання за набором зразків запропонували алгоритм з використанням прямокутників сторони яких паралельними осям (англ. axis-parallel rectangle, APR). Алгоритм шукає відповідні прямокутники зі сторонами паралельними вісям, які побудовані шляхом сполучення ознак. Автори алгоритму перевіряли його роботу на наборі даних Musk, який є конкретними тестовими даними прогнозування активності медичних препаратів і найбільш популярним еталоном у навчанні з кількома примірниками. Алгоритм APR досягає найкращого результату, але, варто враховувати, що він був розроблений з орієнтацією на набір даних Musk.

Проблема пошуку медичних препаратів, не єдина, яку розв'язують навчанням за набором зразків. У 1998 році Марон і Ратан застосували навчання за набором зразків до класифікації сцен в машинному зорі та розробили каркас Diverse Density. Для заданого зображення, зразком вважається один або декілька його фрагментів фіксованого розміру, а мішком зі зразками є ціле зображення. Зображення позначається позитивним, якщо воно містить цільову сцену — наприклад, водоспад — і негативно в іншому випадку. Навчання за набором зразків може бути використане для вивчення властивостей фрагментів зображення, які характеризують цільову сцену. Відтепер цей каркас використовують у широкому спектрі додатків, починаючи від навчання концепції зображення та категоризації тексту, до прогнозування фондового ринку.

Примітки

Babenko, Boris. «Multiple instance learning: algorithms and applications.» View Article PubMed/NCBI Google Scholar (2008).
Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.
Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.
C. Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases ^{[недоступне посилання з 01.02.2018]}, Department of Information and Computer Science, University of California, Irvine, CA, 1998.
O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.

[Babenko-1] Babenko, Boris. «Multiple instance learning: algorithms and applications.» View Article PubMed/NCBI Google Scholar (2008).

[Keeler-2] Keeler, James D., David E. Rumelhart, and Wee-Kheng Leow. Integrated Segmentation and Recognition of Hand-Printed Numerals. Microelectronics and Computer Technology Corporation, 1991.

[Dietterich-3] Dietterich, Thomas G., Richard H. Lathrop, and Tomás Lozano-Pérez. «Solving the multiple instance problem with axis-parallel rectangles.» Artificial intelligence 89.1 (1997): 31-71.

[Musk-4] C. Blake, E. Keogh, and C.J. Merz. UCI repository of machine learning databases ^{[недоступне посилання з 01.02.2018]}, Department of Information and Computer Science, University of California, Irvine, CA, 1998.

[Maron-5] O. Maron and A.L. Ratan. Multiple-instance learning for natural scene classification. In Proceedings of the 15th International Conference on Machine Learning, Madison, WI, pp.341–349, 1998.