Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Підси лювання англ boosting це ансамблевий мета алгоритм машинного навчання передусім для зменшення зсуву а також і дисп

Бустинг (машинне навчання)

Бустинг (машинне навчання)

Підси́лювання (англ. boosting) — це ансамблевий мета-алгоритм машинного навчання передусім для зменшення зсуву а також і дисперсії у керованім навчанні, та сімейство алгоритмів машинного навчання, які перетворюють слабких учнів на сильних. Підсилювання ґрунтується на питанні, поставленому [en] і Веліентом (1988, 1989): Чи може набір слабких учнів (англ. weak learners) утворити єдиного сильного учня (англ. strong learner)? Слабкого учня визначають як класифікатор, який лише трохи корелює зі справжньою класифікацією (він може мітити зразки краще за випадкове вгадування). На противагу, сильний учень є класифікатором, який корелює зі справжньою класифікацією доволі добре.

Ствердна відповідь Роберта Шапіра на питання Кірнса та Веліента в праці 1990 року мала значні наслідки в машинному навчанні та статистиці, найголовніше, призвівши до розробки підсилювання.

Коли її вперше було представлено, задача підсилювання гіпотези (англ. hypothesis boosting problem) означала просто процес перетворення слабкого учня на сильного. «Неформально, задача [підсилювання гіпотези] ставить питання, чи ефективний алгоритм навчання […], який видає гіпотезу, чия ефективність лише трохи краща за випадкове вгадування [тобто, слабкий учень], означає існування ефективного алгоритму, який видає гіпотезу довільної точності [тобто, сильного учня].» Алгоритми, що швидко досягають підсилювання гіпотези, стали називати просто «підсилюванням». ARCing (англ. Adapt[at]ive Resampling and Combining, адаптивна перевібирка та об'єднування) [en] та Шапіро, як загальна методика, є більш-менш синонімічною підсилюванню.

Алгоритми підсилювання

Хоча підсилювання й не є обмеженим алгоритмічно, більшість алгоритмів підсилювання складаються з ітеративного навчання слабких класифікаторів стосовно розподілу та додавання їх до кінцевого сильного класифікатора. Коли вони додаються, вони, як правило, зважуються певним чином, зазвичай пов'язаним з точністю слабких учнів. Після додавання слабкого учня дані ваги змінюються: неправильно класифіковані приклади набирають ваги, а класифіковані правильно вагу втрачають (деякі алгоритми підсилювання насправді зменшують вагу повторювано неправильно класифікованих прикладів, наприклад, підсилювання більшістю [​англ. boost by majority] та [en]). Таким чином, майбутні слабкі учні більше зосереджуються на тих прикладах, які попередні слабкі учні класифікували неправильно.

Алгоритмів підсилювання існує багато. Первинні, запропоновані Робертом Шапіро (рекурсивне більшісно-вентильне формулювання, англ. a recursive majority gate formulation) та [en] (підсилювання більшістю, англ. boost by majority), не були адаптивними й не могли повною мірою користуватися перевагами слабких учнів. Проте Шапіро та Фройнд потім розробили [en], адаптивний алгоритм підсилювання, який виграв престижну премію Геделя.

Алгоритмами підсилювання (англ. boosting algorithms) можна з точністю називати лише ті алгоритми, які довідно є алгоритмами підсилювання в формулюванні ймовірно приблизно правильного навчання. Інші алгоритми, подібні за духом до алгоритмів підсилювання, іноді називають «алгоритмами підважування» (англ. leveraging algorithms), хоча їх іноді неправильно називають й алгоритмами підсилювання.

Основна відмінність між багатьма алгоритмами підсилювання полягає в їхніх методах зважування тренувальних точок даних та гіпотез. [en] є дуже популярним і, мабуть, найважливішим історично, оскільки він був першим алгоритмом, який зміг адаптуватися до слабких учнів. Проте існує багато новіших алгоритмів, таких як [en], TotalBoost, [en], Xgboost, MadaBoost, [en] та інші. Багато алгоритмів підсилювання вписуються в систему AnyBoost, яка показує, що підсилювання виконує градієнтний спуск у просторі функцій за допомогою опуклої функції витрат.

Категоризація об'єктів

Для заданих зображень, що містять різні відомі об'єкти світу, з них може бути навчено класифікатора для автоматичного поділу на категорії об'єктів з майбутніх зображень. Прості класифікатори, побудовані на основі деякої ознаки зображення об'єкта, як правило, мають слабку ефективність у категоризації. Застосування методів підсилювання для категоризації об'єктів є способом об'єднувати слабкі класифікатори спеціальним чином для підсилювання загальної здатності до категоризації.

Задача категоризації об'єктів

Категоризація об'єктів є типовим завданням комп'ютерного зору, яке передбачає визначення того, чи містить зображення певну категорію об'єктів, чи ні. Ця ідея тісно пов'язана з розпізнаванням, ідентифікацією та виявленням. Категоризація об'єктів на основі зовнішнього вигляду зазвичай включає виділяння ознак, навчання класифікатора та застосування цього класифікатора до нових прикладів. Існує багато способів представляти категорію об'єктів, наприклад, з [en], моделей торби слів, або локальних дескрипторів, таких як SIFT тощо. Прикладами керованих класифікаторів є наївний баєсів класифікатор, ОВМ, [en], нейронна мережа тощо. Проте дослідження показали, що категорії об'єктів та їх розташування в зображеннях можливо також виявляти й некерованим чином.

Стан справ у категоризації об'єктів

Розпізнавання категорій об'єктів у зображеннях є складною проблемою в комп'ютерному зорі, особливо коли кількість категорій є великою. Це пов'язано з високою мінливістю всередині класів та потребою в узагальненні над різними варіаціями об'єктів у межах однієї категорії. Об'єкти в межах однієї категорії можуть виглядати вельми по-різному. Навіть той самий об'єкт може виглядати несхожо за різних точок огляду, [en] та [en]. Захаращене тло та часткове перекриття теж додають труднощів до розпізнавання. Люди здатні розпізнавати тисячі типів об'єктів, тоді як більшість наявних систем розпізнавання об'єктів тренуються розпізнавати лише декілька, наприклад, людське обличчя, автомобіль, прості об'єкти тощо. Були дуже активними дослідження порядкування більшою кількістю категорій та забезпечення інкрементного додавання нових категорій, і, хоча загальна задача залишається нерозв'язаною, було розроблено кілька багатокатегорійних систем виявлення об'єктів (для сотень та тисяч категорій). Одними зі способів є спільні ознаки (англ. feature sharing) та підсилювання.

Підсилювання для бінарної категоризації

AdaBoost можливо використовувати для виявлення облич як приклад бінарної категоризації. Двома категоріями є обличчя та тло. Загальний алгоритм виглядає наступним чином:

  1. Сформувати великий набір простих ознак
  2. Встановити початкові ваги для тренувальних зображень
  3. Для Т раундів
    1. Унормувати ваги
    2. Для наявних ознак із набору, натренувати класифікатор із застосуванням єдиної ознаки та оцінити похибку тренування
    3. Обрати класифікатор із найнижчою похибкою
    4. Уточнити ваги тренувальних зображень: збільшити, якщо цим класифікатором класифіковано неправильно, і зменшити, якщо правильно
  4. Сформувати остаточний сильний класифікатор як лінійну комбінацію цих T класифікаторів (коефіцієнт більший, якщо помилка тренування є невеликою)

Після підсилювання, класифікатор, побудований з 200 ознак, може забезпечити 95-відсотковий рівень виявлення за рівня хибного виявлення в image.

Ще одним застосуванням підсилювання для бінарної категоризації є система, яка виявляє пішоходів, використовуючи характери руху та вигляду. Ця робота є першою, яка об'єднала як інформацію про рух, так і інформацію про вигляд, як ознаки для виявлення людини, що йде. Вона використовує подібний підхід у системі виявляння об'єктів Віоли — Джонса.

Підсилювання для багатокласової категоризації

У порівнянні з бінарною категоризацією, [en] шукає поширених ознак, які можуть бути спільними одночасно для різних категорій. Вони виявляються загальнішими ознаками на кшталт контурів. Під час навчання, детектори для кожної категорії може бути треновано спільно. У порівнянні з тренуванням окремо, це краще узагальнюється, потребує менше навчальних даних, і вимагає менше ознак для досягнення такої ж ефективності.

Основна послідовність алгоритму є подібною до бінарного випадку. Різниця полягає в тім, що міру похибки спільного навчання повинно бути визначено заздалегідь. Під час кожної ітерації алгоритм обирає класифікатор однієї ознаки (заохочуються ознаки, які можуть бути спільними з іншими категоріями). Це можливо здійснювати шляхом перетворення багатокласової класифікації на бінарну (набір категорій проти решти), або шляхом введення штрафної похибки з категорій, які не мають цієї ознаки класифікатора.

У праці «Sharing visual features for multiclass and multiview object detection», А. Торральба зі співавторами використали для підсилювання , та показали, що, коли тренувальні дані є обмеженими, навчання через спільні ознаки виконує роботу набагато краще, ніж без спільних ознак, за однакових раундів підсилювання. Також, для заданого рівня ефективності спостерігається, що загальна кількість необхідних ознак (а отже, і витрати часу виконання класифікатором) для детекторів зі спільними ознаками масштабується відносно кількості класів приблизно логарифмічно, тобто повільніше, ніж [en] зростання у випадку без спільних ознак. Подібні результати показано й у праці «Incremental learning of object detectors using a visual shape alphabet», тільки автори використовували для підсилювання [en].

Опуклі та неопуклі алгоритми підсилювання

Алгоритми підсилювання можуть ґрунтуватися на алгоритмах опуклої та неопуклої оптимізації. Опуклі алгоритми, такі як [en] та [en], може бути «переможено» випадковим шумом таким чином, що вони не зможуть навчатися простих та доступних для навчання комбінацій слабких гіпотез. На це обмеження було вказано Лонгом та Серведіо 2008 року. Проте, станом на 2009 рік, декілька авторів показали, що алгоритми підсилювання на основі неопуклої оптимізації, такі як [en], можуть навчатися із зашумлених наборів даних, і можуть навчатися конкретно класифікатора, що лежить в основі набору даних Лонга — Серведіо.

Див. також

Втілення

  • Scikit-learn, відкрита бібліотека машинного навчання для python
  • [en], безкоштовний пакет програмного забезпечення добування даних, модуль Orange.sensemble [ 4 березня 2016 у Wayback Machine.]
  • Weka — це набір інструментів машинного навчання, який пропонує різноманітні втілення алгоритмів підсилювання, таких як AdaBoost та LogitBoost
  • Пакет R GBM [ 11 листопада 2018 у Wayback Machine.] (Generalized Boosted Regression Models) втілює розширення алгоритму AdaBoost Фройнда та Шапіро, та машини градієнтного підсилювання Фрідмана.
  • jboost [ 18 лютого 2019 у Wayback Machine.]: AdaBoost, LogitBoost, RobustBoost, Boostexter та чергувальні дерева рішень
  • Пакет R adabag [ 17 вересня 2018 у Wayback Machine.]: застосовує Multiclass AdaBoost.M1, AdaBoost-SAMME та Bagging
  • Пакет R xgboost [ 26 жовтня 2018 у Wayback Machine.]: втілення градієнтного підсилювання для лінійних моделей та моделей на основі дерев.

Примітки

Виноски

  1. [en] (1996). (PDF). TECHNICAL REPORT. Архів оригіналу (PDF) за 19 січня 2015. Процитовано 19 січня 2015. У зниженні дисперсії Arcing [Підсилювання] є успішнішим за bagging (англ.)
  2. [en] (2012). Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. с. 23. ISBN . Термін підсилювання стосується сімейства алгоритмів, здатних перетворювати слабких учнів на сильних (англ.)
  3. Michael Kearns(1988); Thoughts on Hypothesis Boosting [ 13 липня 2019 у Wayback Machine.], Unpublished manuscript (Machine Learning class project, December 1988) (англ.)
  4. [en]; Leslie Valiant (1989). . Symposium on Theory of computing. ACM. 21: 433—444. doi:10.1145/73007.73049. Архів оригіналу за 1 квітня 2017. Процитовано 18 січня 2015. (англ.)
  5. Schapire, Robert E. (1990). (PDF). Machine Learning. Boston, MA: Kluwer Academic Publishers. 5 (2): 197—227. CiteSeerX 10.1.1.20.723. doi:10.1007/bf00116037. Архів оригіналу (PDF) за 10 жовтня 2012. Процитовано 7 травня 2018. (англ.)
  6. [en] (1998). . Ann. Stat. 26 (3): 801—849. doi:10.1214/aos/1024691079. Архів оригіналу за 2 червня 2018. Процитовано 17 листопада 2015. Шапіро (1990) довів, що підсилювання є можливим. (с. 823) (англ.)
  7. Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting [ 24 березня 2018 у Wayback Machine.], Journal of Computer and System Sciences, 55(1):119-139 (англ.)
  8. Leo Breiman (1998); Arcing Classifier (with Discussion and a Rejoinder by the Author) [ 19 листопада 2018 у Wayback Machine.], Annals of Statistics, vol. 26, no. 3, pp. 801—849 (англ.): «Ідею слабкого навчання було представлено Кірнсом та Веліентом (1988, 1989), які залишили відкритим питання про те, чи є слабка й сильна навчаність еквівалентними. Це питання було названо задачею підсилювання , оскільки [розв'язок мусив] підсилювати низьку точність слабкого учня до високої точності сильного учня. Шапіро 1990 року довів, що підсилювання є можливим. Алгоритм підсилювання — це метод, який бере слабкого учня, і перетворює його на сильного. Фройнд та Шапіро 1997 року довели, що алгоритм, подібний до arc-fs, є підсилюванням.»
  9. Llew Mason, Jonathan Baxter, Peter Bartlett, and Marcus Frean (2000); Boosting Algorithms as Gradient Descent , in S. A. Solla, T. K. Leen, and K.-R. Muller, editors, Advances in Neural Information Processing Systems 12, pp. 512—518, MIT Press (англ.)
  10. Sivic, Russell, Efros, Freeman & Zisserman, «Discovering objects and their location in images», ICCV 2005 (англ.)
  11. A. Opelt, A. Pinz, et al., «Generic Object Recognition with Boosting», IEEE Transactions on PAMI 2006 (англ.)
  12. M. Marszalek, «Semantic Hierarchies for Visual Object Recognition», 2007 (англ.)
  13. . December 2017. Архів оригіналу за 2 листопада 2018. (англ.)
  14. P. Viola, M. Jones, «Robust Real-time Object Detection», 2001 (англ.)
  15. Viola, P.; Jones, M.; Snow, D. (2003). (PDF). ICCV. Архів оригіналу (PDF) за 22 вересня 2017. Процитовано 7 травня 2018. (англ.)
  16. A. Torralba, K. P. Murphy, et al., «Sharing visual features for multiclass and multiview object detection», IEEE Transactions on PAMI 2006 (англ.)
  17. A. Opelt, et al., «Incremental learning of object detectors using a visual shape alphabet», CVPR 2006 (англ.)
  18. P. Long and R. Servedio. 25th International Conference on Machine Learning (ICML), 2008, pp. 608—615. (англ.)
  19. Long, Philip M.; Servedio, Rocco A. (March 2010). (PDF). Machine Learning. Springer US. 78 (3): 287—304. doi:10.1007/s10994-009-5165-z. Архів оригіналу (PDF) за 6 липня 2017. Процитовано 17 листопада 2015. (англ.)

До уваги

  • Yoav Freund and Robert E. Schapire (1997); A Decision-Theoretic Generalization of On-line Learning and an Application to Boosting [ 12 жовтня 2008 у Wayback Machine.], Journal of Computer and System Sciences, 55(1):119-139 (англ.)
  • Robert E. Schapire and Yoram Singer (1999); Improved Boosting Algorithms Using Confidence-Rated Predictors [ 20 серпня 2008 у Wayback Machine.], Machine Learning, 37(3):297-336 (англ.)

Посилання

  • Robert E. Schapire (2003); The Boosting Approach to Machine Learning: An Overview [ 20 вересня 2020 у Wayback Machine.], MSRI (Mathematical Sciences Research Institute) Workshop on Nonlinear Estimation and Classification (англ.)
  • Zhou Zhi-Hua (2014) Boosting 25 years [ 20 серпня 2016 у Wayback Machine.], CCL 2014 Keynote. (англ.)
  • Zhou, Zhihua (2008). (PDF). In: Proceedings of the 21st Annual Conference on Learning Theory (COLT'08): 479—490. Архів оригіналу (PDF) за 5 липня 2017. Процитовано 7 травня 2018. (англ.)
  • Zhou, Zhihua (2013). (PDF). Artificial Intelligence. 203: 1—18. doi:10.1016/j.artint.2013.07.002. Архів оригіналу (PDF) за 5 липня 2017. Процитовано 7 травня 2018. (англ.)

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Pidsi lyuvannya angl boosting ce ansamblevij meta algoritm mashinnogo navchannya peredusim dlya zmenshennya zsuvu a takozh i dispersiyi u kerovanim navchanni ta simejstvo algoritmiv mashinnogo navchannya yaki peretvoryuyut slabkih uchniv na silnih Pidsilyuvannya gruntuyetsya na pitanni postavlenomu en i Velientom 1988 1989 Chi mozhe nabir slabkih uchniv angl weak learners utvoriti yedinogo silnogo uchnya angl strong learner Slabkogo uchnya viznachayut yak klasifikator yakij lishe trohi korelyuye zi spravzhnoyu klasifikaciyeyu vin mozhe mititi zrazki krashe za vipadkove vgaduvannya Na protivagu silnij uchen ye klasifikatorom yakij korelyuye zi spravzhnoyu klasifikaciyeyu dovoli dobre Stverdna vidpovid Roberta Shapira na pitannya Kirnsa ta Velienta v praci 1990 roku mala znachni naslidki v mashinnomu navchanni ta statistici najgolovnishe prizvivshi do rozrobki pidsilyuvannya Koli yiyi vpershe bulo predstavleno zadacha pidsilyuvannya gipotezi angl hypothesis boosting problem oznachala prosto proces peretvorennya slabkogo uchnya na silnogo Neformalno zadacha pidsilyuvannya gipotezi stavit pitannya chi efektivnij algoritm navchannya yakij vidaye gipotezu chiya efektivnist lishe trohi krasha za vipadkove vgaduvannya tobto slabkij uchen oznachaye isnuvannya efektivnogo algoritmu yakij vidaye gipotezu dovilnoyi tochnosti tobto silnogo uchnya Algoritmi sho shvidko dosyagayut pidsilyuvannya gipotezi stali nazivati prosto pidsilyuvannyam ARCing angl Adapt at ive Resampling and Combining adaptivna perevibirka ta ob yednuvannya en ta Shapiro yak zagalna metodika ye bilsh mensh sinonimichnoyu pidsilyuvannyu Algoritmi pidsilyuvannyaHocha pidsilyuvannya j ne ye obmezhenim algoritmichno bilshist algoritmiv pidsilyuvannya skladayutsya z iterativnogo navchannya slabkih klasifikatoriv stosovno rozpodilu ta dodavannya yih do kincevogo silnogo klasifikatora Koli voni dodayutsya voni yak pravilo zvazhuyutsya pevnim chinom zazvichaj pov yazanim z tochnistyu slabkih uchniv Pislya dodavannya slabkogo uchnya dani vagi zminyuyutsya nepravilno klasifikovani prikladi nabirayut vagi a klasifikovani pravilno vagu vtrachayut deyaki algoritmi pidsilyuvannya naspravdi zmenshuyut vagu povtoryuvano nepravilno klasifikovanih prikladiv napriklad pidsilyuvannya bilshistyu angl boost by majority ta en Takim chinom majbutni slabki uchni bilshe zoseredzhuyutsya na tih prikladah yaki poperedni slabki uchni klasifikuvali nepravilno Algoritmiv pidsilyuvannya isnuye bagato Pervinni zaproponovani Robertom Shapiro rekursivne bilshisno ventilne formulyuvannya angl a recursive majority gate formulation ta en pidsilyuvannya bilshistyu angl boost by majority ne buli adaptivnimi j ne mogli povnoyu miroyu koristuvatisya perevagami slabkih uchniv Prote Shapiro ta Frojnd potim rozrobili en adaptivnij algoritm pidsilyuvannya yakij vigrav prestizhnu premiyu Gedelya Algoritmami pidsilyuvannya angl boosting algorithms mozhna z tochnistyu nazivati lishe ti algoritmi yaki dovidno ye algoritmami pidsilyuvannya v formulyuvanni jmovirno priblizno pravilnogo navchannya Inshi algoritmi podibni za duhom do algoritmiv pidsilyuvannya inodi nazivayut algoritmami pidvazhuvannya angl leveraging algorithms hocha yih inodi nepravilno nazivayut j algoritmami pidsilyuvannya Osnovna vidminnist mizh bagatma algoritmami pidsilyuvannya polyagaye v yihnih metodah zvazhuvannya trenuvalnih tochok danih ta gipotez en ye duzhe populyarnim i mabut najvazhlivishim istorichno oskilki vin buv pershim algoritmom yakij zmig adaptuvatisya do slabkih uchniv Prote isnuye bagato novishih algoritmiv takih yak en TotalBoost en Xgboost MadaBoost en ta inshi Bagato algoritmiv pidsilyuvannya vpisuyutsya v sistemu AnyBoost yaka pokazuye sho pidsilyuvannya vikonuye gradiyentnij spusk u prostori funkcij za dopomogoyu opukloyi funkciyi vitrat Kategorizaciya ob yektivDlya zadanih zobrazhen sho mistyat rizni vidomi ob yekti svitu z nih mozhe buti navcheno klasifikatora dlya avtomatichnogo podilu na kategoriyi ob yektiv z majbutnih zobrazhen Prosti klasifikatori pobudovani na osnovi deyakoyi oznaki zobrazhennya ob yekta yak pravilo mayut slabku efektivnist u kategorizaciyi Zastosuvannya metodiv pidsilyuvannya dlya kategorizaciyi ob yektiv ye sposobom ob yednuvati slabki klasifikatori specialnim chinom dlya pidsilyuvannya zagalnoyi zdatnosti do kategorizaciyi Zadacha kategorizaciyi ob yektiv Kategorizaciya ob yektiv ye tipovim zavdannyam komp yuternogo zoru yake peredbachaye viznachennya togo chi mistit zobrazhennya pevnu kategoriyu ob yektiv chi ni Cya ideya tisno pov yazana z rozpiznavannyam identifikaciyeyu ta viyavlennyam Kategorizaciya ob yektiv na osnovi zovnishnogo viglyadu zazvichaj vklyuchaye vidilyannya oznak navchannya klasifikatora ta zastosuvannya cogo klasifikatora do novih prikladiv Isnuye bagato sposobiv predstavlyati kategoriyu ob yektiv napriklad z en modelej torbi sliv abo lokalnih deskriptoriv takih yak SIFT tosho Prikladami kerovanih klasifikatoriv ye nayivnij bayesiv klasifikator OVM en nejronna merezha tosho Prote doslidzhennya pokazali sho kategoriyi ob yektiv ta yih roztashuvannya v zobrazhennyah mozhlivo takozh viyavlyati j nekerovanim chinom Stan sprav u kategorizaciyi ob yektiv Rozpiznavannya kategorij ob yektiv u zobrazhennyah ye skladnoyu problemoyu v komp yuternomu zori osoblivo koli kilkist kategorij ye velikoyu Ce pov yazano z visokoyu minlivistyu vseredini klasiv ta potreboyu v uzagalnenni nad riznimi variaciyami ob yektiv u mezhah odniyeyi kategoriyi Ob yekti v mezhah odniyeyi kategoriyi mozhut viglyadati velmi po riznomu Navit toj samij ob yekt mozhe viglyadati neshozho za riznih tochok oglyadu en ta en Zaharashene tlo ta chastkove perekrittya tezh dodayut trudnoshiv do rozpiznavannya Lyudi zdatni rozpiznavati tisyachi tipiv ob yektiv todi yak bilshist nayavnih sistem rozpiznavannya ob yektiv trenuyutsya rozpiznavati lishe dekilka napriklad lyudske oblichchya avtomobil prosti ob yekti tosho Buli duzhe aktivnimi doslidzhennya poryadkuvannya bilshoyu kilkistyu kategorij ta zabezpechennya inkrementnogo dodavannya novih kategorij i hocha zagalna zadacha zalishayetsya nerozv yazanoyu bulo rozrobleno kilka bagatokategorijnih sistem viyavlennya ob yektiv dlya soten ta tisyach kategorij Odnimi zi sposobiv ye spilni oznaki angl feature sharing ta pidsilyuvannya Pidsilyuvannya dlya binarnoyi kategorizaciyi AdaBoost mozhlivo vikoristovuvati dlya viyavlennya oblich yak priklad binarnoyi kategorizaciyi Dvoma kategoriyami ye oblichchya ta tlo Zagalnij algoritm viglyadaye nastupnim chinom Sformuvati velikij nabir prostih oznak Vstanoviti pochatkovi vagi dlya trenuvalnih zobrazhen Dlya T raundiv Unormuvati vagi Dlya nayavnih oznak iz naboru natrenuvati klasifikator iz zastosuvannyam yedinoyi oznaki ta ociniti pohibku trenuvannya Obrati klasifikator iz najnizhchoyu pohibkoyu Utochniti vagi trenuvalnih zobrazhen zbilshiti yaksho cim klasifikatorom klasifikovano nepravilno i zmenshiti yaksho pravilno Sformuvati ostatochnij silnij klasifikator yak linijnu kombinaciyu cih T klasifikatoriv koeficiyent bilshij yaksho pomilka trenuvannya ye nevelikoyu Pislya pidsilyuvannya klasifikator pobudovanij z 200 oznak mozhe zabezpechiti 95 vidsotkovij riven viyavlennya za rivnya hibnogo viyavlennya v 10 5 displaystyle 10 5 She odnim zastosuvannyam pidsilyuvannya dlya binarnoyi kategorizaciyi ye sistema yaka viyavlyaye pishohodiv vikoristovuyuchi harakteri ruhu ta viglyadu Cya robota ye pershoyu yaka ob yednala yak informaciyu pro ruh tak i informaciyu pro viglyad yak oznaki dlya viyavlennya lyudini sho jde Vona vikoristovuye podibnij pidhid u sistemi viyavlyannya ob yektiv Violi Dzhonsa Pidsilyuvannya dlya bagatoklasovoyi kategorizaciyi U porivnyanni z binarnoyu kategorizaciyeyu en shukaye poshirenih oznak yaki mozhut buti spilnimi odnochasno dlya riznih kategorij Voni viyavlyayutsya zagalnishimi oznakami na kshtalt konturiv Pid chas navchannya detektori dlya kozhnoyi kategoriyi mozhe buti trenovano spilno U porivnyanni z trenuvannyam okremo ce krashe uzagalnyuyetsya potrebuye menshe navchalnih danih i vimagaye menshe oznak dlya dosyagnennya takoyi zh efektivnosti Osnovna poslidovnist algoritmu ye podibnoyu do binarnogo vipadku Riznicya polyagaye v tim sho miru pohibki spilnogo navchannya povinno buti viznacheno zazdalegid Pid chas kozhnoyi iteraciyi algoritm obiraye klasifikator odniyeyi oznaki zaohochuyutsya oznaki yaki mozhut buti spilnimi z inshimi kategoriyami Ce mozhlivo zdijsnyuvati shlyahom peretvorennya bagatoklasovoyi klasifikaciyi na binarnu nabir kategorij proti reshti abo shlyahom vvedennya shtrafnoyi pohibki z kategorij yaki ne mayut ciyeyi oznaki klasifikatora U praci Sharing visual features for multiclass and multiview object detection A Torralba zi spivavtorami vikoristali dlya pidsilyuvannya ta pokazali sho koli trenuvalni dani ye obmezhenimi navchannya cherez spilni oznaki vikonuye robotu nabagato krashe nizh bez spilnih oznak za odnakovih raundiv pidsilyuvannya Takozh dlya zadanogo rivnya efektivnosti sposterigayetsya sho zagalna kilkist neobhidnih oznak a otzhe i vitrati chasu vikonannya klasifikatorom dlya detektoriv zi spilnimi oznakami masshtabuyetsya vidnosno kilkosti klasiv priblizno logarifmichno tobto povilnishe nizh en zrostannya u vipadku bez spilnih oznak Podibni rezultati pokazano j u praci Incremental learning of object detectors using a visual shape alphabet tilki avtori vikoristovuvali dlya pidsilyuvannya en Opukli ta neopukli algoritmi pidsilyuvannyaAlgoritmi pidsilyuvannya mozhut gruntuvatisya na algoritmah opukloyi ta neopukloyi optimizaciyi Opukli algoritmi taki yak en ta en mozhe buti peremozheno vipadkovim shumom takim chinom sho voni ne zmozhut navchatisya prostih ta dostupnih dlya navchannya kombinacij slabkih gipotez Na ce obmezhennya bulo vkazano Longom ta Servedio 2008 roku Prote stanom na 2009 rik dekilka avtoriv pokazali sho algoritmi pidsilyuvannya na osnovi neopukloyi optimizaciyi taki yak en mozhut navchatisya iz zashumlenih naboriv danih i mozhut navchatisya konkretno klasifikatora sho lezhit v osnovi naboru danih Longa Servedio Div takozh en Vipadkovij lis en Natyazhkove agreguvannya angl bagging en en en en Logistichna regresiya en Nejronni merezhi Oporno vektorni mashini en en Perehresne zatverdzhuvannya Mashinne navchannya Spisok naboriv danih dlya doslidzhen z mashinnogo navchannyaVtilennyaScikit learn vidkrita biblioteka mashinnogo navchannya dlya python en bezkoshtovnij paket programnogo zabezpechennya dobuvannya danih modul Orange sensemble 4 bereznya 2016 u Wayback Machine Weka ce nabir instrumentiv mashinnogo navchannya yakij proponuye riznomanitni vtilennya algoritmiv pidsilyuvannya takih yak AdaBoost ta LogitBoost Paket R GBM 11 listopada 2018 u Wayback Machine Generalized Boosted Regression Models vtilyuye rozshirennya algoritmu AdaBoost Frojnda ta Shapiro ta mashini gradiyentnogo pidsilyuvannya Fridmana jboost 18 lyutogo 2019 u Wayback Machine AdaBoost LogitBoost RobustBoost Boostexter ta cherguvalni dereva rishen Paket R adabag 17 veresnya 2018 u Wayback Machine zastosovuye Multiclass AdaBoost M1 AdaBoost SAMME ta Bagging Paket R xgboost 26 zhovtnya 2018 u Wayback Machine vtilennya gradiyentnogo pidsilyuvannya dlya linijnih modelej ta modelej na osnovi derev PrimitkiVinoski en 1996 PDF TECHNICAL REPORT Arhiv originalu PDF za 19 sichnya 2015 Procitovano 19 sichnya 2015 U znizhenni dispersiyi Arcing Pidsilyuvannya ye uspishnishim za bagging angl en 2012 Ensemble Methods Foundations and Algorithms Chapman and Hall CRC s 23 ISBN 978 1439830031 Termin pidsilyuvannya stosuyetsya simejstva algoritmiv zdatnih peretvoryuvati slabkih uchniv na silnih angl Michael Kearns 1988 Thoughts on Hypothesis Boosting 13 lipnya 2019 u Wayback Machine Unpublished manuscript Machine Learning class project December 1988 angl en Leslie Valiant 1989 Symposium on Theory of computing ACM 21 433 444 doi 10 1145 73007 73049 Arhiv originalu za 1 kvitnya 2017 Procitovano 18 sichnya 2015 angl Schapire Robert E 1990 PDF Machine Learning Boston MA Kluwer Academic Publishers 5 2 197 227 CiteSeerX 10 1 1 20 723 doi 10 1007 bf00116037 Arhiv originalu PDF za 10 zhovtnya 2012 Procitovano 7 travnya 2018 angl en 1998 Ann Stat 26 3 801 849 doi 10 1214 aos 1024691079 Arhiv originalu za 2 chervnya 2018 Procitovano 17 listopada 2015 Shapiro 1990 doviv sho pidsilyuvannya ye mozhlivim s 823 angl Yoav Freund and Robert E Schapire 1997 A Decision Theoretic Generalization of On Line Learning and an Application to Boosting 24 bereznya 2018 u Wayback Machine Journal of Computer and System Sciences 55 1 119 139 angl Leo Breiman 1998 Arcing Classifier with Discussion and a Rejoinder by the Author 19 listopada 2018 u Wayback Machine Annals of Statistics vol 26 no 3 pp 801 849 angl Ideyu slabkogo navchannya bulo predstavleno Kirnsom ta Velientom 1988 1989 yaki zalishili vidkritim pitannya pro te chi ye slabka j silna navchanist ekvivalentnimi Ce pitannya bulo nazvano zadacheyu pidsilyuvannya oskilki rozv yazok musiv pidsilyuvati nizku tochnist slabkogo uchnya do visokoyi tochnosti silnogo uchnya Shapiro 1990 roku doviv sho pidsilyuvannya ye mozhlivim Algoritm pidsilyuvannya ce metod yakij bere slabkogo uchnya i peretvoryuye jogo na silnogo Frojnd ta Shapiro 1997 roku doveli sho algoritm podibnij do arc fs ye pidsilyuvannyam Llew Mason Jonathan Baxter Peter Bartlett and Marcus Frean 2000 Boosting Algorithms as Gradient Descent in S A Solla T K Leen and K R Muller editors Advances in Neural Information Processing Systems 12 pp 512 518 MIT Press angl Sivic Russell Efros Freeman amp Zisserman Discovering objects and their location in images ICCV 2005 angl A Opelt A Pinz et al Generic Object Recognition with Boosting IEEE Transactions on PAMI 2006 angl M Marszalek Semantic Hierarchies for Visual Object Recognition 2007 angl December 2017 Arhiv originalu za 2 listopada 2018 angl P Viola M Jones Robust Real time Object Detection 2001 angl Viola P Jones M Snow D 2003 PDF ICCV Arhiv originalu PDF za 22 veresnya 2017 Procitovano 7 travnya 2018 angl A Torralba K P Murphy et al Sharing visual features for multiclass and multiview object detection IEEE Transactions on PAMI 2006 angl A Opelt et al Incremental learning of object detectors using a visual shape alphabet CVPR 2006 angl P Long and R Servedio 25th International Conference on Machine Learning ICML 2008 pp 608 615 angl Long Philip M Servedio Rocco A March 2010 PDF Machine Learning Springer US 78 3 287 304 doi 10 1007 s10994 009 5165 z Arhiv originalu PDF za 6 lipnya 2017 Procitovano 17 listopada 2015 angl Do uvagi Yoav Freund and Robert E Schapire 1997 A Decision Theoretic Generalization of On line Learning and an Application to Boosting 12 zhovtnya 2008 u Wayback Machine Journal of Computer and System Sciences 55 1 119 139 angl Robert E Schapire and Yoram Singer 1999 Improved Boosting Algorithms Using Confidence Rated Predictors 20 serpnya 2008 u Wayback Machine Machine Learning 37 3 297 336 angl PosilannyaRobert E Schapire 2003 The Boosting Approach to Machine Learning An Overview 20 veresnya 2020 u Wayback Machine MSRI Mathematical Sciences Research Institute Workshop on Nonlinear Estimation and Classification angl Zhou Zhi Hua 2014 Boosting 25 years 20 serpnya 2016 u Wayback Machine CCL 2014 Keynote angl Zhou Zhihua 2008 PDF In Proceedings of the 21st Annual Conference on Learning Theory COLT 08 479 490 Arhiv originalu PDF za 5 lipnya 2017 Procitovano 7 travnya 2018 angl Zhou Zhihua 2013 PDF Artificial Intelligence 203 1 18 doi 10 1016 j artint 2013 07 002 Arhiv originalu PDF za 5 lipnya 2017 Procitovano 7 travnya 2018 angl

Дата публікації:
Топ