Га́ррісів виявля́ч куті́в (англ. Harris corner detector) — це оператор виявляння кутів, який зазвичай використовують в алгоритмах комп'ютерного бачення для виділяння кутів та висновування ознак зображення. Його вперше впровадили Кріс Гарріс та Майк Стівенс 1988 року через вдосконалення виявляча кутів Моравека. Порівняно з попереднім, гаррісів виявляч кутів враховує диференціал кутової оцінки (англ. corner score) безпосередньо з напрямком, замість використовувати зміщувані фрагменти для кожного з 45-градусних кутів, і було доведено, що у розрізнюванні контурів та кутів він точніший. Відтоді його було вдосконалено та використано в багатьох алгоритмах попередньої обробки зображень для наступних застосувань.
Введення
Кут (англ. corner) — це точка, локальний окіл якої перебуває у двох переважних і різних напрямках контурів. Іншими словами, кут можливо інтерпретувати як з'єднання двох контурів, де контур (англ. edge) — це раптова зміна яскравості зображення. Кути — важливі ознаки на зображенні, і їх зазвичай називають особливими точками, інваріантними щодо переміщення, обертання та освітлення. Хоч кути й становлять лише невеликий відсоток зображення, вони містять найважливіші ознаки для відновлення інформації зображення, і їх можливо використовувати для мінімізування обсягу оброблюваних даних для відстежування руху, [en], побудови двовимірних мозаїк, стереобачення, подання зображень та інших суміжних областей комп'ютерного бачення.
Щоби вловлювати кути на зображеннях, дослідники запропонували багато різних виявлячів кутів, у тому числі оператор Канаде — Лукаса — Томазі (КЛТ) та оператор Гарріса, що є найпростішими, найефективнішими та найнадійнішими для використання у виявлянні кутів. Ці обидві популярні методології тісно пов'язані з локальною структурною матрицею, та ґрунтуються на ній. Порівняно з виявлячем кутів Канаде — Лукаса — Томазі, Гаррісів виявляч кутів забезпечує добру повторюваність за змін освітлення та обертання, й відтак його частіше використовують для стереозіставляння та пошуку базами даних зображень. Незважаючи на все ще наявні недоліки та обмеження, Гаррісів виявляч кутів залишається важливою та фундаментальною методикою для багатьох застосунків комп'ютерного бачення.
Розробка алгоритму Гарріса виявляння кутів
Без втрати загальності, ми розглянемо використання двовимірного зображення у відтінках сірого. Нехай це зображення задано через . Розгляньмо взяття фрагменту зображення (вікно, англ. window) та його зміщення на . Суму квадратів різниць (СКР) між цими двома фрагментами, позначувану через , задають як
можливо наблизити розкладом Тейлора. Нехай та — частинні похідні , такі, що
Це дає наближення
яке можливо записати у матричному вигляді:
де M — структурний тензор,
Процес алгоритму Гарріса виявляння кутів
Зазвичай алгоритм Гарріса виявляння кутів можливо розділити на п'ять кроків.
- З кольору до відтінків сірого
- Обчислення просторової похідної
- Налаштування структурного тензора
- Обчислення гаррісового відгуку
- Пригнічення немаксимумів
З кольору до відтінків сірого
Якщо ми використовуємо гаррісів виявляч кутів у кольоровому зображенні, першим кроком буде перетворити його на зображення у відтінках сірого, що підвищить швидкість обробки.
Значення пікселя у відтінках сірого можливо обчислювати як зважену суму значень R, B та G кольорового зображення,
- ,
де, наприклад,
Обчислення просторової похідної
Далі ми знаходимо похідні за x та за y, та .
Налаштування структурного тензора
Із та ми можемо побудувати структурний тензор .
Обчислення гаррісового відгуку
Для маємо На цьому кроці ми обчислюємо найменше власне значення структурного тензора, використовуючи це наближення:
де слід .
Нижче наведено інше часто використовуване обчислення гаррісового відгуку,
де — емпірично встановлювана стала; .
Пригнічування немаксимумів
Щоби обирати оптимальні значення для вказування кутів, ми знаходимо локальні максимуми як кути в межах вікна, що є фільтром 3 на 3.
Вдосконалення
- Виявляч кутів Гарріса — Лапласа
- Виявляч кутів на основі диференціального морфологічного розкладу
- Виявляч кутів на основі багатомасштабного двобічного структурного тензора
Застосування
- Вирівнювання, [en] та зіставляння зображень
- Створення двовимірних мозаїк
- Моделювання та відбудова тривимірних сцен
- [en]
- [en]
- Індексування та пошук зображень за вмістом
- Відстежування у відео
Див. також
Примітки
- Chris Harris and Mike Stephens (1988). A Combined Corner and Edge Detector. Alvey Vision Conference. Т. 15. (англ.)
- Dey, Nilanjan та ін. (2012). A Comparative Study between Moravec and Harris Corner Detection of Noisy Images Using Adaptive Wavelet Thresholding Technique. arXiv:1209.1558 [cs.CV]. (англ.)
- Konstantinos G. Derpanis (2004). The harris corner detector. York University. (англ.)
- Harris Operator Corner Detection using Sliding Window Method - Google Scholar. scholar.google.com. Процитовано 29 листопада 2015. (англ.)
- The Comparison and Application of Corner Detection Algorithms - Google Scholar. scholar.google.com. Процитовано 29 листопада 2015. (англ.)
- Javier Sánchez, Nelson Monzón and Agustín Salgado (2018). An Analysis and Implementation of the Harris Corner Detector. Image Processing on Line. 8: 305—328. doi:10.5201/ipol.2018.229. (англ.)
- Bellavia, F.; Tegolo, D.; Valenti, C. (1 березня 2011). Improving Harris corner selection strategy. IET Computer Vision. 5 (2): 87. doi:10.1049/iet-cvi.2009.0127. (англ.)
- Rosten, Edward; Drummond, Tom (7 травня 2006). Leonardis, Aleš; Bischof, Horst; Pinz, Axel (ред.). Machine Learning for High-Speed Corner Detection. Lecture Notes in Computer Science (англ.). Springer Berlin Heidelberg. с. 430—443. CiteSeerX 10.1.1.64.8513. doi:10.1007/11744023_34. ISBN . (англ.)
- A Comparison of Affine Region Detectors - Google Scholar. scholar.google.com. Процитовано 29 листопада 2015. (англ.)
- Gueguen, L.; Pesaresi, M. (2011). Multi scale Harris corner detector based on Differential Morphological Decomposition. Pattern Recognition Letters. 32 (14): 1714—1719. doi:10.1016/j.patrec.2011.07.021. (англ.)
- A Multi-scale Bilateral Structure Tensor Based Corner Detector - Google Scholar. scholar.google.com. Процитовано 29 листопада 2015. (англ.)
- Kang, Juan; Xiao, Chuangbai; Deng, M.; Yu, Jing; Liu, Haifeng (1 серпня 2011). Image registration based on harris corner and mutual information. Т. 7. с. 3434—3437. doi:10.1109/EMEIT.2011.6023066. ISBN . S2CID 17367248.
{{}}
: Проігноровано|journal=
() (англ.) - Underwater Mosaic Creation using Video sequences from Different Altitudes - Google Scholar. scholar.google.com. Процитовано 2 грудня 2015. (англ.)
- Automated reconstruction of 3D scenes from sequences of images - Google Scholar. scholar.google.com. Процитовано 2 грудня 2015. (англ.)
- Liu, Meng; Wu, Chengdong; Zhang, Yunzhou (1 липня 2008). Multi-resolution optical flow tracking algorithm based on multi-scale Harris corner points feature. с. 5287—5291. doi:10.1109/CCDC.2008.4598340. ISBN . S2CID 8085227.
{{}}
: Проігноровано|journal=
() (англ.) - Object Recognition from Local Scale-Invariant Features - Google Scholar. scholar.google.com. Процитовано 29 листопада 2015. (англ.)
- Salient Points for Content Based Retrieval - Google Scholar. scholar.google.com. Процитовано 2 грудня 2015. (англ.)
- Tracking and Recognition of Objects using SURF Descriptor and Harris Corner Detection - Google Scholar. scholar.google.com. Процитовано 2 грудня 2015. (англ.)
Посилання
- «Вивчення OpenCV на прикладах: Гаррісове виявляння кутів» (англ.)
- «Гаррісове виявляння кутів — документація OpenCV» (англ.)
- . Архів оригіналу за 7 травня 2021. (англ.)
- Інтерактивне втілення гаррісового виявляча кутів — IPOL (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Ga rrisiv viyavlya ch kuti v angl Harris corner detector ce operator viyavlyannya kutiv yakij zazvichaj vikoristovuyut v algoritmah komp yuternogo bachennya dlya vidilyannya kutiv ta visnovuvannya oznak zobrazhennya Jogo vpershe vprovadili Kris Garris ta Majk Stivens 1988 roku cherez vdoskonalennya viyavlyacha kutiv Moraveka Porivnyano z poperednim garrisiv viyavlyach kutiv vrahovuye diferencial kutovoyi ocinki angl corner score bezposeredno z napryamkom zamist vikoristovuvati zmishuvani fragmenti dlya kozhnogo z 45 gradusnih kutiv i bulo dovedeno sho u rozriznyuvanni konturiv ta kutiv vin tochnishij Vidtodi jogo bulo vdoskonaleno ta vikoristano v bagatoh algoritmah poperednoyi obrobki zobrazhen dlya nastupnih zastosuvan VvedennyaKut angl corner ce tochka lokalnij okil yakoyi perebuvaye u dvoh perevazhnih i riznih napryamkah konturiv Inshimi slovami kut mozhlivo interpretuvati yak z yednannya dvoh konturiv de kontur angl edge ce raptova zmina yaskravosti zobrazhennya Kuti vazhlivi oznaki na zobrazhenni i yih zazvichaj nazivayut osoblivimi tochkami invariantnimi shodo peremishennya obertannya ta osvitlennya Hoch kuti j stanovlyat lishe nevelikij vidsotok zobrazhennya voni mistyat najvazhlivishi oznaki dlya vidnovlennya informaciyi zobrazhennya i yih mozhlivo vikoristovuvati dlya minimizuvannya obsyagu obroblyuvanih danih dlya vidstezhuvannya ruhu en pobudovi dvovimirnih mozayik stereobachennya podannya zobrazhen ta inshih sumizhnih oblastej komp yuternogo bachennya Shobi vlovlyuvati kuti na zobrazhennyah doslidniki zaproponuvali bagato riznih viyavlyachiv kutiv u tomu chisli operator Kanade Lukasa Tomazi KLT ta operator Garrisa sho ye najprostishimi najefektivnishimi ta najnadijnishimi dlya vikoristannya u viyavlyanni kutiv Ci obidvi populyarni metodologiyi tisno pov yazani z lokalnoyu strukturnoyu matriceyu ta gruntuyutsya na nij Porivnyano z viyavlyachem kutiv Kanade Lukasa Tomazi Garrisiv viyavlyach kutiv zabezpechuye dobru povtoryuvanist za zmin osvitlennya ta obertannya j vidtak jogo chastishe vikoristovuyut dlya stereozistavlyannya ta poshuku bazami danih zobrazhen Nezvazhayuchi na vse she nayavni nedoliki ta obmezhennya Garrisiv viyavlyach kutiv zalishayetsya vazhlivoyu ta fundamentalnoyu metodikoyu dlya bagatoh zastosunkiv komp yuternogo bachennya Rozrobka algoritmu Garrisa viyavlyannya kutivBez vtrati zagalnosti mi rozglyanemo vikoristannya dvovimirnogo zobrazhennya u vidtinkah sirogo Nehaj ce zobrazhennya zadano cherez I displaystyle I Rozglyanmo vzyattya fragmentu zobrazhennya x y W displaystyle x y in W vikno angl window ta jogo zmishennya na Dx Dy displaystyle Delta x Delta y Sumu kvadrativ riznic SKR mizh cimi dvoma fragmentami poznachuvanu cherez f displaystyle f zadayut yak f Dx Dy xk yk W I xk yk I xk Dx yk Dy 2 displaystyle f Delta x Delta y underset x k y k in W sum left I x k y k I x k Delta x y k Delta y right 2 I x Dx y Dy displaystyle I x Delta x y Delta y mozhlivo nabliziti rozkladom Tejlora Nehaj Ix displaystyle I x ta Iy displaystyle I y chastinni pohidni I displaystyle I taki sho I x Dx y Dy I x y Ix x y Dx Iy x y Dy displaystyle I x Delta x y Delta y approx I x y I x x y Delta x I y x y Delta y Ce daye nablizhennya f Dx Dy x y W Ix x y Dx Iy x y Dy 2 displaystyle f Delta x Delta y approx underset x y in W sum left I x x y Delta x I y x y Delta y right 2 yake mozhlivo zapisati u matrichnomu viglyadi f Dx Dy DxDy M DxDy displaystyle f Delta x Delta y approx begin pmatrix Delta x amp Delta y end pmatrix M begin pmatrix Delta x Delta y end pmatrix de M strukturnij tenzor M x y W Ix2IxIyIxIyIy2 x y WIx2 x y WIxIy x y WIxIy x y WIy2 displaystyle M underset x y in W sum begin bmatrix I x 2 amp I x I y I x I y amp I y 2 end bmatrix begin bmatrix underset x y in W sum I x 2 amp underset x y in W sum I x I y underset x y in W sum I x I y amp underset x y in W sum I y 2 end bmatrix Proces algoritmu Garrisa viyavlyannya kutivZazvichaj algoritm Garrisa viyavlyannya kutiv mozhlivo rozdiliti na p yat krokiv Z koloru do vidtinkiv sirogo Obchislennya prostorovoyi pohidnoyi Nalashtuvannya strukturnogo tenzora Obchislennya garrisovogo vidguku Prignichennya nemaksimumivZ koloru do vidtinkiv sirogo Yaksho mi vikoristovuyemo garrisiv viyavlyach kutiv u kolorovomu zobrazhenni pershim krokom bude peretvoriti jogo na zobrazhennya u vidtinkah sirogo sho pidvishit shvidkist obrobki Znachennya pikselya u vidtinkah sirogo mozhlivo obchislyuvati yak zvazhenu sumu znachen R B ta G kolorovogo zobrazhennya C R G B wC C displaystyle sum C in R G B w C cdot C de napriklad wR 0 299 wG 0 587 wB 1 wR wG 0 114 displaystyle w R 0 299 w G 0 587 w B 1 w R w G 0 114 Obchislennya prostorovoyi pohidnoyi Dali mi znahodimo pohidni za x ta za y Ix x y displaystyle I x x y ta Iy x y displaystyle I y x y Nalashtuvannya strukturnogo tenzora Iz Ix x y displaystyle I x x y ta Iy x y displaystyle I y x y mi mozhemo pobuduvati strukturnij tenzor M displaystyle M Obchislennya garrisovogo vidguku Dlya x y displaystyle x ll y mayemo x yx y x11 x y x displaystyle tfrac x cdot y x y x tfrac 1 1 x y approx x Na comu kroci mi obchislyuyemo najmenshe vlasne znachennya strukturnogo tenzora vikoristovuyuchi ce nablizhennya lmin l1l2 l1 l2 det M tr M displaystyle lambda min approx frac lambda 1 lambda 2 lambda 1 lambda 2 frac det M operatorname tr M de slid tr M m11 m22 displaystyle mathrm tr M m 11 m 22 Nizhche navedeno inshe chasto vikoristovuvane obchislennya garrisovogo vidguku R l1l2 k l1 l2 2 det M ktr M 2 displaystyle R lambda 1 lambda 2 k lambda 1 lambda 2 2 det M k operatorname tr M 2 de k displaystyle k empirichno vstanovlyuvana stala k 0 04 0 06 displaystyle k in 0 04 0 06 Prignichuvannya nemaksimumiv Shobi obirati optimalni znachennya dlya vkazuvannya kutiv mi znahodimo lokalni maksimumi yak kuti v mezhah vikna sho ye filtrom 3 na 3 VdoskonalennyaViyavlyach kutiv Garrisa Laplasa Viyavlyach kutiv na osnovi diferencialnogo morfologichnogo rozkladu Viyavlyach kutiv na osnovi bagatomasshtabnogo dvobichnogo strukturnogo tenzoraZastosuvannyaVirivnyuvannya en ta zistavlyannya zobrazhen Stvorennya dvovimirnih mozayik Modelyuvannya ta vidbudova trivimirnih scen en en Indeksuvannya ta poshuk zobrazhen za vmistom Vidstezhuvannya u videoDiv takozhStrukturnij tenzor Garrisiv afinnij viyavlyach oblastej Viyavlyannya kutiv Viyavlyannya oznak komp yuterne bachennya Komp yuterne bachennya en PrimitkiChris Harris and Mike Stephens 1988 A Combined Corner and Edge Detector Alvey Vision Conference T 15 angl Dey Nilanjan ta in 2012 A Comparative Study between Moravec and Harris Corner Detection of Noisy Images Using Adaptive Wavelet Thresholding Technique arXiv 1209 1558 cs CV angl Konstantinos G Derpanis 2004 The harris corner detector York University angl Harris Operator Corner Detection using Sliding Window Method Google Scholar scholar google com Procitovano 29 listopada 2015 angl The Comparison and Application of Corner Detection Algorithms Google Scholar scholar google com Procitovano 29 listopada 2015 angl Javier Sanchez Nelson Monzon and Agustin Salgado 2018 An Analysis and Implementation of the Harris Corner Detector Image Processing on Line 8 305 328 doi 10 5201 ipol 2018 229 angl Bellavia F Tegolo D Valenti C 1 bereznya 2011 Improving Harris corner selection strategy IET Computer Vision 5 2 87 doi 10 1049 iet cvi 2009 0127 angl Rosten Edward Drummond Tom 7 travnya 2006 Leonardis Ales Bischof Horst Pinz Axel red Machine Learning for High Speed Corner Detection Lecture Notes in Computer Science angl Springer Berlin Heidelberg s 430 443 CiteSeerX 10 1 1 64 8513 doi 10 1007 11744023 34 ISBN 978 3 540 33832 1 angl A Comparison of Affine Region Detectors Google Scholar scholar google com Procitovano 29 listopada 2015 angl Gueguen L Pesaresi M 2011 Multi scale Harris corner detector based on Differential Morphological Decomposition Pattern Recognition Letters 32 14 1714 1719 doi 10 1016 j patrec 2011 07 021 angl A Multi scale Bilateral Structure Tensor Based Corner Detector Google Scholar scholar google com Procitovano 29 listopada 2015 angl Kang Juan Xiao Chuangbai Deng M Yu Jing Liu Haifeng 1 serpnya 2011 Image registration based on harris corner and mutual information T 7 s 3434 3437 doi 10 1109 EMEIT 2011 6023066 ISBN 978 1 61284 087 1 S2CID 17367248 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite book title Shablon Cite book cite book a Proignorovano journal dovidka angl Underwater Mosaic Creation using Video sequences from Different Altitudes Google Scholar scholar google com Procitovano 2 grudnya 2015 angl Automated reconstruction of 3D scenes from sequences of images Google Scholar scholar google com Procitovano 2 grudnya 2015 angl Liu Meng Wu Chengdong Zhang Yunzhou 1 lipnya 2008 Multi resolution optical flow tracking algorithm based on multi scale Harris corner points feature s 5287 5291 doi 10 1109 CCDC 2008 4598340 ISBN 978 1 4244 1733 9 S2CID 8085227 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite book title Shablon Cite book cite book a Proignorovano journal dovidka angl Object Recognition from Local Scale Invariant Features Google Scholar scholar google com Procitovano 29 listopada 2015 angl Salient Points for Content Based Retrieval Google Scholar scholar google com Procitovano 2 grudnya 2015 angl Tracking and Recognition of Objects using SURF Descriptor and Harris Corner Detection Google Scholar scholar google com Procitovano 2 grudnya 2015 angl Posilannya Vivchennya OpenCV na prikladah Garrisove viyavlyannya kutiv angl Garrisove viyavlyannya kutiv dokumentaciya OpenCV angl Arhiv originalu za 7 travnya 2021 angl Interaktivne vtilennya garrisovogo viyavlyacha kutiv IPOL angl