Гессіанний афінний виявляч областей

Гессіа́нний афі́нний виявля́ч областе́й (англ. Hessian affine region detector) — це виявляч ознак, який використовують у галузях комп'ютерного бачення та ^[en]. Як й інші виявлячі ознак, гессіанний афінний виявляч зазвичай використовують як етап попередньої обробки для алгоритмів, які покладаються на ідентифіковні, характерні особливі точки.

Гессіанний афінний виявляч — частина підкласу виявлячів ознак, відомих як афінноінваріа́нтні (англ. affine-invariant) виявлячі: гаррісів афінний виявляч областей, гессіанні афінні області, максимально стабільні екстремумні області, ^[en], області на основі контурів (англ. edge-based regions, EBR), та області на основі екстремумів яскравості (англ. intensity-extrema-based regions, IBR).

Опис алгоритму

Алгоритм гессіанного афінного виявляча майже ідентичний гаррісовому афінному виявлячеві областей. Насправді обидва алгоритми вивели Крістіан Миколайчик та Корделія Шмід 2002 року на основі попередніх праць , див. також  із загальнішим оглядом.

В чому відмінність гессіанного афінного?

Гаррісів афінний виявляч спирається на виявляння особливих точок у декількох масштабах за допомогою кутової міри Гарріса на матриці других моментів. Гессіанний афінний також використовує багатомасштабний ітеративний алгоритм для просторової локалізації та обирання масштабу та афінно інваріантних точок. Проте в кожному окремому масштабі гессіанний афінний виявляч обирає особливі точки на основі матриці Гессе в цій точці:

${\displaystyle H(\mathbf {x} )={\begin{bmatrix}L_{xx}(\mathbf {x} )&L_{xy}(\mathbf {x} )\\L_{yx}(\mathbf {x} )&L_{yy}(\mathbf {x} )\\\end{bmatrix}}}$

де ${\displaystyle L_{aa}(\mathbf {x} )}$ — друга частинна похідна в напрямку ${\displaystyle a}$, а ${\displaystyle L_{ab}(\mathbf {x} )}$ — змішана частинна друга похідна в напрямках ${\displaystyle a}$ та ${\displaystyle b}$. Важливо зауважити, що ці похідні обчислюють у масштабі поточної ітерації, й отже вони є похідними зображення, згладженого гауссовим ядром: ${\displaystyle L(\mathbf {x} )=g(\sigma _{I})\otimes I(\mathbf {x} )}$. Як ідеться у статті про гаррісів афінний виявляч областей, ці похідні повинно бути масштабовано відповідно до коефіцієнту, пов'язаного з гауссовим ядром: ${\displaystyle \sigma _{I}^{2}}$.

На кожному масштабі, особливі точки — це точки, які одночасно є локальними екстремумами як визначника, так і сліду матриці Гессе. Слід матриці Гессе ідентичний лапласіану гауссіанів (ЛГ, англ. LoG):

${\displaystyle {\begin{aligned}DET=\sigma _{I}^{2}(L_{xx}L_{yy}(\mathbf {x} )-L_{xy}^{2}(\mathbf {x} ))\\TR=\sigma _{I}(L_{xx}+L_{yy})\end{aligned}}}$

Як обговорювалося в Миколайчику зі співавт. (2005), через обирання точок, які максимізують визначник матриці Гессе, цей показник штрафує довші структури, які мають малі другі похідні (зміни сигналу) в одному напрямку. Цей тип міри дуже подібний до мір, які використовують у схемах виявляння плям, запропонованих Ліндебергом (1998), де в методах виявляння плям з автоматичним обиранням масштабу використовували або лапласіан, або визначник гессіана.

Як і в гаррісовому афінному алгоритмі, ці особливі точки на основі матриці Гессе також просторово локалізуються за допомогою ітераційного пошуку на основі лапласіана гауссіанів. Передбачувано, ці особливі точки називають гессіа́нно-лапласіа́нними (англ. Hessian–Laplace) особливими точками. Крім того, використовуючи ці первинно виявлені точки, гессіанний афінний виявляч застосовує ітеративний алгоритм пристосовування форми, щоби обчислювати локальне афінне перетворення для кожної особливої точки. Втілення цього алгоритму майже ідентичне втіленню гаррісового афінного виявляча, проте вищезгадана гессіанова міра замінює всі випадки кутової міри Гарріса.

Стійкість до афінних та інших перетворень

Миколайчик зі співавт. (2005) провели ретельний аналіз кількох виявлячів областей рівня останніх досягнень: гаррісового афінного, гессіанного афінного, Максимально стабільні екстремумні області, областей на основі екстремумів яскравості (англ. IBR) та на основі контурів (англ. EBR), та ^[en] виявляча. Миколайчик зі співавт. у своєму оцінюванні аналізували як структуровані, так і текстуровані зображення. Двійкові файли цих виявлячів для Linux та їхні перевірні зображення доступні вільно на їхній вебсторінці. Далі йде короткий підсумок результатів Миколайчика зі співавт. (2005), кількісніший аналіз див у Порівнянні афінних виявлячів областей (англ.).

Загалом, гессіанний афінний виявляч є другим з найкращих після МСЕО. Подібно до гаррісового афінного виявляча, гессіанні афінні особливі області схильні бути численнішими та меншими, ніж за інших виявлячів. Для одного зображення гессіанний афінний виявляч зазвичай визначає надійніші області, ніж гаррісів афінний виявляч. Продуктивність змінюється залежно від типу аналізованої сцени. Гессіанний афінний виявляч добре реагує на текстуровані сцени, в яких є багато кутоподібних частин. Проте для деяких структурованих сцен, таких як будівлі, гессіанний афінний виявляч працює дуже добре. Це доповнює МСЕО, який краще працює з добре структурованими (сегментовними) сценами.

Програмні пакети

• Affine Covariant Features: К. Миколайчик підтримує вебсторінку, яка містить двійкові файли для Linux гессіанно-афінного виявляча на додаток до інших виявлячів та описувачів. Також доступний код Matlab, який можливо використовувати для ілюстрації та обчислення повторюваності різних виявлячів. Код і зображення також доступні для дублювання результатів, отриманих у праці Миколайчик зі співавт. (2005).
• lip-vireo: двійковий код для Linux, Windows та SunOS від дослідницької групи VIREO, див. більше на їхній домашній сторінці.

Див. також

• Афінне пристосовування форми
• Ізотропія

Примітки

1. Mikolajczyk, K. and Schmid, C. 2002. An affine invariant interest point detector. In Proceedings of the 8th International Conference on Computer Vision, Vancouver, Canada. (англ.)
2. Lindeberg, Tony. "Feature detection with automatic scale selection", International Journal of Computer Vision, 30, 2, pp. 77-116, 1998. (англ.)
3. T. Lindeberg and J. Garding (1997). Shape-adapted smoothing in estimation of 3-D depth cues from affine distortions of local 2-D structure. Image and Vision Computing. 15 (6): 415—434. doi:10.1016/S0262-8856(97)01144-X. (англ.)
4. T. Lindeberg (2008–2009). Scale-space. Encyclopedia of Computer Science and Engineering (Benjamin Wah, ed), John Wiley and Sons. Т. IV. с. 2495—2504. doi:10.1002/9780470050118.ecse609. (англ.)
5. Mikolajczyk K. and Schmid, C. 2004. Scale & affine invariant interest point detectors. International Journal on Computer Vision 60(1):63-86. (англ.)
6. K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir and L. Van Gool, A comparison of affine region detectors. In IJCV 65(1/2):43-72, 2005 (англ.)
7. J.Matas, O. Chum, M. Urban, and T. Pajdla, Robust wide baseline stereo from maximally stable extremal regions. In BMVC p. 384-393, 2002. (англ.)
8. T.Tuytelaars and L. Van Gool, Matching widely separated views based on affine invariant regions . In IJCV 59(1):61-85, 2004. (англ.)
9. T. Kadir, A. Zisserman, and M. Brady, An affine invariant salient region detector. In ECCV p. 404-416, 2004. (англ.)

Посилання

•  — слайди презентації Миколайчика зі співавт. до їхньої праці 2005 року.
• [2] — лабораторія комп'ютерного бачення Корделії Шмід
• [3] — код, перевірні зображення, бібліографія афінних коваріантних ознак, які ведуть Кристіан Миколайчик та Група візуальної геометрії з Групи робототехніки Оксфордського університету.
• [4] — бібліографія виявлячів ознак (і плям), підтримувана Інститутом робототехніки та інтелектуальних систем Університету Південної Каліфорнії