Афінне пристосовування форми

Афі́нне пристосо́вування фо́рми (англ. Affine shape adaptation) — це методологія ітеративного пристосовування форми ядер згладжування в ^[en] ядер згладжування до локальної структури зображення в області околу конкретної точки зображення. Еквівалентно, афінне пристосовування форми можливо здійснювати ітеративним деформуванням афінними перетвореннями локального фрагмента зображення, застосовуючи обертово-симетричний фільтр до деформованих фрагментів зображення. За умови, що цей ітеративний процес збігається, отримувана в результаті фіксована точка буде афінно інваріантною (англ. affine invariant). В галузі комп'ютерного бачення цю ідею використали для визначення афінно інваріантних операторів особливих точок, а також афінно інваріантних методів аналізу текстур.

Афіннопристосовані оператори особливих точок

Особливі точки (англ. interest points), отримувані за допомогою масштабопристосованого лапласіанного виявляча плям або багатомасштабного виявляча кутів Гарріса з автоматичним обиранням масштабу, інваріантні щодо паралельних перенесень, обертання та рівномірного масштабування в просторовій області. Проте зображення, що є вхідними для систем комп'ютерного бачення, зазнають також і перспективних спотворень. Щоб отримувати особливі точки, стійкіші до перспективних перетворень, природним підходом є розробка виявляча ознак, інваріантного щодо афінних перетворень .

Афінної інваріантності можливо досягати за допомогою вимірювань тієї ж багатомасштабної віконної матриці другого моменту ${\displaystyle \mu }$, як використовують і в багатомасштабному операторі Гарріса, за умови розширення звичайного поняття простору масштабів, отримуваного згортанням з обертово-симетричними гауссовими ядрами, до афінного гауссового простору масштабів (англ. affine Gaussian scale-space), отримуваного пристосованими до форми гауссовими ядрами (Lindeberg, 1994, розділ 15.3; Lindeberg та Garding, 1997). Для двовимірного зображення ${\displaystyle I}$, нехай ${\displaystyle {\bar {x}}=(x,y)^{T}}$, і нехай ${\displaystyle \Sigma _{t}}$ — додатно визначена матриця 2×2. Тоді нерівномірне гауссове ядро можливо визначити як

${\displaystyle g({\bar {x}};\Sigma )={\frac {1}{2\pi {\sqrt {\operatorname {det} \Sigma _{t}}}}}e^{-{\bar {x}}\Sigma _{t}^{-1}{\bar {x}}/2}}$

і для будь-якого заданого вхідного зображення ${\displaystyle I_{L}}$ афінний гауссів простір масштабів — це трипараметровий простір масштабів, визначений як

${\displaystyle L({\bar {x}};\Sigma _{t})=\int _{\bar {xi}}I_{L}(x-\xi )\,g({\bar {\xi }};\Sigma _{t})\,d{\bar {\xi }}.}$

Далі введімо афінне перетворення ${\displaystyle \eta =B\xi }$, де ${\displaystyle B}$ — матриця 2×2, і визначмо перетворення зображення ${\displaystyle I_{R}}$ як

${\displaystyle I_{L}({\bar {\xi }})=I_{R}({\bar {\eta }})}$ .

Відтак, афінні масштабопросторові подання ${\displaystyle L}$ та ${\displaystyle R}$ зображень ${\displaystyle I_{L}}$ та ${\displaystyle I_{R}}$ пов'язані відповідно до

${\displaystyle L({\bar {\xi }},\Sigma _{L})=R({\bar {\eta }},\Sigma _{R})}$

за умови, що матриці афінної форми ${\displaystyle \Sigma _{L}}$ та ${\displaystyle \Sigma _{R}}$ пов'язані відповідно до

${\displaystyle \Sigma _{R}=B\Sigma _{L}B^{T}}$ .

Нехтуючи математичними деталями, які, на жаль, стають дещо технічними, якщо прагнути до точного опису того, що відбувається, важливе повідомлення полягає в тому, що афінний гауссів простір масштабів замкнений щодо афінних перетворень.

Якщо ми, виходячи з позначення ${\displaystyle \nabla L=(L_{x},L_{y})^{T}}$, а також локальної матриці форми ${\displaystyle \Sigma _{t}}$ та інтегрувальної матриці форми ${\displaystyle \Sigma _{s}}$, введемо афіннопристосовану багатомасштабну матрицю другого моменту відповідно до

${\displaystyle \mu _{L}({\bar {x}};\Sigma _{t},\Sigma _{s})=g({\bar {x}}-{\bar {\xi }};\Sigma _{s})\,\left(\nabla _{L}({\bar {\xi }};\Sigma _{t})\nabla _{L}^{T}({\bar {\xi }};\Sigma _{t})\right)}$

то можливо показати, що за будь-якого афінного перетворення ${\displaystyle {\bar {q}}=B{\bar {p}}}$ афіннопристосована багатомасштабна матриця другого моменту перетворюється відповідно до

${\displaystyle \mu _{L}({\bar {p}};\Sigma _{t},\Sigma _{s})=B^{T}\mu _{R}({\bar {q}};B\Sigma _{t}B^{T},B\Sigma _{s}B^{T})B}$ .

Знов-таки, з пропусканням дещо нечепурних технічних деталей, важливе повідомлення тут полягає в тому, що за умови відповідності між точками зображень ${\displaystyle {\bar {p}}}$ та ${\displaystyle {\bar {q}}}$, афінне перетворення ${\displaystyle B}$ можливо оцінювати з вимірювань багатомасштабних матриць другого моменту ${\displaystyle \mu _{L}}$ та ${\displaystyle \mu _{R}}$ у цих двох областях визначення.

Важливим наслідком цього дослідження є те, що якщо нам вдасться знайти таке афінне перетворення ${\displaystyle B}$, що ${\displaystyle \mu _{R}}$ буде сталою, помноженою на одиничну матрицю, то ми отримаємо фіксовану точку, що є інваріантною до афінних перетворень (Lindeberg, 1994, розділ 15.4; Lindeberg та Garding, 1997). З метою практичного втілення, цієї властивості часто можливо досягати одним із двох основних шляхів. Перший підхід ґрунтується на перетвореннях фільтрів згладжування, і складається з:

• оцінювання матриці другого моменту ${\displaystyle \mu }$ в області зображення,
• визначення нового пристосованого ядра згладжування з матрицею коваріації, пропорційною ${\displaystyle \mu ^{-1}}$,
• згладжування первинного зображення цим пристосованим до форми ядром згладжування, і
• повторювання цієї операції, доки різниця між двома послідовними матрицями другого моменту стане достатньо малою.

Другий підхід ґрунтується на деформаціях в області зображення, і містить:

• оцінювання ${\displaystyle \mu }$ в області зображення,
• оцінювання локального афінного перетворення, пропорційного ${\displaystyle {\hat {B}}=\mu ^{1/2}}$, де ${\displaystyle \mu ^{1/2}}$ позначує матрицю квадратного кореня ${\displaystyle \mu }$ ,
• деформацію вхідного зображення афінним перетворенням ${\displaystyle {\hat {B}}^{-1}}$, і
• повторювання цієї операції, доки ${\displaystyle \mu }$ стане достатньо близькою до сталої, помноженої на одиничну матрицю.

Цей загальний процес називають афінним пристосовуванням форми (англ. affine shape adaptation, Lindeberg та Garding, 1997; Baumberg, 2000; Mikolajczyk та Schmid, 2004; Tuytelaars та van Gool, 2004; Ravela, 2004; Lindeberg, 2008). В ідеальному неперервному випадку обидва підходи математично еквівалентні. Проте в практичних втіленнях перший підхід на основі фільтрів зазвичай точніший за наявності шуму, тоді як другий підхід на основі деформацій зазвичай швидший.

На практиці описаний тут процес афінного пристосовування форми часто поєднують з автоматичним обиранням масштабу виявляння особливих точок, як описано в статтях про виявляння плям та виявляння кутів, щоб отримувати особливі точки, інваріантні щодо повної афінної групи, включно зі зміною масштабу. Окрім широко використовуваного багатомасштабного оператора Гарріса, це афінне пристосовування форми також можливо застосовувати й до інших типів операторів особливих точок, таких як лапласіанний/різницевогауссіанний плямовий оператор, та визначник гессіана (Lindeberg, 2008). Афінне пристосовування форми також можливо використовувати для афінно інваріантного розпізнавання та афінно інваріантного сегментування текстур.

З поняттям афінного пристосовування форми тісно пов'язане поняття афінного нормування (англ. affine normalization), яке визначає афінно інваріантну систему відліку (англ. affine invariant reference frame), як описано докладніше в Lindeberg (2013a, b, 2021: Додаток I.3), таку, що будь-яке вимірювання зображення, виконане в афінно інваріантній системі відліку, є афінно інваріантним.

Див. також

• Виявляння плям
• Виявляння кутів
• Функція Гаусса
• Гаррісів афінний виявляч областей
• Гессіанний афінний виявляч областей
• Простір масштабів

Література

• Baumberg, A. (2000). Reliable feature matching across widely separated views. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. с. I:1774–1781. doi:10.1109/CVPR.2000.855899.
• Lindeberg, T. (1994). Scale-Space Theory in Computer Vision. Springer. ISBN .
• Lindeberg, T.; Garding, J. (1997). Shape-adapted smoothing in estimation of 3-D depth cues from affine distortions of local 2-D structure. Image and Vision Computing. 15 (6): 415—434. doi:10.1016/S0262-8856(97)01144-X.
• Lindeberg, T. (2008). Scale-space. Encyclopedia of Computer Science and Engineering (^[en], ed), John Wiley and Sons. Т. IV. с. 2495—2504. doi:10.1002/9780470050118.ecse609. ISBN .
• Lindeberg, T. (2013a). Invariance of visual operations at the level of receptive fields. PLOS ONE. 8 (7): e66990:1–33. arXiv:1210.0754. Bibcode:2013PLoSO...866990L. doi:10.1371/journal.pone.0066990. PMC 3716821. PMID 23894283.
• Lindeberg, T. (2013b). Generalized axiomatic scale-space theory. Advances in Imaging and Electron Physics. 178 (7): 1—96. doi:10.1016/B978-0-12-407701-0.00001-7. ISBN .
• Lindeberg, T. (2021). Normative theory of visual receptive fields. Heliyon. 7 (1): e05897. doi:10.1016/j.heliyon.2021.e05897. PMC 7820928. PMID 33521348.
• Mikolajczyk, K.; Schmid, C. (2004). Scale and affine invariant interest point detectors (PDF). International Journal of Computer Vision. 60 (1): 63—86. doi:10.1023/B:VISI.0000027790.02288.f2. S2CID 1704741. Integration of the multi-scale Harris operator with the methodology for automatic scale selection as well as with affine shape adaptation.
• Tuytelaars, T.; van Gool, L. (2004). (PDF). International Journal of Computer Vision. 59 (1): 63—86. doi:10.1023/B:VISI.0000020671.28016.e8. S2CID 5107897. Архів оригіналу (PDF) за 12 червня 2010.
• Ravela, S. (2004). Shaping receptive fields for affine invariance. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. Т. 2. с. 725—730. doi:10.1109/CVPR.2004.1315236. ISBN .