Афі́нне пристосо́вування фо́рми (англ. Affine shape adaptation) — це методологія ітеративного пристосовування форми ядер згладжування в [en] ядер згладжування до локальної структури зображення в області околу конкретної точки зображення. Еквівалентно, афінне пристосовування форми можливо здійснювати ітеративним деформуванням афінними перетвореннями локального фрагмента зображення, застосовуючи обертово-симетричний фільтр до деформованих фрагментів зображення. За умови, що цей ітеративний процес збігається, отримувана в результаті фіксована точка буде афінно інваріантною (англ. affine invariant). В галузі комп'ютерного бачення цю ідею використали для визначення афінно інваріантних операторів особливих точок, а також афінно інваріантних методів аналізу текстур.
Афіннопристосовані оператори особливих точок
Особливі точки (англ. interest points), отримувані за допомогою масштабопристосованого лапласіанного виявляча плям або багатомасштабного виявляча кутів Гарріса з автоматичним обиранням масштабу, інваріантні щодо паралельних перенесень, обертання та рівномірного масштабування в просторовій області. Проте зображення, що є вхідними для систем комп'ютерного бачення, зазнають також і перспективних спотворень. Щоб отримувати особливі точки, стійкіші до перспективних перетворень, природним підходом є розробка виявляча ознак, інваріантного щодо афінних перетворень .
Афінної інваріантності можливо досягати за допомогою вимірювань тієї ж багатомасштабної віконної матриці другого моменту , як використовують і в багатомасштабному операторі Гарріса, за умови розширення звичайного поняття простору масштабів, отримуваного згортанням з обертово-симетричними гауссовими ядрами, до афінного гауссового простору масштабів (англ. affine Gaussian scale-space), отримуваного пристосованими до форми гауссовими ядрами (Lindeberg, 1994, розділ 15.3; Lindeberg та Garding, 1997). Для двовимірного зображення
, нехай
, і нехай
— додатно визначена матриця 2×2. Тоді нерівномірне гауссове ядро можливо визначити як
і для будь-якого заданого вхідного зображення афінний гауссів простір масштабів — це трипараметровий простір масштабів, визначений як
Далі введімо афінне перетворення , де
— матриця 2×2, і визначмо перетворення зображення
як
.
Відтак, афінні масштабопросторові подання та
зображень
та
пов'язані відповідно до
за умови, що матриці афінної форми та
пов'язані відповідно до
.
Нехтуючи математичними деталями, які, на жаль, стають дещо технічними, якщо прагнути до точного опису того, що відбувається, важливе повідомлення полягає в тому, що афінний гауссів простір масштабів замкнений щодо афінних перетворень.
Якщо ми, виходячи з позначення , а також локальної матриці форми
та інтегрувальної матриці форми
, введемо афіннопристосовану багатомасштабну матрицю другого моменту відповідно до
то можливо показати, що за будь-якого афінного перетворення афіннопристосована багатомасштабна матриця другого моменту перетворюється відповідно до
.
Знов-таки, з пропусканням дещо нечепурних технічних деталей, важливе повідомлення тут полягає в тому, що за умови відповідності між точками зображень та
, афінне перетворення
можливо оцінювати з вимірювань багатомасштабних матриць другого моменту
та
у цих двох областях визначення.
Важливим наслідком цього дослідження є те, що якщо нам вдасться знайти таке афінне перетворення , що
буде сталою, помноженою на одиничну матрицю, то ми отримаємо фіксовану точку, що є інваріантною до афінних перетворень (Lindeberg, 1994, розділ 15.4; Lindeberg та Garding, 1997). З метою практичного втілення, цієї властивості часто можливо досягати одним із двох основних шляхів. Перший підхід ґрунтується на перетвореннях фільтрів згладжування, і складається з:
- оцінювання матриці другого моменту
в області зображення,
- визначення нового пристосованого ядра згладжування з матрицею коваріації, пропорційною
,
- згладжування первинного зображення цим пристосованим до форми ядром згладжування, і
- повторювання цієї операції, доки різниця між двома послідовними матрицями другого моменту стане достатньо малою.
Другий підхід ґрунтується на деформаціях в області зображення, і містить:
- оцінювання
в області зображення,
- оцінювання локального афінного перетворення, пропорційного
, де
позначує матрицю квадратного кореня
,
- деформацію вхідного зображення афінним перетворенням
, і
- повторювання цієї операції, доки
стане достатньо близькою до сталої, помноженої на одиничну матрицю.
Цей загальний процес називають афінним пристосовуванням форми (англ. affine shape adaptation, Lindeberg та Garding, 1997; Baumberg, 2000; Mikolajczyk та Schmid, 2004; Tuytelaars та van Gool, 2004; Ravela, 2004; Lindeberg, 2008). В ідеальному неперервному випадку обидва підходи математично еквівалентні. Проте в практичних втіленнях перший підхід на основі фільтрів зазвичай точніший за наявності шуму, тоді як другий підхід на основі деформацій зазвичай швидший.
На практиці описаний тут процес афінного пристосовування форми часто поєднують з автоматичним обиранням масштабу виявляння особливих точок, як описано в статтях про виявляння плям та виявляння кутів, щоб отримувати особливі точки, інваріантні щодо повної афінної групи, включно зі зміною масштабу. Окрім широко використовуваного багатомасштабного оператора Гарріса, це афінне пристосовування форми також можливо застосовувати й до інших типів операторів особливих точок, таких як лапласіанний/різницевогауссіанний плямовий оператор, та визначник гессіана (Lindeberg, 2008). Афінне пристосовування форми також можливо використовувати для афінно інваріантного розпізнавання та афінно інваріантного сегментування текстур.
З поняттям афінного пристосовування форми тісно пов'язане поняття афінного нормування (англ. affine normalization), яке визначає афінно інваріантну систему відліку (англ. affine invariant reference frame), як описано докладніше в Lindeberg (2013a, b, 2021: Додаток I.3), таку, що будь-яке вимірювання зображення, виконане в афінно інваріантній системі відліку, є афінно інваріантним.
Див. також
Література
- Baumberg, A. (2000). Reliable feature matching across widely separated views. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. с. I:1774–1781. doi:10.1109/CVPR.2000.855899.
- Lindeberg, T. (1994). Scale-Space Theory in Computer Vision. Springer. ISBN .
- Lindeberg, T.; Garding, J. (1997). Shape-adapted smoothing in estimation of 3-D depth cues from affine distortions of local 2-D structure. Image and Vision Computing. 15 (6): 415—434. doi:10.1016/S0262-8856(97)01144-X.
- Lindeberg, T. (2008). Scale-space. Encyclopedia of Computer Science and Engineering ([en], ed), John Wiley and Sons. Т. IV. с. 2495—2504. doi:10.1002/9780470050118.ecse609. ISBN .
- Lindeberg, T. (2013a). Invariance of visual operations at the level of receptive fields. PLOS ONE. 8 (7): e66990:1–33. arXiv:1210.0754. Bibcode:2013PLoSO...866990L. doi:10.1371/journal.pone.0066990. PMC 3716821. PMID 23894283.
- Lindeberg, T. (2013b). Generalized axiomatic scale-space theory. Advances in Imaging and Electron Physics. 178 (7): 1—96. doi:10.1016/B978-0-12-407701-0.00001-7. ISBN .
- Lindeberg, T. (2021). Normative theory of visual receptive fields. Heliyon. 7 (1): e05897. doi:10.1016/j.heliyon.2021.e05897. PMC 7820928. PMID 33521348.
- Mikolajczyk, K.; Schmid, C. (2004). Scale and affine invariant interest point detectors (PDF). International Journal of Computer Vision. 60 (1): 63—86. doi:10.1023/B:VISI.0000027790.02288.f2. S2CID 1704741.
Integration of the multi-scale Harris operator with the methodology for automatic scale selection as well as with affine shape adaptation.
- Tuytelaars, T.; van Gool, L. (2004). (PDF). International Journal of Computer Vision. 59 (1): 63—86. doi:10.1023/B:VISI.0000020671.28016.e8. S2CID 5107897. Архів оригіналу (PDF) за 12 червня 2010.
- Ravela, S. (2004). Shaping receptive fields for affine invariance. Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. Т. 2. с. 725—730. doi:10.1109/CVPR.2004.1315236. ISBN .
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Afi nne pristoso vuvannya fo rmi angl Affine shape adaptation ce metodologiya iterativnogo pristosovuvannya formi yader zgladzhuvannya v en yader zgladzhuvannya do lokalnoyi strukturi zobrazhennya v oblasti okolu konkretnoyi tochki zobrazhennya Ekvivalentno afinne pristosovuvannya formi mozhlivo zdijsnyuvati iterativnim deformuvannyam afinnimi peretvorennyami lokalnogo fragmenta zobrazhennya zastosovuyuchi obertovo simetrichnij filtr do deformovanih fragmentiv zobrazhennya Za umovi sho cej iterativnij proces zbigayetsya otrimuvana v rezultati fiksovana tochka bude afinno invariantnoyu angl affine invariant V galuzi komp yuternogo bachennya cyu ideyu vikoristali dlya viznachennya afinno invariantnih operatoriv osoblivih tochok a takozh afinno invariantnih metodiv analizu tekstur Afinnopristosovani operatori osoblivih tochokOsoblivi tochki angl interest points otrimuvani za dopomogoyu masshtabopristosovanogo laplasiannogo viyavlyacha plyam abo bagatomasshtabnogo viyavlyacha kutiv Garrisa z avtomatichnim obirannyam masshtabu invariantni shodo paralelnih perenesen obertannya ta rivnomirnogo masshtabuvannya v prostorovij oblasti Prote zobrazhennya sho ye vhidnimi dlya sistem komp yuternogo bachennya zaznayut takozh i perspektivnih spotvoren Shob otrimuvati osoblivi tochki stijkishi do perspektivnih peretvoren prirodnim pidhodom ye rozrobka viyavlyacha oznak invariantnogo shodo afinnih peretvoren Afinnoyi invariantnosti mozhlivo dosyagati za dopomogoyu vimiryuvan tiyeyi zh bagatomasshtabnoyi vikonnoyi matrici drugogo momentu m displaystyle mu yak vikoristovuyut i v bagatomasshtabnomu operatori Garrisa za umovi rozshirennya zvichajnogo ponyattya prostoru masshtabiv otrimuvanogo zgortannyam z obertovo simetrichnimi gaussovimi yadrami do afinnogo gaussovogo prostoru masshtabiv angl affine Gaussian scale space otrimuvanogo pristosovanimi do formi gaussovimi yadrami Lindeberg 1994 rozdil 15 3 Lindeberg ta Garding 1997 Dlya dvovimirnogo zobrazhennya I displaystyle I nehaj x x y T displaystyle bar x x y T i nehaj St displaystyle Sigma t dodatno viznachena matricya 2 2 Todi nerivnomirne gaussove yadro mozhlivo viznachiti yak g x S 12pdet Ste x St 1x 2 displaystyle g bar x Sigma frac 1 2 pi sqrt operatorname det Sigma t e bar x Sigma t 1 bar x 2 i dlya bud yakogo zadanogo vhidnogo zobrazhennya IL displaystyle I L afinnij gaussiv prostir masshtabiv ce triparametrovij prostir masshtabiv viznachenij yak L x St xi IL x 3 g 3 St d3 displaystyle L bar x Sigma t int bar xi I L x xi g bar xi Sigma t d bar xi Dali vvedimo afinne peretvorennya h B3 displaystyle eta B xi de B displaystyle B matricya 2 2 i viznachmo peretvorennya zobrazhennya IR displaystyle I R yak IL 3 IR h displaystyle I L bar xi I R bar eta Vidtak afinni masshtaboprostorovi podannya L displaystyle L ta R displaystyle R zobrazhen IL displaystyle I L ta IR displaystyle I R pov yazani vidpovidno do L 3 SL R h SR displaystyle L bar xi Sigma L R bar eta Sigma R za umovi sho matrici afinnoyi formi SL displaystyle Sigma L ta SR displaystyle Sigma R pov yazani vidpovidno do SR BSLBT displaystyle Sigma R B Sigma L B T Nehtuyuchi matematichnimi detalyami yaki na zhal stayut desho tehnichnimi yaksho pragnuti do tochnogo opisu togo sho vidbuvayetsya vazhlive povidomlennya polyagaye v tomu sho afinnij gaussiv prostir masshtabiv zamknenij shodo afinnih peretvoren Yaksho mi vihodyachi z poznachennya L Lx Ly T displaystyle nabla L L x L y T a takozh lokalnoyi matrici formi St displaystyle Sigma t ta integruvalnoyi matrici formi Ss displaystyle Sigma s vvedemo afinnopristosovanu bagatomasshtabnu matricyu drugogo momentu vidpovidno do mL x St Ss g x 3 Ss L 3 St LT 3 St displaystyle mu L bar x Sigma t Sigma s g bar x bar xi Sigma s left nabla L bar xi Sigma t nabla L T bar xi Sigma t right to mozhlivo pokazati sho za bud yakogo afinnogo peretvorennya q Bp displaystyle bar q B bar p afinnopristosovana bagatomasshtabna matricya drugogo momentu peretvoryuyetsya vidpovidno do mL p St Ss BTmR q BStBT BSsBT B displaystyle mu L bar p Sigma t Sigma s B T mu R bar q B Sigma t B T B Sigma s B T B Znov taki z propuskannyam desho nechepurnih tehnichnih detalej vazhlive povidomlennya tut polyagaye v tomu sho za umovi vidpovidnosti mizh tochkami zobrazhen p displaystyle bar p ta q displaystyle bar q afinne peretvorennya B displaystyle B mozhlivo ocinyuvati z vimiryuvan bagatomasshtabnih matric drugogo momentu mL displaystyle mu L ta mR displaystyle mu R u cih dvoh oblastyah viznachennya Vazhlivim naslidkom cogo doslidzhennya ye te sho yaksho nam vdastsya znajti take afinne peretvorennya B displaystyle B sho mR displaystyle mu R bude staloyu pomnozhenoyu na odinichnu matricyu to mi otrimayemo fiksovanu tochku sho ye invariantnoyu do afinnih peretvoren Lindeberg 1994 rozdil 15 4 Lindeberg ta Garding 1997 Z metoyu praktichnogo vtilennya ciyeyi vlastivosti chasto mozhlivo dosyagati odnim iz dvoh osnovnih shlyahiv Pershij pidhid gruntuyetsya na peretvorennyah filtriv zgladzhuvannya i skladayetsya z ocinyuvannya matrici drugogo momentu m displaystyle mu v oblasti zobrazhennya viznachennya novogo pristosovanogo yadra zgladzhuvannya z matriceyu kovariaciyi proporcijnoyu m 1 displaystyle mu 1 zgladzhuvannya pervinnogo zobrazhennya cim pristosovanim do formi yadrom zgladzhuvannya i povtoryuvannya ciyeyi operaciyi doki riznicya mizh dvoma poslidovnimi matricyami drugogo momentu stane dostatno maloyu Drugij pidhid gruntuyetsya na deformaciyah v oblasti zobrazhennya i mistit ocinyuvannya m displaystyle mu v oblasti zobrazhennya ocinyuvannya lokalnogo afinnogo peretvorennya proporcijnogo B m1 2 displaystyle hat B mu 1 2 de m1 2 displaystyle mu 1 2 poznachuye matricyu kvadratnogo korenya m displaystyle mu deformaciyu vhidnogo zobrazhennya afinnim peretvorennyam B 1 displaystyle hat B 1 i povtoryuvannya ciyeyi operaciyi doki m displaystyle mu stane dostatno blizkoyu do staloyi pomnozhenoyi na odinichnu matricyu Cej zagalnij proces nazivayut afinnim pristosovuvannyam formi angl affine shape adaptation Lindeberg ta Garding 1997 Baumberg 2000 Mikolajczyk ta Schmid 2004 Tuytelaars ta van Gool 2004 Ravela 2004 Lindeberg 2008 V idealnomu neperervnomu vipadku obidva pidhodi matematichno ekvivalentni Prote v praktichnih vtilennyah pershij pidhid na osnovi filtriv zazvichaj tochnishij za nayavnosti shumu todi yak drugij pidhid na osnovi deformacij zazvichaj shvidshij Na praktici opisanij tut proces afinnogo pristosovuvannya formi chasto poyednuyut z avtomatichnim obirannyam masshtabu viyavlyannya osoblivih tochok yak opisano v stattyah pro viyavlyannya plyam ta viyavlyannya kutiv shob otrimuvati osoblivi tochki invariantni shodo povnoyi afinnoyi grupi vklyuchno zi zminoyu masshtabu Okrim shiroko vikoristovuvanogo bagatomasshtabnogo operatora Garrisa ce afinne pristosovuvannya formi takozh mozhlivo zastosovuvati j do inshih tipiv operatoriv osoblivih tochok takih yak laplasiannij riznicevogaussiannij plyamovij operator ta viznachnik gessiana Lindeberg 2008 Afinne pristosovuvannya formi takozh mozhlivo vikoristovuvati dlya afinno invariantnogo rozpiznavannya ta afinno invariantnogo segmentuvannya tekstur Z ponyattyam afinnogo pristosovuvannya formi tisno pov yazane ponyattya afinnogo normuvannya angl affine normalization yake viznachaye afinno invariantnu sistemu vidliku angl affine invariant reference frame yak opisano dokladnishe v Lindeberg 2013a b 2021 Dodatok I 3 taku sho bud yake vimiryuvannya zobrazhennya vikonane v afinno invariantnij sistemi vidliku ye afinno invariantnim Div takozhViyavlyannya plyam Viyavlyannya kutiv Funkciya Gaussa Garrisiv afinnij viyavlyach oblastej Gessiannij afinnij viyavlyach oblastej Prostir masshtabivLiteraturaBaumberg A 2000 Reliable feature matching across widely separated views Proceedings of IEEE Conference on Computer Vision and Pattern Recognition s I 1774 1781 doi 10 1109 CVPR 2000 855899 Lindeberg T 1994 Scale Space Theory in Computer Vision Springer ISBN 0 7923 9418 6 Lindeberg T Garding J 1997 Shape adapted smoothing in estimation of 3 D depth cues from affine distortions of local 2 D structure Image and Vision Computing 15 6 415 434 doi 10 1016 S0262 8856 97 01144 X Lindeberg T 2008 Scale space Encyclopedia of Computer Science and Engineering en ed John Wiley and Sons T IV s 2495 2504 doi 10 1002 9780470050118 ecse609 ISBN 978 0470050118 Lindeberg T 2013a Invariance of visual operations at the level of receptive fields PLOS ONE 8 7 e66990 1 33 arXiv 1210 0754 Bibcode 2013PLoSO 866990L doi 10 1371 journal pone 0066990 PMC 3716821 PMID 23894283 Lindeberg T 2013b Generalized axiomatic scale space theory Advances in Imaging and Electron Physics 178 7 1 96 doi 10 1016 B978 0 12 407701 0 00001 7 ISBN 9780124077010 Lindeberg T 2021 Normative theory of visual receptive fields Heliyon 7 1 e05897 doi 10 1016 j heliyon 2021 e05897 PMC 7820928 PMID 33521348 Mikolajczyk K Schmid C 2004 Scale and affine invariant interest point detectors PDF International Journal of Computer Vision 60 1 63 86 doi 10 1023 B VISI 0000027790 02288 f2 S2CID 1704741 Integration of the multi scale Harris operator with the methodology for automatic scale selection as well as with affine shape adaptation Tuytelaars T van Gool L 2004 PDF International Journal of Computer Vision 59 1 63 86 doi 10 1023 B VISI 0000020671 28016 e8 S2CID 5107897 Arhiv originalu PDF za 12 chervnya 2010 Ravela S 2004 Shaping receptive fields for affine invariance Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition 2004 CVPR 2004 T 2 s 725 730 doi 10 1109 CVPR 2004 1315236 ISBN 0 7695 2158 4