Реєстрація зображень (зіставлення, накладання) — це процес трансформування різних наборів даних в одну координатну систему. Даними можуть бути серія фотографій, дані з різних сенсорів, моментів часу, глибини, або точок спостереження. Алгоритми реєстрації зображень використовуються в комп'ютерному баченні, методах медичної візуалізації, у військовій справі для автоматичного розпізнавання цілей, і для впорядковування і аналізу зображень із супутникових даних. Реєстрація необхідна для того, мати можливість порівнювати або інтегрувати отримані з цих різних пристроїв реєстрації даних.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOWtMMlEzTDFKbFoybHpkSEpoZEc5eVgwUmxiVzh5TG5CdVp5OHlNakJ3ZUMxU1pXZHBjM1J5WVhSdmNsOUVaVzF2TWk1d2JtYz0ucG5n.png)
Класифікація алгоритмів
Порівняння методів основаних на аналізі інтенсивності або основі виділення ознак
У цьому процесі одна частина зображень являє собою опорне зображення або еталон, а інші відповідні зображення називаються цільовими, або тими, що підлягають скануванню, пошуку об'єктів. Реєстрація зображення досягається шляхом зіставлення цільових зображень, так щоб вони збігалися з еталонним зображенням. У методах, що працюють з інтенсивністю зображень, порівнюють зразки інтенсивності зображення на основі кореляції показників, а в методах основаних на виділенні ознак шукають відповідності між елементами зображення, такими як точки, лінії і контури. Методи на основі аналізу інтенсивності, зіставляють цілі зображення чи частини зображень. Якщо зіставляються частини зображень, центри відповідних частин зображення розглядаються як відповідні характерні точки. Методи на основі виділення ознак головним чином встановлюють відповідність між групою різних точок зображення. Знайшовши відповідність між цими групами точок на зображенні (образами), для зображення кінцевого зображення виконується геометрична трансформація над цільовим зображенням, перед зіставленням з еталонним зображенням, яка показує відповідність між цими зображеннями точка за точкою.
Моделі трансформації
Алгоритми зіставлення зображень також можна класифікувати відповідно до моделей трансформації, які вони використовують для співвідношення простору цільового зображення в простір еталонного зображення. Перша широка категорія моделей трансформації включає в себе лінійні відображення такі як: обертання, масштабування, переміщення і інші афінні перетворення. Лінійні відображення носять глобальний характер, таким чином, їх не можна застосовувати для моделювання місцевих геометричних відмінностей між зображеннями.
Друга категорія перетворень дозволяє здійснювати еластичні або нежорсткі перетворення. Такі трансформації дозволяють здійснювати локальні деформації цільового зображення для узгодження з еталонним. Нежорсткі перетворення включають в свій набір радіальні базисні функції ( або сплайни поверхонь, мультиквадратичні, і фінітні перетворення (тобто з компактним носієм)), моделі фізичної безперервності (в'язких рідин), моделі великих деформацій (дифеоморфізм).
Просторові методи і методи в частотній області
Просторові методи мають справу з простором зображення, порівнюючи зразки інтенсивності або елементи зображення. Деякі алгоритми виділення ознак походять від традиційних технік для виконання ручного зіставлення зображень, у яких оператор вручну виділяє відповідні контрольні точки в зображеннях. Коли кількість контрольних точок перевищує мінімум, що необхідний для визначення правильної моделі трансформації, можуть застосовуватись ітеративні алгоритми, такі як RANSAC, щоб швидко оцінити параметри конкретного типу перетворення (наприклад афінного) для зіставлення зображень.
Методи, що працюють у частотній області, визначають параметри трансформації для зіставлення зображень при роботі в області перетворення. Такі методи застосовуються для простих перетворень, таких як переміщення, обертання і масштабування. Застосовуючи метод фазової кореляції до пари зображень отримують третє зображення, яке містить одиничний пік (точку). Координати цього піку, відповідають відносному зсуву між зображеннями. На відміну від просторових алгоритмів, метод фазової кореляції стійкий до наявності шуму, осциляцій, і інших перешкод, що є типовими для медичних чи супутникових зображень. Крім того, метод фазової кореляції використовує швидке перетворення Фур'є для підрахунку крос-кореляції між двома зображеннями, що як правило відбувається з високою продуктивністю. Метод можна вдосконалити для розрахунку різниці при обертанні і масштабуванні між двома зображеннями перевівши їх перед тим до координат. Завдяки властивостям перетворення Фур'є, обертання і масштабування може визначатися у спосіб інваріантний до переміщення.
Одно- і мульти-модальні методи
Інша класифікація груп методів це одномодальні і мультимодальні методи. Одномодальні методи намагаються реєструвати зображення отримані в одному режимі за допомогою однакового типу сенсора/сканера, в той час як мультимодальні методи реєстрації працюють з зображеннями, що отримані з різних типів і режимів роботи сенсорів.
Мультимодальні методи реєстрації часто використовуються в медичній візуалізації оскільки зображення об'єкту часто отримуються з різних сканерів. Прикладом того є реєстрація КТ/МРТ зображень мозку або ПЕТ/КТ зображення всього тіла для виявлення пухлин, реєстрації КТ зображень підвищеної контрастності в порівнянні з КТ зображеннями без підвищення контрастності для сегментації специфічний частин анатомії, і реєстрації ультразвукових і КТ зображень для локалізації передміхурової залози при променевій терапії.
Автоматичні і інтерактивні методи
Методи реєстрації можна класифікувати відносно рівня автоматизації, що вони забезпечують. Існують ручні, інтерактивні, полу-автоматичні і автоматичні методи. Ручні методи надають інструменти для зіставлення зображень вручну. Інтерактивні методи дозволяють зменшити систематичні помилки користувача, виконуючи певні ключові операції автоматично, але потребують участі користувача для контролю процесу реєстрацію. Напівавтоматичні методи автоматичного виконують більшість кроків реєстрації автоматично, але залежить від перевірки правильності користувачем. Автоматичні методи не потребують будь-якої взаємодії з користувачем і виконувати всі дії автоматично.
Міри схожості
Аналіз подібності зображень широко використовується в медичній візуалізації. Міри схожості зображень визначають ступінь схожості між образами інтенсивності двох зображень. Вибір міри схожості зображення залежить від модальності зображень, які зіставляються. Типовими прикладами таких мір схожості зображень є крос-кореляція, взаємна інформація, сума квадратів різниць інтенсивності, і співвідношення однорідності зображення. Міра взаємної інформації і нормалізованої взаємної інформації є найбільш популярною мірою схожості при зіставленні мультимодальних зображень. Крос-кореляція, сума квадратів різниць інтенсивності і співвідношення однорідності зображення зазвичай використовуються для реєстрації зображень однакової модальності.
Невизначеність
Існує рівень невизначеності, що пов'язана з реєстрацією зображень, які мають які-небудь просторово-часові відмінності. Реєстрація зображень з мірою невизначеності є необхідною для багатьох застосувань , таких як медична діагностика.
В задачах дистанційного спостереження в яких цифрове зображення може представляти кілька кілометрів просторової відстані (такі як зображення NASA LANDSAT), невизначеність в реєстрації зображень може означати, що результат може мати деталізацію в декілька кілометрів у порівняні з точністю на поверхні землі. В кілька відомих роботах намагалися кількісно оцінити невизначеність в реєстрації зображень, щоб порівняти результати. Однак, багато підходів для оцінки невизначеності або визначення деформацій дуже затратні в обчисленні або застосовуються лише для обмеженого набору просторових трансформацій.
Примітки
- Lisa Gottesfeld Brown, A survey of image registration techniques (abstract), ACM Computing Surveys (CSUR) archive, volume 24, issue 4, December 1992), pages 325—376
- A. Ardeshir Goshtasby: 2-D and 3-D Image Registration for Medical, Remote Sensing, and Industrial Applications, Wiley Press, 2005.
- Sindhu Madhuri G, Classification of Image Registration Techniques and Algorithms in Digital Image Processing — A Research Survey, International Journal of Computer Trends and Technology (IJCTT) — volume 15 number 2, Sep 2014
- http://www.comp.nus.edu.sg/~cs4243/lecture/register.pdf
- * B. Srinivasa Reddy, B. N. Chatterji: An FFT-Based Technique for Translation, Rotation and Scale-Invariant Image Registration. IEEE Transactions on Image Processing, vol. 5, no. 8.
- * G. Wohlberg, S. Zokai: ROBUST IMAGE REGISTRATION USING LOG-POLAR TRANSFORM • A paper on using the log polar transform for registration.
- Simonson, K., Drescher, S., Tanner, F., A Statistics Based Approach to Binary Image Registration with Uncertainty Analysis. IEEE Pattern Analysis and Machine Intelligence, Vol. 29, No. 1, January 2007
- Domokos, C., Kato, Z., Francos, J., Parametric estimation of affine deformations of binary images. Proceedings of IEEE , 2008
Посилання
- Кривцов О. А., Кориков А. М. Инверсно-композиционный алгоритм регистрации изображений Программная реализация алгоритма регистрации средствами языка C++ и библиотеки OpenCV
- Richard Szeliski, Image Alignment and Stitching: A Tutorial. Foundations and Trends in Computer Graphics and Computer Vision, 2:1-104, 2006.
- BrainAligner: for very large scale 3D brain registration, Nature Methods, 2011.
- B. Fischer, J. Modersitzki: Ill-posed medicine — an introduction to image registration. Inverse Problems, 24:1–19, 2008
- Barbara Zitová, Jan Flusser: Image registration methods: a survey. Image Vision Comput. 21(11): 977—1000 (2003).
- C. Je and H.-M. Park. Optimized Hierarchical Block Matching for Fast and Accurate Image Registration. Signal Processing: Image Communication, Volume 28, Issue 7, pp. 779—791, August, 2013.
- Registering Multimodal MRI Images using Matlab.
- elastix: a toolbox for rigid and nonrigid registration of images.
- niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
- Image Registration techniques using MATLAB
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Reyestraciya zobrazhen zistavlennya nakladannya ce proces transformuvannya riznih naboriv danih v odnu koordinatnu sistemu Danimi mozhut buti seriya fotografij dani z riznih sensoriv momentiv chasu glibini abo tochok sposterezhennya Algoritmi reyestraciyi zobrazhen vikoristovuyutsya v komp yuternomu bachenni metodah medichnoyi vizualizaciyi u vijskovij spravi dlya avtomatichnogo rozpiznavannya cilej i dlya vporyadkovuvannya i analizu zobrazhen iz suputnikovih danih Reyestraciya neobhidna dlya togo mati mozhlivist porivnyuvati abo integruvati otrimani z cih riznih pristroyiv reyestraciyi danih Nakladannya dekilkoh zobrazhen odniyeyi i tiyeyi zh sceni z riznimi ekspoziciyami dlya polipshennya spivvidnoshennya signal shum Na kartinci stalo vidno viddaleni konturi alpijskih gir Klasifikaciya algoritmivPorivnyannya metodiv osnovanih na analizi intensivnosti abo osnovi vidilennya oznak U comu procesi odna chastina zobrazhen yavlyaye soboyu oporne zobrazhennya abo etalon a inshi vidpovidni zobrazhennya nazivayutsya cilovimi abo timi sho pidlyagayut skanuvannyu poshuku ob yektiv Reyestraciya zobrazhennya dosyagayetsya shlyahom zistavlennya cilovih zobrazhen tak shob voni zbigalisya z etalonnim zobrazhennyam U metodah sho pracyuyut z intensivnistyu zobrazhen porivnyuyut zrazki intensivnosti zobrazhennya na osnovi korelyaciyi pokaznikiv a v metodah osnovanih na vidilenni oznak shukayut vidpovidnosti mizh elementami zobrazhennya takimi yak tochki liniyi i konturi Metodi na osnovi analizu intensivnosti zistavlyayut cili zobrazhennya chi chastini zobrazhen Yaksho zistavlyayutsya chastini zobrazhen centri vidpovidnih chastin zobrazhennya rozglyadayutsya yak vidpovidni harakterni tochki Metodi na osnovi vidilennya oznak golovnim chinom vstanovlyuyut vidpovidnist mizh grupoyu riznih tochok zobrazhennya Znajshovshi vidpovidnist mizh cimi grupami tochok na zobrazhenni obrazami dlya zobrazhennya kincevogo zobrazhennya vikonuyetsya geometrichna transformaciya nad cilovim zobrazhennyam pered zistavlennyam z etalonnim zobrazhennyam yaka pokazuye vidpovidnist mizh cimi zobrazhennyami tochka za tochkoyu Modeli transformaciyi Algoritmi zistavlennya zobrazhen takozh mozhna klasifikuvati vidpovidno do modelej transformaciyi yaki voni vikoristovuyut dlya spivvidnoshennya prostoru cilovogo zobrazhennya v prostir etalonnogo zobrazhennya Persha shiroka kategoriya modelej transformaciyi vklyuchaye v sebe linijni vidobrazhennya taki yak obertannya masshtabuvannya peremishennya i inshi afinni peretvorennya Linijni vidobrazhennya nosyat globalnij harakter takim chinom yih ne mozhna zastosovuvati dlya modelyuvannya miscevih geometrichnih vidminnostej mizh zobrazhennyami Druga kategoriya peretvoren dozvolyaye zdijsnyuvati elastichni abo nezhorstki peretvorennya Taki transformaciyi dozvolyayut zdijsnyuvati lokalni deformaciyi cilovogo zobrazhennya dlya uzgodzhennya z etalonnim Nezhorstki peretvorennya vklyuchayut v svij nabir radialni bazisni funkciyi splajn tonka plastina abo splajni poverhon multikvadratichni i finitni peretvorennya tobto z kompaktnim nosiyem modeli fizichnoyi bezperervnosti v yazkih ridin modeli velikih deformacij difeomorfizm Prostorovi metodi i metodi v chastotnij oblasti Prostorovi metodi mayut spravu z prostorom zobrazhennya porivnyuyuchi zrazki intensivnosti abo elementi zobrazhennya Deyaki algoritmi vidilennya oznak pohodyat vid tradicijnih tehnik dlya vikonannya ruchnogo zistavlennya zobrazhen u yakih operator vruchnu vidilyaye vidpovidni kontrolni tochki v zobrazhennyah Koli kilkist kontrolnih tochok perevishuye minimum sho neobhidnij dlya viznachennya pravilnoyi modeli transformaciyi mozhut zastosovuvatis iterativni algoritmi taki yak RANSAC shob shvidko ociniti parametri konkretnogo tipu peretvorennya napriklad afinnogo dlya zistavlennya zobrazhen Metodi sho pracyuyut u chastotnij oblasti viznachayut parametri transformaciyi dlya zistavlennya zobrazhen pri roboti v oblasti peretvorennya Taki metodi zastosovuyutsya dlya prostih peretvoren takih yak peremishennya obertannya i masshtabuvannya Zastosovuyuchi metod fazovoyi korelyaciyi do pari zobrazhen otrimuyut tretye zobrazhennya yake mistit odinichnij pik tochku Koordinati cogo piku vidpovidayut vidnosnomu zsuvu mizh zobrazhennyami Na vidminu vid prostorovih algoritmiv metod fazovoyi korelyaciyi stijkij do nayavnosti shumu oscilyacij i inshih pereshkod sho ye tipovimi dlya medichnih chi suputnikovih zobrazhen Krim togo metod fazovoyi korelyaciyi vikoristovuye shvidke peretvorennya Fur ye dlya pidrahunku kros korelyaciyi mizh dvoma zobrazhennyami sho yak pravilo vidbuvayetsya z visokoyu produktivnistyu Metod mozhna vdoskonaliti dlya rozrahunku riznici pri obertanni i masshtabuvanni mizh dvoma zobrazhennyami perevivshi yih pered tim do koordinat Zavdyaki vlastivostyam peretvorennya Fur ye obertannya i masshtabuvannya mozhe viznachatisya u sposib invariantnij do peremishennya Odno i multi modalni metodi Insha klasifikaciya grup metodiv ce odnomodalni i multimodalni metodi Odnomodalni metodi namagayutsya reyestruvati zobrazhennya otrimani v odnomu rezhimi za dopomogoyu odnakovogo tipu sensora skanera v toj chas yak multimodalni metodi reyestraciyi pracyuyut z zobrazhennyami sho otrimani z riznih tipiv i rezhimiv roboti sensoriv Multimodalni metodi reyestraciyi chasto vikoristovuyutsya v medichnij vizualizaciyi oskilki zobrazhennya ob yektu chasto otrimuyutsya z riznih skaneriv Prikladom togo ye reyestraciya KT MRT zobrazhen mozku abo PET KT zobrazhennya vsogo tila dlya viyavlennya puhlin reyestraciyi KT zobrazhen pidvishenoyi kontrastnosti v porivnyanni z KT zobrazhennyami bez pidvishennya kontrastnosti dlya segmentaciyi specifichnij chastin anatomiyi i reyestraciyi ultrazvukovih i KT zobrazhen dlya lokalizaciyi peredmihurovoyi zalozi pri promenevij terapiyi Avtomatichni i interaktivni metodi Metodi reyestraciyi mozhna klasifikuvati vidnosno rivnya avtomatizaciyi sho voni zabezpechuyut Isnuyut ruchni interaktivni polu avtomatichni i avtomatichni metodi Ruchni metodi nadayut instrumenti dlya zistavlennya zobrazhen vruchnu Interaktivni metodi dozvolyayut zmenshiti sistematichni pomilki koristuvacha vikonuyuchi pevni klyuchovi operaciyi avtomatichno ale potrebuyut uchasti koristuvacha dlya kontrolyu procesu reyestraciyu Napivavtomatichni metodi avtomatichnogo vikonuyut bilshist krokiv reyestraciyi avtomatichno ale zalezhit vid perevirki pravilnosti koristuvachem Avtomatichni metodi ne potrebuyut bud yakoyi vzayemodiyi z koristuvachem i vikonuvati vsi diyi avtomatichno Miri shozhosti Analiz podibnosti zobrazhen shiroko vikoristovuyetsya v medichnij vizualizaciyi Miri shozhosti zobrazhen viznachayut stupin shozhosti mizh obrazami intensivnosti dvoh zobrazhen Vibir miri shozhosti zobrazhennya zalezhit vid modalnosti zobrazhen yaki zistavlyayutsya Tipovimi prikladami takih mir shozhosti zobrazhen ye kros korelyaciya vzayemna informaciya suma kvadrativ riznic intensivnosti i spivvidnoshennya odnoridnosti zobrazhennya Mira vzayemnoyi informaciyi i normalizovanoyi vzayemnoyi informaciyi ye najbilsh populyarnoyu miroyu shozhosti pri zistavlenni multimodalnih zobrazhen Kros korelyaciya suma kvadrativ riznic intensivnosti i spivvidnoshennya odnoridnosti zobrazhennya zazvichaj vikoristovuyutsya dlya reyestraciyi zobrazhen odnakovoyi modalnosti NeviznachenistIsnuye riven neviznachenosti sho pov yazana z reyestraciyeyu zobrazhen yaki mayut yaki nebud prostorovo chasovi vidminnosti Reyestraciya zobrazhen z miroyu neviznachenosti ye neobhidnoyu dlya bagatoh zastosuvan takih yak medichna diagnostika V zadachah distancijnogo sposterezhennya v yakih cifrove zobrazhennya mozhe predstavlyati kilka kilometriv prostorovoyi vidstani taki yak zobrazhennya NASA LANDSAT neviznachenist v reyestraciyi zobrazhen mozhe oznachati sho rezultat mozhe mati detalizaciyu v dekilka kilometriv u porivnyani z tochnistyu na poverhni zemli V kilka vidomih robotah namagalisya kilkisno ociniti neviznachenist v reyestraciyi zobrazhen shob porivnyati rezultati Odnak bagato pidhodiv dlya ocinki neviznachenosti abo viznachennya deformacij duzhe zatratni v obchislenni abo zastosovuyutsya lishe dlya obmezhenogo naboru prostorovih transformacij PrimitkiLisa Gottesfeld Brown A survey of image registration techniques abstract ACM Computing Surveys CSUR archive volume 24 issue 4 December 1992 pages 325 376 A Ardeshir Goshtasby 2 D and 3 D Image Registration for Medical Remote Sensing and Industrial Applications Wiley Press 2005 Sindhu Madhuri G Classification of Image Registration Techniques and Algorithms in Digital Image Processing A Research Survey International Journal of Computer Trends and Technology IJCTT volume 15 number 2 Sep 2014 http www comp nus edu sg cs4243 lecture register pdf B Srinivasa Reddy B N Chatterji An FFT Based Technique for Translation Rotation and Scale Invariant Image Registration IEEE Transactions on Image Processing vol 5 no 8 G Wohlberg S Zokai ROBUST IMAGE REGISTRATION USING LOG POLAR TRANSFORM A paper on using the log polar transform for registration Simonson K Drescher S Tanner F A Statistics Based Approach to Binary Image Registration with Uncertainty Analysis IEEE Pattern Analysis and Machine Intelligence Vol 29 No 1 January 2007 Domokos C Kato Z Francos J Parametric estimation of affine deformations of binary images Proceedings of IEEE 2008PosilannyaKrivcov O A Korikov A M Inversno kompozicionnyj algoritm registracii izobrazhenij Programmnaya realizaciya algoritma registracii sredstvami yazyka C i biblioteki OpenCV Richard Szeliski Image Alignment and Stitching A Tutorial Foundations and Trends in Computer Graphics and Computer Vision 2 1 104 2006 BrainAligner for very large scale 3D brain registration Nature Methods 2011 B Fischer J Modersitzki Ill posed medicine an introduction to image registration Inverse Problems 24 1 19 2008 Barbara Zitova Jan Flusser Image registration methods a survey Image Vision Comput 21 11 977 1000 2003 C Je and H M Park Optimized Hierarchical Block Matching for Fast and Accurate Image Registration Signal Processing Image Communication Volume 28 Issue 7 pp 779 791 August 2013 Registering Multimodal MRI Images using Matlab elastix a toolbox for rigid and nonrigid registration of images niftyreg a toolbox for doing near real time robust rigid affine using block matching and non rigid image registration using a refactored version of the free form deformation algorithm Image Registration techniques using MATLAB