Фазова кореляція

Фа́зова кореля́ція (англ. phase correlation) — це підхід до оцінювання зміщення відносного паралельного перенесення двох подібних зображень (^[en]) або інших наборів даних. Його зазвичай використовують у зіставлянні зображень, він покладається на подання даних у частотній області, зазвичай обчислюване швидкими перетвореннями Фур'є. Цей термін застосовують зокрема до підмножини методик взаємної кореляції, які виокремлюють фазову інформацію з подання взаємних корелограм у просторі Фур'є.

Приклад

Наступне зображення показує використання фазової кореляції для визначення відносного зміщення паралельним перенесенням між двома зображеннями, пошкодженими незалежним гауссовим шумом. Зображення було перенесено на (30,33) пікселів. Відповідно, можливо чітко побачити пік у фазово-кореляційному поданні приблизно в (30,33).

Метод

Для заданих двох вхідних зображень ${\displaystyle \ g_{a}}$ та ${\displaystyle \ g_{b}}$:

Застосувати до обох зображень віконну функцію (наприклад, вікно Геммінга), щоби знизити крайові впливи (це може бути необов'язковим залежно від характеристик зображення). Потім обчислити дискретні двовимірні перетворення Фур'є обох зображень.

${\displaystyle \ \mathbf {G} _{a}={\mathcal {F}}\{g_{a}\},\;\mathbf {G} _{b}={\mathcal {F}}\{g_{b}\}}$

Обчислити ^[en], взявши комплексне спряження другого результату, поелементно перемноживши ці перетворення Фур'є, та поелементно унормувавши цей добуток.

${\displaystyle \ R={\frac {\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\circ \mathbf {G} _{b}^{*}|}}}$

де ${\displaystyle \circ }$ є добутком Адамара (поелементним добутком), й модулі беруться також поелементно. В поелементному записі для індекса елемента ${\displaystyle (j,k)}$:

${\displaystyle \ R_{jk}={\frac {G_{a,jk}\cdot G_{b,jk}^{*}}{|G_{a,jk}\cdot G_{b,jk}^{*}|}}}$

Отримати унормовану взаємну кореляцію, застосувавши обернене перетворення Фур'є.

${\displaystyle \ r={\mathcal {F}}^{-1}\{R\}}$

Визначити положення піку в ${\displaystyle \ r}$.

${\displaystyle \ (\Delta x,\Delta y)=\arg \max _{(x,y)}\{r\}}$

Зазвичай використовують методи інтерполювання, щоби оцінювати положення піку у взаємній корелограмі в не-цілих значеннях, незважаючи на той факт, що дані є дискретними, й цю процедуру часто називають «субпіксельним зіставлянням» (англ. 'subpixel registration'). У технічній літературі наводиться велике різноманіття методів субпіксельного зіставляння. Застосування знаходили такі поширені методи інтерполювання піку як параболічне інтерполювання, а пакунок комп'ютерного бачення OpenCV використовує центроїдні методи, хоча вони загалом мають нижчу точність у порівнянні зі складнішими методами.

Оскільки Фур'є-подання даних вже було обчислено, особливо зручно використовувати для цієї мети теорему Фур'є про запізнювання з дійнозначними (суб-цілими) зміщеннями, що по суті є здійсненням інтерполяції із застосуванням синусоїдних базисних функцій перетворення Фур'є. Особливо популярний оцінювач на основі ПФ пропонують Форуш та ін. У цьому методі субпіксельне положення піку наближується простою формулою, яка включає пікове значення пікселя та значення його найближчих сусідів, де ${\displaystyle r_{(0,0)}}$ є значенням піку, а ${\displaystyle r_{(1,0)}}$ є його найближчим сусідом у напрямку x (якщо спиратися на припущення, як і в більшості підходів, що цілочислове зміщення вже було знайдено, й порівнювані зображення відрізняються лише зміщенням субпіксельним).

${\displaystyle \ \Delta x={\frac {r_{(1,0)}}{r_{(1,0)}\pm r_{(0,0)}}}}$^[]

Метод Форуша та ін. доволі простий у порівнянні з більшістю методів, хоча й не завжди найточніший. Деякі методи зміщують пік у просторі Фур'є й застосовують для максимізації піку корелограми нелінійну оптимізацію, але вони, як правило, дуже повільні, оскільки мусять застосовувати у цільовій функції обернене перетворення Фур'є або його еквівалент.

Також, як зазначив Стоун, можливо висновувати положення піку з фазових характеристик у просторі Фур'є і без оберненого перетворення. Ці методи зазвичай використовують допасовування фазових кутів до планарної моделі ^[en] (ЛНК). Тривале обчислення фазового кута в цих методах є недоліком, але швидкість може бути іноді порівнянною з методом Форуша та ін., залежно від розміру зображення. Вони часто вигідно порівнюються за швидкістю з декількома ітераціями надзвичайно повільних цільових функцій в ітераційних нелінійних методах.

Оскільки всі методи обчислення субпіксельних зміщень принципово інтерполяційні, продуктивність певного методу залежить від того, наскільки добре підстильні дані відповідають припущенням в інтерполяторі. Цей факт також може обмежувати корисність високої чисельної точності в алгоритмах, оскільки невизначеність через вибір інтерполяційного методу може бути більшою за будь-яку чисельну або наближувальну похибку певного методу.

Субпіксельні методи також особливо чутливі до шуму в зображеннях, і корисність певного алгоритму відрізняють не лише за його швидкістю й точністю, але й за його стійкістю до певних типів шуму в застосуванні.

Обґрунтування

Цей метод ґрунтується на теоремі Фур'є про запізнювання.

Нехай два зображення ${\displaystyle \ g_{a}}$ та ${\displaystyle \ g_{b}}$ є версіями одне одного з круговим зміщенням:

${\displaystyle \ g_{b}(x,y)\ {\stackrel {\mathrm {def} }{=}}\ g_{a}((x-\Delta x){\bmod {M}},(y-\Delta y){\bmod {N}})}$

(де розмір зображень становить ${\displaystyle \ M\times N}$).

Тоді дискретні перетворення Фур'є цих зображень будують відносно зміщеними за фазою:

${\displaystyle \mathbf {G} _{b}(u,v)=\mathbf {G} _{a}(u,v)e^{-2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}$

Потім можливо обчислити унормований спектр взаємної потужності, щоби вирахувати різницю фаз:

${\displaystyle {\begin{aligned}R(u,v)&={\frac {\mathbf {G} _{a}\mathbf {G} _{b}^{*}}{|\mathbf {G} _{a}\mathbf {G} _{b}^{*}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}|}}\\&={\frac {\mathbf {G} _{a}\mathbf {G} _{a}^{*}e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}}{|\mathbf {G} _{a}\mathbf {G} _{a}^{*}|}}\\&=e^{2\pi i({\frac {u\Delta x}{M}}+{\frac {v\Delta y}{N}})}\end{aligned}}}$

оскільки абсолютна величина уявної експоненти є завжди одиницею, а фаза ${\displaystyle \ \mathbf {G} _{a}\mathbf {G} _{a}^{*}}$ є завжди нульовою.

Обернене перетворення Фур'є комплексної експоненти є дельтою Кронекера, тобто єдиним піком:

${\displaystyle \ r(x,y)=\delta (x+\Delta x,y+\Delta y)}$

Цей результат можливо було би отримати прямим розрахунком взаємної кореляції. Перевага цього методу полягає в можливості виконання перетворення Фур'є та його обернення швидким перетворенняя Фур'є, що набагато швидше за кореляцію для великих зображень.

Переваги

На відміну від багатьох алгоритмів просторової області, фазово-кореляційний метод стійкий до шуму, затулянь та інших пошкоджень, типових для медичних та космічних зображень.^[]

Цей метод можливо розширити до визначання обертальних та масштабувальних відмінностей зображень, спершу перетворюючи зображення до ^[en]. Через властивості перетворення Фур'є, властивості обертання та масштабування можливо визначати у спосіб, інваріантний до паралельного перенесення.

Обмеження

На практиці правдоподібніше, що ${\displaystyle \ g_{b}}$ буде простим лінійним зміщенням ${\displaystyle \ g_{a}}$, аніж круговим, як того вимагає наведене вище пояснення. В таких випадках ${\displaystyle \ r}$ не буде простою дельтафункцією, що знижуватиме продуктивність методу. В таких випадках, щоби знижувати крайові впливи, при перетворенні Фур'є слід застосовувати віконну функцію (таку як гауссове вікно, або вікно Тьюкі), або зображення слід доповнювати нулями, щоби уможливити ігнорування крайових впливів. Якщо зображення складаються з чистого тла з розташуванням усіх подробиць подалі від країв, то лінійне зміщення буде рівнозначним зміщенню круговому, й наведене вище виведення виконуватиметься точно. Пік можливо посилювати застосуванням крайової або векторної кореляції.

Для періодичних зображень (таких як шахівниця) фазова кореляція може давати неоднозначні результати з кількома піками на виході.

Застосування

^[en] віддають перевагу як методові для перетворювання телевізійних стандартів, оскільки вона лишає найменше артефактів.

Див. також

Загальне

• Взаємна кореляція
• ^[en]
• ^[en]

Телебачення

• Перетворювання телевізійних стандартів
• ^[en]

Примітки

1. H. Foroosh (Shekarforoush), J.B. Zerubia, and M. Berthod, "Extension of Phase Correlation to Subpixel Registration," IEEE Transactions on Image Processing, V. 11, No. 3, Mar. 2002, pp. 188-200. (англ.)
2. E.g. M. Sjödahl and L.R. Benckert, "Electronic speckle photography: analysis of an algorithm giving the displacement with subpixel accuracy," Appl Opt. 1993 May 1;32(13):2278-84. DOI:10.1364/AO.32.002278 (англ.)
3. Harold S. Stone, "A Fast Direct Fourier-Based Algorithm for Subpixel Registration of Images", IEEE Transactions on Geoscience and Remote Sensing, V. 39, No. 10, Oct. 2001, pp.2235-2242 (англ.)
4. E. De Castro and C. Morandi "Registration of Translated and Rotated Images Using Finite Fourier Transforms", IEEE Transactions on Pattern Analysis and Machine Intelligence, Sept. 1987 (англ.)
5. B. S Reddy and B. N. Chatterji, “An FFT-based technique for translation, rotation, and scale-invariant image registration”, IEEE Transactions on Image Processing 5, no. 8 (1996): 1266–1271. (англ.)
6. Sarvaiya, Jignesh Natvarlal; Patnaik, Suprava; Kothari, Kajal (2012). . JPRR. 7 (1): 90—105. Архів оригіналу за 7 листопада 2021. Процитовано 7 листопада 2021. (англ.)

Посилання

• Застосування Matlab для виконання унормованої взаємної кореляції на зображеннях [ 7 листопада 2021 у Wayback Machine.] (англ.)