Багатомасштабний структурний тензор

У математиці структу́рний те́нзор (англ. structure tensor), відомий також як ма́триця дру́гого моме́нту (англ. second-moment matrix), — це матриця, яку виводять з градієнта функції. Він описує розподіл градієнта в заданому околі навколо точки, та робить цю інформацію інваріантною щодо координат спостереження. Структурний тензор часто використовують в обробці зображень та комп'ютерному баченні.

Двовимірний структурний тензор

Неперервний варіант

Для функції ${\displaystyle I}$ двох змінних p = (x, y) структурний тензор — це матриця 2×2

${\displaystyle S_{w}(p)={\begin{bmatrix}\int w(r)(I_{x}(p-r))^{2}\,dr&\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr\\[10pt]\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr&\int w(r)(I_{y}(p-r))^{2}\,dr\end{bmatrix}}}$

де ${\displaystyle I_{x}}$ та ${\displaystyle I_{y}}$ — частинні похідні ${\displaystyle I}$ відносно x та y; інтеграли пробігають площину ${\displaystyle \mathbb {R} ^{2}}$; а w — деяка фіксована «віконна функція» (така як гауссове розмиття), розподіл двох змінних. Зверніть увагу, що матриця ${\displaystyle S_{w}}$ сама є функцією p = (x, y).

Наведену вище формулу можливо також записати як ${\displaystyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$, де ${\displaystyle S_{0}}$ — матрицезначна функція, визначена як

${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}\end{bmatrix}}}$

Якщо градієнт ${\displaystyle \nabla I=(I_{x},I_{y})^{\text{T}}}$ функції ${\displaystyle I}$ розглядати як матрицю 2×1 (одностовпчикову), де ${\displaystyle (.)^{\text{T}}}$ позначує операцію транспонування, яке перетворює рядковий вектор на стовпчиковий, то матрицю ${\displaystyle S_{0}}$ можливо записати як матричний добуток ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$ або тензорний чи зовнішній добуток ${\displaystyle \nabla I\otimes \nabla I}$. Проте зауважте, що структурний тензор ${\displaystyle S_{w}(p)}$ неможливо розкладати таким чином у загальному випадку, за винятком, коли ${\displaystyle w}$ — дельта-функція Дірака.

Дискретний варіант

В обробці зображень та інших подібних застосуваннях функцію ${\displaystyle I}$ зазвичай задають дискретним масивом зразків ${\displaystyle I[p]}$, де p — пара цілих індексів. Двовимірний структурний тензор у заданому пікселі зазвичай вважають дискретною сумою

${\displaystyle S_{w}[p]={\begin{bmatrix}\sum _{r}w[r](I_{x}[p-r])^{2}&\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]\\[10pt]\sum _{r}w[r]I_{x}[p-r]I_{y}[p-r]&\sum _{r}w[r](I_{y}[p-r])^{2}\end{bmatrix}}}$

Тут індекс підсумовування r пробігає скінченний набір пар індексів («вікно», зазвичай ${\displaystyle \{-m..+m\}\times \{-m..+m\}}$ для деякого m), а w[r] — фіксована «віконна вага», яка залежить від r, така, що сума всіх ваг становить 1. Значення ${\displaystyle I_{x}[p],I_{y}[p]}$ — частинні похідні, взяті в пікселі p; які, наприклад, можна оцінювати з ${\displaystyle I}$ за формулами скінченних різниць.

Формулу структурного тензора можливо також записати як ${\displaystyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$, де ${\displaystyle S_{0}}$ — матрицезначний масив, такий, що

${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}\end{bmatrix}}}$

Інтерпретація

Важливість двовимірного структурного тензора ${\displaystyle S_{w}}$ випливає з факту узагальнювання власними значеннями ${\displaystyle \lambda _{1},\lambda _{2}}$ (які можливо впорядковувати так, що ${\displaystyle \lambda _{1}\geq \lambda _{2}\geq 0}$) та відповідними власними векторами ${\displaystyle e_{1},e_{2}}$ розподілу градієнта ${\displaystyle \nabla I=(I_{x},I_{y})}$ функції ${\displaystyle I}$ у вікні, визначеному ${\displaystyle w}$ з центром в ${\displaystyle p}$.

А саме, якщо ${\displaystyle \lambda _{1}>\lambda _{2}}$, то ${\displaystyle e_{1}}$ (або ${\displaystyle -e_{1}}$) — це напрямок, максимально узгоджений із градієнтом у вікні.

Зокрема, якщо ${\displaystyle \lambda _{1}>0,\lambda _{2}=0}$, то градієнт завжди кратний ${\displaystyle e_{1}}$ (додатний, від'ємний або нульовий); це справджується тоді й лише тоді, коли ${\displaystyle I}$ у вікні змінюється вздовж напрямку ${\displaystyle e_{1}}$, але є сталою вздовж ${\displaystyle e_{2}}$. Цю умову власних значень також називають умовою лінійної симетрії, оскільки тоді ізолінії ${\displaystyle I}$ складаються з паралельних прямих, тобто існує одновимірна функція ${\displaystyle g}$, яка може породжувати двовимірну функцію ${\displaystyle I}$ як ${\displaystyle I(x,y)=g(d^{\text{T}}p)}$ для деякого сталого вектора ${\displaystyle d=(d_{x},d_{y})^{T}}$ та координат ${\displaystyle p=(x,y)^{T}}$.

З іншого боку, якщо ${\displaystyle \lambda _{1}=\lambda _{2}}$, то градієнт у вікні не має переважного напрямку; це відбувається, наприклад, коли зображення в цьому вікні має обертову симетрію. Цю умову власних значень також називають збалансованим тілом (англ. balanced body), або умовою напрямкової рівноваги (англ. directional equilibrium), оскільки вона виконується тоді, коли всі напрямки градієнта у вікні однаково часті/імовірні.

Крім того, умова ${\displaystyle \lambda _{1}=\lambda _{2}=0}$ трапляється тоді й лише тоді, коли функція ${\displaystyle I}$ в межах ${\displaystyle W}$ стала (${\displaystyle \nabla I=(0,0)}$).

Загальніше, значення ${\displaystyle \lambda _{k}}$ для k =1 чи k =2 — це ${\displaystyle w}$-зважене усереднення в околі p квадрата похідної ${\displaystyle I}$ за напрямком ${\displaystyle e_{k}}$. Відносна розбіжність між двома власними значеннями ${\displaystyle S_{w}}$ є покажчиком ступеню анізотропності градієнта у вікні, а саме того, наскільки сильно він схильний до певного напрямку (і його протилежності). Цей атрибут можливо кількісно виразити когере́нтністю (англ. coherence), визначеною як

${\displaystyle c_{w}=\left({\frac {\lambda _{1}-\lambda _{2}}{\lambda _{1}+\lambda _{2}}}\right)^{2}}$

якщо ${\displaystyle \lambda _{2}>0}$. Ця величина дорівнює 1, коли градієнт повністю вирівняний, і 0, якщо він не має переважного напрямку. Формула не визначена, навіть у границі, коли зображення у вікні стале (${\displaystyle \lambda _{1}=\lambda _{2}=0}$). Деякі автори визначають її в такому випадку як 0.

Зауважте, що усереднення градієнта ${\displaystyle \nabla I}$ всередині вікна не є добрим покажчиком анізотропії. Паралельні, але протилежно спрямовані градієнтні вектори в цьому усередненні нейтралізуються, тоді як у структурному тензорі вони належним чином додаються. Ось чому для оптимізації напрямку в усередненні структурного тензора використовують ${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$ замість ${\displaystyle \nabla I}$.

Розширюючи ефективний радіус віконної функції ${\displaystyle w}$ (тобто, збільшуючи її дисперсію), можливо робити структурний тензор стійкішим до шуму ціною зниження просторової роздільності. Формальну основу цієї властивості описано докладніше нижче, де показано, що багатомасштабне формулювання структурного тензора, яке називають багатомасштабним структурним тензором, становить істинне багатомасштабне подання напрямкових даних за варіацій просторового обширу віконної функції.

Комплексний варіант

Інтерпретація та втілення двовимірного структурного тензора стають особливо доступними за залучення комплексних чисел. Структурний тензор складається з трьох дійсних чисел

${\displaystyle S_{w}(p)={\begin{bmatrix}\mu _{20}&\mu _{11}\\[10pt]\mu _{11}&\mu _{02}\end{bmatrix}}}$

де ${\textstyle \mu _{20}=\int (w(r)(I_{x}(p-r))^{2}\,dr}$, ${\textstyle \mu _{02}=\int (w(r)(I_{y}(p-r))^{2}\,dr}$, а ${\textstyle \mu _{11}=\int w(r)I_{x}(p-r)I_{y}(p-r)\,dr}$, де для дискретного подання інтеграли можливо замінити підсумовуваннями. З використанням тотожності Парсеваля стає ясно, що ці три дійсні числа є моментами другого порядку спектрального розподілу енергії ${\displaystyle I}$. Тоді наступний комплексний момент другого порядку спектрального розподілу енергії ${\displaystyle I}$ можливо записати як

${\textstyle \kappa _{20}=\mu _{20}-\mu _{02}+i2\mu _{11}=\int (w(r)(I_{x}(p-r)+iI_{y}(p-r))^{2}\,dr=(\lambda _{1}-\lambda _{2})\exp(i2\phi )}$

де ${\displaystyle i={\sqrt {-1}}}$, ${\displaystyle \phi }$ — напрямковий кут старшого власного вектора структурного тензора, ${\displaystyle \phi =\angle {e_{1}}}$, тоді як ${\displaystyle \lambda _{1}}$ та ${\displaystyle \lambda _{2}}$ — найбільш і найменш значущі власні значення. З цього випливає, що ${\displaystyle \kappa _{20}}$ містить як певність (англ. certainty) ${\displaystyle |\kappa _{20}|=\lambda _{1}-\lambda _{2}}$, так і оптимальний напрямок у подвоєнокутовому поданні, оскільки це комплексне число, що складається з двох дійсних чисел. Звідси також випливає, що якщо градієнт подано комплексним числом, та перевідображено піднесенням до квадрату (тобто, кути аргументу комплексного градієнта подвоєно), то усереднення діє як оптимізатор у цій відображеній області, оскільки воно безпосередньо забезпечує як оптимальний напрямок (у подвоєнокутовому поданні), так і пов'язану з цим певність. Відтак, комплексне число показує, наскільки лінійна структура (лінійна симетрія) присутня в зображенні ${\displaystyle I}$, а це комплексне число отримують безпосередньо усереднюванням градієнта в його (комплексному) повоєнокутовому поданні без явного обчислення власних значень і власних векторів.

Так само, можливо отримувати наступний комплексний момент другого порядку спектрального розподілу енергії ${\displaystyle I}$, який завжди дійсний, бо ${\displaystyle I}$ дійсна,

${\textstyle \kappa _{11}=\mu _{20}+\mu _{02}=\int (w(r)|I_{x}(p-r)+iI_{y}(p-r)|^{2}\,dr=\lambda _{1}+\lambda _{2}}$

де ${\displaystyle \lambda _{1}}$ та ${\displaystyle \lambda _{2}}$, як і раніше, — власні значення. Зауважте, що цього разу величину комплексного градієнту піднесено до квадрату (що завжди дійсний).

Проте розкладання структурного тензора на його власні вектори дає його тензорні складові як

${\displaystyle S_{w}(p)=\lambda _{1}e_{1}e_{1}^{\text{T}}+\lambda _{2}e_{2}e_{2}^{\text{T}}=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}(e_{1}e_{1}^{\text{T}}+e_{2}e_{2}^{\text{T}})=(\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}+\lambda _{2}E}$

де ${\displaystyle E}$ — одинична матриця у двох вимірах, оскільки ці два власні вектори завжди перпендикулярні (й дають у сумі одиницю). Перший член у крайньому виразі цього розкладу, ${\displaystyle (\lambda _{1}-\lambda _{2})e_{1}e_{1}^{\text{T}}}$, подає складову лінійної симетрії структурного тензора, що містить всю напрямкову інформацію (як матриця рангу 1), тоді як другий член подає складову збалансованого тіла тензора, яка не містить жодної інформації про напрямок (містячи одиничну ${\displaystyle E}$). Тоді знати, скільки напрямкової інформації в ${\displaystyle I}$, — те саме, що перевіряти, наскільки велика ${\displaystyle \lambda _{1}-\lambda _{2}}$ порівняно з ${\displaystyle \lambda _{2}}$.

Очевидно, що ${\displaystyle \kappa _{20}}$ — комплексний еквівалент першого члена в тензорному розкладі, тоді як$${\displaystyle (|\kappa _{20}|-\kappa _{11})/2=\lambda _{2}}$$це еквівалент другого члена. Таким чином, ці два скаляри, що складаються з трьох дійсних чисел,

${\displaystyle {\begin{array}{c}\kappa _{20}=(\lambda _{1}-\lambda _{2})\exp(i2\phi )&=&w*(h*I)^{2}\\\kappa _{11}=\lambda _{1}+\lambda _{2}&=&w*|h*I|^{2}\\\end{array}}}$

де ${\displaystyle h(x,y)=(x+iy)\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))}$ — (комплексний) градієнтний фільтр, а ${\displaystyle *}$ — згортка, становлять комплексне подання двовимірного структурного тензора. Як обговорювалося тут і в інших місцях, ${\displaystyle w}$ визначає локальне зображення, що зазвичай є гауссіаном (з певною дисперсією, що визначає зовнішній масштаб), а ${\displaystyle \sigma }$ — параметр (внутрішнього масштабу), що визначає ефективний діапазон частот, у якому оцінюють спрямування ${\displaystyle 2\phi }$.

Елегантність комплексного подання випливає з того, що дві складові структурного тензора можливо отримувати як усереднення, і незалежно. Своєю чергою, це означає, що ${\displaystyle \kappa _{20}}$ та ${\displaystyle \kappa _{11}}$ можливо використовувати в масштабопросторовому поданні для опису свідчення наявності унікального спрямування та свідчення альтернативної гіпотези, наявності кількох збалансованих спрямувань, без обчислення власних векторів і власних значень. Існування такого функціоналу, як піднесення комплексних чисел у квадрат, для структурних тензорів розмірністю понад два досі показано не було. У Бігуна 91 було заявлено з належною аргументацією, що це через те, що комплексні числа є комутативними алгебрами, тоді як кватерніони, можливий кандидат для побудови такого функціоналу, становлять некомутативну алгебру.

Комплексне подання структурного тензора часто використовують в аналізі відбитків пальців, щоб отримувати карти напрямків, що містять певності, які, своєю чергою, використовують для їхнього покращення, щоби знаходити розташування глобальних (ядра та дельти) та локальних (мінуції) сингулярностей, а також для автоматичного оцінювання якості відбитків.

Тривимірний структурний тензор

Визначення

Структурний тензор можливо визначити також і для функції ${\displaystyle I}$ трьох змінних p =(x, y, z) абсолютно аналогічним чином. А саме, в безперервному варіанті маємо ${\displaystyle S_{w}(p)=\int w(r)S_{0}(p-r)\,dr}$, де

${\displaystyle S_{0}(p)={\begin{bmatrix}(I_{x}(p))^{2}&I_{x}(p)I_{y}(p)&I_{x}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{y}(p)&(I_{y}(p))^{2}&I_{y}(p)I_{z}(p)\\[10pt]I_{x}(p)I_{z}(p)&I_{y}(p)I_{z}(p)&(I_{z}(p))^{2}\end{bmatrix}}}$

де ${\displaystyle I_{x},I_{y},I_{z}}$ — три частинні похідні ${\displaystyle I}$, а інтеграл пробігає ${\displaystyle \mathbb {R} ^{3}}$.

У дискретному варіанті ${\displaystyle S_{w}[p]=\sum _{r}w[r]S_{0}[p-r]}$, де

${\displaystyle S_{0}[p]={\begin{bmatrix}(I_{x}[p])^{2}&I_{x}[p]I_{y}[p]&I_{x}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{y}[p]&(I_{y}[p])^{2}&I_{y}[p]I_{z}[p]\\[10pt]I_{x}[p]I_{z}[p]&I_{y}[p]I_{z}[p]&(I_{z}[p])^{2}\end{bmatrix}}}$

а сума пробігає скінченну множину тривимірних індексів, зазвичай ${\displaystyle \{-m..+m\}\times \{-m..+m\}\times \{-m..+m\}}$ для деякого m.

Інтерпретація

Як і у двовимірному випадку, власні значення ${\displaystyle \lambda _{1},\lambda _{2},\lambda _{3}}$ матриці ${\displaystyle S_{w}[p]}$ та відповідні власні вектори ${\displaystyle {\hat {e}}_{1},{\hat {e}}_{2},{\hat {e}}_{3}}$ узагальнюють розподіл напрямків градієнта в околі p, визначеному вікном ${\displaystyle w}$. Цю інформацію можливо унаочнити як еліпсоїд, півосі якого дорівнюють власним значенням і спрямовані вздовж відповідних власних векторів.

Еліпсоїдне подання тривимірного структурного тензора.

Зокрема, якщо еліпсоїд розтягнуто вздовж лише однієї з осей, як сигару (тобто, якщо ${\displaystyle \lambda _{1}}$ набагато більше як за ${\displaystyle \lambda _{2}}$, так і за ${\displaystyle \lambda _{3}}$), це означає, що градієнт у вікні переважно узгоджується з напрямком ${\displaystyle e_{1}}$, так, що ізоповерхні ${\displaystyle I}$ схильні бути пласкими та перпендикулярними до цього вектора. Така ситуація виникає, наприклад, коли p лежить на тонкій пластиноподібній ознаці або на гладкій межі між двома областями з контрастними значеннями.

Еліпсоїд структурного тензора поверхнеподібного околу (^[en]»), де ${\displaystyle \lambda _{1}>\!>\lambda _{2}\approx \lambda _{3}}$.

Тривимірне вікно, розташоване на гладкій межі між двома рівномірними областями тривимірного зображення.

Відповідний еліпсоїд структурного тензора.

Якщо еліпсоїд сплющено лише в одному напрямку, як млинець (тобто, якщо ${\displaystyle \lambda _{3}}$ набагато менше як за ${\displaystyle \lambda _{1}}$, так і за ${\displaystyle \lambda _{2}}$), це означає, що напрямки градієнта розсіяні, але перпендикулярні ${\displaystyle e_{3}}$, так, що ізоповерхні схильні бути як труби, паралельні цьому вектору. Така ситуація виникає, наприклад, коли p лежить на тонкій лінієподібній ознаці, або на гострому куті межі між двома областями з контрастними значеннями.

Структурний тензор лінієподібного околу («курвеля», англ. "curvel"), де ${\displaystyle \lambda _{1}\approx \lambda _{2}>\!>\lambda _{3}}$.

Тривимірне вікно, розташоване на лінієподібній ознаці тривимірного зображення.

Відповідний еліпсоїд структурного тензора.

Нарешті, якщо еліпсоїд приблизно сферичний (тобто, якщо ${\displaystyle \lambda _{1}\approx \lambda _{2}\approx \lambda _{3}}$), це означає, що напрямки градієнта у вікні розподілено більш-менш рівномірно, без явної переваги; так, що функція ${\displaystyle I}$ в цьому околі переважно ізотропна. Це відбувається, наприклад, коли функція має ^[en] в околі p. Зокрема, якщо еліпсоїд вироджується в точку (тобто, якщо три власні значення дорівнюють нулю), це означає, що ${\displaystyle I}$ у вікні стала (має нульовий градієнт).

Структурний тензор ізотропного околу, де ${\displaystyle \lambda _{1}\approx \lambda _{2}\approx \lambda _{3}}$.

Тривимірне вікно, що містить сферичну ознаку тривимірного зображення.

Відповідний еліпсоїд структурного тензора.

Багатомасштабний структурний тензор

Структурний тензор — важливий інструмент у масштабопросторовому аналізі. Багатомасшта́бний структу́рний те́нзор (або багатомасшта́бна ма́триця дру́гого моме́нту, англ. multi-scale structure tensor, multi-scale second moment matrix) функції ${\displaystyle I}$, на відміну від інших однопараметрових масштабних просторів, демонструє описувач зображення, який визначають двома параметрами масштабу. Один параметр масштабу, який називають локальним масштабом (англ. local scale) ${\displaystyle t}$, необхідний для визначання рівня попереднього згладжування при обчисленні градієнта зображення ${\displaystyle (\nabla I)(x;t)}$. Інший параметр масштабу, який називають масштабом інтегрування (англ. integration scale) ${\displaystyle s}$, необхідний для визначання просторового обширу віконної функції ${\displaystyle w(\xi ;s)}$, яка визначає ваги для області простору, над якою накопичують складові зовнішнього добутку градієнта на самого себе${\displaystyle (\nabla I)(\nabla I)^{\text{T}}}$.

Точніше, припустімо, що ${\displaystyle I}$ — дійснозначний сигнал, визначений над ${\displaystyle \mathbb {R} ^{k}}$. Нехай для будь-якого локального масштабу ${\displaystyle t>0}$ багатомасштабне подання ${\displaystyle I(x;t)}$ цього сигналу задано через ${\displaystyle I(x;t)=h(x;t)*I(x)}$, де ${\displaystyle h(x;t)}$ подає ядро попереднього згладжування. Крім того, нехай ${\displaystyle (\nabla I)(x;t)}$ позначує градієнт цього масштабопросторового подання. Тоді багатомасштабний структурний тензор/матрицю другого моменту (англ. multi-scale structure tensor/second-moment matrix) визначають через

${\displaystyle \mu (x;t,s)=\int _{\xi \in \mathbb {R} ^{k}}(\nabla I)(x-\xi ;t)\,(\nabla I)^{\text{T}}(x-\xi ;t)\,w(\xi ;s)\,d\xi }$

В принципі, можна спитати, чи буде достатньо використовувати будь-які самоподібні сімейства згладжувальних функцій ${\displaystyle h(x;t)}$ та ${\displaystyle w(\xi ;s)}$. Проте, якщо наївно застосувати, наприклад, коробковий фільтр, то можуть легко виникнути небажані артефакти. Якщо хотіти, щоби багатомасштабний структурний тензор поводився добре як за зростання локальних масштабів ${\displaystyle t}$, так і за зростання масштабів інтегрування ${\displaystyle s}$, то можливо показати, що і функція згладжування, і віконна функція мають бути гауссіанами. Умови, які визначають цю унікальність, подібні до масштабопросторових аксіом, які використовують для виведення унікальності гауссового ядра для звичайного гауссового простору масштабів яскравостей зображення.

У цьому сімействі описувачів зображень існують різні способи оперування двопараметровою мінливістю масштабів. Якщо ми зберігаємо параметр локального масштабу ${\displaystyle t}$ незмінним, і застосовуємо щодалі розширеніші версії віконної функції, збільшуючи лише параметр масштабу інтегрування ${\displaystyle s}$, то ми отримуємо істинне формальне масштабопросторове подання напрямкових даних, обчислене у заданому локальному масштабі ${\displaystyle t}$. Якщо ми пов'яжемо локальний масштаб і масштаб інтегрування відносним масштабом інтегрування (англ. relative integration scale) ${\displaystyle r\geq 1}$, так, що ${\displaystyle s=rt}$, то для будь-якого незмінного значення ${\displaystyle r}$ ми отримуємо зведену самоподібну однопараметрову мінливість, яку часто використовують для спрощення обчислювальних алгоритмів, наприклад, у виявлянні кутів, особливих точок, , та зіставлянні зображень. Змінюючи відносний масштаб інтегрування ${\displaystyle r\geq 1}$ у такій самоподібній мінливості масштабу, ми отримуємо інший альтернативний спосіб параметрування багатомасштабної природи напрямкових даних, отримуваних шляхом збільшення масштабу інтегрування.

Концептуально подібну побудову можливо виконати й для дискретних сигналів, замінивши згортковий інтеграл згортковою сумою, а неперервне гауссове ядро ${\displaystyle g(x;t)}$ — дискретним гауссовим ядром ${\displaystyle T(n;t)}$:

${\displaystyle \mu (x;t,s)=\sum _{n\in \mathbb {Z} ^{k}}(\nabla I)(x-n;t)\,(\nabla I)^{\text{T}}(x-n;t)\,w(n;s)}$

При квантуванні параметрів масштабу ${\displaystyle t}$ та ${\displaystyle s}$ у фактичному втіленні зазвичай використовують скінченну геометричну прогресію ${\displaystyle \alpha ^{i}}$, де i пробігає від 0 до деякого максимального індексу масштабу m. Таким чином, дискретні рівні масштабу матимуть певну подібність до піраміди зображення, хоча просторову підвибірку для збереження точніших даних для наступних етапів обробки можуть використовувати не обов'язково.

Застосування

Власні значення структурного тензора відіграють важливу роль у багатьох алгоритмах обробки зображень, для таких задач як виявляння кутів, особливих точок, та відстежування ознак. Структурний тензор також відіграє центральну роль в алгоритмі оптичного потоку Лукаса — Канаде та в його розширеннях для оцінювання афінного пристосовування форми; де величина ${\displaystyle \lambda _{2}}$ є показником надійності обчисленого результату. Цей тензор використовували для масштабопросторового аналізу, оцінювання локального спрямування поверхні за монокулярними та бінокулярними сигналами, нелінійного ,дифузної обробки зображень, та кількох інших задач обробки зображень. Структурний тензор також можливо застосовувати в геології для фільтрування сейсмічних даних.

Обробка просторово-часових відеоданих за допомогою структурного тензора

Тривимірний структурний тензор використовували для аналізу тривимірних відеоданих (які розглядали як функцію x, y та часу t). Якщо в цьому контексті націлюватися на описувачі зображення, інваріантні щодо галілеєвих перетворень, щоб уможливити порівняння вимірювань зображення, отримуваних за варіацій апріорно невідомих швидкостей зображення ${\displaystyle v=(v_{x},v_{y})^{\text{T}}}$

${\displaystyle {\begin{bmatrix}x'\\y'\\t'\end{bmatrix}}=G{\begin{bmatrix}x\\y\\t\end{bmatrix}}={\begin{bmatrix}x-v_{x}\,t\\y-v_{y}\,t\\t\end{bmatrix}}}$ ,

проте з обчислювальної точки зору краще параметрувати складові в структурному тензорі/матриці другого моменту ${\displaystyle S}$, використовуючи поняття галілеєвої діагоналізації (англ. Galilean diagonalization)

${\displaystyle S'=R_{\text{space}}^{-{\text{T}}}\,G^{-{\text{T}}}\,S\,G^{-1}\,R_{\text{space}}^{-1}={\begin{bmatrix}\nu _{1}&\,&\,\\\,&\nu _{2}&\,\\\,&\,&\nu _{3}\end{bmatrix}}}$

де ${\displaystyle G}$ позначує галілеєве перетворення простору-часу, а ${\displaystyle R_{\text{space}}}$ — двовимірне обертання в просторовій області, порівняно з вищезазначеним використанням власних значень тривимірного структурного тензора, що відповідає розкладу на власні значення та (нефізичному) тривимірному обертанню простору-часу

${\displaystyle S''=R_{\text{spacetime}}^{-{\text{T}}}\,S\,R_{\text{spacetime}}^{-1}={\begin{bmatrix}\lambda _{1}&&\\&\lambda _{2}&\\&&\lambda _{3}\end{bmatrix}}}$ .

Проте для отримання істинної галілеєвої інваріантності необхідно також пристосовувати форму просторово-часової віконної функції, відповідно до перенесення афінного пристосовування форми з просторових до просторово-часових даних зображення. У поєднанні з локальними просторово-часовими гістограмними описувачами ці концепції разом уможливлюють галілейноінваріантне розпізнавання просторово-часових подій.

Див. також

• Тензор
• ^[en]
• Похідна за напрямком
• Гауссове
• Виявляння кутів
• Виявляння контурів
• Метод Лукаса — Канаде
• Афінне пристосовування форми
• Узагальнений структурний тензор

Примітки

1. J. Bigun and G. Granlund (1986), Optimal Orientation Detection of Linear Symmetry. Tech. Report LiTH-ISY-I-0828, Computer Vision Laboratory, Linkoping University, Sweden 1986; Thesis Report, Linkoping studies in science and technology No. 85, 1986. (англ.)
2. J. Bigun & G. Granlund (1987). Optimal Orientation Detection of Linear Symmetry. First int. Conf. on Computer Vision, ICCV, (London). Piscataway: IEEE Computer Society Press, Piscataway. с. 433—438. (англ.)
3. H. Knutsson (1989). Representing local structure using tensors. Proceedings 6th Scandinavian Conf. on Image Analysis. Oulu: Oulu University. с. 244—251. (англ.)
4. B. Jahne (1993). Spatio-Temporal Image Processing: Theory and Scientific Applications. Т. 751. Berlin: Springer-Verlag. (англ.)
5. G. Medioni, M. Lee & C. Tang (March 2000). A Computational Framework for Feature Extraction and Segmentation. Elsevier Science. (англ.)
6. T. Brox; J. Weickert; B. Burgeth & P. Mrazek (2004). Nonlinear Structure Tensors (Технічний звіт). № 113. Universität des Saarlandes. (англ.)
7. T. Lindeberg (1993), Scale-Space Theory in Computer Vision. Kluwer Academic Publishers, (докладні формулювання того, як багатомасштабна матриця другого моменту/структурний тензор визначає істинне та однозначно визначене багатомасштабне подання напрямкових даних, див. у розділах 14.4.1 та 14.2.3 на сторінках 359—360 та 355—356). (англ.)
8. J. Bigun; G. Granlund & J. Wiklund (1991). Multidimensional Orientation Estimation with Applications to Texture Analysis and Optical Flow. IEEE Transactions on Pattern Analysis and Machine Intelligence. 13 (8): 775—790. doi:10.1109/34.85668. (англ.)
9. M. Nicolescu & G. Medioni (2003). Motion Segmentation with Accurate Boundaries – A Tensor Voting Approach. Proc. IEEE Computer Vision and Pattern Recognition. Т. 1. с. 382—389. (англ.)
10. Westin, C.-F.; Maier, S.E.; Mamata, H.; Nabavi, A.; Jolesz, F.A.; Kikinis, R. (June 2002). Processing and visualization for diffusion tensor MRI. Medical Image Analysis (англ.). 6 (2): 93—108. doi:10.1016/S1361-8415(02)00053-1. PMID 12044998. (англ.)
11. T. Lindeberg & J. Garding (1997). Shape-adapted smoothing in estimation of 3-D depth cues from affine distortions of local 2-D structure. Image and Vision Computing. 15 (6): 415—434. doi:10.1016/S0262-8856(97)01144-X. (англ.)
12. J. Garding and T. Lindeberg (1996). "Direct computation of shape cues using scale-adapted spatial derivative operators, International Journal of Computer Vision, volume 17, issue 2, pages 163–191. (англ.)
13. W. Förstner (1986). A Feature Based Correspondence Algorithm for Image Processing. International Archives of Photogrammetry and Remote Sensing. 26: 150—166. (англ.)
14. C. Harris & M. Stephens (1988). A Combined Corner and Edge Detector. Proc. of the 4th ALVEY Vision Conference. с. 147—151. (англ.)
15. K. Rohr (1997). On 3D Differential Operators for Detecting Point Landmarks. Image and Vision Computing. 15 (3): 219—233. doi:10.1016/S0262-8856(96)01127-4. (англ.)
16. I. Laptev & T. Lindeberg (2003). Space–time interest points. International Conference on Computer Vision ICCV'03. Т. I. с. 432—439. doi:10.1109/ICCV.2003.1238378. (англ.)
17. B. Triggs (2004). Detecting Keypoints with Stable Position, Orientation, and Scale under Illumination Changes. Proc. European Conference on Computer Vision. Т. 4. с. 100—113. (англ.)
18. C. Kenney, M. Zuliani & B. Manjunath (2005). An Axiomatic Approach to Corner Detection. Proc. IEEE Computer Vision and Pattern Recognition. с. 191—197. (англ.)
19. A. Almansa and T. Lindeberg (2000), Enhancement of fingerprint images using shape-adaptated scale-space operators. IEEE Transactions on Image Processing, volume 9, number 12, pages 2027–2042. (англ.)
20. J. Weickert (1998), Anisotropic diffusion in image processing, Teuber Verlag, Stuttgart. (англ.)
21. D. Tschumperle & R. Deriche (September 2002). Diffusion PDEs on Vector-Valued Images. IEEE Signal Processing Magazine. 19 (5): 16—25. doi:10.1109/MSP.2002.1028349. (англ.)
22. S. Arseneau & J. Cooperstock (September 2006). An Asymmetrical Diffusion Framework for Junction Analysis. British Machine Vision Conference. Т. 2. с. 689—698. (англ.)
23. S. Arseneau & J. Cooperstock (November 2006). An Improved Representation of Junctions through Asymmetric Tensor Diffusion. International Symposium on Visual Computing. (англ.)
24. Yang, Shuai; Chen, Anqing; Chen, Hongde (25 травня 2017). Seismic data filtering using non-local means algorithm based on structure tensor. Open Geosciences. 9 (1): 151—160. Bibcode:2017OGeo....9...13Y. doi:10.1515/geo-2017-0013. ISSN 2391-5447. S2CID 134392619. (англ.)
25. T. Lindeberg; A. Akbarzadeh & I. Laptev (August 2004). Galilean-corrected spatio-temporal interest operators. International Conference on Pattern Recognition ICPR'04. Т. I. с. 57—62. doi:10.1109/ICPR.2004.1334004. (англ.)
26. I. Laptev & T. Lindeberg (August 2004). Velocity adaptation of space–time interest points. International Conference on Pattern Recognition ICPR'04. Т. I. с. 52—56. doi:10.1109/ICPR.2004.971. (англ.)
27. I. Laptev & T. Lindeberg (May 2004). Local descriptors for spatio-temporal recognition. ECCV'04 Workshop on Spatial Coherence for Visual Motion Analysis (Prague, Czech Republic) Springer Lecture Notes in Computer Science. Т. 3667. с. 91—103. doi:10.1007/11676959. (англ.)
28. I. Laptev; B. Caputo; C. Schuldt & T. Lindeberg (2007). Local velocity-adapted motion events for spatio-temporal recognition. Computer Vision and Image Understanding. Т. 108. с. 207—229. doi:10.1016/j.cviu.2006.11.023. (англ.)

Ресурси

• Завантажити первинний код MATLAB
• Посібник зі структурних тензорів (оригінал) (англ.)