Узагальнений структурний тензор

В ^[en] узага́льнений структу́рний те́нзор (УСТ, англ. generalized structure tensor, GST) — розширення декартового структурного тензора до криволінійних координат. Його переважно використовують для виявляння та подання параметрів «напрямку» кривих, так само як декартів структурний тензор виявляє та подає напрямок у декартових координатах. Найкраще досліджено сімейства кривих, породжених парами локально ортогональних функцій.

Це широко відомий метод у застосуваннях обробки зображень і відео, включно з комп'ютерним баченням, наприклад, у біометричній ідентифікація за відбитками пальців та дослідженнях зрізів тканин людини.

УСТ у двовимірних локально ортогональних базисах

Нехай термін «зображення» (англ. "image") подає функцію ${\displaystyle f(\xi (x,y),\eta (x,y))}$, де ${\displaystyle x,y}$ — дійсні змінні, а ${\displaystyle \xi ,\eta }$ та ${\displaystyle f}$ — дійснозначні функції. УСТ подає напрямок, уздовж якого зображення ${\displaystyle f}$ може зазнавати нескінченно малого перенесення з мінімальною похибкою (^[en]), уздовж «ліній», що відповідають таким умовам:

1. «Лінії» — це звичайні прямі в криволінійному координатному базисі ${\displaystyle \xi ,\eta }$

${\displaystyle \cos(\theta )\xi (x,y)+\sin(\theta )\eta (x,y)={\text{constant}}}$

що є кривими в декартових координатах, як показано у рівнянні вище. Похибка вимірюється в сенсі ${\displaystyle L^{2}}$, і її мінімальність відтак рахують відносно норми L².

2. Функції ${\displaystyle \xi (x,y),\eta (x,y)}$ становлять гармонічну пару, тобто задовольняють рівняння Коші — Рімана,

${\displaystyle {\begin{aligned}&{\frac {\partial \xi }{\partial x}}=-{\frac {\partial \eta }{\partial y}},\\[4pt]&{\frac {\partial \xi }{\partial y}}={\frac {\partial \eta }{\partial x}}.\end{aligned}}}$

Відповідно, такі криволінійні координати ${\displaystyle \xi ,\eta }$ локально ортогональні.

Тоді УСТ полягає в

${\displaystyle GST=(\lambda _{max}-\lambda _{min})\int w(\xi ,\eta )\left[{\begin{array}{c}{\frac {\partial f}{\partial \xi }}\\{\frac {\partial f}{\partial \eta }}\\\end{array}}\right][{\frac {\partial f}{\partial \xi }},{\frac {\partial f}{\partial \eta }}]d\xi d\eta +\lambda _{min}I}$

де ${\displaystyle 0\leq \lambda _{min}\leq \lambda _{max}}$ — похибки (нескінченно малого) паралельного перенесення у найкращому (позначеному кутом ${\displaystyle \theta }$) і найгіршому (визначаному через ${\displaystyle \theta +\pi /2}$) напрямках. Функція ${\displaystyle w(\xi ,\eta )}$ — це віконна функція, що визначає «зовнішній масштаб» (англ. "outer scale"), у якому виконуватиметься виявляння ${\displaystyle \theta }$, яку можливо пропустити, якщо її вже включено до ${\displaystyle f}$ або якщо ${\displaystyle f}$ — повне зображення (а не локальне). Матриця ${\displaystyle I}$ — одинична матриця. Використовуючи ланцюгове правило, можливо показати, що наведене вище інтегрування можливо втілити як згортки в декартових координатах, застосовані до звичайного структурного тензора, коли ${\displaystyle \xi ,\eta }$ утворюють пару дійсної та уявної частин аналітичної функції ${\displaystyle g(z)}$,

${\displaystyle {\begin{array}{c}\xi (x,y)=\Re g(z)\\\eta (x,y)=\Im g(z)\\\end{array}}}$

де ${\displaystyle z=x+iy}$. До прикладів аналітичних функцій належать ${\displaystyle g(z)=\log z=\log(x+iy)}$, а також одночлени ${\displaystyle g(z)=z^{n}=(x+iy)^{n}}$, ${\displaystyle g(z)=z^{n/2}=(x+iy)^{n/2}}$, де ${\displaystyle n}$ — довільне додатне або від'ємне ціле число. Одночлени ${\displaystyle g(z)=z^{n}}$ в комп'ютерному баченні та обробці зображень також називають гармонічними функціями.

Таким чином, декартів структурний тензор — це окремий випадок УСТ, в якому ${\displaystyle \xi =x}$ й ${\displaystyle \eta =y}$, тобто, гармонічна функція — це просто ${\displaystyle g(z)=z=(x+iy)}$. Таким чином, обравши гармонічну функцію ${\displaystyle g}$, можливо виявляти всі криві, які є лінійними поєднаннями її дійсної та уявної частин, лише за допомогою згорток на (прямокутних) сітках зображень, навіть якщо ${\displaystyle \xi ,\eta }$ недекартові. Крім того, обчислення згортки можливо виконувати за допомогою комплексних фільтрів, застосовуваних до комплексної версії структурного тензора. Таким чином, втілення УСТ часто виконують із використанням комплексної версії структурного тензора, а не тензора (1,1).

Комплексний варіант УСТ

Оскільки існує комплексна версія звичайного структурного тензора, існує також і комплексна версія УСТ

${\displaystyle {\begin{array}{c}\kappa _{20}=(\lambda _{1}-\lambda _{2})\exp(i2\theta )&=&w*(h*f)^{2}\\\kappa _{11}=\lambda _{1}+\lambda _{2}&=&|w|*|h*f|^{2}\\\end{array}}}$

що ідентична своєму двоюрідному братові з тією різницею, що ${\displaystyle w}$ — комплексний фільтр. Слід нагадати, що ${\displaystyle w}$ звичайного структурного тензора — це дійсний фільтр, який зазвичай визначають дискретизованим та масштабованим гауссіаном для окреслення околу, відомого також як зовнішній масштаб. Ця простота є причиною того, чому втілення УСТ переважно використовували наведену вище комплексну версію. Для сімейств кривих ${\displaystyle \xi ,\eta }$, визначених аналітичними функціями ${\displaystyle g}$, можливо показати, що функція визначення околу є комплекснозначною,

${\displaystyle w=(x\pm iy)^{n}\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))\propto (D_{x}\pm iD_{y})^{n}\exp(-(x^{2}+y^{2})/(2\sigma ^{2}))}$ ,

так званою похідною симетрії гауссіана. Таким чином, напрямкову мінливість візерунку, яку потрібно шукати, безпосередньо включено до функції визначення околу, й виявляння відбувається в просторі (звичайного) структурного тензора.

Основна концепція його використання в обробці зображень і комп'ютерному баченні

Ефективне виявляння ${\displaystyle \theta }$ в зображеннях можливе шляхом обробки зображень для пари ${\displaystyle \xi }$, ${\displaystyle \eta }$. Основними обчислювальними елементами втілень УСТ є комплексні згортки (або відповідні матричні операції) та поточкові нелінійні відображення. Оцінку ${\displaystyle 2\theta }$ ^[en] відтак отримують разом із двома похибками, ${\displaystyle \lambda _{max}}$ та ${\displaystyle \lambda _{min}}$. За аналогією з декартовим структурним тензором, оцінюваний кут має подвійнокутове подання, тобто обчислення надають ${\displaystyle 2\theta }$, і його можливо використовувати як ознаку форми, тоді як ${\displaystyle \lambda _{max}-\lambda _{min}}$ окремо або в поєднанні з ${\displaystyle \lambda _{max}+\lambda _{min}}$ можливо використовувати як міру якості (впевненості, певності) для цієї оцінки кута.

Логарифмічні спіралі, включно з колами, можливо, наприклад, виявляти (комплексними) згортками та нелінійними відображеннями. Спіралі можуть бути в зображеннях у відтінках сірого (багатозначних), або в бінарному зображенні, тобто розташування елементів контурів відповідних фігур, таких як контури кіл або спіралей, не повинно бути відомим чи якимось чином позначеним.

Узагальнений структурний тензор можливо використовувати як альтернативу перетворенню Гафа в обробці зображень і комп'ютерному баченні для виявляння образів, чиї локальні спрямування можливо моделювати, наприклад точок з'єднання. До основних відмінностей належать:

• Допускається від'ємне, а також комплексне голосування;
• За допомогою одного шаблону можливо виявляти декілька образів, які належать до одного сімейства;
• Бінаризація зображення не потрібна.

Фізична та математична інтерпретація

Криволінійні координати УСТ можуть інтерпретувати фізичні процеси, застосовувані до зображень. Добре відома пара процесів складається з обертання та масштабування. Вони пов'язані з перетворенням координат ${\displaystyle \xi =\log({\sqrt {x^{2}+y^{2}}})}$ та ${\displaystyle \eta =\tan ^{-1}(x,y)}$.

Якщо зображення ${\displaystyle f}$ складається з ізокривих, які можливо інтерпретувати через лише ${\displaystyle \xi }$, тобто його ізокриві складаються з кіл ${\displaystyle f(\xi ,\eta )=g(\xi )}$, де ${\displaystyle g}$ — будь-яка дійснозначна диференційовна функція, визначена на одному вимірі, то це зображення інваріантне до поворотів (навколо початку координат).

Операцію масштабування (включно зі зменшенням масштабу) моделюють подібно. Якщо зображення має ізокриві, схожі на «зірку» або велосипедні спиці, тобто, ${\displaystyle f(\xi ,\eta )=g(\eta )}$ для деякої диференційовної одновимірної функції ${\displaystyle g}$, то зображення ${\displaystyle f}$ інваріантне до масштабування (відносно початку координат).

У поєднанні,

${\displaystyle f(\xi ,\eta )=g(\cos(\theta )\log({\sqrt {x^{2}+y^{2}}})+\sin(\theta )\tan ^{-1}(x,y))}$

інваріантна до певної величини обертання в поєднанні з масштабуванням, де цю величину уточнюють параметром ${\displaystyle \theta }$.

Аналогічно, декартів структурний тензор — також подання паралельного перенесення. Тут фізичний процес полягає у звичайному паралельному перенесенні певної величини вздовж ${\displaystyle x}$ у поєднанні з паралельним перенесенням вздовж ${\displaystyle y}$,

${\displaystyle \cos(\theta )x+\sin(\theta )y={\text{constant}}}$

де цю величину вказано параметром ${\displaystyle \theta }$. Очевидно, тут ${\displaystyle \theta }$ позначує напрямок лінії.

Загалом, оцінений ${\displaystyle \theta }$ подає напрямок (в координатах ${\displaystyle \xi ,\eta }$), уздовж якого нескінченно малі паралельні перенесення лишають зображення інваріантним, на практиці — найменшим варіантним. З кожною криволінійною координатною базисною парою існує пара нескінченно малих паралельних перенесень, лінійне поєднання яких є диференціальним оператором. Останні пов'язані з алгеброю Лі .

Різне

«Зображення» (англ. "image") у контексті УСТ може означати як звичайне зображення, так і якийсь його окіл (локальне зображення), залежно від контексту. Наприклад, фотографія — це зображення, як і будь-який окіл у ній.

Див. також

• Структурний тензор
• Перетворення Гафа
• Тензор
• Гауссове
• Виявляння кутів
• Виявляння контурів
• Афінне пристосовування форми
• Похідна за напрямком
• Диференціальний оператор
• Алгебра Лі

Примітки

1. Bigun, J.; Bigun, T.; Nilsson, K. (December 2004). Recognition by symmetry derivatives and the generalized structure tensor. IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (12): 1590—1605. doi:10.1109/TPAMI.2004.126. PMID 15573820. (англ.)
2. Fronthaler, H.; Kollreider, K.; Bigun, J. (2008). Local Features for Enhancement and Minutiae Extraction in Fingerprints. IEEE Transactions on Image Processing. 17 (3): 354—363. Bibcode:2008ITIP...17..354F. CiteSeerX 10.1.1.160.6312. doi:10.1109/TIP.2007.916155. PMID 18270124. (англ.)
3. O. Schmitt; H. Birkholz (2010). Improvement in cytoarchitectonic mapping by combining electrodynamic modeling with local orientation in high-resolution images of the cerebral cortex. Microsc. Res. Tech. 74 (3): 225—243. doi:10.1109/TIP.2007.916155. PMID 18270124. (англ.)
4. O. Schmitt; M. Pakura; T. Aach; L. Homke; M. Bohme; S. Bock; S. Preusse (2004). Analysis of nerve fibers and their distribution in histologic sections of the human brain. Microsc. Res. Tech. 63 (4): 220—243. doi:10.1002/jemt.20033. PMID 14988920.{{}}: Обслуговування CS1: Сторінки з параметром url-status, але без параметра archive-url () (англ.)
5. Bigun, Josef (December 1997). Pattern Recognition in Images by Symmetries and Coordinate Transformations. Computer Vision and Image Understanding. 68 (3): 290—307. doi:10.1006/cviu.1997.0556. (англ.)