Трифокальний тензор

У комп'ютерному зорі трифокальний тензор (також тритензор ) - це масив чисел 3 × 3 × 3 (тобто тензор ), який включає всі проективні геометричні співвідношення між трьома камерами. Він пов'язує координати відповідних точок та ліній на зображеннях, отриманих трьома камерами, незалежно від структури сцени в залежності лише від відносного руху між трьома камерами та їх внутрішніх параметрів калібрування. Отже, трифокальний тензор можна розглядати як узагальнення фундаментальної матриці на випадок трьох камер. Незважаючи на те, що тензор складається з 27 елементів, лише 18 з них незалежні.

Знаходить застосування і так званий калібрований трифокальний тензор, який пов'язує координати точок і ліній трьох зображень, враховуючи їх внутрішні параметри, і визначає відносну позицію камер із точністю до глобального масштабу. Містить 11 незалежних елементів або ступенів свободи.

Кореляційні зрізи

Тензор також можна розглядати як сукупність трьох матриць 3 × 3 рангу 2 ${\displaystyle {\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}}$ відомих як його кореляційні зрізи . Припускаючи, що матриці проєкції трьох камер є ${\displaystyle {\mathbf {P} }=[{\mathbf {I} }\;|\;{\mathbf {0} }]}$, ${\displaystyle {\mathbf {P} }^{'}=[{\mathbf {A} }\;|\;{\mathbf {a} }_{4}]}$ і ${\displaystyle {\mathbf {P} ^{''}}=[{\mathbf {B} }\;|\;{\mathbf {b} }_{4}]}$, кореляційні зрізи відповідного тензору можна виразити в замкнутому вигляді як ${\displaystyle {\mathbf {T} }_{i}={\mathbf {a} }_{i}{\mathbf {b} }_{4}^{t}-{\mathbf {a} }_{4}{\mathbf {b} }_{i}^{t},\;i=1\ldots 3}$, де ${\displaystyle {\mathbf {a} }_{i},\;{\mathbf {b} }_{i}}$ - відповідно i- ^й стовпці матриць камери. На практиці, однак, тензор оцінюється на основі відповідних точок та ліній на трьох зображеннях.

Трилінійні обмеження

Однією з найважливіших властивостей трифокального тензора є те, що він встановлює залежності між лініями та точками на трьох зображеннях. Більш конкретно, для триплетів відповідних точок ${\displaystyle {\mathbf {x} }\;\leftrightarrow \;{\mathbf {x} }^{'}\;\leftrightarrow \;{\mathbf {x} }^{''}}$ та будь-яких відповідних ліній ${\displaystyle {\mathbf {l} }\;\leftrightarrow \;{\mathbf {l} }^{'}\;\leftrightarrow \;{\mathbf {l} }^{''}}$ виконуються такі трилінійні обмеження :

${\displaystyle ({\mathbf {l} }^{'t}\left[{\mathbf {T} }_{1},\;{\mathbf {T} }_{2},\;{\mathbf {T} }_{3}\right]{\mathbf {l} }^{''})[{\mathbf {l} }]_{\times }={\mathbf {0} }^{t}}$

${\displaystyle {\mathbf {l} }^{'t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }^{''}=0}$

${\displaystyle {\mathbf {l} }^{'t}\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }^{''}]_{\times }={\mathbf {0} }^{t}}$

${\displaystyle [{\mathbf {x} }^{'}]_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right){\mathbf {l} }^{''}={\mathbf {0} }}$

${\displaystyle [{\mathbf {x} }^{'}]_{\times }\left(\sum _{i}x_{i}{\mathbf {T} }_{i}\right)[{\mathbf {x} }^{''}]_{\times }={\mathbf {0} }_{3\times 3}}$

де ${\displaystyle [\cdot ]_{\times }}$ позначає кососиметричну (матрицю векторного добутку) .

Перенесення точок, ліній та конічних перетинів

Маючи трифокальний тензор трьох камер і пару відповідних точок на двох зображеннях можна визначити місце розташування точки на третьому зображенні без будь-якої додаткової інформації. Це називається перенесенням точок, подібні залежності мають місце для ліній і конічних перетинів.

Оцінка

Не калібрований

У класичному випадоку шести точкових відповідностей можна отримати три розв'язки.

Випадок оцінки трифокального тензора з дев'яти відповідностей для ліній було вирішенено лише нещодавно.

Калібрований

Оцінка каліброваного трифокального тензору вимагає чотирьох точкових відповідностей.

Нещодавно було розв'язано випадок знаходження трифоракльного тензора лише з трьох точкових відповідностей, де точки віднесені до дотичних напрямків або прямих ліній. Ця ж техніка дозволяє розв'язати змішаний випадок трьох точкових відповідності та однієї відповідності для лінії.

Реалізації

• Matlab реалізація некаліброваної оцінки трифокального тензора та порівняння із парами фундаментальних матриць.
• Реалізація каліброваної оцінки трифокального тензора на C ++ за допомогою оптимізованого коду гомотопії. На даний момент включає випадки трьох відповідних точок з лініями в цих точках, а також для трьох точкових відповідностей та однієї відповідності для лінії.

Посилання

 

1. Martyushev, E. V. (2017). On Some Properties of Calibrated Trifocal Tensors. Journal of Mathematical Imaging and Vision. 58 (2): 321—332. arXiv:1601.01467. doi:10.1007/s10851-017-0712-x.
2. Richard Hartley and Andrew Zisserman (2003). Online Chapter: Trifocal Tensor. Multiple View Geometry in computer vision. Cambridge University Press. ISBN .
3. Heyden, A. (1995). Reconstruction from Image Sequences by means of Relative Depths. Proceedings of IEEE International Conference on Computer Vision. с. 1058—1063. doi:10.1109/ICCV.1995.466817. ISBN .
4. Larsson, Viktor; Astrom, Kalle; Oskarsson, Magnus (2017). Efficient Solvers for Minimal Problems by Syzygy-Based Reduction. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). с. 2383—2392. doi:10.1109/CVPR.2017.256. ISBN .
5. Nister, David; Schaffalitzky, Frederik (2006). Four Points in Two or Three Calibrated Views: Theory and Practice. International Journal of Computer Vision. 67 (2): 211—231. doi:10.1007/s11263-005-4265-x.