Істотна матриця

У комп'ютерному зорі істотною матрицею є a ${\displaystyle 3\times 3}$ матриця ${\displaystyle \mathbf {E} }$ що пов'язує відповідні точки на стереозображеннях, припускаючи, що камери задовольняють моделі камери обскури.

Функція

Більш конкретно, якщо ${\displaystyle \mathbf {y} }$ і ${\displaystyle \mathbf {y} '}$ є однорідними (нормалізованими координатами зображення) на зображеннях 1 та 2 відповідно, тоді

${\displaystyle (\mathbf {y} ')^{\top }\,\mathbf {E} \,\mathbf {y} =0}$

якщо ${\displaystyle \mathbf {y} }$ і ${\displaystyle \mathbf {y} '}$ відповідають одній і тій же 3D точці на сцені.

Вищезазначене співвідношення, яке визначає істотну матрицю, було опубліковане у 1981 р. Х. Крістофером Лонге-Хіггінсом. У книзі Лонге-Хіггінса наводиться алгоритм оцінки ${\displaystyle \mathbf {E} }$ з набору відповідних нормалізованих координат зображення, а також алгоритм визначення відносного положення та орієнтації двох камер за відомою ${\displaystyle \mathbf {E} }$. Нарешті, показано, як за допомогою істотної матриці можна визначити 3D-координати точок зображення.

Використання

Істотну матрицю можна розглядати як попередник фундаментальної матриці. Обидві матриці можна використовувати для встановлення звʼязку між відповідними точками зображень, але істотну матрицю можна використовувати лише щодо каліброваних камер, оскільки внутрішні параметри камери повинні бути відомі для досягнення нормалізації. Однак, якщо камери відкалібровані, істотна матриця може бути корисною для визначення як відносного положення, так і орієнтації між камерами та положення 3D відповідних точок зображення.

Виведення та визначення

Виведення згідно з роботою Лонге-Хіггінса.

Дві нормалізовані камери проєктують 3D-світ на свої відповідні площини зображення. Позначимо 3D координати точки Р у системах координат кожної камери як ${\displaystyle (x_{1},x_{2},x_{3})}$ і ${\displaystyle (x'_{1},x'_{2},x'_{3})}$. Оскільки камери нормалізовані, відповідні координати зображення

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$ і ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\end{pmatrix}}}$

Тоді однорідні координати можна записати як

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$ і ${\displaystyle {\begin{pmatrix}y'_{1}\\y'_{2}\\1\end{pmatrix}}={\frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}$

або більш компактно

${\displaystyle \mathbf {y} ={\frac {1}{x_{3}}}\,{\tilde {\mathbf {x} }}}$ і ${\displaystyle \mathbf {y} '={\frac {1}{x'_{3}}}\,{\tilde {\mathbf {x} }}'}$

де ${\displaystyle \mathbf {y} }$ і ${\displaystyle \mathbf {y} '}$ є однорідними 2D координатами зображення, а ${\displaystyle {\tilde {\mathbf {x} }}}$ і ${\displaystyle {\tilde {\mathbf {x} }}'}$ тривимірні координати у двох різних системах координат.

Ще однією властивістю нормалізованих камер є те, що їх відповідні системи координат пов'язані за допомогою зсуву та обертання. Це означає, що два набори тривимірних координат пов'язані як

${\displaystyle {\tilde {\mathbf {x} }}'=\mathbf {R} \,({\tilde {\mathbf {x} }}-\mathbf {t} )}$

де ${\displaystyle \mathbf {R} }$ є ${\displaystyle 3\times 3}$ матрицею повороту і ${\displaystyle \mathbf {t} }$ є тривимірним вектором зсуву.

Тоді істотна матриця визначається як:

${\displaystyle \mathbf {E} =\mathbf {R} \,[\mathbf {t} ]_{\times }}$

де ${\displaystyle [\mathbf {t} ]_{\times }}$ є (матричним записом векторного добутку) з ${\displaystyle \mathbf {t} }$.

Щоб продемонструвати, що це визначення істотної матриці описує звʼязок відповідних координат зображення помножимо ${\displaystyle \mathbf {E} }$ зліва та справа на 3D-координати точки P у двох різних системах координат:

${\displaystyle ({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}\,{\stackrel {(1)}{=}}\,({\tilde {\mathbf {x} }}-\mathbf {t} )^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,({\tilde {\mathbf {x} }}-\mathbf {t} )^{T}\,[\mathbf {t} ]_{\times }\,{\tilde {\mathbf {x} }}\,{\stackrel {(3)}{=}}\,0}$

1. Використано наведене вище співвідношення між ${\displaystyle {\tilde {\mathbf {x} }}'}$ і ${\displaystyle {\tilde {\mathbf {x} }}}$ та визначення ${\displaystyle \mathbf {E} }$ через ${\displaystyle \mathbf {R} }$ і ${\displaystyle \mathbf {t} }$.
2. ${\displaystyle \mathbf {R} ^{T}\,\mathbf {R} =\mathbf {I} }$ оскільки матриця обертання ${\displaystyle \mathbf {R} }$ є ортогональною матрицею.
3. Властивість матричного запису векторного добутку.

Нарешті, можна припустити, що обидва ${\displaystyle x_{3}}$ і ${\displaystyle x'_{3}}$ > 0, інакше їх не видно в обох камерах. Це дає

${\displaystyle 0=({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\tilde {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tilde {\mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tilde {\mathbf {x} }}=(\mathbf {y} ')^{T}\,\mathbf {E} \,\mathbf {y} }$

що є звʼязком між відповідними точками зображення, який визначає істотна матриця.

Властивості

Результатом множення істотної матриці ${\displaystyle \mathbf {E} }$ на ненульовий скаляр, є істотна матриця, яка визначає точно такий же звʼязок, як і ${\displaystyle \mathbf {E} }$. Це означає що ${\displaystyle \mathbf {E} }$ можна розглядати як елемент проєктивного простору, тобто дві такі матриці вважаються еквівалентними, якщо одна є ненульовим скалярним множенням іншої. Це є важливою властивістю, якщо ${\displaystyle \mathbf {E} }$ визначається за даними зображень. Однак можна також визначити ${\displaystyle \mathbf {E} }$ як

${\displaystyle \mathbf {E} =[\mathbf {\widetilde {t}} ]_{\times }\,\mathbf {R} }$

де ${\displaystyle \mathbf {\widetilde {t}} =-\mathbf {R} \mathbf {t} }$, і тоді ${\displaystyle \mathbf {E} }$ задає чітко визначене масштабування. На практиці реалізації алгоритмів можуть використовувати обидві форми.

Звʼязок також може бути виражений як

${\displaystyle \det \mathbf {E} =0}$

і

${\displaystyle 2\mathbf {E} \mathbf {E} ^{T}\mathbf {E} -\operatorname {tr} (\mathbf {E} \mathbf {E} ^{T})\mathbf {E} =0.}$

Тут останнє рівняння є обмеженням матриці, яке можна розглядати як 9 обмежень, по одному для кожного елемента матриці. Ці обмеження часто використовуються для визначення суттєвої матриці з п'яти відповідних пар точок.

Істотна матриця має п’ять-шість ступенів вільності, залежно від того, розглядається вона як проєктивний елемент чи ні. Матриця обертання ${\displaystyle \mathbf {R} }$ і вектор зсуву ${\displaystyle \mathbf {t} }$ мають три ступені вільності кожен, а загалом їх шість. Якщо суттєву матрицю розглядати як проєктивний елемент потрібно відняти один ступінь свободи, пов'язану зі скалярним множенням, залишаючи в цілому п'ять ступенів свободи.

Оцінка

Враховуючи набір відповідних точок зображення, можна оцінити істотну матрицю, яка задовольняє визначальному епіполярному обмеженню для всіх точок набору. Однак, якщо точки зображення зашумлені, що є типовим випадком у будь-якій практичній ситуації, неможливо знайти істотну матрицю, яка б точно задовольняла всім обмеження.

Залежно від того, як враховується похибка, пов'язана з кожним обмеженням, можна визначити або оцінити істотну матрицю, яка оптимально задовольняє всім обмеженням для даного набору відповідних точок зображення. Найпростіший підхід полягає в постановці загальної задачі найменших квадратів, широко відомої як восьмиточковий алгоритм.

Визначення повороту та зсуву з істотної матриці

Враховуючи, що істотна матриця була визначена для пари стереокамер — наприклад, за допомогою методу оцінки наведеного вище — ця матриця може бути використана для визначення повороту ${\displaystyle \mathbf {R} }$ та зсув ${\displaystyle \mathbf {t} }$ між системами координат цих двох камер. У цьому частинному випадку ${\displaystyle \mathbf {E} }$ розглядається як проєктивний елемент, та не визначає масштаб.

Знаходження першого розв'язку

Наведений нижче спосіб знаходження матриці повороту ${\displaystyle \mathbf {R} }$ та вектора зсуву ${\displaystyle \mathbf {t} }$ засновано на виконанні сингулярного розкладу ${\displaystyle \mathbf {E} }$т. Також можливо визначити ${\displaystyle \mathbf {R} }$ та ${\displaystyle \mathbf {t} }$ без використання сингулярного розкладу.

Сингулярний розклад ${\displaystyle \mathbf {E} }$ дає

${\displaystyle \mathbf {E} =\mathbf {U} \,\mathbf {\Sigma } \,\mathbf {V} ^{T}}$

де ${\displaystyle \mathbf {U} }$ та ${\displaystyle \mathbf {V} }$ отрогональні ${\displaystyle 3\times 3}$ матриці та ${\displaystyle \mathbf {\Sigma } }$ є ${\displaystyle 3\times 3}$ діагональною матрицею з елементами

${\displaystyle \mathbf {\Sigma } ={\begin{pmatrix}s&0&0\\0&s&0\\0&0&0\end{pmatrix}}}$

Діагональні елементи ${\displaystyle \mathbf {\Sigma } }$ є сингулярними значеннями ${\displaystyle \mathbf {E} }$ які, згідно з властивостями істотної матриці повинні містити два однакових і одне нульове значення. Позначимо

${\displaystyle \mathbf {W} ={\begin{pmatrix}0&-1&0\\1&0&0\\0&0&1\end{pmatrix}}}$   для неї   ${\displaystyle \mathbf {W} ^{-1}=\mathbf {W} ^{T}={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&1\end{pmatrix}}}$

і зробимо наступний анзац

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {W} \,\mathbf {\Sigma } \,\mathbf {U} ^{T}}$

${\displaystyle \mathbf {R} =\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}}$

Оскільки ${\displaystyle \mathbf {\Sigma } }$ може не повністю задовольняти всім обмеженням при роботі з реальними даними, може допомогти альтернатива

${\displaystyle [\mathbf {t} ]_{\times }=\mathbf {U} \,\mathbf {Z} \,\mathbf {U} ^{T}}$   де   ${\displaystyle \mathbf {Z} ={\begin{pmatrix}0&1&0\\-1&0&0\\0&0&0\end{pmatrix}}}$

${\displaystyle \mathbf {R} =\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf {V} ^{T}}$

Пошук усіх розв'язків

Знайдений можливий розв'язок для ${\displaystyle \mathbf {R} }$ та ${\displaystyle \mathbf {t} }$ для матриці ${\displaystyle \mathbf {E} }$ не є єдиним, він може виявитися навіть недійсним з урахуванням реального розташування камер.

Для ${\displaystyle \mathbf {E} }$ існує два протилежних напрямки для ${\displaystyle \mathbf {t} }$, й два різних обертання (яким відповідає ${\displaystyle \mathbf {W} }$ та ${\displaystyle \mathbf {W} ^{-1}}$, що сумісні із даною істотною матрицею. Всього це дає чотири розв'язки для зсуву та повороту між системами координат двох камер. Однак на практиці три розв'язки завжди відповідають тривимірній точці, що знаходиться позаду хоча б однієї з камер і тому не може бути видима. Тільки один з чотирьох розв'язків відповідає точкам, що знаходяться попереду обох камер і лише цей розв'язок є вірним.

Знаходження 3D-точок з відповідних точок зображення

Існує багато методів обчислень ${\displaystyle (x_{1},x_{2},x_{3})}$ за відповідними нормованими координатами зображення ${\displaystyle (y_{1},y_{2})}$ і ${\displaystyle (y'_{1},y'_{2})}$, якщо істотна матриця відома і були визначені відповідні перетворення обертання та паралельного перенесення камери.

Дивитися також

• Епіполярна геометрія
• Фундаментальна матриця
• Калібрування геометричної камери
• Тріангуляція (комп'ютерний зір)
• Трифокальний тензор

Інструменти

• Оцінка [ 18 серпня 2020 у Wayback Machine.] істотної матриці в MATLAB (Маноліс Луракіс).
• В бібліотеці OpenCV визначити істотну матрицю можна за допомогою функції cv::findEssentialMat [ 4 березня 2021 у Wayback Machine.].

Перелік джерел

• David Nistér (June 2004). An efficient solution to the five-point relative pose problem. IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (6): 756—777. doi:10.1109/TPAMI.2004.17. PMID 18579936.
• H. Stewénius and C. Engels and D. Nistér (June 2006). Recent Developments on Direct Relative Orientation. ISPRS Journal of Photogrammetry and Remote Sensing. 60 (4): 284—294. Bibcode:2006JPRS...60..284S. CiteSeerX 10.1.1.61.9329. doi:10.1016/j.isprsjprs.2006.03.005.
• H. Christopher Longuet-Higgins (September 1981). A computer algorithm for reconstructing a scene from two projections. Nature. 293 (5828): 133—135. Bibcode:1981Natur.293..133L. doi:10.1038/293133a0.
• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN .
• Yi Ma; ; ; (2004). An Invitation to 3-D Vision. Springer. ISBN .
• Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN .