Матриця камери

У комп'ютерному зорі матриця камери або матриця проєкції (камери) є матрицею ${\displaystyle 3\times 4}$, яка описує відображення стенопа від 3D-точок в світі, до 2D-точок зображення. Нехай ${\displaystyle \mathbf {x} }$ — представлення тривимірної точки в однорідних координатах (чотиривимірний вектор), і нехай ${\displaystyle \mathbf {y} }$ буде представленням зображення цієї точки в стенопі (3-вимірний вектор). Тоді має місце наступне співвідношення

${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

де ${\displaystyle \mathbf {C} }$ — це матриця камери, а ${\displaystyle \,\sim }$ знак, що означає, що ліва і права частини рівності рівні ненульовому скалярному множенню.

Так як матриця камери ${\displaystyle \mathbf {C} }$ бере участь у відображенні між елементами двох проєктивних просторів, її теж можна розглядати як проєктивний елемент. Це означає, що у неї є тільки 11 ступенів свободи, так як будь-яке множення на ненульовий скаляр призводить до еквівалентної матриці камери.

Походження

Відображення координат тривимірної точки P на координати двовимірного зображення проєкції точки на площину зображення, відповідно до моделі стенопа, дається формулою

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}}$

де ${\displaystyle (x_{1},x_{2},x_{3})}$ є тривимірними координатами P щодо централізованої системи координат камери, ${\displaystyle (y_{1},y_{2})}$ — отримані координати зображення, f — фокусна відстань камери, для якої передбачається, що f > 0. Крім того, ми також припускаємо, що x₃ > 0.

Для отримання матриці камери цей вираз переписується в термінах однорідних координат. Замість двовимірного вектора ${\displaystyle (y_{1},y_{2})}$ розглянемо проєктивний елемент (3D-вектор) ${\displaystyle \mathbf {y} =(y_{1},y_{2},1)}$ та замість рівності розглядаємо рівність з точністю до масштабування на ненульове число, що позначається ${\displaystyle \sim }$. Спочатку ми записуємо координати однорідного зображення у вигляді виразів в звичайних тривимірних координатах.

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}={\frac {f}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}\sim {\begin{pmatrix}x_{1}\\x_{2}\\{\frac {x_{3}}{f}}\end{pmatrix}}}$

Нарешті, також тривимірні координати виражаються в однорідному представленні ${\displaystyle \mathbf {x} }$, і ось як виглядає матриця камери:

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\1\end{pmatrix}}\sim {\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\,{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\1\end{pmatrix}}}$   чи   ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$

де ${\displaystyle \mathbf {C} }$ матриця камери, яка дається формулою

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}}$,

і відповідна матриця камери тепер стає

${\displaystyle \mathbf {C} ={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&{\frac {1}{f}}&0\end{pmatrix}}\sim {\begin{pmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{pmatrix}}}$

Останній крок є наслідком того, що ${\displaystyle \mathbf {C} }$ сам по собі є проєктивним елементом.

Виведена тут матриця камери може здатися тривіальною в тому сенсі, що вона містить дуже мало ненульових елементів. Це в значній мірі залежить від конкретних систем координат, які були обрані для 3D і 2D точок. На практиці, однак, інші форми матриць камер є загальними, що буде показано нижче.

Положення камери

Матриця камери ${\displaystyle \mathbf {C} }$, отримана в попередньому розділі, має нульовий простір, натягнуте на вектор

${\displaystyle \mathbf {n} ={\begin{pmatrix}0\\0\\0\\1\end{pmatrix}}}$

Це також однорідне уявлення тривимірної точки, яка має координати (0,0,0), тобто «центр камери» (так зване вхідне вічко; положення отвору стенопа), що знаходиться в O.

Для будь-якої іншої 3D-точки з ${\displaystyle x_{3}=0}$, результат ${\displaystyle \mathbf {y} \sim \mathbf {C} \,\mathbf {x} }$ коректно визначений і має вигляд ${\displaystyle \mathbf {y} =(y_{1}\,y_{2}\,0)^{\top }}$. Це відповідає нескінченно віддаленій точці на площині проєктованого зображення (навіть якщо площина зображення вибрана як евклідова площина, то не існує відповідної точки перетину).

Нормована матриця камери і координати нормованого зображення

Матриця камери, отримана вище, може бути спрощена ще більше, якщо ми припустимо, що f = 1:

${\displaystyle \mathbf {C} _{0}={\begin{pmatrix}1&0&0&0\\0&1&0&0\\0&0&1&0\end{pmatrix}}=\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)}$

де ${\displaystyle \mathbf {I} }$ тут позначає одиничну матрицю ${\displaystyle 3\times 3}$. Зверніть увагу, що ${\displaystyle 3\times 4}$ matrix ${\displaystyle \mathbf {C} }$ тут розділена на конкатенацію матриці ${\displaystyle 3\times 3}$ і тривимірного вектору. Матриця камери ${\displaystyle \mathbf {C} _{0}}$ іноді називається канонічної формою.

До сіх пір всі точки в тривимірному світі були представлені в системі координат відцентрованої камери, тобто в системі координат, яка має початок в центрі камери (місце розташування точкового отвору стенопа). На практиці, однак, 3D-точки можуть бути представлені в термінах координат відносно довільної системи координат (X1',X2',X3'). Припускаючи, що координатні осі камери (X1,X2,X3) і осі (X1',X2',X3') мають Евклідів тип (ортогональний і ізотропний), існує єдине Евклідове тривимірне перетворення (поворот і зрушення) між двома системами координат. Іншими словами, камера не обов'язково знаходиться на початку координат і дивиться уздовж осі z.

Дві операції обертання і зсуву тривимірних координат можуть бути представлені у вигляді двох матриць ${\displaystyle 4\times 4}$

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {0} \\\hline \mathbf {0} &1\end{array}}\right)}$ and ${\displaystyle \left({\begin{array}{c|c}\mathbf {I} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

де ${\displaystyle \mathbf {R} }$ є матрицею повороту ${\displaystyle 3\times 3}$, а ${\displaystyle \mathbf {t} }$ є тривимірним вектором паралельного перенесення. Коли перша матриця множиться на однорідне уявлення 3D-точки, результатом є однорідне уявлення поверненої точки, а друга матриця виконує замість цього паралельне перенесення. Виконання двох операцій послідовно, тобто спочатку поворот, а потім паралельне перенесення (з вектором паралельного перенесення, заданим у вже поверненій системі координат), дає комбіновану матрицю повороту і паралельного перенесення

${\displaystyle \left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)}$

Припускаючи, що ${\displaystyle \mathbf {R} }$ і ${\displaystyle \mathbf {t} }$ — це точно обертання та перенесення, які пов'язані з двома системами координат (X1,X2,X3) і (X1',X2',X3') вище, це означає, що

${\displaystyle \mathbf {x} =\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '}$

де ${\displaystyle \mathbf {x} '}$ — однорідне уявлення точки P в системі координат (X1',X2',X3').

Припускаючи також, що матриця камери задана ${\displaystyle \mathbf {C} _{0}}$, відображення з координат в (X1',X2',X3') до однорідних координатам зображення стає

${\displaystyle \mathbf {y} \sim \mathbf {C} _{0}\,\mathbf {x} =\left({\begin{array}{c|c}\mathbf {I} &\mathbf {0} \end{array}}\right)\,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \\\hline \mathbf {0} &1\end{array}}\right)\mathbf {x} '=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)\,\mathbf {x} '}$

Отже, матриця камери, яка пов'язує точки в системі координат (X1',X2',X3') з координатами зображення, є

${\displaystyle \mathbf {C} _{N}=\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

конкатенація матриці 3D обертання і тривимірного вектора перенесення.

Цей тип матриці камери називають нормованою матрицею камери, вона приймає фокусну відстань = 1 і координати зображення вимірюються в системі координат, де початок координат знаходиться на перетині між віссю X3 і площиною зображення, і має ті ж одиниці як тривимірна система координат. Отримані координати зображення називаються координатами нормованого зображення.

Положення камери

Знову ж, описаний вище нульове простір нормованої матриці камери, описана вище ${\displaystyle \mathbf {C} _{N}}$, натягнуто на 4-мірний вектор

${\displaystyle \mathbf {n} ={\begin{pmatrix}-\mathbf {R} ^{-1}\,\mathbf {t} \\1\end{pmatrix}}={\begin{pmatrix}{\tilde {\mathbf {n} }}\\1\end{pmatrix}}}$

Це, знову ж, координати центру камери, тепер відносно системи (X1',X2',X3'). Це можна побачити, застосувавши спочатку поворот, а потім паралельний перенос до тривимірного вектору ${\displaystyle {\tilde {\mathbf {n} }}}$ і результат є однорідним представленням тривимірних координат (0,0,0).

Це означає, що центр камери (в її однорідному поданні) знаходиться в нульовому просторі матриці камери, за умови, що він представлений у вигляді тривимірних координат відносно тієї ж системи координат, до якої відноситься матриця камери.

Нормовану матрицю камери ${\displaystyle \mathbf {C} _{N}}$ можна тепер записати у вигляді

${\displaystyle \mathbf {C} _{N}=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &\mathbf {R} ^{-1}\,\mathbf {t} \end{array}}\right)=\mathbf {R} \,\left({\begin{array}{c|c}\mathbf {I} &-{\tilde {\mathbf {n} }}\end{array}}\right)}$

де ${\displaystyle {\tilde {\mathbf {n} }}}$ — це тривимірні координати камери відносно системи (X1',X2',X3').

Загальна матриця камери

З огляду на відображення, створене нормованою матрицею камери, отримані координати нормованого зображення можуть бути перетворені за допомогою довільної двовимірної гомографіі. Це включає двовимірний перенос та обертання, а також масштабування (изотропне і анізотропне), але, також, і загальні двовимірні перспективні перетворення. Таке перетворення може бути представлено як матриця ${\displaystyle 3\times 3}$ matrix ${\displaystyle \mathbf {H} }$, яка відображає координати нормованого зображення ${\displaystyle \mathbf {y} }$ до координат перетвореного однорідного зображення ${\displaystyle \mathbf {y} '}$:

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {y} }$

Вставка вищенаведеного виразу для координат нормованого зображення у вигляді тривимірних координат дає

${\displaystyle \mathbf {y} '=\mathbf {H} \,\mathbf {C} _{N}\,\mathbf {x} '}$

Це дає найбільш загальну форму матриці камери

${\displaystyle \mathbf {C} =\mathbf {H} \,\mathbf {C} _{N}=\mathbf {H} \,\left({\begin{array}{c|c}\mathbf {R} &\mathbf {t} \end{array}}\right)}$

Див. також

• 3D-проєкція
• Фундаментальна матриця
• Об'ємна відбудова

Посилання

• Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN .