Фотометричне стерео

Фотометричне стерео - це техніка комп’ютерного зору для визначення нормалей поверхні об’єктів шляхом порівняння зображень цих об’єктів отриманих за різних умов освітлення. Він заснований на тому, що кількість світла, відбитого поверхнею, залежить від орієнтації поверхні щодо джерела світла та спостерігача. Співставляючи яскравість одних і тих самих точок об’єктів за різних положень джерела світла простір можливих орієнтацій поверхні в цих точках обмежується. При достатній кількості зображень напрямок вектору нормалі може буди визначений досить точно.

Фотометричне стерео аналізує кілька зображень об’єкта за різних умов освітлення, щоб оцінити напрямок вектору нормалі для кожного пікселя.

Вперше цю техніку було запропонована Вудхемом у 1980 р. Частинний випадок, коли наявне лише одне зображення, називається формою із затінення.

Базовий підхід

За припущеннями Вудхема відбиття вважається ламбертівським, положення точкових віддалених джерел світла відоме, а альбедо поверхні вважається рівномірним. Умова віддаленості точкових джерел дозволяє вважати, що вектор напрямку світла для кожного джерела однаковий для всіх точок поверхні. За цих умов задачу можна вирішити шляхом обернення лінійного рівняння ${\displaystyle I=L\cdot n}$, де ${\displaystyle I}$ є (відомим) вектором ${\displaystyle m}$ спостережуваних інтенсивностей, ${\displaystyle n}$ - вектор нормалі (невідомий) поверхні, і ${\displaystyle L}$ є (відомою) ${\displaystyle 3\times m}$ матрицею нормованих напрямків світла.

Цю модель можна легко поширити на поверхні з нерівномірним альбедо, зберігаючи задачу лінійною. Враховуючи нерівномірне альбедо ${\displaystyle k}$, формула інтенсивності відбитого світла має вигляд

${\displaystyle I=k(L\cdot n)}$

Якщо ${\displaystyle L}$ є квадратною (є рівно 3 джерела світла) і неодиничною, її можна побернути:

${\displaystyle L^{-1}I=kn}$

Оскільки вектор нормалі, як відомо, має довжину 1, ${\displaystyle k}$ є довжиною вектора ${\displaystyle kn}$, а ${\displaystyle n}$ - нормований напрямок цього вектора. Якщо ${\displaystyle L}$ не є квадратною (більше 3-х джерел), для узагальнення обернення можна використати псевдообернення Мура-Пенроуза , помноживши обидві частини рівняння на ${\displaystyle L^{T}}$:

${\displaystyle L^{T}I=L^{T}k(L\cdot n)}$

${\displaystyle (L^{T}L)^{-1}L^{T}I=kn}$

Тепер вектор нормалі і альбедо можуть бути визначені.

Класичне фотометричне стерео враховує лише ламбертівські поверхні з ідеально розсіяним відбиттям. Це неправильно для багатьох типів матеріалів, особливо металів, скла та полірованих пластмас, і призведе до помилок у визначенні результуючих напрямків нормалей.

Для вирішення цієї проблеми розроблено багато методів. У цьому розділі перелічено декілька з них.

Дзеркальні відбиття

В комп'ютерній графіці найпершою та найпростішою моделлю для затінення поверхонь була модель ламбертівського відбиття, надалі її було узагальнено шляхом урахування дзеркального відбиття . Еволюція методів фотометричного стерео йшла схожим шляхом. Урахування дзеркальних відбиттів було одним з перших узагальнень моделі ламбертівського освітлення. Зазвичай ці методи покладаються на моделювання функції відбиття поверхні, тобто, залежності інтенсивності відбитого світла від напрямку. Ця функція відбиття повинна бути оборотною. Вимірюється інтенсивність відбитого світла у напрямку камери, а обернена функція відбиття підлаштовується під виміряні інтенсивності, що призводить до унікального розв'язку для вектора нормалі.

• Урахування симетрії. Якщо ДФВЗ є симетричною, напрямок світла може бути обмежений конусом щодо напрямку до камери. Який це конус, залежить від самої ДФВЗ, вектору нормалі поверхні та виміряної інтенсивності. Враховуючи достатню кількість вимірів інтенсивності та відомих напрямків світла, ці конуси можна апроксимувати і, отже, знайти вектори нормалі.

Багатовидове фотометричне стерео

В найпростішому випадку положення камери та об’єктів вважаються незмінними для всіх зображень, змінюється лише положення та напрямок джерела світла. Частини геометрії об’єктів, що не потрапляють в поле зору камери не можуть бути відновлені. Для відновлення повної геометрії слід використовувати зображення об’єктів отримані за різних положень камери поєднуючи інформацію про орієнтацію поверхонь отриману за допомогою фотометричного підходу із інформацією про положення точок у просторі отриманих за допомогою тріангуляції.

Примітки

1. Ying Wu. (PDF). Northwestern University. Архів оригіналу (PDF) за 27 жовтня 2021. Процитовано 25 березня 2015.
2. Woodham, R.J. 1980. Photometric method for determining surface orientation from multiple images. Optical Engineerings 19, I, 139-144.
3. S. Barsky and Maria Petrou, 2003. The 4-source photometric stereo technique for 3-dimensional surfaces in the presence of highlights and shadows. In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, issue 10, pages 1239-1252. IEEE.
4. Chaman Singh Verma and Mon-Ju Wu. . University of Wisconsin-Madison. Архів оригіналу за 7 лютого 2022. Процитовано 24 березня 2015.
5. Hemant D. Tagare and Rui J.P. de Figueiredo, 1991. A Theory of Photometric Stereo for a Class of Diffuse Non-Lambertian Surfaces. In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, no. 2. IEEE.
6. Katsushi Ikeuchi, 1981. Determining Surface Orientations of Specular Surfaces by Using the Photometric Stereo Method [ 12 листопада 2021 у Wayback Machine.]. In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. PAMI-3, issue 6, pages 661-669. IEEE.
7. Aaron Hertzmann and Steven M. Seitz, 2005. Example-Based Photometric Stereo: Shape Reconstruction with General, Verying BRDFs [ 12 листопада 2021 у Wayback Machine.]. In IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 8. IEEE.
8. Michael Holroyd, Jason Lawrence, Greg Humphreys and Todd Zickler, 2008. A Photometric Approach for Estimating Normals and Tangents [ 12 липня 2010 у Wayback Machine.]. In ACM SIGGRAPH Asia 2008 Papers, pages 133:1-133:9. ACM.
9. Min Li, Ping Tan (2020). Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials. arXiv:2001.06659.

Див. також

• Фотометрія
• Стерео бачення
• 3D-сканер