Ця стаття є сирим з англійської мови. Можливо, вона створена за допомогою машинного перекладу або перекладачем, який недостатньо володіє обома мовами. (квітень 2020) |
У комп'ютерному зорі та комп'ютерній графіці об'ємна відбудова або 3D-реконструкція — це процес охоплення форми і зовнішнього вигляду реальних об'єктів. Цей процес може бути виконаний або активними або пасивними методами. Якщо моделі дозволено змінювати свою форму в часі, це називається нежорсткою або .
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOHlMekppTDFCelpYVmtkVzVsYkdGZmRtbGhkRzl5YVhOZk15NXdibWN2TWpJd2NIZ3RVSE5sZFdSMWJtVnNZVjkyYVdGMGIzSnBjMTh6TG5CdVp3PT0ucG5n.png)
Мотивація та застосування
Дослідження 3D реконструкції завжди було важко досяжною метою. За допомогою об'ємної відбудови можна визначити 3D-контури будь-якого об'єкта, а також дізнатися тривимірні координати будь-якої точки контуру. Об'ємна відбудова об'єктів є загально науковою проблемою і основною технологією широкого спектра областей, таких як автоматизоване проєктування (CAGD), комп'ютерна графіка, комп'ютерна анімація, комп'ютерний зір, медична візуалізація, [en], віртуальна реальність, цифрові медіа і т. д. Наприклад, інформація про ураження пацієнтів може бути представлена в тривимірному вигляді на комп'ютері, що пропонує новий і точний підхід в діагностиці, що має життєво важливе клінічне значення. Цифрові моделі рельєфу місцевості можуть бути відновлені за допомогою таких методів, як повітряна лазерна альтиметрія або радар із синтезованою апертурою.
Активні методи
Активні методи, тобто методи даних діапазону, враховуючи [en], реконструюють 3D-профіль за допомогою чисельних методів і будують об'єкт на основі моделі. Ці методи активно впливають на реконструйований об'єкт, або механічно, або радіометрично за допомогою далекомірів, щоб отримати карту глибини, наприклад, [en], лазерний далекомір та інші активні методи зондування. Простий приклад механічного методу буде використовувати глибиномір для вимірювання відстані до обертового об'єкта, поміщеного на поворотний стіл. Більш застосовані радіометричні методи випускають випромінювання в бік об'єкта, а потім вимірюють його відбиту частину. Приклади залежать від рухомих джерел світла, кольорового видимого світла, Time-of-flight камери до мікрохвиль або [en]. Щоб отримати додаткові відомості див. розділ 3D-сканування.
Пасивні методи
Пасивні методи 3D-реконструкції не заважають реконструйованому об'єкту; вони тільки використовують датчик для вимірювання світла, відбитого або випущеного поверхнею об'єкта, щоб вивести його 3D-структуру через розуміння зображення. Як правило, датчик є зображенням в камері, чутливої до видимого світла, набір цифрових зображень (одне, два або більше) або відео є вхідним сигналом для цього методу. В цьому випадку ми говоримо про реконструкцію на основі зображень, а вихід-це 3D-модель. У порівнянні з активними методами, пасивні методи можуть застосовуватися більш частіше.
Методи монокулярних сигналів
Методи [en] сигналів відносяться до використання одного або декількох зображень з однієї точки зору (камери) для переходу до 3D-побудови. Він використовує 2D-характеристики (наприклад, силуети, затінення і текстуру) для вимірювання 3D-форми, і саме тому він також називається Shape-From-X, де X може бути силуетами, затіненням, текстурою і т. д. 3D-реконструкція за допомогою монокулярних сигналів проста і швидка, і потрібно тільки одне відповідне цифрове зображення. Технічно, це дозволяє уникнути встановлення стерео-відповідності, що є досить складним завданням.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODJMelprTDFONWJuUm9aWE5wZW1sdVoxOHpSRjlUYUdGd1pYTmZkbWxoWDAxdlpHVnNhVzVuWDAxMWJIUnBMVlpwWlhkZlJHVndkR2hmVFdGd2MxOWhibVJmVTJsc2FHOTFaWFIwWlhOZlYybDBhRjlFWldWd1gwZGxibVZ5WVhScGRtVmZUbVYwZDI5eWEzTXVjRzVuTHpJeU1IQjRMVk41Ym5Sb1pYTnBlbWx1WjE4elJGOVRhR0Z3WlhOZmRtbGhYMDF2WkdWc2FXNW5YMDExYkhScExWWnBaWGRmUkdWd2RHaGZUV0Z3YzE5aGJtUmZVMmxzYUc5MVpYUjBaWE5mVjJsMGFGOUVaV1Z3WDBkbGJtVnlZWFJwZG1WZlRtVjBkMjl5YTNNdWNHNW4ucG5n.png)
Форма-затінення завдяки аналізу інформації про яскравість точок поверхні об'єкта на зображенні, за припущенням ламбертового характеру відбиття, відновлюються нормалі поверхні об'єкта та глибина точок для реконструкції.
Фототометричне стерео. Цей підхід є складнішим, ніж метод затінення форми. Зображення, зроблені в різних умовах освітлення, використовуються для розв'язання інформації про глибину. Варто відзначити, що при такому підході потрібно більше одного зображення.
Форма текстури. Припустимо, що об'єкт з гладкою поверхнею, вкритий реплікованими текстурними одиницями, і його проєкція з 3D у 2D викликає спотворення і перспективу. Спотворення і перспектива, виміряні у 2D-зображеннях, дають підказку для зворотного розв'язання глибини нормальної інформації поверхні об'єкта.
Бінокулярне стереобачення
Бінокулярне стереобачення отримує тривимірну геометричну інформацію про об'єкт з декількох зображень, основаних на дослідженні зорової системи людини. Результати представлені у вигляді карт глибин. Зображення об'єкта, отримані двома камерами одночасно під різними кутами огляду або однією камерою в різний час під різними кутами, використовуються для відновлення його тривимірної геометричної інформації і відновлення його тривимірного профілю та місця розташування. Це пряміші методи, ніж монокулярні, такі як форма від затінення.
Метод бінокулярного стереобачення вимагає наявності двох однакових камер з паралельною оптичною віссю для спостереження одного і того ж об'єкта, отримання двох зображень з різних точок зору. З точки зору тригонометричних співвідношень, інформація про глибину може бути обчислена з диспаритету. Бінокулярний метод стереобачення добре розвинений і стабільно сприяє 3D реконструкції, що призводить до кращої продуктивності у порівнянні з іншими 3D-реконструкціями. На жаль, це обчислювально інтенсивніше, до того ж це працює досить погано, коли базова відстань завелика.
Постановка проблеми та основи
Підхід використання бінокулярного стереобачення для отримання тривимірної геометричної інформації об'єкта засновується на бінокулярній невідповідності. На наступному малюнку представлена принципова проста схема бінокулярного стереобачення з горизонтальним зором, де b — базова лінія між проєктивними центрами двох камер.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODJMelkyTDFOMFpYSmxiM05qYjNCcFkxOXpZMmhsYldGMGFXTXVjRzVuTHpJeU1IQjRMVk4wWlhKbGIzTmpiM0JwWTE5elkyaGxiV0YwYVdNdWNHNW4ucG5n.png)
Початок координат камери знаходиться в оптичному центрі об'єктива, як показано на малюнку. Насправді площина зображення камери знаходиться за оптичним центром об'єктива. Однак для спрощення розрахунку зображення його розміщують перед оптичним центром об'єктива f. Вісь u і вісь v системи координат зображення O1uv знаходяться в одному напрямку з осями x і y, системи координат камери відповідно. Початок координат зображення знаходиться на перетині площини зображення і оптичної осі. Припустимо, що така світова точка P, відповідні точки зображення якої є P1 (u1, v1) та P2 (u2, v2) відповідно на лівій і правій площині зображення. Припустимо, що дві камери знаходяться в одній площині, тоді Y-координати P1 і P2 ідентичні, тобто v1=v2. За тригонометричним співвідношенням,
де (x p, y p, z p) — координати P в лівій системі координат камери, f — фокусна відстань камери. Візуальна диспропорція визначається як різниця в місці розташування точки до зображення іншої точки світу, отриманою двома камерами,
на підставі чого можуть бути знайдені координати P.
Тому, як тільки координати точок зображення відомі, крім параметрів двох камер, можна визначити тривимірну координату точки.
3D-реконструкція складається з наступних розділів:
Здобуття зображень
Отримання 2D цифрового зображення є джерелом інформації для 3D реконструкції. Зазвичай використовується 3D-реконструкція заснована на двох або більше зображеннях, хоча в деяких випадках вона може використовувати тільки одне зображення. Існують різні типи методів отримання зображень, які залежать від випадків і цілей конкретного додатка. Необхідно враховувати не тільки вимоги програми, але і візуальну невідповідність, освітленість, продуктивність камери і особливість сценарію.
Калібрування камери
Калібрування камери у стереобаченні полягає у визначенні перетворення між координатами точок зображення P1 (u1, v1) та P2 (u2, v2) та координатою відповідної точки P (xp, yp, zp) у 3D-просторі. Калібрування камери є основною частиною 3D-реконструкції за допомогою стереобачення. Калібрування включає визначення внутрішніх (фокальна відстань, принципова точка камери) та зовнішніх (обертання та зсув) параметрів камери, що ставить за кінцеву мету визначення матриць камери необхідних для подальшої тріангуляції.
Виділення ознак
Першим кроком реконструкції тривимірного об'єкта є пошук на зображеннях характерних локальних ознак, що зберігаються при просторових перетвореннях (обертання та переміщення камери) та зміні умов освітлення і тому можуть бути знайдені на інших зображеннях об'єкта. Як правило для цього використовуються SIFT ознаки. У випадку об'єктів із слабко вираженою текстурою визначення ознак може бути складною задачею, в таких випадках доводиться використовувати фотометричні методи.
Стерео відповідність
Стерео відповідність полягає у співставленні визначених на попередньому кроці ознак зображень, тобто у знаходженні пар точок зображень P1 (u1, v1) та P2 (u2, v2) яким відповідає одна й та сама тривимірна точка об'єкта. Слід звернути увагу, що зовнішні фактори, наприклад, освітлення, шум, фізичні характеристики поверхні і т. д. сильно впливають на знаходження відповідностей.
Відновлення
У випадку точного визначення відповідностей на зображеннях та параметрів камери неважко визначити положення відповідної точки у тривимірному просторі за допомогою тріангуляції. Однак у зв'язку з тим, що на точність виділення та співставлення ознак впливає велика кількість зовнішніх факторів, а параметри камери не завжди можливо визначити точно, на практиці використовуються методи пошуку оптимального розв'язку, що мінімізує сумарну похибку, наприклад МНК чи RANSAC. Часто параметри камери невідомі, тоді визначення тривимірних координат точок та параметрів камер ведуться із використанням оптимізаційних підходів спрямованих на зменшення загальної похибки проєкції тривимірних точок на зображення, ця техніка відома як налаштування пучка.
3D-реконструкція медичних зображень
Клінічна процедура діагностики, спостереження за пацієнтами, хірургічна операція за допомогою комп'ютера, хірургічне планування тощо сприяють точним 3D-моделям бажаної частини анатомії людини. Основна мотивація 3D реконструкції містить:
- Підвищену точність завдяки багаторазовій агрегації.
- Детальну оцінку поверхні.
- Може використовуватися для планування, моделювання, керівництва чи іншим чином допомагати хірургу у виконанні медичної процедури.
- Можна визначити точне положення та орієнтацію анатомії пацієнта.
- Допомагає в ряді клінічних областей, таких як планування променевої терапії та перевірка лікування, хірургія хребта, заміна стегна, нейроінтервенції та аортальне стентування.
Додатки:
3D-реконструкція має застосування у багатьох сферах. В таких як:
- Тротуарна техніка
- Медицина
- Реконструкція відеозображення на вільному огляді
- [en]
- Містобудування
- [en]
- Ігри
- [en] та віртуальний туризм
- [en]
- Археологія
- Розширена реальність
- Реверсна техніка
- Захоплення рухом
- [en] та [en]
Постановка проблеми:
В основному алгоритми, які доступні для 3D-реконструкції, надзвичайно повільні і не можуть використовуватися в реальному часі. Хоча представлені алгоритми все ще знаходяться в початковому стані, але вони мають потенціал для швидкого обчислення.
Існуючі підходи:
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOHpMek00TDBSbGJHRjFibUY1WDFSeWFXRnVaM1ZzWVhScGIyNWZKVEk0TWpWZlVHOXBiblJ6SlRJNUxuTjJaeTh5TWpCd2VDMUVaV3hoZFc1aGVWOVVjbWxoYm1kMWJHRjBhVzl1WHlVeU9ESTFYMUJ2YVc1MGN5VXlPUzV6ZG1jdWNHNW4ucG5n.png)
Делоне і альфа-форми
- Метод Делоне включає вилучення поверхонь тетраедра з початкової хмарної точки. Ідея «форми» для набору точок у просторі задається концепцією альфа-форм. Враховуючи множину кінцевих точок S та реальний параметр альфа, альфа-форма S — це багатогранник (узагальнення до будь-якого двовимірного багатокутника та тривимірного багатогранника), який не є не опуклим. Для великого значення альфа-форма є ідентичною опуклому корпусу С. Алгоритм, запропонований Edelsbrunner та Mucke, який виключає всі тетраедри, які обмежені навколишньою сферою, меншою за α. Потім поверхня виходить із зовнішніх трикутників з отриманого тетраедра.
- Інший алгоритм під назвою «Тугий кокон» позначає початкові тетраедри як внутрішні та зовнішні. Трикутники, знайдені в результаті породження отриманої поверхні й за нею.
Обидва методи були нещодавно розширені для відновлення хмар точок з шумом. У цьому методі якість точок визначає доцільність методу. Для точної тріангуляції, оскільки ми використовуємо весь набір хмар точок, точки на поверхні з помилкою вище порога будуть явно представлені на реконструйованій геометрії.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOWhMMkUzTDAxaGNtTm9hVzVuUTNWaVpYTXVjM1puTHpJeU1IQjRMVTFoY21Ob2FXNW5RM1ZpWlhNdWMzWm5MbkJ1Wnc9PS5wbmc=.png)
Нульові методи
Реконструкція поверхні виконується за допомогою функції відстані, яка присвоює кожній точці в просторі знакову відстань до поверхні S. Алгоритм контуру використовується для отримання нульового набору, який в свою чергу використовується для отримання полігонального подання об'єкта. Таким чином, завдання відновлення поверхні з неорганізованої хмари точок зводиться до визначення функції f з нульовим значенням для відібраних точок і відмінних від нуля значеннях для інших. Алгоритм, названий маршируючими кубами, встановив використання таких методів. Існують різні варіанти для даного алгоритму, деякі використовують дискретну функцію f, в той час як інші використовують полігармонічну радіальну базисну функцію, також для це використовується для установки початкового набору точок. Також використовувалися такі функції, як переміщення найменших квадратів, базові функції з локальною підтримкою, засновані на рівнянні Пуассона. Втрата точності геометрії в областях з екстремальною кривиною, тобто кутів, крайок є однією з основних утворюваних проблем. Крім того, попередня обробка інформації, застосовує деяку техніку фільтрації, яка також впливає на визначення кутів, пом'якшуючи їх. Є кілька досліджень, пов'язаних з методами постобробки, використовуваними в реконструкції для виявлення і уточнення кутів, але ці методи збільшують складність вирішення.
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpODRMemd3TDFOdmJHbGtYMmRsYjIxbGRISjVYM2RwZEdoZmRtOXNkVzFsWDNKbGJtUmxjbWx1Wnk1cWNHY3ZNakl3Y0hndFUyOXNhV1JmWjJWdmJXVjBjbmxmZDJsMGFGOTJiMngxYldWZmNtVnVaR1Z5YVc1bkxtcHdadz09LmpwZw==.jpg)
Техніка VR
Повна прозорість об'єму об'єкта візуалізується за допомогою техніки VR. Зображення будуть виконуватися шляхом проєктування променів через об'ємні дані. Уздовж кожного променя, непрозорість і колір повинні бути розраховані на кожному вокселі. Потім інформація, обчислена вздовж кожного променя, буде агрегована в піксель на площині зображення. Ця техніка допомагає нам всебічно побачити всю компактну структуру об'єкта. Тому, метод вимагає величезної кількості обчислень, який в свою чергу вимагає сильної конфігурації комп'ютерів які підходять для даних з низьким контрастом. Два основних методи проєктування променів можна розглядати наступним чином:
- Метод об'єктного порядку: Промені проходять через об'єм ззаду вперед (від гучності до площини зображення).
- Порядок зображення або променевий метод: Промені проходять через гучність спереду назад (від площини зображення до об'єму). Існують деякі інші способи складання зображення, відповідні методи залежать від цілей користувача. Деякі звичайні методи в медичному зображенні є [en] (максимальна інтенсивність проєкції), MinIP (мінімальна інтенсивність проєкції), AC (альфа — композитна) і NPVR (не фотореалістичне [en]).
![image](https://www.wikidata.uk-ua.nina.az/image/aHR0cHM6Ly93d3cud2lraWRhdGEudWstdWEubmluYS5hei9pbWFnZS9hSFIwY0hNNkx5OTFjR3h2WVdRdWQybHJhVzFsWkdsaExtOXlaeTkzYVd0cGNHVmthV0V2WTI5dGJXOXVjeTkwYUhWdFlpOHlMekppTDFKaGVWOXBibDkyYjNobGJGOW5jbWxrTG5OMlp5OHlNakJ3ZUMxU1lYbGZhVzVmZG05NFpXeGZaM0pwWkM1emRtY3VjRzVuLnBuZw==.png)
Воксельна сітка
У цьому методі фільтрації вхідний простір відбирається з використанням сітки 3D вокселів для зменшення кількості точок. Для кожного вокселя центроїд вибирається як представник всіх точок. Існує два підходи: вибір центроїда вокселя або вибір центроїда точок, що лежить всередині вокселя. Для отримання внутрішніх точок середнє значення має вищі обчислювальні витрати, але він пропонує кращі результати. Таким чином, виходить підмножина вхідного простору, яка приблизно представляє нижче лежачу поверхню. Метод сітки вокселя представляє ті ж проблеми, що й інші методи фільтрації: неможливість визначення кінцевого числа точок, що представляють поверхню, втрата геометричної інформації через зменшення точок всередині вокселя і чутливість до гучних вхідних просторів.
Дивитися також
Список літератури
- Moons, Theo, Luc Van Gool, and Maarten Vergauwen. «3D reconstruction from multiple images part 1: Principles.» Foundations and Trends in Computer Graphics and Vision 4.4 (2010): 287—404.
- Zollhöfer, Michael, et al. «Real-time non-rigid reconstruction using an RGB-D camera [ 2021-07-08 у Wayback Machine.].» ACM Transactions on Graphics 33.4 (2014): 156.
- Liping Zheng; Guangyao Li; Jing Sha (2007). The survey of medical image 3D reconstruction. Fifth International Conference on Photonics and Imaging in Biology and Medicine. Proceedings of SPIE. Т. 6534. с. 65342K–65342K–6. doi:10.1117/12.741321.
- Vosselman, George, and Sander Dijkman. «3D building model reconstruction from point clouds and ground plans.» International archives of photogrammetry remote sensing and spatial information sciences 34.3/W4 (2001): 37-44.
- Colesanti, Carlo, and Janusz Wasowski. «Investigating landslides with space-borne Synthetic Aperture Radar (SAR) interferometry.» Engineering geology 88.3-4 (2006): 173—199.
- Mahmoudzadeh, Ahmadreza; Golroo, Amir; Jahanshahi, Mohammad R.; Firoozi Yeganeh, Sayna (January 2019). Estimating Pavement Roughness by Fusing Color and Depth Data Obtained from an Inexpensive RGB-D Sensor. Sensors. 19 (7): 1655. doi:10.3390/s19071655. PMC 6479490. PMID 30959936.
{{}}
: Обслуговування CS1: Сторінки із непозначеним DOI з безкоштовним доступом () - Buelthoff, Heinrich H., and Alan L. Yuille."Shape-from-X: Psychophysics and computation [ 2011-01-07 у Wayback Machine.]." Fibers' 91, Boston, MA. International Society for Optics and Photonics, 1991.
- Soltani, A.A.; Huang, H.; Wu, J.; Kulkarni, T.D.; Tenenbaum, J.B. (2017). Synthesizing 3D Shapes via Modeling Multi-View Depth Maps and Silhouettes With Deep Generative Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. с. 1511—1519.
- Horn, Berthold KP. «Shape from shading: A method for obtaining the shape of a smooth opaque object from one view.» (1970).
- Woodham, Robert J. (1980). (PDF). Optical Engineering. 19 (1): 138—141. Bibcode:1980OptEn..19..139W. doi:10.1117/12.7972479. Архів оригіналу (PDF) за 27 березня 2014.
- Witkin, Andrew P. (1981). Recovering surface shape and orientation from texture (PDF). Artificial Intelligence. 17 (1–3): 17—45. doi:10.1016/0004-3702(81)90019-9.
Посилання
- Синтезування 3D-фігур за допомогою моделювання глибинних карток та силуетів із глибоким переглядом за допомогою глибоких генеративних мереж — Створюйте та реконструюйте тривимірні фігури за допомогою моделювання карток глибин або багатьох силуетів.
Джерела
- http://www.nature.com/subjects/3d-reconstruction#news-and-comment
- http://6.869.csail.mit.edu/fa13/lectures/lecture11shapefromX.pdf
- http://research.microsoft.com/apps/search/default.aspx?q=3d+reconstruction
- https://research.google.com/search.html#q=3D%20реконструкція
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Cya stattya ye sirim perekladom z anglijskoyi movi Mozhlivo vona stvorena za dopomogoyu mashinnogo perekladu abo perekladachem yakij nedostatno volodiye oboma movami Bud laska dopomozhit polipshiti pereklad kviten 2020 U komp yuternomu zori ta komp yuternij grafici ob yemna vidbudova abo 3D rekonstrukciya ce proces ohoplennya formi i zovnishnogo viglyadu realnih ob yektiv Cej proces mozhe buti vikonanij abo aktivnimi abo pasivnimi metodami Yaksho modeli dozvoleno zminyuvati svoyu formu v chasi ce nazivayetsya nezhorstkoyu abo Ob yemna vidbudova zagalnoyi anatomiyi pravogo boku nevelikogo morskogo slimaka en Motivaciya ta zastosuvannyaDoslidzhennya 3D rekonstrukciyi zavzhdi bulo vazhko dosyazhnoyu metoyu Za dopomogoyu ob yemnoyi vidbudovi mozhna viznachiti 3D konturi bud yakogo ob yekta a takozh diznatisya trivimirni koordinati bud yakoyi tochki konturu Ob yemna vidbudova ob yektiv ye zagalno naukovoyu problemoyu i osnovnoyu tehnologiyeyu shirokogo spektra oblastej takih yak avtomatizovane proyektuvannya CAGD komp yuterna grafika komp yuterna animaciya komp yuternij zir medichna vizualizaciya en virtualna realnist cifrovi media i t d Napriklad informaciya pro urazhennya paciyentiv mozhe buti predstavlena v trivimirnomu viglyadi na komp yuteri sho proponuye novij i tochnij pidhid v diagnostici sho maye zhittyevo vazhlive klinichne znachennya Cifrovi modeli relyefu miscevosti mozhut buti vidnovleni za dopomogoyu takih metodiv yak povitryana lazerna altimetriya abo radar iz sintezovanoyu aperturoyu Aktivni metodiAktivni metodi tobto metodi danih diapazonu vrahovuyuchi en rekonstruyuyut 3D profil za dopomogoyu chiselnih metodiv i buduyut ob yekt na osnovi modeli Ci metodi aktivno vplivayut na rekonstrujovanij ob yekt abo mehanichno abo radiometrichno za dopomogoyu dalekomiriv shob otrimati kartu glibini napriklad en lazernij dalekomir ta inshi aktivni metodi zonduvannya Prostij priklad mehanichnogo metodu bude vikoristovuvati glibinomir dlya vimiryuvannya vidstani do obertovogo ob yekta pomishenogo na povorotnij stil Bilsh zastosovani radiometrichni metodi vipuskayut viprominyuvannya v bik ob yekta a potim vimiryuyut jogo vidbitu chastinu Prikladi zalezhat vid ruhomih dzherel svitla kolorovogo vidimogo svitla Time of flight kameri do mikrohvil abo en Shob otrimati dodatkovi vidomosti div rozdil 3D skanuvannya Pasivni metodiPasivni metodi 3D rekonstrukciyi ne zavazhayut rekonstrujovanomu ob yektu voni tilki vikoristovuyut datchik dlya vimiryuvannya svitla vidbitogo abo vipushenogo poverhneyu ob yekta shob vivesti jogo 3D strukturu cherez rozuminnya zobrazhennya Yak pravilo datchik ye zobrazhennyam v kameri chutlivoyi do vidimogo svitla nabir cifrovih zobrazhen odne dva abo bilshe abo video ye vhidnim signalom dlya cogo metodu V comu vipadku mi govorimo pro rekonstrukciyu na osnovi zobrazhen a vihid ce 3D model U porivnyanni z aktivnimi metodami pasivni metodi mozhut zastosovuvatisya bilsh chastishe Metodi monokulyarnih signaliv Metodi en signaliv vidnosyatsya do vikoristannya odnogo abo dekilkoh zobrazhen z odniyeyi tochki zoru kameri dlya perehodu do 3D pobudovi Vin vikoristovuye 2D harakteristiki napriklad silueti zatinennya i teksturu dlya vimiryuvannya 3D formi i same tomu vin takozh nazivayetsya Shape From X de X mozhe buti siluetami zatinennyam teksturoyu i t d 3D rekonstrukciya za dopomogoyu monokulyarnih signaliv prosta i shvidka i potribno tilki odne vidpovidne cifrove zobrazhennya Tehnichno ce dozvolyaye uniknuti vstanovlennya stereo vidpovidnosti sho ye dosit skladnim zavdannyam Stvorennya ta rekonstrukciya 3D figur iz odinochnih abo bagatoprofilnih kart glibin abo siluetiv Forma zatinennya zavdyaki analizu informaciyi pro yaskravist tochok poverhni ob yekta na zobrazhenni za pripushennyam lambertovogo harakteru vidbittya vidnovlyuyutsya normali poverhni ob yekta ta glibina tochok dlya rekonstrukciyi Fototometrichne stereo Cej pidhid ye skladnishim nizh metod zatinennya formi Zobrazhennya zrobleni v riznih umovah osvitlennya vikoristovuyutsya dlya rozv yazannya informaciyi pro glibinu Varto vidznachiti sho pri takomu pidhodi potribno bilshe odnogo zobrazhennya Forma teksturi Pripustimo sho ob yekt z gladkoyu poverhneyu vkritij replikovanimi teksturnimi odinicyami i jogo proyekciya z 3D u 2D viklikaye spotvorennya i perspektivu Spotvorennya i perspektiva vimiryani u 2D zobrazhennyah dayut pidkazku dlya zvorotnogo rozv yazannya glibini normalnoyi informaciyi poverhni ob yekta Binokulyarne stereobachennya Binokulyarne stereobachennya otrimuye trivimirnu geometrichnu informaciyu pro ob yekt z dekilkoh zobrazhen osnovanih na doslidzhenni zorovoyi sistemi lyudini Rezultati predstavleni u viglyadi kart glibin Zobrazhennya ob yekta otrimani dvoma kamerami odnochasno pid riznimi kutami oglyadu abo odniyeyu kameroyu v riznij chas pid riznimi kutami vikoristovuyutsya dlya vidnovlennya jogo trivimirnoyi geometrichnoyi informaciyi i vidnovlennya jogo trivimirnogo profilyu ta miscya roztashuvannya Ce pryamishi metodi nizh monokulyarni taki yak forma vid zatinennya Metod binokulyarnogo stereobachennya vimagaye nayavnosti dvoh odnakovih kamer z paralelnoyu optichnoyu vissyu dlya sposterezhennya odnogo i togo zh ob yekta otrimannya dvoh zobrazhen z riznih tochok zoru Z tochki zoru trigonometrichnih spivvidnoshen informaciya pro glibinu mozhe buti obchislena z disparitetu Binokulyarnij metod stereobachennya dobre rozvinenij i stabilno spriyaye 3D rekonstrukciyi sho prizvodit do krashoyi produktivnosti u porivnyanni z inshimi 3D rekonstrukciyami Na zhal ce obchislyuvalno intensivnishe do togo zh ce pracyuye dosit pogano koli bazova vidstan zavelika Postanovka problemi ta osnovi Pidhid vikoristannya binokulyarnogo stereobachennya dlya otrimannya trivimirnoyi geometrichnoyi informaciyi ob yekta zasnovuyetsya na binokulyarnij nevidpovidnosti Na nastupnomu malyunku predstavlena principova prosta shema binokulyarnogo stereobachennya z gorizontalnim zorom de b bazova liniya mizh proyektivnimi centrami dvoh kamer Geometriya stereoskopichnoyi sistemi Pochatok koordinat kameri znahoditsya v optichnomu centri ob yektiva yak pokazano na malyunku Naspravdi ploshina zobrazhennya kameri znahoditsya za optichnim centrom ob yektiva Odnak dlya sproshennya rozrahunku zobrazhennya jogo rozmishuyut pered optichnim centrom ob yektiva f Vis u i vis v sistemi koordinat zobrazhennya O1uv znahodyatsya v odnomu napryamku z osyami x i y sistemi koordinat kameri vidpovidno Pochatok koordinat zobrazhennya znahoditsya na peretini ploshini zobrazhennya i optichnoyi osi Pripustimo sho taka svitova tochka P vidpovidni tochki zobrazhennya yakoyi ye P1 u1 v1 ta P2 u2 v2 vidpovidno na livij i pravij ploshini zobrazhennya Pripustimo sho dvi kameri znahodyatsya v odnij ploshini todi Y koordinati P1 i P2 identichni tobto v1 v2 Za trigonometrichnim spivvidnoshennyam u 1 f x p z p displaystyle u 1 f frac x p z p u 2 f x p b z p displaystyle u 2 f frac x p b z p v 1 v 2 f y p z p displaystyle v 1 v 2 f frac y p z p de x p y p z p koordinati P v livij sistemi koordinat kameri f fokusna vidstan kameri Vizualna disproporciya viznachayetsya yak riznicya v misci roztashuvannya tochki do zobrazhennya inshoyi tochki svitu otrimanoyu dvoma kamerami d u 1 u 2 f b z p displaystyle d u 1 u 2 f frac b z p na pidstavi chogo mozhut buti znajdeni koordinati P Tomu yak tilki koordinati tochok zobrazhennya vidomi krim parametriv dvoh kamer mozhna viznachiti trivimirnu koordinatu tochki x p b u 1 d displaystyle x p frac bu 1 d y p b v 1 d displaystyle y p frac bv 1 d z p b f d displaystyle z p frac bf d 3D rekonstrukciya skladayetsya z nastupnih rozdiliv Zdobuttya zobrazhen Otrimannya 2D cifrovogo zobrazhennya ye dzherelom informaciyi dlya 3D rekonstrukciyi Zazvichaj vikoristovuyetsya 3D rekonstrukciya zasnovana na dvoh abo bilshe zobrazhennyah hocha v deyakih vipadkah vona mozhe vikoristovuvati tilki odne zobrazhennya Isnuyut rizni tipi metodiv otrimannya zobrazhen yaki zalezhat vid vipadkiv i cilej konkretnogo dodatka Neobhidno vrahovuvati ne tilki vimogi programi ale i vizualnu nevidpovidnist osvitlenist produktivnist kameri i osoblivist scenariyu Kalibruvannya kameri Div takozh Kalibruvannya kameri Kalibruvannya kameri u stereobachenni polyagaye u viznachenni peretvorennya mizh koordinatami tochok zobrazhennya P1 u1 v1 ta P2 u2 v2 ta koordinatoyu vidpovidnoyi tochki P xp yp zp u 3D prostori Kalibruvannya kameri ye osnovnoyu chastinoyu 3D rekonstrukciyi za dopomogoyu stereobachennya Kalibruvannya vklyuchaye viznachennya vnutrishnih fokalna vidstan principova tochka kameri ta zovnishnih obertannya ta zsuv parametriv kameri sho stavit za kincevu metu viznachennya matric kameri neobhidnih dlya podalshoyi triangulyaciyi Vidilennya oznak Pershim krokom rekonstrukciyi trivimirnogo ob yekta ye poshuk na zobrazhennyah harakternih lokalnih oznak sho zberigayutsya pri prostorovih peretvorennyah obertannya ta peremishennya kameri ta zmini umov osvitlennya i tomu mozhut buti znajdeni na inshih zobrazhennyah ob yekta Yak pravilo dlya cogo vikoristovuyutsya SIFT oznaki U vipadku ob yektiv iz slabko virazhenoyu teksturoyu viznachennya oznak mozhe buti skladnoyu zadacheyu v takih vipadkah dovoditsya vikoristovuvati fotometrichni metodi Stereo vidpovidnist Stereo vidpovidnist polyagaye u spivstavlenni viznachenih na poperednomu kroci oznak zobrazhen tobto u znahodzhenni par tochok zobrazhen P1 u1 v1 ta P2 u2 v2 yakim vidpovidaye odna j ta sama trivimirna tochka ob yekta Slid zvernuti uvagu sho zovnishni faktori napriklad osvitlennya shum fizichni harakteristiki poverhni i t d silno vplivayut na znahodzhennya vidpovidnostej Vidnovlennya U vipadku tochnogo viznachennya vidpovidnostej na zobrazhennyah ta parametriv kameri nevazhko viznachiti polozhennya vidpovidnoyi tochki u trivimirnomu prostori za dopomogoyu triangulyaciyi Odnak u zv yazku z tim sho na tochnist vidilennya ta spivstavlennya oznak vplivaye velika kilkist zovnishnih faktoriv a parametri kameri ne zavzhdi mozhlivo viznachiti tochno na praktici vikoristovuyutsya metodi poshuku optimalnogo rozv yazku sho minimizuye sumarnu pohibku napriklad MNK chi RANSAC Chasto parametri kameri nevidomi todi viznachennya trivimirnih koordinat tochok ta parametriv kamer vedutsya iz vikoristannyam optimizacijnih pidhodiv spryamovanih na zmenshennya zagalnoyi pohibki proyekciyi trivimirnih tochok na zobrazhennya cya tehnika vidoma yak nalashtuvannya puchka 3D rekonstrukciya medichnih zobrazhen Klinichna procedura diagnostiki sposterezhennya za paciyentami hirurgichna operaciya za dopomogoyu komp yutera hirurgichne planuvannya tosho spriyayut tochnim 3D modelyam bazhanoyi chastini anatomiyi lyudini Osnovna motivaciya 3D rekonstrukciyi mistit Pidvishenu tochnist zavdyaki bagatorazovij agregaciyi Detalnu ocinku poverhni Mozhe vikoristovuvatisya dlya planuvannya modelyuvannya kerivnictva chi inshim chinom dopomagati hirurgu u vikonanni medichnoyi proceduri Mozhna viznachiti tochne polozhennya ta oriyentaciyu anatomiyi paciyenta Dopomagaye v ryadi klinichnih oblastej takih yak planuvannya promenevoyi terapiyi ta perevirka likuvannya hirurgiya hrebta zamina stegna nejrointervenciyi ta aortalne stentuvannya Dodatki 3D rekonstrukciya maye zastosuvannya u bagatoh sferah V takih yak Trotuarna tehnika Medicina Rekonstrukciya videozobrazhennya na vilnomu oglyadi en Mistobuduvannya en Igri en ta virtualnij turizm en Arheologiya Rozshirena realnist Reversna tehnika Zahoplennya ruhom en ta en Postanovka problemi V osnovnomu algoritmi yaki dostupni dlya 3D rekonstrukciyi nadzvichajno povilni i ne mozhut vikoristovuvatisya v realnomu chasi Hocha predstavleni algoritmi vse she znahodyatsya v pochatkovomu stani ale voni mayut potencial dlya shvidkogo obchislennya Isnuyuchi pidhodi Triangulyaciya Delone 25 tochok Delone i alfa formi Metod Delone vklyuchaye viluchennya poverhon tetraedra z pochatkovoyi hmarnoyi tochki Ideya formi dlya naboru tochok u prostori zadayetsya koncepciyeyu alfa form Vrahovuyuchi mnozhinu kincevih tochok S ta realnij parametr alfa alfa forma S ce bagatogrannik uzagalnennya do bud yakogo dvovimirnogo bagatokutnika ta trivimirnogo bagatogrannika yakij ne ye ne opuklim Dlya velikogo znachennya alfa forma ye identichnoyu opuklomu korpusu S Algoritm zaproponovanij Edelsbrunner ta Mucke yakij viklyuchaye vsi tetraedri yaki obmezheni navkolishnoyu sferoyu menshoyu za a Potim poverhnya vihodit iz zovnishnih trikutnikiv z otrimanogo tetraedra Inshij algoritm pid nazvoyu Tugij kokon poznachaye pochatkovi tetraedri yak vnutrishni ta zovnishni Trikutniki znajdeni v rezultati porodzhennya otrimanoyi poverhni j za neyu Obidva metodi buli neshodavno rozshireni dlya vidnovlennya hmar tochok z shumom U comu metodi yakist tochok viznachaye docilnist metodu Dlya tochnoyi triangulyaciyi oskilki mi vikoristovuyemo ves nabir hmar tochok tochki na poverhni z pomilkoyu vishe poroga budut yavno predstavleni na rekonstrujovanij geometriyi Pohidni kubiv Nulovi metodi Rekonstrukciya poverhni vikonuyetsya za dopomogoyu funkciyi vidstani yaka prisvoyuye kozhnij tochci v prostori znakovu vidstan do poverhni S Algoritm konturu vikoristovuyetsya dlya otrimannya nulovogo naboru yakij v svoyu chergu vikoristovuyetsya dlya otrimannya poligonalnogo podannya ob yekta Takim chinom zavdannya vidnovlennya poverhni z neorganizovanoyi hmari tochok zvoditsya do viznachennya funkciyi f z nulovim znachennyam dlya vidibranih tochok i vidminnih vid nulya znachennyah dlya inshih Algoritm nazvanij marshiruyuchimi kubami vstanoviv vikoristannya takih metodiv Isnuyut rizni varianti dlya danogo algoritmu deyaki vikoristovuyut diskretnu funkciyu f v toj chas yak inshi vikoristovuyut poligarmonichnu radialnu bazisnu funkciyu takozh dlya ce vikoristovuyetsya dlya ustanovki pochatkovogo naboru tochok Takozh vikoristovuvalisya taki funkciyi yak peremishennya najmenshih kvadrativ bazovi funkciyi z lokalnoyu pidtrimkoyu zasnovani na rivnyanni Puassona Vtrata tochnosti geometriyi v oblastyah z ekstremalnoyu krivinoyu tobto kutiv krajok ye odniyeyu z osnovnih utvoryuvanih problem Krim togo poperednya obrobka informaciyi zastosovuye deyaku tehniku filtraciyi yaka takozh vplivaye na viznachennya kutiv pom yakshuyuchi yih Ye kilka doslidzhen pov yazanih z metodami postobrobki vikoristovuvanimi v rekonstrukciyi dlya viyavlennya i utochnennya kutiv ale ci metodi zbilshuyut skladnist virishennya Sucilna geometriya z ob yemnim vidtvorennyam zobrazhennya lyub yazno nadano Patrikom Krisom Fragile Santa Barbara Tehnika VR Povna prozorist ob yemu ob yekta vizualizuyetsya za dopomogoyu tehniki VR Zobrazhennya budut vikonuvatisya shlyahom proyektuvannya promeniv cherez ob yemni dani Uzdovzh kozhnogo promenya neprozorist i kolir povinni buti rozrahovani na kozhnomu vokseli Potim informaciya obchislena vzdovzh kozhnogo promenya bude agregovana v piksel na ploshini zobrazhennya Cya tehnika dopomagaye nam vsebichno pobachiti vsyu kompaktnu strukturu ob yekta Tomu metod vimagaye velicheznoyi kilkosti obchislen yakij v svoyu chergu vimagaye silnoyi konfiguraciyi komp yuteriv yaki pidhodyat dlya danih z nizkim kontrastom Dva osnovnih metodi proyektuvannya promeniv mozhna rozglyadati nastupnim chinom Metod ob yektnogo poryadku Promeni prohodyat cherez ob yem zzadu vpered vid guchnosti do ploshini zobrazhennya Poryadok zobrazhennya abo promenevij metod Promeni prohodyat cherez guchnist speredu nazad vid ploshini zobrazhennya do ob yemu Isnuyut deyaki inshi sposobi skladannya zobrazhennya vidpovidni metodi zalezhat vid cilej koristuvacha Deyaki zvichajni metodi v medichnomu zobrazhenni ye en maksimalna intensivnist proyekciyi MinIP minimalna intensivnist proyekciyi AC alfa kompozitna i NPVR ne fotorealistichne en Vidstezhennya promenya cherez sitku vokseliv Vokseli yaki prohodyat dodatkovo za dopomogoyu standartnogo 8 svyaznogo algoritmu pokazani viluplenimi Vokselna sitka U comu metodi filtraciyi vhidnij prostir vidbirayetsya z vikoristannyam sitki 3D vokseliv dlya zmenshennya kilkosti tochok Dlya kozhnogo vokselya centroyid vibirayetsya yak predstavnik vsih tochok Isnuye dva pidhodi vibir centroyida vokselya abo vibir centroyida tochok sho lezhit vseredini vokselya Dlya otrimannya vnutrishnih tochok serednye znachennya maye vishi obchislyuvalni vitrati ale vin proponuye krashi rezultati Takim chinom vihodit pidmnozhina vhidnogo prostoru yaka priblizno predstavlyaye nizhche lezhachu poverhnyu Metod sitki vokselya predstavlyaye ti zh problemi sho j inshi metodi filtraciyi nemozhlivist viznachennya kincevogo chisla tochok sho predstavlyayut poverhnyu vtrata geometrichnoyi informaciyi cherez zmenshennya tochok vseredini vokselya i chutlivist do guchnih vhidnih prostoriv Divitisya takozh3D modelyuvannya 3D skaner Rekonstrukciya poverhni 3D SEM Kinect Fotogrammetriya Stereozobrazhennya Struktura iz ruhuSpisok literaturiMoons Theo Luc Van Gool and Maarten Vergauwen 3D reconstruction from multiple images part 1 Principles Foundations and Trends in Computer Graphics and Vision 4 4 2010 287 404 Zollhofer Michael et al Real time non rigid reconstruction using an RGB D camera 2021 07 08 u Wayback Machine ACM Transactions on Graphics 33 4 2014 156 Liping Zheng Guangyao Li Jing Sha 2007 The survey of medical image 3D reconstruction Fifth International Conference on Photonics and Imaging in Biology and Medicine Proceedings of SPIE T 6534 s 65342K 65342K 6 doi 10 1117 12 741321 Vosselman George and Sander Dijkman 3D building model reconstruction from point clouds and ground plans International archives of photogrammetry remote sensing and spatial information sciences 34 3 W4 2001 37 44 Colesanti Carlo and Janusz Wasowski Investigating landslides with space borne Synthetic Aperture Radar SAR interferometry Engineering geology 88 3 4 2006 173 199 Mahmoudzadeh Ahmadreza Golroo Amir Jahanshahi Mohammad R Firoozi Yeganeh Sayna January 2019 Estimating Pavement Roughness by Fusing Color and Depth Data Obtained from an Inexpensive RGB D Sensor Sensors 19 7 1655 doi 10 3390 s19071655 PMC 6479490 PMID 30959936 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite journal title Shablon Cite journal cite journal a Obslugovuvannya CS1 Storinki iz nepoznachenim DOI z bezkoshtovnim dostupom posilannya Buelthoff Heinrich H and Alan L Yuille Shape from X Psychophysics and computation 2011 01 07 u Wayback Machine Fibers 91 Boston MA International Society for Optics and Photonics 1991 Soltani A A Huang H Wu J Kulkarni T D Tenenbaum J B 2017 Synthesizing 3D Shapes via Modeling Multi View Depth Maps and Silhouettes With Deep Generative Networks Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition s 1511 1519 Horn Berthold KP Shape from shading A method for obtaining the shape of a smooth opaque object from one view 1970 Woodham Robert J 1980 PDF Optical Engineering 19 1 138 141 Bibcode 1980OptEn 19 139W doi 10 1117 12 7972479 Arhiv originalu PDF za 27 bereznya 2014 Witkin Andrew P 1981 Recovering surface shape and orientation from texture PDF Artificial Intelligence 17 1 3 17 45 doi 10 1016 0004 3702 81 90019 9 PosilannyaSintezuvannya 3D figur za dopomogoyu modelyuvannya glibinnih kartok ta siluetiv iz glibokim pereglyadom za dopomogoyu glibokih generativnih merezh Stvoryujte ta rekonstruyujte trivimirni figuri za dopomogoyu modelyuvannya kartok glibin abo bagatoh siluetiv Dzherelahttp www nature com subjects 3d reconstruction news and comment http 6 869 csail mit edu fa13 lectures lecture11shapefromX pdf http research microsoft com apps search default aspx q 3d reconstruction https research google com search html q 3D 20rekonstrukciya