У комп'ютерному зорі істотною матрицею є a матриця що пов'язує відповідні точки на стереозображеннях, припускаючи, що камери задовольняють моделі камери обскури.
Функція
Більш конкретно, якщо і
є однорідними (нормалізованими координатами зображення) на зображеннях 1 та 2 відповідно, тоді
якщо і
відповідають одній і тій же 3D точці на сцені.
Вищезазначене співвідношення, яке визначає істотну матрицю, було опубліковане у 1981 р. Х. Крістофером Лонге-Хіггінсом. У книзі Лонге-Хіггінса наводиться алгоритм оцінки з набору відповідних нормалізованих координат зображення, а також алгоритм визначення відносного положення та орієнтації двох камер за відомою
. Нарешті, показано, як за допомогою істотної матриці можна визначити 3D-координати точок зображення.
Використання
Істотну матрицю можна розглядати як попередник фундаментальної матриці. Обидві матриці можна використовувати для встановлення звʼязку між відповідними точками зображень, але істотну матрицю можна використовувати лише щодо каліброваних камер, оскільки внутрішні параметри камери повинні бути відомі для досягнення нормалізації. Однак, якщо камери відкалібровані, істотна матриця може бути корисною для визначення як відносного положення, так і орієнтації між камерами та положення 3D відповідних точок зображення.
Виведення та визначення
Виведення згідно з роботою Лонге-Хіггінса.
Дві нормалізовані камери проєктують 3D-світ на свої відповідні площини зображення. Позначимо 3D координати точки Р у системах координат кожної камери як і
. Оскільки камери нормалізовані, відповідні координати зображення
і
Тоді однорідні координати можна записати як
і
або більш компактно
і
де і
є однорідними 2D координатами зображення, а
і
тривимірні координати у двох різних системах координат.
Ще однією властивістю нормалізованих камер є те, що їх відповідні системи координат пов'язані за допомогою зсуву та обертання. Це означає, що два набори тривимірних координат пов'язані як
де є
матрицею повороту і
є тривимірним вектором зсуву.
Тоді істотна матриця визначається як:
де є (матричним записом векторного добутку) з
.
Щоб продемонструвати, що це визначення істотної матриці описує звʼязок відповідних координат зображення помножимо зліва та справа на 3D-координати точки P у двох різних системах координат:
- Використано наведене вище співвідношення між
і
та визначення
через
і
.
оскільки матриця обертання
є ортогональною матрицею.
- Властивість матричного запису векторного добутку.
Нарешті, можна припустити, що обидва і
> 0, інакше їх не видно в обох камерах. Це дає
що є звʼязком між відповідними точками зображення, який визначає істотна матриця.
Властивості
Результатом множення істотної матриці на ненульовий скаляр, є істотна матриця, яка визначає точно такий же звʼязок, як і
. Це означає що
можна розглядати як елемент проєктивного простору, тобто дві такі матриці вважаються еквівалентними, якщо одна є ненульовим скалярним множенням іншої. Це є важливою властивістю, якщо
визначається за даними зображень. Однак можна також визначити
як
де , і тоді
задає чітко визначене масштабування. На практиці реалізації алгоритмів можуть використовувати обидві форми.
Звʼязок також може бути виражений як
і
Тут останнє рівняння є обмеженням матриці, яке можна розглядати як 9 обмежень, по одному для кожного елемента матриці. Ці обмеження часто використовуються для визначення суттєвої матриці з п'яти відповідних пар точок.
Істотна матриця має п’ять-шість ступенів вільності, залежно від того, розглядається вона як проєктивний елемент чи ні. Матриця обертання і вектор зсуву
мають три ступені вільності кожен, а загалом їх шість. Якщо суттєву матрицю розглядати як проєктивний елемент потрібно відняти один ступінь свободи, пов'язану зі скалярним множенням, залишаючи в цілому п'ять ступенів свободи.
Оцінка
Враховуючи набір відповідних точок зображення, можна оцінити істотну матрицю, яка задовольняє визначальному епіполярному обмеженню для всіх точок набору. Однак, якщо точки зображення зашумлені, що є типовим випадком у будь-якій практичній ситуації, неможливо знайти істотну матрицю, яка б точно задовольняла всім обмеження.
Залежно від того, як враховується похибка, пов'язана з кожним обмеженням, можна визначити або оцінити істотну матрицю, яка оптимально задовольняє всім обмеженням для даного набору відповідних точок зображення. Найпростіший підхід полягає в постановці загальної задачі найменших квадратів, широко відомої як восьмиточковий алгоритм.
Визначення повороту та зсуву з істотної матриці
Враховуючи, що істотна матриця була визначена для пари стереокамер — наприклад, за допомогою методу оцінки наведеного вище — ця матриця може бути використана для визначення повороту та зсув
між системами координат цих двох камер. У цьому частинному випадку
розглядається як проєктивний елемент, та не визначає масштаб.
Знаходження першого розв'язку
Наведений нижче спосіб знаходження матриці повороту та вектора зсуву
засновано на виконанні сингулярного розкладу
т. Також можливо визначити
та
без використання сингулярного розкладу.
Сингулярний розклад дає
де та
отрогональні
матриці та
є
діагональною матрицею з елементами
Діагональні елементи є сингулярними значеннями
які, згідно з властивостями істотної матриці повинні містити два однакових і одне нульове значення. Позначимо
для неї
і зробимо наступний анзац
Оскільки може не повністю задовольняти всім обмеженням при роботі з реальними даними, може допомогти альтернатива
де
Пошук усіх розв'язків
Знайдений можливий розв'язок для та
для матриці
не є єдиним, він може виявитися навіть недійсним з урахуванням реального розташування камер.
Для існує два протилежних напрямки для
, й два різних обертання (яким відповідає
та
, що сумісні із даною істотною матрицею. Всього це дає чотири розв'язки для зсуву та повороту між системами координат двох камер. Однак на практиці три розв'язки завжди відповідають тривимірній точці, що знаходиться позаду хоча б однієї з камер і тому не може бути видима. Тільки один з чотирьох розв'язків відповідає точкам, що знаходяться попереду обох камер і лише цей розв'язок є вірним.
Знаходження 3D-точок з відповідних точок зображення
Існує багато методів обчислень за відповідними нормованими координатами зображення
і
, якщо істотна матриця відома і були визначені відповідні перетворення обертання та паралельного перенесення камери.
Дивитися також
Інструменти
- Оцінка [ 18 серпня 2020 у Wayback Machine.] істотної матриці в MATLAB (Маноліс Луракіс).
- В бібліотеці OpenCV визначити істотну матрицю можна за допомогою функції cv::findEssentialMat [ 4 березня 2021 у Wayback Machine.].
Перелік джерел
- David Nistér (June 2004). An efficient solution to the five-point relative pose problem. IEEE Transactions on Pattern Analysis and Machine Intelligence. 26 (6): 756—777. doi:10.1109/TPAMI.2004.17. PMID 18579936.
- H. Stewénius and C. Engels and D. Nistér (June 2006). Recent Developments on Direct Relative Orientation. ISPRS Journal of Photogrammetry and Remote Sensing. 60 (4): 284—294. Bibcode:2006JPRS...60..284S. CiteSeerX 10.1.1.61.9329. doi:10.1016/j.isprsjprs.2006.03.005.
- H. Christopher Longuet-Higgins (September 1981). A computer algorithm for reconstructing a scene from two projections. Nature. 293 (5828): 133—135. Bibcode:1981Natur.293..133L. doi:10.1038/293133a0.
- Richard Hartley and Andrew Zisserman (2003). Multiple View Geometry in computer vision. Cambridge University Press. ISBN .
- Yi Ma; ; ; (2004). An Invitation to 3-D Vision. Springer. ISBN .
- Gang Xu and Zhengyou Zhang (1996). Epipolar geometry in Stereo, Motion and Object Recognition. Kluwer Academic Publishers. ISBN .
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U komp yuternomu zori istotnoyu matriceyu ye a 3 3 displaystyle 3 times 3 matricya E displaystyle mathbf E sho pov yazuye vidpovidni tochki na stereozobrazhennyah pripuskayuchi sho kameri zadovolnyayut modeli kameri obskuri FunkciyaBilsh konkretno yaksho y displaystyle mathbf y i y displaystyle mathbf y ye odnoridnimi normalizovanimi koordinatami zobrazhennya na zobrazhennyah 1 ta 2 vidpovidno todi y Ey 0 displaystyle mathbf y top mathbf E mathbf y 0 yaksho y displaystyle mathbf y i y displaystyle mathbf y vidpovidayut odnij i tij zhe 3D tochci na sceni Vishezaznachene spivvidnoshennya yake viznachaye istotnu matricyu bulo opublikovane u 1981 r H Kristoferom Longe Higginsom U knizi Longe Higginsa navoditsya algoritm ocinki E displaystyle mathbf E z naboru vidpovidnih normalizovanih koordinat zobrazhennya a takozh algoritm viznachennya vidnosnogo polozhennya ta oriyentaciyi dvoh kamer za vidomoyu E displaystyle mathbf E Nareshti pokazano yak za dopomogoyu istotnoyi matrici mozhna viznachiti 3D koordinati tochok zobrazhennya VikoristannyaIstotnu matricyu mozhna rozglyadati yak poperednik fundamentalnoyi matrici Obidvi matrici mozhna vikoristovuvati dlya vstanovlennya zvʼyazku mizh vidpovidnimi tochkami zobrazhen ale istotnu matricyu mozhna vikoristovuvati lishe shodo kalibrovanih kamer oskilki vnutrishni parametri kameri povinni buti vidomi dlya dosyagnennya normalizaciyi Odnak yaksho kameri vidkalibrovani istotna matricya mozhe buti korisnoyu dlya viznachennya yak vidnosnogo polozhennya tak i oriyentaciyi mizh kamerami ta polozhennya 3D vidpovidnih tochok zobrazhennya Vivedennya ta viznachennyaVivedennya zgidno z robotoyu Longe Higginsa Dvi normalizovani kameri proyektuyut 3D svit na svoyi vidpovidni ploshini zobrazhennya Poznachimo 3D koordinati tochki R u sistemah koordinat kozhnoyi kameri yak x1 x2 x3 displaystyle x 1 x 2 x 3 i x1 x2 x3 displaystyle x 1 x 2 x 3 Oskilki kameri normalizovani vidpovidni koordinati zobrazhennya y1y2 1x3 x1x2 displaystyle begin pmatrix y 1 y 2 end pmatrix frac 1 x 3 begin pmatrix x 1 x 2 end pmatrix i y1 y2 1x3 x1 x2 displaystyle begin pmatrix y 1 y 2 end pmatrix frac 1 x 3 begin pmatrix x 1 x 2 end pmatrix Todi odnoridni koordinati mozhna zapisati yak y1y21 1x3 x1x2x3 displaystyle begin pmatrix y 1 y 2 1 end pmatrix frac 1 x 3 begin pmatrix x 1 x 2 x 3 end pmatrix i y1 y2 1 1x3 x1 x2 x3 displaystyle begin pmatrix y 1 y 2 1 end pmatrix frac 1 x 3 begin pmatrix x 1 x 2 x 3 end pmatrix abo bilsh kompaktno y 1x3x displaystyle mathbf y frac 1 x 3 tilde mathbf x i y 1x3 x displaystyle mathbf y frac 1 x 3 tilde mathbf x de y displaystyle mathbf y i y displaystyle mathbf y ye odnoridnimi 2D koordinatami zobrazhennya a x displaystyle tilde mathbf x i x displaystyle tilde mathbf x trivimirni koordinati u dvoh riznih sistemah koordinat She odniyeyu vlastivistyu normalizovanih kamer ye te sho yih vidpovidni sistemi koordinat pov yazani za dopomogoyu zsuvu ta obertannya Ce oznachaye sho dva nabori trivimirnih koordinat pov yazani yak x R x t displaystyle tilde mathbf x mathbf R tilde mathbf x mathbf t de R displaystyle mathbf R ye 3 3 displaystyle 3 times 3 matriceyu povorotu i t displaystyle mathbf t ye trivimirnim vektorom zsuvu Todi istotna matricya viznachayetsya yak E R t displaystyle mathbf E mathbf R mathbf t times de t displaystyle mathbf t times ye matrichnim zapisom vektornogo dobutku z t displaystyle mathbf t Shob prodemonstruvati sho ce viznachennya istotnoyi matrici opisuye zvʼyazok vidpovidnih koordinat zobrazhennya pomnozhimo E displaystyle mathbf E zliva ta sprava na 3D koordinati tochki P u dvoh riznih sistemah koordinat x TEx 1 x t TRTR t x 2 x t T t x 3 0 displaystyle tilde mathbf x T mathbf E tilde mathbf x stackrel 1 tilde mathbf x mathbf t T mathbf R T mathbf R mathbf t times tilde mathbf x stackrel 2 tilde mathbf x mathbf t T mathbf t times tilde mathbf x stackrel 3 0 Vikoristano navedene vishe spivvidnoshennya mizh x displaystyle tilde mathbf x i x displaystyle tilde mathbf x ta viznachennya E displaystyle mathbf E cherez R displaystyle mathbf R i t displaystyle mathbf t RTR I displaystyle mathbf R T mathbf R mathbf I oskilki matricya obertannya R displaystyle mathbf R ye ortogonalnoyu matriceyu Vlastivist matrichnogo zapisu vektornogo dobutku Nareshti mozhna pripustiti sho obidva x3 displaystyle x 3 i x3 displaystyle x 3 gt 0 inakshe yih ne vidno v oboh kamerah Ce daye 0 x TEx 1x3 x TE1x3x y TEy displaystyle 0 tilde mathbf x T mathbf E tilde mathbf x frac 1 x 3 tilde mathbf x T mathbf E frac 1 x 3 tilde mathbf x mathbf y T mathbf E mathbf y sho ye zvʼyazkom mizh vidpovidnimi tochkami zobrazhennya yakij viznachaye istotna matricya VlastivostiRezultatom mnozhennya istotnoyi matrici E displaystyle mathbf E na nenulovij skalyar ye istotna matricya yaka viznachaye tochno takij zhe zvʼyazok yak i E displaystyle mathbf E Ce oznachaye sho E displaystyle mathbf E mozhna rozglyadati yak element proyektivnogo prostoru tobto dvi taki matrici vvazhayutsya ekvivalentnimi yaksho odna ye nenulovim skalyarnim mnozhennyam inshoyi Ce ye vazhlivoyu vlastivistyu yaksho E displaystyle mathbf E viznachayetsya za danimi zobrazhen Odnak mozhna takozh viznachiti E displaystyle mathbf E yak E t R displaystyle mathbf E mathbf widetilde t times mathbf R de t Rt displaystyle mathbf widetilde t mathbf R mathbf t i todi E displaystyle mathbf E zadaye chitko viznachene masshtabuvannya Na praktici realizaciyi algoritmiv mozhut vikoristovuvati obidvi formi Zvʼyazok takozh mozhe buti virazhenij yak detE 0 displaystyle det mathbf E 0 i 2EETE tr EET E 0 displaystyle 2 mathbf E mathbf E T mathbf E operatorname tr mathbf E mathbf E T mathbf E 0 Tut ostannye rivnyannya ye obmezhennyam matrici yake mozhna rozglyadati yak 9 obmezhen po odnomu dlya kozhnogo elementa matrici Ci obmezhennya chasto vikoristovuyutsya dlya viznachennya suttyevoyi matrici z p yati vidpovidnih par tochok Istotna matricya maye p yat shist stupeniv vilnosti zalezhno vid togo rozglyadayetsya vona yak proyektivnij element chi ni Matricya obertannya R displaystyle mathbf R i vektor zsuvu t displaystyle mathbf t mayut tri stupeni vilnosti kozhen a zagalom yih shist Yaksho suttyevu matricyu rozglyadati yak proyektivnij element potribno vidnyati odin stupin svobodi pov yazanu zi skalyarnim mnozhennyam zalishayuchi v cilomu p yat stupeniv svobodi OcinkaVrahovuyuchi nabir vidpovidnih tochok zobrazhennya mozhna ociniti istotnu matricyu yaka zadovolnyaye viznachalnomu epipolyarnomu obmezhennyu dlya vsih tochok naboru Odnak yaksho tochki zobrazhennya zashumleni sho ye tipovim vipadkom u bud yakij praktichnij situaciyi nemozhlivo znajti istotnu matricyu yaka b tochno zadovolnyala vsim obmezhennya Zalezhno vid togo yak vrahovuyetsya pohibka pov yazana z kozhnim obmezhennyam mozhna viznachiti abo ociniti istotnu matricyu yaka optimalno zadovolnyaye vsim obmezhennyam dlya danogo naboru vidpovidnih tochok zobrazhennya Najprostishij pidhid polyagaye v postanovci zagalnoyi zadachi najmenshih kvadrativ shiroko vidomoyi yak vosmitochkovij algoritm Viznachennya povorotu ta zsuvu z istotnoyi matriciVrahovuyuchi sho istotna matricya bula viznachena dlya pari stereokamer napriklad za dopomogoyu metodu ocinki navedenogo vishe cya matricya mozhe buti vikoristana dlya viznachennya povorotu R displaystyle mathbf R ta zsuv t displaystyle mathbf t mizh sistemami koordinat cih dvoh kamer U comu chastinnomu vipadku E displaystyle mathbf E rozglyadayetsya yak proyektivnij element ta ne viznachaye masshtab Znahodzhennya pershogo rozv yazku Navedenij nizhche sposib znahodzhennya matrici povorotu R displaystyle mathbf R ta vektora zsuvu t displaystyle mathbf t zasnovano na vikonanni singulyarnogo rozkladu E displaystyle mathbf E t Takozh mozhlivo viznachiti R displaystyle mathbf R ta t displaystyle mathbf t bez vikoristannya singulyarnogo rozkladu Singulyarnij rozklad E displaystyle mathbf E daye E USVT displaystyle mathbf E mathbf U mathbf Sigma mathbf V T de U displaystyle mathbf U ta V displaystyle mathbf V otrogonalni 3 3 displaystyle 3 times 3 matrici ta S displaystyle mathbf Sigma ye 3 3 displaystyle 3 times 3 diagonalnoyu matriceyu z elementami S s000s0000 displaystyle mathbf Sigma begin pmatrix s amp 0 amp 0 0 amp s amp 0 0 amp 0 amp 0 end pmatrix Diagonalni elementi S displaystyle mathbf Sigma ye singulyarnimi znachennyami E displaystyle mathbf E yaki zgidno z vlastivostyami istotnoyi matrici povinni mistiti dva odnakovih i odne nulove znachennya Poznachimo W 0 10100001 displaystyle mathbf W begin pmatrix 0 amp 1 amp 0 1 amp 0 amp 0 0 amp 0 amp 1 end pmatrix dlya neyi W 1 WT 010 100001 displaystyle mathbf W 1 mathbf W T begin pmatrix 0 amp 1 amp 0 1 amp 0 amp 0 0 amp 0 amp 1 end pmatrix i zrobimo nastupnij anzac t UWSUT displaystyle mathbf t times mathbf U mathbf W mathbf Sigma mathbf U T R UW 1VT displaystyle mathbf R mathbf U mathbf W 1 mathbf V T Oskilki S displaystyle mathbf Sigma mozhe ne povnistyu zadovolnyati vsim obmezhennyam pri roboti z realnimi danimi mozhe dopomogti alternativa t UZUT displaystyle mathbf t times mathbf U mathbf Z mathbf U T de Z 010 100000 displaystyle mathbf Z begin pmatrix 0 amp 1 amp 0 1 amp 0 amp 0 0 amp 0 amp 0 end pmatrix R UW 1VT displaystyle mathbf R mathbf U mathbf W 1 mathbf V T Poshuk usih rozv yazkiv Znajdenij mozhlivij rozv yazok dlya R displaystyle mathbf R ta t displaystyle mathbf t dlya matrici E displaystyle mathbf E ne ye yedinim vin mozhe viyavitisya navit nedijsnim z urahuvannyam realnogo roztashuvannya kamer Dlya E displaystyle mathbf E isnuye dva protilezhnih napryamki dlya t displaystyle mathbf t j dva riznih obertannya yakim vidpovidaye W displaystyle mathbf W ta W 1 displaystyle mathbf W 1 sho sumisni iz danoyu istotnoyu matriceyu Vsogo ce daye chotiri rozv yazki dlya zsuvu ta povorotu mizh sistemami koordinat dvoh kamer Odnak na praktici tri rozv yazki zavzhdi vidpovidayut trivimirnij tochci sho znahoditsya pozadu hocha b odniyeyi z kamer i tomu ne mozhe buti vidima Tilki odin z chotiroh rozv yazkiv vidpovidaye tochkam sho znahodyatsya poperedu oboh kamer i lishe cej rozv yazok ye virnim Znahodzhennya 3D tochok z vidpovidnih tochok zobrazhennyaIsnuye bagato metodiv obchislen x1 x2 x3 displaystyle x 1 x 2 x 3 za vidpovidnimi normovanimi koordinatami zobrazhennya y1 y2 displaystyle y 1 y 2 i y1 y2 displaystyle y 1 y 2 yaksho istotna matricya vidoma i buli viznacheni vidpovidni peretvorennya obertannya ta paralelnogo perenesennya kameri Divitisya takozhEpipolyarna geometriya Fundamentalna matricya Kalibruvannya geometrichnoyi kameri Triangulyaciya komp yuternij zir Trifokalnij tenzorInstrumentiOcinka 18 serpnya 2020 u Wayback Machine istotnoyi matrici v MATLAB Manolis Lurakis V biblioteci OpenCV viznachiti istotnu matricyu mozhna za dopomogoyu funkciyi cv findEssentialMat 4 bereznya 2021 u Wayback Machine Perelik dzherelDavid Nister June 2004 An efficient solution to the five point relative pose problem IEEE Transactions on Pattern Analysis and Machine Intelligence 26 6 756 777 doi 10 1109 TPAMI 2004 17 PMID 18579936 H Stewenius and C Engels and D Nister June 2006 Recent Developments on Direct Relative Orientation ISPRS Journal of Photogrammetry and Remote Sensing 60 4 284 294 Bibcode 2006JPRS 60 284S CiteSeerX 10 1 1 61 9329 doi 10 1016 j isprsjprs 2006 03 005 H Christopher Longuet Higgins September 1981 A computer algorithm for reconstructing a scene from two projections Nature 293 5828 133 135 Bibcode 1981Natur 293 133L doi 10 1038 293133a0 Richard Hartley and Andrew Zisserman 2003 Multiple View Geometry in computer vision Cambridge University Press ISBN 978 0 521 54051 3 Yi Ma 2004 An Invitation to 3 D Vision Springer ISBN 978 0 387 00893 6 Gang Xu and Zhengyou Zhang 1996 Epipolar geometry in Stereo Motion and Object Recognition Kluwer Academic Publishers ISBN 978 0 7923 4199 4