У комп'ютернім баченні максима́льно стабі́льні екстре́мумні о́бласті (МСЕО, англ. maximally stable extremal regions, MSER) використовують як метод виявляння плям на зображеннях. Цю методику запропонували [cs] зі співавт. для пошуку [en] між елементами на двох зображеннях з різними точками огляду. Цей метод виділяння вичерпного числа відповідних елементів зображень допомагає у широкобазовому зіставлянні (англ. wide-baseline matching), що дало кращі алгоритми стереозіставляння та [en].
Терміни та визначення
Зображення це відображення
. Екстремумні області на зображеннях визначені добре, якщо:
цілком упорядкована (має скрізь визначене, антисиметричне та транзитивне бінарне відношення
).
- Визначено відношення суміжності
. Позначуватимемо, що дві точки суміжні, через
.
Область це суміжна (або зв'язна) підмножина
. (Для будь-яких
існує така послідовність
, що
.) Зауважте, що за цього визначення область може містити «діри» (наприклад, кільцеподібна область зв'язна, але її внутрішній круг це не частина
).
(Зовнішня) межа області , що означає, що межа
області
це набір пікселів, суміжних щонайменше з одним пікселем
, але не належних до
. Знов-таки, у випадку областей з «дірами» межа області не зобов'язана бути зв'язною підмножиною
(кільце має внутрішню та зовнішню межі, що не перетинаються).
Екстремумна область це така область, що або для будь-якого
(область максимальної яскравості), або для будь-якого
(область мінімальної яскравості). Оскільки
цілком впорядкована, ми можемо переформулювати ці умови як
для області максимальної яскравості, та
для області мінімальної яскравості відповідно. У цьому вигляді ми можемо використовувати поняття порогового значення яскравості, яке розділює область та її межу.
Максимально стабільна екстремумна область Нехай це така екстремумна область, що всі точки на ній мають яскравість, меншу за
. Зауважте, що
для всіх додатних
. Екстремумна область
максимально стабільна тоді й лише тоді, коли
має локальний мінімум в
. (Тут
позначує потужність).
тут параметр методу.
Це рівняння перевіряє області, які лишаються стабільними над певним числом порогів. Якщо область не значно більша за область
, то область
беруть за максимально стійку.
Це поняття можливо простіше пояснити порогуванням. Усі пікселі нижче певного порогу «чорні», а вище або рівні — «білі». Для заданого первинного зображення, якщо породжують таку послідовність зображень результатів порогування , що кожне зображення
відповідає зростальному порогу t, то спочатку буде видно біле зображення, а потім з'являтимуться й ростимуть «чорні» плями, що відповідають локальним мінімумам яскравості. Максимальну стабільну екстремумну область знайдено, коли розмір однієї з цих чорних областей виявляється таким самим (або майже таким самим), як на попередньому зображенні.
Ці «чорні» плями згодом зливатимуться, доки не почорніє все зображення. Множина всіх зв'язних складових у цій послідовності це множина всіх екстремумних областей. У цьому сенсі поняття МСЕО пов'язане з поняттям дерева складових зображення. Дерево складових справді забезпечує простий спосіб втілення МСЕО.
Екстремумні області
Екстремумні області (англ. extremal regions) в цьому контексті мають дві важливі властивості, відповідно до яких ця множина замкнена відносно…
- неперервного перетворення координат зображення. Це означає, що вона афінноінваріантна, й викривлювання чи скошування зображення не мають значення.
- монотонного перетворення яскравостей зображення. Цей підхід, звісно, чутливий до ефектів природного освітлення, таких як зміна денного світла та рухливі тіні.
Переваги МСЕО
Оскільки ці області визначають виключно функцією яскравості в цій області та на її зовнішній межі, це веде до багатьох ключових характеристик цих областей, що роблять їх корисними. У широкому діапазоні порогових значень локальне перетворення у бінарний вигляд стабільне в певних областях, і має перелічені нижче властивості.
- Інваріантність щодо афінного перетворення яскравостей зображення
- Коваріантність щодо (безперервного) перетворення зі збереженням суміжності
в області зображення
- Стабільність: обирають лише області, опора (англ. support) яких майже однакова в якомусь діапазоні порогових значень.
- Багатомасштабне виявляння без жодного згладжування, виявляється як тонка, так і велика структура.
Зауважте, проте, що виявляння МСЕО в піраміді масштабів покращує відтворюваність та кількість відповідностей над змінами масштабу. - Множину всіх екстремумних областей можливо злічити в гіршому випадку
, де
це число пікселів у зображенні.
Порівняння з іншими виявлячами областей
Миколайчик зі співавт. дослідили шість виявлячів областей (гаррісів афінний, гессіанний афінний, МСЕО, області на основі контурів, екстремумів яскравості, та [en]). Нижче наведено підсумок продуктивності МСЕО у порівнянні з іншими п'ятьма.
- Густина областей — у порівнянні з іншими, МСЕО пропонують найбільшу різноманітність, виявляючи близько 2600 областей для сцени з текстурованим розмиттям, та 230 для сцени зі зміною освітлення, і різноманітність в цілому вважають доброю. Також, у цій перевірці МСЕО мали відтворюваність 92 %.
- Розмір області — МСЕО, як правило, виявляли багато малих областей порівняно з великими, які частіше затулені, або не охоплюють пласку частину сцени. Хоча великі області може бути дещо легше зіставляти.
- Зміна точки огляду — МСЕО перевершують п'ять інших виявлячів областей як на первинних зображеннях, так і на зображеннях із повторюваними текстурними мотивами.
- Зміна масштабу — після гессіанного афінного виявляча, МСЕО посідають друге місце за змінами масштабу та обертанням у площині.
- Розмиття — МСЕО виявилися найчутливішими до такого типу змін у зображенні, єдиної області, у якій цей тип виявляння невправний.
Проте зауважте, що в цьому оцінюванні не використовували виявляння з багатьма роздільностями, яке, як було показано, покращує відтворюваність за розмиття. - Зміна освітлення — МСЕО показали найвищу оцінку відтворюваності для цього типу сцен, решта теж мають добру робастність.
МСЕО послідовно показували найвищий результат у багатьох перевірках, доводячи, що вони надійний виявляч областей.
Втілення
Первинний алгоритм Матаса зі співавт. займає від числа пікселів
. Він працює, спершу впорядковуючи пікселі за яскравістю. Це займає
часу, з використанням BINSORT. Після впорядкування пікселі позначують на зображенні, а перелік зростальних та об'єднуваних складових та їхніх площ підтримують за допомогою алгоритму неперетинних множин. Це займає
часу. На практиці ці кроки дуже швидкі. У процесі цього зберігають площу кожної зв'язаної складової як функцію яскравості, створюючи структуру даних. Злиття двох складових розглядають як припинення існування меншої складової й вставляння всіх її пікселів до більшої. Серед екстремумних областей «максимально стабільні» ті, що відповідають порогам, де відносна зміна площі як функція відносної зміни порогу перебуває в локальному мінімумі, тобто МСЕО це частини зображення, де локальне перетворення на бінарне зображення стабільне протягом великого діапазону порогів.
Дерево складових — це набір усіх зв'язаних складових порогових значень зображення, впорядкованих за включенням. Ефективні (квазілінійні незалежно від діапазону ваг) алгоритми для його обчислення існують. Таким чином, ця структура пропонує простий спосіб втілення МСЕО.
Пізніше Ністер та Стівеніус запропонували метод, справді (якщо вага це малі цілі числа) щонайгірше , також набагато швидший на практиці. Він подібний алгоритмові Ф. Салембієра зі співавт.
Робастний широкобазовий алгоритм
Мета цього алгоритму — зіставляти МСЕО, щоби встановлювати точки відповідності між зображеннями. Спершу області МСЕО обчислюють на зображенні яскравості (МСЕО+) й на інвертованому зображенні (МСЕО−). Області вимірювання обирають у кількох масштабах: розмір фактичної області, 1,5×, 2× та 3× масштабована опукла оболонка області. Зіставляння виконують робастним чином, тому краще підвищувати відмітність великих областей, не зазнаючи серйозного впливу затуляння чи непланарності попереднього зображення області. Вимірювання, зроблене з майже пласкої ділянки сцени, зі стабільним інваріантним описом, називають «добрим вимірюванням» (англ. 'good measurement'). Нестабільні вимірювання, або ті, що перебувають на непласких поверхнях або розривах, називають «зіпсованими вимірюваннями» (англ. 'corrupted measurements'). Робастну подібність обчислюють так: Для кожного в області
знаходять
областей
з іншого зображення з відповідним
-м вимірюванням
, найближчим до
, і здійснюють голосування, що пропонує відповідність
кожній з
. Голоси підсумовують за всіма вимірюваннями, й за допомогою аналізу ймовірностей можливо обирати «добрі вимірювання», оскільки «зіпсовані вимірювання», ймовірно, розподілять свої голоси випадковим чином. Застосовуючи RANSAC до центрів тяжіння областей, можливо обчислювати грубу епіполярну геометрію. Обчислюють афінне перетворення між парами потенційно відповідних областей, відповідності визначають його з точністю до обертання, яке потім визначають епіполярними лініями. Потім області фільтрують, й обирають ті, кореляція трансформованих зображень яких перевищує порогове значення. Знову застосовують RANSAC з вужчим порогом, й оцінюють остаточну епіполярну геометрію за восьмиточковим алгоритмом.
Цей алгоритм можливо перевіряти тут (зіставляння, обмежені епіполярною або гомографічною геометрією): WBS Image Matcher
Використання для виявляння тексту
Чень використовував алгоритм МСЕО для виявлення тексту, поєднуючи його з контурами Кенні. Контури Кенні використовують, щоби допомогти впоратися зі слабкістю МСЕО до розмиття. Спершу застосовують МСЕО до відповідного зображення, щоби визначити області символів. Щоби покращити області МСЕО, будь-які пікселі за межами, утвореними контурами Кенні, видаляють. Відділювання останніх, забезпечуване контурами, значно підвищує зручність використання МСЕО для виділяння розмитого тексту.
Альтернативним використанням МСЕО у виявлянні тексту є праця Ши з використанням графової моделі. Цей метод, знов-таки, застосовує МСЕО до зображення для створення попередніх областей. Потім їх використовують для побудови графової моделі на основі відстані положення та відстані кольору між кожними МСЕО, що розглядають як вузол. Далі вузли розділюють на передній план і тло за допомогою функцій витрат. Однією з функцій витрат є співвідношення відстані від вузла до переднього плану та тла. Інша штрафує вузли за значну відмінність від сусіда. Коли їх мінімізовано, граф [en], щоби відокремити текстові вузли від нетекстових.
Нейман, щоб уможливити виявляння тексту в загальній сцені, використовує алгоритм МСЕО в різноманітних проєкціях. На додачу до проєкції яскравості відтінків сірого він використовує канали червоного, синього та зеленого кольорів для виявлення областей тексту, що відрізняються за кольором, але не обов'язково за яскравістю відтінків сірого. Цей метод дозволяє виявляти більше тексту, ніж за допомогою лише функцій МСЕО+ та МСЕО−, за які йшлося вище.
Розширення та пристосування
- Алгоритм МСЕО було пристосовано для кольорових зображень шляхом заміни порогового значення функції яскравості агломераційним кластеруванням на основі градієнтів кольорів.
- Алгоритм МСЕО можливо використовувати для виявляння областей на основі кольору, а не яскравості. Це зроблено Чавесом шляхом створення функції яскравості для червоного, зеленого та синього кольорів у просторі кольорів HSV. Потім алгоритм МСЕО виконують п'ять разів; над трьома псевдояскравостями кольорів, а відтак і над яскравостями відтінків сірого за допомогою стандартних функцій МСЕО+ та МСЕО−.
- Алгоритм МСЕО можливо використовувати для відстежування кольорових об'єктів, виконуючи виявляння МСЕО на відстані Махаланобіса до розподілу кольорів.
- Виявляючи МСЕО в різних роздільностях, можливо покращити робастність до розмиття та зміни масштабу.
Інші застосування
- Описувачі форми для максимально стабільних екстремумних областей (англ.)
- Ефективне відстежування максимально стабільних екстремумних областей (МСЕО). (англ.)
- N-деревні неперетинномножинні ліси для максимально стабільних екстремумних областей (англ.)
- Відео Google та групування на рівні об'єктів для відеокадрів (англ.)
- Реальночасове виділяння максимально стабільних екстремумних областей на ПКВМ (англ.)
- (англ.)
Див. також
Посилання
- VLFeat, відкрита бібліотека комп'ютерного бачення мовою C (з інтерфейсом [en] для MATLAB), включно зі втіленням МСЕО
- OpenCV, відкрита бібліотека комп'ютерного бачення мовами C/, включно зі втіленням лінійночасових МСЕО
- , двійкові файли Крістіана Миколайчика (Win/Linux для обчислення МСЕО/гаррісового афінного… . Двійковий код, використаний в його дослідженні відтворюваності.
- Лінійночасове втілення МСЕО, Чарльз Дюбо, втілення МСЕО як виявляча плям, мовою C++
Примітки
- J. Matas, O. Chum, M. Urban, and T. Pajdla. "Robust wide baseline stereo from maximally stable extremal regions." Proc. of British Machine Vision Conference, pages 384-396, 2002. (англ.)
- L. Najman and M. Couprie: "Building the component tree in quasi-linear time" [ 2011-04-09 у Wayback Machine.]; IEEE Transactions on Image Processing, Volume 15, Numbers 11, 2006, pp 3531-3539 (англ.)
- Donoser, M. and Bischof, H. Efficient Maximally Stable Extremal Region (MSER) Tracking [ 2009-12-20 у Wayback Machine.] [en], 2006. (англ.)
- Forssen, P-E. and Lowe, D.G. "Shape Descriptors for Maximally Stable Extremal Regions" [ 2011-06-10 у Wayback Machine.] ICCV, 2007. (англ.)
- Nister, D. and Stewenius, H., "Linear Time Maximally Stable Extremal Regions", ECCV, 2008. (англ.)
- K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, T. Kadir and L. Van Gool: "A Comparison of Affine Region Detectors" [ 2022-11-13 у Wayback Machine.]; International Journal of Computer Vision, Volume 65, Numbers 1-2 / November, 2005, pp 43-72 (англ.)
- Salembier, Philippe; A. Oliveras; L. Garrido (1998). . IEEE Transactions on Image Processing. 7 (4): 555—570. doi:10.1109/83.663500. hdl:2117/90134. PMID 18276273. Архів оригіналу за 25 квітня 2012. Процитовано 17 листопада 2011. (англ.)
- Chen, Huizhong; Tsai, Sam; Schroth, Georg; Chen, David; Grzeszczuk, Radek; . Robust Text Detection in Natural Images with Edge-enhanced Maximally Stable Extremal Regions. Proc. IEEE International Conference on Image Processing 2011. (англ.)
- Shi, Cunzhao; Wang, Chunheng; Xiao, Baihua; Gao, Song (15 січня 2013). Scene Text Detection Using Graph Model Built Upon Maximally Stable Extremal Regions. Pattern Recognition Letters. 34 (2): 107—116. doi:10.1016/j.patrec.2012.09.019. (англ.)
- Neumann, Lukas; Matas, Jiri (2011). A Method for Text Localization and Recognition in Real-World Images. Accv 2010: 770—783. (англ.)
- Forssen, P-E. Maximally Stable Colour Regions for Recognition and Matching [ 2011-06-10 у Wayback Machine.], CVPR, 2007. (англ.)
- Chavez, Aaron; Gustafson, David (2011). Color-Based Extensions to MSERs. Isvc 2011. Lecture Notes in Computer Science. 6939: 358—366. doi:10.1007/978-3-642-24031-7_36. ISBN . (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U komp yuternim bachenni maksima lno stabi lni ekstre mumni o blasti MSEO angl maximally stable extremal regions MSER vikoristovuyut yak metod viyavlyannya plyam na zobrazhennyah Cyu metodiku zaproponuvali cs zi spivavt dlya poshuku en mizh elementami na dvoh zobrazhennyah z riznimi tochkami oglyadu Cej metod vidilyannya vicherpnogo chisla vidpovidnih elementiv zobrazhen dopomagaye u shirokobazovomu zistavlyanni angl wide baseline matching sho dalo krashi algoritmi stereozistavlyannya ta en Termini ta viznachennyaZobrazhennya I displaystyle I ce vidobrazhennya I D Z2 S displaystyle I D subset mathbb Z 2 to S Ekstremumni oblasti na zobrazhennyah viznacheni dobre yaksho S displaystyle S cilkom uporyadkovana maye skriz viznachene antisimetrichne ta tranzitivne binarne vidnoshennya displaystyle leq Viznacheno vidnoshennya sumizhnosti A D D displaystyle A subset D times D Poznachuvatimemo sho dvi tochki sumizhni cherez pAq displaystyle pAq Oblast Q displaystyle Q ce sumizhna abo zv yazna pidmnozhina D displaystyle D Dlya bud yakih p q Q displaystyle p q in Q isnuye taka poslidovnist p a1 a2 an q displaystyle p a 1 a 2 a n q sho pAa1 a1Aa2 an 1Aan anAq displaystyle pAa 1 a 1 Aa 2 dots a n 1 Aa n a n Aq Zauvazhte sho za cogo viznachennya oblast mozhe mistiti diri napriklad kilcepodibna oblast zv yazna ale yiyi vnutrishnij krug ce ne chastina Q displaystyle Q Zovnishnya mezha oblasti Q q D Q p Q qAp displaystyle partial Q q in D setminus Q exists p in Q qAp sho oznachaye sho mezha Q displaystyle partial Q oblasti Q displaystyle Q ce nabir pikseliv sumizhnih shonajmenshe z odnim pikselem Q displaystyle Q ale ne nalezhnih do Q displaystyle Q Znov taki u vipadku oblastej z dirami mezha oblasti ne zobov yazana buti zv yaznoyu pidmnozhinoyu D displaystyle D kilce maye vnutrishnyu ta zovnishnyu mezhi sho ne peretinayutsya Ekstremumna oblast Q D displaystyle Q subset D ce taka oblast sho abo dlya bud yakogo p Q q Q I p gt I q displaystyle p in Q q in partial Q I p gt I q oblast maksimalnoyi yaskravosti abo dlya bud yakogo p Q q Q I p lt I q displaystyle p in Q q in partial Q I p lt I q oblast minimalnoyi yaskravosti Oskilki S displaystyle S cilkom vporyadkovana mi mozhemo pereformulyuvati ci umovi yak min I p gt max I q displaystyle min I p gt max I q dlya oblasti maksimalnoyi yaskravosti ta max I p lt min I q displaystyle max I p lt min I q dlya oblasti minimalnoyi yaskravosti vidpovidno U comu viglyadi mi mozhemo vikoristovuvati ponyattya porogovogo znachennya yaskravosti yake rozdilyuye oblast ta yiyi mezhu Maksimalno stabilna ekstremumna oblast Nehaj Qi displaystyle Q i ce taka ekstremumna oblast sho vsi tochki na nij mayut yaskravist menshu za i S displaystyle i in S Zauvazhte sho Qi Qi D displaystyle Q i subset Q i Delta dlya vsih dodatnih D S displaystyle Delta in S Ekstremumna oblast Qi displaystyle Q i maksimalno stabilna todi j lishe todi koli Qi D Qi D Qi displaystyle Q i Delta setminus Q i Delta Q i maye lokalnij minimum v i displaystyle i Tut displaystyle cdot poznachuye potuzhnist D S displaystyle Delta in S tut parametr metodu Ce rivnyannya pereviryaye oblasti yaki lishayutsya stabilnimi nad pevnim chislom porogiv Yaksho oblast Qi D displaystyle Q i Delta ne znachno bilsha za oblast Qi D displaystyle Q i Delta to oblast Qi displaystyle Q i berut za maksimalno stijku Ce ponyattya mozhlivo prostishe poyasniti poroguvannyam Usi pikseli nizhche pevnogo porogu chorni a vishe abo rivni bili Dlya zadanogo pervinnogo zobrazhennya yaksho porodzhuyut taku poslidovnist zobrazhen rezultativ poroguvannya It displaystyle I t sho kozhne zobrazhennya t displaystyle t vidpovidaye zrostalnomu porogu t to spochatku bude vidno bile zobrazhennya a potim z yavlyatimutsya j rostimut chorni plyami sho vidpovidayut lokalnim minimumam yaskravosti Maksimalnu stabilnu ekstremumnu oblast znajdeno koli rozmir odniyeyi z cih chornih oblastej viyavlyayetsya takim samim abo majzhe takim samim yak na poperednomu zobrazhenni Ci chorni plyami zgodom zlivatimutsya doki ne pochorniye vse zobrazhennya Mnozhina vsih zv yaznih skladovih u cij poslidovnosti ce mnozhina vsih ekstremumnih oblastej U comu sensi ponyattya MSEO pov yazane z ponyattyam dereva skladovih zobrazhennya Derevo skladovih spravdi zabezpechuye prostij sposib vtilennya MSEO Ekstremumni oblasti Ekstremumni oblasti angl extremal regions v comu konteksti mayut dvi vazhlivi vlastivosti vidpovidno do yakih cya mnozhina zamknena vidnosno neperervnogo peretvorennya koordinat zobrazhennya Ce oznachaye sho vona afinnoinvariantna j vikrivlyuvannya chi skoshuvannya zobrazhennya ne mayut znachennya monotonnogo peretvorennya yaskravostej zobrazhennya Cej pidhid zvisno chutlivij do efektiv prirodnogo osvitlennya takih yak zmina dennogo svitla ta ruhlivi tini Perevagi MSEOOskilki ci oblasti viznachayut viklyuchno funkciyeyu yaskravosti v cij oblasti ta na yiyi zovnishnij mezhi ce vede do bagatoh klyuchovih harakteristik cih oblastej sho roblyat yih korisnimi U shirokomu diapazoni porogovih znachen lokalne peretvorennya u binarnij viglyad stabilne v pevnih oblastyah i maye perelicheni nizhche vlastivosti Invariantnist shodo afinnogo peretvorennya yaskravostej zobrazhennya Kovariantnist shodo bezperervnogo peretvorennya zi zberezhennyam sumizhnosti T D D displaystyle T D to D v oblasti zobrazhennya Stabilnist obirayut lishe oblasti opora angl support yakih majzhe odnakova v yakomus diapazoni porogovih znachen Bagatomasshtabne viyavlyannya bez zhodnogo zgladzhuvannya viyavlyayetsya yak tonka tak i velika struktura Zauvazhte prote sho viyavlyannya MSEO v piramidi masshtabiv pokrashuye vidtvoryuvanist ta kilkist vidpovidnostej nad zminami masshtabu Mnozhinu vsih ekstremumnih oblastej mozhlivo zlichiti v girshomu vipadku O n displaystyle O n de n displaystyle n ce chislo pikseliv u zobrazhenni Porivnyannya z inshimi viyavlyachami oblastej Mikolajchik zi spivavt doslidili shist viyavlyachiv oblastej garrisiv afinnij gessiannij afinnij MSEO oblasti na osnovi konturiv ekstremumiv yaskravosti ta en Nizhche navedeno pidsumok produktivnosti MSEO u porivnyanni z inshimi p yatma Gustina oblastej u porivnyanni z inshimi MSEO proponuyut najbilshu riznomanitnist viyavlyayuchi blizko 2600 oblastej dlya sceni z teksturovanim rozmittyam ta 230 dlya sceni zi zminoyu osvitlennya i riznomanitnist v cilomu vvazhayut dobroyu Takozh u cij perevirci MSEO mali vidtvoryuvanist 92 Rozmir oblasti MSEO yak pravilo viyavlyali bagato malih oblastej porivnyano z velikimi yaki chastishe zatuleni abo ne ohoplyuyut plasku chastinu sceni Hocha veliki oblasti mozhe buti desho legshe zistavlyati Zmina tochki oglyadu MSEO perevershuyut p yat inshih viyavlyachiv oblastej yak na pervinnih zobrazhennyah tak i na zobrazhennyah iz povtoryuvanimi teksturnimi motivami Zmina masshtabu pislya gessiannogo afinnogo viyavlyacha MSEO posidayut druge misce za zminami masshtabu ta obertannyam u ploshini Rozmittya MSEO viyavilisya najchutlivishimi do takogo tipu zmin u zobrazhenni yedinoyi oblasti u yakij cej tip viyavlyannya nevpravnij Prote zauvazhte sho v comu ocinyuvanni ne vikoristovuvali viyavlyannya z bagatma rozdilnostyami yake yak bulo pokazano pokrashuye vidtvoryuvanist za rozmittya Zmina osvitlennya MSEO pokazali najvishu ocinku vidtvoryuvanosti dlya cogo tipu scen reshta tezh mayut dobru robastnist MSEO poslidovno pokazuvali najvishij rezultat u bagatoh perevirkah dovodyachi sho voni nadijnij viyavlyach oblastej VtilennyaPervinnij algoritm Matasa zi spivavt zajmaye O nlog log n displaystyle O n log log n vid chisla pikseliv n displaystyle n Vin pracyuye spershu vporyadkovuyuchi pikseli za yaskravistyu Ce zajmaye O n displaystyle O n chasu z vikoristannyam BINSORT Pislya vporyadkuvannya pikseli poznachuyut na zobrazhenni a perelik zrostalnih ta ob yednuvanih skladovih ta yihnih plosh pidtrimuyut za dopomogoyu algoritmu neperetinnih mnozhin Ce zajmaye O nlog log n displaystyle O n log log n chasu Na praktici ci kroki duzhe shvidki U procesi cogo zberigayut ploshu kozhnoyi zv yazanoyi skladovoyi yak funkciyu yaskravosti stvoryuyuchi strukturu danih Zlittya dvoh skladovih rozglyadayut yak pripinennya isnuvannya menshoyi skladovoyi j vstavlyannya vsih yiyi pikseliv do bilshoyi Sered ekstremumnih oblastej maksimalno stabilni ti sho vidpovidayut porogam de vidnosna zmina ploshi yak funkciya vidnosnoyi zmini porogu perebuvaye v lokalnomu minimumi tobto MSEO ce chastini zobrazhennya de lokalne peretvorennya na binarne zobrazhennya stabilne protyagom velikogo diapazonu porogiv Derevo skladovih ce nabir usih zv yazanih skladovih porogovih znachen zobrazhennya vporyadkovanih za vklyuchennyam Efektivni kvazilinijni nezalezhno vid diapazonu vag algoritmi dlya jogo obchislennya isnuyut Takim chinom cya struktura proponuye prostij sposib vtilennya MSEO Piznishe Nister ta Stivenius zaproponuvali metod spravdi yaksho vaga ce mali cili chisla shonajgirshe O n displaystyle O n takozh nabagato shvidshij na praktici Vin podibnij algoritmovi F Salembiyera zi spivavt Robastnij shirokobazovij algoritmMeta cogo algoritmu zistavlyati MSEO shobi vstanovlyuvati tochki vidpovidnosti mizh zobrazhennyami Spershu oblasti MSEO obchislyuyut na zobrazhenni yaskravosti MSEO j na invertovanomu zobrazhenni MSEO Oblasti vimiryuvannya obirayut u kilkoh masshtabah rozmir faktichnoyi oblasti 1 5 2 ta 3 masshtabovana opukla obolonka oblasti Zistavlyannya vikonuyut robastnim chinom tomu krashe pidvishuvati vidmitnist velikih oblastej ne zaznayuchi serjoznogo vplivu zatulyannya chi neplanarnosti poperednogo zobrazhennya oblasti Vimiryuvannya zroblene z majzhe plaskoyi dilyanki sceni zi stabilnim invariantnim opisom nazivayut dobrim vimiryuvannyam angl good measurement Nestabilni vimiryuvannya abo ti sho perebuvayut na neplaskih poverhnyah abo rozrivah nazivayut zipsovanimi vimiryuvannyami angl corrupted measurements Robastnu podibnist obchislyuyut tak Dlya kozhnogo MAi displaystyle M A i v oblasti A displaystyle A znahodyat k displaystyle k oblastej B1 Bk displaystyle B 1 dots B k z inshogo zobrazhennya z vidpovidnim i displaystyle i m vimiryuvannyam MB1i MBki displaystyle M B 1 i dots M B k i najblizhchim do MAi displaystyle M A i i zdijsnyuyut golosuvannya sho proponuye vidpovidnist A displaystyle A kozhnij z B1 Bk displaystyle B 1 dots B k Golosi pidsumovuyut za vsima vimiryuvannyami j za dopomogoyu analizu jmovirnostej mozhlivo obirati dobri vimiryuvannya oskilki zipsovani vimiryuvannya jmovirno rozpodilyat svoyi golosi vipadkovim chinom Zastosovuyuchi RANSAC do centriv tyazhinnya oblastej mozhlivo obchislyuvati grubu epipolyarnu geometriyu Obchislyuyut afinne peretvorennya mizh parami potencijno vidpovidnih oblastej vidpovidnosti viznachayut jogo z tochnistyu do obertannya yake potim viznachayut epipolyarnimi liniyami Potim oblasti filtruyut j obirayut ti korelyaciya transformovanih zobrazhen yakih perevishuye porogove znachennya Znovu zastosovuyut RANSAC z vuzhchim porogom j ocinyuyut ostatochnu epipolyarnu geometriyu za vosmitochkovim algoritmom Cej algoritm mozhlivo pereviryati tut zistavlyannya obmezheni epipolyarnoyu abo gomografichnoyu geometriyeyu WBS Image MatcherVikoristannya dlya viyavlyannya tekstuChen vikoristovuvav algoritm MSEO dlya viyavlennya tekstu poyednuyuchi jogo z konturami Kenni Konturi Kenni vikoristovuyut shobi dopomogti vporatisya zi slabkistyu MSEO do rozmittya Spershu zastosovuyut MSEO do vidpovidnogo zobrazhennya shobi viznachiti oblasti simvoliv Shobi pokrashiti oblasti MSEO bud yaki pikseli za mezhami utvorenimi konturami Kenni vidalyayut Viddilyuvannya ostannih zabezpechuvane konturami znachno pidvishuye zruchnist vikoristannya MSEO dlya vidilyannya rozmitogo tekstu Alternativnim vikoristannyam MSEO u viyavlyanni tekstu ye pracya Shi z vikoristannyam grafovoyi modeli Cej metod znov taki zastosovuye MSEO do zobrazhennya dlya stvorennya poperednih oblastej Potim yih vikoristovuyut dlya pobudovi grafovoyi modeli na osnovi vidstani polozhennya ta vidstani koloru mizh kozhnimi MSEO sho rozglyadayut yak vuzol Dali vuzli rozdilyuyut na perednij plan i tlo za dopomogoyu funkcij vitrat Odniyeyu z funkcij vitrat ye spivvidnoshennya vidstani vid vuzla do perednogo planu ta tla Insha shtrafuye vuzli za znachnu vidminnist vid susida Koli yih minimizovano graf en shobi vidokremiti tekstovi vuzli vid netekstovih Nejman shob umozhliviti viyavlyannya tekstu v zagalnij sceni vikoristovuye algoritm MSEO v riznomanitnih proyekciyah Na dodachu do proyekciyi yaskravosti vidtinkiv sirogo vin vikoristovuye kanali chervonogo sinogo ta zelenogo koloriv dlya viyavlennya oblastej tekstu sho vidriznyayutsya za kolorom ale ne obov yazkovo za yaskravistyu vidtinkiv sirogo Cej metod dozvolyaye viyavlyati bilshe tekstu nizh za dopomogoyu lishe funkcij MSEO ta MSEO za yaki jshlosya vishe Rozshirennya ta pristosuvannyaAlgoritm MSEO bulo pristosovano dlya kolorovih zobrazhen shlyahom zamini porogovogo znachennya funkciyi yaskravosti aglomeracijnim klasteruvannyam na osnovi gradiyentiv koloriv Algoritm MSEO mozhlivo vikoristovuvati dlya viyavlyannya oblastej na osnovi koloru a ne yaskravosti Ce zrobleno Chavesom shlyahom stvorennya funkciyi yaskravosti dlya chervonogo zelenogo ta sinogo koloriv u prostori koloriv HSV Potim algoritm MSEO vikonuyut p yat raziv nad troma psevdoyaskravostyami koloriv a vidtak i nad yaskravostyami vidtinkiv sirogo za dopomogoyu standartnih funkcij MSEO ta MSEO Algoritm MSEO mozhlivo vikoristovuvati dlya vidstezhuvannya kolorovih ob yektiv vikonuyuchi viyavlyannya MSEO na vidstani Mahalanobisa do rozpodilu koloriv Viyavlyayuchi MSEO v riznih rozdilnostyah mozhlivo pokrashiti robastnist do rozmittya ta zmini masshtabu Inshi zastosuvannyaOpisuvachi formi dlya maksimalno stabilnih ekstremumnih oblastej angl Efektivne vidstezhuvannya maksimalno stabilnih ekstremumnih oblastej MSEO angl N derevni neperetinnomnozhinni lisi dlya maksimalno stabilnih ekstremumnih oblastej angl Video Google ta grupuvannya na rivni ob yektiv dlya videokadriv angl Realnochasove vidilyannya maksimalno stabilnih ekstremumnih oblastej na PKVM angl angl Div takozhViyavlyannya plyam Viyavlyannya oznak komp yuterne bachennya PosilannyaVLFeat vidkrita biblioteka komp yuternogo bachennya movoyu C z interfejsom en dlya MATLAB vklyuchno zi vtilennyam MSEO OpenCV vidkrita biblioteka komp yuternogo bachennya movami C C vklyuchno zi vtilennyam linijnochasovih MSEO dvijkovi fajli Kristiana Mikolajchika Win Linux dlya obchislennya MSEO garrisovogo afinnogo Dvijkovij kod vikoristanij v jogo doslidzhenni vidtvoryuvanosti Linijnochasove vtilennya MSEO Charlz Dyubo vtilennya MSEO yak viyavlyacha plyam movoyu C PrimitkiJ Matas O Chum M Urban and T Pajdla Robust wide baseline stereo from maximally stable extremal regions Proc of British Machine Vision Conference pages 384 396 2002 angl L Najman and M Couprie Building the component tree in quasi linear time 2011 04 09 u Wayback Machine IEEE Transactions on Image Processing Volume 15 Numbers 11 2006 pp 3531 3539 angl Donoser M and Bischof H Efficient Maximally Stable Extremal Region MSER Tracking 2009 12 20 u Wayback Machine en 2006 angl Forssen P E and Lowe D G Shape Descriptors for Maximally Stable Extremal Regions 2011 06 10 u Wayback Machine ICCV 2007 angl Nister D and Stewenius H Linear Time Maximally Stable Extremal Regions ECCV 2008 angl K Mikolajczyk T Tuytelaars C Schmid A Zisserman T Kadir and L Van Gool A Comparison of Affine Region Detectors 2022 11 13 u Wayback Machine International Journal of Computer Vision Volume 65 Numbers 1 2 November 2005 pp 43 72 angl Salembier Philippe A Oliveras L Garrido 1998 IEEE Transactions on Image Processing 7 4 555 570 doi 10 1109 83 663500 hdl 2117 90134 PMID 18276273 Arhiv originalu za 25 kvitnya 2012 Procitovano 17 listopada 2011 angl Chen Huizhong Tsai Sam Schroth Georg Chen David Grzeszczuk Radek Robust Text Detection in Natural Images with Edge enhanced Maximally Stable Extremal Regions Proc IEEE International Conference on Image Processing 2011 angl Shi Cunzhao Wang Chunheng Xiao Baihua Gao Song 15 sichnya 2013 Scene Text Detection Using Graph Model Built Upon Maximally Stable Extremal Regions Pattern Recognition Letters 34 2 107 116 doi 10 1016 j patrec 2012 09 019 angl Neumann Lukas Matas Jiri 2011 A Method for Text Localization and Recognition in Real World Images Accv 2010 770 783 angl Forssen P E Maximally Stable Colour Regions for Recognition and Matching 2011 06 10 u Wayback Machine CVPR 2007 angl Chavez Aaron Gustafson David 2011 Color Based Extensions to MSERs Isvc 2011 Lecture Notes in Computer Science 6939 358 366 doi 10 1007 978 3 642 24031 7 36 ISBN 978 3 642 24030 0 angl