У галузях комп'ютерного бачення та [en] га́ррісів афі́нний виявля́ч областе́й (англ. Harris affine region detector) належить до категорії виявляння ознак. Виявляння ознак — це етап попередньої обробки деяких алгоритмів, які покладаються на встановлювання характерних, або особливих точок, щоби встановлювати відповідності між зображеннями, розпізнавати текстури, категоризувати об'єкти, або створювати панорами.
Огляд
Гаррісів афінний виявляч може встановлювати подібні області зображень, пов'язані через афінні перетворення, і з різним освітленням. Ці афінноінваріантні (англ. affine-invariant) виявлячі повинні бути здатними встановлювати схожі області в зображеннях, зроблених з різних точок огляду, пов'язаних простим геометричним перетворенням: масштабуванням, повертанням і зміщенням. Ці виявляні області називали як інваріантними, так і коваріантними. З одного боку, ці області виявляються інваріантно щодо перетворення зображення, але вони коваріантно змінюються з перетворенням зображення. Не варто надто зациклюватися на цих двох угодах про іменування; важливо розуміти, що дизайн цих особливих точок робитиме їх сумісними між зображеннями, зробленими з кількох точок огляду. До інших афінноінваріантних виявлячів належать гессіанний афінний виявляч областей, максимально стабільні екстремумні області, [en], області на основі контурів (англ. edge-based regions, EBR), та області на основі екстремумів яскравості (англ. intensity-extrema-based regions, IBR).
Миколайчик та Шмід (2002) вперше описали гаррісів афінний виявляч, яким його використовують сьогодні, у статті «Афінноінваріантний виявляч особливих точок». До раніших праць у цьому напрямі належать застосування Ліндебергом і Гардінгом афінного пристосовування форми для обчислення афінноінваріантних описувачів зображень і зниження таким чином впливу перспективних деформацій зображень, використання Баумбергом точок афіннопристосованих ознак для стереозіставляння з широкою базою (англ. wide baseline matching), і перше використання Ліндебергом масштабоінваріантних точок ознак; для огляду теоретичної підоснови. Гаррісів афінний виявляч покладається на поєднання кутових точок, виявляних за допомогою гаррісового виявляння кутів, багатомасштабного аналізу через гауссів простір масштабів, та афінного унормовування за допомогою ітеративного алгоритму афінного пристосовування форми. Рекурсивний та ітеративний алгоритм використовує ітеративний підхід до виявлення цих областей:
- Визначити початкові точки областей за допомогою масштабоінваріантного виявляча Гарріса — Лапласа.
- Для кожної початкової точки унормувати область, щоби вона була афінноінваріантною, за допомогою афінного пристосовування форми.
- Ітеративно оцінити цю афінну область: обрати належний масштаб інтегрування, масштаб диференціювання, та визначити просторові положення особливих точок.
- Уточнити цю афінну область, скориставшись цими масштабами та просторовими положеннями.
- Повторити крок 3, якщо критерію зупинки не досягнуто.
Опис алгоритму
Виявляч Гарріса — Лапласа (початкових точок областей)
Гаррісів афінний виявляч значною мірою покладається як на гаррісову міру, так і на гауссове масштабопросторове подання. Тому далі буде короткий огляд обох. Вичерпніші виведення дивіться у виявлянні кутів та гауссовому просторі масштабів, або їхніх відповідних працях.
Гаррісова міра кута
Алгоритм Гарріса виявляння кутів покладається на центровий принцип: на куті яскравість зображення значно змінюватиметься в декількох напрямках. Це можливо сформулювати іншим чином, через дослідження змін яскравості внаслідок зміщення локального вікна. Навколо кутової точки при зміщенні цього вікна в довільному напрямку яскравість зображення змінюється сильно. Слідуючи цій інтуїції, та завдяки вправному розкладові, виявляч Гарріса використовує як основу для своїх рішень про кути матрицю другого моменту. (Повніше виведення див. у виявлянні кутів). Цю матрицю також називають матрицею автокореляції, вона має значення, тісно пов'язані з похідними яскравості зображення.
де та
— похідні (яскравості пікселів) у напрямах
та
відповідно в точці (
,
);
та
— параметри положення вагової функції w. Недіагональні елементи є добутком
та
, тоді як діагональні елементи є квадратами відповідних похідних. Вагова функція
може бути рівномірною, але частіше ізотропна, кругова гауссова,
яка діє як усереднення в локальній області, водночас заважуючи сильніше значення поблизу центру.
Як виявилося, ця матриця описує форму автокореляційної міри через зміщення розташування вікна. Таким чином, якщо
та
— власні значення
, то ці значення забезпечують кількісний опис того, як автокореляційна міра змінюється в просторі: її головні кривини. Як зазначають Гарріс та Стівенс (1988), матриця
з центром у кутових точках матиме два великі додатні власні значення. Замість виділяння цих власних значень такими методами як сингулярний розклад матриці, використовують гаррісову міру на основі сліду та визначника:
де — стала. Кутові точки мають великі додатні власні значення, й відтак матимуть велику гаррісову міру. Таким чином, кутові точки визначають як локальні максимуми гаррісової міри, що перевищують заданий поріг.
де — множина всіх кутових точок,
— гаррісова міра, обчислена в
,
— 8-сусідова множина з центром
, а
— заданий поріг.
Гауссів простір масштабів
Гауссове масштабопросторове подання зображення — це набір зображень, що є результатом згортання гауссового ядра різних розмірів із первинним зображенням. У загальному вигляді це подання можливо сформулювати так:
де — ізотропне, кругове гауссове ядро, як визначено вище. Згортка з гауссовим ядром згладжує зображення за допомогою вікна розміром з це ядро. Більший масштаб,
, відповідає гладшому отримуваному зображенню. Миколайчик та Шмід (2001) зазначають, що похідні та інші вимірювання мусить бути нормовано над масштабами. Похідну порядку
,
, необхідно нормувати коефіцієнтом
у такий спосіб:
Ці похідні, або будь-яку довільну міру, можливо пристосовувати до масштабопросторового подання шляхом рекурсивного обчислення цієї міри за допомогою набору масштабів, де -тий масштаб
. Повніший опис див. у просторі масштабів.
Поєднання гаррісового виявляча над гауссовим простором масштабів
Виявляч Гарріса — Лапласа поєднує традиційний двовимірний гаррісів виявляч кутів з ідеєю гауссового масштабопросторового подання для створення масштабоінваріантного виявляча. Гаррісові кутові точки є гарними відправними точками, оскільки було показано, що вони, на додачу до визначання особливих точок зображення, мають добру інваріантність щодо обертання та освітлення. Проте ці точки не інваріантні щодо масштабу, і тому матрицю другого моменту необхідно видозмінити, щоби відтворити властивість масштабоінваріантності. Позначмо через масштабопристосовану матрицю другого моменту, яку використовують у виявлячі Гарріса — Лапласа.
де — гауссове ядро масштабу
, а
. Подібно до гауссового простору масштабів,
— гауссового згладжене зображення. Оператор
позначує згортку.
та
— похідні у відповідних напрямках, застосовані до згладженого зображення, та обчислені з використанням гауссового ядра з масштабом
. З точки зору нашої системи гауссового простору масштабів, параметр
визначає поточний масштаб, на якому виявляються гаррісові кутові точки.
Створений на основі цієї масштабопристосованої матриці другого моменту, виявляч Гарріса — Лапласа становить подвійний процес: застосування гаррісового виявляча кутів у кількох масштабах, та автоматичне обирання характерного масштабу (англ. characteristic scale).
Багатомасштабні гаррісові кутові точки
Цей алгоритм здійснює пошук над фіксованим числом наперед визначених масштабів. Набір масштабів задають наступним чином:
Миколайчик та Шмід (2004) використовують . Для кожного масштабу інтегрування
, обраного з цього набору, відповідний масштаб диференціювання обирають як сталу пропорцію масштабу інтегрування:
. Миколайчик та Шмід (2004) використовували
. Використовуючи ці масштаби, особливі точки виявляють за допомогою міри Гарріса на матриці
. Кутовість (англ. cornerness), як і типову міру Гарріса, визначають як
Подібно до традиційного гаррісового виявляча, кутові точки — це ті локальні (у 8-точкових околах) максимуми кутовості, що перевищують заданий поріг.
Встановлювання характерного масштабу
Ітеративний алгоритм на основі Ліндеберга (1998) як просторово локалізує кутові точки, так й обирає характе́рний масшта́б (англ. characteristic scale). Цей ітеративний пошук має три ключові кроки, виконувані для кожної з точок , які спершу було виявлено на масштабі
багатомасштабним гаррісовим виявлячем (
вказує на
-ту ітерацію):
- Обрати масштаб
, який максимізує лапласіан гауссіанів (ЛГ, англ. LoG) над попередньо визначеним діапазоном сусідніх масштабів. Сусідні масштаби, як правило, вибирають із діапазону, що перебуває в околі двох масштабів простору (англ. two scale-space). Тобто, якщо вихідні точки було виявлено з використанням коефіцієнта масштабування
між послідовними масштабами, то окіл двох масштабів простору — це проміжок
. Таким чином, розглядають гауссові масштаби
. Вимірювання ЛГ визначають як
- де
та
— другі похідні у своїх відповідних напрямках. Коефіцієнт
(як обговорювалося вище в гауссовому просторі масштабів) використовують для унормовування ЛГ над масштабами, роблячи ці вимірювання порівнянними, відтак роблячи максимум доречним. Миколайчик та Шмід (2001) показують, що міра ЛГ у порівнянні з іншими мірами обирання масштабу досягає найвищого відсотка правильно виявлених кутових точок. Масштаб, який максимізує міру ЛГ в околі двох масштабів простору, вважають характе́рним масшта́бом (англ. characteristic scale),
, і використовують у наступних ітераціях. Якщо екстремуму або максимуму ЛГ не знайдено, цю точку викидають із подальших пошуків.
- Використовуючи характерний масштаб, локалізувати точки в просторі. Інакше кажучи,
обирають таким чином, щоби вона максимізувала гаррісову кутову міру (кутовість, англ. cornerness, як визначено вище) у локальному околі 8 × 8.
- Критерій зупинки:
і
.
Якщо критерію зупинки не досягнуто, алгоритм повторюється з кроку 1, використовуючи ці нові точки та масштаб . Коли критерію зупинки досягнуто, знайдені точки являють собою ті, які максимізують ЛГ над масштабами (обирання масштабу) й максимізують гаррісову кутову міру в локальному околі (просторове обирання).
Афінноінваріантні точки
Математична теорія
Точки виявляча Гарріса — Лапласа масштабоінваріантні, й добре працюють для ізотропних областей, які розглядають під однаковим кутом огляду. Щоби вона була інваріантною до довільних афінних перетворень (та точок огляду), цю математичну структуру необхідно переглянути. Матрицю другого моменту для анізотропних областей визначають загальніше:
де та
— коваріаційні матриці, що визначають диференціювальні та інтегрувальні масштаби гауссового ядра. Хоча вона може виглядати значно відмінною від матриці другого моменту у виявлячі Гарріса — Лапласа; насправді вона ідентична. Попередня матриця
була двовимірно ізотропною версією, в якій коваріаційні матриці
та
були одиничними матрицями 2 × 2, помноженими на коефіцієнти
та
відповідно. У новому формулюванні гауссові ядра можливо розглядати як багатовимірні гауссові розподіли, на відміну від однорідного гауссового ядра. Однорідне гауссове ядро можливо розглядати як ізотропну, кругову область. Подібно до цього, загальніше гауссове ядро визначає еліпсоїд. Фактично, власні вектори та власні значення коваріаційної матриці визначають кут повороту та розмір еліпсоїда. Таким чином, ми можемо легко побачити, що це подання дозволяє нам повністю визначити довільну еліптичну афінну область, над якою ми хочемо здійснювати інтегрування чи диференціювання.
Мета афінноінваріантного виявляча — встановлювати області зображень, пов'язані через афінні перетворення. Таким чином, ми розглядаємо точку та перетворену точку
, де A — афінне перетворення. У випадку зображень, як
, так і
живуть у просторі
. Матриці другого моменту пов'язано наступним чином:
де та
— коваріаційні матриці для системи відліку
. Якщо ми продовжимо це формулювання й забезпечимо виконання
де та
— скалярні коефіцієнти, буде можливо показати, що коваріаційні матриці для відповідної точки пов'язані подібним чином:
Завдяки вимозі до коваріаційних матриць задовольняти ці умови виникає кілька приємних властивостей. Одна з них полягає в тому, що квадратний корінь матриці другого моменту, , перетворюватиме первинну анізотропну область в ізотропні області, пов'язані просто через чисту матрицю повертання
. Ці нові ізотропні області можливо розглядати як унормовану систему відліку. Наступні рівняння формулюють співвідношення між унормованими точками
та
:
Матрицю обертання можливо отримувати за допомогою градієнтних методів, таких як в описувачі SIFT. Як обговорювалося стосовно виявляча Гарріса, власні значення та власні вектори матриці другого моменту, , характеризують кривину та форму яскравостей пікселів. Тобто, власний вектор, пов'язаний із найбільшим власним значенням, вказує напрямок найбільшої зміни, а власний вектор, пов'язаний із найменшим власним значенням, визначає напрямок найменшої зміни. У двовимірному випадку власні вектори та власні значення визначають еліпс. Для ізотропної області область повинна мати круглу форму, а не еліптичну. Це той випадок, коли власні значення мають однакову величину. Таким чином, міра ізотропності навколо локальної області визначають наступним чином:
де позначують власні значення. Ця міра має діапазон
. Значення
відповідає ідеальній ізотропії.
Ітеративний алгоритм
Використовуючи цю математичну структуру, алгоритм гаррісового афінного виявляча ітеративно виявляє матрицю другого моменту, яка перетворює анізотропну область на унормовану, в якій міра ізотропності достатньо близька до одиниці. Алгоритм використовує цю матрицю пристосовування форми (англ. shape adaptation matrix), , щоби перетворювати зображення до унормованої системи відліку. В цьому внормованому просторі параметри особливих точок (просторове розташування, масштаб інтегрування та масштаб диференціювання) уточнюють за допомогою методів, подібних до виявляча Гарріса — Лапласа. Матриця другого моменту обчислюється в цій унормованій системі відліку, й на останній ітерації повинна мати міру ізотропності, близьку до одиниці. На кожній
-тій ітерації кожна особлива область визначається декількома параметрами, які має встановлювати алгоритм: матрицею
, положенням
, масштабом інтегрування
, та масштабом диференціювання
. Оскільки цей виявляч обчислює матрицю другого моменту в перетвореній області, це перетворене положення зручно позначувати через
, де
.
- Виявляч встановлює простір пошуку в початковий стан точками, виявленими виявлячем Гарріса — Лапласа.
одинична, а
,
та
— з виявляча Гарріса — Лапласа.
- Застосувати матрицю пристосовування форми з попередньої ітерації,
, щоби породити унормовану систему відліку,
. Для першої ітерації ви застосовуєте
.
- Обрати масштаб інтегрування,
, використовуючи метод, подібний до виявляча Гарріса — Лапласа. Цей масштаб обирають як такий, що максимізує лапласіан гауссіана (ЛГ). Простір пошуку масштабів лежить у межах двох масштабів простору масштабу попередньої ітерації.
нормований значно відрізняється від невнормованого простору. Тому важливо шукати масштаб інтегрування, а не використовувати масштаб у невнормованому просторі.
- Обрати масштаб диференціювання,
. Щоби звузити простір пошуку та ступені вільності, покладають, що масштаб диференціювання пов'язано з масштабом інтегрування через сталий коефіцієнт:
. Зі зрозумілих міркувань цей сталий коефіцієнт менший за одиницю. Миколайчик та Шмід (2001) зауважують, що занадто малий коефіцієнт робитиме згладжування (інтегрування) занадто значним у порівнянні з диференціюванням, а занадто великий коефіцієнт не дозволятиме інтегруванню усереднювати коваріаційну матрицю. Зазвичай обирають
. Масштаб, обраний з цієї множини, максимізуватиме ізотропну міру
.
— матриця другого моменту, оцінена в унормованій системі відліку. Цей процес максимізування призводить до збігання власних значень до одного й того ж значення.
- Просторове локалізування: Обрати таку точку
, що максимізує гаррісову міру кутовості (
), в межах 8-точкового околу навколо попередньої точки
.
— матриця другого моменту, визначена як вище. Вікно
— це множина 8-найближчих сусідів точки з попередньої ітерації в нормованій системі відліку. Оскільки нашу просторову локалізацію було здійснено в
-нормованій системі відліку, новообрану точку необхідно перетворити назад до первинної системи відліку. Цього досягають шляхом перетворення вектору зміщення, та додавання його до попередньої точки:
- Як зазначено вище, квадратний корінь матриці другого моменту визначає матрицю перетворення, яка породжує нормовану систему відліку. Відтак нам треба зберегти цю матрицю:
. Матриця перетворення
уточнюється:
. Щоби забезпечити коректне дискретування зображення, і що ми розширюємо зображення в напрямку найменшої зміни (найменшого власного значення), ми фіксуємо максимальне власне значення:
. Використовуючи цей метод уточнення, можливо легко побачити, що остаточна матриця
набуває наступного вигляду:
- Якщо критерію зупинки не досягнуто, перейти до наступної ітерації на кроці 2. Оскільки цей алгоритм ітеративно шукає розв'язок для матриці
нормування, яка перетворює анізотропну область на ізотропну, має сенс зупинитися, коли міра ізотропності,
, стала достатньо близькою до свого максимального значення, 1. Достатньо близька означає наступну умову зупинки:
.
Обчислення та втілення
Обчислювальну складність гаррісового афінного виявляча розбито на дві частини: початкове виявляння точок, та афінне унормовування областей. Алгоритм початкового виявляння точок, Гарріса — Лапласа, має складність , де
— число пікселів у зображенні. Алгоритм афінного унормовування області автоматично виявляє масштаб та оцінює матрицю пристосовування форми,
. Цей процес має складність
, де
— кількість початкових точок,
— розмір простору пошуку для автоматичного обирання масштабу, а
— число ітерацій, необхідних для обчислення матриці
.
Існують деякі методи зменшення складності цього алгоритму ціною точності. Одним із методів є усунення пошуку на кроці масштабу диференціювання. Замість обирати коефіцієнт з набору коефіцієнтів, прискорений алгоритм обирає масштаб, який буде сталим для всіх ітерацій та точок:
. Хоч це скорочення простору пошуку й може зменшувати складність, ця зміна може серйозно впливати на збіжність матриці
.
Аналіз
Збіжність
Можливо уявити, що цей алгоритм може встановлювати ідентичні особливі точки в різних масштабах. Оскільки гаррісів афінний алгоритм розглядає кожну початкову точку, задану виявлячем Гарріса — Лапласа, незалежно, розрізнення ідентичних точок немає. На практиці було показано, що всі ці точки зрештою збігатимуться до однієї й тієї ж особливої точки. Після завершення встановлювання всіх особливих точок алгоритм враховує дублікати шляхом порівнювання просторових координат (), масштабу інтегрування
, міри ізотропності
, та скосу. Якщо ці параметри особливих точок схожі в межах заданого порогу, їх позначають як дублікати. Алгоритм відкидає всі ці дубльовані точки, за винятком особливої точки, найближчої до усереднення цих дублікатів. Зазвичай 30 % гаррісових афінних точок є достатньо відмінними та несхожими, щоб не бути відкинутими.
Миколайчик та Шмід (2004) показали, що початкові точки часто (40 %) не збігаються. Цей алгоритм виявляє цю розбіжність, зупиняючи ітеративний алгоритм, якщо обернення міри ізотропності перевищує заданий поріг: . Миколайчик та Шмід (2004) використовують
. Для тих, які дійсно збігалися, типове число необхідних ітерацій становило 10.
Кількісна міра
Кількісний аналіз афінних виявлячів областей враховує як точність розташування точок, так і перекриття областей на двох зображеннях. Миколайчик та Шмід (2004) розширюють мі́ру повто́рюваності (англ. repeatability measure) Шмід зі співавт. (1998) як відношення точкових відповідностей до мінімуму виявлених точок двох зображень.
де — число відповідних точок у зображеннях
та
.
та
— число виявлених точок у відповідних зображеннях. Оскільки кожне зображення подає тривимірний простір, може ставатися так, що одне зображення містить об'єкти, відсутні в другому зображенні, й відтак особливі точки яких не мають шансів мати відповідні. Щоби зробити міру повторюваності чинною, ці точки усувають, і мусять враховувати лише точки, що лежать на обох зображеннях;
та
враховують ці точки так, що
. Для пари з двох зображень, пов'язаних через матрицю [en]
, кажуть, що дві точки
та
відповідні, якщо
- Похибка в положеннях пікселів менша за 1,5 пікселі:
- По́хибка перекриття́ (англ. overlap error) цих двох афінних точок (
) мусить бути меншою за вказаний поріг (зазвичай 40 %). Для афінних областей ця похибка перекриття така:
де
та
— встановлені еліптичні області, чиї точки задовольняють
. По суті, ця міра бере відношення двох площ: площі перекриття (перетину), та загальної площі (об'єднання). Ідеальне перекриття матиме одиничне відношення, і матиме
. Різні масштаби впливають на область перекриття, й відтак мусять враховуватися унормовуванням площ кожної з особливих областей. Області з похибкою перекриття до 50 % — придатні виявлячі для зіставляння їх із добрим описувачем.
Друга міра, оці́нка збі́гу (англ. matching score), оцінює здатність виявляча встановлювати відповідні точки між зображеннями практичніше. Для встановлювання відповідних точок Миколайчик та Шмід (2005) використовують описувач SIFT. На додачу до того, щоби бути найближчими точками в просторі SIFT, дві відповідні точки також мусять мати достатньо малу похибку перекриття (як визначено в мірі повторюваності). Оцінка збігу — це відношення числа зіставлених точок та мінімуму всіх виявлених точок у кожному зображенні:
,
— число зіставлених точок, а
та
— числа виявлених областей у відповідних зображеннях.
Стійкість щодо афінних та інших перетворень
Миколайчик зі співавт. (2005) провели ретельний аналіз кількох афінних виявлячів областей рівня останніх досягнень: гаррісового афінного, гессіанного афінного виявлячів, МСЕО, областей на основі екстремумів яскравості (англ. IBR) та на основі контурів (англ. EBR), та [en] виявляча. У ході свого оцінювання Миколайчик зі співавт. аналізували як структуровані, так і текстуровані зображення. Двійкові файли цих виявлячів для Лінукс та їхні перевірні зображення доступні вільно на їхній вебсторінці. Далі йде короткий підсумок результатів Миколайчика зі співавт. (2005); кількісніший аналіз див у Порівнянні афінних виявлячів областей (англ.).
- Зміна кута точки огляду: гаррісів афінний виявляч має достатню (середню) стійкість щодо цих типів змін. Він підтримує оцінку повторюваності понад 50 % до кута огляду понад 40 градусів. Цей виявляч схильний виявляти велике число повторюваних і відповідних областей навіть за великої зміни точки огляду.
- Зміна масштабу: гаррісів афінний виявляч за змін масштабу лишається дуже стабільним. Незважаючи на те, що число точок значно зменшується за великих змін масштабу (понад 2,8), оцінки повторюваності (50—60 %) та збігу (25—30 %) лишаються дуже сталими, особливо для текстурованих зображень. Це узгоджується з високою продуктивністю ітеративного алгоритму автоматичного обирання масштабу.
- Розмиті зображення: гаррісів афінний виявляч за розмивання зображення лишається дуже стабільним. Оскільки він не покладається на сегментування зображень чи межі областей, оцінки повторюваності та збігу лишаються сталими.
- Артефакти JPEG: гаррісів афінний виявляч гіршає подібно до інших афінних виявлячів: оцінки повторюваності та збігу значно падають при стисненні понад 80 %.
- Зміни освітленості: гаррісів афінний виявляч, як й інші афінні виявлячі, дуже стійкий щодо змін освітленості: оцінки повторюваності та збігу за зниження освітленості залишаються незмінними. Цього слід очікувати, оскільки ці виявлячі значною мірою покладаються на відносні яскравості (похідні), а не на абсолютні.
Загальні схильності
- Точки гаррісових афінних областей, як правило, малі та численні. Як гаррісів афінний, так і гессіанний афінний виявлячі стабільно встановлюють вдвічі більше повторюваних точок, аніж інші афінні виявлячі: ~1000 областей для зображення 800x640. Невеликі області рідше бувають затуленими, але мають менший шанс перекривати сусідні області.
- Гаррісів афінний виявляч добре реагує на текстуровані сцени, в яких багато кутоподібних частин. Проте для деяких структурованих сцен, як-от будівель, дуже добре працює гессіанний афінний виявляч. Це доповнюють МСЕО, які працюють краще з добре структурованими (сегментованими) сценами.
- Загалом гаррісів афінний виявляч працює дуже добре, але все ж відстає від МСЕО та гессіанного афінного у всіх випадках, крім розмитих зображень.
- Гаррісів афінний та гессіанний афінний виявлячі менш точні, ніж інші: їхня оцінка повторюваності зростає зі збільшенням порогу перекриття.
- Виявлені афінноінваріантні області все ще можуть відрізнятися своїм повертанням та освітленням. Будь-який описувач, що використовує ці області, повинен забезпечувати таку інваріантність при використанні цих областей для зіставлення або інших порівнянь.
Застосування
- Пошук зображень за вмістом
- Розпізнавання на основі моделей
- Пошук об'єктів у відео
- Візуальний аналіз даних: встановлювання важливих об'єктів, персонажів та сцен у відео
- Розпізнавання та категоризування об'єктів
- Аналіз зображень дистанційного зондування: виявляння об'єктів у зображеннях дистанційного зондування
Програмні пакети
- Affine Covariant Features: К. Миколайчик підтримує вебсторінку, яка містить двійкові файли для Linux гаррісового афінного виявляча, на додачу до інших виявлячів та описувачів. Також доступний код Matlab, який можливо використовувати для ілюстрації та обчислення повторюваності різних виявлячів. Код і зображення також доступні для дублювання результатів, отриманих у праці Миколайчика зі співавт. (2005).
- lip-vireo — двійковий код для Linux, Windows та SunOS від дослідницької групи VIREO, див. більше на їхній домашній сторінці
Посилання
- — слайди презентації Миколайчика зі співавт. до їхньої праці 2005 року.
- [2] — Лабораторія комп'ютерного бачення Корделії Шмід
- [3] — код, перевірні зображення, бібліографія афінних коваріантних ознак, які ведуть Крістіан Миколайчик та Група візуальної геометрії з Групи робототехніки Оксфордського університету.
- [4] — бібліографія виявлячів ознак (і плям), підтримувана Інститутом робототехніки та інтелектуальних систем Університету Південної Каліфорнії
- [5] — Цифрове втілення лапласіана гауссіана
Див. також
- Гессіанний афінний виявляч
- МСЕО
- [en]
- Простір масштабів
- Ізотропія
- Виявляння кутів
- Виявляння особливих точок
- Афінне пристосовування форми
- Похідна зображення
- Комп'ютерне бачення
- ASIFT -> Affine-Sift (повністю афінноінваріантний алгоритм зіставляння зображень)
Примітки
- K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir and L. Van Gool, A comparison of affine region detectors. In IJCV 65(1/2):43-72, 2005 (англ.)
- Mikolajcyk, K. and Schmid, C. 2002. An affine invariant interest point detector. In Proceedings of the 8th International Conference on Computer Vision, Vancouver, Canada. [ 2004-07-23 у Wayback Machine.] (англ.)
- T. Lindeberg and J. Garding (1997). "Shape-adapted smoothing in estimation of 3-{D} depth cues from affine distortions of local 2-{D} structure". Image and Vision Computing 15: pp 415—434. (англ.)
- A. Baumberg (2000). "Reliable feature matching across widely separated views". Proceedings of IEEE Conference on Computer Vision and Pattern Recognition: pages I:1774—1781. (англ.)
- Lindeberg, Tony, Scale-Space Theory in Computer Vision, Kluwer Academic Publishers, 1994, (англ.)
- T. Lindeberg (1998). "Feature detection with automatic scale selection". International Journal of Computer Vision 30 (2): pp 77—116. (англ.)
- Lindeberg, T. (2008). Scale-space. У Wah, Benjamin (ред.). Encyclopedia of Computer Science and Engineering. Т. IV. John Wiley and Sons. с. 2495—2504. doi:10.1002/9780470050118.ecse609. ISBN . (англ.)
- C. Harris and M. Stephens (1988). "A combined corner and edge detector". Proceedings of the 4th Alvey Vision Conference: pages 147—151. [ 2007-09-16 у Wayback Machine.] (англ.)
- K. Mikolajczyk and C. Schmid. Indexing based on scale invariant interest points. In Proceedings of the 8th International Conference on Computer Vision, Vancouver, Canada, pages 525-531, 2001. [ 2012-02-09 у Wayback Machine.] (англ.)
- Schmid, C., Mohr, R., and Bauckhage, C. 2000. Evaluation of interest point detectors. International Journal of Computer Vision, 37(2):151-172. (англ.)
- Mikolajczyk, K. and Schmid, C. 2004. Scale & affine invariant interest point detectors. International Journal on Computer Vision 60(1):63-86. (англ.)
- Spatial Filters: Laplacian/Laplacian of Gaussian [ 2007-11-20 у Wayback Machine.] (англ.)
- C. Schmid, R. Mohr, and C. Bauckhage. Comparing and evaluating interest points. In International Conference on Computer Vision, pp. 230-135, 1998. (англ.)
- J.Matas, O. Chum, M. Urban, and T. Pajdla, Robust wide baseline stereo from maximally stable extremal regions. In BMVC p. 384-393, 2002. (англ.)
- T. Tuytelaars and L. Van Gool, Matching widely separated views based on affine invariant regions. In IJCV 59(1):61-85, 2004. (англ.)
- T. Kadir, A. Zisserman, and M. Brady, An affine invariant salient region detector. In ECCV p. 404-416, 2004. (англ.)
- http://staff.science.uva.nl/~gevers/pub/overview.pdf (англ.)
- R. Datta, J. Li, and J. Z. Wang, “Content-based image retrieval - Approaches and trends of the new age,” In Proc. Int. Workshop on Multimedia Information Retrieval, pp. 253-262, 2005.IEEE Transactions on Multimedia, vol. 7, no. 1, pp. 127-142, 2005. [ 2007-09-28 у Wayback Machine.] (англ.)
- J. Sivic and A. Zisserman. Video google: A text retrieval approach to object matching in videos. In Proceedings of the International Conference on Computer Vision, Nice, France, 2003.[недоступне посилання] (англ.)
- J. Sivic and A. Zisserman. Video data mining using configurations of viewpoint invariant regions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Washington DC, USA, pp. 488-495, 2004.[недоступне посилання] (англ.)
- G. Dorko and C. Schmid. Selection of scale invariant neighborhoods for object class recognition. In Proceedings of International Conference on Computer Vision, Nice, France, pp. 634-640, 2003. (англ.)
- Beril Sirmacek and Cem Unsalan (January 2011). A probabilistic framework to detect buildings in aerial and satellite images (PDF). IEEE Transactions on Geoscience and Remote Sensing. 49 (1): 211—221. Bibcode:2011ITGRS..49..211S. doi:10.1109/TGRS.2010.2053713. S2CID 10637950. (англ.)
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U galuzyah komp yuternogo bachennya ta en ga rrisiv afi nnij viyavlya ch oblaste j angl Harris affine region detector nalezhit do kategoriyi viyavlyannya oznak Viyavlyannya oznak ce etap poperednoyi obrobki deyakih algoritmiv yaki pokladayutsya na vstanovlyuvannya harakternih abo osoblivih tochok shobi vstanovlyuvati vidpovidnosti mizh zobrazhennyami rozpiznavati teksturi kategorizuvati ob yekti abo stvoryuvati panorami OglyadGarrisiv afinnij viyavlyach mozhe vstanovlyuvati podibni oblasti zobrazhen pov yazani cherez afinni peretvorennya i z riznim osvitlennyam Ci afinnoinvariantni angl affine invariant viyavlyachi povinni buti zdatnimi vstanovlyuvati shozhi oblasti v zobrazhennyah zroblenih z riznih tochok oglyadu pov yazanih prostim geometrichnim peretvorennyam masshtabuvannyam povertannyam i zmishennyam Ci viyavlyani oblasti nazivali yak invariantnimi tak i kovariantnimi Z odnogo boku ci oblasti viyavlyayutsya invariantno shodo peretvorennya zobrazhennya ale voni kovariantno zminyuyutsya z peretvorennyam zobrazhennya Ne varto nadto zaciklyuvatisya na cih dvoh ugodah pro imenuvannya vazhlivo rozumiti sho dizajn cih osoblivih tochok robitime yih sumisnimi mizh zobrazhennyami zroblenimi z kilkoh tochok oglyadu Do inshih afinnoinvariantnih viyavlyachiv nalezhat gessiannij afinnij viyavlyach oblastej maksimalno stabilni ekstremumni oblasti en oblasti na osnovi konturiv angl edge based regions EBR ta oblasti na osnovi ekstremumiv yaskravosti angl intensity extrema based regions IBR Mikolajchik ta Shmid 2002 vpershe opisali garrisiv afinnij viyavlyach yakim jogo vikoristovuyut sogodni u statti Afinnoinvariantnij viyavlyach osoblivih tochok Do ranishih prac u comu napryami nalezhat zastosuvannya Lindebergom i Gardingom afinnogo pristosovuvannya formi dlya obchislennya afinnoinvariantnih opisuvachiv zobrazhen i znizhennya takim chinom vplivu perspektivnih deformacij zobrazhen vikoristannya Baumbergom tochok afinnopristosovanih oznak dlya stereozistavlyannya z shirokoyu bazoyu angl wide baseline matching i pershe vikoristannya Lindebergom masshtaboinvariantnih tochok oznak dlya oglyadu teoretichnoyi pidosnovi Garrisiv afinnij viyavlyach pokladayetsya na poyednannya kutovih tochok viyavlyanih za dopomogoyu garrisovogo viyavlyannya kutiv bagatomasshtabnogo analizu cherez gaussiv prostir masshtabiv ta afinnogo unormovuvannya za dopomogoyu iterativnogo algoritmu afinnogo pristosovuvannya formi Rekursivnij ta iterativnij algoritm vikoristovuye iterativnij pidhid do viyavlennya cih oblastej Viznachiti pochatkovi tochki oblastej za dopomogoyu masshtaboinvariantnogo viyavlyacha Garrisa Laplasa Dlya kozhnoyi pochatkovoyi tochki unormuvati oblast shobi vona bula afinnoinvariantnoyu za dopomogoyu afinnogo pristosovuvannya formi Iterativno ociniti cyu afinnu oblast obrati nalezhnij masshtab integruvannya masshtab diferenciyuvannya ta viznachiti prostorovi polozhennya osoblivih tochok Utochniti cyu afinnu oblast skoristavshis cimi masshtabami ta prostorovimi polozhennyami Povtoriti krok 3 yaksho kriteriyu zupinki ne dosyagnuto Opis algoritmuViyavlyach Garrisa Laplasa pochatkovih tochok oblastej Garrisiv afinnij viyavlyach znachnoyu miroyu pokladayetsya yak na garrisovu miru tak i na gaussove masshtaboprostorove podannya Tomu dali bude korotkij oglyad oboh Vicherpnishi vivedennya divitsya u viyavlyanni kutiv ta gaussovomu prostori masshtabiv abo yihnih vidpovidnih pracyah Garrisova mira kuta Algoritm Garrisa viyavlyannya kutiv pokladayetsya na centrovij princip na kuti yaskravist zobrazhennya znachno zminyuvatimetsya v dekilkoh napryamkah Ce mozhlivo sformulyuvati inshim chinom cherez doslidzhennya zmin yaskravosti vnaslidok zmishennya lokalnogo vikna Navkolo kutovoyi tochki pri zmishenni cogo vikna v dovilnomu napryamku yaskravist zobrazhennya zminyuyetsya silno Sliduyuchi cij intuyiciyi ta zavdyaki vpravnomu rozkladovi viyavlyach Garrisa vikoristovuye yak osnovu dlya svoyih rishen pro kuti matricyu drugogo momentu Povnishe vivedennya div u viyavlyanni kutiv Cyu matricyu A displaystyle A takozh nazivayut matriceyu avtokorelyaciyi vona maye znachennya tisno pov yazani z pohidnimi yaskravosti zobrazhennya A x p q w p q I x 2 p q I x I y p q I x I y p q I y 2 p q displaystyle A mathbf x sum p q w p q begin bmatrix I x 2 p q amp I x I y p q I x I y p q amp I y 2 p q end bmatrix de I x displaystyle I x ta I y displaystyle I y pohidni yaskravosti pikseliv u napryamah x displaystyle x ta y displaystyle y vidpovidno v tochci p displaystyle p q displaystyle q p displaystyle p ta q displaystyle q parametri polozhennya vagovoyi funkciyi w Nediagonalni elementi ye dobutkom I x displaystyle I x ta I y displaystyle I y todi yak diagonalni elementi ye kvadratami vidpovidnih pohidnih Vagova funkciya w x y displaystyle w x y mozhe buti rivnomirnoyu ale chastishe izotropna krugova gaussova w x y g x y s 1 2 p s 2 e x 2 y 2 2 s 2 displaystyle w x y g x y sigma frac 1 2 pi sigma 2 e left frac x 2 y 2 2 sigma 2 right yaka diye yak userednennya v lokalnij oblasti vodnochas zavazhuyuchi silnishe znachennya poblizu centru Yak viyavilosya cya matricya A displaystyle A opisuye formu avtokorelyacijnoyi miri cherez zmishennya roztashuvannya vikna Takim chinom yaksho l 1 displaystyle lambda 1 ta l 2 displaystyle lambda 2 vlasni znachennya A displaystyle A to ci znachennya zabezpechuyut kilkisnij opis togo yak avtokorelyacijna mira zminyuyetsya v prostori yiyi golovni krivini Yak zaznachayut Garris ta Stivens 1988 matricya A displaystyle A z centrom u kutovih tochkah matime dva veliki dodatni vlasni znachennya Zamist vidilyannya cih vlasnih znachen takimi metodami yak singulyarnij rozklad matrici vikoristovuyut garrisovu miru na osnovi slidu ta viznachnika R det A a trace 2 A l 1 l 2 a l 1 l 2 2 displaystyle R det A alpha operatorname trace 2 A lambda 1 lambda 2 alpha lambda 1 lambda 2 2 de a displaystyle alpha stala Kutovi tochki mayut veliki dodatni vlasni znachennya j vidtak matimut veliku garrisovu miru Takim chinom kutovi tochki viznachayut yak lokalni maksimumi garrisovoyi miri sho perevishuyut zadanij porig x c x c R x c gt R x i x i W x c R x c gt t threshold displaystyle begin aligned x c big x c mid R x c gt R x i forall x i in W x c big R x c gt t text threshold end aligned de x c displaystyle x c mnozhina vsih kutovih tochok R x displaystyle R x garrisova mira obchislena v x displaystyle x W x c displaystyle W x c 8 susidova mnozhina z centrom x c displaystyle x c a t threshold displaystyle t text threshold zadanij porig 8 tochkovij okil Gaussiv prostir masshtabiv Gaussove masshtaboprostorove podannya zobrazhennya ce nabir zobrazhen sho ye rezultatom zgortannya gaussovogo yadra riznih rozmiriv iz pervinnim zobrazhennyam U zagalnomu viglyadi ce podannya mozhlivo sformulyuvati tak L x s G s I x displaystyle L mathbf x s G s otimes I mathbf x de G s displaystyle G s izotropne krugove gaussove yadro yak viznacheno vishe Zgortka z gaussovim yadrom zgladzhuye zobrazhennya za dopomogoyu vikna rozmirom z ce yadro Bilshij masshtab s displaystyle s vidpovidaye gladshomu otrimuvanomu zobrazhennyu Mikolajchik ta Shmid 2001 zaznachayut sho pohidni ta inshi vimiryuvannya musit buti normovano nad masshtabami Pohidnu poryadku m displaystyle m D i 1 i m displaystyle D i 1 i m neobhidno normuvati koeficiyentom s m displaystyle s m u takij sposib D i 1 i m x s s m L i 1 i m x s displaystyle D i 1 dots i m mathbf x s s m L i 1 dots i m mathbf x s Ci pohidni abo bud yaku dovilnu miru mozhlivo pristosovuvati do masshtaboprostorovogo podannya shlyahom rekursivnogo obchislennya ciyeyi miri za dopomogoyu naboru masshtabiv de n displaystyle n tij masshtab s n k n s 0 displaystyle s n k n s 0 Povnishij opis div u prostori masshtabiv Poyednannya garrisovogo viyavlyacha nad gaussovim prostorom masshtabiv Viyavlyach Garrisa Laplasa poyednuye tradicijnij dvovimirnij garrisiv viyavlyach kutiv z ideyeyu gaussovogo masshtaboprostorovogo podannya dlya stvorennya masshtaboinvariantnogo viyavlyacha Garrisovi kutovi tochki ye garnimi vidpravnimi tochkami oskilki bulo pokazano sho voni na dodachu do viznachannya osoblivih tochok zobrazhennya mayut dobru invariantnist shodo obertannya ta osvitlennya Prote ci tochki ne invariantni shodo masshtabu i tomu matricyu drugogo momentu neobhidno vidozminiti shobi vidtvoriti vlastivist masshtaboinvariantnosti Poznachmo cherez M m x s I s D displaystyle M mu mathbf x sigma mathit I sigma mathit D masshtabopristosovanu matricyu drugogo momentu yaku vikoristovuyut u viyavlyachi Garrisa Laplasa M m x s I s D s D 2 g s I L x 2 x s D L x L y x s D L x L y x s D L y 2 x s D displaystyle M mu mathbf x sigma mathit I sigma mathit D sigma D 2 g sigma I otimes begin bmatrix L x 2 mathbf x sigma D amp L x L y mathbf x sigma D L x L y mathbf x sigma D amp L y 2 mathbf x sigma D end bmatrix de g s I displaystyle g sigma I gaussove yadro masshtabu s I displaystyle sigma I a x x y displaystyle mathbf x x y Podibno do gaussovogo prostoru masshtabiv L x displaystyle L mathbf x gaussovogo zgladzhene zobrazhennya Operator displaystyle mathbf otimes poznachuye zgortku L x x s D displaystyle L x mathbf x sigma D ta L y x s D displaystyle L y mathbf x sigma D pohidni u vidpovidnih napryamkah zastosovani do zgladzhenogo zobrazhennya ta obchisleni z vikoristannyam gaussovogo yadra z masshtabom s D displaystyle sigma D Z tochki zoru nashoyi sistemi gaussovogo prostoru masshtabiv parametr s I displaystyle sigma I viznachaye potochnij masshtab na yakomu viyavlyayutsya garrisovi kutovi tochki Stvorenij na osnovi ciyeyi masshtabopristosovanoyi matrici drugogo momentu viyavlyach Garrisa Laplasa stanovit podvijnij proces zastosuvannya garrisovogo viyavlyacha kutiv u kilkoh masshtabah ta avtomatichne obirannya harakternogo masshtabu angl characteristic scale Bagatomasshtabni garrisovi kutovi tochki Cej algoritm zdijsnyuye poshuk nad fiksovanim chislom napered viznachenih masshtabiv Nabir masshtabiv zadayut nastupnim chinom s 1 s n k 1 s 0 k n s 0 displaystyle sigma 1 dots sigma n k 1 sigma 0 dots k n sigma 0 Mikolajchik ta Shmid 2004 vikoristovuyut k 1 4 displaystyle k 1 4 Dlya kozhnogo masshtabu integruvannya s I displaystyle sigma I obranogo z cogo naboru vidpovidnij masshtab diferenciyuvannya obirayut yak stalu proporciyu masshtabu integruvannya s D s s I displaystyle sigma D s sigma I Mikolajchik ta Shmid 2004 vikoristovuvali s 0 7 displaystyle s 0 7 Vikoristovuyuchi ci masshtabi osoblivi tochki viyavlyayut za dopomogoyu miri Garrisa na matrici m x s I s D displaystyle mu mathbf x sigma mathit I sigma mathit D Kutovist angl cornerness yak i tipovu miru Garrisa viznachayut yak c o r n e r n e s s det m x s I s D a trace 2 m x s I s D displaystyle mathit cornerness det mu mathbf x sigma mathit I sigma mathit D alpha operatorname trace 2 mu mathbf x sigma mathit I sigma mathit D Podibno do tradicijnogo garrisovogo viyavlyacha kutovi tochki ce ti lokalni u 8 tochkovih okolah maksimumi kutovosti sho perevishuyut zadanij porig Vstanovlyuvannya harakternogo masshtabu Iterativnij algoritm na osnovi Lindeberga 1998 yak prostorovo lokalizuye kutovi tochki tak j obiraye harakte rnij masshta b angl characteristic scale Cej iterativnij poshuk maye tri klyuchovi kroki vikonuvani dlya kozhnoyi z tochok x displaystyle mathbf x yaki spershu bulo viyavleno na masshtabi s I displaystyle sigma I bagatomasshtabnim garrisovim viyavlyachem k displaystyle k vkazuye na k displaystyle k tu iteraciyu Obrati masshtab s I k 1 displaystyle sigma I k 1 yakij maksimizuye laplasian gaussianiv LG angl LoG nad poperedno viznachenim diapazonom susidnih masshtabiv Susidni masshtabi yak pravilo vibirayut iz diapazonu sho perebuvaye v okoli dvoh masshtabiv prostoru angl two scale space Tobto yaksho vihidni tochki bulo viyavleno z vikoristannyam koeficiyenta masshtabuvannya 1 4 displaystyle 1 4 mizh poslidovnimi masshtabami to okil dvoh masshtabiv prostoru ce promizhok t 0 7 1 4 displaystyle t in 0 7 dots 1 4 Takim chinom rozglyadayut gaussovi masshtabi s I k 1 t s I k displaystyle sigma I k 1 t sigma I k Vimiryuvannya LG viznachayut yak LoG x s I s I 2 L x x x s I L y y x s I displaystyle operatorname LoG mathbf x sigma I sigma I 2 left L xx mathbf x sigma I L yy mathbf x sigma I right dd de L x x displaystyle L xx ta L y y displaystyle L yy drugi pohidni u svoyih vidpovidnih napryamkah Koeficiyent s I 2 displaystyle sigma I 2 yak obgovoryuvalosya vishe v gaussovomu prostori masshtabiv vikoristovuyut dlya unormovuvannya LG nad masshtabami roblyachi ci vimiryuvannya porivnyannimi vidtak roblyachi maksimum dorechnim Mikolajchik ta Shmid 2001 pokazuyut sho mira LG u porivnyanni z inshimi mirami obirannya masshtabu dosyagaye najvishogo vidsotka pravilno viyavlenih kutovih tochok Masshtab yakij maksimizuye miru LG v okoli dvoh masshtabiv prostoru vvazhayut harakte rnim masshta bom angl characteristic scale s I k 1 displaystyle sigma I k 1 i vikoristovuyut u nastupnih iteraciyah Yaksho ekstremumu abo maksimumu LG ne znajdeno cyu tochku vikidayut iz podalshih poshukiv Vikoristovuyuchi harakternij masshtab lokalizuvati tochki v prostori Inakshe kazhuchi x k 1 displaystyle mathbf x k 1 obirayut takim chinom shobi vona maksimizuvala garrisovu kutovu miru kutovist angl cornerness yak viznacheno vishe u lokalnomu okoli 8 8 Kriterij zupinki s I k 1 s I k displaystyle sigma I k 1 sigma I k i x k 1 x k displaystyle mathbf x k 1 mathbf x k Yaksho kriteriyu zupinki ne dosyagnuto algoritm povtoryuyetsya z kroku 1 vikoristovuyuchi ci novi tochki ta masshtab k 1 displaystyle k 1 Koli kriteriyu zupinki dosyagnuto znajdeni tochki yavlyayut soboyu ti yaki maksimizuyut LG nad masshtabami obirannya masshtabu j maksimizuyut garrisovu kutovu miru v lokalnomu okoli prostorove obirannya Afinnoinvariantni tochki Matematichna teoriya Tochki viyavlyacha Garrisa Laplasa masshtaboinvariantni j dobre pracyuyut dlya izotropnih oblastej yaki rozglyadayut pid odnakovim kutom oglyadu Shobi vona bula invariantnoyu do dovilnih afinnih peretvoren ta tochok oglyadu cyu matematichnu strukturu neobhidno pereglyanuti Matricyu drugogo momentu m displaystyle mathbf mu dlya anizotropnih oblastej viznachayut zagalnishe m x S I S D det S D g S I L x S D L x S D T displaystyle mu mathbf x Sigma I Sigma D det Sigma D g Sigma I nabla L mathbf x Sigma D nabla L mathbf x Sigma D T de S I displaystyle Sigma I ta S D displaystyle Sigma D kovariacijni matrici sho viznachayut diferenciyuvalni ta integruvalni masshtabi gaussovogo yadra Hocha vona mozhe viglyadati znachno vidminnoyu vid matrici drugogo momentu u viyavlyachi Garrisa Laplasa naspravdi vona identichna Poperednya matricya m displaystyle mu bula dvovimirno izotropnoyu versiyeyu v yakij kovariacijni matrici S I displaystyle Sigma I ta S D displaystyle Sigma D buli odinichnimi matricyami 2 2 pomnozhenimi na koeficiyenti s I displaystyle sigma I ta s D displaystyle sigma D vidpovidno U novomu formulyuvanni gaussovi yadra mozhlivo rozglyadati yak bagatovimirni gaussovi rozpodili na vidminu vid odnoridnogo gaussovogo yadra Odnoridne gaussove yadro mozhlivo rozglyadati yak izotropnu krugovu oblast Podibno do cogo zagalnishe gaussove yadro viznachaye elipsoyid Faktichno vlasni vektori ta vlasni znachennya kovariacijnoyi matrici viznachayut kut povorotu ta rozmir elipsoyida Takim chinom mi mozhemo legko pobachiti sho ce podannya dozvolyaye nam povnistyu viznachiti dovilnu eliptichnu afinnu oblast nad yakoyu mi hochemo zdijsnyuvati integruvannya chi diferenciyuvannya Meta afinnoinvariantnogo viyavlyacha vstanovlyuvati oblasti zobrazhen pov yazani cherez afinni peretvorennya Takim chinom mi rozglyadayemo tochku x L displaystyle mathbf x L ta peretvorenu tochku x R A x L displaystyle mathbf x R A mathbf x L de A afinne peretvorennya U vipadku zobrazhen yak x R displaystyle mathbf x R tak i x L displaystyle mathbf x L zhivut u prostori R 2 displaystyle R 2 Matrici drugogo momentu pov yazano nastupnim chinom m x L S I L S D L A T m x R S I R S D R A M L m x L S I L S D L M R m x R S I R S D R M L A T M R A S I R A S I L A T S D R A S D L A T displaystyle begin aligned mu mathbf x L Sigma I L Sigma D L amp A T mu mathbf x R Sigma I R Sigma D R A M L amp mu mathbf x L Sigma I L Sigma D L M R amp mu mathbf x R Sigma I R Sigma D R M L amp A T M R A Sigma I R amp A Sigma I L A T Sigma D R A Sigma D L A T end aligned de S I b displaystyle Sigma I b ta S D b displaystyle Sigma D b kovariacijni matrici dlya sistemi vidliku b displaystyle b Yaksho mi prodovzhimo ce formulyuvannya j zabezpechimo vikonannya S I L s I M L 1 S D L s D M L 1 displaystyle begin aligned Sigma I L sigma I M L 1 Sigma D L sigma D M L 1 end aligned de s I displaystyle sigma I ta s D displaystyle sigma D skalyarni koeficiyenti bude mozhlivo pokazati sho kovariacijni matrici dlya vidpovidnoyi tochki pov yazani podibnim chinom S I R s I M R 1 S D R s D M R 1 displaystyle begin aligned Sigma I R sigma I M R 1 Sigma D R sigma D M R 1 end aligned Zavdyaki vimozi do kovariacijnih matric zadovolnyati ci umovi vinikaye kilka priyemnih vlastivostej Odna z nih polyagaye v tomu sho kvadratnij korin matrici drugogo momentu M 1 2 displaystyle M tfrac 1 2 peretvoryuvatime pervinnu anizotropnu oblast v izotropni oblasti pov yazani prosto cherez chistu matricyu povertannya R displaystyle R Ci novi izotropni oblasti mozhlivo rozglyadati yak unormovanu sistemu vidliku Nastupni rivnyannya formulyuyut spivvidnoshennya mizh unormovanimi tochkami x R displaystyle x R ta x L displaystyle x L A M R 1 2 R M L 1 2 x R M R 1 2 x R x L M L 1 2 x L x L R x R displaystyle begin aligned A M R tfrac 1 2 RM L tfrac 1 2 x R M R tfrac 1 2 x R x L M L tfrac 1 2 x L x L Rx R end aligned Matricyu obertannya mozhlivo otrimuvati za dopomogoyu gradiyentnih metodiv takih yak v opisuvachi SIFT Yak obgovoryuvalosya stosovno viyavlyacha Garrisa vlasni znachennya ta vlasni vektori matrici drugogo momentu M m x S I S D displaystyle M mu mathbf x Sigma I Sigma D harakterizuyut krivinu ta formu yaskravostej pikseliv Tobto vlasnij vektor pov yazanij iz najbilshim vlasnim znachennyam vkazuye napryamok najbilshoyi zmini a vlasnij vektor pov yazanij iz najmenshim vlasnim znachennyam viznachaye napryamok najmenshoyi zmini U dvovimirnomu vipadku vlasni vektori ta vlasni znachennya viznachayut elips Dlya izotropnoyi oblasti oblast povinna mati kruglu formu a ne eliptichnu Ce toj vipadok koli vlasni znachennya mayut odnakovu velichinu Takim chinom mira izotropnosti navkolo lokalnoyi oblasti viznachayut nastupnim chinom Q l min M l max M displaystyle mathcal Q frac lambda min M lambda max M de l displaystyle lambda poznachuyut vlasni znachennya Cya mira maye diapazon 0 1 displaystyle 0 dots 1 Znachennya 1 displaystyle 1 vidpovidaye idealnij izotropiyi Iterativnij algoritm Vikoristovuyuchi cyu matematichnu strukturu algoritm garrisovogo afinnogo viyavlyacha iterativno viyavlyaye matricyu drugogo momentu yaka peretvoryuye anizotropnu oblast na unormovanu v yakij mira izotropnosti dostatno blizka do odinici Algoritm vikoristovuye cyu matricyu pristosovuvannya formi angl shape adaptation matrix U displaystyle U shobi peretvoryuvati zobrazhennya do unormovanoyi sistemi vidliku V comu vnormovanomu prostori parametri osoblivih tochok prostorove roztashuvannya masshtab integruvannya ta masshtab diferenciyuvannya utochnyuyut za dopomogoyu metodiv podibnih do viyavlyacha Garrisa Laplasa Matricya drugogo momentu obchislyuyetsya v cij unormovanij sistemi vidliku j na ostannij iteraciyi povinna mati miru izotropnosti blizku do odinici Na kozhnij k displaystyle k tij iteraciyi kozhna osobliva oblast viznachayetsya dekilkoma parametrami yaki maye vstanovlyuvati algoritm matriceyu U k displaystyle U k polozhennyam x k displaystyle mathbf x k masshtabom integruvannya s I k displaystyle sigma I k ta masshtabom diferenciyuvannya s D k displaystyle sigma D k Oskilki cej viyavlyach obchislyuye matricyu drugogo momentu v peretvorenij oblasti ce peretvorene polozhennya zruchno poznachuvati cherez x w k displaystyle mathbf x w k de U k x w k x k displaystyle U k mathbf x w k mathbf x k Viyavlyach vstanovlyuye prostir poshuku v pochatkovij stan tochkami viyavlenimi viyavlyachem Garrisa Laplasa U 0 displaystyle U 0 odinichna a x 0 displaystyle mathbf x 0 s D 0 displaystyle sigma D 0 ta s I 0 displaystyle sigma I 0 z viyavlyacha Garrisa Laplasa Zastosuvati matricyu pristosovuvannya formi z poperednoyi iteraciyi U k 1 displaystyle U k 1 shobi poroditi unormovanu sistemu vidliku U k 1 x w k 1 x k 1 displaystyle U k 1 mathbf x w k 1 mathbf x k 1 Dlya pershoyi iteraciyi vi zastosovuyete U 0 displaystyle U 0 Obrati masshtab integruvannya s I k displaystyle sigma I k vikoristovuyuchi metod podibnij do viyavlyacha Garrisa Laplasa Cej masshtab obirayut yak takij sho maksimizuye laplasian gaussiana LG Prostir poshuku masshtabiv lezhit u mezhah dvoh masshtabiv prostoru masshtabu poperednoyi iteraciyi s I k argmax s I t s I k 1 t 0 7 1 4 s I 2 det L x x x s I L y y x s I displaystyle sigma I k underset sigma I t sigma I k 1 atop t in 0 7 dots 1 4 operatorname argmax sigma I 2 det L xx mathbf x sigma I L yy mathbf x sigma I Vazhlivo zaznachiti sho masshtab integruvannya v prostori U displaystyle U normovanij znachno vidriznyayetsya vid nevnormovanogo prostoru Tomu vazhlivo shukati masshtab integruvannya a ne vikoristovuvati masshtab u nevnormovanomu prostori Obrati masshtab diferenciyuvannya s D k displaystyle sigma D k Shobi zvuziti prostir poshuku ta stupeni vilnosti pokladayut sho masshtab diferenciyuvannya pov yazano z masshtabom integruvannya cherez stalij koeficiyent s D k s s I k displaystyle sigma D k s sigma I k Zi zrozumilih mirkuvan cej stalij koeficiyent menshij za odinicyu Mikolajchik ta Shmid 2001 zauvazhuyut sho zanadto malij koeficiyent robitime zgladzhuvannya integruvannya zanadto znachnim u porivnyanni z diferenciyuvannyam a zanadto velikij koeficiyent ne dozvolyatime integruvannyu userednyuvati kovariacijnu matricyu Zazvichaj obirayut s 0 5 0 75 displaystyle s in 0 5 0 75 Masshtab obranij z ciyeyi mnozhini maksimizuvatime izotropnu miru Q l m i n m l m a x m displaystyle mathcal Q frac lambda min mu lambda max mu s D k argmax s D s s I k s 0 5 0 75 l min m x w k s I k s D l max m x w k s I k s D displaystyle sigma D k underset sigma D s sigma I k s in 0 5 dots 0 75 operatorname argmax frac lambda min mu mathbf x w k sigma I k sigma D lambda max mu mathbf x w k sigma I k sigma D de m x w k s I k s D displaystyle mu mathbf x w k sigma I k sigma D matricya drugogo momentu ocinena v unormovanij sistemi vidliku Cej proces maksimizuvannya prizvodit do zbigannya vlasnih znachen do odnogo j togo zh znachennya Prostorove lokalizuvannya Obrati taku tochku x w k displaystyle mathbf x w k sho maksimizuye garrisovu miru kutovosti c o r n e r n e s s displaystyle mathit cornerness v mezhah 8 tochkovogo okolu navkolo poperednoyi tochki x w k 1 displaystyle mathbf x w k 1 x w k argmax x w W x w k 1 det m x w s I k s D k a trace 2 m x w s I k s D k displaystyle mathbf x w k underset mathbf x w in W mathbf x w k 1 operatorname argmax det mu mathbf x w sigma I k sigma D k alpha operatorname trace 2 mu mathbf x w sigma I k sigma D k de m displaystyle mu matricya drugogo momentu viznachena yak vishe Vikno W x w k 1 displaystyle W mathbf x w k 1 ce mnozhina 8 najblizhchih susidiv tochki z poperednoyi iteraciyi v normovanij sistemi vidliku Oskilki nashu prostorovu lokalizaciyu bulo zdijsneno v U displaystyle U normovanij sistemi vidliku novoobranu tochku neobhidno peretvoriti nazad do pervinnoyi sistemi vidliku Cogo dosyagayut shlyahom peretvorennya vektoru zmishennya ta dodavannya jogo do poperednoyi tochki x k x k 1 U k 1 x w k x w k 1 displaystyle mathbf x k mathbf x k 1 U k 1 cdot mathbf x w k mathbf x w k 1 Yak zaznacheno vishe kvadratnij korin matrici drugogo momentu viznachaye matricyu peretvorennya yaka porodzhuye normovanu sistemu vidliku Vidtak nam treba zberegti cyu matricyu m i k m 1 2 x w k s I k s D k displaystyle mu i k mu tfrac 1 2 mathbf x w k sigma I k sigma D k Matricya peretvorennya U displaystyle U utochnyuyetsya U k m i k U k 1 displaystyle U k mu i k cdot U k 1 Shobi zabezpechiti korektne diskretuvannya zobrazhennya i sho mi rozshiryuyemo zobrazhennya v napryamku najmenshoyi zmini najmenshogo vlasnogo znachennya mi fiksuyemo maksimalne vlasne znachennya l m a x U k 1 displaystyle lambda max U k 1 Vikoristovuyuchi cej metod utochnennya mozhlivo legko pobachiti sho ostatochna matricya U displaystyle U nabuvaye nastupnogo viglyadu U k m i k U 0 k m 1 2 k U 0 displaystyle U prod k mu i k cdot U 0 prod k mu tfrac 1 2 k cdot U 0 Yaksho kriteriyu zupinki ne dosyagnuto perejti do nastupnoyi iteraciyi na kroci 2 Oskilki cej algoritm iterativno shukaye rozv yazok dlya matrici U displaystyle U normuvannya yaka peretvoryuye anizotropnu oblast na izotropnu maye sens zupinitisya koli mira izotropnosti Q l min m l max m displaystyle mathcal Q frac lambda min mu lambda max mu stala dostatno blizkoyu do svogo maksimalnogo znachennya 1 Dostatno blizka oznachaye nastupnu umovu zupinki 1 l min m i k l max m i k lt e C displaystyle 1 frac lambda min mu i k lambda max mu i k lt varepsilon C Mikolajchik ta Shmid 2004 mali dobrij uspih z ϵ C 0 05 displaystyle epsilon C 0 05 Obchislennya ta vtilennyaObchislyuvalnu skladnist garrisovogo afinnogo viyavlyacha rozbito na dvi chastini pochatkove viyavlyannya tochok ta afinne unormovuvannya oblastej Algoritm pochatkovogo viyavlyannya tochok Garrisa Laplasa maye skladnist O n displaystyle mathcal O n de n displaystyle n chislo pikseliv u zobrazhenni Algoritm afinnogo unormovuvannya oblasti avtomatichno viyavlyaye masshtab ta ocinyuye matricyu pristosovuvannya formi U displaystyle U Cej proces maye skladnist O m k p displaystyle mathcal O m k p de p displaystyle p kilkist pochatkovih tochok m displaystyle m rozmir prostoru poshuku dlya avtomatichnogo obirannya masshtabu a k displaystyle k chislo iteracij neobhidnih dlya obchislennya matrici U displaystyle U Isnuyut deyaki metodi zmenshennya skladnosti cogo algoritmu cinoyu tochnosti Odnim iz metodiv ye usunennya poshuku na kroci masshtabu diferenciyuvannya Zamist obirati koeficiyent s displaystyle s z naboru koeficiyentiv priskorenij algoritm obiraye masshtab yakij bude stalim dlya vsih iteracij ta tochok s D s s I s c o n s t a n t displaystyle sigma D s sigma I s constant Hoch ce skorochennya prostoru poshuku j mozhe zmenshuvati skladnist cya zmina mozhe serjozno vplivati na zbizhnist matrici U displaystyle U AnalizZbizhnist Mozhlivo uyaviti sho cej algoritm mozhe vstanovlyuvati identichni osoblivi tochki v riznih masshtabah Oskilki garrisiv afinnij algoritm rozglyadaye kozhnu pochatkovu tochku zadanu viyavlyachem Garrisa Laplasa nezalezhno rozriznennya identichnih tochok nemaye Na praktici bulo pokazano sho vsi ci tochki zreshtoyu zbigatimutsya do odniyeyi j tiyeyi zh osoblivoyi tochki Pislya zavershennya vstanovlyuvannya vsih osoblivih tochok algoritm vrahovuye dublikati shlyahom porivnyuvannya prostorovih koordinat x displaystyle mathbf x masshtabu integruvannya s I displaystyle sigma I miri izotropnosti l min U l max U displaystyle tfrac lambda min U lambda max U ta skosu Yaksho ci parametri osoblivih tochok shozhi v mezhah zadanogo porogu yih poznachayut yak dublikati Algoritm vidkidaye vsi ci dublovani tochki za vinyatkom osoblivoyi tochki najblizhchoyi do userednennya cih dublikativ Zazvichaj 30 garrisovih afinnih tochok ye dostatno vidminnimi ta neshozhimi shob ne buti vidkinutimi Mikolajchik ta Shmid 2004 pokazali sho pochatkovi tochki chasto 40 ne zbigayutsya Cej algoritm viyavlyaye cyu rozbizhnist zupinyayuchi iterativnij algoritm yaksho obernennya miri izotropnosti perevishuye zadanij porig l max U l min U gt t diverge displaystyle tfrac lambda max U lambda min U gt t text diverge Mikolajchik ta Shmid 2004 vikoristovuyut t d i v e r g e 6 displaystyle t diverge 6 Dlya tih yaki dijsno zbigalisya tipove chislo neobhidnih iteracij stanovilo 10 Kilkisna mira Kilkisnij analiz afinnih viyavlyachiv oblastej vrahovuye yak tochnist roztashuvannya tochok tak i perekrittya oblastej na dvoh zobrazhennyah Mikolajchik ta Shmid 2004 rozshiryuyut mi ru povto ryuvanosti angl repeatability measure Shmid zi spivavt 1998 yak vidnoshennya tochkovih vidpovidnostej do minimumu viyavlenih tochok dvoh zobrazhen R score C A B min n A n B displaystyle R text score frac C A B min n A n B de C A B displaystyle C A B chislo vidpovidnih tochok u zobrazhennyah A displaystyle A ta B displaystyle B n B displaystyle n B ta n A displaystyle n A chislo viyavlenih tochok u vidpovidnih zobrazhennyah Oskilki kozhne zobrazhennya podaye trivimirnij prostir mozhe stavatisya tak sho odne zobrazhennya mistit ob yekti vidsutni v drugomu zobrazhenni j vidtak osoblivi tochki yakih ne mayut shansiv mati vidpovidni Shobi zrobiti miru povtoryuvanosti chinnoyu ci tochki usuvayut i musyat vrahovuvati lishe tochki sho lezhat na oboh zobrazhennyah n A displaystyle n A ta n B displaystyle n B vrahovuyut ci tochki tak sho x A H x B displaystyle x A H cdot x B Dlya pari z dvoh zobrazhen pov yazanih cherez matricyu en H displaystyle H kazhut sho dvi tochki x a displaystyle mathbf x a ta x b displaystyle mathbf x b vidpovidni yaksho Oblast perekrittya dvoh eliptichnih oblastej Pohibka v polozhennyah pikseliv mensha za 1 5 pikseli x a H x b lt 1 5 displaystyle mathbf x a H cdot mathbf x b lt 1 5 Po hibka perekrittya angl overlap error cih dvoh afinnih tochok ϵ S displaystyle epsilon S musit buti menshoyu za vkazanij porig zazvichaj 40 Dlya afinnih oblastej cya pohibka perekrittya taka ϵ S 1 m a H T m b H m a H T m b H displaystyle epsilon S 1 frac mu a cap H T mu b H mu a cup H T mu b H de m a displaystyle mu a ta m b displaystyle mu b vstanovleni eliptichni oblasti chiyi tochki zadovolnyayut m T x m 1 displaystyle mu T mathbf x mu 1 Po suti cya mira bere vidnoshennya dvoh plosh ploshi perekrittya peretinu ta zagalnoyi ploshi ob yednannya Idealne perekrittya matime odinichne vidnoshennya i matime ϵ S 0 displaystyle epsilon S 0 Rizni masshtabi vplivayut na oblast perekrittya j vidtak musyat vrahovuvatisya unormovuvannyam plosh kozhnoyi z osoblivih oblastej Oblasti z pohibkoyu perekrittya do 50 pridatni viyavlyachi dlya zistavlyannya yih iz dobrim opisuvachem Druga mira oci nka zbi gu angl matching score ocinyuye zdatnist viyavlyacha vstanovlyuvati vidpovidni tochki mizh zobrazhennyami praktichnishe Dlya vstanovlyuvannya vidpovidnih tochok Mikolajchik ta Shmid 2005 vikoristovuyut opisuvach SIFT Na dodachu do togo shobi buti najblizhchimi tochkami v prostori SIFT dvi vidpovidni tochki takozh musyat mati dostatno malu pohibku perekrittya yak viznacheno v miri povtoryuvanosti Ocinka zbigu ce vidnoshennya chisla zistavlenih tochok ta minimumu vsih viyavlenih tochok u kozhnomu zobrazhenni M s c o r e M A B min n A n B displaystyle M score frac M A B min n A n B de M A B displaystyle M A B chislo zistavlenih tochok a n B displaystyle n B ta n A displaystyle n A chisla viyavlenih oblastej u vidpovidnih zobrazhennyah Stijkist shodo afinnih ta inshih peretvoren Mikolajchik zi spivavt 2005 proveli retelnij analiz kilkoh afinnih viyavlyachiv oblastej rivnya ostannih dosyagnen garrisovogo afinnogo gessiannogo afinnogo viyavlyachiv MSEO oblastej na osnovi ekstremumiv yaskravosti angl IBR ta na osnovi konturiv angl EBR ta en viyavlyacha U hodi svogo ocinyuvannya Mikolajchik zi spivavt analizuvali yak strukturovani tak i teksturovani zobrazhennya Dvijkovi fajli cih viyavlyachiv dlya Linuks ta yihni perevirni zobrazhennya dostupni vilno na yihnij vebstorinci Dali jde korotkij pidsumok rezultativ Mikolajchika zi spivavt 2005 kilkisnishij analiz div u Porivnyanni afinnih viyavlyachiv oblastej angl Zmina kuta tochki oglyadu garrisiv afinnij viyavlyach maye dostatnyu serednyu stijkist shodo cih tipiv zmin Vin pidtrimuye ocinku povtoryuvanosti ponad 50 do kuta oglyadu ponad 40 gradusiv Cej viyavlyach shilnij viyavlyati velike chislo povtoryuvanih i vidpovidnih oblastej navit za velikoyi zmini tochki oglyadu Zmina masshtabu garrisiv afinnij viyavlyach za zmin masshtabu lishayetsya duzhe stabilnim Nezvazhayuchi na te sho chislo tochok znachno zmenshuyetsya za velikih zmin masshtabu ponad 2 8 ocinki povtoryuvanosti 50 60 ta zbigu 25 30 lishayutsya duzhe stalimi osoblivo dlya teksturovanih zobrazhen Ce uzgodzhuyetsya z visokoyu produktivnistyu iterativnogo algoritmu avtomatichnogo obirannya masshtabu Rozmiti zobrazhennya garrisiv afinnij viyavlyach za rozmivannya zobrazhennya lishayetsya duzhe stabilnim Oskilki vin ne pokladayetsya na segmentuvannya zobrazhen chi mezhi oblastej ocinki povtoryuvanosti ta zbigu lishayutsya stalimi Artefakti JPEG garrisiv afinnij viyavlyach girshaye podibno do inshih afinnih viyavlyachiv ocinki povtoryuvanosti ta zbigu znachno padayut pri stisnenni ponad 80 Zmini osvitlenosti garrisiv afinnij viyavlyach yak j inshi afinni viyavlyachi duzhe stijkij shodo zmin osvitlenosti ocinki povtoryuvanosti ta zbigu za znizhennya osvitlenosti zalishayutsya nezminnimi Cogo slid ochikuvati oskilki ci viyavlyachi znachnoyu miroyu pokladayutsya na vidnosni yaskravosti pohidni a ne na absolyutni Zagalni shilnosti Tochki garrisovih afinnih oblastej yak pravilo mali ta chislenni Yak garrisiv afinnij tak i gessiannij afinnij viyavlyachi stabilno vstanovlyuyut vdvichi bilshe povtoryuvanih tochok anizh inshi afinni viyavlyachi 1000 oblastej dlya zobrazhennya 800x640 Neveliki oblasti ridshe buvayut zatulenimi ale mayut menshij shans perekrivati susidni oblasti Garrisiv afinnij viyavlyach dobre reaguye na teksturovani sceni v yakih bagato kutopodibnih chastin Prote dlya deyakih strukturovanih scen yak ot budivel duzhe dobre pracyuye gessiannij afinnij viyavlyach Ce dopovnyuyut MSEO yaki pracyuyut krashe z dobre strukturovanimi segmentovanimi scenami Zagalom garrisiv afinnij viyavlyach pracyuye duzhe dobre ale vse zh vidstaye vid MSEO ta gessiannogo afinnogo u vsih vipadkah krim rozmitih zobrazhen Garrisiv afinnij ta gessiannij afinnij viyavlyachi mensh tochni nizh inshi yihnya ocinka povtoryuvanosti zrostaye zi zbilshennyam porogu perekrittya Viyavleni afinnoinvariantni oblasti vse she mozhut vidriznyatisya svoyim povertannyam ta osvitlennyam Bud yakij opisuvach sho vikoristovuye ci oblasti povinen zabezpechuvati taku invariantnist pri vikoristanni cih oblastej dlya zistavlennya abo inshih porivnyan ZastosuvannyaPoshuk zobrazhen za vmistom Rozpiznavannya na osnovi modelej Poshuk ob yektiv u video Vizualnij analiz danih vstanovlyuvannya vazhlivih ob yektiv personazhiv ta scen u video Rozpiznavannya ta kategorizuvannya ob yektiv Analiz zobrazhen distancijnogo zonduvannya viyavlyannya ob yektiv u zobrazhennyah distancijnogo zonduvannyaProgramni paketiAffine Covariant Features K Mikolajchik pidtrimuye vebstorinku yaka mistit dvijkovi fajli dlya Linux garrisovogo afinnogo viyavlyacha na dodachu do inshih viyavlyachiv ta opisuvachiv Takozh dostupnij kod Matlab yakij mozhlivo vikoristovuvati dlya ilyustraciyi ta obchislennya povtoryuvanosti riznih viyavlyachiv Kod i zobrazhennya takozh dostupni dlya dublyuvannya rezultativ otrimanih u praci Mikolajchika zi spivavt 2005 lip vireo dvijkovij kod dlya Linux Windows ta SunOS vid doslidnickoyi grupi VIREO div bilshe na yihnij domashnij storinciPosilannya slajdi prezentaciyi Mikolajchika zi spivavt do yihnoyi praci 2005 roku 2 Laboratoriya komp yuternogo bachennya Kordeliyi Shmid 3 kod perevirni zobrazhennya bibliografiya afinnih kovariantnih oznak yaki vedut Kristian Mikolajchik ta Grupa vizualnoyi geometriyi z Grupi robototehniki Oksfordskogo universitetu 4 bibliografiya viyavlyachiv oznak i plyam pidtrimuvana Institutom robototehniki ta intelektualnih sistem Universitetu Pivdennoyi Kaliforniyi 5 Cifrove vtilennya laplasiana gaussianaDiv takozhGessiannij afinnij viyavlyach MSEO en Prostir masshtabiv Izotropiya Viyavlyannya kutiv Viyavlyannya osoblivih tochok Afinne pristosovuvannya formi Pohidna zobrazhennya Komp yuterne bachennya ASIFT gt Affine Sift povnistyu afinnoinvariantnij algoritm zistavlyannya zobrazhen PrimitkiK Mikolajczyk T Tuytelaars C Schmid A Zisserman J Matas F Schaffalitzky T Kadir and L Van Gool A comparison of affine region detectors In IJCV 65 1 2 43 72 2005 angl Mikolajcyk K and Schmid C 2002 An affine invariant interest point detector In Proceedings of the 8th International Conference on Computer Vision Vancouver Canada 2004 07 23 u Wayback Machine angl T Lindeberg and J Garding 1997 Shape adapted smoothing in estimation of 3 D depth cues from affine distortions of local 2 D structure Image and Vision Computing 15 pp 415 434 angl A Baumberg 2000 Reliable feature matching across widely separated views Proceedings of IEEE Conference on Computer Vision and Pattern Recognition pages I 1774 1781 angl Lindeberg Tony Scale Space Theory in Computer Vision Kluwer Academic Publishers 1994 ISBN 0 7923 9418 6 angl T Lindeberg 1998 Feature detection with automatic scale selection International Journal of Computer Vision 30 2 pp 77 116 angl Lindeberg T 2008 Scale space U Wah Benjamin red Encyclopedia of Computer Science and Engineering T IV John Wiley and Sons s 2495 2504 doi 10 1002 9780470050118 ecse609 ISBN 978 0470050118 angl C Harris and M Stephens 1988 A combined corner and edge detector Proceedings of the 4th Alvey Vision Conference pages 147 151 2007 09 16 u Wayback Machine angl K Mikolajczyk and C Schmid Indexing based on scale invariant interest points In Proceedings of the 8th International Conference on Computer Vision Vancouver Canada pages 525 531 2001 2012 02 09 u Wayback Machine angl Schmid C Mohr R and Bauckhage C 2000 Evaluation of interest point detectors International Journal of Computer Vision 37 2 151 172 angl Mikolajczyk K and Schmid C 2004 Scale amp affine invariant interest point detectors International Journal on Computer Vision 60 1 63 86 angl Spatial Filters Laplacian Laplacian of Gaussian 2007 11 20 u Wayback Machine angl C Schmid R Mohr and C Bauckhage Comparing and evaluating interest points In International Conference on Computer Vision pp 230 135 1998 angl J Matas O Chum M Urban and T Pajdla Robust wide baseline stereo from maximally stable extremal regions In BMVC p 384 393 2002 angl T Tuytelaars and L Van Gool Matching widely separated views based on affine invariant regions In IJCV 59 1 61 85 2004 angl T Kadir A Zisserman and M Brady An affine invariant salient region detector In ECCV p 404 416 2004 angl http staff science uva nl gevers pub overview pdf angl R Datta J Li and J Z Wang Content based image retrieval Approaches and trends of the new age In Proc Int Workshop on Multimedia Information Retrieval pp 253 262 2005 IEEE Transactions on Multimedia vol 7 no 1 pp 127 142 2005 2007 09 28 u Wayback Machine angl J Sivic and A Zisserman Video google A text retrieval approach to object matching in videos In Proceedings of the International Conference on Computer Vision Nice France 2003 nedostupne posilannya angl J Sivic and A Zisserman Video data mining using configurations of viewpoint invariant regions In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Washington DC USA pp 488 495 2004 nedostupne posilannya angl G Dorko and C Schmid Selection of scale invariant neighborhoods for object class recognition In Proceedings of International Conference on Computer Vision Nice France pp 634 640 2003 angl Beril Sirmacek and Cem Unsalan January 2011 A probabilistic framework to detect buildings in aerial and satellite images PDF IEEE Transactions on Geoscience and Remote Sensing 49 1 211 221 Bibcode 2011ITGRS 49 211S doi 10 1109 TGRS 2010 2053713 S2CID 10637950 angl