Демозаїкізація або дебаєрізація алгоритм який використовуються для відтворення повного кольорового зображення з неповних

Демозаїкізація (або дебаєрізація) — алгоритм, який використовуються для відтворення повного кольорового зображення з неповних вихідних даних з сенсора зображення, закритого (МКФ). Процедура також відома як реконструкція кольору.

Більшість сучасних камер використовують єдиний сенсор зображення, вкритий МКФ; таким чином, демозаїкізація є частиною послідовності процесу обробки зображення, що є необхідною для переводу цих зображень у формат, доступний для перегляду

Багато сучасних цифрових камер можуть зберігати зображення у «сирому форматі», що дозволяє користувачу проводити процес демозаїкізації за допомогою зовнішнього програмного забезпечення, а не використовуючи прошивку камери.

Мета

Метою демозаїкізації є відтворення повного кольорового зображення (тобто, повного набору кольорових трійок) з неповного набору вихідних даних з МКФ. Алгоритм повинен мати такі властивості:

Уникати створювати кольорові артефакти, такі як хроматичний аліасинг, зіперінг (різка неприродна зміна насиченості поміж сусідніми пікселями) та фіолетові ореоли.
Максимально зберігати роздільність зображення.
Низька алгоритмічна складність для швидкої обробки або ефективної вбудованої апаратної реалізації.
Доступність для аналізу для правильного зниження шуму.

Масив кольорових фільтрів

Баєровське розташування кольорових фільтрів на масиві пікселів сенсора зображена. Кожна клітка 2 на 2 містить два зелених, один червоний і один синій піксель.

Масив кольорових фільтрів являє собою мозаїку кольорових фільтрів перед сенсором зображення. Найбільш вживаною конфігурацією МКФ є баєрівський фільтр, що показаний на ілюстрації. Він має змінні червоний (R) та зелений (G) фільтри на непарних рядках та зелений (G) та синій (B) фільтри на парних. Зелених фільтрів удвічі більше, ніж червоних або синіх, оскільки чутливість людського ока до зеленого світла найвища.

Через те, що кольорова підвибірка МКФ за своєю природою веде до аліасингу, зазвичай використовується також оптичний анти-аліасинговий фільтр, що зазвичай розташований між сенсором та об'єктивом для зниження кольорових артефактів (хроматичних аліасів), що з'являються внаслідок інтерполяції.

Через те що кожного пікселя сенсора вкрито кольоровим фільтром, на виході маємо масив пиксельних значень інтенсивності яскравості для одного з трьох кольорів. Тобто, алгоритм повинен оцінювати значення усіх трьох компонентів для кожного пікселя, а не тільки одного з трьох.

Ілюстрація

Для відтворення повного кольорового зображення з даних МКФ потрібна певна форма інтерполяції.

У цьому зразку ми використовуємо бікубічну інтерполяцію Adobe Photoshop для симуляції схеми пристрою з баєровським фільтром, такого як цифрова камера.

Зображення нижче симулює вихідні дані з сенсору, вкритого Баєровським фільтром; кожен піксель має тільки червоний, зелений або синій компонент. Оригінальне зображення показано поруч с реконструйованим у кінці секції.


Зразок Баєровського фільтра

Червоний	Зелений	Синій

Цифрова камера зазвичай має засоби для реконструкції повного кольорового зображення, використовуючи інформацію вище. Результат може виглядати якось так:


Оригінал	Реконструкція

Реконструйоване зображення зазвичай доволі точне на однокольорових ділянках, проте втрачає роздільність (деталі та різкість) та має артефакти на краях (наприклад, краї літер мають видиму кольорову кайму та деякі нерівності).

Алгоритми

Проста інтерполяція

Ці алгоритми є зразком багатовимірної інтерполяції на рівномірній сітці, вони використовують відносно прості математичні операції на найближчих включеннях того ж самого кольорового компоненту. Найпростішим методом є інтерполяція методом найближчого сусіда, що просто копіює суміжний піксель того ж каналу. Цей метод не підходить будь-де, де важлива якість, але може використовуватися для генерації превью при обмежених обчислювальних ресурсах. Іншим простим методом є білінійна інтерполяція, де червоний канал нечервоного пікселя обчислюється як середнє двох або чотирьох сусідніх червоних пікселей, так само для зеленого та синього. Більш складні методи інтерполюють незалежно, в межах кожної кольорової площини, включають в себе , та .

Незважаючи на те, що за допомогою цих методів можна отримати хороші результати для однородних ділянок зображення, вони схильні до створення серйозних артефактів демозаїкізації у ділянках з краями та деталями, коли використовуються з чистокольоровими МКФ. Проте лінійна інтерполяція може давати дуже хороші результати в поєднанні з просторово-спектральним (панхроматичним) МКФ. Можливо використовувати для демозаїкізації прості моделі формування зображень. У природних зображеннях у межах одного сегменту співвідношення кольорів повинно зберігатися. Цей факт було використано при створенні інтерполяції, чутливої до зображення, що використовується для демозаїкізації.

Кореляція пікселів у межах зображення

Більш складні демозаїкуючі алгоритмі використовують просторову та/або спектральну кореляцію пікселів у кольоровому зображенні. Просторова кореляція — це схильність пікселів приймати однакових кольорових значень у межах малих однорідних ділянок зображення. Спектральна кореляція — залежність між піксельними значеннями різних кольорових площин на маленькій ділянці зображення.

Ці алгоритми включають у себе:

Інтерполяція зі змінним числом градієнтів обчислює градієнти навколо цільового пікселя та використовує нижчий градієнт (що представляє гладші та більш подібні частини зображення) для оцнки. Використовувалася у першій версії dcraw та потерпала від кольорових артефактів.
Піксельне групування використовує припущення про природні зображення у своїх оцінках. Воно має менше кольорових артефактів, ніж метод змінного числа градієнтів; вперше представлене у dcraw 8.71 як «Групування пікселів по шаблону».
Адаптивна однорідно-направлена інтерполяція обирає напрям інтерполяції таким чином, щоб максимізувати метрику однорідності, що зазвичай мінімізує кольорові артефакти. Вона була впроваджена у останніх версіях dcraw.

Компроміси

Деякі методи можуть давати кращий результат для природних зображень, а деякі — для печатних матеріалів. Також існує компроміс між швидкістю та якістю алгоритмів.

Використання у ПЗ для обробки зображень

При наявності доступу до зображення у сирому форматі з цифрової камери можливо використовувати комп'ютерне програмне забезпечення з асортиментом демозаїкуючих алгоритмів замість використання лише одного, вбудованого в камеру. Деякі програми, такі як RawTherapee, дають користувачу можливість вибирати проміж алгоритмів. Але більшість програм зазвичай використовують тільки один алгоритм. Різниця у прорисовці тонких деталей (та зернистих текстур), що викликана вибором алгоритму, є часто головною різницею проміж різних програм; часто фотографи обирають конкретну програму з естетичних міркувань, пов'язаних з цим ефектом.

Кольорові артефакти, викликані демозаїкізацією, дають важливу інформацію для визначення підробок.

Див. також

Фільтр Баєра

Примітки

Adrian Davies; Phil Fennessy (2001). (вид. Fourth). Focal Press. ISBN . Архів оригіналу за 7 березня 2021. Процитовано 20 жовтня 2016.
Lanlan Chang; Yap-Peng Tan. (PDF): 2. Архів оригіналу (PDF) за 29 грудня 2009. Процитовано 20 жовтня 2016.
Keigo Hirakawa; Patrick J. Wolfe. (PDF). Архів оригіналу (PDF) за 20 липня 2011.
R. Kimmel. Demosaicing: Image reconstruction from color CCD samples [ 22 вересня 2017 у Wayback Machine.]. IEEE Trans. on Image Processing, 8(9):1221–8, Sept. 1999.
Lanlan Chang; Yap-Peng Tan. (PDF). Архів оригіналу (PDF) за 29 грудня 2009. Процитовано 20 жовтня 2016.
Ting Chen. . Архів оригіналу за 22 квітня 2012. Процитовано 20 жовтня 2016.
Chuan-kai Lin, Portland State University (2004). . Архів оригіналу за 23 вересня 2016. Процитовано 20 жовтня 2016.
Kiego Hirakawa; . (PDF). Архів оригіналу (PDF) за 24 лютого 2021. Процитовано 20 жовтня 2016.
Decoding raw digital photos in Linux [ 19 жовтня 2016 у Wayback Machine.], Dave Coffin.
YiZhen Huang; YangJing Long (2008). (PDF). Proc. IEEE Conference on Computer Vision and Pattern Recognition: 1—8. Архів оригіналу (PDF) за 17 червня 2010. Процитовано 20 жовтня 2016.

[1] Adrian Davies; Phil Fennessy (2001). (вид. Fourth). Focal Press. ISBN . Архів оригіналу за 7 березня 2021. Процитовано 20 жовтня 2016.

[2] Lanlan Chang; Yap-Peng Tan. (PDF): 2. Архів оригіналу (PDF) за 29 грудня 2009. Процитовано 20 жовтня 2016.

[3] Keigo Hirakawa; Patrick J. Wolfe. (PDF). Архів оригіналу (PDF) за 20 липня 2011.

[4] R. Kimmel. Demosaicing: Image reconstruction from color CCD samples [ 22 вересня 2017 у Wayback Machine.]. IEEE Trans. on Image Processing, 8(9):1221–8, Sept. 1999.

[5] Lanlan Chang; Yap-Peng Tan. (PDF). Архів оригіналу (PDF) за 29 грудня 2009. Процитовано 20 жовтня 2016.

[6] Ting Chen. . Архів оригіналу за 22 квітня 2012. Процитовано 20 жовтня 2016.

[7] Chuan-kai Lin, Portland State University (2004). . Архів оригіналу за 23 вересня 2016. Процитовано 20 жовтня 2016.

[8] Kiego Hirakawa; . (PDF). Архів оригіналу (PDF) за 24 лютого 2021. Процитовано 20 жовтня 2016.

[9] Decoding raw digital photos in Linux [ 19 жовтня 2016 у Wayback Machine.], Dave Coffin.

[10] YiZhen Huang; YangJing Long (2008). (PDF). Proc. IEEE Conference on Computer Vision and Pattern Recognition: 1—8. Архів оригіналу (PDF) за 17 червня 2010. Процитовано 20 жовтня 2016.