Оптичний потік

Опти́чний поті́к (англ. optical flow, optic flow) — це схема видимого руху об'єктів, поверхонь і граней у зоровій сцені, спричинюваного ^[en] спостерігача та сцени. Оптичний потік також можливо визначити як розподіл видимих швидкостей руху візерунку яскравості в зображенні. Поняття оптичного потоку було запроваджено американським психологом ^[en] у 1940-х роках для опису зорових стимулів, що виникають у тварин, які рухаються світом. Джеймс Ґібсон наголосив на важливості оптичного потоку для сприймання можливостей, здатності розрізнювати можливості для дій у середовищі. Послідовники Ґібсона та його екологічного підходу до психології згодом показати роль стимулу оптичного потоку для сприймання руху спостерігачем у світі; сприймання форми, відстані й руху об'єктів у світі; та контролю пересування.

Оптичний потік, який сприймається спостерігачем, що обертається (в даному прикладі мухою). Напрямок та величина оптичного потоку в кожній позиції подано стрілками відповідного напрямку і довжини.

Термін «оптичний потік» також використовують робототехніки, охоплюючи споріднені методики з обробки зображень та керування навігацією, включно з виявлянням руху, сегментуванням об'єктів, інформацією про час до контакту, обчисленнями фокусу розширення, освітленістю, кодуванням компенсації руху, та вимірюванням стереодиспаритету.

Оцінювання

Послідовності впорядкованих зображень уможливлюють оцінювання руху або як миттєвих швидкостей зображення, або як дискретних зміщень зображень. Фліт та Вейсс пропонують навчальний посібник з оптичного потоку на основі градієнта. Джон Л. Баррон, Девід Дж. Фліт та Стівен Бошемен пропонують аналіз продуктивності низки методик оптичного потоку, з наголосом на точності та густоті вимірювань.

Методи оптичного потоку намагаються обчислювати рух між двома кадрами, що було знято в моменти часу ${\displaystyle t}$ та ${\displaystyle t+\Delta t}$, в положенні кожного вокселя. Ці методи називають диференціальними, оскільки вони ґрунтуються на локальних наближеннях сигналу зображення рядами Тейлора, тобто, вони використовують частинні похідні за просторовими та часовими координатами.

Для (2D + t)-вимірного випадку (випадки 3D та n-D є подібними) воксель у положенні ${\displaystyle (x,y,t)}$ з інтенсивністю ${\displaystyle I(x,y,t)}$ буде переміщено між цими двома кадрами на ${\displaystyle \Delta x}$, ${\displaystyle \Delta y}$ та ${\displaystyle \Delta t}$, й може бути задано наступне обмеження сталості яскравості (англ. brightness constancy constraint):

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Якщо виходити з того, що переміщення є невеликим, це обмеження зображення в ${\displaystyle I(x,y,t)}$ може бути розгорнуло за допомогою ряду Тейлора в

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\,\Delta x+{\frac {\partial I}{\partial y}}\,\Delta y+{\frac {\partial I}{\partial t}}\,\Delta t+{}}$^[en]

При відкиданні членів вищих порядків (що здійснює лінеаризацію) з цього випливає, що

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

або, при діленні на ${\displaystyle \Delta t}$,

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

що в результаті дає

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

де ${\displaystyle V_{x},V_{y}}$ є складовими ${\displaystyle x}$ та ${\displaystyle y}$ швидкості або оптичного потоку ${\displaystyle I(x,y,t)}$, а ${\displaystyle {\tfrac {\partial I}{\partial x}}}$, ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ та ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ є похідними зображення в ${\displaystyle (x,y,t)}$ у відповідних напрямках. Далі ці похідні може бути позначено через ${\displaystyle I_{x}}$,${\displaystyle I_{y}}$ та ${\displaystyle I_{t}}$.

Отже:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

або

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

Це — рівняння з двома невідомими, й саме по собі розв'язаним бути не може. Це відоме як ^[en] (англ. aperture problem) в алгоритмах оптичного потоку. Щоби знайти оптичний потік, потрібен інший набір рівнянь, заданий деяким додатковим обмеженням. Для оцінювання фактичного потоку всі алгоритми оптичного потоку запроваджують додаткові умови.

Методи визначення

• Фазова кореляція — обернення унормованого ^[en]
• Блокові методи — мінімізування суми квадратів різниць, або ^[en], або максимізування унормованої взаємної кореляції
• Диференціальні методи оцінювання оптичного потоку, що ґрунтуються на частинних похідних сигналу зображення та/або шуканого поля потоку та частинних похідних вищого порядку, такі як:
  • Метод Лукаса — Канаде — стосовно клаптиків зображення та афінної моделі для поля потоку
  • Метод Горна — Шунка — оптимізування функціоналу на основі залишків від обмеження сталості яскравості, та певного члена регуляризації, що виражає очікувану плавність поля потоку
  •  — ґрунтується на моделі руху контурів у послідовностях зображень
  •  — грубий оптичний потік через кореляцію
  • Загальні варіаційні методи — низка видозмін/розширень Горна — Шунка, що використовують інші члени даних, та інші члени гладкості.
• Дискретні методи оптимізації — простір пошуку дискретизується, й узгодження зображення відтак обробляється через призначування міток на кожному пікселі таким чином, що відповідне деформування мінімізує відстань між первинним та цільовим зображеннями. Оптимальний розв'язок часто добувають через алгоритми теореми про максимальний потік, мінімальний розріз, лінійне програмування, або методи ^[en].

Багато з них, на додачу до поточних алгоритмів на рівні останніх досягнень, оцінюють на наборі даних Middlebury Benchmark Dataset. Іншими популярними наборами даних є KITTI та Sintel.

Використання

Головними аспектами дослідження оптичного потоку стали оцінювання руху та стискання відео. Хоча поле оптичного потоку на перший погляд і схоже на щільне поле руху, отримуване за допомогою методик оцінювання руху, оптичний потік є дослідженням не лише визначення самого поля оптичного потоку, але також і його використання в оцінюванні тривимірної природи та структури сцени, як і тривимірного руху об'єктів та спостерігача відносно сцени, де здебільшого використовують якобіан зображення.

Дослідники в галузі робототехніки використовували оптичний потік в багатьох областях, таких як виявляння та відстежування об'єктів, виділяння основного плану зображення, виявляння руху, навігація роботів та візуальна одометрія. Інформацію оптичного потоку визнавали корисною для керування мініатюрними літальними апаратами.

До застосувань оптичного потоку належить задача висновування не лише руху спостерігача та об'єктів у сцені, але також і структури об'єктів та середовища. Оскільки усвідомлення руху та породжування ментальних мап структури нашого середовища є критичними складовими тваринного (та людського) зору, перетворення цієї вродженої здібності на комп'ютерну здатність є так само вирішальним й у галузі зору машинного.

Вектор оптичного потоку руху об'єкта в послідовності відео.

Розгляньмо п'ятикадровий кліп руху м'яча з лівої нижньої частини поля зору до правої верхньої. Методики оцінювання руху можуть визначити, що на двовимірній площині м'яч рухається вгору та праворуч, й вектори, що описують цей рух, можливо виділити з цієї послідовності кадрів. Для цілей стискання відео (наприклад, MPEG), послідовність тепер описано настільки добре, наскільки потрібно. Проте в галузі машинного зору питання про те, чи це м'яч рухається праворуч, чи спостерігач рухається ліворуч, є непізнанною, але критичною інформацією. Навіть якби в цих п'яти кадрах було присутнє статичне візерункове тло, ми не змогли би з упевненістю стверджувати, що м'яч рухався праворуч, оскільки цей візерунок міг мати нескінченну відстань від спостерігача.

Давач оптичного потоку

Не слід плутати з ^[en].

Давач оптичного потоку — це ^[en], здатний вимірювати оптичний потік або візуальний рух, та видавати вимірювання, що ґрунтуються на оптичному потоці. Існують різноманітні конфігурації давачів оптичного потоку. Однією з конфігурацій є чип давача зображення, з'єднаний з процесором, запрограмованим виконувати алгоритм оптичного потоку. Інша конфігурація використовує зоровий чип, що є інтегрованою схемою, яка має як давач зображення, так і процесор, на одному й тому ж кристалі, що уможливлює компактне втілення. Таким прикладом є звичайний давач оптичної миші. У деяких випадках схему обробки може бути втілено із застосуванням схем з аналоговим або змішаними сигналами для уможливлення швидкого обчислювання оптичного потоку з мінімальним споживанням струму.

Однією з областей сучасних досліджень є застосування методик нейроморфної інженерії для втілення схем, що реагують на оптичний потік, і відтак можуть бути доречними для використання в давачі оптичного потоку. Такі схеми можуть черпати натхнення з біологічних нейронних схем, що реагують на оптичний потік подібним чином.

Давачі оптичного потоку широко використовують у комп'ютерних оптичних мишах як головну давачеву складову для вимірювання руху миші поверхнею.

Давачі оптичного потоку використовують також і в робототехніці, переважно де є потреба у вимірюванні візуального руху або відносного руху робота та інших об'єктів поблизу робота. Однією з областей поточних досліджень також є використання давачів оптичного потоку в безпілотних літальних апаратах (БПЛА) задля забезпечення стабільності та уникання перешкод.

Див. також

• ^[en]
• Оптична миша
• Дальнісне зображення
• Зоровий процесор
• Рівняння неперервності

Примітки

1. Burton, Andrew; Radford, John (1978). Thinking in Perspective: Critical Essays in the Study of Thought Processes. Routledge. ISBN . (англ.)
2. Warren, David H.; Strelow, Edward R. (1985). Electronic Spatial Sensing for the Blind: Contributions from Perception. Springer. ISBN . (англ.)
3. Horn, Berthold K.P.; Schunck, Brian G. (August 1981). Determining optical flow (PDF). Artificial Intelligence (англ.). 17 (1–3): 185—203. doi:10.1016/0004-3702(81)90024-2. hdl:1721.1/6337. (англ.)
4. Gibson, J.J. (1950). The Perception of the Visual World. Houghton Mifflin. (англ.)
5. Royden, C. S.; Moore, K. D. (2012). Use of speed cues in the detection of moving objects by moving observers. Vision Research. 59: 17—24. doi:10.1016/j.visres.2012.02.006. PMID 22406544. S2CID 52847487. (англ.)
6. Aires, Kelson R. T.; Santana, Andre M.; Medeiros, Adelardo A. D. (2008). Optical Flow Using Color Information (PDF). ACM New York, NY, USA. ISBN . (англ.)
7. Beauchemin, S. S.; Barron, J. L. (1995). The computation of optical flow. ACM Computing Surveys. ACM New York, USA. 27 (3): 433—466. doi:10.1145/212094.212141. S2CID 1334552. (англ.)
8. Fleet, David J.; Weiss, Yair (2006). Optical Flow Estimation (PDF). У Paragios, Nikos; Chen, Yunmei; Faugeras, Olivier D. (ред.). Handbook of Mathematical Models in Computer Vision. Springer. с. 237—257. ISBN . (англ.)
9. Barron, John L.; Fleet, David J. & Beauchemin, Steven (1994). Performance of optical flow techniques (PDF). International Journal of Computer Vision. 12: 43—77. CiteSeerX 10.1.1.173.481. doi:10.1007/bf01420984. S2CID 1290100. (англ.)
10. Zhang, G.; Chanson, H. (2018). Application of Local Optical Flow Methods to High-Velocity Free-surface Flows: Validation and Application to Stepped Chutes (PDF). Experimental Thermal and Fluid Science. 90: 186—199. doi:10.1016/j.expthermflusci.2017.09.010. (англ.)
11. Glyn W. Humphreys and ^[en] (1989). Visual Cognition. Psychology Press. ISBN . (англ.)
12. B. Glocker; N. Komodakis; G. Tziritas; N. Navab; N. Paragios (2008). (PDF). Medical Image Analysis Journal. Архів оригіналу (PDF) за 18 січня 2022. Процитовано 3 листопада 2021. (англ.)
13. Baker, Simon; Scharstein, Daniel; Lewis, J. P.; Roth, Stefan; Black, Michael J.; Szeliski, Richard (March 2011). A Database and Evaluation Methodology for Optical Flow. International Journal of Computer Vision (англ.). 92 (1): 1—31. doi:10.1007/s11263-010-0390-2. ISSN 0920-5691. S2CID 316800. (англ.)
14. Baker, Simon; Scharstein, Daniel; Lewis, J. P.; Roth, Stefan; Black, Michael J.; Szeliski, Richard. Optical Flow. vision.middlebury.edu. Процитовано 18 жовтня 2019. (англ.)
15. (8 травня 2017). The Image Jacobian. QUT Robot Academy. (англ.)
16. Barrows, G. L.; Chahl, J. S.; Srinivasan, M. V. (2003). Biologically inspired visual sensing and flight control. Aeronautical Journal. 107 (1069): 159—268. doi:10.1017/S0001924000011891 (неактивний 31 October 2021) — через Cambridge University Press.{{}}: Обслуговування CS1: Сторінки із неактивним DOI станом на жовтень 2021 () (англ.)
17. Brown, Christopher M. (1987). Advances in Computer Vision. Lawrence Erlbaum Associates. ISBN . (англ.)
18. Moini, Alireza (2000). Vision Chips. Boston, MA: Springer US. ISBN . OCLC 851803922. (англ.)
19. Mead, Carver (1989). Analog VLSI and neural systems. Reading, Mass.: Addison-Wesley. ISBN . OCLC 17954003. (англ.)
20. Stocker, Alan A. (2006). Analog VLSI circuits for the perception of visual motion. Chichester, England: John Wiley & Sons. ISBN . OCLC 71521689. (англ.)
21. Floreano, Dario; Zufferey, Jean-Christophe; Srinivasan, Mandyam V.; Ellington, Charlie, ред. (2009). Flying insects and robots. Heidelberg: Springer. ISBN . OCLC 495477442. (англ.)

Посилання

• Finding Optic Flow (англ.)
• Стаття Art of Optical Flow на fxguide.com (з використанням оптичного потоку у візуальних ефектах) (англ.)
• Optical flow evaluation and ground truth sequences. (англ.)
• Middlebury Optical flow evaluation and ground truth sequences. (англ.)
• mrf-registration.net — оцінювання оптичного потоку за допомогою МВП (англ.)
• втілення оптичного потоку на основі Лукаса — Канаде на ГП (англ.)
• від CUVI (CUDA Vision & Imaging Library) (англ.)
• Horn and Schunck Optical Flow: інтерактивне демо та первинний код методу Горна та Шунка
• TV-L1 Optical Flow: інтерактивне демо та первинний код методу Зака та ін.
• Robust Optical Flow: інтерактивне демо та первинний код методу Брокса та ін.