Масштабопросторо́ве сегментува́ння (англ. scale-space segmentation) або багатомасшта́бне сегментува́ння (англ. multi-scale segmentation) — це загальна система для сегментування сигналів та зображень, яка ґрунтується на обчисленні описувачів зображення в кількох масштабах згладжування.
Одновимірне ієрархічне сегментування сигналу
Засаднича робота Віткіна в просторах масштабів містила ідею про те, що одновимірний сигнал можливо однозначно сегментувати на області, з одним параметром масштабу для контролю масштабу сегментування.
Ключове спостереження полягає в тому, що перетини нуля другими похідними (мінімуми та максимуми першої похідної, або нахилу) багатомасштабно згладжених версій сигналу утворюють дерево вкладеності, яке визначає ієрархічні відносини між сегментами в різних масштабах. Зокрема, екстремуми нахилу в грубих масштабах можливо простежувати до відповідних ознак у тонких масштабах. Коли максимум нахилу та мінімум нахилу знищують один одного на більшому масштабі, три розділені ними сегменти зливаються в один сегмент, відтак визначаючи ієрархію сегментів.
Сегментування зображень та первинний ескіз
У цій галузі було багато дослідницьких праць, деякі з яких досягли такого стану, коли їх можливо застосовувати або за допомогою інтерактивного ручного втручання (зазвичай із застосуванням до медичного унаочнювання), або повністю автоматично. Нижче наведено короткий огляд деяких основних дослідницьких ідей, на яких ґрунтуються сучасні підходи.
Втім, структура вкладеності, описана Віткіним, специфічна для одновимірних сигналів, і не передається тривіально на зображення більшої вимірності. Менше з тим, ця загальна ідея надихнула декількох інших авторів дослідити грубо—тонкі схеми для сегментування зображень. Коендерінк запропонував досліджувати, як контури ізояскравості змінюються з масштабом, і цей підхід було досліджено докладніше Ліфшицем і Пайзером. Проте, на жаль, яскравість ознак зображень змінюється з масштабом, що означає, що важко відстежити ознаки зображення грубого масштабу до тонших масштабів, використовуючи інформацію про ізояскравість.
Ліндеберг досліджував задачу зв'язування локальних екстремумів та сідлових точок над масштабами, й запропонував подання зображення, назване масштабопросторовим первинним ескізом (англ. scale-space primal sketch), яке робить явними відношення між структурами в різних масштабах, а також уточнює, які ознаки зображення є стабільними протягом великих діапазонів масштабів, включно з локально відповідними масштабами для них. Берґгольм запропонував виявляти контури на грубих масштабах простору масштабів, а потім простежувати їх до тонших масштабів з ручним вибором як масштабу грубого виявляння, так і масштабу тонкого визначення розташування.
Ґаух та Пайзер досліджували доповняльну задачу хребтів та долин у багатьох масштабах, і розробили інструмент для інтерактивного сегментування зображень на основі багатомасштабних [en] (англ. multi-scale watersheds). Використання багатомасштабного вододілу із застосуванням до градієнтної карти також було досліджено Олсеном та Нільсеном, і було перенесено до клінічного використання Демом зі співавт. Вінкен зі співавт. запропонували гіперстек для визначення ймовірнісних зв'язків між структурами зображень у різних масштабах. Ахуджа та його співробітники розширили використання стабільних структур зображень над масштабами до повністю автоматизованої системи. Повністю автоматичний алгоритм сегментування мозку, заснований на тісно пов'язаних ідеях багатомасштабних вододілів, було запропоновано Ундеманом та Ліндебергом, і було ретельно перевірено на базах даних мозку.
Ці ідеї для багатомасштабного сегментування зображень шляхом зв’язування структур зображення над масштабами також підхопили Флорак і Куйпер. Біжауї та Руе пов'язують структури, виявлені в просторі масштабів вище мінімального шумового порогу, в дерево об'єктів, яке охоплює декілька масштабів і відповідає свого роду ознаці у первинному сигналі. Виділені ознаки точно відновлюються за допомогою ітераційного методу матриці спряжених градієнтів.
Сегментування векторних функцій часу
Масштабопросторове сегментування було розширено Ліоном в іншому напрямку, до векторозначних функцій часу, де векторна похідна не має максимумів та мінімумів, а друга похідна не має перетинів нуля, шляхом розміщення меж сегментів натомість на максимумах евклідової величини векторної похідної згладжених векторних сигналів. Цю методику було застосовано для сегментування мовлення та тексту.
Примітки
- Witkin, A. P. "", Proc. 8th Int. Joint Conf. Art. Intell., Karlsruhe, Germany,1019--1022, 1983. (англ.)
- A. Witkin, "Scale-space filtering: A new approach to multi-scale description," in Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing ([en]), vol. 9, San Diego, CA, Mar. 1984, pp. 150--153. (англ.)
- Koenderink, Jan "The structure of images [ 8 серпня 2017 у Wayback Machine.]", Biological Cybernetics, 50:363--370, 1984 (англ.)
- Lifshitz, L. and Pizer, S.: A multiresolution hierarchical approach to image segmentation based on intensity extrema, IEEE Transactions on Pattern Analysis and Machine Intelligence, 12:6, 529 - 540, 1990. (англ.)
- Lindeberg, T.: Detecting salient blob-like image structures and their scales with a scale-space primal sketch: A method for focus-of-attention, International Journal of Computer Vision, 11(3), 283--318, 1993. [ 19 червня 2022 у Wayback Machine.] (англ.)
- Bergholm, F: Edge focusing, IEEE Transactions on Pattern Analysis and Machine Intelligence, 9:6, pages 726 - 741, 1987. (англ.)
- Gauch, J. and Pizer, S.: Multiresolution analysis of ridges and valleys in grey-scale images, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15:6 (June 1993), pages: 635 - 646, 1993. (англ.)
- Olsen, O. and Nielsen, M.: Multi-scale gradient magnitude watershed segmentation [ 19 червня 2022 у Wayback Machine.], Proc. of ICIAP 97, Florence, Italy, Lecture Notes in Computer Science, pages 6–13. Springer Verlag, September 1997. (англ.)
- Dam, E., Johansen, P., Olsen, O. Thomsen,, A. Darvann, T. , Dobrzenieck, A., Hermann, N., Kitai, N., Kreiborg, S., Larsen, P., Nielsen, M.: "Interactive multi-scale segmentation in clinical use" in European Congress of Radiology 2000. (англ.)
- Vincken, K., Koster, A. and Viergever, M.: , IEEE Transactions on Pattern Analysis and Machine Intelligence, 19:2, pp. 109-120, 1997.] (англ.)
- M. Tabb and N. Ahuja, Unsupervised multiscale image segmentation by integrated edge and region detection, IEEE Transactions on Image Processing, Vol. 6, No. 5, 642-655, 1997. [ 2011-07-20 у Wayback Machine.] (англ.)
- E. Akbas and N. Ahuja, "From Ramp Discontinuities to Segmentation Tree", Asian Conference on Computer Vision, 2009, Xi'an, China. (англ.)
- C. Undeman and T. Lindeberg (2003) "Fully Automatic Segmentation of MRI Brain Images using Probabilistic Anisotropic Diffusion and Multi-Scale Watersheds", Proc. Scale-Space'03, Isle of Skye, Scotland, Springer Lecture Notes in Computer Science, volume 2695, pages 641--656. [ 19 червня 2022 у Wayback Machine.] (англ.)
- Florack, L. and Kuijper, A.: The topological structure of scale-space images [ 20 серпня 2017 у Wayback Machine.], Journal of Mathematical Imaging and Vision, 12:1, 65-79, 2000. (англ.)
- Bijaoui, A., Rué, F.: 1995, A Multiscale Vision Model, Signal Processing 46, 345 (англ.)
- Richard F. Lyon. "Speech recognition in scale space," Proc. of 1987 ICASSP. San Diego, March, pp. 29.3.14, 1987. [ 17 лютого 2022 у Wayback Machine.] (англ.)
- Slaney, M. Ponceleon, D., "Hierarchical segmentation using latent semantic indexing in scalespace", Proc. Intl. Conf. on Acoustics, Speech, and Signal Processing (ICASSP '01) 2001 [ 19 вересня 2006 у Wayback Machine.] (англ.)
Див. також
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Masshtaboprostoro ve segmentuva nnya angl scale space segmentation abo bagatomasshta bne segmentuva nnya angl multi scale segmentation ce zagalna sistema dlya segmentuvannya signaliv ta zobrazhen yaka gruntuyetsya na obchislenni opisuvachiv zobrazhennya v kilkoh masshtabah zgladzhuvannya Prostir masshtabivMasshtaboprostorovi aksiomiVtilennya prostoru masshtabivViyavlyannya oznakViyavlyannya konturivViyavlyannya plyamViyavlyannya kutivViyavlyannya hrebtivViyavlyannya osoblivih tochokObirannya masshtabuAfinne pristosovuvannya formiMasshtaboprostorove segmentuvannyaOdnovimirnij priklad masshtaboprostorovogo segmentuvannya Signal chornij jogo zgladzheni bagatomasshtabovi versiyi chervoni j userednennya segmentiv sini na osnovi masshtaboprostorovogo segmentuvannya en sho vidpovidaye segmentuvannyam na risunku vishe Kozhen identifikuye polozhennya ekstremumu pershoyi pohidnoyi odniyeyi z 15 zgladzhenih versij signalu chervonij dlya maksimumiv sinij dlya minimumiv Kozhen viznachaye polozhennya do yakogo ekstremum vidstezhuyetsya v najtonshomu masshtabi Oznaki signalu yaki zberigayutsya do najvishogo masshtabu najgladkisha versiya ochevidni yak visoki strukturi yaki vidpovidayut mezham osnovnih segmentiv na risunku vishe Odnovimirne iyerarhichne segmentuvannya signaluZasadnicha robota Vitkina v prostorah masshtabiv mistila ideyu pro te sho odnovimirnij signal mozhlivo odnoznachno segmentuvati na oblasti z odnim parametrom masshtabu dlya kontrolyu masshtabu segmentuvannya Klyuchove sposterezhennya polyagaye v tomu sho peretini nulya drugimi pohidnimi minimumi ta maksimumi pershoyi pohidnoyi abo nahilu bagatomasshtabno zgladzhenih versij signalu utvoryuyut derevo vkladenosti yake viznachaye iyerarhichni vidnosini mizh segmentami v riznih masshtabah Zokrema ekstremumi nahilu v grubih masshtabah mozhlivo prostezhuvati do vidpovidnih oznak u tonkih masshtabah Koli maksimum nahilu ta minimum nahilu znishuyut odin odnogo na bilshomu masshtabi tri rozdileni nimi segmenti zlivayutsya v odin segment vidtak viznachayuchi iyerarhiyu segmentiv Segmentuvannya zobrazhen ta pervinnij eskizU cij galuzi bulo bagato doslidnickih prac deyaki z yakih dosyagli takogo stanu koli yih mozhlivo zastosovuvati abo za dopomogoyu interaktivnogo ruchnogo vtruchannya zazvichaj iz zastosuvannyam do medichnogo unaochnyuvannya abo povnistyu avtomatichno Nizhche navedeno korotkij oglyad deyakih osnovnih doslidnickih idej na yakih gruntuyutsya suchasni pidhodi Vtim struktura vkladenosti opisana Vitkinim specifichna dlya odnovimirnih signaliv i ne peredayetsya trivialno na zobrazhennya bilshoyi vimirnosti Menshe z tim cya zagalna ideya nadihnula dekilkoh inshih avtoriv dosliditi grubo tonki shemi dlya segmentuvannya zobrazhen Koenderink zaproponuvav doslidzhuvati yak konturi izoyaskravosti zminyuyutsya z masshtabom i cej pidhid bulo doslidzheno dokladnishe Lifshicem i Pajzerom Prote na zhal yaskravist oznak zobrazhen zminyuyetsya z masshtabom sho oznachaye sho vazhko vidstezhiti oznaki zobrazhennya grubogo masshtabu do tonshih masshtabiv vikoristovuyuchi informaciyu pro izoyaskravist Lindeberg doslidzhuvav zadachu zv yazuvannya lokalnih ekstremumiv ta sidlovih tochok nad masshtabami j zaproponuvav podannya zobrazhennya nazvane masshtaboprostorovim pervinnim eskizom angl scale space primal sketch yake robit yavnimi vidnoshennya mizh strukturami v riznih masshtabah a takozh utochnyuye yaki oznaki zobrazhennya ye stabilnimi protyagom velikih diapazoniv masshtabiv vklyuchno z lokalno vidpovidnimi masshtabami dlya nih Berggolm zaproponuvav viyavlyati konturi na grubih masshtabah prostoru masshtabiv a potim prostezhuvati yih do tonshih masshtabiv z ruchnim viborom yak masshtabu grubogo viyavlyannya tak i masshtabu tonkogo viznachennya roztashuvannya Gauh ta Pajzer doslidzhuvali dopovnyalnu zadachu hrebtiv ta dolin u bagatoh masshtabah i rozrobili instrument dlya interaktivnogo segmentuvannya zobrazhen na osnovi bagatomasshtabnih en angl multi scale watersheds Vikoristannya bagatomasshtabnogo vododilu iz zastosuvannyam do gradiyentnoyi karti takozh bulo doslidzheno Olsenom ta Nilsenom i bulo pereneseno do klinichnogo vikoristannya Demom zi spivavt Vinken zi spivavt zaproponuvali giperstek dlya viznachennya jmovirnisnih zv yazkiv mizh strukturami zobrazhen u riznih masshtabah Ahudzha ta jogo spivrobitniki rozshirili vikoristannya stabilnih struktur zobrazhen nad masshtabami do povnistyu avtomatizovanoyi sistemi Povnistyu avtomatichnij algoritm segmentuvannya mozku zasnovanij na tisno pov yazanih ideyah bagatomasshtabnih vododiliv bulo zaproponovano Undemanom ta Lindebergom i bulo retelno perevireno na bazah danih mozku Ci ideyi dlya bagatomasshtabnogo segmentuvannya zobrazhen shlyahom zv yazuvannya struktur zobrazhennya nad masshtabami takozh pidhopili Florak i Kujper Bizhauyi ta Rue pov yazuyut strukturi viyavleni v prostori masshtabiv vishe minimalnogo shumovogo porogu v derevo ob yektiv yake ohoplyuye dekilka masshtabiv i vidpovidaye svogo rodu oznaci u pervinnomu signali Vidileni oznaki tochno vidnovlyuyutsya za dopomogoyu iteracijnogo metodu matrici spryazhenih gradiyentiv Segmentuvannya vektornih funkcij chasuMasshtaboprostorove segmentuvannya bulo rozshireno Lionom v inshomu napryamku do vektoroznachnih funkcij chasu de vektorna pohidna ne maye maksimumiv ta minimumiv a druga pohidna ne maye peretiniv nulya shlyahom rozmishennya mezh segmentiv natomist na maksimumah evklidovoyi velichini vektornoyi pohidnoyi zgladzhenih vektornih signaliv Cyu metodiku bulo zastosovano dlya segmentuvannya movlennya ta tekstu PrimitkiWitkin A P Proc 8th Int Joint Conf Art Intell Karlsruhe Germany 1019 1022 1983 angl A Witkin Scale space filtering A new approach to multi scale description in Proc IEEE Int Conf Acoust Speech Signal Processing en vol 9 San Diego CA Mar 1984 pp 150 153 angl Koenderink Jan The structure of images 8 serpnya 2017 u Wayback Machine Biological Cybernetics 50 363 370 1984 angl Lifshitz L and Pizer S A multiresolution hierarchical approach to image segmentation based on intensity extrema IEEE Transactions on Pattern Analysis and Machine Intelligence 12 6 529 540 1990 angl Lindeberg T Detecting salient blob like image structures and their scales with a scale space primal sketch A method for focus of attention International Journal of Computer Vision 11 3 283 318 1993 19 chervnya 2022 u Wayback Machine angl Bergholm F Edge focusing IEEE Transactions on Pattern Analysis and Machine Intelligence 9 6 pages 726 741 1987 angl Gauch J and Pizer S Multiresolution analysis of ridges and valleys in grey scale images IEEE Transactions on Pattern Analysis and Machine Intelligence 15 6 June 1993 pages 635 646 1993 angl Olsen O and Nielsen M Multi scale gradient magnitude watershed segmentation 19 chervnya 2022 u Wayback Machine Proc of ICIAP 97 Florence Italy Lecture Notes in Computer Science pages 6 13 Springer Verlag September 1997 angl Dam E Johansen P Olsen O Thomsen A Darvann T Dobrzenieck A Hermann N Kitai N Kreiborg S Larsen P Nielsen M Interactive multi scale segmentation in clinical use in European Congress of Radiology 2000 angl Vincken K Koster A and Viergever M IEEE Transactions on Pattern Analysis and Machine Intelligence 19 2 pp 109 120 1997 angl M Tabb and N Ahuja Unsupervised multiscale image segmentation by integrated edge and region detection IEEE Transactions on Image Processing Vol 6 No 5 642 655 1997 2011 07 20 u Wayback Machine angl E Akbas and N Ahuja From Ramp Discontinuities to Segmentation Tree Asian Conference on Computer Vision 2009 Xi an China angl C Undeman and T Lindeberg 2003 Fully Automatic Segmentation of MRI Brain Images using Probabilistic Anisotropic Diffusion and Multi Scale Watersheds Proc Scale Space 03 Isle of Skye Scotland Springer Lecture Notes in Computer Science volume 2695 pages 641 656 19 chervnya 2022 u Wayback Machine angl Florack L and Kuijper A The topological structure of scale space images 20 serpnya 2017 u Wayback Machine Journal of Mathematical Imaging and Vision 12 1 65 79 2000 angl Bijaoui A Rue F 1995 A Multiscale Vision Model Signal Processing 46 345 angl Richard F Lyon Speech recognition in scale space Proc of 1987 ICASSP San Diego March pp 29 3 14 1987 17 lyutogo 2022 u Wayback Machine angl Slaney M Ponceleon D Hierarchical segmentation using latent semantic indexing in scalespace Proc Intl Conf on Acoustics Speech and Signal Processing ICASSP 01 2001 19 veresnya 2006 u Wayback Machine angl Div takozhsegmentuvannya obrobka zobrazhen prostir masshtabiv