U-Net — це згорткова нейронна мережа, яка була розроблена для сегментації біомедичних зображень на факультеті комп'ютерних наук університету Фрайбурга, Німеччина. Мережа базується на повністю згортковій мережі (не плутайте з (повнозв'язною мережею)), архітектура якої була модифікована і розширена так, щоб працювати з меншою кількістю зображень для навчання і давати більш точні результати сегментації. Сегментація зображення 512x512 займає менше секунди на останніх моделях GPU.
Опис
U-Net має більш елегантну архітектуру, що випливає з так званої «повністю згорткової мережі», запропонованої Лонгом і Шелгамером.
Основна ідея полягає в тому, щоб доповнити звичайну мережу послідовних шарів, де операції пулінга (зменшення розмірності) об'єктів замінюються операторами [en]. Отже, ці шари збільшують роздільну здатність виходу. Більш того, наступний згортковий шар може навчитися будувати точний вихід на основі цієї інформації.
Однією з важливих змін у U-Net є те, що в частині, в якій відбувається збільшення розмірності, існує велика кількість каналів ознак, які дозволяють мережі поширювати контекстну інформацію на шари більшої роздільної здатності. Як наслідок, частина в якій відбувається розширення є більш-менш симетричною до частини звуження, це дає U-подібну архітектуру. Мережа використовує тільки згортки без будь-яких повністю пов'язаних шарів. Для прогнозу значення пікселів в межах області зображення, відсутній контекст екстраполюється шляхом додаткового опрацювання (з точки зору симетрії мережі це виглядає як віддзеркалення) вхідного зображення. Ця стратегія замощення важлива для застосування мережі до великих зображень, оскільки в іншому випадку роздільна здатність буде обмежена пам'яттю GPU.
Історія
U-Net була описана Олафом Роннебергером, Філіпсом Фішером та Томасом Броксом в 2015 році в роботі «UNet: Convolutional Networks for Biomedical Image Segmentation». Що є поліпшенням та подальшим розвитком архітектури FCN розробленої Еваном Шелгамером, Джонатаном Лонгом та Тревором Дарреллом (2014) у статті «Повністю згорткові мережі для семантичної сегментації».
Архітектура мережі
Мережа складається з двох частин: шляху звуження і розширення, які й надають йому U-подібну архітектуру. Звуження є типовою згортковою мережею, яка складається з повторного застосування згорток, після кожної з них йде функція активації ReLU і операція макспулінга. Під час звуження просторова інформація зменшується, а інформація про ознаки збільшується. В частині, де відбувається розширення, поєднується просторова інформацію та ознаки за допомогою згорток, які збільшують розмірність і конкатенацій з ознаками, які відповідають високій роздільній здатності на шляху звуження.
Застосування
Існує багато застосувань U-Net в біомедичній сегментації зображень, таких як: сегментація зображення мозку («BRATS»), сегментація зображення печінки («siliver07») та [en]. Нижче наведено кілька варіантів і застосунків U-Net:
- Піксельна регресія з використанням U-Net та її застосування для підвищення якості;
- 3D U-Net: навчання щільної об'ємної сегментації у випадку, коли розмічені дані рідко зустрічаються;
- TernausNet: U-Net з енкодером VGG11, попередньо тренованим на ImageNet для сегментації зображень.
Реалізації
jakeret (2017): «Tensorflow Unet»
Вихідний[] код U-Net з розпізнавання образів і обробки зображень викладений на сайті факультету комп'ютерних наук університету Фрайбурга, Німеччина.
Основні статті по U-Net цитувалися 3693, 7049, 442 та 22 рази відповідно на Google Scholar станом на 24 грудня 2018 року.
Примітки
- Ronneberger, Olaf; Fischer, Philipp; Brox, Thomas (2015). U-Net: Convolutional Networks for Biomedical Image Segmentation. arXiv:1505.04597 [cs.CV].
- Long, J.; Shelhamer, E.; Darrell, T. (2014). Fully convolutional networks for semantic segmentation. arXiv:1411.4038 [cs.CV].
- . Архів оригіналу за 20 червня 2015. Процитовано 18 липня 2019.
- . www.med.upenn.edu. Архів оригіналу за 25 травня 2017. Процитовано 24 грудня 2018.
- . www.sliver07.org. Архів оригіналу за 29 травня 2008. Процитовано 24 грудня 2018.
- Yao, Wei; Zeng, Zhigang; Lian, Cheng; Tang, Huiming (27 жовтня 2018). Pixel-wise regression using U-Net and its application on pansharpening. Neurocomputing (англ.). 312: 364—371. doi:10.1016/j.neucom.2018.05.103. ISSN 0925-2312.
- Çiçek, Özgün; Abdulkadir, Ahmed; Lienkamp, Soeren (2016). 3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation. arXiv:1606.06650 [cs.CV].
- Iglovikov, Vladimir; Shvets, Alexey (2018). TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation. arXiv:1801.05746 [cs.CV].
- Akeret, Joel (24 грудня 2018), , архів оригіналу за 13 червня 2020, процитовано 24 грудня 2018
- . lmb.informatik.uni-freiburg.de. Архів оригіналу за 20 червня 2015. Процитовано 24 грудня 2018.
- U-net [ 14 жовтня 2021 у Wayback Machine.] Google Scholar citation data
Див. також
- [en]
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
U Net ce zgortkova nejronna merezha yaka bula rozroblena dlya segmentaciyi biomedichnih zobrazhen na fakulteti komp yuternih nauk universitetu Frajburga Nimechchina Merezha bazuyetsya na povnistyu zgortkovij merezhi ne plutajte z povnozv yaznoyu merezheyu arhitektura yakoyi bula modifikovana i rozshirena tak shob pracyuvati z menshoyu kilkistyu zobrazhen dlya navchannya i davati bilsh tochni rezultati segmentaciyi Segmentaciya zobrazhennya 512x512 zajmaye menshe sekundi na ostannih modelyah GPU OpisU Net maye bilsh elegantnu arhitekturu sho viplivaye z tak zvanoyi povnistyu zgortkovoyi merezhi zaproponovanoyi Longom i Shelgamerom Osnovna ideya polyagaye v tomu shob dopovniti zvichajnu merezhu poslidovnih shariv de operaciyi pulinga zmenshennya rozmirnosti ob yektiv zaminyuyutsya operatorami en Otzhe ci shari zbilshuyut rozdilnu zdatnist vihodu Bilsh togo nastupnij zgortkovij shar mozhe navchitisya buduvati tochnij vihid na osnovi ciyeyi informaciyi Odniyeyu z vazhlivih zmin u U Net ye te sho v chastini v yakij vidbuvayetsya zbilshennya rozmirnosti isnuye velika kilkist kanaliv oznak yaki dozvolyayut merezhi poshiryuvati kontekstnu informaciyu na shari bilshoyi rozdilnoyi zdatnosti Yak naslidok chastina v yakij vidbuvayetsya rozshirennya ye bilsh mensh simetrichnoyu do chastini zvuzhennya ce daye U podibnu arhitekturu Merezha vikoristovuye tilki zgortki bez bud yakih povnistyu pov yazanih shariv Dlya prognozu znachennya pikseliv v mezhah oblasti zobrazhennya vidsutnij kontekst ekstrapolyuyetsya shlyahom dodatkovogo opracyuvannya z tochki zoru simetriyi merezhi ce viglyadaye yak viddzerkalennya vhidnogo zobrazhennya Cya strategiya zamoshennya vazhliva dlya zastosuvannya merezhi do velikih zobrazhen oskilki v inshomu vipadku rozdilna zdatnist bude obmezhena pam yattyu GPU IstoriyaU Net bula opisana Olafom Ronnebergerom Filipsom Fisherom ta Tomasom Broksom v 2015 roci v roboti UNet Convolutional Networks for Biomedical Image Segmentation Sho ye polipshennyam ta podalshim rozvitkom arhitekturi FCN rozroblenoyi Evanom Shelgamerom Dzhonatanom Longom ta Trevorom Darrellom 2014 u statti Povnistyu zgortkovi merezhi dlya semantichnoyi segmentaciyi Arhitektura merezhiArhitektura U Net dlya segmentaciyi zobrazhennya Merezha skladayetsya z dvoh chastin shlyahu zvuzhennya i rozshirennya yaki j nadayut jomu U podibnu arhitekturu Zvuzhennya ye tipovoyu zgortkovoyu merezheyu yaka skladayetsya z povtornogo zastosuvannya zgortok pislya kozhnoyi z nih jde funkciya aktivaciyi ReLU i operaciya makspulinga Pid chas zvuzhennya prostorova informaciya zmenshuyetsya a informaciya pro oznaki zbilshuyetsya V chastini de vidbuvayetsya rozshirennya poyednuyetsya prostorova informaciyu ta oznaki za dopomogoyu zgortok yaki zbilshuyut rozmirnist i konkatenacij z oznakami yaki vidpovidayut visokij rozdilnij zdatnosti na shlyahu zvuzhennya ZastosuvannyaIsnuye bagato zastosuvan U Net v biomedichnij segmentaciyi zobrazhen takih yak segmentaciya zobrazhennya mozku BRATS segmentaciya zobrazhennya pechinki siliver07 ta en Nizhche navedeno kilka variantiv i zastosunkiv U Net Pikselna regresiya z vikoristannyam U Net ta yiyi zastosuvannya dlya pidvishennya yakosti 3D U Net navchannya shilnoyi ob yemnoyi segmentaciyi u vipadku koli rozmicheni dani ridko zustrichayutsya TernausNet U Net z enkoderom VGG11 poperedno trenovanim na ImageNet dlya segmentaciyi zobrazhen Realizaciyijakeret 2017 Tensorflow Unet Vihidnij utochniti kod U Net z rozpiznavannya obraziv i obrobki zobrazhen vikladenij na sajti fakultetu komp yuternih nauk universitetu Frajburga Nimechchina Osnovni statti po U Net cituvalisya 3693 7049 442 ta 22 razi vidpovidno na Google Scholar stanom na 24 grudnya 2018 roku PrimitkiRonneberger Olaf Fischer Philipp Brox Thomas 2015 U Net Convolutional Networks for Biomedical Image Segmentation arXiv 1505 04597 cs CV Long J Shelhamer E Darrell T 2014 Fully convolutional networks for semantic segmentation arXiv 1411 4038 cs CV Arhiv originalu za 20 chervnya 2015 Procitovano 18 lipnya 2019 www med upenn edu Arhiv originalu za 25 travnya 2017 Procitovano 24 grudnya 2018 www sliver07 org Arhiv originalu za 29 travnya 2008 Procitovano 24 grudnya 2018 Yao Wei Zeng Zhigang Lian Cheng Tang Huiming 27 zhovtnya 2018 Pixel wise regression using U Net and its application on pansharpening Neurocomputing angl 312 364 371 doi 10 1016 j neucom 2018 05 103 ISSN 0925 2312 Cicek Ozgun Abdulkadir Ahmed Lienkamp Soeren 2016 3D U Net Learning Dense Volumetric Segmentation from Sparse Annotation arXiv 1606 06650 cs CV Iglovikov Vladimir Shvets Alexey 2018 TernausNet U Net with VGG11 Encoder Pre Trained on ImageNet for Image Segmentation arXiv 1801 05746 cs CV Akeret Joel 24 grudnya 2018 arhiv originalu za 13 chervnya 2020 procitovano 24 grudnya 2018 lmb informatik uni freiburg de Arhiv originalu za 20 chervnya 2015 Procitovano 24 grudnya 2018 U net 14 zhovtnya 2021 u Wayback Machine Google Scholar citation dataDiv takozh en