Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Суперсемплінг за допомогою глибокого навчання англ deep learning super sampling DLSS технологія масштабування зображення

DLSS

DLSS

Суперсемплінг за допомогою глибокого навчання (англ. deep learning super sampling, DLSS) — технологія масштабування зображення, розроблена компанією Nvidia для використання в режимі реального часу у вибраних відеоіграх, за допомогою глибокого навчання для збільшення масштабу зображень з нижчою роздільною здатністю до більш високої роздільної здатності для відображення на моніторах з більш високою роздільною здатністю. Nvidia стверджує, що ця технологія збільшує масштаб зображень із якістю, подібною до якості зображення в рідній роздільній здатності, але з меншими навантаженнями на відеокарту, що забезпечує більш високі графічні налаштування та частоту кадрів для даної роздільної здатності.

Станом на травень 2023 року ця технологія доступна на графічних процесорах , GeForce RTX 30 та GeForce RTX 40.

Історія

Історія релізів

Звільнення Дата випуску Основні моменти
1.0 Лютий 2019 Перша версія, що використовує ШІ та спеціально навчена для деяких конкретних ігор, зокрема Battlefield V та Metro Exodus
2.0 (перша ітерація) Серпень 2019 Перша версія 2.0, на яку також посилаються як версія 1.9, використовуючи приблизний ШІ незавершеної версії 2.0, що працює на ядрах шейдерів CUDA і спеціально пристосована для відеогри Control
2.0 (друга ітерація) Квітень 2020 Друга версія 2.0, з використанням ядер Tensor та загальним навчанням
3.0 Вересень 2022 DLSS 2.0, доповнений алгоритмом генерації кадрів оптичного потоку для подвоєння частоти кадрів

Принцип роботи

В Nvidia команда DLSS знаходить кадри в грі з не згладженими краями, генерує для кожного кадра аналогічний але ідеально згладжений, використовуючи повноекранне згладжування на основі методів надмірної вибірки (MSAA) або змішаного рендеринга. Ці два кадра передаються суперкомп'ютеру NVIDIA, який навчає нейронну мережу DLSS розпізнавати не згладжені кадри і генерувати ідентичні згладжені кадри. Також нейронну мережу навчають генерувати пікселі, щоб збільшити розширення кадра. В результаті тензорні ядра в відеокарті отримують достатньо інформації для обробки кадра і створення згладженого кадра, час створення таких кадрів практично однаковий.

Алгоритм

DLSS 1.0

Nvidia пояснила, що DLSS 1.0 працювала для кожного цільового ігрового зображення, генеруючи «ідеальний кадр», використовуючи традиційні супервибірки, а потім навчила нейронну мережу на цих отриманих зображеннях. На другому кроці модель була навчена розпізнавати псевдоніми вхідні дані на початковому результаті.

DLSS 2.0

DLSS 2.0 працює наступним чином:

  • Нейромережа навчена Nvidia з використанням «ідеальних» зображень відеоігор надвисокої роздільної здатності на суперкомп'ютерах і зображень низької роздільної здатності тих самих ігор. Результат зберігається на драйвері відеокарти. Кажуть, що Nvidia використовує сервери для навчання мережі.
  • Нейронна мережа, що зберігається на драйвері, порівнює фактичне зображення з низькою роздільною здатністю з еталонним та дає повний результат із високою роздільною здатністю. Вхідні дані, що використовуються навченою нейронною мережею, — це псевдоніми з низькою роздільною здатністю, що передаються ігровим механізмом, і з низькою роздільною здатністю з тих самих зображень, також створені ігровим механізмом. Вектори руху повідомляють мережі, в якому напрямку об'єкти на сцені рухаються від кадру до кадру, щоб оцінити, як буде виглядати наступний кадр.

DLSS 3.0

Доповнює DLSS 2.0, використовуючи [en]. Алгоритм генерації кадрів DLSS бере два відрендерених кадри з конвеєра рендерингу і генерує новий кадр, який плавно переходить між ними. Таким чином, для кожного відрендереного кадру генерується один додатковий кадр.

DLSS 3.0 використовує нове покоління прискорювачів оптичного потоку (англ. Optical Flow Accelerator, OFA), що входить до складу графічних процесорів RTX покоління Ada Lovelace. Новий OFA швидший і точніший, ніж OFA, який вже був доступний у попередніх графічних процесорах RTX Turing і Ampere. Це призводить до того, що DLSS 3.0 є ексклюзивним для серії RTX 4000.

На момент випуску DLSS 3.0 не працює для VR-дисплеїв.

Архітектура

DLSS доступний лише на графічних процесорах GeForce RTX 20, GeForce RTX 30 та GeForce RTX 40, у виділених ШІ-прискорювачах під назвою Tensor Cores.

Ядра тензора (англ. tensor cores) доступні з часів мікроархітектури графічного процесора Nvidia , яка вперше була використана в лінійці продуктів Tesla V100. Їх специфіка полягає в тому, що кожне ядро Tensor працює на 16 бітах з матрицями з плаваючою комою 4 x 4 і, розроблено для використання на рівні CUDA C++, навіть на рівні компілятора.

Ядра Tensor використовують примітиви CUDA Level на 32 паралельних потоках, щоб скористатися перевагами їх паралельної архітектури. Деформація — набір із 32 потоків, які налаштовані на виконання тієї самої інструкції.

Критика

Вихід відеокарт Nvidia RTX зустрів багато критики. Технологія DXR повинна була зробити великий крок вперед в ігровій графіці, адже кадри які показала Nvidia на презентації свого нового покоління відеокарт виглядали красиво і реалістично. За словами Хуанга Технологія DXR не мала впливати на FPS, а DLSS повинна збільшити FPS, адже дані технології працюють на окремих тензорних ядрах відеокарти. З виходом 20-го покоління відеокарт виявилось, що ігор, які підтримують DXR і DLSS, немає. Першою грою з підтримкою даних технологій стала Battlefield 5, але увімкнення технології DXR у перших версіях гри Battlefield 5 зменшувало FPS у середньому на 30 кадрів, а увімкнення технології DLSS не збільшувало FPS у порівнянні з іншими методами згладжування. Виправити ситуацію вдалось лише співпрацею з розробниками ігор і новими версіями драйверів.

Див. також

Примітки

  1. (англійською) . . 14 лютого 2020. Архів оригіналу за 2 листопада 2018. Процитовано 5 квітня 2020. Deep learning super sampling uses artificial intelligence and machine learning to produce an image that looks like a higher-resolution image, without the rendering overhead. Nvidia’s algorithm learns from tens of thousands of rendered sequences of images that were created using a supercomputer. That trains the algorithm to be able to produce similarly beautiful images, but without requiring the graphics card to work as hard to do it.
  2. . techspot.com. 19 лютого 2019. Архів оригіналу за 19 лютого 2019. Процитовано 6 квітня 2020. Of course, this is to be expected. DLSS was never going to provide the same image quality as native 4K, while providing a 37% performance uplift. That would be black magic. But the quality difference comparing the two is almost laughable, in how far away DLSS is from the native presentation in these stressful areas.
  3. . Eurogamer. 4 квітня 2020. Архів оригіналу за 4 квітня 2020. Процитовано 5 квітня 2020. Of course, this isn't the first DLSS implementation we've seen in Control. The game shipped with a decent enough rendition of the technology that didn't actually use the machine learning
  4. . techspot.com. 26 лютого 2020. Архів оригіналу за 28 лютого 2020. Процитовано 5 квітня 2020.
  5. Edelsten, Andrew (30 серпня 2019). . nividia.com. Архів оригіналу за 10 квітня 2020. Процитовано 11 серпня 2020. we developed a new image processing algorithm that approximated our AI research model and fit within our performance budget. This image processing approach to DLSS is integrated into Control
  6. . techquila.co.in. 5 квітня 2020. Архів оригіналу за 14 грудня 2020. Процитовано 6 квітня 2020.
  7. . Forbes. 29 березня 2020. Архів оригіналу за 12 грудня 2020. Процитовано 7 квітня 2020.
  8. . Nvidia. 23 березня 2020. Архів оригіналу за 10 грудня 2020. Процитовано 25 листопада 2020.
  9. . Nvidia. 23 березня 2020. Архів оригіналу за 10 грудня 2020. Процитовано 7 квітня 2020.
  10. . Nvidia. 23 березня 2020. Архів оригіналу за 10 грудня 2020. Процитовано 7 квітня 2020.
  11. . Nvidia. Архів оригіналу за 10 грудня 2020. Процитовано 7 квітня 2020.
  12. . tomshardware.com. 11 квітня 2017. Архів оригіналу за 21 червня 2020. Процитовано 8 квітня 2020.
  13. . . 3 липня 2018. Архів оригіналу за 9 листопада 2020. Процитовано 8 квітня 2020.
  14. . Nvidia. 15 січня 2018. Архів оригіналу за 14 березня 2020. Процитовано 8 квітня 2020. NVIDIA GPUs execute groups of threads known as warps in SIMT (Single Instruction, Multiple Thread) fashion

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Supersempling za dopomogoyu glibokogo navchannya angl deep learning super sampling DLSS tehnologiya masshtabuvannya zobrazhennya rozroblena kompaniyeyu Nvidia dlya vikoristannya v rezhimi realnogo chasu u vibranih videoigrah za dopomogoyu glibokogo navchannya dlya zbilshennya masshtabu zobrazhen z nizhchoyu rozdilnoyu zdatnistyu do bilsh visokoyi rozdilnoyi zdatnosti dlya vidobrazhennya na monitorah z bilsh visokoyu rozdilnoyu zdatnistyu Nvidia stverdzhuye sho cya tehnologiya zbilshuye masshtab zobrazhen iz yakistyu podibnoyu do yakosti zobrazhennya v ridnij rozdilnij zdatnosti ale z menshimi navantazhennyami na videokartu sho zabezpechuye bilsh visoki grafichni nalashtuvannya ta chastotu kadriv dlya danoyi rozdilnoyi zdatnosti Stanom na traven 2023 roku cya tehnologiya dostupna na grafichnih procesorah GeForce RTX 30 ta GeForce RTX 40 IstoriyaIstoriya reliziv Zvilnennya Data vipusku Osnovni momenti1 0 Lyutij 2019 Persha versiya sho vikoristovuye ShI ta specialno navchena dlya deyakih konkretnih igor zokrema Battlefield V ta Metro Exodus2 0 persha iteraciya Serpen 2019 Persha versiya 2 0 na yaku takozh posilayutsya yak versiya 1 9 vikoristovuyuchi pribliznij ShI nezavershenoyi versiyi 2 0 sho pracyuye na yadrah shejderiv CUDA i specialno pristosovana dlya videogri Control2 0 druga iteraciya Kviten 2020 Druga versiya 2 0 z vikoristannyam yader Tensor ta zagalnim navchannyam3 0 Veresen 2022 DLSS 2 0 dopovnenij algoritmom generaciyi kadriv optichnogo potoku dlya podvoyennya chastoti kadrivPrincip robotiV Nvidia komanda DLSS znahodit kadri v gri z ne zgladzhenimi krayami generuye dlya kozhnogo kadra analogichnij ale idealno zgladzhenij vikoristovuyuchi povnoekranne zgladzhuvannya na osnovi metodiv nadmirnoyi vibirki MSAA abo zmishanogo renderinga Ci dva kadra peredayutsya superkomp yuteru NVIDIA yakij navchaye nejronnu merezhu DLSS rozpiznavati ne zgladzheni kadri i generuvati identichni zgladzheni kadri Takozh nejronnu merezhu navchayut generuvati pikseli shob zbilshiti rozshirennya kadra V rezultati tenzorni yadra v videokarti otrimuyut dostatno informaciyi dlya obrobki kadra i stvorennya zgladzhenogo kadra chas stvorennya takih kadriv praktichno odnakovij Algoritm DLSS 1 0 Nvidia poyasnila sho DLSS 1 0 pracyuvala dlya kozhnogo cilovogo igrovogo zobrazhennya generuyuchi idealnij kadr vikoristovuyuchi tradicijni supervibirki a potim navchila nejronnu merezhu na cih otrimanih zobrazhennyah Na drugomu kroci model bula navchena rozpiznavati psevdonimi vhidni dani na pochatkovomu rezultati DLSS 2 0 DLSS 2 0 pracyuye nastupnim chinom Nejromerezha navchena Nvidia z vikoristannyam idealnih zobrazhen videoigor nadvisokoyi rozdilnoyi zdatnosti na superkomp yuterah i zobrazhen nizkoyi rozdilnoyi zdatnosti tih samih igor Rezultat zberigayetsya na drajveri videokarti Kazhut sho Nvidia vikoristovuye serveri dlya navchannya merezhi Nejronna merezha sho zberigayetsya na drajveri porivnyuye faktichne zobrazhennya z nizkoyu rozdilnoyu zdatnistyu z etalonnim ta daye povnij rezultat iz visokoyu rozdilnoyu zdatnistyu Vhidni dani sho vikoristovuyutsya navchenoyu nejronnoyu merezheyu ce psevdonimi z nizkoyu rozdilnoyu zdatnistyu sho peredayutsya igrovim mehanizmom i z nizkoyu rozdilnoyu zdatnistyu z tih samih zobrazhen takozh stvoreni igrovim mehanizmom Vektori ruhu povidomlyayut merezhi v yakomu napryamku ob yekti na sceni ruhayutsya vid kadru do kadru shob ociniti yak bude viglyadati nastupnij kadr DLSS 3 0 Dopovnyuye DLSS 2 0 vikoristovuyuchi en Algoritm generaciyi kadriv DLSS bere dva vidrenderenih kadri z konveyera renderingu i generuye novij kadr yakij plavno perehodit mizh nimi Takim chinom dlya kozhnogo vidrenderenogo kadru generuyetsya odin dodatkovij kadr DLSS 3 0 vikoristovuye nove pokolinnya priskoryuvachiv optichnogo potoku angl Optical Flow Accelerator OFA sho vhodit do skladu grafichnih procesoriv RTX pokolinnya Ada Lovelace Novij OFA shvidshij i tochnishij nizh OFA yakij vzhe buv dostupnij u poperednih grafichnih procesorah RTX Turing i Ampere Ce prizvodit do togo sho DLSS 3 0 ye eksklyuzivnim dlya seriyi RTX 4000 Na moment vipusku DLSS 3 0 ne pracyuye dlya VR displeyiv ArhitekturaDLSS dostupnij lishe na grafichnih procesorah GeForce RTX 20 GeForce RTX 30 ta GeForce RTX 40 u vidilenih ShI priskoryuvachah pid nazvoyu Tensor Cores Yadra tenzora angl tensor cores dostupni z chasiv mikroarhitekturi grafichnogo procesora Nvidia yaka vpershe bula vikoristana v linijci produktiv Tesla V100 Yih specifika polyagaye v tomu sho kozhne yadro Tensor pracyuye na 16 bitah z matricyami z plavayuchoyu komoyu 4 x 4 i rozrobleno dlya vikoristannya na rivni CUDA C navit na rivni kompilyatora Yadra Tensor vikoristovuyut primitivi CUDA Level na 32 paralelnih potokah shob skoristatisya perevagami yih paralelnoyi arhitekturi Deformaciya nabir iz 32 potokiv yaki nalashtovani na vikonannya tiyeyi samoyi instrukciyi KritikaVihid videokart Nvidia RTX zustriv bagato kritiki Tehnologiya DXR povinna bula zrobiti velikij krok vpered v igrovij grafici adzhe kadri yaki pokazala Nvidia na prezentaciyi svogo novogo pokolinnya videokart viglyadali krasivo i realistichno Za slovami Huanga Tehnologiya DXR ne mala vplivati na FPS a DLSS povinna zbilshiti FPS adzhe dani tehnologiyi pracyuyut na okremih tenzornih yadrah videokarti Z vihodom 20 go pokolinnya videokart viyavilos sho igor yaki pidtrimuyut DXR i DLSS nemaye Pershoyu groyu z pidtrimkoyu danih tehnologij stala Battlefield 5 ale uvimknennya tehnologiyi DXR u pershih versiyah gri Battlefield 5 zmenshuvalo FPS u serednomu na 30 kadriv a uvimknennya tehnologiyi DLSS ne zbilshuvalo FPS u porivnyanni z inshimi metodami zgladzhuvannya Vipraviti situaciyu vdalos lishe spivpraceyu z rozrobnikami igor i novimi versiyami drajveriv Div takozhMasshtabuvannya zobrazhen Gliboke navchannya Tenzornij blok obrobki specialna integralna shema ASIC priskoryuvach ShI rozroblena GooglePrimitki anglijskoyu 14 lyutogo 2020 Arhiv originalu za 2 listopada 2018 Procitovano 5 kvitnya 2020 Deep learning super sampling uses artificial intelligence and machine learning to produce an image that looks like a higher resolution image without the rendering overhead Nvidia s algorithm learns from tens of thousands of rendered sequences of images that were created using a supercomputer That trains the algorithm to be able to produce similarly beautiful images but without requiring the graphics card to work as hard to do it techspot com 19 lyutogo 2019 Arhiv originalu za 19 lyutogo 2019 Procitovano 6 kvitnya 2020 Of course this is to be expected DLSS was never going to provide the same image quality as native 4K while providing a 37 performance uplift That would be black magic But the quality difference comparing the two is almost laughable in how far away DLSS is from the native presentation in these stressful areas Eurogamer 4 kvitnya 2020 Arhiv originalu za 4 kvitnya 2020 Procitovano 5 kvitnya 2020 Of course this isn t the first DLSS implementation we ve seen in Control The game shipped with a decent enough rendition of the technology that didn t actually use the machine learning techspot com 26 lyutogo 2020 Arhiv originalu za 28 lyutogo 2020 Procitovano 5 kvitnya 2020 Edelsten Andrew 30 serpnya 2019 nividia com Arhiv originalu za 10 kvitnya 2020 Procitovano 11 serpnya 2020 we developed a new image processing algorithm that approximated our AI research model and fit within our performance budget This image processing approach to DLSS is integrated into Control techquila co in 5 kvitnya 2020 Arhiv originalu za 14 grudnya 2020 Procitovano 6 kvitnya 2020 Forbes 29 bereznya 2020 Arhiv originalu za 12 grudnya 2020 Procitovano 7 kvitnya 2020 Nvidia 23 bereznya 2020 Arhiv originalu za 10 grudnya 2020 Procitovano 25 listopada 2020 Nvidia 23 bereznya 2020 Arhiv originalu za 10 grudnya 2020 Procitovano 7 kvitnya 2020 Nvidia 23 bereznya 2020 Arhiv originalu za 10 grudnya 2020 Procitovano 7 kvitnya 2020 Nvidia Arhiv originalu za 10 grudnya 2020 Procitovano 7 kvitnya 2020 tomshardware com 11 kvitnya 2017 Arhiv originalu za 21 chervnya 2020 Procitovano 8 kvitnya 2020 3 lipnya 2018 Arhiv originalu za 9 listopada 2020 Procitovano 8 kvitnya 2020 Nvidia 15 sichnya 2018 Arhiv originalu za 14 bereznya 2020 Procitovano 8 kvitnya 2020 NVIDIA GPUs execute groups of threads known as warps in SIMT Single Instruction Multiple Thread fashion

Дата публікації:
Топ