«Увага — це все, що вам треба» (англ. Attention Is All You Need) — це наукова стаття 2017 року від Google. Створена вісьмома науковцями, вона була покликана поширити механізми уваги 2014 року, запропоновані Багдановим зі співавт., на нову архітектуру глибокого навчання, відому як трансформер. Цю статтю вважають засадничим документом сучасного штучного інтелекту, оскільки трансформери стали основною архітектурою великих мовних моделей. На той час це дослідження зосереджувалося на покращенні методик [en] для машинного перекладу, але навіть у своїй статті автори бачили потенціал для інших завдань, як-от відповідання на питання, та для того, що зараз називають (мультимодальним породжувальним ШІ).
Станом на 2024 цю статтю процитували понад 100 000 разів. Усі вісім авторів покинули Google.
Примітки
- ; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; ; Kaiser, Łukasz; Polosukhin, Illia (2017). Attention is All you Need (PDF). Advances in Neural Information Processing Systems (англ.). Curran Associates, Inc. 30.
- Toews, Rob (3 вересня 2023). Transformers Revolutionized AI. What Will Replace Them?. Forbes (англ.). оригіналу за 26 вересня 2023. Процитовано 3 December 2023.
- Murgia, Madhumita (23 липня 2023). Transformers: the Google scientists who pioneered an AI revolution. Financial Times (англ.). оригіналу за 30 листопада 2023. Процитовано 3 грудня 2023.
- Meet the $4 Billion AI Superstars That Google Lost. Bloomberg (англ.). 13 липня 2023 — через www.bloomberg.com.
Це незавершена стаття зі штучного інтелекту. Ви можете проєкту, виправивши або дописавши її. |
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Uvaga ce vse sho vam treba angl Attention Is All You Need ce naukova stattya 2017 roku vid Google Stvorena vismoma naukovcyami vona bula poklikana poshiriti mehanizmi uvagi 2014 roku zaproponovani Bagdanovim zi spivavt na novu arhitekturu glibokogo navchannya vidomu yak transformer Cyu stattyu vvazhayut zasadnichim dokumentom suchasnogo shtuchnogo intelektu oskilki transformeri stali osnovnoyu arhitekturoyu velikih movnih modelej Na toj chas ce doslidzhennya zoseredzhuvalosya na pokrashenni metodik en dlya mashinnogo perekladu ale navit u svoyij statti avtori bachili potencial dlya inshih zavdan yak ot vidpovidannya na pitannya ta dlya togo sho zaraz nazivayut multimodalnim porodzhuvalnim ShI Ilyustraciya osnovnih skladovih transformernoyi modeli z ciyeyi statti Stanom na 2024 cyu stattyu procituvali ponad 100 000 raziv Usi visim avtoriv pokinuli Google Primitki Shazeer Noam Parmar Niki Uszkoreit Jakob Jones Llion Kaiser Lukasz Polosukhin Illia 2017 Attention is All you Need PDF Advances in Neural Information Processing Systems angl Curran Associates Inc 30 Toews Rob 3 veresnya 2023 Transformers Revolutionized AI What Will Replace Them Forbes angl originalu za 26 veresnya 2023 Procitovano 3 December 2023 Murgia Madhumita 23 lipnya 2023 Transformers the Google scientists who pioneered an AI revolution Financial Times angl originalu za 30 listopada 2023 Procitovano 3 grudnya 2023 Meet the 4 Billion AI Superstars That Google Lost Bloomberg angl 13 lipnya 2023 cherez www bloomberg com Ce nezavershena stattya zi shtuchnogo intelektu Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi