Deeplearning4j — бібліотека програм мовою Java, яка використовується як фреймворк для глибокого навчання. Включає реалізацію через обмежену машину Больцмана, глибоку мережу переконань, глибокий автокодувальник, стековий автокодувальник з фільтрацією шуму, рекурсивну тензорну нейронну мережу, word2vec, doc2vec та GloVe. Ці алгоритми включено також у версії бібліотеки, що підтримують розподілені обчислення, інтегровані з архітектурою Apache Hadoop і Spark.
Тип | обробка природної мови, глибоке навчання, комп'ютерний зір, штучний інтелект |
---|---|
Автор | , , Джош Паттерсон |
Розробник | d |
Платформа | віртуальна машина Java |
Операційна система | Linux |
Мова програмування | Java і Scala |
Доступні мови | англійська |
Стан розробки | активний |
Ліцензія | Apache License |
Репозиторій | github.com/deeplearning4j/deeplearning4j |
Вебсайт | deeplearning4j.org |
Є відкритим програмним забезпеченням, поширюється під ліцензією Apache 2.0; головні розробники — група машинного навчання в Сан-Франциско на чолі з Адамом Ґібсоном, комерційні впровадження підтримує стартап Skymind.
Технологія
Deeplearning4j реалізована мовою Java і виконується в середовищі, при цьому сумісна з Clojure і включає інтерфейс (API) для мови Scala. Додаткова бібліотека ND4J відкритого доступу забезпечує обчислення на графічних процесорах з підтримкою CUDA. Крім того, є засоби для роботи з бібліотекою мовою Python через фреймворк Keras.
Фреймворк дозволяє комбінувати компоненти, об'єднуючи звичайні нейронні мережі з машинами Больцмана, згортковими нейронними мережами, автокодувальниками і рекурентними мережами в одну систему. Крім того, підтримуються розширені засоби візуалізації. Навчання відбувається як за допомогою звичайних багатошарових нейронних мереж, так і для складних мереж, в яких визначено граф обчислень.
Розподілені обчислення
Навчання в Deeplearning4j здійснюється через кластери. Нейронні мережі навчаються паралельно з застосуванням ітерації, процес підтримується архітектурою Hadoop-YARN та Spark. Deeplearning4j здійснює також інтеграцію з ядром архітектури CUDA для проведення чистих операцій з GPU і розподілу операцій на графічних процесорах.
Наукові розрахунки для JVM
Deeplearning4j включає клас для роботи з n-вимірним масивом даних у бібліотеці ND4J. Це полегшує обчислення для наукових задач мовами Java і Scala, функціональність при цьому подібна до функціональності, яку бібліотека NumPy забезпечує для мови Python. Ефективність у практичних застосуваннях досягається завдяки використанню бібліотек лінійної алгебри і матричних перетворень.
Бібліотека векторизації DataVec для машинного навчання
Бібліотека DataVec проводить векторизацію файлів різних вхідних і вихідних форматів методом, подібним до MapReduce; при цьому дані перетворюються у векторну форму. DataVec векторизує табличний формат CSV, зображення, звуки, тексти, відео і часові послідовності даних.
Обробка природної мови і текстів
Для обробки великих обсягів текстів з використанням потужності паралельних графічних процесорів Deeplearning4j залучає інструментарій векторного і тематичного моделювання мовою Java.
Бібліотека містить реалізації частотної інверсії (TF-IDF), глибоке навчання, алгоритм Міколова word2vec, doc2vec, і GloVe, оптимізовані на Java. При цьому використовується принцип стохастичного вбудовування сусідів з розподілом Стьюдента (t-SNE) для реалізації хмари слів.
Безпека
У бібліотеку додано засоби захисту від зовнішнього втручання і безпеки від злому, що особливо важливо у фінансових задачах, у промислових системах, в електронній комерції та підприємництві, застосовується розпізнавання аномалій і розпізнавання образів. Deeplearning4j інтегрований з іншими платформами машинного навчання — такими як RapidMiner, Prediction.io і Weka.
Тести продуктивності
Зіставлення продуктивності показує, що Deeplearning4j можна порівняти з Caffe в задачах нетривіального розпізнавання образів із залученням паралельних графічних процесорів. Для програмістів, які незнайомі з HPC на JVM, є кілька параметрів, які можна регулювати для поліпшення продуктивності навчання нейронних мереж. Серед них — налаштування динамічної пам'яті, алгоритм збирання сміття, підкачка пам'яті і попереднє збереження даних для прискорення ETL. Комбінуючи ці налаштування, можна збільшити продуктивність Deeplearning4j до десяти разів.
Примітки
- Metz, Cade (2 червня 2014). . Wired.com. Архів оригіналу за 5 липня 2020. Процитовано 28 червня 2014.
- Vance, Ashlee (3 червня 2014). . Bloomberg Businessweek. Архів оригіналу за 25 червня 2014. Процитовано 28 червня 2014.
- Novet, Jordan (14 листопада 2015). . VentureBeat. Архів оригіналу за 18 грудня 2019. Процитовано 24 листопада 2015.
- TV, Functional (12 лютого 2015). . SF Spark Meetup. Архів оригіналу за 26 грудня 2015. Процитовано 1 березня 2015.
- . Архів оригіналу за 24 вересня 2019. Процитовано 3 квітня 2020.
- . Архів оригіналу за 30 березня 2016. Процитовано 3 квітня 2020.
- . Архів оригіналу за 31 липня 2017. Процитовано 3 квітня 2020.
- Harris, Derrick (2 червня 2014). . . Архів оригіналу за 28 червня 2014. Процитовано 29 червня 2014.
- Novet, Jordan (2 червня 2014). . Архів оригіналу за 28 вересня 2020. Процитовано 29 червня 2014.
- . Архів оригіналу за 25 лютого 2017. Процитовано 25 липня 2017.
- . Архів оригіналу за 10 серпня 2017. Процитовано 25 липня 2017.
- . Архів оригіналу за 10 серпня 2017. Процитовано 25 липня 2017.
- . Архів оригіналу за 10 червня 2018. Процитовано 3 квітня 2020.
- . Архів оригіналу за 2 жовтня 2017. Процитовано 25 липня 2017.
- . Архів оригіналу за 28 вересня 2020. Процитовано 3 квітня 2020.
- . Архів оригіналу за 10 березня 2016. Процитовано 3 квітня 2020.
- . Архів оригіналу за 10 березня 2016. Процитовано 25 липня 2017.
- https://skymind.ai/bsa-aml[недоступне посилання з Май 2018]
- . Архів оригіналу за 10 березня 2016. Процитовано 22 лютого 2016.
- https://skymind.ai/image[недоступне посилання з Май 2018]
- Архівована копія. Архів оригіналу за 18 травня 2016. Процитовано 3 квітня 2020.
{{}}
: Обслуговування CS1: Сторінки з текстом «archived copy» як значення параметру title () - . Архів оригіналу за 23 серпня 2017. Процитовано 3 квітня 2020.
- . Архів оригіналу за 22 липня 2020. Процитовано 3 квітня 2020.
- . Архів оригіналу за 9 серпня 2017. Процитовано 25 липня 2017.
Див. також
Література
- Паттерсон Дж., Гибсон А. Глубокое обучение с точки зрения практика = Deep Learning. A Practitioner’s Approach. — , 2018. — 418 с. — .
Посилання
- Офіційний сайт
- deeplearning4j на GitHub
- . Архів оригіналу за 1 червня 2020. Процитовано 5 травня 2022.
- . Архів оригіналу за 24 вересня 2015.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Deeplearning4j biblioteka program movoyu Java yaka vikoristovuyetsya yak frejmvork dlya glibokogo navchannya Vklyuchaye realizaciyu cherez obmezhenu mashinu Bolcmana gliboku merezhu perekonan glibokij avtokoduvalnik stekovij avtokoduvalnik z filtraciyeyu shumu rekursivnu tenzornu nejronnu merezhu word2vec doc2vec ta GloVe Ci algoritmi vklyucheno takozh u versiyi biblioteki sho pidtrimuyut rozpodileni obchislennya integrovani z arhitekturoyu Apache Hadoop i Spark Deeplearning4jTipobrobka prirodnoyi movi gliboke navchannya komp yuternij zir shtuchnij intelektAvtor Dzhosh PattersonRozrobnikdPlatformavirtualna mashina JavaOperacijna sistemaLinuxMova programuvannyaJava i ScalaDostupni movianglijskaStan rozrobkiaktivnijLicenziyaApache LicenseRepozitorijgithub com deeplearning4j deeplearning4jVebsajtdeeplearning4j org Ye vidkritim programnim zabezpechennyam poshiryuyetsya pid licenziyeyu Apache 2 0 golovni rozrobniki grupa mashinnogo navchannya v San Francisko na choli z Adamom Gibsonom komercijni vprovadzhennya pidtrimuye startap Skymind TehnologiyaDeeplearning4j realizovana movoyu Java i vikonuyetsya v seredovishi pri comu sumisna z Clojure i vklyuchaye interfejs API dlya movi Scala Dodatkova biblioteka ND4J vidkritogo dostupu zabezpechuye obchislennya na grafichnih procesorah z pidtrimkoyu CUDA Krim togo ye zasobi dlya roboti z bibliotekoyu movoyu Python cherez frejmvork Keras Frejmvork dozvolyaye kombinuvati komponenti ob yednuyuchi zvichajni nejronni merezhi z mashinami Bolcmana zgortkovimi nejronnimi merezhami avtokoduvalnikami i rekurentnimi merezhami v odnu sistemu Krim togo pidtrimuyutsya rozshireni zasobi vizualizaciyi Navchannya vidbuvayetsya yak za dopomogoyu zvichajnih bagatosharovih nejronnih merezh tak i dlya skladnih merezh v yakih viznacheno graf obchislen Rozpodileni obchislennyaNavchannya v Deeplearning4j zdijsnyuyetsya cherez klasteri Nejronni merezhi navchayutsya paralelno z zastosuvannyam iteraciyi proces pidtrimuyetsya arhitekturoyu Hadoop YARN ta Spark Deeplearning4j zdijsnyuye takozh integraciyu z yadrom arhitekturi CUDA dlya provedennya chistih operacij z GPU i rozpodilu operacij na grafichnih procesorah Naukovi rozrahunki dlya JVMDeeplearning4j vklyuchaye klas dlya roboti z n vimirnim masivom danih u biblioteci ND4J Ce polegshuye obchislennya dlya naukovih zadach movami Java i Scala funkcionalnist pri comu podibna do funkcionalnosti yaku biblioteka NumPy zabezpechuye dlya movi Python Efektivnist u praktichnih zastosuvannyah dosyagayetsya zavdyaki vikoristannyu bibliotek linijnoyi algebri i matrichnih peretvoren Biblioteka vektorizaciyi DataVec dlya mashinnogo navchannyaBiblioteka DataVec provodit vektorizaciyu fajliv riznih vhidnih i vihidnih formativ metodom podibnim do MapReduce pri comu dani peretvoryuyutsya u vektornu formu DataVec vektorizuye tablichnij format CSV zobrazhennya zvuki teksti video i chasovi poslidovnosti danih Obrobka prirodnoyi movi i tekstivDlya obrobki velikih obsyagiv tekstiv z vikoristannyam potuzhnosti paralelnih grafichnih procesoriv Deeplearning4j zaluchaye instrumentarij vektornogo i tematichnogo modelyuvannya movoyu Java Biblioteka mistit realizaciyi chastotnoyi inversiyi TF IDF gliboke navchannya algoritm Mikolova word2vec doc2vec i GloVe optimizovani na Java Pri comu vikoristovuyetsya princip stohastichnogo vbudovuvannya susidiv z rozpodilom Styudenta t SNE dlya realizaciyi hmari sliv BezpekaU biblioteku dodano zasobi zahistu vid zovnishnogo vtruchannya i bezpeki vid zlomu sho osoblivo vazhlivo u finansovih zadachah u promislovih sistemah v elektronnij komerciyi ta pidpriyemnictvi zastosovuyetsya rozpiznavannya anomalij i rozpiznavannya obraziv Deeplearning4j integrovanij z inshimi platformami mashinnogo navchannya takimi yak RapidMiner Prediction io i Weka Testi produktivnostiZistavlennya produktivnosti pokazuye sho Deeplearning4j mozhna porivnyati z Caffe v zadachah netrivialnogo rozpiznavannya obraziv iz zaluchennyam paralelnih grafichnih procesoriv Dlya programistiv yaki neznajomi z HPC na JVM ye kilka parametriv yaki mozhna regulyuvati dlya polipshennya produktivnosti navchannya nejronnih merezh Sered nih nalashtuvannya dinamichnoyi pam yati algoritm zbirannya smittya pidkachka pam yati i poperednye zberezhennya danih dlya priskorennya ETL Kombinuyuchi ci nalashtuvannya mozhna zbilshiti produktivnist Deeplearning4j do desyati raziv PrimitkiMetz Cade 2 chervnya 2014 Wired com Arhiv originalu za 5 lipnya 2020 Procitovano 28 chervnya 2014 Vance Ashlee 3 chervnya 2014 Bloomberg Businessweek Arhiv originalu za 25 chervnya 2014 Procitovano 28 chervnya 2014 Novet Jordan 14 listopada 2015 VentureBeat Arhiv originalu za 18 grudnya 2019 Procitovano 24 listopada 2015 TV Functional 12 lyutogo 2015 SF Spark Meetup Arhiv originalu za 26 grudnya 2015 Procitovano 1 bereznya 2015 Arhiv originalu za 24 veresnya 2019 Procitovano 3 kvitnya 2020 Arhiv originalu za 30 bereznya 2016 Procitovano 3 kvitnya 2020 Arhiv originalu za 31 lipnya 2017 Procitovano 3 kvitnya 2020 Harris Derrick 2 chervnya 2014 Arhiv originalu za 28 chervnya 2014 Procitovano 29 chervnya 2014 Novet Jordan 2 chervnya 2014 Arhiv originalu za 28 veresnya 2020 Procitovano 29 chervnya 2014 Arhiv originalu za 25 lyutogo 2017 Procitovano 25 lipnya 2017 Arhiv originalu za 10 serpnya 2017 Procitovano 25 lipnya 2017 Arhiv originalu za 10 serpnya 2017 Procitovano 25 lipnya 2017 Arhiv originalu za 10 chervnya 2018 Procitovano 3 kvitnya 2020 Arhiv originalu za 2 zhovtnya 2017 Procitovano 25 lipnya 2017 Arhiv originalu za 28 veresnya 2020 Procitovano 3 kvitnya 2020 Arhiv originalu za 10 bereznya 2016 Procitovano 3 kvitnya 2020 Arhiv originalu za 10 bereznya 2016 Procitovano 25 lipnya 2017 https skymind ai bsa aml nedostupne posilannya z Maj 2018 Arhiv originalu za 10 bereznya 2016 Procitovano 22 lyutogo 2016 https skymind ai image nedostupne posilannya z Maj 2018 Arhivovana kopiya Arhiv originalu za 18 travnya 2016 Procitovano 3 kvitnya 2020 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Obslugovuvannya CS1 Storinki z tekstom archived copy yak znachennya parametru title posilannya Arhiv originalu za 23 serpnya 2017 Procitovano 3 kvitnya 2020 Arhiv originalu za 22 lipnya 2020 Procitovano 3 kvitnya 2020 Arhiv originalu za 9 serpnya 2017 Procitovano 25 lipnya 2017 Div takozhPorivnyannya programnogo zabezpechennya glibokogo navchannyaLiteraturaPatterson Dzh Gibson A Glubokoe obuchenie s tochki zreniya praktika Deep Learning A Practitioner s Approach 2018 418 s ISBN 978 5 97060 481 6 PosilannyaOficijnij sajt deeplearning4j na GitHub Arhiv originalu za 1 chervnya 2020 Procitovano 5 travnya 2022 Arhiv originalu za 24 veresnya 2015