Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
Добува́ння да́них (англ. data mining), також глиби́нний ана́ліз да́них[] — процес напівавтоматичного аналізу великих баз даних з метою пошуку корисних фактів. Зазвичай поділяють на задачі класифікації, моделювання та прогнозування.[]
На сучасних підприємствах, в дослідницьких проєктах або в інтернеті утворюються великі обсяги даних. Глибинний аналіз даних здійснюється автоматично шляхом застосування методів математичної статистики, штучних нейронних мереж, теорії нечітких множин або генетичних алгоритмів. Метою аналізу є виявлення правил та закономірностей, наприклад, статистичних подій. Так, наприклад, можливо виявити зміни у поведінці клієнтів або груп клієнтів для покращення стратегії підприємства.
Задачі
| Цей розділ потребує доповнення. (жовтень 2008) |
Методи розв'язання
| Цей розділ потребує доповнення. (жовтень 2008) |
Нейронні мережі
Штучні нейронні мережі названі на основі схожості їхньої будови із нейронними зв'язками мозку людини. Дозволяють реалізовувати задачі кластеризації, класифікації, прогнозування. Після створення основ теорії нейронних мереж, вони зазнали значної критики і вважалося, що вони малопридатні для сфери штучного інтелекту. Проте відновленню інтересу до штучних нейронних мереж сприяв розвиток комп'ютерів та успіх в теоретичних та прикладних дослідженнях.
Дерева рішень
Метод для розв'язання задачі класифікації. Результатом застосування цього методу до навчального матеріалу є ієрархічна структура правил типу «якщо … тоді … інакше …». Ця структура має вигляд дерева. Для визначення приналежності об'єкта до одного з класів слід надавати відповіді на запитання, що знаходяться у вершинах цього дерева. Розпочавши з кореня дерева, алгоритм завершується після досягнення тупикової вершини (листа), ця вершина і визначатиме клас, до якого належить об'єкт.
Еволюційні алгоритми
Регресійний аналіз
Регресійний аналіз займається методами аналізу залежності однієї величини від іншої. На відміну від кореляційного аналізу, не з'ясовує, чи істотний зв'язок, а займається пошуком моделі цього зв'язку, вираженої у функції регресії.
Застосування
Програмне забезпечення
Детальніші відомості з цієї теми ви можете знайти в статті Програмне забезпечення глибокого навчання.
Деякі продукти в та також включають можливості глибинного аналізу даних та машинного навчання.
| Цей розділ треба для відповідності Вікіпедії. (жовтень 2022) |
Безкоштовне програмне забезпечення та програми для інтелектуального аналізу даних з відкритим кодом
Наступні програми доступні за безкоштовними ліцензіями/ліцензіями з відкритим кодом. Також доступний публічний доступ до вихідного коду програми.
- Carrot2 : структура кластеризації тексту та результатів пошуку.
- Chemicalize.org: інструмент пошуку хімічної структури та веб-пошукова система.
- ELKI: університетський дослідницький проєкт із вдосконаленим кластерним аналізом і методами виявлення викидів, написаний мовою Java.
- GATE: інструмент обробки природної мови та розробки мови.
- KNIME: Констанц Інформаційний Майнер, зручний і комплексний інструмент аналітики даних.
- Massive Online Analysis (MOA): інтелектуальний аналіз великих потоків даних у реальному часі з інструментом дрейфу концепції на мові програмування Java.
- MEPX: крос-платформний інструмент для регресії та класифікації проблем на основі варіанту генетичного програмування.
- mlpack: набір готових до використання алгоритмів машинного навчання, написаних мовою C++.
- NLTK (Набір інструментів природної мови): набір бібліотек і програм для символічної та статистичної обробки природної мови (NLP) для мови Python.
- OpenNN: відкрита бібліотека нейронних мереж.
- Orange: набір програмного забезпечення для аналізу даних і машинного навчання на основі компонентів, написаний мовою Python.
- PSPP: програмне забезпечення для аналізу даних і статистики в рамках проєкту GNU, схоже на SPSS.
- R: Мова програмування та програмне середовище для статистичних обчислень, аналізу даних і графіки. Це частина проєкту GNU.
- Scikit-learn: бібліотека машинного навчання з відкритим кодом для мови програмування Python.
- Torch: бібліотека глибокого навчання з відкритим кодом для мови програмування Lua та фреймворку наукових обчислень із широкою підтримкою алгоритмів машинного навчання.
- UIMA: UIMA (Unstructured Information Management Architecture) — це компонентна структура для аналізу неструктурованого вмісту, такого як текст, аудіо та відео, спочатку розроблена IBM.
- Weka: набір програм для машинного навчання, написаних мовою програмування Java.
Власне програмне забезпечення та додатки для аналізу даних Наступні програми доступні за ліцензіями власності.
- Angoss KnowledgeSTUDIO: інструмент аналізу даних.
- LIONsolver: інтегрований програмний додаток для аналізу даних, бізнес-аналітики та моделювання, який реалізує підхід Learning and Intelligent OptimizationN (LION).
- PolyAnalyst: програмне забезпечення для аналізу даних і тексту від Megaputer Intelligence.
- Microsoft Analysis Services: програмне забезпечення інтелектуального аналізу даних, надане Microsoft.
- NetOwl: набір багатомовних продуктів для аналітики тексту та об'єктів, які дозволяють аналізувати дані.
- Oracle Data Mining: програмне забезпечення для аналізу даних від корпорації Oracle.
- PSeven: платформа для автоматизації інженерного моделювання та аналізу, мультидисциплінарної оптимізації та аналізу даних, надана DATADVANCE.
- Qlucore Omics Explorer: програмне забезпечення для аналізу даних.
- RapidMiner: середовище для експериментів з машинним навчанням і аналізом даних.
- SAS Enterprise Miner: програмне забезпечення для аналізу даних, надане SAS Institute.
- SPSS Modeler: програмне забезпечення інтелектуального аналізу даних, надане IBM.
- STATISTICA Data Miner: програмне забезпечення для аналізу даних, надане StatSoft.
- Tanagra: програмне забезпечення для аналізу даних, орієнтоване на візуалізацію, також для навчання.
- Vertica: програмне забезпечення для аналізу даних, надане Hewlett-Packard.
- Google Cloud Platform: автоматизовані спеціальні моделі ML, якими керує Google.
- Amazon SageMaker: керований сервіс, який надає Amazon для створення та виробництва користувацьких моделей ML.
Див. також
Література
Джерела
- Silberschatz та Sudarshan, 2011, с. 25.
- Wang, Lipo; Fu, Xiuju (2005). (PDF). Berlin: Heidelberg : Springer. с. 6. ISBN . Архів оригіналу (PDF) за 8 листопада 2016. Процитовано 21 липня 2017.
- Encyclopedia of artificial intelligence / Juan Ramon Rabunal Dopico, Julian Dorado de la Calle, and Alejandro Pazos Sierra, editors
Посилання
- Методи отримання даних [ 20 липня 2017 у Wayback Machine.](рос.)
 | Це незавершена стаття з інформатики. Ви можете проєкту, виправивши або дописавши її. |
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Dobuva nnya da nih angl data mining takozh glibi nnij ana liz da nih dzherelo proces napivavtomatichnogo analizu velikih baz danih z metoyu poshuku korisnih faktiv Zazvichaj podilyayut na zadachi klasifikaciyi modelyuvannya ta prognozuvannya dzherelo Na suchasnih pidpriyemstvah v doslidnickih proyektah abo v interneti utvoryuyutsya veliki obsyagi danih Glibinnij analiz danih zdijsnyuyetsya avtomatichno shlyahom zastosuvannya metodiv matematichnoyi statistiki shtuchnih nejronnih merezh teoriyi nechitkih mnozhin abo genetichnih algoritmiv Metoyu analizu ye viyavlennya pravil ta zakonomirnostej napriklad statistichnih podij Tak napriklad mozhlivo viyaviti zmini u povedinci kliyentiv abo grup kliyentiv dlya pokrashennya strategiyi pidpriyemstva ZadachiCej rozdil potrebuye dopovnennya zhovten 2008 Metodi rozv yazannyaCej rozdil potrebuye dopovnennya zhovten 2008 Nejronni merezhi Dokladnishe Shtuchna nejronna merezha Shtuchni nejronni merezhi nazvani na osnovi shozhosti yihnoyi budovi iz nejronnimi zv yazkami mozku lyudini Dozvolyayut realizovuvati zadachi klasterizaciyi klasifikaciyi prognozuvannya Pislya stvorennya osnov teoriyi nejronnih merezh voni zaznali znachnoyi kritiki i vvazhalosya sho voni malopridatni dlya sferi shtuchnogo intelektu Prote vidnovlennyu interesu do shtuchnih nejronnih merezh spriyav rozvitok komp yuteriv ta uspih v teoretichnih ta prikladnih doslidzhennyah Dereva rishen Dokladnishe Derevo uhvalennya rishen Metod dlya rozv yazannya zadachi klasifikaciyi Rezultatom zastosuvannya cogo metodu do navchalnogo materialu ye iyerarhichna struktura pravil tipu yaksho todi inakshe Cya struktura maye viglyad dereva Dlya viznachennya prinalezhnosti ob yekta do odnogo z klasiv slid nadavati vidpovidi na zapitannya sho znahodyatsya u vershinah cogo dereva Rozpochavshi z korenya dereva algoritm zavershuyetsya pislya dosyagnennya tupikovoyi vershini lista cya vershina i viznachatime klas do yakogo nalezhit ob yekt Evolyucijni algoritmi Dokladnishe Evolyucijnij algoritm ta Genetichnij algoritm Regresijnij analiz Dokladnishe Regresijnij analiz Regresijnij analiz zajmayetsya metodami analizu zalezhnosti odniyeyi velichini vid inshoyi Na vidminu vid korelyacijnogo analizu ne z yasovuye chi istotnij zv yazok a zajmayetsya poshukom modeli cogo zv yazku virazhenoyi u funkciyi regresiyi ZastosuvannyaObrobka prirodnoyi movi ReferuvannyaProgramne zabezpechennyaDetalnishi vidomosti z ciyeyi temi vi mozhete znajti v statti Programne zabezpechennya glibokogo navchannya Deyaki produkti v Kategoriya Programne zabezpechennya analizu danih ta Kategoriya Programne zabezpechennya dlya statistichnogo analizu takozh vklyuchayut mozhlivosti glibinnogo analizu danih ta mashinnogo navchannya Cej rozdil treba vikifikuvati dlya vidpovidnosti standartam yakosti Vikipediyi Bud laska dopomozhit dodavannyam dorechnih vnutrishnih posilan abo vdoskonalennyam rozmitki statti zhovten 2022 Bezkoshtovne programne zabezpechennya ta programi dlya intelektualnogo analizu danih z vidkritim kodom Nastupni programi dostupni za bezkoshtovnimi licenziyami licenziyami z vidkritim kodom Takozh dostupnij publichnij dostup do vihidnogo kodu programi Carrot2 struktura klasterizaciyi tekstu ta rezultativ poshuku Chemicalize org instrument poshuku himichnoyi strukturi ta veb poshukova sistema ELKI universitetskij doslidnickij proyekt iz vdoskonalenim klasternim analizom i metodami viyavlennya vikidiv napisanij movoyu Java GATE instrument obrobki prirodnoyi movi ta rozrobki movi KNIME Konstanc Informacijnij Majner zruchnij i kompleksnij instrument analitiki danih Massive Online Analysis MOA intelektualnij analiz velikih potokiv danih u realnomu chasi z instrumentom drejfu koncepciyi na movi programuvannya Java MEPX kros platformnij instrument dlya regresiyi ta klasifikaciyi problem na osnovi variantu genetichnogo programuvannya mlpack nabir gotovih do vikoristannya algoritmiv mashinnogo navchannya napisanih movoyu C NLTK Nabir instrumentiv prirodnoyi movi nabir bibliotek i program dlya simvolichnoyi ta statistichnoyi obrobki prirodnoyi movi NLP dlya movi Python OpenNN vidkrita biblioteka nejronnih merezh Orange nabir programnogo zabezpechennya dlya analizu danih i mashinnogo navchannya na osnovi komponentiv napisanij movoyu Python PSPP programne zabezpechennya dlya analizu danih i statistiki v ramkah proyektu GNU shozhe na SPSS R Mova programuvannya ta programne seredovishe dlya statistichnih obchislen analizu danih i grafiki Ce chastina proyektu GNU Scikit learn biblioteka mashinnogo navchannya z vidkritim kodom dlya movi programuvannya Python Torch biblioteka glibokogo navchannya z vidkritim kodom dlya movi programuvannya Lua ta frejmvorku naukovih obchislen iz shirokoyu pidtrimkoyu algoritmiv mashinnogo navchannya UIMA UIMA Unstructured Information Management Architecture ce komponentna struktura dlya analizu nestrukturovanogo vmistu takogo yak tekst audio ta video spochatku rozroblena IBM Weka nabir program dlya mashinnogo navchannya napisanih movoyu programuvannya Java Vlasne programne zabezpechennya ta dodatki dlya analizu danih Nastupni programi dostupni za licenziyami vlasnosti Angoss KnowledgeSTUDIO instrument analizu danih LIONsolver integrovanij programnij dodatok dlya analizu danih biznes analitiki ta modelyuvannya yakij realizuye pidhid Learning and Intelligent OptimizationN LION PolyAnalyst programne zabezpechennya dlya analizu danih i tekstu vid Megaputer Intelligence Microsoft Analysis Services programne zabezpechennya intelektualnogo analizu danih nadane Microsoft NetOwl nabir bagatomovnih produktiv dlya analitiki tekstu ta ob yektiv yaki dozvolyayut analizuvati dani Oracle Data Mining programne zabezpechennya dlya analizu danih vid korporaciyi Oracle PSeven platforma dlya avtomatizaciyi inzhenernogo modelyuvannya ta analizu multidisciplinarnoyi optimizaciyi ta analizu danih nadana DATADVANCE Qlucore Omics Explorer programne zabezpechennya dlya analizu danih RapidMiner seredovishe dlya eksperimentiv z mashinnim navchannyam i analizom danih SAS Enterprise Miner programne zabezpechennya dlya analizu danih nadane SAS Institute SPSS Modeler programne zabezpechennya intelektualnogo analizu danih nadane IBM STATISTICA Data Miner programne zabezpechennya dlya analizu danih nadane StatSoft Tanagra programne zabezpechennya dlya analizu danih oriyentovane na vizualizaciyu takozh dlya navchannya Vertica programne zabezpechennya dlya analizu danih nadane Hewlett Packard Google Cloud Platform avtomatizovani specialni modeli ML yakimi keruye Google Amazon SageMaker kerovanij servis yakij nadaye Amazon dlya stvorennya ta virobnictva koristuvackih modelej ML Div takozhData Farming Intelektualnij analiz tekstuLiteraturaSilberschatz Abraham Sudarshan S 2011 Database system concepts vid 6 New York McGraw Hill ISBN 9780073523323 OCLC 436031093 DzherelaSilberschatz ta Sudarshan 2011 s 25 Wang Lipo Fu Xiuju 2005 PDF Berlin Heidelberg Springer s 6 ISBN 3 540 24522 7 Arhiv originalu PDF za 8 listopada 2016 Procitovano 21 lipnya 2017 Encyclopedia of artificial intelligence Juan Ramon Rabunal Dopico Julian Dorado de la Calle and Alejandro Pazos Sierra editorsPosilannyaMetodi otrimannya danih 20 lipnya 2017 u Wayback Machine ros Ce nezavershena stattya z informatiki Vi mozhete dopomogti proyektu vipravivshi abo dopisavshi yiyi