Куб даних у комп'ютерному програмуванні — багатовимірний масив. Як правило, поняття «куб даних» використовується, у тих випадках, коли пам'ять, необхідна для збереження масиву даних, значно перевищує основну хостингову пам'ять комп'ютера; наприклад сховища даних із кількома терабайтами / петабайтами та часові ряди зображень.
Куб даних використовується для того, щоб представити дані (такі як якась подія, міра, факт) у розрізі певних вимірів або набору характеристик. Наприклад, у випадку OLAP, куб можна сформувати як події продажу певного товару у певній дочірній компанії в певний час. У часових рядах супутникових знімків характеристиками, що розглядаються, будуть широта, довгота, час; фактом буде піксель для даної координати простору / часу, який приймає супутник. Незважаючи на те, що таке представлення даних називається кубом (а приклади вище, для стислості, є тривимірними), куб даних, як правило, є багатовимірним поняттям, яке може бути одновимірним, двовимірним, тривимірним і так далі. У будь-якому випадку, кожен вимір являє собою окрему характеристику, тоді як клітинки в кубі є подіями, фактами або мірою деякої величини. Заповнення куба може бути різною. Іноді куби містять лише кілька заповнених клітин, а решта є порожньою чи невизначеною, іноді комірки заповнені майже повністю чи повністю. У першому випадку такі дані називаються розрідженими, у другому випадку вони називаються щільними, хоча між ними немає жорсткого розмежування.
Історія
Багатовимірні масиви давно відомі в мовах програмування. Fortran пропонує одновимірні масиви та масиви із масивів, що дозволяє будувати масиви більшого розміру. APL підтримує масиви розмірності n та великий набір операцій над ними. Спільним у масивах усіх мов, є те що вони повинні поміщатися в основну пам'ять і бути доступними лише під час виконання певної програми, що їх використовує (наприклад, програмного забезпечення для обробки зображень).
Серія форматів обміну даними підтримує зберігання та передачу кубоподібних даних, часто з урахуванням конкретних доменів. Прикладами є MDX для статистичних (зокрема, бізнес) даних, ієрархічний формат даних для загальнонаукових даних та TIFF для зображень.
У 1992 році Пітер Бауманн представив роботу по адмініструванню масивними кубами даних, що мала ефективну архітектуру програмного забезпечення та високий рівень функціональності для користувачів. Над кубами даних можна було проводити такі операції, як вилучення підмножини, обробку, злиття та загальні запити як у мовах маніпулювання даними, таких як SQL.
Через кілька років концепція кубів даних була застосована для опису бізнес даних, що змінюються в розрізі часу Джимом Греєм та ін., та Венкі Харинараяна, Ананда Раджарамана та Джеффа Уллмана які входять до списку 500 найбільш цитованих статті з інформатики за 25-річний період.
Приблизно в той час при німецькій Gesellschaft für Informatik була створена робоча група по роботі над багатовимірними базами даних («Arbeitskreis Multi-Dimensionale Datenbanken»).
Datacube Inc. була компанією з обробки зображень, яка продавала апаратні та програмні додатки для ринку ПК у 1996 році, однак, не звертаючись до таких понять як куби даних.
Ініціатива EarthServer встановила вимоги до обслуговування куба геоданих.
Стандартизація
У 2018 році мова бази даних ISO SQL була розширена з функцією куб даних як «SQL — Частина 15: Багатовимірні масиви (SQL / MDA)».
Служба обробки вебпокриттів — мова для аналізу багатовимірних геоданих, створена Open Geospatial Consortium в 2008 році. Окрім загальних операцій з кубами даних, мова знає про семантику простору та часу і підтримує як регулярні, так і нерегулярні сітки кубів даних, засновані на концепції покриття .
Багатовимірні вирази, розроблені та започатковані корпорацією Майкрософт, є стандартом в запитах до кубів даних в бізнес індустрії.
Впровадження
Багато високо рівневих мов програмування трактують куби даних та інші великі масиви як окремі сутності, що є всупереч їх змісту. До таких мов належать APL, IDL, NumPy, PDL, і S-Lang, дозволяють програмісту маніпулювати повним кіно кліпом та іншими даним переважно простими виразами, отриманими з лінійної алгебри та векторної математики. Деякі мови (наприклад, PDL) розрізняють список зображень та куб даних, тоді як багато (наприклад, IDL) такої функції не має.
СКБД масивів (Системи керування базами даних) пропонують модель даних, яка загалом підтримує визначення, управління, пошук і маніпулювання n-вимірними кубами даних. Такий вид баз даних був запроваджений системою [en] з 1994 року.
Програми
Багатовимірні масиви можуть не лише змістовно представляти просторово-часові дані датчика, зображення та модельовані дані, але й статистичні дані, де семантика вимірів не обов'язково має просторовий або часовий характер. Як правило, у кубі даних можна поєднати будь-яку вісь з будь-якою іншою.
Математика
У математиці одновимірний масив відповідає вектору, двовимірний масив нагадує матрицю; більш загально, тензор може бути представлений у вигляді n-вимірного куба даних.
Наука та техніка
Для часової послідовності кольорових зображень масив, як правило, чотиривимірний, з вимірами, котрі відображають X та Y координати зображення, час та площину кольорів RGB (або іншого колірного простору). Наприклад, ініціатива EarthServer об'єднує центри обробки даних з різних континентів, пропонуючи 3-D x/y/t часові ряди супутникових зображень та 4-D x/y/z/t дані про погоду для пошуку та обробки на сервері за допомогою Open Geospatial Consortium WCPS стандартів запитів геокубів даних.
Куб даних також використовується в області спектроскопії зображень, оскільки спектрально розрізнене зображення представляється у вигляді тривимірного об'єму.
Бізнес-аналітика
Під час аналітичної обробки даних у реальному часі (OLAP) куби даних є спільною домовленістю у роботі з бізнес даним, для аналізу у різних площинах за допомогою таких операцій, як нарізка (фільтрація за одним полем/характеристикою), нарізання кубів (фільтрація за кількома полями/характеристиками), обертання (групування даних) та агрегування.
Див. також
Примітки
- Gray, Jim; Chaudhuri, Surajit; Bosworth, Adam; Layman, Andrew; Reichart, Don; Venkatrao, Murali; Pellow, Frank; Pirahesh, Hamid (January 1997). Data Cube: A Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub-Totals. Data Mining and Knowledge Discovery. 1 (1): 29—53. doi:10.1023/A:1009726021843.
- Harinarayan, Venky; Rajaraman, Anand; Ullman, Jeffrey D. (1996). Implementing data cubes efficiently. Implementing Data Cubes Efficiently. с. 205—216. doi:10.1145/233269.233333. ISBN .
- 500 Most Cited Computer Science Articles [ 31 жовтня 2020 у Wayback Machine.] (501—600), CiteSeer. 12 June 2009. Retrieved 21 March 2017.
- Der GI-Arbeitskreis Multidimensionale Datenbanken stellt sich vor, Peter Baumann, Wolfgang Lehner, 1997, Datenbank Rundbrief Volume 19, 1997, http://dblp.uni-trier.de/db/journals/gidr/gidr19.html#BaumannL97 [ 1 листопада 2020 у Wayback Machine.]
- Rückblick auf den GI-Arbeitskreis Multidimensionale Datenbanken, Peter Baumann, 1999, Datenbank Rundbrief Volume 23:, 1999, http://dblp.uni-trier.de/db/journals/gidr/gidr23.html#Baumann99 [ 1 листопада 2020 у Wayback Machine.]
- . www.earthserver.eu. Архів оригіналу за 25 січня 2021. Процитовано 21 вересня 2017.
- . Архів оригіналу за 29 жовтня 2020. Процитовано 27 травня 2018.
- (PDF). www.vldb.org. Архів оригіналу (PDF) за 29 жовтня 2020. Процитовано 21 вересня 2017.
- . www.earthserver.eu. Архів оригіналу за 28 жовтня 2020. Процитовано 31 березня 2017.
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Kub danih u komp yuternomu programuvanni bagatovimirnij masiv Yak pravilo ponyattya kub danih vikoristovuyetsya u tih vipadkah koli pam yat neobhidna dlya zberezhennya masivu danih znachno perevishuye osnovnu hostingovu pam yat komp yutera napriklad shovisha danih iz kilkoma terabajtami petabajtami ta chasovi ryadi zobrazhen Kub danih vikoristovuyetsya dlya togo shob predstaviti dani taki yak yakas podiya mira fakt u rozrizi pevnih vimiriv abo naboru harakteristik Napriklad u vipadku OLAP kub mozhna sformuvati yak podiyi prodazhu pevnogo tovaru u pevnij dochirnij kompaniyi v pevnij chas U chasovih ryadah suputnikovih znimkiv harakteristikami sho rozglyadayutsya budut shirota dovgota chas faktom bude piksel dlya danoyi koordinati prostoru chasu yakij prijmaye suputnik Nezvazhayuchi na te sho take predstavlennya danih nazivayetsya kubom a prikladi vishe dlya stislosti ye trivimirnimi kub danih yak pravilo ye bagatovimirnim ponyattyam yake mozhe buti odnovimirnim dvovimirnim trivimirnim i tak dali U bud yakomu vipadku kozhen vimir yavlyaye soboyu okremu harakteristiku todi yak klitinki v kubi ye podiyami faktami abo miroyu deyakoyi velichini Zapovnennya kuba mozhe buti riznoyu Inodi kubi mistyat lishe kilka zapovnenih klitin a reshta ye porozhnoyu chi neviznachenoyu inodi komirki zapovneni majzhe povnistyu chi povnistyu U pershomu vipadku taki dani nazivayutsya rozridzhenimi u drugomu vipadku voni nazivayutsya shilnimi hocha mizh nimi nemaye zhorstkogo rozmezhuvannya IstoriyaBagatovimirni masivi davno vidomi v movah programuvannya Fortran proponuye odnovimirni masivi ta masivi iz masiviv sho dozvolyaye buduvati masivi bilshogo rozmiru APL pidtrimuye masivi rozmirnosti n ta velikij nabir operacij nad nimi Spilnim u masivah usih mov ye te sho voni povinni pomishatisya v osnovnu pam yat i buti dostupnimi lishe pid chas vikonannya pevnoyi programi sho yih vikoristovuye napriklad programnogo zabezpechennya dlya obrobki zobrazhen Seriya formativ obminu danimi pidtrimuye zberigannya ta peredachu kubopodibnih danih chasto z urahuvannyam konkretnih domeniv Prikladami ye MDX dlya statistichnih zokrema biznes danih iyerarhichnij format danih dlya zagalnonaukovih danih ta TIFF dlya zobrazhen U 1992 roci Piter Baumann predstaviv robotu po administruvannyu masivnimi kubami danih sho mala efektivnu arhitekturu programnogo zabezpechennya ta visokij riven funkcionalnosti dlya koristuvachiv Nad kubami danih mozhna bulo provoditi taki operaciyi yak viluchennya pidmnozhini obrobku zlittya ta zagalni zapiti yak u movah manipulyuvannya danimi takih yak SQL Cherez kilka rokiv koncepciya kubiv danih bula zastosovana dlya opisu biznes danih sho zminyuyutsya v rozrizi chasu Dzhimom Greyem ta in ta Venki Harinarayana Ananda Radzharamana ta Dzheffa Ullmana yaki vhodyat do spisku 500 najbilsh citovanih statti z informatiki za 25 richnij period Priblizno v toj chas pri nimeckij Gesellschaft fur Informatik bula stvorena robocha grupa po roboti nad bagatovimirnimi bazami danih Arbeitskreis Multi Dimensionale Datenbanken Datacube Inc bula kompaniyeyu z obrobki zobrazhen yaka prodavala aparatni ta programni dodatki dlya rinku PK u 1996 roci odnak ne zvertayuchis do takih ponyat yak kubi danih Iniciativa EarthServer vstanovila vimogi do obslugovuvannya kuba geodanih StandartizaciyaU 2018 roci mova bazi danih ISO SQL bula rozshirena z funkciyeyu kub danih yak SQL Chastina 15 Bagatovimirni masivi SQL MDA Sluzhba obrobki vebpokrittiv mova dlya analizu bagatovimirnih geodanih stvorena Open Geospatial Consortium v 2008 roci Okrim zagalnih operacij z kubami danih mova znaye pro semantiku prostoru ta chasu i pidtrimuye yak regulyarni tak i neregulyarni sitki kubiv danih zasnovani na koncepciyi pokrittya Bagatovimirni virazi rozrobleni ta zapochatkovani korporaciyeyu Majkrosoft ye standartom v zapitah do kubiv danih v biznes industriyi VprovadzhennyaBagato visoko rivnevih mov programuvannya traktuyut kubi danih ta inshi veliki masivi yak okremi sutnosti sho ye vsuperech yih zmistu Do takih mov nalezhat APL IDL NumPy PDL i S Lang dozvolyayut programistu manipulyuvati povnim kino klipom ta inshimi danim perevazhno prostimi virazami otrimanimi z linijnoyi algebri ta vektornoyi matematiki Deyaki movi napriklad PDL rozriznyayut spisok zobrazhen ta kub danih todi yak bagato napriklad IDL takoyi funkciyi ne maye SKBD masiviv Sistemi keruvannya bazami danih proponuyut model danih yaka zagalom pidtrimuye viznachennya upravlinnya poshuk i manipulyuvannya n vimirnimi kubami danih Takij vid baz danih buv zaprovadzhenij sistemoyu en z 1994 roku ProgramiBagatovimirni masivi mozhut ne lishe zmistovno predstavlyati prostorovo chasovi dani datchika zobrazhennya ta modelovani dani ale j statistichni dani de semantika vimiriv ne obov yazkovo maye prostorovij abo chasovij harakter Yak pravilo u kubi danih mozhna poyednati bud yaku vis z bud yakoyu inshoyu Matematika U matematici odnovimirnij masiv vidpovidaye vektoru dvovimirnij masiv nagaduye matricyu bilsh zagalno tenzor mozhe buti predstavlenij u viglyadi n vimirnogo kuba danih Nauka ta tehnika Dlya chasovoyi poslidovnosti kolorovih zobrazhen masiv yak pravilo chotirivimirnij z vimirami kotri vidobrazhayut X ta Y koordinati zobrazhennya chas ta ploshinu koloriv RGB abo inshogo kolirnogo prostoru Napriklad iniciativa EarthServer ob yednuye centri obrobki danih z riznih kontinentiv proponuyuchi 3 D x y t chasovi ryadi suputnikovih zobrazhen ta 4 D x y z t dani pro pogodu dlya poshuku ta obrobki na serveri za dopomogoyu Open Geospatial Consortium WCPS standartiv zapitiv geokubiv danih Kub danih takozh vikoristovuyetsya v oblasti spektroskopiyi zobrazhen oskilki spektralno rozriznene zobrazhennya predstavlyayetsya u viglyadi trivimirnogo ob yemu Biznes analitika Pid chas analitichnoyi obrobki danih u realnomu chasi OLAP kubi danih ye spilnoyu domovlenistyu u roboti z biznes danim dlya analizu u riznih ploshinah za dopomogoyu takih operacij yak narizka filtraciya za odnim polem harakteristikoyu narizannya kubiv filtraciya za kilkoma polyami harakteristikami obertannya grupuvannya danih ta agreguvannya Div takozhKub OLAP Grafik diskretna matematika PrimitkiGray Jim Chaudhuri Surajit Bosworth Adam Layman Andrew Reichart Don Venkatrao Murali Pellow Frank Pirahesh Hamid January 1997 Data Cube A Relational Aggregation Operator Generalizing Group By Cross Tab and Sub Totals Data Mining and Knowledge Discovery 1 1 29 53 doi 10 1023 A 1009726021843 Harinarayan Venky Rajaraman Anand Ullman Jeffrey D 1996 Implementing data cubes efficiently Implementing Data Cubes Efficiently s 205 216 doi 10 1145 233269 233333 ISBN 978 0897917940 500 Most Cited Computer Science Articles 31 zhovtnya 2020 u Wayback Machine 501 600 CiteSeer 12 June 2009 Retrieved 21 March 2017 Der GI Arbeitskreis Multidimensionale Datenbanken stellt sich vor Peter Baumann Wolfgang Lehner 1997 Datenbank Rundbrief Volume 19 1997 http dblp uni trier de db journals gidr gidr19 html BaumannL97 1 listopada 2020 u Wayback Machine Ruckblick auf den GI Arbeitskreis Multidimensionale Datenbanken Peter Baumann 1999 Datenbank Rundbrief Volume 23 1999 http dblp uni trier de db journals gidr gidr23 html Baumann99 1 listopada 2020 u Wayback Machine www earthserver eu Arhiv originalu za 25 sichnya 2021 Procitovano 21 veresnya 2017 Arhiv originalu za 29 zhovtnya 2020 Procitovano 27 travnya 2018 PDF www vldb org Arhiv originalu PDF za 29 zhovtnya 2020 Procitovano 21 veresnya 2017 www earthserver eu Arhiv originalu za 28 zhovtnya 2020 Procitovano 31 bereznya 2017