Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

BigQuery це безсерверне сховище даних що належить Google для інтерактивного широкомасштабного аналізу великих наборів да

BigQuery

BigQuery

BigQuery — це безсерверне сховище даних, що належить Google, для інтерактивного широкомасштабного аналізу великих наборів даних. Може використовуватись через веб інтерфейс, інтерфейс командного рядка та API. Оплата здійснюється за кількість терабайт даних опрацьованих при виконанні запитів.

BigQuery
Посиланняcloud.google.com/products/bigquery/
ТипІнфраструктура як послуга
РеєстраціяПотрібна
МовиАнглійська
ВласникGoogle
Започатковано19 травня 2010; 14 років тому (2010-05-19)
СтанАктивний

Історія

Після обмеженого періоду тестування в 2010 році BigQuery став доступним широкому загалу у листопаді 2011 року на конференції Google Atmosphere. У 2014 році [en] представив проект Apache Drill для вирішення подібних проблем. У квітні 2016 року європейські користувачі зазнали 12-годинного збою у роботі служби. У травні 2016 року була оголошена підтримка для Google Sheets.

Будова

BigQuery використовує ряд технологій Google, таких як рушій виконання запитів Dremel, систему керування кластером , файлову систему , формат даних Capacitor та мережу Jupiter. Архітектура відокремлює зберігання даних від їх обробки, що дозволяє окремо маштабувати зберігання і запити.

Зберігання

BigQuery підтримує як пакетний або потоковий режим запису вхідних даних. Для зберігання даних використовується [en] Capacitor. Кожна колонка зберігається в окремому файлі, що дозволяє ефективніше їх стискати і читати. Після кодування дані записуються в , яка є наступницею Google File System, і дозволяє читати зі швидкістю до терабайта за секунду.

Зовнішні джерела даних

Таблиці які зберігає BigQuery називають внутрішніми. BigQuery також підтримує запити до зовнішніх таблиць, які можуть зберігатись у Bigtable, GCS, чи Google Drive. Запити до зовнішніх даних повільніші.

Виконання запитів

Для виконання запитів система керування кластером Google Borg запускає тисячі паралельних робіт (англ. jobs) Dremel, кожна з яких може читати дані своєї частини таблиці, фільтрувати та агрегувати їх і передавати іншим роботам. Передача даних між ними здійснюється за допомогою мережі Jupiter, яка може передавати зі швидкістю до 1 петабіта на секунду.

Особливості

  • Управління даними — створення та видалення таблиць на основі JSON-схеми, імпорт даних у форматі CSV або JSON з Google Cloud Storage.
  • Запити — для запитів використовується стандарт SQL:2011, а результат повертається у форматі JSON з максимальним розміром відповіді приблизно 128 MB або необмеженого розміру, коли обрано опцію великих запитів.
  • Інтеграція — BigQuery можна використовувати з Google Apps Script (наприклад, як скрипт для Google Docs) або будь-якою мовою, яка працює з REST API або клієнтськими бібліотеками.
  • Контроль доступу — це можливість надавати доступ до даних довільним особам, групам або будь-кому.

Користувацькі функції

BigQuery підтримує [en] мовою JavaScript.

Див. також

Примітки

  1. . Архів оригіналу за 7 лютого 2019. Процитовано 6 лютого 2019.
  2. Iain Thomson (14 листопада 2011). . Архів оригіналу за 15 вересня 2016. Процитовано 26 серпня 2016.
  3. Neil McAllister (16 вересня 2014). . Архів оригіналу за 15 вересня 2016. Процитовано 26 серпня 2016.
  4. Simon Sharwood (7 квітня 2016). . Архів оригіналу за 15 вересня 2016. Процитовано 26 серпня 2016.
  5. Jordan Novet (6 травня 2016). . Архів оригіналу за 8 вересня 2016. Процитовано 26 серпня 2016.
  6. Sergey Melnik; Andrey Gubarev; Jing Jing Long; Geoffrey Romer; Shiva Shivakumar; Matt Tolton; Theo Vassilakis (2010). . Proc. of the 36th International Conference on Very Large Data Bases (VLDB). Архів оригіналу за 28 жовтня 2010. Процитовано 10 липня 2018.
  7. Kazunori Sato (2012). (PDF). Google. Архів оригіналу (PDF) за 3 вересня 2016. Процитовано 26 серпня 2016.
  8. . Архів оригіналу за 7 квітня 2017. Процитовано 26 червня 2017.
  9. . Архів оригіналу за 15 липня 2017. Процитовано 26 червня 2017.
  10. . 15 березня 2018. Архів оригіналу за 3 квітня 2019. Процитовано 23 квітня 2018.
  11. . Архів оригіналу за 11 лютого 2017. Процитовано 26 червня 2017.
  12. . Google Cloud. Архів оригіналу за 15 березня 2019. Процитовано 14 лютого 2019.

Посилання

  • Офіційний сайт [ 29 грудня 2014 у Wayback Machine.]
  • Google BigQuery introduction by Jordan Tigani

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

BigQuery ce bezserverne shovishe danih sho nalezhit Google dlya interaktivnogo shirokomasshtabnogo analizu velikih naboriv danih Mozhe vikoristovuvatis cherez veb interfejs interfejs komandnogo ryadka ta API Oplata zdijsnyuyetsya za kilkist terabajt danih opracovanih pri vikonanni zapitiv BigQueryPosilannyacloud google com products bigquery TipInfrastruktura yak poslugaReyestraciyaPotribnaMoviAnglijskaVlasnikGoogleZapochatkovano19 travnya 2010 14 rokiv tomu 2010 05 19 StanAktivnijIstoriyaPislya obmezhenogo periodu testuvannya v 2010 roci BigQuery stav dostupnim shirokomu zagalu u listopadi 2011 roku na konferenciyi Google Atmosphere U 2014 roci en predstaviv proekt Apache Drill dlya virishennya podibnih problem U kvitni 2016 roku yevropejski koristuvachi zaznali 12 godinnogo zboyu u roboti sluzhbi U travni 2016 roku bula ogoloshena pidtrimka dlya Google Sheets BudovaBigQuery vikoristovuye ryad tehnologij Google takih yak rushij vikonannya zapitiv Dremel sistemu keruvannya klasterom fajlovu sistemu format danih Capacitor ta merezhu Jupiter Arhitektura vidokremlyuye zberigannya danih vid yih obrobki sho dozvolyaye okremo mashtabuvati zberigannya i zapiti Zberigannya BigQuery pidtrimuye yak paketnij abo potokovij rezhim zapisu vhidnih danih Dlya zberigannya danih vikoristovuyetsya en Capacitor Kozhna kolonka zberigayetsya v okremomu fajli sho dozvolyaye efektivnishe yih stiskati i chitati Pislya koduvannya dani zapisuyutsya v yaka ye nastupniceyu Google File System i dozvolyaye chitati zi shvidkistyu do terabajta za sekundu Zovnishni dzherela danih Tablici yaki zberigaye BigQuery nazivayut vnutrishnimi BigQuery takozh pidtrimuye zapiti do zovnishnih tablic yaki mozhut zberigatis u Bigtable GCS chi Google Drive Zapiti do zovnishnih danih povilnishi Vikonannya zapitiv Dlya vikonannya zapitiv sistema keruvannya klasterom Google Borg zapuskaye tisyachi paralelnih robit angl jobs Dremel kozhna z yakih mozhe chitati dani svoyeyi chastini tablici filtruvati ta agreguvati yih i peredavati inshim robotam Peredacha danih mizh nimi zdijsnyuyetsya za dopomogoyu merezhi Jupiter yaka mozhe peredavati zi shvidkistyu do 1 petabita na sekundu OsoblivostiUpravlinnya danimi stvorennya ta vidalennya tablic na osnovi JSON shemi import danih u formati CSV abo JSON z Google Cloud Storage Zapiti dlya zapitiv vikoristovuyetsya standart SQL 2011 a rezultat povertayetsya u formati JSON z maksimalnim rozmirom vidpovidi priblizno 128 MB abo neobmezhenogo rozmiru koli obrano opciyu velikih zapitiv Integraciya BigQuery mozhna vikoristovuvati z Google Apps Script napriklad yak skript dlya Google Docs abo bud yakoyu movoyu yaka pracyuye z REST API abo kliyentskimi bibliotekami Kontrol dostupu ce mozhlivist nadavati dostup do danih dovilnim osobam grupam abo bud komu Koristuvacki funkciyi BigQuery pidtrimuye en movoyu JavaScript Div takozhAmazon Athena Apache Drill en Primitki Arhiv originalu za 7 lyutogo 2019 Procitovano 6 lyutogo 2019 Iain Thomson 14 listopada 2011 Arhiv originalu za 15 veresnya 2016 Procitovano 26 serpnya 2016 Neil McAllister 16 veresnya 2014 Arhiv originalu za 15 veresnya 2016 Procitovano 26 serpnya 2016 Simon Sharwood 7 kvitnya 2016 Arhiv originalu za 15 veresnya 2016 Procitovano 26 serpnya 2016 Jordan Novet 6 travnya 2016 Arhiv originalu za 8 veresnya 2016 Procitovano 26 serpnya 2016 Sergey Melnik Andrey Gubarev Jing Jing Long Geoffrey Romer Shiva Shivakumar Matt Tolton Theo Vassilakis 2010 Proc of the 36th International Conference on Very Large Data Bases VLDB Arhiv originalu za 28 zhovtnya 2010 Procitovano 10 lipnya 2018 Kazunori Sato 2012 PDF Google Arhiv originalu PDF za 3 veresnya 2016 Procitovano 26 serpnya 2016 Arhiv originalu za 7 kvitnya 2017 Procitovano 26 chervnya 2017 Arhiv originalu za 15 lipnya 2017 Procitovano 26 chervnya 2017 15 bereznya 2018 Arhiv originalu za 3 kvitnya 2019 Procitovano 23 kvitnya 2018 Arhiv originalu za 11 lyutogo 2017 Procitovano 26 chervnya 2017 Google Cloud Arhiv originalu za 15 bereznya 2019 Procitovano 14 lyutogo 2019 PosilannyaOficijnij sajt 29 grudnya 2014 u Wayback Machine Google BigQuery introduction by Jordan Tigani

Дата публікації:
Топ