Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Bigtable це система зі стисненням високою продуктивністю та власницькою системою збереження даних побудована на файловій

BigTable

BigTable

Bigtable — це система зі стисненням, високою продуктивністю та власницькою системою збереження даних, побудована на файловій системі Google, (розподіленому менеджері блокувань Chubby), SSTable (лог-структуроване сховище, подібне до [en]) та кілька інших технологій Google. 6 травня 2015 року загальнодоступна версія Bigtable почала працювати як сервіс. Bigtable також використовується в Google Cloud Datastore, який доступний як частина Google Cloud Platform.

Google Bigtable
ТипХмарне сховище
РозробникGoogle Inc.
Перший випусклютий 2005; 19 років тому (2005-02)
ПлатформаGoogle Cloud Platform
Мова програмування
(головне ядро), Java, Python, Go, Ruby
ЛіцензіяПропрієтарне
Вебсайтcloud.google.com/bigtable/

Історія

Розробка Bigtable розпочалась у 2004 році й зараз використовується рядом додатків Google, таких як вебіндексація, MapReduce, яка часто використовується для створення та модифікації даних, що зберігаються в Bigtable, Google Maps, пошуку у Google Книги, «Моя історія пошуку» (англ. My Search History), Google Earth, Blogger.com, хостинг Google Code, YouTube та Gmail. Причини, які спонукали Google для розробки власної бази включають масштабованість та кращий контроль за характеристиками продуктивності.

Реляційна база даних Google Spanner є реалізацією Bigtable разом з групою протоколів Paxos для двофазної транзакції для кожної таблиці. Google F1 є надбудовою над Spanner для заміни реалізації заснованої на MySQL.

Будова

Bigtable є одним із прототипів сховищ з широким стовпчиком. Він відображає два довільних текстових значення (ключ рядка і ключ стовпця) та відмітку часу (отже, тривимірне відображення) у пов'язаний довільний масив байтів.:1 Це не реляційна база даних і її краще визначити як розріджену, розподілену багатовимірну відсортовану карту. Bigtable призначений для масштабування в діапазоні петабайту через «сотні або тисячі машин, а також для спрощення додавання нових машин до системи і автоматичного використання цих ресурсів без будь-якої переконфігурації».

Кожна таблиця має багато розмірностей (одна з яких є полем для відміток часу, що дозволяє використовувати системи керування версіями та збирання сміття). Таблиці оптимізовані для файлової системи Google (GFS) шляхом розбиття на кілька таблиць або таблетів (англ. tablet) — сегменти таблиці діляться по рядкам, таким чином, щоб їх розмір складав ~200 мегабайт. Коли розміри загрожують вийти за встановлену межу, таблиці стискуються за допомогою алгоритмів BMDiff та Zippy — останній алгоритм широко відомий за відкритою бібліотекою Snappy, яка є варіацією LZ77 не дуже ефективною за об'ємом стиснення, але більш ефективною за часом обчислень. Розташування складових таблиці (таблети) в GFS вносяться як записи бази даних у кількох спеціальних таблетах, які називаються «META1»-таблетами. META1 таблети знаходяться за запитом єдиного таблета «META0», який звичайно розміщується на власному сервері, оскільки до нього часто йдуть запити від клієнтів щодо розташування таблета «META1», який сам містить відповідь на питання про те, де знаходяться фактичні дані. Як і головний сервер GFS, сервер META0 взагалі не є [en], оскільки час і пропускна спроможність процесора, необхідні для пошуку та передачі адреси META1, є мінімальними, а клієнти активно кешують координати для мінімізації запитів.

Див. також

Примітки

  1. . Google Blog. 6 травня 2015. Архів оригіналу за 8 березня 2016. Процитовано 21 вересня 2016.
  2. . Архів оригіналу за 4 березня 2016. Процитовано 10 липня 2018.{{}}: Обслуговування CS1: Сторінки з текстом «archived copy» як значення параметру title ()
  3. Kumar, Aswini, Whitchcock, Andrew (ред.), , архів оригіналу за 16 червень 2006, процитовано 10 липень 2018, First an overview. Bigtable has been in development since early 2004 and has been in active use for about eight months (about February 2005)..
  4. Chang та ін., 2006.
  5. Chang та ін., 2006, с. 3: ‘Bigtable can be used with MapReduce, a framework for running large-scale parallel computations developed at Google. We have written a set of wrappers that allow a Bigtable to be used both as an input source and as an output target for MapReduce jobs’
  6. Whitchcock, Andrew, , архів оригіналу за 16 червень 2006, процитовано 10 липень 2018, There are currently around 100 cells for services such as Print, Search History, Maps, and Orkut.
  7. Cordes, Kyle (12 липня 2007), , архів оригіналу (talk) за 10 квітня 2010, процитовано 10 липня 2018, Their new solution for thumbnails is to use Google’s Bigtable, which provides high performance for a large number of rows, fault tolerance, caching, etc. This is a nice (and rare?) example of actual synergy in an acquisition..
  8. How Entities and Indexes are Stored, , Google Code, архів оригіналу за 7 січня 2012, процитовано 10 липня 2018.
  9. Chang та ін., 2006, Conclusion: ‘We have described Bigtable, a distributed system for storing structured data at Google... Our users like the performance and high availability provided by the Bigtable implementation, and that they can scale the capacity of their clusters by simply adding more machines to the system as their resource demands change over time... Finally, we have found that there are significant advantages to building our own storage solution at Google. We have gotten a substantial amount of flexibility from designing our own data model for Bigtable.’
  10. Shute, Jeffrey ‘Jeff’; Oancea, Mircea; Ellner, Stephan; Handy, Benjamin ‘Ben’; Rollins, Eric; Samwel, Bart; Vingralek, Radek; Whipkey, Chad; Chen, Xin; Jegerlehner, Beat; Littlefield, Kyle; Tong, Phoenix (2012), Summary; F1 — the Fault-Tolerant Distributed RDBMS Supporting Google's Ad Business, , : Google, с. 19, архів оригіналу (presentation) за 9 червня 2017, процитовано 10 липня 2018, We've moved a large and critical application suite from MySQL to F1.
  11. Google File System and Bigtable, , Database War Stories, № 7, O’Reilly, May 2006, архів оригіналу (World Wide Web log) за 11 липня 2018, процитовано 10 липня 2018.
  12. . 12 жовтня 2008. Архів оригіналу за 1 May 2013. Процитовано 14 April 2015..
  13. McIlroy, Bentley. . DCC '99. IEEE. Архів оригіналу за 6 жовтня 2014. Процитовано 10 липня 2018..
  14. Google's Bigtable, , 23 жовтня 2005, архів оригіналу (Weblog) за 14 червня 2007, процитовано 10 липня 2018.
  15. Snappy, , Google, архів оригіналу (project) за 2 січня 2022, процитовано 2 січня 2022

Бібліографія

  • Chang, Fay; Dean, Jeffrey; Ghemawat, Sanjay; Hsieh, Wilson C.; Wallach, Deborah A.; Burrows, Mike; Chandra, Tushar; Fikes, Andrew; Gruber, Robert E. (2006), (PDF), (download ebook) (PDF), Google, архів оригіналу за 14 грудня 2009, процитовано 10 липня 2018.

Посилання

  • Bigtable: A Distributed Structured Storage System, Washington. , Google, архів оригіналу за 18 квітня 2011, процитовано 10 липня 2018.
    • , архів оригіналу (video) за 15 June 2006.
    • Witchcock, Andrew, , архів оригіналу (notes on the official presentation) за 16 червень 2006, процитовано 10 липень 2018.
  • Carr, David F (6 липня 2006), How Google Works, Baseline.
  • Is the Relational Database Doomed?, , архів оригіналу за 11 липня 2018, процитовано 10 липня 2018.

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Bigtable ce sistema zi stisnennyam visokoyu produktivnistyu ta vlasnickoyu sistemoyu zberezhennya danih pobudovana na fajlovij sistemi Google rozpodilenomu menedzheri blokuvan Chubby SSTable log strukturovane shovishe podibne do en ta kilka inshih tehnologij Google 6 travnya 2015 roku zagalnodostupna versiya Bigtable pochala pracyuvati yak servis Bigtable takozh vikoristovuyetsya v Google Cloud Datastore yakij dostupnij yak chastina Google Cloud Platform Google BigtableTipHmarne shovisheRozrobnikGoogle Inc Pershij vipusklyutij 2005 19 rokiv tomu 2005 02 PlatformaGoogle Cloud PlatformMova programuvannyaC golovne yadro Java Python Go RubyLicenziyaPropriyetarneVebsajtcloud google com bigtable IstoriyaRozrobka Bigtable rozpochalas u 2004 roci j zaraz vikoristovuyetsya ryadom dodatkiv Google takih yak vebindeksaciya MapReduce yaka chasto vikoristovuyetsya dlya stvorennya ta modifikaciyi danih sho zberigayutsya v Bigtable Google Maps poshuku u Google Knigi Moya istoriya poshuku angl My Search History Google Earth Blogger com hosting Google Code YouTube ta Gmail Prichini yaki sponukali Google dlya rozrobki vlasnoyi bazi vklyuchayut masshtabovanist ta krashij kontrol za harakteristikami produktivnosti Relyacijna baza danih Google Spanner ye realizaciyeyu Bigtable razom z grupoyu protokoliv Paxos dlya dvofaznoyi tranzakciyi dlya kozhnoyi tablici Google F1 ye nadbudovoyu nad Spanner dlya zamini realizaciyi zasnovanoyi na MySQL BudovaBigtable ye odnim iz prototipiv shovish z shirokim stovpchikom Vin vidobrazhaye dva dovilnih tekstovih znachennya klyuch ryadka i klyuch stovpcya ta vidmitku chasu otzhe trivimirne vidobrazhennya u pov yazanij dovilnij masiv bajtiv 1 Ce ne relyacijna baza danih i yiyi krashe viznachiti yak rozridzhenu rozpodilenu bagatovimirnu vidsortovanu kartu Bigtable priznachenij dlya masshtabuvannya v diapazoni petabajtu cherez sotni abo tisyachi mashin a takozh dlya sproshennya dodavannya novih mashin do sistemi i avtomatichnogo vikoristannya cih resursiv bez bud yakoyi perekonfiguraciyi Kozhna tablicya maye bagato rozmirnostej odna z yakih ye polem dlya vidmitok chasu sho dozvolyaye vikoristovuvati sistemi keruvannya versiyami ta zbirannya smittya Tablici optimizovani dlya fajlovoyi sistemi Google GFS shlyahom rozbittya na kilka tablic abo tabletiv angl tablet segmenti tablici dilyatsya po ryadkam takim chinom shob yih rozmir skladav 200 megabajt Koli rozmiri zagrozhuyut vijti za vstanovlenu mezhu tablici stiskuyutsya za dopomogoyu algoritmiv BMDiff ta Zippy ostannij algoritm shiroko vidomij za vidkritoyu bibliotekoyu Snappy yaka ye variaciyeyu LZ77 ne duzhe efektivnoyu za ob yemom stisnennya ale bilsh efektivnoyu za chasom obchislen Roztashuvannya skladovih tablici tableti v GFS vnosyatsya yak zapisi bazi danih u kilkoh specialnih tabletah yaki nazivayutsya META1 tabletami META1 tableti znahodyatsya za zapitom yedinogo tableta META0 yakij zvichajno rozmishuyetsya na vlasnomu serveri oskilki do nogo chasto jdut zapiti vid kliyentiv shodo roztashuvannya tableta META1 yakij sam mistit vidpovid na pitannya pro te de znahodyatsya faktichni dani Yak i golovnij server GFS server META0 vzagali ne ye en oskilki chas i propuskna spromozhnist procesora neobhidni dlya poshuku ta peredachi adresi META1 ye minimalnimi a kliyenti aktivno keshuyut koordinati dlya minimizaciyi zapitiv Div takozhAmazon SimpleDB Veliki dani Rozpodilena fajlova sistema Shovishe z shirokim stovpchikom Hadoop CouchDBPrimitki Google Blog 6 travnya 2015 Arhiv originalu za 8 bereznya 2016 Procitovano 21 veresnya 2016 Arhiv originalu za 4 bereznya 2016 Procitovano 10 lipnya 2018 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Obslugovuvannya CS1 Storinki z tekstom archived copy yak znachennya parametru title posilannya Kumar Aswini Whitchcock Andrew red arhiv originalu za 16 cherven 2006 procitovano 10 lipen 2018 First an overview Bigtable has been in development since early 2004 and has been in active use for about eight months about February 2005 Chang ta in 2006 Chang ta in 2006 s 3 Bigtable can be used with MapReduce a framework for running large scale parallel computations developed at Google We have written a set of wrappers that allow a Bigtable to be used both as an input source and as an output target for MapReduce jobs Whitchcock Andrew arhiv originalu za 16 cherven 2006 procitovano 10 lipen 2018 There are currently around 100 cells for services such as Print Search History Maps and Orkut Cordes Kyle 12 lipnya 2007 arhiv originalu talk za 10 kvitnya 2010 procitovano 10 lipnya 2018 Their new solution for thumbnails is to use Google s Bigtable which provides high performance for a large number of rows fault tolerance caching etc This is a nice and rare example of actual synergy in an acquisition How Entities and Indexes are Stored Google Code arhiv originalu za 7 sichnya 2012 procitovano 10 lipnya 2018 Chang ta in 2006 Conclusion We have described Bigtable a distributed system for storing structured data at Google Our users like the performance and high availability provided by the Bigtable implementation and that they can scale the capacity of their clusters by simply adding more machines to the system as their resource demands change over time Finally we have found that there are significant advantages to building our own storage solution at Google We have gotten a substantial amount of flexibility from designing our own data model for Bigtable Shute Jeffrey Jeff Oancea Mircea Ellner Stephan Handy Benjamin Ben Rollins Eric Samwel Bart Vingralek Radek Whipkey Chad Chen Xin Jegerlehner Beat Littlefield Kyle Tong Phoenix 2012 Summary F1 the Fault Tolerant Distributed RDBMS Supporting Google s Ad Business Google s 19 arhiv originalu presentation za 9 chervnya 2017 procitovano 10 lipnya 2018 We ve moved a large and critical application suite from MySQL to F1 Google File System and Bigtable Database War Stories 7 O Reilly May 2006 arhiv originalu World Wide Web log za 11 lipnya 2018 procitovano 10 lipnya 2018 12 zhovtnya 2008 Arhiv originalu za 1 May 2013 Procitovano 14 April 2015 McIlroy Bentley DCC 99 IEEE Arhiv originalu za 6 zhovtnya 2014 Procitovano 10 lipnya 2018 Google s Bigtable 23 zhovtnya 2005 arhiv originalu Weblog za 14 chervnya 2007 procitovano 10 lipnya 2018 Snappy Google arhiv originalu project za 2 sichnya 2022 procitovano 2 sichnya 2022BibliografiyaChang Fay Dean Jeffrey Ghemawat Sanjay Hsieh Wilson C Wallach Deborah A Burrows Mike Chandra Tushar Fikes Andrew Gruber Robert E 2006 PDF download ebook PDF Google arhiv originalu za 14 grudnya 2009 procitovano 10 lipnya 2018 PosilannyaBigtable A Distributed Structured Storage System Washington Google arhiv originalu za 18 kvitnya 2011 procitovano 10 lipnya 2018 arhiv originalu video za 15 June 2006 Witchcock Andrew arhiv originalu notes on the official presentation za 16 cherven 2006 procitovano 10 lipen 2018 Carr David F 6 lipnya 2006 How Google Works Baseline Is the Relational Database Doomed arhiv originalu za 11 lipnya 2018 procitovano 10 lipnya 2018

Дата публікації:
Топ