Підтримка
www.wikidata.uk-ua.nina.az
posix compliant Apache HadoopTipprogramnij karkasAvtorid i dRozrobnikApache Software FoundationStabilnij vipusk3 0 0 13 grudnya 2017 6 rokiv tomu 2017 12 13 Versiyi3 4 0 17 bereznya 2024 1 Platformavirtualna mashina JavaOperacijna sistemakrosplatformova programa i POSIXMova programuvannyaJavaStan rozrobkiaktivnijLicenziyad i GNU GPLOnlajn dokumentaciyacwiki apache org confluence display hadoopRepozitorijhttps git wip us apache org repos asf hadoop git https gitbox apache org repos asf p hadoop git https github com apache hadoopVebsajthadoop apache org Mediafajli u Vikishovishi Apache Hadoop vilna programna platforma i karkas dlya organizaciyi en i obrobki naboriv velikih danih z vikoristannyam en MapReduce pri yakij zavdannya dilitsya na bagato dribnishih vidosoblenih fragmentiv kozhen z yakih mozhe buti zapushenij na okremomu vuzli klastera sho skladayetsya z en Vsi moduli v Hadoop sproyektovani z vrahuvannyam pripushennya sho aparatne zabezpechennya chasto vihodit z ladu i taki situaciyi povinni avtomatichno opracovuvatis frejmvorkom Yadro sistemi Apache Hadoop skladayetsya z rozpodilenoyi fajlovoyi sistemi Hadoop Distributed Filesystem HDFS ta sistemi obchislen na osnovi modeli programuvannya MapReduce Hadoop rozdilyaye fajli na veliki bloki i rozpodilyaye yih mizh vuzlami klastera Todi vin peredaye zapakovanij kod na vuzli dlya paralelnoyi obrobki danih Cej pidhid koristuyetsya en koli vuzli manipulyuyut lishe danimi do yakih mayut dostup Ce dozvolyaye obroblyati nabir danih shvidshe i efektivnishe nizh v tradicijnishij en yaka pokladayetsya na en v yakij obchislennya ta dani dlya nih peredayutsya cherez visokoshvidkisnu merezhu Osnovnij frejmvork Apache Hadoop skladayetsya z nastupnih moduliv Hadoop Common mistit biblioteki ta utiliti potribni inshim modulyam Hadoop Hadoop Distributed File System HDFS rozpodilena fajlova sistema yaka zberigaye dani na zvichajnih mashinah nadayuchi duzhe visoku zagalnu propusknu zdatnist na klasteri zagalom Hadoop YARN platforma sho vidpovidaye za keruvannya obchislyuvalnimi resursami v klasterah i yih vikoristannya dlya koristuvackih zavdan Hadoop MapReduce realizaciya modeli programuvannya MapReduce dlya obrobki velikih ob yemiv danih Z chasom termin Hadoop pochav vzhivatis ne tilki shodo vishezgadanih bazovih moduliv ta pidmoduliv a j do ekosistemi tobto naboru dodatkovih paketiv programnogo zabezpechennya yaki mozhut vstanovlyuvatis poverh abo poryad z Hadoop napriklad takih yak en en en en Apache Spark en en en Apache Sqoop en ta en MapReduce ta HDFS v Apache Hadoop s buli nathnennimi stattyami Google pro yih algoritm MapReduce ta Google File System Frejmvork Hadoop napisanij perevazhno na Java z chastinoyu sistemnogo kodu na C ta utilitami komandnogo ryadka yak en Hocha v programah MapReduce zvichajnim ye kod na Java dlya realizaciyi map ta reduce chastin koristuvackoyi programi mozhna vikoristovuvati bud yaku movu programuvannya zavdyaki Hadoop Streaming Inshi proyekti v ekosistemi Hadoop nadayut bagatshi interfejsi koristuvacha IstoriyaRozrobka bula inicijovana na pochatku 2005 en z metoyu pobudovi programnoyi infrastrukturi rozpodilenih obchislen dlya proyektu Nutch vilnoyi programnoyi poshukovoyi mashini na Java yiyi idejnoyu osnovoyu stala publikaciya spivrobitnikiv Google Dzheffri Dina i Sanzhaya Gemavata pro obchislyuvalnu koncepciyu MapReduce Novij proyekt buv nazvanij na chest igrashkovogo slonenyati ditini zasnovnika proyektu Protyagom 2005 2006 rokiv Hadoop rozvivavsya zusillyami dvoh rozrobnikiv Kattinga i Majka Kafarelli Mike Cafarella v rezhimi chastkovoyi zajnyatosti spochatku v ramkah proyektu Nutch potim proyektu Lucene U sichni 2006 roku korporaciya Yahoo zaprosila Kattinga ocholiti specialno vidilenu komandu rozrobki infrastrukturi rozpodilenih obchislen do cogo zh momentu vidnositsya vidilennya Hadoop v okremij proyekt U lyutomu 2008 roku Yahoo zapustila v produktivnu ekspluataciyu klasternu poshukovu mashinu na 10 tisyach procesornih yader kerovanu zasobami Hadoop U sichni 2008 roku Hadoop staye proyektom verhnogo rivnya sistemi proyektiv Apache Software Foundation U kvitni 2008 roku Hadoop pobiv svitovij rekord produktivnosti v standartizovanomu benchmarku sortuvannya danih 1 Tbajt buv obroblenij za 309 sek na klasteri z 910 vuzliv Z cogo momentu pochinayetsya shiroke zastosuvannya Hadoop za mezhami Yahoo tehnologiyu dlya svoyih sajtiv vprovadzhuyut Last fm Facebook The New York Times provoditsya adaptaciya dlya zapusku Hadoop u hmarah Amazon EC2 U veresni 2009 roku Katting perehodit v kalifornijskij startap Cloudera yakij zavdyaki takomu perehodu komentatori harakterizuyut yak novogo praporonoscya Hadoop popri te sho osnovna chastina proyektu bula stvorena vse taki spivrobitnikami Facebook i Yahoo U kvitni 2010 roku korporaciya Google nadala Apache Software Foundation prava na vikoristannya tehnologiyi MapReduce cherez tri misyaci pislya yiyi zahistu v patentnomu byuro SShA tim samim pozbavivshi organizaciyu vid mozhlivih patentnih pretenzij Pochinayuchi z 2010 roku Hadoop neodnorazovo harakterizuyetsya yak klyuchova tehnologiya Velikih Danih prognozuyetsya jogo shiroke rozpovsyudzhennya dlya masovo paralelnoyi obrobki danih i razom z Cloudera z yavilasya seriya tehnologichnih startapiv povnistyu oriyentovanih na komercializaciyu Hadoop Protyagom 2010 roku dekilka pidproyektiv Hadoop Avro Hive Pig Zookeeper poslidovno stali proyektami verhnogo rivnya fondu Apache U berezni 2011 roku Hadoop udostoyenij shorichnoyi innovacijnoyi nagorodi mediagrupi Guardian na ceremoniyi vruchennya tehnologiya bula nazvana shvejcarskim armijskim nozhem XXI stolittya ArhitekturaHadoop skladayetsya z paketu Hadoop Common yakij nadaye abstrakciyi operacijnoyi ta fajlovoyi sistemi rushij MapReduce abo MapReduce MR1 abo YARN MR2 ta Hadoop Distributed File System HDFS Paket Hadoop Common mistit fajli JAR ta skripti potribni dlya zapusku Hadoop Cej rozdil potrebuye dopovnennya veresen 2017 ZastosuvannyaHadoop aktivno vikoristovuyetsya u velikih promislovih proyektah nadayuchi mozhlivosti analogichni platformi Google Bigtable GFS MapReduce pri comu kompaniya Google oficijno deleguvala Hadoop ta inshim proyektam Apache pravo vikoristannya tehnologij na yaki poshiryuyutsya patenti pov yazani z metodom MapReduce Odnim z najbilshih koristuvachiv i rozrobnikiv Hadoop ye kompaniya Yahoo vona aktivno vikoristovuye cyu sistemu v svoyih poshukovih klasterah Hadoop klasteru Yahoo sho skladayetsya z 40 tisyach vuzliv nalezhit svitovij rekord shvidkosti sortuvannya velikogo obsyagu danih Hadoop klaster vikoristovuyetsya v Facebook dlya obrobki odniyeyi z najbilshih baz danih v yakij zberigayetsya blizko 30 petabajt informaciyi Hadoop takozh lezhit v osnovi platformi i aktivno adaptuyetsya kompaniyeyu Microsoft dlya roboti z SUBD SQL Server Windows Server i hmarnij platformi z metoyu stvorennya novih produktiv dlya organizaciyi rozpodilenoyi obrobki velikih obsyagiv danih Hadoop ye odnim z klyuchovih lanok superkomp yutera IBM Watson yakij vigrav bij z najkrashimi gravcyami televizijnoyi gri viktorini Hosting Hadoop u hmarahHadoop mozhe rozgortatis yak v tradicijnomu datacentri vseredini pidpriyemstva tak i v hmarah Hmari dozvolyayut organizaciyam rozgortati Hadoop bez neobhidnosti kuplyati aparatne zabezpechennya ta utrimuvati fahivciv iz vidpovidnoyu kvalifikaciyeyu Do vendoriv yaki nadayut hmarni servisi Hadoop vhodyat Microsoft Amazon IBM Google Oracle ta en Cej rozdil potrebuye dopovnennya veresen 2017 VinoskiRelease 3 4 0 available Arhiv originalu za 23 veresnya 2017 Procitovano 10 veresnya 2017 ibm com IBM Arhiv originalu za 8 sichnya 2017 Procitovano 30 zhovtnya 2014 Malak Michael 19 veresnya 2014 datascienceassn org Data Science Association Arhiv originalu za 10 veresnya 2017 Procitovano 30 zhovtnya 2014 IEEE October 2014 Arhiv originalu pdf za 22 serpnya 2017 Procitovano 10 veresnya 2017 apache org Apache Software Foundation 12 veresnya 2014 Arhiv originalu za 6 zhovtnya 2014 Procitovano 30 veresnya 2014 Murthy Arun 15 serpnya 2012 hortonworks com Hortonworks Arhiv originalu za 11 veresnya 2017 Procitovano 30 veresnya 2014 finance yahoo com 14 listopada 2012 Arhiv originalu za 10 veresnya 2017 Procitovano 30 zhovtnya 2014 Hadoop apache org Arhiv originalu za 23 veresnya 2017 Procitovano 17 zhovtnya 2013 John Wiley amp Sons 19 grudnya 2014 s 300 ISBN 9781118876220 Arhiv originalu za 6 grudnya 2016 Procitovano 29 sichnya 2015 Mail archive com 2 travnya 2010 Arhiv originalu za 14 serpnya 2017 Procitovano 5 kvitnya 2013 Dean Jeffrey and Ghemawat Sanjay MapReduce Simplified Data Processing on Large Clusters angl OSDI 04 6th Symposium on Operating Systems Design and Implementation 2004 S 137 149 DOI 10 1145 1327452 1327492 Cutting Doug 24 bereznya 2008 Hadoop a brief history PDF anglijskoyu Yahoo Arhiv originalu PDF za 11 bereznya 2012 Procitovano 25 grudnya 2011 Handy Alex 9 zhovtnya 2009 Hadoop creator goes to Cloudera anglijskoyu Arhiv originalu za 11 bereznya 2012 Procitovano 25 grudnya 2011 I ve said for a while now that Cloudera is the company with the Hadoop banner firmly in its grasp despite the fact that Yahoo and Facebook both contribute mountains of code the project Metz Cade 27 kvitnya 2010 Google blesses Hadoop with MapReduce patent license anglijskoyu Arhiv originalu za 11 bereznya 2012 Procitovano 30 grudnya 2011 Morrison Alan ta inshi 17 grudnya 2010 Veliki Dani yak vityagti z nih informaciyu PDF Tehnologicheskij prognoz Ezhekvartalnyj zhurnal rossijskoe izdanie 2010 vypusk 3 rosijskoyu PricewaterhouseCoopers Arhiv originalu za 11 bereznya 2012 Procitovano 12 listopada 2011 K nachalu 2010 goda Hadoop MapReduce i associirovannye s nimi tehnologii s otkrytym kodom stali dvizhushej siloj celogo novogo yavleniya kotoroe O Reilly Media The Economist i drugie izdaniya okrestili bolshimi dannymi Winckler Marie 25 bereznya 2011 Apache Hadoop takes top prize at Media Guardian Innovation Awards anglijskoyu The Guardian Arhiv originalu za 11 bereznya 2012 Procitovano 25 grudnya 2011 Described by the judging panel as a Swiss army knife of the 21st century Apache Hadoop picked up the innovator of the year award for having the potential to change the face of media innovations Chouraria Harsh 21 zhovtnya 2012 cloudera com Arhiv originalu za 22 zhovtnya 2013 Procitovano 23 zhovtnya 2013 Arhiv originalu za 11 veresnya 2017 Procitovano 10 veresnya 2017 Azure microsoft com Arhiv originalu za 11 veresnya 2017 Procitovano 22 lipnya 2014 Arhiv originalu za 11 veresnya 2017 Procitovano 10 veresnya 2017 Arhiv originalu za 31 bereznya 2016 Procitovano 8 kvitnya 2016 Arhiv originalu za 30 bereznya 2022 Procitovano 19 kvitnya 2022 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Obslugovuvannya CS1 Storinki z tekstom archived copy yak znachennya parametru title posilannya PosilannyaOfficial Hadoop Homepage Introducing Apache Hadoop The Modern Data Operating System 23 grudnya 2011 u Wayback Machine lecture given at Stanford University by Co Founder and CTO of Cloudera Amr Awadallah video archive
Топ