Azərbaycanca
Беларускі
Dansk
Deutsch
Española
Français
Indonesia
Italiana
日本語
Қазақ
Lietuvos
Nederlands
Português
Русский
සිංහල
แบบไทย
Türkçe
Українська
中國人
United State
Afrikaans
Лямбда-архітектура — це архітектура обробки даних, розроблена для роботи з великими обсягами даних, використовує переваги як пакетної, так і потокової обробки.
Цей архітектурний підхід прагне збалансувати затримку, пропускну здатність і стійкість до відмов, застосовуючи пакетну обробку для отримання всебічних і точних пакетних даних, а також обробку потоків в реальному часі для онлайн-даних.
Два отриманих представлення можна об'єднати перед поданням клієнту в шар візуалізації.
Розвиток лямбда-архітектури пов'язаний із розвитком Big Data, аналітикою в реальному часі та прагненням зменьшити затримки при map-reduce підході. Цю парадигму вперше описав Натан Марц у своєму дописі в блозі під назвою «Як подолати теорему CAP» (англ. «How to beat the CAP theorem»), де він спочатку назвав її «архітектурою пакетної/обробки в реальному часі».
Огляд
Лямбда-архітектура поділяється на три шари (layer):
- Пакетний шар: Зберігає всі дані в незмінному вигляді та обробляє їх пакетно. Цей шар забезпечує високу точність та узгодженість даних.
- Шар обробки потоків: Обробляє дані в реальному часі, генеруючи поточні представлення даних. Цей шар використовується для задач, де критична швидкість, а не точність.
- Сервісний шар: Зберігає результати обробки з обох шарів та надає доступ до них для візуалізації та аналітики.
Шар пакетної обробки
Шар пакетної обробки попередньо обчислює результати за допомогою розподіленої системи обробки, яка може працювати з дуже великими обсягами даних. Шар пакетної обробки прагне до абсолютної точності, оскільки він може обробити всі доступні дані під час генерації представлень. Це означає, що він може виправити будь-які помилки шляхом перерахунку на основі повного набору даних, а потім оновити існуючі представлення. Результат зазвичай зберігається в базі даних лише для читання, при цьому оновлення повністю замінюють існуючі попередньо обчислені представлення. В 2014 році, Apache Hadoop вважався провідною системою пакетної обробки. Пізніше в цій ролі також почали використовувати інші реляційні бази даних, такі як Snowflake, Redshift], Synapse і BigQuery.
Шар швидкої обробки
Шар швидкої обробки обробляє потоки даних в реальному часі без необхідності виправлень чи забезпечення повноти. Цей шар жертвує пропускною здатністю, оскільки його метою є мінімізація затримки шляхом надання представлень у реальному часі для найновіших даних. По суті, шар швидкої обробки відповідає за заповнення «прогалини», спричиненої затримкою пакетного шару в наданні представлень на основі найновіших даних. Представлення цього шару можуть бути не такими точними чи повними, як ті, що зрештою генеруються пакетним шаром, але вони стають доступними майже відразу після отримання даних і можуть бути замінені, коли стають доступними представлення пакетного шару для тих самих даних.
Типовими технологіями обробки потоків, що використовуються в цьому шарі, є Apache Kafka, Amazon Kinesis, Apache Storm, SQLstream, Apache Samza, Apache Spark, Azure Stream Analytics. Результат зазвичай зберігається в швидких базах даних NoSQL або як інший журнал підтвержених дій.
Сервісний шар
Результати пакетного та швидкісного шарів зберігаються в сервісному шарі, який відповідає на ad-hoc-запити, повертаючи попередньо обчислені представлення або створюючи представлення з оброблених даних. Сервісний шар об'єднує результати з пакетного та шара швидкої обробки, надаючи користувачам єдиний інтерфейс для доступу до даних.
Прикладами технологій, що використовуються в сервісному шарі, є , , . Вони надають єдину платформу для обробки вихідних даних з обох шарів. Додатково в сервісному шарі можуть використовуватись спеціалізовані сховища. Наприклад, для вихідних даних швидкісного шару можуть використовуватись Apache Cassandra, , , MongoDB, VoltDB або Elasticsearch. Для вихідних даних пакетного шару можуть використовуватись , або .
Оптимізації
Критика та альтернативи
Каппа-архітектура
Примітки
- Schuster, Werner. Nathan Marz on Storm, Immutability in the Lambda Architecture, Clojure. www.infoq.com. Інтерв'є з Nathan Marz, 6 квітня 2014
Посилання
Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет
Lyambda arhitektura ce arhitektura obrobki danih rozroblena dlya roboti z velikimi obsyagami danih vikoristovuye perevagi yak paketnoyi tak i potokovoyi obrobki Potoki danih cherez shari obrobki ta servisnij shar zagalnoyi lyambda arhitekturi Cej arhitekturnij pidhid pragne zbalansuvati zatrimku propusknu zdatnist i stijkist do vidmov zastosovuyuchi paketnu obrobku dlya otrimannya vsebichnih i tochnih paketnih danih a takozh obrobku potokiv v realnomu chasi dlya onlajn danih Dva otrimanih predstavlennya mozhna ob yednati pered podannyam kliyentu v shar vizualizaciyi Rozvitok lyambda arhitekturi pov yazanij iz rozvitkom Big Data analitikoyu v realnomu chasi ta pragnennyam zmenshiti zatrimki pri map reduce pidhodi Cyu paradigmu vpershe opisav Natan Marc u svoyemu dopisi v blozi pid nazvoyu Yak podolati teoremu CAP angl How to beat the CAP theorem de vin spochatku nazvav yiyi arhitekturoyu paketnoyi obrobki v realnomu chasi OglyadLyambda arhitektura podilyayetsya na tri shari layer Paketnij shar Zberigaye vsi dani v nezminnomu viglyadi ta obroblyaye yih paketno Cej shar zabezpechuye visoku tochnist ta uzgodzhenist danih Shar obrobki potokiv Obroblyaye dani v realnomu chasi generuyuchi potochni predstavlennya danih Cej shar vikoristovuyetsya dlya zadach de kritichna shvidkist a ne tochnist Servisnij shar Zberigaye rezultati obrobki z oboh shariv ta nadaye dostup do nih dlya vizualizaciyi ta analitiki Shar paketnoyi obrobki Shar paketnoyi obrobki poperedno obchislyuye rezultati za dopomogoyu rozpodilenoyi sistemi obrobki yaka mozhe pracyuvati z duzhe velikimi obsyagami danih Shar paketnoyi obrobki pragne do absolyutnoyi tochnosti oskilki vin mozhe obrobiti vsi dostupni dani pid chas generaciyi predstavlen Ce oznachaye sho vin mozhe vipraviti bud yaki pomilki shlyahom pererahunku na osnovi povnogo naboru danih a potim onoviti isnuyuchi predstavlennya Rezultat zazvichaj zberigayetsya v bazi danih lishe dlya chitannya pri comu onovlennya povnistyu zaminyuyut isnuyuchi poperedno obchisleni predstavlennya V 2014 roci Apache Hadoop vvazhavsya providnoyu sistemoyu paketnoyi obrobki Piznishe v cij roli takozh pochali vikoristovuvati inshi relyacijni bazi danih taki yak Snowflake Redshift Synapse i BigQuery Shar shvidkoyi obrobki Shar shvidkoyi obrobki obroblyaye potoki danih v realnomu chasi bez neobhidnosti vipravlen chi zabezpechennya povnoti Cej shar zhertvuye propusknoyu zdatnistyu oskilki jogo metoyu ye minimizaciya zatrimki shlyahom nadannya predstavlen u realnomu chasi dlya najnovishih danih Po suti shar shvidkoyi obrobki vidpovidaye za zapovnennya progalini sprichinenoyi zatrimkoyu paketnogo sharu v nadanni predstavlen na osnovi najnovishih danih Predstavlennya cogo sharu mozhut buti ne takimi tochnimi chi povnimi yak ti sho zreshtoyu generuyutsya paketnim sharom ale voni stayut dostupnimi majzhe vidrazu pislya otrimannya danih i mozhut buti zamineni koli stayut dostupnimi predstavlennya paketnogo sharu dlya tih samih danih Tipovimi tehnologiyami obrobki potokiv sho vikoristovuyutsya v comu shari ye Apache Kafka Amazon Kinesis Apache Storm SQLstream Apache Samza Apache Spark Azure Stream Analytics Rezultat zazvichaj zberigayetsya v shvidkih bazah danih NoSQL abo yak inshij zhurnal pidtverzhenih dij Servisnij shar Rezultati paketnogo ta shvidkisnogo shariv zberigayutsya v servisnomu shari yakij vidpovidaye na ad hoc zapiti povertayuchi poperedno obchisleni predstavlennya abo stvoryuyuchi predstavlennya z obroblenih danih Servisnij shar ob yednuye rezultati z paketnogo ta shara shvidkoyi obrobki nadayuchi koristuvacham yedinij interfejs dlya dostupu do danih Prikladami tehnologij sho vikoristovuyutsya v servisnomu shari ye Voni nadayut yedinu platformu dlya obrobki vihidnih danih z oboh shariv Dodatkovo v servisnomu shari mozhut vikoristovuvatis specializovani shovisha Napriklad dlya vihidnih danih shvidkisnogo sharu mozhut vikoristovuvatis Apache Cassandra MongoDB VoltDB abo Elasticsearch Dlya vihidnih danih paketnogo sharu mozhut vikoristovuvatis abo OptimizaciyiKritika ta alternativiKappa arhitektura Div takozh PrimitkiSchuster Werner Nathan Marz on Storm Immutability in the Lambda Architecture Clojure www infoq com Interv ye z Nathan Marz 6 kvitnya 2014Posilannya