Azərbaycanca AzərbaycancaБеларускі БеларускіDansk DanskDeutsch DeutschEspañola EspañolaFrançais FrançaisIndonesia IndonesiaItaliana Italiana日本語 日本語Қазақ ҚазақLietuvos LietuvosNederlands NederlandsPortuguês PortuguêsРусский Русскийසිංහල සිංහලแบบไทย แบบไทยTürkçe TürkçeУкраїнська Українська中國人 中國人United State United StateAfrikaans Afrikaans
Підтримка
www.wikidata.uk-ua.nina.az

Lustre розподілена файлова система масового паралелізму використовувана зазвичай для великомасштабних кластерних обчисле

Lustre

Lustre

Lustre — розподілена файлова система масового паралелізму, використовувана зазвичай для великомасштабних кластерних обчислень. Назва Lustre є контамінацією, утвореною словами Linux і cluster. Реалізований під ліцензією GNU GPL, проект надає високопродуктивну файлову систему для кластерів з десятками тисяч вузлів мережі і петабайтного сховищами інформації.

Файлові системи Lustre використовуються в комп'ютерних кластерах, починаючи від невеликих кластерів робочих груп і закінчуючи масштабними географічно розподіленими кластерами. П'ятнадцять суперкомп'ютерів зі світового Топ 30 використовують файлові системи Lustre, в тому числі найшвидший у світі суперкомп'ютер з TOP500, K computer.

Файлові системи Lustre можуть підтримувати десятки тисяч клієнтських систем, десятки петабайт (PBs) пам'яті для зберігання даних і пропускну здатність вводу-виводу в сотні гігабайт на секунду (GB/s). Завдяки високій масштабованості Lustre, такі галузі бізнесу, як провайдери Інтернет, фінансові організації, індустрія нафти і газу встановлюють файлові системи Lustre у своїх центрах обробки даних.

Історія

Архітектура файлової системи Lustre була розроблена в рамках дослідницького проекту в 1999 Пітером Браамом (Peter Braam), старшим науковим співробітником Університету Карнегі—Меллон. Браам покинув його, щоб заснувати власну компанію Cluster File Systems, котра і реалізувала Lustre 1.0 в 2003. У 2007 Sun Microsystems поглинула Cluster File Systems Inc. Sun включила Lustre в свій пакет програмного забезпечення для високопродуктивних систем, маючи намір використовувати переваги технології Lustre в файлової системі Sun ZFS і операційній системі Solaris. У листопаді 2008 Браам покинув Sun Microsystems для роботи над іншою файловою системою, залишивши розробку архітектури Lustre Еріку Бартону (Eric Barton) і Андреасу Ділджеру (Andreas Dilger).

У 2010 Oracle в процесі поглинання Sun в 2010, стала підтримувати і розробляти Lustre. Але вже у квітні 2010 Oracle оголосила про свій намір обмежити платну підтримку для нової Lustre 2.0 тільки на обладнанні Oracle, або обладнанні, розробленому схваленими Oracle постачальниками. Lustre залишилася доступною всім користувачам під ліцензією GPL, і існуючі споживачі Lustre 1.8 продовжують отримувати техпідтримку від Oracle. У грудні 2010 Oracle оголосила про припинення розвитку Lustre. Випуск Lustre 1.8 переведений на обслуговування тільки для супроводу, що створило невизначеність з приводу подальшого розвитку файлової системи. Згідно з цим оголошенням розробка та підтримка нових версій Lustre здійснюється співтовариством розробників, включаючи Whamcloud [ 22 липня 2013 у Wayback Machine.], , OpenSFS [ 23 травня 2013 у Wayback Machine.], EUROPEAN Open Filesystems (OFS) SCE та іншими. У тому ж році, Ерік Бартон (Eric Barton) і Андреас Ділджер (Andreas Dilger) залишили Oracle для стартапу Whamcloud на базі Lustre, де вони продовжили роботу над Lustre.

Файлова система Lustre і асоційоване з нею програмне забезпечення з відкритим кодом були адаптовані багатьма організаціями. Наприклад, і Red Hat і SUSE (Novell) пропонували ядра Linux, що працюють на клієнтах без доповнень, що полегшує розгортання. Клієнт Lustre офіційно включений в ядро Linux починаючи з версії 3.11 у вересні 2013.

Історія випусків

Файлова система Lustre вперше була інстальована для використання в роботі в березні 2003 на кластері MCR Linux Cluster в LLNL, одному з найпотужніших суперкомп'ютерів того часу.

Lustre 1.2, випущена в березні 2004, підтримувала ядро Linux 2.6, можливість «size glimpse» для виключення відкликання блокування на файли, що підлягають запису, а також облік для кешу зворотного запису даних з боку клієнта.

Lustre 1.4, випущена в листопаді 2004, забезпечувала сумісність протоколів між версіями, підтримку мережі InfiniBand, а також підтримку екстентів і mballoc в дискової файлової системі .

Lustre 1.6, випущена в квітні 2007, підтримувала конфігурацію монтування («mountconf»), дозволяючи серверам бути сконфігурованими за допомогою «mkfs» і «mount», підтримувала динамічне додавання цілей сховищ об'єктів (object storage target - OST), включала масштабований менеджер розподіленої блокування Lustre (Lustre distributed lock manager - LDLM) для симетричних мультипроцесорних систем (SMP), а також підтримувала управління вільним простором при розподілі об'єктів.

Lustre 1.8, випущена в травні 2009, надавала OSS Read Cache, покращувала відновлення у разі багаторазових відмов, додала базове управління гетерогенними сховищами через OST Pools, адаптивні мережеві таймаути, а також відновлення на основі версій. Вона також була перехідним випуском, забезпечуючи взаємодію як з Lustre 1.6, так і з Lustre 2.0.

Lustre 2.0, випущена в серпні 2010, містила переписаний стек сервера метаданих для організації основи кластеризованих метаданих (Clustered Metadata - CMD), що дозволило розподілити метадані Lustre по кількох серверах метаданих, новий клієнтський стек вводу-виводу (Client IO stack - CLIO) для переносимості з іншими клієнтськими операційними системами, наприклад Mac OS, Microsoft Windows та Solaris, а також абстрактний пристрій зберігання об'єктів (Object Storage Device - OSD) для забезпечення переносимості з іншими файловими системами, наприклад ZFS.

Lustre 2.1, випущена у вересні 2011, став відповіддю спільноти розробників на пригальмування Oracle розвитку гілки Lustre 2.x. Він додав підтримку серверів Red Hat Linux 6, збільшив максимальний розмір OST на основі ext4 з 24 TB до 128 TB,, разом з численними покращеннями швидкодії та стабільності. Сервери Lustre 2.1 залишаються сумісними з випусками клієнтів 1.8.6 і пізнішими, і став новим випуском з тривалою підтримкою Lustre.

Lustre 2.2, випущений у березні 2012, сфокусувався на забезпеченні покращень продуктивності метаданих та на нових можливостях. It adds parallel directory operations allowing multiple clients to traverse and modify a single large directory concurrently, faster recovery from server failures, increased stripe counts for a single file (across up to 2000 OSTs), and improved single-client directory traversal (ls -l, find, du) performance.

Lustre 2.3, released in October 2012, continued to optimize the metadata server code to remove internal locking bottlenecks on nodes with many CPU cores (over 16). The object store added preliminary support for using ZFS as the backing filesystem. The MDS LFSCK feature can verify and repair the Object Index (OI) file while the filesystem is in use, after a file-level backup/restore or corruption. The server-side IO statistics were enhanced to allow integration with batch job schedulers such as to track per-job statistics. Client-side support was updated for up to Linux 3.0 kernels.

Lustre 2.4, released in May 2013, added a considerable number of major features. Distributed Namespace (DNE) allows horizontal metadata capacity and performance scaling for 2.4 clients, by allowing subdirectory trees of a single namespace to be located on separate MDTs. ZFS can now be used as the backing filesystem for both MDT and OST storage. The LFSCK feature allows scanning and verifying the internal consistency of the MDT FID and LinkEA attributes. The Network Request Scheduler (NRS) adds policies to optimize client request processing for disk ordering or fairness. Clients can optionally send up to bulk RPCs up to 4 MB in size. Client-side support was updated for up to Linux 3.6 kernels, and is still interoperable with 1.8 clients.

Архітектура

Файлова система Lustre містить три основних функціональних модуля:

  • Один сервер метаданих (metadata server - MDS) з'єднаний з однією ціллю метаданих (metadata target - MDT) у файлової системі Lustre, який зберігає метадані про простір імен, наприклад імена файлів, каталогів, права доступу, а також карту розміщення файлів. Дані MDT зберігаються в єдиній локальній дискової файлової системі.
  • Один або кілька серверів зберігання об'єктів (object storage server - OSS), що зберігають дані файлів з одного або кількох цілей зберігання об'єктів (object storage targets - OST). Залежно від устаткування сервера OSS зазвичай обслуговує від двох до восьми OSS, а кожна OST управляє однією локальної дисковою файловою системою. Ємність файлової системи Lustre визначається сумою ємностей, що надаються OST.
  • Клієнт(и), які звертаються і використовують дані. Lustre надає всім клієнтам уніфікований простір імен для всіх файлів і даних у файловій системі, використовуючи стандартну семантику POSIX, а також забезпечує паралельний когерентний доступ із запису та читання до файлів у файловій системі.

Компоненти MDT, OST, а також клієнти можуть перебувати на одному і тому ж вузлі, але при інсталяції їх зазвичай поміщають на окремі вузли, котрі взаємодіють по мережі. Рівень мережі Lustre (Lustre Network - LNET) підтримує кілька комунікаційних платформ, включаючи Infiniband, (TCP/IP) через Ethernet і інші мережі, Myrinet, [ru], а також пропрієтарні мережеві технології. Lustre також використовує переваги віддаленого прямого доступу до пам'яті, якщо це можливо, для збільшення пропускної спроможності та зниження частки використання ЦП.

Сховище, яке використовується для дублюючих файлових систем MDT і OST, ділиться на частини і може бути організовано через управління логічними томами і/або RAID, як правило, форматованими в файлової системі ext4. Сервери Lustre OSS і MDS зчитують, записують і змінюють дані у форматі, введеним цими файловими системами.

OST є виділеною файловою системою, що експортує інтерфейс в байтові регіони об'єктів для операцій читання / запису. MDT є виділеною файловою системою для контролю доступу до файлів і повідомлень клієнтам про те, які об'єкт(и) входять в структуру файлу. В даний час MDT і OST використовують для зберігання даних поліпшену версію ext4, звану ldiskfs. У 2008 Sun почала проект портування Lustre в Sun ZFS/DMU для зберігання внутрішніх даних, що триває як проект з відкритим кодом.

При доступі клієнта до файлу пошук імені файлу виконується в MDS. В результаті файл або створюється від імені клієнта, або клієнту повертається місце розташування існуючого файлу. При операціях читання або запису клієнт інтерпретує місце розташування на рівні логічного тому об'єкта, що відображає зміщення і розмір в один або декілька об'єктів, кожен з яких розташований на окремій OST. Потім клієнт блокує діапазон файлів для роботи і виконує одну або кілька операцій паралельного читання або запису безпосередньо в OST. При такому підході усуваються вузькі місця взаємодії клієнта з OST, так що загальна пропускна здатність, доступна клієнту для читання і запису, масштабується майже лінійно із зростанням кількості OST в файлової системі.

Клієнти не модифікують об'єкти файлової системи OST безпосередньо, делегуючи це завдання OSS. Цей підхід забезпечує масштабованість для великомасштабних кластерів і суперкомп'ютерів, а також покращує безпеку і надійність. На противагу цьому блокові колективні файлові системи, наприклад [en] і OCFS повинні підтримувати прямий доступ до сховища для всіх клієнтів у файловій системі, збільшуючи ризик пошкодження файлової системи з боку неправильних клієнтів.

Реалізація

При звичайній установці Lustre на клієнті Linux модуль драйвера файлової системи Lustre завантажується в ядро і файлова система монтується як і будь-яка інша локальна або мережева файлова система. Застосунки клієнта бачать одну уніфіковану файлову систему, навіть якщо вона може бути складена з десятків тисяч індивідуальних серверів і файлових систем MDT/OST.

На деяких процесорах масового паралелізму (MPP) обчислювальні процесори можуть отримати доступ до файлової системи Lustre шляхом перенаправлення їхніх запитів вводу-виводу на виділений вузол вводу-виводу, сконфігурований як клієнт Lustre. Цей підхід використовується у Blue Gene, встановленому в Ліверморській національній лабораторії.

Інший підхід, який використовується останнім часом, пропонує бібліотека liblustre, що надає застосункам в просторі користувача прямий доступ до файлової системи. Це бібліотека рівня користувача, що дозволяє обчислювальним процесорам-клієнтам монтувати і використовувати файлову систему Lustre. Використовуючи liblustre, обчислювальні процесори можуть отримати доступ до файлової системи Lustre навіть у разі, якщо обслуговуючий вузол, що запустив завдання, не є клієнтом Lustre. Бібліотека liblustre дозволяє безпосередньо переміщувати дані між простором застосунків і Lustre OSS без необхідності проміжного копіювання даних через ядро, забезпечуючи обчислювальним процесорам доступ до файлової системи Lustre з низькою затримкою і високою пропускною здатністю.

Об'єкти даних і поділ даних

У традиційних дискових файлових системах UNIX, структура даних inode містить базову інформацію про кожен файл, наприклад про те, де зберігаються дані, що містяться у файлі. Файлова система Lustre також використовує inode, але inode на MDT вказує на один або декілька об'єктів OST, асоційованих з файлом, а не на блоки даних. Ці об'єкти реалізуються як файли OST. При відкритті файлу клієнтом операція відкриття передає множину вказівників об'єкта та їхнє розташування з MDS клієнту, після чого клієнт може безпосередньо взаємодіяти з вузлом OSS, що зберігають об'єкт, що дозволяє клієнту виконувати ввід-вивід у файл без подальшої взаємодії з MDS.

Якщо з MDT inode асоційований тільки один об'єкт OST, цей об'єкт містить всі дані файлу Lustre. Якщо з файлом асоційоване більше одного об'єкта, дані файлу «розділені» серед об'єктів подібно RAID 0. Поділ файла між кількома об'єктами дає істотні переваги в продуктивності. При використанні поділу, максимальний розмір файлу не обмежений розмірами однієї цілі. Ємність та сукупна пропускна здатність вводу-виводу масштабується з ростом числа OST, за якими розділений файл. Крім того, оскільки блокування кожного об'єкта для кожної OST управляється незалежно, додавання частин (OST) масштабує можливості блокування вводу-виводу у файл пропорційно. Кожен файл у файловій системі може мати різне розміщення при поділі, так що ємність і продуктивність можна оптимально налаштувати для кожного файлу.

Блокування

Lustre використовує менеджер розподіленої блокування в стилі VMS для захисту цілісності даних і метаданих кожного файлу. Доступ і модифікація файлу Lustre повністю когерентні для всіх клієнтів. Блокування метаданих управляються MDT, що зберігають inode файлу з використанням 128-бітного ідентифікатора Lustre File Identifier (FID, що складається з номера послідовності і ідентифікатора об'єкта), використовуваного як ім'я ресурсу. Блокування метаданих діляться на кілька частин, що захищають процес виявлення файлу (власник і група файлу, дозволи і режим, а також ACL, стан inode (розмір каталогу, вміст каталогу, кількість посилань, тимчасові мітки), а також розміщення (поділ файлу). Клієнт може отримати декілька частин блокування метаданих для одного inode одним запитом RPC, але в даний час надаються тільки блокування для читання inode. MDS управляє всіма модифікаціями inode, щоб уникнути змагання за ресурс і зараз можливий тільки один вузол, який одержує блокування на запис inode.

Блокування даних файлу управляються OST, за якими розділений кожен об'єкт файлу, з використанням байтових блокувань екстентів. Клієнти можуть отримати перетинаюче блокування читання екстенту для частини або всього файлу, що дозволяє існування кількох паралельних читачів для одного файлу, а також неперетинаюче блокування запису екстенту для областей файлу. Це дозволяє багатьом клієнтам Lustre отримати паралельний доступ до файлу для читання і запису, уникаючи проблем при вводі-виводі файлу. На практиці клієнти Linux керують своїм кешем даних в одиницях сторінок, тому вони будуть запитувати блокування, котрі завжди є цілим, кратним розмірові сторінки (4096 байт в більшості клієнтів). При запиті клієнтом блокування екстенту OST може надати блокування на більший екстент, щоб скоротити кількість запитів блокування, виконуваних клієнтом. Реальний розмір наданого блокування залежить від декількох факторів, включаючи кількість вже виконаних блокувань, наявність конфліктуючих блокувань на запис, і числа запитів на блокування. Встановлене блокування ніколи не буде менше необхідного екстенту. Блокування екстенту OST використовують Lustre FID як ім'я ресурсу для блокування. Оскільки число серверів блокування екстенту зростає із збільшенням числа OST в файлової системі, це також збільшує сукупну продуктивність блокування файлової системи і одного файлу, якщо він розділений по декількох OST.

Мережеві можливості

У кластері з файловою системою Lustre, системна мережа, що з'єднує сервери і клієнти, реалізується за допомогою Lustre Networking (LNET), що надає комунікаційну інфраструктуру, необхідну файловій системі Lustre. Дискове сховище з'єднується з MDS і OSS традиційними технологіями мереж зберігання даних.

LNET підтримує багато загальновідомих типів мереж, наприклад InfiniBand і IP, дозволяючи здійснити одночасний доступ для мереж різних типів з маршрутизацією між ними. Віддалений прямий доступ до пам'яті дозволений за підтримки його нижчою мережею, такою як Quadrics Elan, Myrinet і InfiniBand. Можливості високої доступності та відновлення дозволяють прозоре відновлення при використанні відмовостійких серверів.

LNET надає пропускну здатність через мережі Ethernet (GigE) понад 100 MB/s, пропускну здатність до 3 GB/s через канали InfiniBand QDR, пропускну здатність понад 1 GB/s через інтерфейси 10GigE.

Висока доступність

Висока доступність файлової системи Lustre включає надійний механізм відмовостійкості та відновлення, що забезпечує прозоре перезавантаження серверів при несправності. Взаємодія версій між молодшими версіями програмного забезпечення Lustre дозволяє оновити сервер, вимкнувши його (або переключивши на резервний сервер), виконати оновлення і перезапустити сервер, причому всі активні завдання продовжують працювати, виявляючи затримку тільки при переведенні сховища на резервний сервер.

Lustre MDS конфігуруються як активна / пасивна пара, а OSS зазвичай розгортаються в конфігурації активний / активний, що забезпечує надійність без істотного перевантаження. Часто резервний MDS є активним MDS для іншої файлової системи Lustre, тому в кластері немає вузлів, котрі простоюють.

Інсталяції

Lustre використовується в багатьох суперкомп'ютерах і великих кластерах з TOP500. П'ятнадцять із 30 найпотужніших суперкомп'ютерів світу використовують файлову систему Lustre, включаючи найшвидший суперкомп'ютер світу K computer в RIKEN Advanced Institute for Computational Science, і другий за продуктивністю (найпотужніший з листопада 2010 по червень 2011), Тяньхе-1 у Національному суперкомпьютерному центрі в місті Тяньцзінь (Китайська Народна Республіка). Інші суперкомп'ютери, що використовують файлову систему Lustre - це третій за потужністю Jaguar в Національній лабораторії Оук-Ридж (ORNL) та системи National Energy Research Scientific Computing Center, розташовані в Національній лабораторії ім. Лоуренса в Берклі (LBNL), Ліверморській національній лабораторії (LLNL), [en], [en] і NASA у Північній Америці, в Азії в Токійський технічний університет, та одна з найбільших систем в Європі CEA.

Комерційна підтримка

Комерційна підтримка Lustre забезпечується великим числом постачальників. У більшості випадків підтримка надається для обчислювальної системи чи обладнання зберігання даних, продаваного виробником. Неповний список постачальників, що продають обчислювальні системи і сховища з Lustre включає Cray, Dell, Hewlett-Packard, BULL, SGI. Sun Microsystems більше не постачає систем, що містять Lustre. Основні постачальники, які продають обладнання зберігання даних з підтримкою Lustre — Data Direct Networks (DDN), Dell, Terascala, Xyratex та інші.

Виноски

  1. Lustre Home. оригіналу за 23 серпня 2000. Процитовано 15 липня 2013.
  2. An Overview of Fujitsu's Lustre Based File System (PDF). Fujitsu Limited. Архів (PDF) оригіналу за 03-03-2012. Процитовано 24 червня 2011.
  3. Lustre File System presentation. Google Video. Архів оригіналу за 3 березня 2012. Процитовано 28 січня 2008.
  4. Sun Assimilates Lustre Filesystem. Linux Magazine. 13 вересня 2007. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  5. Sun Welcomes Cluster File Systems Customers and Partners. Sun Microsystems, Inc. 2 жовтня 2007. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  6. Lustre 2.0 support limited to Oracle hardware customers. Infostor. 28 квітня 2010. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  7. Oracle has Kicked Lustre to the Curb. Inside HPC. 10 січня 2011. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  8. Whamcloud aims to make sure Lustre has a future in HPC. Inside HPC. 20 серпня 2010. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  9. Xyratex Acquires ClusterStor, Lustre File System Expertise/. HPCwire. 9 листопада 2010. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  10. Whamcloud Staffs up for Brighter Lustre. InsideHPC. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  11. Lustre Helps Power Third Fastest Supercomputer. DSStar. Архів оригіналу за 3 лютого 2013. Процитовано 20 липня 2013.
  12. MCR Linux Cluster Xeon 2.4 GHz - Quadrics. Top500.Org. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  13. (PDF). Sun Microsystems. Архів оригіналу (PDF) за 18 травня 2011. Процитовано 21 серпня 2008. {{}}: Вказано більш, ніж один |deadlink= та |deadurl= ()
  14. . Open Scalable File Systems. Архів Whamcloud оригіналу за 23 травня 2011. Процитовано 2 лютого 2012.
  15. Lustre 2.1 Released. Процитовано 2 лютого 2012.
  16. . Yahoo! Finance. Архів оригіналу за 2 вересня 2012. Процитовано 8 травня 2012.
  17. Lustre to run on ZFS. Government Computer News. 26 жовтня 2008. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  18. . 10 травня 2011. Архів оригіналу за 12 березня 2016. Процитовано 20 липня 2013. {{}}: Вказано більш, ніж один |deadlink= та |deadurl= ()
  19. . HPC Wire, October 15, 2004: Vol. 13, No. 41. Архів оригіналу за 3 грудня 2007. Процитовано 20 липня 2013. {{}}: Вказано більш, ніж один |deadlink= та |deadurl= ()
  20. Lafoucrière, Jacques-Charles. Lustre Experience at CEA/DIF (PDF). HEPiX Forum, April 2007. Архів оригіналу (PDF) за 3 березня 2012. Процитовано 20 липня 2013.
  21. Pleiades Supercomputer. www.nas.nasa.gov. 18 серпня 2008. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  22. TOP500 List - November 2006. TOP500.Org. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.
  23. TOP500 List - June 2006. TOP500.Org. Архів оригіналу за 3 березня 2012. Процитовано 20 липня 2013.

Посилання

  • Whamcloud [ 22 липня 2013 у Wayback Machine.]
  • DDN Lustre[недоступне посилання з лютого 2019]
  • (коммерческий продукт Lustre)

Див. також

Вікіпедія, Українська, Україна, книга, книги, бібліотека, стаття, читати, завантажити, безкоштовно, безкоштовно завантажити, mp3, відео, mp4, 3gp, jpg, jpeg, gif, png, малюнок, музика, пісня, фільм, книга, гра, ігри, мобільний, телефон, android, ios, apple, мобільний телефон, samsung, iphone, xiomi, xiaomi, redmi, honor, oppo, nokia, sonya, mi, ПК, web, Інтернет

Lustre rozpodilena fajlova sistema masovogo paralelizmu vikoristovuvana zazvichaj dlya velikomasshtabnih klasternih obchislen Nazva Lustre ye kontaminaciyeyu utvorenoyu slovami Linux i cluster Realizovanij pid licenziyeyu GNU GPL proekt nadaye visokoproduktivnu fajlovu sistemu dlya klasteriv z desyatkami tisyach vuzliv merezhi i petabajtnogo shovishami informaciyi Fajlovi sistemi Lustre vikoristovuyutsya v komp yuternih klasterah pochinayuchi vid nevelikih klasteriv robochih grup i zakinchuyuchi masshtabnimi geografichno rozpodilenimi klasterami P yatnadcyat superkomp yuteriv zi svitovogo Top 30 vikoristovuyut fajlovi sistemi Lustre v tomu chisli najshvidshij u sviti superkomp yuter z TOP500 K computer Fajlovi sistemi Lustre mozhut pidtrimuvati desyatki tisyach kliyentskih sistem desyatki petabajt PBs pam yati dlya zberigannya danih i propusknu zdatnist vvodu vivodu v sotni gigabajt na sekundu GB s Zavdyaki visokij masshtabovanosti Lustre taki galuzi biznesu yak provajderi Internet finansovi organizaciyi industriya nafti i gazu vstanovlyuyut fajlovi sistemi Lustre u svoyih centrah obrobki danih IstoriyaArhitektura fajlovoyi sistemi Lustre bula rozroblena v ramkah doslidnickogo proektu v 1999 Piterom Braamom Peter Braam starshim naukovim spivrobitnikom Universitetu Karnegi Mellon Braam pokinuv jogo shob zasnuvati vlasnu kompaniyu Cluster File Systems kotra i realizuvala Lustre 1 0 v 2003 U 2007 Sun Microsystems poglinula Cluster File Systems Inc Sun vklyuchila Lustre v svij paket programnogo zabezpechennya dlya visokoproduktivnih sistem mayuchi namir vikoristovuvati perevagi tehnologiyi Lustre v fajlovoyi sistemi Sun ZFS i operacijnij sistemi Solaris U listopadi 2008 Braam pokinuv Sun Microsystems dlya roboti nad inshoyu fajlovoyu sistemoyu zalishivshi rozrobku arhitekturi Lustre Eriku Bartonu Eric Barton i Andreasu Dildzheru Andreas Dilger U 2010 Oracle v procesi poglinannya Sun v 2010 stala pidtrimuvati i rozroblyati Lustre Ale vzhe u kvitni 2010 Oracle ogolosila pro svij namir obmezhiti platnu pidtrimku dlya novoyi Lustre 2 0 tilki na obladnanni Oracle abo obladnanni rozroblenomu shvalenimi Oracle postachalnikami Lustre zalishilasya dostupnoyu vsim koristuvacham pid licenziyeyu GPL i isnuyuchi spozhivachi Lustre 1 8 prodovzhuyut otrimuvati tehpidtrimku vid Oracle U grudni 2010 Oracle ogolosila pro pripinennya rozvitku Lustre Vipusk Lustre 1 8 perevedenij na obslugovuvannya tilki dlya suprovodu sho stvorilo neviznachenist z privodu podalshogo rozvitku fajlovoyi sistemi Zgidno z cim ogoloshennyam rozrobka ta pidtrimka novih versij Lustre zdijsnyuyetsya spivtovaristvom rozrobnikiv vklyuchayuchi Whamcloud 22 lipnya 2013 u Wayback Machine OpenSFS 23 travnya 2013 u Wayback Machine EUROPEAN Open Filesystems OFS SCE ta inshimi U tomu zh roci Erik Barton Eric Barton i Andreas Dildzher Andreas Dilger zalishili Oracle dlya startapu Whamcloud na bazi Lustre de voni prodovzhili robotu nad Lustre Fajlova sistema Lustre i asocijovane z neyu programne zabezpechennya z vidkritim kodom buli adaptovani bagatma organizaciyami Napriklad i Red Hat i SUSE Novell proponuvali yadra Linux sho pracyuyut na kliyentah bez dopovnen sho polegshuye rozgortannya Kliyent Lustre oficijno vklyuchenij v yadro Linux pochinayuchi z versiyi 3 11 u veresni 2013 Istoriya vipuskiv Fajlova sistema Lustre vpershe bula instalovana dlya vikoristannya v roboti v berezni 2003 na klasteri MCR Linux Cluster v LLNL odnomu z najpotuzhnishih superkomp yuteriv togo chasu Lustre 1 2 vipushena v berezni 2004 pidtrimuvala yadro Linux 2 6 mozhlivist size glimpse dlya viklyuchennya vidklikannya blokuvannya na fajli sho pidlyagayut zapisu a takozh oblik dlya keshu zvorotnogo zapisu danih z boku kliyenta Lustre 1 4 vipushena v listopadi 2004 zabezpechuvala sumisnist protokoliv mizh versiyami pidtrimku merezhi InfiniBand a takozh pidtrimku ekstentiv i mballoc v diskovoyi fajlovoyi sistemi Lustre 1 6 vipushena v kvitni 2007 pidtrimuvala konfiguraciyu montuvannya mountconf dozvolyayuchi serveram buti skonfigurovanimi za dopomogoyu mkfs i mount pidtrimuvala dinamichne dodavannya cilej shovish ob yektiv object storage target OST vklyuchala masshtabovanij menedzher rozpodilenoyi blokuvannya Lustre Lustre distributed lock manager LDLM dlya simetrichnih multiprocesornih sistem SMP a takozh pidtrimuvala upravlinnya vilnim prostorom pri rozpodili ob yektiv Lustre 1 8 vipushena v travni 2009 nadavala OSS Read Cache pokrashuvala vidnovlennya u razi bagatorazovih vidmov dodala bazove upravlinnya geterogennimi shovishami cherez OST Pools adaptivni merezhevi tajmauti a takozh vidnovlennya na osnovi versij Vona takozh bula perehidnim vipuskom zabezpechuyuchi vzayemodiyu yak z Lustre 1 6 tak i z Lustre 2 0 Lustre 2 0 vipushena v serpni 2010 mistila perepisanij stek servera metadanih dlya organizaciyi osnovi klasterizovanih metadanih Clustered Metadata CMD sho dozvolilo rozpodiliti metadani Lustre po kilkoh serverah metadanih novij kliyentskij stek vvodu vivodu Client IO stack CLIO dlya perenosimosti z inshimi kliyentskimi operacijnimi sistemami napriklad Mac OS Microsoft Windows ta Solaris a takozh abstraktnij pristrij zberigannya ob yektiv Object Storage Device OSD dlya zabezpechennya perenosimosti z inshimi fajlovimi sistemami napriklad ZFS Lustre 2 1 vipushena u veresni 2011 stav vidpoviddyu spilnoti rozrobnikiv na prigalmuvannya Oracle rozvitku gilki Lustre 2 x Vin dodav pidtrimku serveriv Red Hat Linux 6 zbilshiv maksimalnij rozmir OST na osnovi ext4 z 24 TB do 128 TB razom z chislennimi pokrashennyami shvidkodiyi ta stabilnosti Serveri Lustre 2 1 zalishayutsya sumisnimi z vipuskami kliyentiv 1 8 6 i piznishimi i stav novim vipuskom z trivaloyu pidtrimkoyu Lustre Lustre 2 2 vipushenij u berezni 2012 sfokusuvavsya na zabezpechenni pokrashen produktivnosti metadanih ta na novih mozhlivostyah It adds parallel directory operations allowing multiple clients to traverse and modify a single large directory concurrently faster recovery from server failures increased stripe counts for a single file across up to 2000 OSTs and improved single client directory traversal ls l find du performance Lustre 2 3 released in October 2012 continued to optimize the metadata server code to remove internal locking bottlenecks on nodes with many CPU cores over 16 The object store added preliminary support for using ZFS as the backing filesystem The MDS LFSCK feature can verify and repair the Object Index OI file while the filesystem is in use after a file level backup restore or corruption The server side IO statistics were enhanced to allow integration with batch job schedulers such as to track per job statistics Client side support was updated for up to Linux 3 0 kernels Lustre 2 4 released in May 2013 added a considerable number of major features Distributed Namespace DNE allows horizontal metadata capacity and performance scaling for 2 4 clients by allowing subdirectory trees of a single namespace to be located on separate MDTs ZFS can now be used as the backing filesystem for both MDT and OST storage The LFSCK feature allows scanning and verifying the internal consistency of the MDT FID and LinkEA attributes The Network Request Scheduler NRS adds policies to optimize client request processing for disk ordering or fairness Clients can optionally send up to bulk RPCs up to 4 MB in size Client side support was updated for up to Linux 3 6 kernels and is still interoperable with 1 8 clients ArhitekturaFajlova sistema Lustre mistit tri osnovnih funkcionalnih modulya Odin server metadanih metadata server MDS z yednanij z odniyeyu cillyu metadanih metadata target MDT u fajlovoyi sistemi Lustre yakij zberigaye metadani pro prostir imen napriklad imena fajliv katalogiv prava dostupu a takozh kartu rozmishennya fajliv Dani MDT zberigayutsya v yedinij lokalnij diskovoyi fajlovoyi sistemi Odin abo kilka serveriv zberigannya ob yektiv object storage server OSS sho zberigayut dani fajliv z odnogo abo kilkoh cilej zberigannya ob yektiv object storage targets OST Zalezhno vid ustatkuvannya servera OSS zazvichaj obslugovuye vid dvoh do vosmi OSS a kozhna OST upravlyaye odniyeyu lokalnoyi diskovoyu fajlovoyu sistemoyu Yemnist fajlovoyi sistemi Lustre viznachayetsya sumoyu yemnostej sho nadayutsya OST Kliyent i yaki zvertayutsya i vikoristovuyut dani Lustre nadaye vsim kliyentam unifikovanij prostir imen dlya vsih fajliv i danih u fajlovij sistemi vikoristovuyuchi standartnu semantiku POSIX a takozh zabezpechuye paralelnij kogerentnij dostup iz zapisu ta chitannya do fajliv u fajlovij sistemi Komponenti MDT OST a takozh kliyenti mozhut perebuvati na odnomu i tomu zh vuzli ale pri instalyaciyi yih zazvichaj pomishayut na okremi vuzli kotri vzayemodiyut po merezhi Riven merezhi Lustre Lustre Network LNET pidtrimuye kilka komunikacijnih platform vklyuchayuchi Infiniband TCP IP cherez Ethernet i inshi merezhi Myrinet ru a takozh propriyetarni merezhevi tehnologiyi Lustre takozh vikoristovuye perevagi viddalenogo pryamogo dostupu do pam yati yaksho ce mozhlivo dlya zbilshennya propusknoyi spromozhnosti ta znizhennya chastki vikoristannya CP Shovishe yake vikoristovuyetsya dlya dublyuyuchih fajlovih sistem MDT i OST dilitsya na chastini i mozhe buti organizovano cherez upravlinnya logichnimi tomami i abo RAID yak pravilo formatovanimi v fajlovoyi sistemi ext4 Serveri Lustre OSS i MDS zchituyut zapisuyut i zminyuyut dani u formati vvedenim cimi fajlovimi sistemami OST ye vidilenoyu fajlovoyu sistemoyu sho eksportuye interfejs v bajtovi regioni ob yektiv dlya operacij chitannya zapisu MDT ye vidilenoyu fajlovoyu sistemoyu dlya kontrolyu dostupu do fajliv i povidomlen kliyentam pro te yaki ob yekt i vhodyat v strukturu fajlu V danij chas MDT i OST vikoristovuyut dlya zberigannya danih polipshenu versiyu ext4 zvanu ldiskfs U 2008 Sun pochala proekt portuvannya Lustre v Sun ZFS DMU dlya zberigannya vnutrishnih danih sho trivaye yak proekt z vidkritim kodom Pri dostupi kliyenta do fajlu poshuk imeni fajlu vikonuyetsya v MDS V rezultati fajl abo stvoryuyetsya vid imeni kliyenta abo kliyentu povertayetsya misce roztashuvannya isnuyuchogo fajlu Pri operaciyah chitannya abo zapisu kliyent interpretuye misce roztashuvannya na rivni logichnogo tomu ob yekta sho vidobrazhaye zmishennya i rozmir v odin abo dekilka ob yektiv kozhen z yakih roztashovanij na okremij OST Potim kliyent blokuye diapazon fajliv dlya roboti i vikonuye odnu abo kilka operacij paralelnogo chitannya abo zapisu bezposeredno v OST Pri takomu pidhodi usuvayutsya vuzki miscya vzayemodiyi kliyenta z OST tak sho zagalna propuskna zdatnist dostupna kliyentu dlya chitannya i zapisu masshtabuyetsya majzhe linijno iz zrostannyam kilkosti OST v fajlovoyi sistemi Kliyenti ne modifikuyut ob yekti fajlovoyi sistemi OST bezposeredno deleguyuchi ce zavdannya OSS Cej pidhid zabezpechuye masshtabovanist dlya velikomasshtabnih klasteriv i superkomp yuteriv a takozh pokrashuye bezpeku i nadijnist Na protivagu comu blokovi kolektivni fajlovi sistemi napriklad en i OCFS povinni pidtrimuvati pryamij dostup do shovisha dlya vsih kliyentiv u fajlovij sistemi zbilshuyuchi rizik poshkodzhennya fajlovoyi sistemi z boku nepravilnih kliyentiv RealizaciyaPri zvichajnij ustanovci Lustre na kliyenti Linux modul drajvera fajlovoyi sistemi Lustre zavantazhuyetsya v yadro i fajlova sistema montuyetsya yak i bud yaka insha lokalna abo merezheva fajlova sistema Zastosunki kliyenta bachat odnu unifikovanu fajlovu sistemu navit yaksho vona mozhe buti skladena z desyatkiv tisyach individualnih serveriv i fajlovih sistem MDT OST Na deyakih procesorah masovogo paralelizmu MPP obchislyuvalni procesori mozhut otrimati dostup do fajlovoyi sistemi Lustre shlyahom perenapravlennya yihnih zapitiv vvodu vivodu na vidilenij vuzol vvodu vivodu skonfigurovanij yak kliyent Lustre Cej pidhid vikoristovuyetsya u Blue Gene vstanovlenomu v Livermorskij nacionalnij laboratoriyi Inshij pidhid yakij vikoristovuyetsya ostannim chasom proponuye biblioteka liblustre sho nadaye zastosunkam v prostori koristuvacha pryamij dostup do fajlovoyi sistemi Ce biblioteka rivnya koristuvacha sho dozvolyaye obchislyuvalnim procesoram kliyentam montuvati i vikoristovuvati fajlovu sistemu Lustre Vikoristovuyuchi liblustre obchislyuvalni procesori mozhut otrimati dostup do fajlovoyi sistemi Lustre navit u razi yaksho obslugovuyuchij vuzol sho zapustiv zavdannya ne ye kliyentom Lustre Biblioteka liblustre dozvolyaye bezposeredno peremishuvati dani mizh prostorom zastosunkiv i Lustre OSS bez neobhidnosti promizhnogo kopiyuvannya danih cherez yadro zabezpechuyuchi obchislyuvalnim procesoram dostup do fajlovoyi sistemi Lustre z nizkoyu zatrimkoyu i visokoyu propusknoyu zdatnistyu Ob yekti danih i podil danihU tradicijnih diskovih fajlovih sistemah UNIX struktura danih inode mistit bazovu informaciyu pro kozhen fajl napriklad pro te de zberigayutsya dani sho mistyatsya u fajli Fajlova sistema Lustre takozh vikoristovuye inode ale inode na MDT vkazuye na odin abo dekilka ob yektiv OST asocijovanih z fajlom a ne na bloki danih Ci ob yekti realizuyutsya yak fajli OST Pri vidkritti fajlu kliyentom operaciya vidkrittya peredaye mnozhinu vkazivnikiv ob yekta ta yihnye roztashuvannya z MDS kliyentu pislya chogo kliyent mozhe bezposeredno vzayemodiyati z vuzlom OSS sho zberigayut ob yekt sho dozvolyaye kliyentu vikonuvati vvid vivid u fajl bez podalshoyi vzayemodiyi z MDS Yaksho z MDT inode asocijovanij tilki odin ob yekt OST cej ob yekt mistit vsi dani fajlu Lustre Yaksho z fajlom asocijovane bilshe odnogo ob yekta dani fajlu rozdileni sered ob yektiv podibno RAID 0 Podil fajla mizh kilkoma ob yektami daye istotni perevagi v produktivnosti Pri vikoristanni podilu maksimalnij rozmir fajlu ne obmezhenij rozmirami odniyeyi cili Yemnist ta sukupna propuskna zdatnist vvodu vivodu masshtabuyetsya z rostom chisla OST za yakimi rozdilenij fajl Krim togo oskilki blokuvannya kozhnogo ob yekta dlya kozhnoyi OST upravlyayetsya nezalezhno dodavannya chastin OST masshtabuye mozhlivosti blokuvannya vvodu vivodu u fajl proporcijno Kozhen fajl u fajlovij sistemi mozhe mati rizne rozmishennya pri podili tak sho yemnist i produktivnist mozhna optimalno nalashtuvati dlya kozhnogo fajlu BlokuvannyaLustre vikoristovuye menedzher rozpodilenoyi blokuvannya v stili VMS dlya zahistu cilisnosti danih i metadanih kozhnogo fajlu Dostup i modifikaciya fajlu Lustre povnistyu kogerentni dlya vsih kliyentiv Blokuvannya metadanih upravlyayutsya MDT sho zberigayut inode fajlu z vikoristannyam 128 bitnogo identifikatora Lustre File Identifier FID sho skladayetsya z nomera poslidovnosti i identifikatora ob yekta vikoristovuvanogo yak im ya resursu Blokuvannya metadanih dilyatsya na kilka chastin sho zahishayut proces viyavlennya fajlu vlasnik i grupa fajlu dozvoli i rezhim a takozh ACL stan inode rozmir katalogu vmist katalogu kilkist posilan timchasovi mitki a takozh rozmishennya podil fajlu Kliyent mozhe otrimati dekilka chastin blokuvannya metadanih dlya odnogo inode odnim zapitom RPC ale v danij chas nadayutsya tilki blokuvannya dlya chitannya inode MDS upravlyaye vsima modifikaciyami inode shob uniknuti zmagannya za resurs i zaraz mozhlivij tilki odin vuzol yakij oderzhuye blokuvannya na zapis inode Blokuvannya danih fajlu upravlyayutsya OST za yakimi rozdilenij kozhen ob yekt fajlu z vikoristannyam bajtovih blokuvan ekstentiv Kliyenti mozhut otrimati peretinayuche blokuvannya chitannya ekstentu dlya chastini abo vsogo fajlu sho dozvolyaye isnuvannya kilkoh paralelnih chitachiv dlya odnogo fajlu a takozh neperetinayuche blokuvannya zapisu ekstentu dlya oblastej fajlu Ce dozvolyaye bagatom kliyentam Lustre otrimati paralelnij dostup do fajlu dlya chitannya i zapisu unikayuchi problem pri vvodi vivodi fajlu Na praktici kliyenti Linux keruyut svoyim keshem danih v odinicyah storinok tomu voni budut zapituvati blokuvannya kotri zavzhdi ye cilim kratnim rozmirovi storinki 4096 bajt v bilshosti kliyentiv Pri zapiti kliyentom blokuvannya ekstentu OST mozhe nadati blokuvannya na bilshij ekstent shob skorotiti kilkist zapitiv blokuvannya vikonuvanih kliyentom Realnij rozmir nadanogo blokuvannya zalezhit vid dekilkoh faktoriv vklyuchayuchi kilkist vzhe vikonanih blokuvan nayavnist konfliktuyuchih blokuvan na zapis i chisla zapitiv na blokuvannya Vstanovlene blokuvannya nikoli ne bude menshe neobhidnogo ekstentu Blokuvannya ekstentu OST vikoristovuyut Lustre FID yak im ya resursu dlya blokuvannya Oskilki chislo serveriv blokuvannya ekstentu zrostaye iz zbilshennyam chisla OST v fajlovoyi sistemi ce takozh zbilshuye sukupnu produktivnist blokuvannya fajlovoyi sistemi i odnogo fajlu yaksho vin rozdilenij po dekilkoh OST Merezhevi mozhlivostiU klasteri z fajlovoyu sistemoyu Lustre sistemna merezha sho z yednuye serveri i kliyenti realizuyetsya za dopomogoyu Lustre Networking LNET sho nadaye komunikacijnu infrastrukturu neobhidnu fajlovij sistemi Lustre Diskove shovishe z yednuyetsya z MDS i OSS tradicijnimi tehnologiyami merezh zberigannya danih LNET pidtrimuye bagato zagalnovidomih tipiv merezh napriklad InfiniBand i IP dozvolyayuchi zdijsniti odnochasnij dostup dlya merezh riznih tipiv z marshrutizaciyeyu mizh nimi Viddalenij pryamij dostup do pam yati dozvolenij za pidtrimki jogo nizhchoyu merezheyu takoyu yak Quadrics Elan Myrinet i InfiniBand Mozhlivosti visokoyi dostupnosti ta vidnovlennya dozvolyayut prozore vidnovlennya pri vikoristanni vidmovostijkih serveriv LNET nadaye propusknu zdatnist cherez merezhi Ethernet GigE ponad 100 MB s propusknu zdatnist do 3 GB s cherez kanali InfiniBand QDR propusknu zdatnist ponad 1 GB s cherez interfejsi 10GigE Visoka dostupnistVisoka dostupnist fajlovoyi sistemi Lustre vklyuchaye nadijnij mehanizm vidmovostijkosti ta vidnovlennya sho zabezpechuye prozore perezavantazhennya serveriv pri nespravnosti Vzayemodiya versij mizh molodshimi versiyami programnogo zabezpechennya Lustre dozvolyaye onoviti server vimknuvshi jogo abo pereklyuchivshi na rezervnij server vikonati onovlennya i perezapustiti server prichomu vsi aktivni zavdannya prodovzhuyut pracyuvati viyavlyayuchi zatrimku tilki pri perevedenni shovisha na rezervnij server Lustre MDS konfiguruyutsya yak aktivna pasivna para a OSS zazvichaj rozgortayutsya v konfiguraciyi aktivnij aktivnij sho zabezpechuye nadijnist bez istotnogo perevantazhennya Chasto rezervnij MDS ye aktivnim MDS dlya inshoyi fajlovoyi sistemi Lustre tomu v klasteri nemaye vuzliv kotri prostoyuyut InstalyaciyiLustre vikoristovuyetsya v bagatoh superkomp yuterah i velikih klasterah z TOP500 P yatnadcyat iz 30 najpotuzhnishih superkomp yuteriv svitu vikoristovuyut fajlovu sistemu Lustre vklyuchayuchi najshvidshij superkomp yuter svitu K computer v RIKEN Advanced Institute for Computational Science i drugij za produktivnistyu najpotuzhnishij z listopada 2010 po cherven 2011 Tyanhe 1 u Nacionalnomu superkompyuternomu centri v misti Tyanczin Kitajska Narodna Respublika Inshi superkomp yuteri sho vikoristovuyut fajlovu sistemu Lustre ce tretij za potuzhnistyu Jaguar v Nacionalnij laboratoriyi Ouk Ridzh ORNL ta sistemi National Energy Research Scientific Computing Center roztashovani v Nacionalnij laboratoriyi im Lourensa v Berkli LBNL Livermorskij nacionalnij laboratoriyi LLNL en en i NASA u Pivnichnij Americi v Aziyi v Tokijskij tehnichnij universitet ta odna z najbilshih sistem v Yevropi CEA Komercijna pidtrimkaKomercijna pidtrimka Lustre zabezpechuyetsya velikim chislom postachalnikiv U bilshosti vipadkiv pidtrimka nadayetsya dlya obchislyuvalnoyi sistemi chi obladnannya zberigannya danih prodavanogo virobnikom Nepovnij spisok postachalnikiv sho prodayut obchislyuvalni sistemi i shovisha z Lustre vklyuchaye Cray Dell Hewlett Packard BULL SGI Sun Microsystems bilshe ne postachaye sistem sho mistyat Lustre Osnovni postachalniki yaki prodayut obladnannya zberigannya danih z pidtrimkoyu Lustre Data Direct Networks DDN Dell Terascala Xyratex ta inshi VinoskiLustre Home originalu za 23 serpnya 2000 Procitovano 15 lipnya 2013 An Overview of Fujitsu s Lustre Based File System PDF Fujitsu Limited Arhiv PDF originalu za 03 03 2012 Procitovano 24 chervnya 2011 Lustre File System presentation Google Video Arhiv originalu za 3 bereznya 2012 Procitovano 28 sichnya 2008 Sun Assimilates Lustre Filesystem Linux Magazine 13 veresnya 2007 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 Sun Welcomes Cluster File Systems Customers and Partners Sun Microsystems Inc 2 zhovtnya 2007 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 Lustre 2 0 support limited to Oracle hardware customers Infostor 28 kvitnya 2010 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 Oracle has Kicked Lustre to the Curb Inside HPC 10 sichnya 2011 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 Whamcloud aims to make sure Lustre has a future in HPC Inside HPC 20 serpnya 2010 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 Xyratex Acquires ClusterStor Lustre File System Expertise HPCwire 9 listopada 2010 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 Whamcloud Staffs up for Brighter Lustre InsideHPC Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 Lustre Helps Power Third Fastest Supercomputer DSStar Arhiv originalu za 3 lyutogo 2013 Procitovano 20 lipnya 2013 MCR Linux Cluster Xeon 2 4 GHz Quadrics Top500 Org Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 PDF Sun Microsystems Arhiv originalu PDF za 18 travnya 2011 Procitovano 21 serpnya 2008 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Vkazano bilsh nizh odin deadlink ta deadurl dovidka Open Scalable File Systems Arhiv Whamcloud originalu za 23 travnya 2011 Procitovano 2 lyutogo 2012 Lustre 2 1 Released Procitovano 2 lyutogo 2012 Yahoo Finance Arhiv originalu za 2 veresnya 2012 Procitovano 8 travnya 2012 Lustre to run on ZFS Government Computer News 26 zhovtnya 2008 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 10 travnya 2011 Arhiv originalu za 12 bereznya 2016 Procitovano 20 lipnya 2013 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Vkazano bilsh nizh odin deadlink ta deadurl dovidka HPC Wire October 15 2004 Vol 13 No 41 Arhiv originalu za 3 grudnya 2007 Procitovano 20 lipnya 2013 a href wiki D0 A8 D0 B0 D0 B1 D0 BB D0 BE D0 BD Cite web title Shablon Cite web cite web a Vkazano bilsh nizh odin deadlink ta deadurl dovidka Lafoucriere Jacques Charles Lustre Experience at CEA DIF PDF HEPiX Forum April 2007 Arhiv originalu PDF za 3 bereznya 2012 Procitovano 20 lipnya 2013 Pleiades Supercomputer www nas nasa gov 18 serpnya 2008 Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 TOP500 List November 2006 TOP500 Org Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 TOP500 List June 2006 TOP500 Org Arhiv originalu za 3 bereznya 2012 Procitovano 20 lipnya 2013 PosilannyaWhamcloud 22 lipnya 2013 u Wayback Machine DDN Lustre nedostupne posilannya z lyutogo 2019 kommercheskij produkt Lustre Div takozhRozpodilena fajlova sistema

Дата публікації:
Топ