Еволюція Грід

Grid на сьогодні визнається однією з найбільш вагомих концепцій як з точки зору сучасного розвитку комп’ютерних технологій, так і їх майбутнього. Авторами цієї концепції вважаються з Арагонськой національної лабораторії Чиказького університету і з Інституту інформатики Університету Південної Каліфорнії. Саме вони в 1998 році вперше запропонували термін Grid- компьютінг (Grid-computing) для позначення універсальної програмно-апаратної інфраструктури, що об'єднує комп'ютери та суперкомп'ютери в територіально-розподілену інформаційно-обчислювальну систему Grid, відповідно до їх визначення, що стало вже класичним, це - «погоджене, відкрите і стандартизоване середовище, яке забезпечує гнучке, безпечне, скоординоване розподілення ресурсів у рамках віртуальної організації».

Еволюція Ggid: Перше покоління (1990-1996 роки)

Перші проекти Grid були спробами зв'язати суперобчислювальні вузли (сайти); у той час цей підхід був відомий як метаобчислення. - це багатопроцесорна система, роль системної шини в якій виконує Інтернет, що зв'язує  безліч вузлів, що мають власні процесори, оперативну і зовнішню пам'ять, пристрої введення/виведення.

Початком цього періоду вважається старт проекту CASA в 1989 році одним з декількох американських іспитових стендів Gigabit. На початку та середині дев'яностих років відзначають появу перших метаобчислень, або середовищ Grid. Як правило, мета цих ранніх метаобчислювальних проектів полягала в тому, щоб забезпечити ряд високопродуктивних додатків обчислювальними ресурсами. Поперед цієї технології йшли два представницьких проекти - та . Ці проекти відрізняються різними шляхами реалізації, але для ефективної роботи  вони повинні були подолати багато подібних перешкод, такі як зв'язок, керування ресурсами та віддаленими даними. Ці два проекти також спробували вирішити проблеми метаобчислення, при цьому  FAFNER був здатний до виконання на будь-якій робочій станції, що мала більше ніж 4 мегабайти пам'яті, I-WAY був засобом об'єднання ресурсів величезних американських суперобчислювальних центрів.

До здобутків першого покоління Grid систем слід віднести таке:

• перетворення комп'ютера на пристрій, розрахований на багато користувачів,  і створення систем розділення часу;
• організацію взаємодії на рівні процесів шляхом:

- організації загального адресного простору;    

- розподіленої загальної пам'яті (DSM);     

- передачі повідомлень (MPI, PVM) для підтримки гетерогенних  систем і роботи в локальній/глобальній мережі; 

• перенесення моделі доступу до програмних і апаратних ресурсів комп'ютера на розподілене обчислювальне середовище - користувач метакомп‘ютера може працювати з його ресурсами так само, як з ресурсами власного комп'ютера; 
• організацію однорідного доступу до обчислювальних ресурсів великої кількості  комп'ютерів в локальній або глобальній мережі;  
• рішення задач, що допускають декомпозицію на велике число невеликих, незалежних під задач.

FAFNER

Алгоритм шифрування відкритого ключа RSA був винайдений у лабораторії Массачусетського технологічного інституту інформатики в 1976-77 роках. Цей алгоритм широко використовується, наприклад, у протоколі захищених сокетів (Secure Sockets Layer , SSL). Безпека RSA заснована на твердженні, що дуже важко розкласти на множники надзвичайно великі числа, які складаються із сотень цифр. Використовувані алгоритми тривіально паралельні та не вимагають ніякого зв'язку після початкової установки, і багато машин можуть забезпечити невеликий внесок кожна у загальне рішення завдання по факторизації. Ранні зусилля ґрунтувалися на обміні інформацією та одержання коду факторизації електронною поштою. В 1995 році консорціум на чолі з Bellcore Labs, Сіракузьким університетом і Co-Operating Systems запустили проект, відомий як FAFNER (Factoring via Network-Enabled Recursion - рекурсивна факторизація з підтримкою мережевої роботи), що розкладає на множники через Інтернет.

FAFNER був розроблений для факторизації RSA130, використовуючи нову числову методику факторизації, названу NFS (Number Field Sieve), що використовує обчислювальні web-сервери. Учасники проекту тоді використовували CGI (Common Gateway Interface - стандартний інтерфейс обміну даними) для доступу до сервісів підтримки. Ці сервіси включали: поширення програмного забезпечення NFS, проектну документацію, анонімну користувальницьку реєстрацію, поширення завдань і звіти про стан рішення в реальному часі. Скрипти CGI організували підтримку кластерного керування, направляючи індивідуальні робочі станції на рішення задачі під час їхнього простою, щоб мінімізувати завантаженість машин. Таким чином, вони були клієнтами мережі, які використовували протокол HTTP, щоб одержати значення від сервера та відправити результати назад до CGI скрипту сервера.

I-WAY

Проект I-WAY (The Information Wide Area Year) був експериментальною високоефективною мережею, що об’єднував багато потужних комп'ютерів, і працював над поліпшенням середовищ візуалізації. Проект I-WAY був задуманий на початку 1995 року з ідеєю не побудувати мережу, а інтегрувати існуючі мережі високої пропускної здатності. Використовувалися віртуальні середовища, набори даних і комп'ютери, які розташовувалися на сімнадцяти різних американських сайтах і були підключені за допомогою десятка мереж із змінними смугами пропускання та протоколами, використовуючи різну маршрутизацію та перемикання технологій. 

Мережа була заснована на технології асинхронної передачі даних, що у той час тільки розвивалася, а пізніше стала стандартом.. Щоб допомогти стандартизувати інтерфейс програмного забезпечення та керування I-WAY, ключові сайти встановлювали місцеві сервери (I-POP), щоб задіяти  їх як шлюзи до I-WAY. Сервери I-POP були робочими станціями UNIX, однаково конфігурованими та мали стандартне програмне середовище за назвою I-Soft. I-Soft спробував перебороти проблеми різнорідності, масштабованості, продуктивності та безпеки. Кожний сайт, що брав участь в I-WAY, запускав сервер I-POP. Механізми сервера I-POP забезпечили однакову аутентифікацію I-WAY, резервування ресурсу, створення процесу та функції комунікації. Кожний сервер I-POP був доступний через Інтернет і працював у межах системи мережевого захисту свого сайту.

Проект I-WAY визначив кілька типів додатків:

• суперобчислення;
• доступ до віддалених ресурсів;
• віртуальна реальність;
• відео, мережа, GII-Windows;

Проект I-WAY був також успішно продемонстрований на SC 95 у Сан-Дієго. Що є ще більш важливим, досвід роботи та програмне забезпечення, що розроблялося , були використані  в подальшому:  FAFNER став попередником SETI@home і distributed.net, а I-WAY - попередником Globus і Legion.

Еволюція Ggid: Друге покоління (1997- 2003 роки)  

Подальший розвиток і узагальнення ідей метакомп'ютинга на більш ширше коло обчислювальних ресурсів і завдань/додатків вимагав невідкладного рішення широкого кола проблем, пов'язаних з передачею даних, забезпеченням безпеки, управлінням завданнями, доступом до даних, пошуком ресурсів, доступом до них та інше. Підходи до побудови такої Grid-система були і її можна розглядати   як представника Grid-систем другого покоління, яким притаманні три основних властивості:

Різнорідність: Grid використовує різноманітні ресурси, які є різнорідними за походженням, і могли б охопити численні адміністративні домени через потенційно глобальний простір;

Масштабованість: Grid міг би зростати від декількох ресурсів до тисяч. Це підіймає проблему потенційного зниження рівня продуктивності по мірі росту та поширення Grid. Отже, повинні бути розроблені додатки, які спроможні використовувати наявні ресурси, а також значно покращені засоби  аутентифікації користувачів;

Адаптивність: в Grid відмова ресурсу є скоріше правилом, ніж винятком. Фактично, з дуже багатьма ресурсами в Grid ймовірність деякого збою ресурсу досить висока. Менеджери ресурсу або додатки повинні динамічно адаптуватися таким чином, щоб вони могли витягти максимальну продуктивність із доступних ресурсів і сервісів.

До здобутків другого покоління Grid систем слід віднести таке:

• розпочато виконання проекту Globus, направленого на формалізацію і розробку набору (toolkit) базових сервісів для:

- управління ресурсами;

- управління обчисленнями;

- управління даним;

-  забезпечення безпеки;

• розроблення і впровадження загальної Grid інфраструктури у вигляді базових сервісів, не залежних  від ресурсів і додатків (аутентифікація, авторизація, пошук і розподіл ресурсів, повідомлення про події, облік використання ресурсів, видалений доступ до даним, виявлення відмов і т.д.)
• показ можливості об'єднання базових сервісів   в складніші, високорівневі сервіси;
• розроблення ряду програмних компонентів і утиліт, які здійснюють запуск завдань на видалених ресурсах (суперкомп'ютерах, кластерах) через вже існуючі системи управління ресурсами (зазвичай системи пакетної обробки), контроль стану виконання завдань і управління завданнями, збір і доступ до різноманітної інформації про систему і її компоненти тощо, і з допомогою яких можна надати високорівневі послуги користувачам, додаткам, планувальникам ресурсів, брокерам;

початок низки проектів типу Cactus, WebFlow, DataGrid зі створення великомасштабних обчислювальних та інформаційних мереж ресурсів Grid для аналізу даних.

Основні технології другого покоління

Globus

ПГЗ Globus створює програмну інфраструктуру, що дозволяє додаткам використовувати розподілені різнорідні обчислювальні ресурси як одиничний віртуальний комп’ютер. Проект Globus, розпочатий ще в1996 році, пов’язаний з розробленням обчислювальних архітектур. Згідно проекту, обчислювальний Grid є апаратною та програмною інфраструктурою, що забезпечує надійний, однозначний  доступ до високопродуктивних обчислювальних можливостей, незважаючи на географічний розподіл як ресурсів, так і користувачів.

Центральний елемент системи Globus - Globus Toolkit (інструментарій), що визначає основні сервіси та можливості, необхідні для створення обчислювального Grid середовища. Інструментарій складається з ряду компонентів, які забезпечують  основні сервіси, такі як безпека, місце розташування ресурсів, керування ресурсами, зв'язок.

Globus створений як багаторівнева архітектура, у якій глобальні сервіси високого рівня побудовані поверх основних локальних сервісів нижнього рівня. Globus Toolkit є модульним, і додаток може експлуатувати особливості Globus, такі як керування ресурсами або інформаційною інфраструктурою, не використовуючи бібліотеки комунікації Globus. 

Globus Toolkit сьогодні складається з наступних елементів:

• GSI
•  
• GEM
• LDAP

Протоколи та сервіси, які надав Globus, досить динамічно змінювалися  протягом свого розвитку. Акцент Globus перейшов від підтримки одних тільки високоефективних додатків до підтримки більше розповсюджених сервісів, які можуть підтримувати віртуальні організації. Еволюція Globus продовжується  введенням архітектури OGSA (Open Grid Service Architecture, відкрита архітектура сервісів Grid ) , і архітектури Grid, заснованої на .

 Legion

ПГЗ Legion є «метасистемою», заснованою на об'єктах, і розробленою у Вірджинському університеті. Legion сформував  програмну інфраструктуру таким чином, щоб система різнорідних, географічно розповсюджених і високоефективних машин могла вільно взаємодіяти. Legion зробив спробу надати користувачам на їхніх робочих станціях  окрему інтегровану інфраструктуру незалежно від масштабу, фізичного місця розташування, мови програмування та основної операційної системи користувача.

Legion відрізнявся від Globus у своєму підході до забезпечення середовища Grid: він формував всі свої компоненти у вигляді об'єктів. У цієї методології є всі звичайні переваги об’єктно-орієнтованого підходу, такі як абстракція даних, інкапсуляція, спадкування та поліморфізм.

Legion був вперше випущений у листопаді 1997 року. З тих пір компоненти, які становлять Legion, продовжили розвиватися. У серпні 1998 року компанія Applied Metacomputing одержала дозвіл на комерційне використання Legion. У червні 2001 року естафета була перехоплена корпорацією Avaki (Avaki Corporation).

Розподілені об'єктні системи

CORBA (The Common Object Request Broker Architecture) є відкритою розподіленою об'єктно-обчислювальною інфраструктурою, стандартизованою OMG (Object Management Group, група по керуванню об'єктами). CORBA автоматизує функціонування загальних мереж, програмуючи такі завдання, як об'єктна реєстрація, місце розташування та активація; запиту; синхронізація кадрів і обробка помилок; сортування та десортування параметра, диспетчеризація операції. Хоча CORBA забезпечує широкий набір сервісів, проте вона не містить сервіси розподілу та планування рівня Grid, які є в Globus, однак CORBA цілком здатна об’єднатися  з Grid. CORBA є середовищем, що не залежить від мови та близько асоціюється з UML (Unified Modeling Language). Один із недоліків CORBA - це те, що вона більше підходить для внутрішніх мереж, а не для поширення через Інтернет, і тому існують труднощі в організації, наприклад, виконання операцій через системи мережевого захисту. Крім того, не забезпечується організація взаємодії в реальному часі та підтримка мультимедіа.

Java

Java створює окрему структуру для реалізації розподілених об'єктних систем. Певною мірою віртуальна машина Java (JVM, Java Virtual Machine) з Java-додатками та сервісами вирішує проблеми, пов'язані з різнорідними системами, організовуючи переносні програми та розподілену об'єктну модель через протокол RMI. Однак, використання Java саме по собі містить півні  недоліки, і головним з них є низька обчислювальна швидкість. Java Grande («Додаток Grande») є будь-яким додатком, науковим або індустріальним, котрий вимагає великої кількості обчислювальних ресурсів, у тому числі і віддалених, для  рішення однієї або більше задач. Мова Java була також обрана для створення альтернативного програмного забезпечення проміжного шару UNICORE (UNiform Interface to COmputer REsources) в 2003 році. Головні компоненти UNICORE:

• агент підготовки завдань (JPA);
• контролер монітора завдань ();
• сервер https UNICORE, так званий шлюз (Gateway);
• супервізор мережних завдань ();
• графічний інтерфейс користувача, заснований на Java-аплетах, з інтерактивною довідкою й засобами допомоги.

Jini і протокол RMI

Технологія Jini була розроблена для того, щоб сформувати програмну інфраструктуру, яка надає можливість створити середовище розподілених обчислень. В Jini додатки можуть бути написані мовою Java і оброблятися з використанням механізму Java RMI (Java Remote Method Invocation). Навіть при тому, що Jini написана на чистому Java, ні від клієнтів Jini, ні від сервісів не вимагається  бути чистими Java. Вони можуть включати надбудови Java навколо коду на іншій мові, або навіть бути повністю написані на деякій іншій мові. Це дозволяє  Jini використовуватися поза стандартною структурою Java і зв'язувати сервіс і клієнтів від безлічі джерел.

В Jini новий пристрій або можуть бути підключені до мережі і там оголосити про свою присутність. Клієнти, які бажають використати такий сервіс, можуть тоді визначити його місцезнаходження та дати йому своє ім'я, що відразу дозволяє почати виконувати завдання. Jini заснований на протоколі RMI, що вводить деякі обмеження. Крім того, Jini не є розподіленою операційною системою, оскільки операційна система надає такі послуги, як доступ до файлу, планування процесора та користувальницькі входи в систему.

Посередники та планувальники ресурсів Grid

Існує кілька доступних систем, які фокусуються на здійсненні групування та планування ресурсів. Потрібно відзначити, що всі пакети, що тут перераховані, виникли як системи керування завданнями та локальними платформами розподілених обчислень:

• Condor
• PBS
• SGE
•  LSF
• SRB
•  Nimrod-G
• Grid-Портали

Еволюція Ggid: Третє покоління для е-Науки (з 2004 року)

Дві ключових особливості Grid.систем третього покоління – наголос  на прийняття сервісно-оріентованої моделі та зростаюча увага до метаданих. Фактично сервісно-орієнтований підхід припускає, що гнучке застосування ресурсів Grid у додатках Grid вимагатиме інформацію про функціональні можливості, характеристики та інтерфейси різних компонентів, і ця інформація повинна бути погодженою, щоб можна було її обробляти комп’ютером.

Були введені нові  терміни «розподілене співробітництво» і «віртуальна організація». В третьому поколінні сформувалося більш цілісне уявлення про виконання Grid обчислень, і можна сказати, що  справа йдеться скоріше про інфраструктуру для е-Науки, ніж про поліпшення уже розробленої існуючої технології. Очікуване використання обчислювальних засобів з масовим паралелізмом - тільки частина картини, що проступила, існує також величезна кількість користувачів, отже розподілені обчислення не були прерогативою тільки комп’ютерів  з масовим паралелізмом.

Grid може забезпечити  підтримку віддаленого спілкування вчених  в реальному часі. Особливо важливою є інфраструктура для підтримки розподілених ресурсів – тут є багато ключових сервісів: безпека, масштабування і управління, реєстрація і пошук, та інтерфейси Web-сервісів, орієнтовані на повідомлення, для забезпечення могутніх механізмів співробітництва. Всі головні Grid-сервіси і інфраструктура забезпечують  співпрацю і є вкрай значущими для суспільства.

До найбільш вагомих здобутків Grid систем третього покоління, отриманих до тепер, можна віднести:

• злиття Grid-технологій  і технологій Web-сервісів, формування Grid сервісу як спеціального розширення Web-сервісу шляхом підтримки екземплярів Grid-сервісу, що мають стан і, можливо, обмежений час життя;
• з кожним екземпляром Grid-сервісу пов'язані дані сервісу, тобто  інформація, структурована у вигляді набору іменованих XML-елементів, що типізуються (service data elements, SDE )
• забезпечення інтероперабельності різних реалізацій сервісів, визначення стандартизованих інтерфейсів сервісів (OGSI), визначення протоколу(-ів) для виклику певного інтерфейсу, домовленість про стандартний набір підтримуваних протоколів, при чому для кожного із стандартних інтерфейсів визначений набір елементів даних сервісу, які повинні підтримуватися будь-яким екземпляром сервісу, що реалізовує даний інтерфейс;
• запропонування спільними зусиллями GT, IBM та інших  компаній набору специфікацій під ім'ям WS-Resource Framework (WSRF), який спирається на ту ж архітектуру OGSA, на загальновизнані стандарти , при чому зберігається багато елементів OGSI, але використовується  інша термінологія і розширюються можливості OGSI;
• створення програмному Grid забезпечення Globus Toolkit GT4 як відкритої реалізації WSRF і засоби розробки клієнтських і серверних додатків на мовах Java, С++ і Python; при цьому GT4 не повністю сумісний з попереднім  GT3

Сервісно-орієнтована архітектура

До 2003 року з'явився ряд архітектур Grid, запропонованих у різних проектах. Наприклад, в роботі запропонувала відома багатошарова модель, а в  проекті IBM Information Power Grid [80] – модель з великим набором сервісів, знову ж таки упорядкованих пошарово. До цього часу модель Web-сервісів також придбала популярність, обіцяючи стандарти для підтримки сервісно-орієнтованого підходу. Ще одне з дослідницьких співтовариств розпочало  роботу в області обчислень, заснованих на застосуванні програмних агентів: програмні агенти можуть бути визначені як виробники, споживачі та брокери сервісів. В цілому, стало очевидним те, що сервісно-орієнтована парадигма забезпечує гнучкість, необхідну для третього покоління Grid.

Велике  значення  мало створення консорціумом W3C стандартів Web-сервісів таких як:

• SOAP

  графік

• Мова опису Web-сервісів (WSDL).
• UDDI
• Мова

Web-сервіси близько відповідають вимогам до систем Grid третього покоління: вони підтримують сервісно-орієнтований підхід і підтримають стандарти для полегшення інформаційних процесів, таких як опис сервісу (рис.3.1).

Архітектура OGSA 

Структура OGSA (Open Grid Services Architecture, відкрита архітектура Grid-сервісів) – спільне бачення Globus-IBM для об’єднання Web-сервісів і Grid-обчислення, була представлена на Глобальному Grid форумі (GGF) у Торонто ще в лютому 2002 року. GGF установив робочу групу відкритих Grid-сервісів для того, щоб створити огляд і вдосконалити архітектуру Grid-сервісів і документів, які формують технічну специфікацію.

OGSA підтримує створення, обслуговування та додаток ансамблів сервісів, які використовуються у віртуальних організаціях (ВО). Тут сервіс визначений як об'єкт із підтримкою мережевої роботи, що забезпечує деякі такі можливості, як обчислювальні ресурси, ресурси пам'яті, мережі, програми та бази даних. Це пристосовує створення Web-сервісів для виконання деяких вимог, специфічних для  Grid.

Агенти

Web-сервіси забезпечують  функціональну сумісність, тобто  ключ до Grid обчислень, а  OGSA впроваджує  засоби  адаптації Web-сервіси до Grid. Однак, Web-сервіси не забезпечують нове рішення багатьох із проблем масштабних розподілених систем з надвеликою кількістю запитів, і при цьому вони також не забезпечують нові методики для розробки цих систем. Отже, для обслуговування широкого кола запитів використовуються інші моделі, наприклад, засновані на програмних агентах. При цьому агенти мають наступні особливості:

• Превентивність - агенти демонструють поведінку, що спрямована на рішення поставленої мети
• Автономія — агенти діють без зовнішнього втручання та мають деякий контроль над своїми діями та внутрішнім станом;
• Соціальна здатність — агенти взаємодіють із іншими агентами, використовуючи мову комунікації агента;
• Реактивність — агенти зберігають і відповідають за своє середовище;

Обчислення, засноване на агентах, особливо добре підходить для динамічно змінного середовища, де автономія агентів дозволяє адаптувати обчислення до змінних обставин. Це є важливою властивістю для Grid-систем третього покоління. Однією з методик для досягнення вищевказаної властивості є оперативний обмін інформацією між агентами, і для реалізації цієї методики проведені відповідні дослідження. Ринкові підходи обумовлюють особливо важливі  вимоги  до економічності обчислювальних  систем, необхідних для Grid-додатків.

Web як інформаційна інфраструктура Grid

Спочатку Інтернет у Європі просувався зусиллями CERN для розподіленого доступу до інформації в контексті е-Науки. Тоді постає питання, чи задовольняє зараз ця архітектура розподілу інформації вимогам Grid. При цьому виникають наступні питання до:

• можливості контролю версій, бо Інтернет може безупинно обновлювати сторінки без контролю версій;
• якості сервісу, оскільки вбудовані посилання можуть змінювати сервер, місце його розташування, назву або інформаційне наповнення документа, але очікуваність несуперечності посилань низька, і е-Наука може вимагати більш високої якості обслуговування;
• походженню інформації, тому що  не має ніякого стандартного механізму, щоб забезпечити юридично істотний доказ, що даний документ був виданий в Інтернеті в конкретні дату та час;
• цифрового керування правами, бо е-Наука потребує специфічні функціональні можливості щодо керування цифровим інформаційним наповненням, включаючи, наприклад, керування інтелектуальною власністю та захист від копіювання;
• нагляду, тому що більша частина  інфраструктури Web зосереджена на техніці доставки інформації, а не на засобах створення й керування змістом, особливо в умовах оброблення метаданих.

Web усе більше стає інфраструктурою для розподілених додатків, де скоріше відбувається обмін інформацією між програмами, ніж читання її людиною. Такий інформаційний обмін забезпечується сімейством рекомендацій XML від W3C. XML призначений для розмітки документів і не має ніякого встановленого словника тегів; вони визначені для кожного додатка й використовують Document Type Definition (DTD) або XML Schema. RDF - це стандартний спосіб вираження метаданих, особливо ресурсів на Web, хоча ним можна скористатися для опису структурованих даних взагалі. Використання XML й RDF робить можливим  стандартне вираження змісту й метазмісту. З'являються додаткові набори інструментів для роботи із цими форматами, і це збільшує підтримку з боку інших інструментів. Все разом це забезпечує інфраструктуру для інформаційних систем третього покоління Grid. W3C опублікував документ , у якому розглянута перспективна технологія Семантичного Web, обумовлена як розширення нинішньої мережі Web, при якій інформація має чітко виражене значення, що надає кращі можливості для співробітництва людей і комп'ютерів. Головне, що несе ця технологія, — це ідея наявності даних на Web, певних і зв'язаних таким способом, що дозволяє використати їх для більше ефективного виявлення, автоматизації, інтеграції й повторного використання в різних додатках.

Примітки

1. Treadwell, J.; Behrens, М.; Berry, D. (2005). Open Grid Services Architecture Glossary of Terms.:.
2. Foster, I; Kesselman, C (1998). The Grid: Blueprint for a New Computing Infrastructure.:.
3. Dongarra, J.; Seymour, K. (2006). GridSolve: The Evolution of A Network Enabled Solver.:.
4. Berners-Lee, Т. (2001). Scientific American.
5. JXTA Peer-to-Peer Technology (англ.). Процитовано 08.11.2016.
6. NASA Information Power Grid (англ.). Процитовано 08.11.2016 (англ.).

Джерела  

Петренко А.І. (1 грудня 2013). Застосування Grid технологій в науці і освіті (укр.). Open Publishing. Процитовано 8 листопада 2016.

(2002). The Physiology of the Grid.

(2001). Scientific American.

; (1998). The Grid: Blueprint for a New Computing Infrastructure.:

(2002). What is the Grid? A Three Point Checklis.

(2002). RFC 3280: Internet X.509 (англійською) .

; ; (2005). . Open Grid Services Architecture Glossary of Terms.:

; (2006). GridSolve: The Evolution of A Network Enabled Solver.:

(англ.) . Архів оригіналу за 21 жовтня 2006. Процитовано 08.11.2016.

(англ.) . Архів оригіналу за 22.04.2003. Процитовано 08.11.2016.

(англ.) . Архів оригіналу за 02.01.2006. Процитовано 08.11.2016.

(PDF) (укр.) . Архів оригіналу (PDF) за 05.04.2005. Процитовано 08.11.2016.