Масивно паралельний

Масово-паралельна архітектура (Massively Parallel Processor, MPP), також масивно-паралельна архітектура, масивно-паралельний процесор – архітектура паралельної ЕОМ з розподіленими блоками обчислень, зокрема розподіленою пам'яттю, тобто з наявною в кожного з процесорів власної пам'яті. Тому ці архітектури також називають архітектурами з розподіленою пам'яттю (хоча, якщо бути точнішим, клас архітектур з розподіленою пам'яттю є підкласом масово-паралельних архітектур).

Характерні особливості

За рахунок цього система позбувається централізованої шини обміну даними між процесорами та проблем з масштабуванням, властивих симетрично-паралельним (SMP) системам з загальною для всіх процесорів пам'яттю.

Робота з пам'яттю

Дані й команди можуть бути розподілені по локальних областях пам'яті процесорів, і для звертання одного процесора до пам'яті іншого застосовується звичайно спеціальний механізм обміну повідомленнями (message passing). Швидкість звертань до локальної й нелокальної пам'яті в таких системах істотно різниться, і конфігурації (топологія) зв'язків між обчислювальними блоками «процесор + локальна пам'ять» здобувають ключове значення, адже чим довший шлях від одного процесора до іншого, тим довше буде йти обробка запитів, тим більший відсоток процесорного часу система буде витрачати на задачах обміну даними та міжпроцесорної комунікації.

З'єднання «кожний з кожним» застосовуються досить рідко через їхню дорожнечу й складність при великій кількості обчислювальних модулів. Замість цього застосовуються інші топології, що забезпечують найкоротші шляхи за мінімальних апаратурних витрат (топології тора, n-вимірні гіперкуби й сітки). Ціною гарної масштабованості таких систем є складність їхнього програмування через необхідність відстеження даних в локальних областях пам'яті, перекладання на програміста завдання по організації обміну інформацією між процесорами тощо.