Раздел 2 Распараллеливание задачи и

• Раздел 2 • Распараллеливание задачи и ускорение вычислений • «Законы» параллельных вычислений 1

Распараллеливаемость задачи и Эффективность параллельных ВС • Выигрыш в производительности получается не всегда. • Решаемая задача должна быть хорошо распараллеливаемой. 2

Хорошо распараллеливаемая задача Цифровая фильтрация двумерного изображения: Элементы изображения можно вычислять независимо один от другого. Однако в любой Задаче всегда есть нераспараллеливаемая часть – передача данных на узлы. 3

Параметры изображения и фильтра – отсчеты (пиксели) исходного изображения – отсчеты (пиксели) отфильтрованного изображения – ширина и высота изображения, W 2 – число элем. изобр. – ширина и высота матрицы коэффиц. фильтра 4

Реализация цифровой свертки Для этого в системе команд реализуют инструкцию MLA «умножение с накоплением» Таких команд понадобится W 2 D 2 Tпередачи TMLA Будем увеличивать число процессоров с шагом 1, 4, 16, … Гранулярность: (Tвычисл/Tпередач) 5

Оценка эффективности Прц Оп/прц Пер/ 103 проц Грану Сумма Усколярн оп/пр 103 рение 1 4 16 64 256 1024 - 96, 1 92, 5 85, 3 73, 8 57, 1 100000 25000 6250 1553 388 97 0 260000 67600 18200 5260 1700 100000 25780 7264 2700 1729 1122 1 3, 88 15, 8 37 58 89 6

Закон (формула) Амдала 7

Формула Амдала f 8

Закон Густафсона – постановка Не уменьшать время решения, а увеличивать размерность !!! 9

Формула Барриса – Густафсона Для Задачи фильтрации изображения: Время передачи растет линейно с размерностью, а время обработки – квадратично 10

Классификации параллельных систем • Классификация Флинна – самая старая и известная. • Другие классификации параллельных ВС: – Хокни – Фенга – Хэндлера – Шнайдера – Шора – Скилликорна 11

Классификация Флинна (1966 -72, IBM) • ОКОД — Вычислительная система с одиночным потоком команд и одиночным потоком данных (SISD, Single Instruction stream over a Single Data stream). • ОКМД — Вычислительная система с одиночным потоком команд и множественным потокомданных (SIMD, Single Instruction, Multiple Data). • МКОД — Вычислительная система со множественным потоком команд и одиночным потокомданных (MISD, Multiple Instruction Single Data). • МКМД — Вычислительная система со множественным потоком команд и множественным потоком данных (MIMD, Multiple Instruction Multiple Data). • (переделать , чтобы на слайде для одного класси – словесное описание и картинка) 12

13

Классификация Хокни (Roger W. Hockney) Он расширил группу МИМД: • Переключаемые — с общей памятью и с распределённой памятью. • Конвейерные. • Сети — регулярные решётки, гиперкубы, иерархические структуры, изменяющие конфигурацию. В класс переключаемых машин попадают машины, в которых возможна связь каждого процессора с каждым, реализуемая с помощью переключателей 14

Классификация Фенга Классификационные признаки: • число n бит в машинном слове, обрабатываемых параллельно при выполнении машинных инструкций • число слов m, обрабатываемых одновременно данной ВС 15

Классификация Хэндлера В основу классификации В. Хендлер закладывает явное описание возможностей параллельной и конвейерной обработки информации вычислительной системой. 16

Классификация Скилликорна (1989) Основывается на следующих характеристиках: • Количество процессоров команд IP (Устр Упр) • Число ЗУ команд IM • Тип переключателя между IP и IM • Количество процессоров данных DP (АЛУ) • Число ЗУ данных DM • Тип переключателя между DP и DM • Тип переключателя между IP и DP • Тип переключателя между DP и DP 17

Три класса параллельных вычислительных систем 18

Симметричные мультипроцессоры SMP(1 -1) 19

Симметричные мультипроцессоры SMP(1 -2) • Узкое место SMP – шина в память. Все Проц конкурируют за доступ к ней. Способ разрешения: индивидуальная память для отдельных процессоров • Максимальное количество процессоров в SMP не превышает 32 • Один из выходов – организация множественного доступа к памяти через коммуникационную подсистему 20

Симметричные мультипроцессоры SMP(1 -2) 21

Системы MPP (Massively Parallel Processors) • Основной классификационный признак – организация системного ПО: на совокупности узлов работает одна ОС с поддержкой многопроцессорности. • Узел нельзя использовать как отдельный компьютер. • Физически распределенная память. • Сеть соединений с высокой пропускной способно-стью и малыми задержками • Высокая масштабируемость (сотни тысяч узлов) 22

Что такое SMP? • Несколько процессоров используют общую память • Каждый процессор имеет КЭШ (и, может быть, локальную память • Процессоры и разделяемая память связаны общей параллельной адресуемой магистралью. • Магистраль разделяется всеми процессорами, и поэтому является «узким» местом. • Число процессоров не превышает 16… 32. • На многопроцессорном узле SMP работает локальная многозадачная ОС. • Несколько узлов SMP могут быть связаны сетью (напр. Ethernet или Infiniband) 23

Системы MPP 24

Что такое MPP? • Узлы на стандартных процессорах • Сеть с высокой пропускной способностью и малыми задержками (с пересылкой сообщений) (стр586) • Высокая масштабируемость (105++ узлов) • Каждый из узлов НЕ может быть использован в качестве самостоятельного компьютера. • Характерная черта МРР-систем — наличие единственного управляющего устройства (процессора, узла), на большое число подчиненных узлов. • Если говорить о МРР как о представителе класса MIMD с распределенной памятью и отвлечься от организации ввода/вывода, то эта архитектура является естественным расширением кластерной (стр587) 25

Что такое кластеры? • Кластер – группа взаимно соединенных вычислительных узлов, работающих совместно • В качестве узла кластера может выступать как однопроцессорная ВМ, так и ВС типа SMP или МРР (579) • В качестве узлов кластеров могут использоваться как одинаковые ВС (гомогенные кластеры), так и разные (гетерогенные кластеры). • Узел кластера можно использовать как отдельный компьютер • В плане архитектуры суть кластерных вычислений сводится к объединению нескольких узлов высокоскоростной сетью. • По своей архитектуре кластерная ВС является слабо связанной системой. 26

Преимущества кластеризации • • Абсолютная масштабируемость. Наращиваемая масштабируемость. Высокий коэффициент готовности (надежность) Хорошее соотношение цена/производительность. 27

Можно почитать учебники: • Архитектура компьютера. 5 -е изд. / Танненбаум Э. ‑ СПб. : Питер, 2007, Глава 8 • Организация ЭВМ. 5 е изд. / К. Хамахер, З. Вранешич, С. Заки. ‑ СПб. : Питер; 2003. Глава 12 • Организация ЭВМ и систем: учебник для вузов. 2 -е изд. / Б. Я. Цилькер, С. А. Орлов. – СПб. : Питер, 2007. Главы 10… 14 28