Кластерные системы Задача производительности n Существует класс

Кластерные системы

Задача производительности n Существует класс задач требующих высокой производительности ¨ Моделирование ¨ Математические вычисления ¨ Доступ к информации и ее обработка ¨ Задачи искусственного интеллекта

Три способа повышения производительности Work Harder (работать лучше) n Work Smarter (работать умнее) n Ask Help (попросить помощи) n

Для компьютеров Повышение скорости работы n Улучшения архитектуры n Объединение устройств n

Архитектура Способ соединения компьютеров между собой, с памятью и внешними устройствами

Типы архитектур Single Instruction Single Data n Multiple Instruction Single Data n Single Instruction Multiple Data n Multiple Instruction Multiple Data n

SISD Один поток команд, один поток данных, один процессор n Обычные рабочие станции n

MISD Множественный поток команд, одиночный поток данных n Реальных устройств не существует n Пример – работа СУБД n

SIMD Одиночный поток команд, множественный поток данных. n Большое число процессоров от 1024 n Единственная инструкция выполняется над многими элементами данных n Векторные компьютеры n

MIMD (SMP, MPP) Множественный поток команд, множественный поток данных n Команды и данные связаны и являются частью одной задачи n Конвейерные и многопроцессорные системы n

SMP архитектура n n Symmetric multiprocessing Наличие общей памяти Простота программирования Плохая масштабируемость. Одна шина – одна инструкция

MPP архитектура n n Massive parallel processing Память физически разделена Хорошая масштабируемость Ниже скорость. Дороже софт

Гибридная архитектура (NUMA) n n Nonuniform memory access Память физически разделена, но логически разделяема Неоднородный доступ к памяти. Быстрее MPP Проблема когерентности кешей.

Кластерная архитектура n Кластер – это группа вычислительных машин, которые связаны между собою и функционируют как один узел обработки информации (c) Digital Equipment Corporation (DEC).

Типы узлов Серверы n Рабочие станции n Персональные компьютеры n

Ключевые особенности n n Неограниченная масштабируемость Дешевизна Отказ узла не влияет на работоспособность системы Стандартные сетевые технологии связи узлов ¨ ¨ ¨ n Ethernet Myri. Net SCI (Scalable Coherent Interface Кластеризация может быть осуществлена на разных уровнях. Программном, системном, аппаратном

Типы кластеров n Класс I ¨ Система строится на базе стандартных элементов (низкая цена, простое обслуживание) n Класс II ¨ Эксклюзивные элементы (более высокая производительность, выше цена и сложность решения)

Типы кластеров по задачам Системы высокой надежности n Системы высокой производительности n Многопоточные системы n

Системы высокой надежности Повышение надежности за счет распределения задачи между различными физическими устройствами. Выход узла из строя только уменьшает производительность n Критически важные сервера n

Высокопроизводительные системы Для выскопроизводительных вычислений n Большое число однотипных узлов n Сложное ПО n Стандартная для всех узлов ОС n

Многопоточные системы Обеспечение множественного доступа к ресурсам n Например, веб-сервера, билинговые системы, банковские и корпоративные системы n

Первый кластер 1994 год. Первый кластер из 16 узлов Intel DX 4. Сеть 10 mb/Ethernet n Один из узлов – серверный n Стандартное ПО n ОС - Linux n

Современный кластер

Производительность кластеров n Производительность – есть функция зависящая от типа задачи, размерности задачи, архитектуры кластера, числа узлов, производительности узлов и межузловых соединений

Выкопать яму: 1 рабочий = 8 дн

Выкопать яму: 2 рабочих = 4 дн

Выкопать яму: 4 рабочих = 2 дн

Выкопать яму: 16 рабочих = ?

Выкопать яму: 1 экск=1 день

Зависимость скорости решения задачи от числа узлов

Зависимость от размера задачи

Производительность узла

Сравнение SCI и Fast Ethernet

Требования к пропускной способности интерфейсов Скорость обмена между узлами в мб/сек должна быть не ниже 1/10 пиковой производительности процессора измеренной в Mflops Процессор узла Скорость сети PIII - 500 мгц 50 мб/сек PIV – 2 ГГц 200 мб/сек AMD Opteron 250 мб/сек

Сравнение высокоскоростных коммуникационных интерфейсов Технология Пропускная способность MByte/s Задержка мксек/пакет Стоимость карточки/свич а на 8 портов Поддержка платформ Комментарий Fast Ethertnet 12. 5 158 50/200 Linux, UNIX, Windows Низкие цены, популярная Gigabit Ethernet 125 33 150/3500 Linux, UNIX, Windows Удобство модернизации Myrinet 245 6 1500/5000 Linux, UNIX, Windows Открытый стандарт, популярная VI (с. LAN от Giganet) 150 8 800/6500 Linux, Windows Первая аппаратная промышленная реализация VI SCI 400 1. 5 1200/5000* Linux, UNIX, Windows Стандартизиро вана, широко используется Qs. Net 340 2 N/A** True 64 UNIX Alpha. Server SC и системы Quadrics True 64 UNIX Используется в Compaq Alpha. Server Memory Channel 100 3 N/A

Характеристики интерфейсов Gigabit Giganet Myrinet Qsnet SCI Servernet 35 -50 105 140 208 80 65 Латентность 100 -200 мкс 20 -40 18 5 6 20 Мах. Узлов 1000 1500 64 K ОС NT/Linux Over GM None Hardware Скорость Мб/сек

Скорость интерфейсов

Время передачи мин пакета

Архитектура кластеров n Существует закономерность – производительность кластера в большей степени зависит от способа организации связи узлов чем от производительности узлов

Типы связей n Плоская решетка n Максимальное расстояние = 6. Если более 4 - неэффективно

Типы связей n Кубы. Максимальный объем – минимальная площадь. Вторая по эффективности.

Типы связей n Кольцо с полной связью по хордам

Типы связей n Толстое дерево. Наиболее эффективная

Типы связей n Толстое дерево. Вид сверху

Еще архитектуры

Кластерные решения n n Стоимость коммуникационного оборудования падает, а производительность растет Производительность современных ПК сравнима с производительностью суперкомпьютеров прошлого десятилетия. Удваивается каждые 18 месяцев Кластер можно апгрейдить Кластер проще программировать

Решения от IBM Вычислительный узел IBMx. Series 335 на одном или двух Pentium 4 Xeon n Соединение Ethernet/Myri. Net n ОС – Red. Hat Linux n Специализированное ПО n

Решения от IBM Пример конфигурации кластера 1350 Класс Скорость Число узлов процессора, кластера ГГц Память системы, Гбайт Внутренняя Соединение память, кластера, Гбайт Мбит/с Начальный 8 2, 0 0, 512 18 10/100 Ethernet Средний 32 2, 4 1 18 10/100 Ethernet Профессио нальный 128 2, 8 1 36 Gigabit Ethernet Высокопроизводит ельный 64 2, 8 1 36 Myrinet-2000

Самые быстрые кластеры Место Имя Технология Цель GFlops Barcelona Supercomputer Center IBM Cluster JS 20 CLuster, Myrinet Academic 20530 31363 Spain/2004 Mare. Nostrum e. Server Blade. Center JS 20 (Power. PC 970 2. 2 GHz), Myrinet / 3564 IBM Lawrence Livermore National Laboratory United States/2004 Thunder Intel Itanium 2 Tiger 4 1. 4 GHz - Quadrics / 4096 California Digital Corporation NOW - Intel Itanium 2 Tiger 4 Cluster - Quadrics Research 19940 22938 Los Alamos National Laboratory United. States/20 02 ASCI Q - Alpha. Server SC 45, 1. 25 GHz / 8192 HP HP Alpha. Server SC Alpha. Server-Cluster Research 13880 20480 Virginia Tech United. States/20 04 System X 1100 Dual 2. 3 GHz Gig. E / 2200 Self-made NOW - Power. PC XServe Cluster Academic 12250 20240

Будущее кластерных систем Удешевление межузловых интерфейсов n Повышение скорости их работы n Создание GRID систем n

GRID системы Глобальные вычислительные сети n Узлы – обычные PC n Размер – десятки тысяч узлов n Участники – пользователи глобальных сетей n Производительность - петафлоп n

Выводы Кластеры это хорошо n Но есть проблемы n Проблемы технические n Проблемы распараллеливания задач n Что дальше? n

Цитата n Google runs on a unique combination of advanced hardware and software. The speed you experience can be attributed in part to the efficiency of our search algorithm and partly to the thousands of low cost PC's we've networked together to create a superfast search engine

Вопросы?

Спасибо за внимание