Институт программных систем Российской академии наук Результаты и

Институт программных систем Российской академии наук Результаты и перспективы суперкомпьютерных программ «СКИФ» и «СКИФ-ГРИД» Союзного государства 03. 10. 2008

Институт программных систем Российской академии наук Создание Института Институт создан в 1984 году как филиал Института проблем кибернетики АН СССР решением Правительства СССР, направленным на развитие вычислительной техники и информатики в стране. Директор: д. т. н. , профессор А. К. Айламазян.

Институт программных систем Российской академии наук В 1986 году преобразован в Институт программных систем АН СССР

Институт программных систем Российской академии наук Научные подразделения ИПС РАН q Исследовательский центр искусственного интеллекта q Исследовательский центр медицинской информатики q Исследовательский центр мультипроцессорных систем q Исследовательский центр системного анализа q Исследовательский центр процессов управления q Международный детский компьютерный центр им. А. К. Айламазяна

Институт программных систем Российской академии наук Институт Программных Систем РАН q Головной исполнитель в программах Союзного государства России и Белоруссии ¶ «СКИФ» 2000 -2004 • 10 организаций от РФ ¶ «СКИФ-ГРИД» 2007 -2010 • 20 организаций от РФ ¶ 2003 -2008: пять суперкомпьютеров марки «СКИФ» в рейтинге Top 500 (из шести Российских) q Место расположения – г. Переславль-Залесский, 120 км от Москвы

ИПС РАН, 2007 -09 -11: Совещание Институт программных систем «Развитие. Российской академии наук высокопроизводительных вычислений (Супер. ЭВМ) в России"

Институт программных систем Российской академии наук 2000– 2007: Ряд 1 и Ряд 2 семейства супер. ЭВМ «СКИФ»

Институт программных систем Российской академии наук Ряд 1 и 2: Linpack-производительность образцов

Институт программных систем Российской академии наук Комплект ПО суперкомпьютеров «СКИФ» системное ПО: операционная система; ПО базовые библиотеки поддержки параллельного счета; файловые системы; системы очередей, мониторинга и управления; стандартные системы программирования — C, C++, Fortran; и т. п. q средства разработки параллельных программ — программные системы, программ инструментальные средства и библиотеки: Grace, Open TS, MIRACLE и др. ; q два десятка параллельных прикладных систем для различных систем областей. q

Институт программных систем Российской академии наук Суперкомпьютеры семейства 2000 — СКИФ Первенец «СКИФ» Ряд. Gflops 20 2 11 GFlops 2001 — СКИФ ВМ-5100 48 Gflops 26 Gflops Годы и ядер 2002 — СКИФ Myrin Ряд — СКИФ Перевенец-М пиковая CPU/ 2002 произв-ть разряд. 2003 — СКИФ ЕС 1710. 03 ТКС 1 2000– 2003 20– 500 GFlops 1/32 2 2003 – 2007 0. 1 – 5 Tflops 1/ 32– 64 Сетевые решения 89 Gflops Форм 98 фактор Gflops 403 GFlops Fast. Eth, SCI (2 D -тор), Myrinet 59 Gflops Примечание 57 Gflops 230 GFlops 4 U — 1 U Отечественный SCI (2 D-тор) 1 U, Gb Eth, SCI (3 DHyperтор), Infini. Band Bblade Serv. Net v. 1, v. 2 Ускорители: FPGA, ОВС 2003 — СКИФ Т-Forge-32 2004 — СКИФ T-Forge 20 HB (Hyper. Blade) 2003 — СКИФ К-500 #405 Top 500 2003/11 2004 — СКИФ К-1000 #98 Top 500 2004/11 115 Gflops 88 Gflops 717 Gflops 2534 Gflops 70 Gflops 417 Gflops 2032 Gflops

Институт программных систем Российской академии наук Суперкомпьютеры семейства «СКИФ» Ряд 1 2000 — СКИФ Первенец 2001 — СКИФ ВМ-5100 2003 — СКИФ ЕС 1710. 03 ТКС

Институт программных систем Российской академии наук Суперкомпьютеры семейства «СКИФ» Ряд 2 2003: СКИФ Т-Forge-32 2004, СКИФ T-Forge 20 HB 2003, СКИФ К-500 #405 Top 500 2003/11 2004, ускоритель Однородная ВС 2004, СКИФ К-1000 #98 Top 500 2004/11

Институт программных систем Российской академии наук Сервисная сеть для супер. ЭВМ «СКИФ» Ряда 2 Servnet ver. 1 и ver. 2 Servnet ver. 1 Servnet ver. 2

Институт программных систем Российской академии наук 2007– 2008: Ряд 3 семейства супер. ЭВМ «СКИФ»

Институт программных систем Российской академии наук Основные требования к супер. ЭВМ «СКИФ» Ряда 3 и 4 q Современные 64 -разрядные многоядерные процессоры многоядерные q Повышенные плотности (на объем) плотности вычислительной мощности и уровень энергопотребления (в 1, 5– 2, 0 раза, чем в Рядах 1 и 2) ¶ Значит, и новые технологии охлаждения q Новые технологии взаимодействия узлов и управления узлами и кластерами управления q Расширенные сервисные функции: функции

Институт программных систем Российской академии наук 2007– 2008 гг. Создание Супер. ЭВМ «СКИФ» Ряда 3 q Создание модулей и узлов для супер. ЭВМ семейства «СКИФ» Ряда 3. q Разработка КД, ПД и создание в России на базе отечественных blade-решений и 4 -х ядерных процессоров супер. ЭВМ Ряда 3 «СКИФ МГУ» и «СКИФ Урал» q Разработка КД, ПД и создание в Беларуси супер. ЭВМ Ряда 3 «СКИФ К-1000 М» путем модернизации «СКИФ К-1000»

Институт программных систем Российской академии наук Суперкомпьютеры семейства «СКИФ» Ряд 3 Ряд Годы и пиковая произв-ть ядер CPU/ разряд. 1 2000– 2003 20– 500 GFlops 1/32 2 2003 – 2007 0. 1 – 5 Tflops 1/ 32– 64 GB Eth, SCI (3 D -тор), Infini. Band 1 U, Hyper. Bblade Serv. Net v. 1, v. 2 Ускорители: FPGA, ОВС 3 2007 – 2008 5– 150 Tflops 2– 4/64 GB Eth Infini. Band DDR 1 U, blades Serv. Net v. 3 воздух–вода– фреон Сетевые решения Формфактор Примечание Fast. Eth, SCI (2 D Отечественный 4 U– 1 U -тор), Myrinet SCI (2 D-тор) 2007 — СКИФ Cyberia #105 Top 500 2007/06 2008 — СКИФ К-1000 М — модернизация 2008 — СКИФ Урал #282 Top 500 2008/06 2008 — СКИФ МГУ #36 Top 500 2008/06 12 Tflops 5. 07 Tflops 15. 94 Gflops 60 Tflops 9. 01 Tflops 3. 72 Tflops 12. 2 Gflops 47. 17 Gflops

Институт программных систем Российской академии наук Супер. ЭВМ семейства «СКИФ» Ряда 3 2007, СКИФ Cyberia #105 Top 500 2007/06 2008, СКИФ Урал #282 Top 500 2008/06 2008, СКИФ МГУ #36 Top 500 2008/06

Институт программных систем Российской академии наук СКИФ МГУ, СКИФ Урал: Blade-серверы и шасси для них q q q 10×Blades ¶ CPU: 2×Intel XEON Clovertown/Harpertown ¶ RAM: 8 слотов FB-DIMM 667 / 533 MHz ¶ Чипсет: Intel 5400 (Seaburg) ¶ До 2 х HDD SATA 2. 5” ¶ 2×Gigabit Etherhet Первое российское blade-решение Собственная разработка и производство компании «Т-Платформы» Самая большая плотность в индустрии: 10 «лезвий» в корпусе высотой: 5 U — 20 CPU / 80 cores / ~0. 7 Tflops Плотность на 18% лучше, чем у любых аналогов Единственный blade со стандартным PCI-Express 8 x

Институт программных систем Российской академии наук Сервисная сеть Serv. Net-3 для супер. ЭВМ ряда 3 семейства «СКИФ» Двухуровневая архитектутра q Применима к супер. ЭВМ с любым числом узлов и шасси (петафлопного диапазона) q Операции с узлами ¶ On/Off ¶ Reset ¶ Serial Console ¶ Info — состояние узла ¶ Измерение T(Co) и U 1…Un(V) q Операции с шасси ¶ Измерение скорости вращения вентиляторов ¶ Управление скоростью вращения вентиляторов q

Институт программных систем Российской академии наук Сервисная сеть Serv. Net-3 для супер. ЭВМ ряда 3 семейства «СКИФ» q Serv. Net-T 60: Плата управления вычислительным узлом — по одной на каждое лезвие, на плате один микроконтроллер, 70× 80 мм, выпущено ~800 шт. q Serv. Net CMB: Плата управления шасси — по одной на каждое шасси, 372× 60 мм, выпущено ~80 шт. q Разработка: ИПС РАН q Изготовление: ИПС РАН

Институт программных систем Российской академии наук 2008– 2010: Ряд 4 семейства супер. ЭВМ «СКИФ»

Институт программных систем Российской академии наук 2008– 2010 гг. Создание Супер. ЭВМ «СКИФ» Ряда 4 Создание модулей и узлов для супер. ЭВМ «СКИФ» Ряда 4 ¶ отечественный интерконнект ¶ ускорители ¶ новые конструктивно-технологические решения и т. п q В России — «СКИФ Т-4» (название рабочее) ¶ стандартные процессоры + ускорители q В Беларуси — «СКИФ ОИПИ Т-4» (название условное) ¶ отечественные blade-серверы и 4 -х ядерные процессоры. ускорители q Создание образцов модулей и узлов для проведения исследований и отработки решений на перспективу (после 2010 года) перспективу ¶ улучшение показателя «производительность на ватт» ¶ новые многоядерные процессоры ¶ новые архитектурные решения ¶ гибридные вычислительные узлы q

Институт программных систем Российской академии наук Ускорители в Супер. ЭВМ «СКИФ» Ряда 4 Два способа интеграции ускорителей ¶ ускорители в составе основных вычислительных модулей, например, подключаемые через шину PCI Express ¶ отдельные вычислительные модули, подключаемые к системной сети q Кандидаты на роль ускорителей: мультиядерные кристаллы ускорителей: Clear. Speed, Cell, FPGA, GPU и другие ¶ Типы используемых ускорителей должны быть уточнены в процессе отработки идеологии создания суперкомпьютеров «СКИФ» Ряда 4 ¶ Серверы ex. Cellen. T-platforms компании «Т-платформы» : q • 2 x CPU Cell 3. 2 GHz; RAM: 8 GB; HDD: 2 x SATA 160 GB; 1 U ¶ Модули МЦОС НПЦ «ЭЛВИС» ¶ Реконфигурируемые вычислительные системы на FPGA (НИИ МВС, Таганрог)

Институт программных систем Российской академии наук НПЦ «ЭЛВИС» : Прототип модуля МЦОС-01

Институт программных систем Российской академии наук Суперкомпьютеры семейства «СКИФ» Ряд 4 Ряд Годы и пиковая произв-ть ядер CPU/ разряд. 1 2000– 2003 20– 500 GFlops 1/32 2 2003– 2007 0. 1 – 5 Tflops 1/ 32– 64 GB Eth, SCI (3 D -тор), Infini. Band 1 U, Hyper. Bblade Serv. Net v. 1, v. 2 Ускорители: FPGA, ОВС 3 2007– 2008 5– 150 Tflops 2– 4/64 GB Eth Infini. Band DDR 1 U, blades Serv. Net v. 3 воздух—вода— фреон 4 2009– 2011 ≤ 0. 5– 5 Pflops 4– 8/64 Infini. Band QDR, blades отечественная cooling! сеть (3 D-тор) Сетевые решения Формфактор Примечание Fast. Eth, SCI (2 D Отечественный 4 U– 1 U -тор), Myrinet SCI (2 D-тор) Ускорители: FPGA, GPU, Cell, МЦОС

Институт программных систем Российской академии наук Что есть отечественного в супер. ЭВМ семейства «СКИФ» ?

Институт программных систем Российской академии наук Что есть отечественного в супер. ЭВМ «СКИФ» ? Сегодня все супер. ЭВМ как правило создаются с широким использованием мирового распределения труда q Сегодня ни одна страна (компания) не разрабатывает и не производит все компоненты своих супер. ЭВМ (исключение—США? ) q Сегодня супер. ЭВМ «СКИФ» основываются на использовании зарубежной элементной базы q Почему супер. ЭВМ «СКИФ» отечественные? q 1. Разрабатываются и производятся нашими специалистами 2. Беларусь и Россия — собственники КД на узлы и на изделия целиком 3. На часть разработок имеются патенты 4. Если лучше, чем чужое — значит не чужое, значит свое 5. Top 500: независимое признание страны происхождения супер. ЭВМ»

Институт программных систем Российской академии наук Если лучше всех зарубежных, то какие сомнения в отечественном произхождении? СКИФ К-500, СКИФ Cyberia, СКИФ МГУ, СКИФ Урал продемонстрировали лучший показатель КПД на процессорах Intel q В ноябре 2004 СКИФ К-1000 занял первое место в мире на тесте «столкновение 3 автомобилей» в рейтинге Top. Crunch (www. topcrunch. org, поддержан DARPA). q В феврале 2007 СКИФ Cyberia выдает по сравнению с современных супер. ЭВМ (Cray, HP, IBM, SUN): q ¶ лучший (на 8. . 13%) КПД; ¶ лучшую (в 2– 1. 5 раза) масштабируемость на пакете STAR-CD q Уникальные свойства аппаратных решений: отечественных Servnet и blade-решений

Институт программныхотечественных супер. ЭВМ Шесть признаных систем Российской академии наук признаных отечественных в Top 500… Пять из шести — СКИФы Июнь 2008: впервые ¶ три отечественных супер. ЭВМ в Top 500 ¶ 36 место — самое высокое достижение России ¶ Россия вышла из категории «и другие страны» ¶ Россия попала в headline пресс-релиза Intel-а 2002 июнь МВС 1000 М 0. 734/1. 024 Flops 2003 ноябрь СКИФ К-500 0. 423/0. 717 Flops 2004 ноябрь СКИФ К-1000 2. 032/2. 534 Flops 2007 февраль СКИФ Cyberia 9. 013/12. 002 Flops 2008 май СКИФ Урал 12. 2/15. 9 Flops 2008 май СКИФ МГУ 47. 1/60 Flops

Институт программных систем Российской академии наук Отечественные разработки и ИС в Супер. ЭВМ «СКИФ» 1 ¶ схемотехнические 2 решения; конструкторская документация корпусов и стоек программное обеспечение кластерного уровня семейства СКИФ ¶ ¶ 3 4 ¶ Сервис- ¶ доработка вычислительных ная сеть Servnet v. 1, 2, 3 ¶ узлов по отечественной спецификации интерконнект отечественного производства SCI 2 D-тор (НИЦЭВТ) ¶ Разработка КД и производство blade-серверов и шасси ¶ КД на ускорители вычислений; ¶ КД на гибридные узлы ¶ КД на интерконнект отечественной ¶ разработки «ИС на все (все печатные платы, дизайн и т. п. ), кроме микросхем»

Институт программных систем Российской академии наук Семейство супер. ЭВМ «СКИФ» : Ряд 1, 2, 3 и 4 47. 17 Tflops СКИФ МГУ 11/2011 СКИФ П~5. 0 12. 2 Tflops СКИФ Урал 11/2010 СКИФ П-1. 02 Ряд 4 Ряд 3 Ряд 1 9 Тflops СКИФ Cyberia 11/2009 СКИФ П-0. 5 2032 Gflops СКИФ К-1000 472 Gflops СКИФ К-500 57 Gflops Первенец-М 26 Gflops ВМ 5100 11 Gflops Первенец (2 шт)

Институт программных систем Российской академии наук 0. 5 Pflops — 10 Pflops Использование старых инвестиций q Все результаты СКИФ и кооперация соисполнителей q ИПС РАН — суперкомпьютерный центр 90 ых, почти готовый сборочный цех: ¶ возможность за разумные средства обеспечить +6 МВт к лету 2009 и +6 МВт к лету 2010 ¶ канал до узла M 9 IX: 20 Mbps сегодня и предложения по дополнительным 1 Gbps– 10 Gbps ¶ 700 кв. м. машинный зал • ни разу не использовался, требует небольшой отделки • на уровне грунта — без ограничения нагрузки на 1 кв. м.

Институт программных систем Российской академии наук Корпус «А» ИПС РАН

Институт программных систем Российской академии наук Циклы работы сборочного цеха (до 2013) 500 1. построение СКИФ Т 500 6 МВт, июнь — октябрь 2009 500 2. начало построения СКИФ Т 1000 12 МВт, июнь — октябрь 2010 500 1 500 000 10 000000 1 3. отгрузка СКИФ Т 500 построения СКИФ Т 1, 000 12 МВт, до марта 2011 4. отгрузка СКИФ Т 1, 000 построение СКИФ Т 10, 000 12 МВт, до марта 2012

Институт программных систем Российской академии наук Задачи для Супер. ЭВМ Т-500 q Расчёт электронных свойств Нанотехнологии q Молекулярная динамика устройств q Виртуальное проектирование

Институт программных систем Российской академии наук Задачи для Супер. ЭВМ Т-500 q Науки о Земле Анализ изменений климата q q Состояние атмосферы Прогнозирование погоды

Институт программных систем Российской академии наук Задачи для Супер. ЭВМ Т-500 q Виртуальное проектирование Инженерные расчёты q Оптимизация q От авиации до железных дорог

Институт программных систем Российской академии наук Задачи для Супер. ЭВМ Т-500 q Новые лекарства и методы лечения «Науки о жизни» q Геномика q Поиск в базах данных

Институт программных систем Российской академии наук Достоинства предлагаемого решения для СКИФ Т 500 q q q q Снижение рисков, гарантия успеха в весьма непростом проекте Использование задела по проекту « 0. 5— 1— 10» (технологические партнеры, скидки, наработки) Полное отечественное IP на все (кроме микросхем) — все как у IBM, HP и др. Полностью стандартное решение, пойдет все ПО (СКИФ и прикладное коммерческое), никаких экзотических архитектур Возможность построения системы в сжатые сроки при существующем бюджете Существенное снижение затрат Удобство в управлении и техническом обслуживании системы

Институт программных систем Российской академии наук Спасибо за внимание! Готов ответить на вопросы. . . СКИФское золото: Декабрь 2000 года: 11 Gflops, Первенец Март 2007 года: 47 170 Gflops, СКИФ МГУ За срок менее: 7. 5 лет Рост более, чем в: 4 000 раз