Курс Основы параллельных вычислительных технологий Лекция 1 ВВЕДЕНИЕ

Курс: Основы параллельных вычислительных технологий Лекция 1 ВВЕДЕНИЕ В СУПЕРКОМПЬЮТИНГ Юфрякова О. А. 02. 2018 САФУ им. М. В. Ломоносова 1

Содержание l l l l Понятие параллельных вычислений и суперкомпьютинга Необходимость параллельных вычислений Примеры приложений Сдерживающие факторы Характеристика необходимых знаний и умений Содержание курса Литература и источники 02. 2018 САФУ им. М. В. Ломоносова 2

Современное состояние вопроса Параллельные вычисления являются перспективной областью применения вычислительной техники и представляют собой сложную научно-техническую проблему. Знание современных тенденций развития ЭВМ и аппаратных средств для достижения параллелизма, умение разрабатывать модели, методы и программы параллельного решения задач обработки данных следует отнести к числу важных квалификационных характеристик современного специалиста по прикладной математике, информатике и вычислительной технике. 02. 2018 САФУ им. М. В. Ломоносова 3

Через несколько лет отсутствие навыков работы с параллельными компьютерами будет равносильно компьютерной безграмотности. Владимир Воеводин, профессор, д. ф. -м. н. , член-корреспондент РАН 02. 2018 САФУ им. М. В. Ломоносова 4

Понятие параллельных вычислений Под параллельными вычислениями (parallel or concurrent computations) можно понимать процессы решения задач, в которых в один и тот же момент времени могут выполняться одновременно несколько вычислительных операций. Параллельные вычисления составляют основу суперкомпьютерных технологий и высокопроизводительных вычислений. 02. 2018 САФУ им. М. В. Ломоносова 5

Понятие параллельных вычислений ü Параллельные вычисления не сводятся к использованию только к многопроцессорных вычислительных систем ü Одновременные выполняемые операции должны быть направлены на решение общей задачи ü Параллельные вычисления следует отличать от многозадачных (многопрограммных) режимов работы последовательных ЭВМ. 02. 2018 САФУ им. М. В. Ломоносова 6

Суперкомпьютинг Или суперкомпьютерные технологии это: 1) Производство Супер. ЭВМ 2) Разработка программного обеспечения для Супер. ЭВМ 3) Совокупность знаний и технологий для предметного использования Супер. ЭВМ 02. 2018 САФУ им. М. В. Ломоносова 7

Суперкомпьютер Оксфордский толковый словарь по вычислительной технике (1986 год): Суперкомпьютер – это очень мощная ЭВМ с производительностью 10 MFLOPS (миллион операций с плавающей точкой в секунду) Начало 90 -х годов – 300 MFLOPS 1996 год – 5 GFLOPS Если каждые 5 лет приходится вносить изменения в определение, то может что-то не в порядке с определением? 02. 2018 САФУ им. М. В. Ломоносова 8

Суперкомпьютер – это вычислительная система, цена которой выше 1 -2 млн долларов. Суперкомпьютер – это компьютер, мощность которого всего на порядок меньше необходимой для решения современных задач. Суперкомпьютер – это устройство, сводящее проблемы вычислений к проблемам ввода/вывода (Кен Батчер, 2001). 02. 2018 САФУ им. М. В. Ломоносова 9

Необходимость параллельных вычислений 1. Опережение потребности вычислений быстродействия существующих компьютерных систем (Problems of Grand Challenge) • • • моделирование климата, генная инженерия, проектирование интегральных схем, анализ загрязнения окружающей среды, создание лекарственных препаратов и др. Оценка необходимой производительности более 1012 операций с плавающей запятой в секунду (1 Tflops) 02. 2018 САФУ им. М. В. Ломоносова 10

Необходимость параллельных вычислений 2. Теоретическая ограниченность роста производительности последовательных компьютеров Традиционная фон Неймановская архитектура ЭВМ близка к своим физическим пределам, в то время как потребность решать всё более сложные задачи в реальном времени нарастает. Несмотря на кажущееся благополучие в мире традиционных ЭВМ на подходе кризис технологий. Дальнейшее серьезное увеличение быстродействия только за счет совершенствования элементной базы становится принципиально невозможным, так как время срабатывания элементов оказывается сравнимым со временем прохождения сигналов по проводникам: t = l/C , где l – длина проводника, C – скорость света. А уменьшение длин проводников приводит к перегреву ЭВМ. 02. 2018 САФУ им. М. В. Ломоносова 11

Необходимость параллельных вычислений Световым барьером в вычислительной технике называется соотношение: d С или d С, где: d линейный размер ЭВМ, C скорость света, длительность такта, тактовая частота ЭВМ. Скорость переключения современных электронных элементов настолько высока, что тактовое время современных супер-ЭВМ ограничивается, в основном, соотношением d С. Т. о. , световой барьер стал основным препятствием для повышения тактовой частоты, и дальнейшее наращивание быстродействия ЭВМ в этих условиях встречает серьёзные трудности. В силу d С, увеличение тактовой частоты ЭВМ связано с уменьшением линейного размера d, а последнее, в свою очередь, ограничено предельными возможностями макроскопической технологии, например, теплоотводом (Рис. 1). 02. 2018 САФУ им. М. В. Ломоносова 12

Теоретическая ограниченность роста производительности последовательных ЭВМ d Тепловой барьер d = С Рис. 1. Световой и тепловой барьеры (1 – параллельные ЭВМ; 2 – релятивистские ЭВМ; 3 – последовательные ЭВМ). 02. 2018 САФУ им. М. В. Ломоносова 13

Необходимость параллельных вычислений 3. Резкое снижение стоимости многопроцессорных (параллельных) вычислительных систем. Напр. , в 24 редакции списка Top 500 (осень 2004) седьмое место занимал компьютер Х c достигнутой производительностью 12250 Gflops (макс. 20240 Gflops). Кластерная система ручной сборки на базе процессоров Apple, собранная студентами Виргинского технического университета. ПК на базе четырехядерного процессора Intel Core 2 Quad – 20 GFlops ($1500). Персональный мини-кластер T-Edge Mini на базе четырехядерных процессоров Intel Xeon – 240 GFlops ($20000) 02. 2018 САФУ им. М. В. Ломоносова 14

Необходимость параллельных вычислений 4. Смена парадигмы построения высокопроизводительных процессоров - многоядерность 02. 2018 САФУ им. М. В. Ломоносова 15

Примеры приложений: науки о Земле l Анализ изменений климата q q Прогнозирование погоды Состояние атмосферы Суперкомпьютерный центр в Барселоне 02. 2018 САФУ им. М. В. Ломоносова 16 16 из 24

Примеры приложений: науки о жизни q q Новые лекарства и методы лечения q Геномика Поиск в базах данных Национальный Институт Здоровья США 02. 2018 САФУ им. М. В. Ломоносова 17

q Примеры приложений: инженерные расчёты Виртуальное проектирование 02. 2018 САФУ им. М. В. Ломоносова q Оптимизация 18

Значимость параллельных вычислений Принятие обоснованных решений практически в любой сфере человеческой деятельности предполагает проведение расширенного математического моделирования с тщательным исследованием возможных вариантов деятельности с помощью вычислительных экспериментов. При этом, появление столь радикально возросших возможностей суперкомпьютерных технологий позволяет разрабатывать углубленные математические модели, максимально точно описывающих объекты реального мира, и требующие для своего анализа проведения масштабных вычислений. 02. 2018 САФУ им. М. В. Ломоносова 19

Значимость параллельных вычислений Области приложений, в которых суперкомпьютерные вычисления имеют особую значимость: l Невозможность (недопустимость) натурных экспериментов: изучение процессов при ядерном взрыве или серьезных воздействий на природу l Изучение влияния экстремальных условий (температур, магнитных полей, радиации и др. ) — старение материалов, безопасность конструкций, боевое применение l Моделирование наноустройств и наноматериалов l Науки о жизни — изучение генома человека, разработка новых лекарственных препаратов и т. п. l Науки о Земле — обработка геоинформации: полезные ископаемые; селевая, сейсмическая и т. п. безопасность, прогнозы погоды, модели изменения климата, экология. . . l Моделирование при разработке новых технических устройств — инженерные расчеты 02. 2018 САФУ им. М. В. Ломоносова 20

Значимость параллельных вычислений Доклад PITAC (The President’s Information Technology Advisory Committee) Вычислительные науки: обеспечение превосходства (конкурентоспособности) Америки «With technology, talent and capital now available globally, the U. S. is facing unprecedented economic competition from abroad. Тhe country that wants to out compete must out-compute» "Страна, которая хочет достичь превосходства в конкурентной борьбе, должна превосходить конкурентов в области вычислений" 02. 2018 САФУ им. М. В. Ломоносова 21

Значимость параллельных вычислений Конкурентоспособность страны в современных условиях во многом определяется уровнем развития суперкомпьютерных вычислительных технологий. Суперкомпьютерные технологии становятся одним из решающих факторов научно-технического прогресса и могут служить точно таким стимулом развития страны, как ранее были авиация, атом, ракетная техника и космос. 02. 2018 САФУ им. М. В. Ломоносова 22

Характеристика необходимых знаний и умений Архитектура параллельных вычислительных систем l Модели вычислений и методы анализа сложности l Параллельные методы вычислений l Параллельное программирование (языки, среды разработки, библиотеки) l 02. 2018 САФУ им. М. В. Ломоносова 23

А зачем? Московский государственный университет (Ломоносов) – 414. 42 TFLOPS Суперкомпьютерный центр– 140 TFLOPS Московский государственный университет (Чебышев) – 60 TFLOPS РНЦ «Курчатовский институт» – 34 TFLOPS МФТИ – 6 TFLOPS Do. E – Oak Ridge National Laboratory – 2, 3 PFLOPS 02. 2018 САФУ им. М. В. Ломоносова 24

7 лет до экзафлопса. Что делать? Вице-президент корпорации Intel Кирк Скауген: Предполагается, что мощность суперкомпьютера преодолеет отметку в 1 экзафлопс в 2018 г. 2018 2011

Сдерживающие факторы… l Высокая стоимость параллельных систем – в соответствии с «законом» Гроша (Grosch), производительность компьютера возрастает пропорционально квадрату его стоимости. l Потери производительности для организации параллелизма – согласно гипотезе Минского (Minsky), ускорение, достигаемое при использовании параллельной системы, пропорционально двоичному логарифму от числа процессоров. 02. 2018 САФУ им. М. В. Ломоносова 26

Сдерживающие факторы… l Постоянное совершенствование последовательных компьютеров – в соответствии с «законом» Мура (Moore) мощность последовательных процессоров возрастает практически в два раза каждые 18 месяцев. l Существование последовательных вычислений – в соответствии с законом Амдаля (Amdahl) ускорение процесса вычислений при использовании p процессоров ограничивается величиной S 1/(f+(1–f)/p) где f есть доля последовательных вычислений в применяемом алгоритме обработки данных 02. 2018 САФУ им. М. В. Ломоносова 27

Сдерживающие факторы… l Зависимость эффективности параллелизма от учета характерных свойств параллельных систем (отсутствие мобильности для параллельных программ). l Существующее программное обеспечение ориентировано в основном на последовательные ЭВМ. 02. 2018 САФУ им. М. В. Ломоносова 28

Литература Гергель В. П. , Стронгин Р. Г. Основы параллельных вычислений для многопроцессорных вычислительных систем. – Н. Новгород, ННГУ, 2001. Воеводин В. В. , Воеводин Вл. В. Параллельные вычисления. – СПб. : БХВ-Петербург, 2002. Эндрюс Г. Р. Основы многопоточного, параллельного и распределенного программирования. – М. : Изд. дом «Вильямс» , 2003. Корнеев В. Д. Параллельное программирование в MPI. – Новосибирск: Изд-во ИВМ и МГ СО РАН, 2002. Корнеев В. В. Параллельные вычислительные системы. – М. : «Нолидж» , 1999. Немнюгин С. А. , Стесик О. Л. Параллельное программирование для многопроцессорных вычислительных систем. – СПб. : БХВПетербург, 2002. 02. 2018 САФУ им. М. В. Ломоносова 29

Литература Богачев К. Ю. Основы параллельного программирования: Монография. – М. : БИНОМ. Лаборатория знаний, 2003. Гришагин В. А. , Свистунов А. Н. Параллельное программирование на основе MPI. Уч. пособие. - Н. Новгород, ННГУ, 2005. Демьянович Ю. К. , Евдокимова Т. О. Теория распараллеливания и синхронизация. Уч. Пособие. – СПб. : Изд-во СПб. ГУ, 2005. Демьянович Ю. К. , Иванцова О. Н. Технология программирования для распределенных параллельных систем. Курс лекций. – СПб. : Изд-во СПб. ГУ, 2005. Демьянович Ю. К. , Лебединский Д. М. Операционная система UNIX (LINUX) и распараллеливание. Курс лекций. – СПб. : Изд-во СПб. ГУ, 2005. Лацис А. О. Как построить и использовать суперкомпьютер. -М. : Бестселлер, 2003. 02. 2018 САФУ им. М. В. Ломоносова 30

Дополнительные источники http: //www. parallel. ru - Сайт параллельных технологий http: //www. mcs. anl. gov/mpi/index. html - Introduction to Parallel Computing (Teaching Course) Воеводин В. В. Модели и методы в параллельных процессах. - М. : Наука, 1986. Р. Хокни, К. Джессхоуп. Параллельные ЭВМ. Архитектура, программирование и алгоритмы. - М. : Радио и связь, 1986. Шоу А. Логическое проектирование операционных систем. - М. : Мир, 1981. 02. 2018 САФУ им. М. В. Ломоносова 31

Заключение За время существование вычислительной техники Скорость срабатывания элементов возросла в 103 раз Быстродействие вычислений увеличилось в 105 раз. Развитие вычислительной техники – это история совершенствования архитектуры и практическое использование параллелизма. 02. 2018 САФУ им. М. В. Ломоносова 32

Ра. СТ-2003 02. 2018 САФУ им. М. В. Ломоносова 33

Первые подходы к параллелизму ENIAC (Electronic Numerical Integrator And Calculator) проект 1943 -46 гг. под руководством Дж. Моучли и Дж. Эккера (Пенсильванский университет). Группа разработчиков – 200 чел. Цель – автоматизация расчетов для составления баллистических таблиц различных видов оружия (заказ баллистической исследовательской лаборатории Армии США). Вес 30 тон 18 тыс. радиоламп, 10 тыс. конденсаторов, 6 тыс. Переключателей, 500 тыс. паяных соединений Мощность 150 киловатт (~1000 TV) Площадь 150 м 2 Скорость 5000 операций В среднем 1 лампа заменялась через 20 часов 02. 2018 САФУ им. М. В. Ломоносова 34

ASCI White 29 июня 2000 года корпорация IBM сообщила об успешном завершении проекта построения градиозной системы ASCI White для Ливерморской Национальной Лаборатории (LLNL): «Данный суперкомпьютер, занимающий площадь размером в две баскетбольных площадки, станет самым мощным суперкомпьютером мира» . В 2006 он был на 90 месте!? 02. 2018 САФУ им. М. В. Ломоносова 35

ASCI White 8192 процессора 12. 3 TFLOPS 8 TB ОП, распр. по 16 -проц. SMP-узлам, 160 TB дисковой памяти Доставка системы из лабораторий IBM в Poughkeepsie (шт. Нью-Йорк) в Ливермор (шт. Калифорния) потребовала 28 грузовиков-трейлеров. 02. 2018 САФУ им. М. В. Ломоносова 36

ASCI White Все узлы системы работают под управлением ОС AIX - варианта UNIX от IBM (в настоящее время установлена версия AIX 4. 3). Среда программирования для ASCI White включает реализации интерфейсов MPI и Open. MP. Система использовалась учеными министерства Энергетики США для расчета сложных трехмерных моделей с целью поддержания ядерного оружия в безопасном состоянии. 02. 2018 САФУ им. М. В. Ломоносова 37

Earth Simulator Два года (2002 -2004) первенство по производительности удерживал японский суперкомпьютер фирмы NEC (сейчас на 30 месте) Earth Simulator: 5120 процессоров 40 TFLOPS / дост. 35 TFLOPS 10 TB ОП 4 теннисных корта, 3 этажа Software: for the most part Fortran using MPI 02. 2018 САФУ им. М. В. Ломоносова 38