
025a6f4655588cf01cee5963d975beb6.ppt
- Количество слайдов: 32
Intel® Cilk. TM Plus Введение Лекция 1. Программные инструменты параллелизма Немнюгин Сергей Андреевич
Содержание 1. 2. 3. 4. Эволюция вычислительных технологий. Последовательное и параллельное программирование. Парадигмы параллельного программирования. Программные инструменты параллелизма. 2
Эволюция вычислительных технологий 3
От фоннеймановской архитектуры к архитектуре многоядерной – Фоннеймановская архитектура – Как эволюционировала архитектура вычислительных систем – Эволюция программных технологий Фоннеймановская архитектура последовательная, скалярная. В «классическом» фоннеймановском компьютере параллелизм отсутствует на всех уровнях. Традиционная последовательная модель программирования, ориентированная на SISD архитектуры (по Флинну). Языки последовательного программирования. 4
Пользователю нужна производительность. Увеличение производительности позволяет: - решать новые, более сложные задачи; - решать старые задачи, но быстрее; - решать старые задачи, но с более высокой точностью. Многие расширения фоннеймановской архитектуры используют параллелизм на разном уровне 5
Вычислительные системы с распределённой памятью (кластеры, MIMD по классификации Флинна) от небольших кластеров до суперкомпьютеров, занимающих первые позиции в рейтинге Top 500 Supercomputers. . 6
Многоядерные архитектуры стали доминирующими Электропитание и управление Первые многоядерные процессоры появились на рынке в 2005 году. Сейчас это доминирующий тип архитектур. Вычислительная система с многоядерным процессором – параллельная вычислительная система с общей памятью, обычно SMP (Symmetric Multiprocessor System). Память Кэш-память большого объёма Масштабируемая архитектура Ядро Ядро 7
От архитектуры multicore (с небольшой многоядерностью) к архитектуре manycore (с большой многоядерностью) Архитектура Intel® Many Integrated Core (MIC) – шаг к системам с большой многоядерностью, от 32 -ядерного прототипа к системам с десятками, сотнями и т. д. ядер 8
Параллельное и последовательное программирование 9
Что происходит с данными внутри программы. Информационный граф программы Алгоритм можно представить в виде диаграммы информационного графа. Информационный граф описывает последовательность выполнения операций и взаимную зависимость между различными операциями или блоками операций. Узлами информационного графа являются операции, а однонаправленными дугами каналы обмена данными. Понятие операции может трактоваться расширенно. Это может быть оператор языка, но может быть и более крупный блок программы. 10
Последовательная и параллельная модели программирования Традиционной считается последовательная модель программирования. В этом случае в любой момент времени выполняется только одна операция и только над одним элементом данных. Последовательная модель универсальна. Ее основными чертами являются применение стандартных языков программирования (для решения вычислительных задач это, обычно, Fortran и С/С++), хорошая переносимость программ и невысокая производительность. Основными особенностями параллельной модели программирования являются более высокая производительность программ, применение специальных приемов программирования и, как следствие, более высокая трудоемкость программирования, проблемы с переносимостью программ. Параллельная модель не обладает свойством универсальности. 11
Параллельная модель программирования В параллельной модели программирования появляются проблемы, непривычные для программиста, привыкшего заниматься последовательным программированием. Среди них: управление работой множества процессоров, организация межпроцессорных пересылок данных и другие. Повышенная трудоёмкость параллельного программирования связана с тем, что программист должен заботиться: • об управлении работой множества процессов; • об организации межпроцессных пересылок данных; • о вероятности тупиковых ситуаций (взаимных блокировках); • о нелокальном и динамическом характере ошибок; • о возможной утрате детерминизма ( «гонки за данными» ); • о масштабируемости; • о сбалансированной загрузке вычислительных узлов. 12
Параллельная модель программирования В параллельной модели программирования появляются проблемы, непривычные для программиста, привыкшего заниматься последовательным программированием. Среди них: управление работой множества процессоров, организация межпроцессорных пересылок данных и другие. Повышенная трудоёмкость параллельного программирования связана с тем, что программист должен заботиться: • об управлении работой множества процессов; • об организации межпроцессных пересылок данных; • о вероятности тупиковых ситуаций (взаимных блокировках); • о нелокальном и динамическом характере ошибок; • о возможной утрате детерминизма ( «гонки за данными» ); • о масштабируемости; • о сбалансированной загрузке вычислительных узлов. 13
Парадигмы параллельного программирования 14
Парадигмы параллельного программирования Параллелизм данных -одна операция применяется сразу к нескольким элементам массива данных. Различные фрагменты такого массива обрабатываются на векторном процессоре или на разных процессорах параллельной машины; -обработкой данных управляет одна программа; -пространство имен является глобальным; -параллельные операции над элементами массива выполняются одновременно на всех доступных данной программе процессорах. От программиста требуется: • задание опций векторной или параллельной оптимизации транслятору; • задание директив параллельной компиляции; • использование специализированных языков параллельных вычислений, а также библиотек подпрограмм, специально разработанных с учетом конкретной архитектуры компьютера и оптимизированных для этой архитектуры. 15
Парадигмы параллельного программирования Параллелизм задач - вычислительная задача разбивается на несколько относительно самостоятельных подзадач. Каждая подзадача выполняется на своем процессоре (ориентация на архитектуру MIMD); для каждой подзадачи пишется своя собственная программа на обычном языке программирования (чаще всего это Fortran или С); подзадачи должны обмениваться результатами своей работы, получать исходные данные. Практически такой обмен осуществляется вызовом процедур специализированной библиотеки. Программист при этом может контролировать распределение данных между различными процессорами и различными подзадачами, а также обмен данными. 16
Программные инструменты параллелизма 17
Низкоуровневые средства Системные вызовы операционной системы (UNIX/Linux) IPC (Inter. Process Communications) • именованные каналы; • общая память; • сообщения; • семафоры.
IPC. Сообщения. Пример Клиент #include
IPC. Сообщения. Пример Сервер #include
POSIX Threads - стандарт POSIX реализации потоков (нитей) выполнения, определяющий API для создания и управления ими. Ссылка http: //www. opengroup. org/onlinepubs/009695399/basedefs/pthread. h. html
#define g." src="https://present5.com/presentation/025a6f4655588cf01cee5963d975beb6/image-22.jpg" alt="POSIX Threads. Пример #include
int main() { pthread_t tid[g. Num. Threads]; int t. Num[g. Num. Threads], i, j; // initialize vector for (j = 0; j < N; j++) { a[j] = 1. 031; b[j] = 1. 057; } printf("Computed value of vector sum: "); start = wcgettimeofday(); for (i = 0; i < g. Num. Threads; i++) { t. Num[i] = i; pthread_create(&tid[i], NULL, thread. Function, &t. Num[i]); } for (i = 0; i < g. Num. Threads; i++) pthread_join(tid[i], NULL); stop = wcgettimeofday(); printf("sum = %fn", g. Vector. Sum); printf("time = %gn", stop - start); }
Windows API В Microsoft Windows имеется возможность разработки многопоточных приложений на C++ с помощью «стандартных» системных средств – прикладного программного интерфейса операционной системы. Ссылка http: //msdn. microsoft. com
#include
int main() { HANDLE thread. Handles[g. Num. Threads]; int t. Num[g. Num. Threads], i, j; for (j = 0; j < N; j++) { a[j] = 1. 031; b[j] = 1. 057; } printf("Computed value of dot product: "); start = wcgettimeofday(); Initialize. Critical. Section(&g. CS); for ( i = 0; i < g. Num. Threads; ++i ) { t. Num[i] = i; thread. Handles[i] = Create. Thread( NULL, // Security attributes 0, // Stack size thread. Function, // Thread function (LPVOID)&t. Num[i], // Data for thread func() 0, // Thread start mode NULL); // Returned thread ID } Wait. For. Multiple. Objects(g. Num. Threads, thread. Handles, TRUE, INFINITE); Delete. Critical. Section(&g. CS); stop = wcgettimeofday(); printf("sum = %fn", g. Vector. Sum); printf("time = %gn", stop - start); }
Open Multi-Processing (Open. MP) Open. MP - стандарт программного интерфейса приложений для параллельных систем с общей памятью. Поддерживает языки C, C++, Fortran. Первая версия появилась в 1997 (Fortran) / 1998 (C/C++) годах. Последняя версия Open. MP 3. 0 (2008 год). Разработкой стандарта занимается Open. MP ARB (Architecture Board). Официальный сайт Open. MP http: //openmp. org
Open. MP. Пример #include
Программные инструменты Intel разработки параллельных приложений для вычислительных систем с общей памятью 29
Intel® TBB – библиотека шаблонов параллельных алгоритмов и контейнеров на языке С++ Intel® Cilk. TM Plus - расширение C/C++, упрощающее реализацию параллелизма для систем с общей памятью 30
Компиляторы – автоматическая оптимизация, автоматическое распараллеливание, векторизация. Анализаторы производительности. «Экспериментальные» технологии 31
32