Оптимизация генерации списка ребер графа в бенчмарке Graph

Оптимизация генерации списка ребер графа в бенчмарке Graph 500 Калужин Александр, 320 гр

План • • Краткий обзор бенчмака Graph 500 Постановка задачи Анализ предоставленного кода Предлагаемая модификация кода Реализация предложенной модификации Оценка эффективности Дальнейшая работа

Зачем еще один список? • Top 500, Green 500 : HPL • Linpack = Flop/s ориентирован Претензии к Top 500: • Отражает узкий класс задач • Top 500 стал очень важен/моден • => отрасль кренит в одну сторону • Другие бенчмарки: HPCC, NPB, …

Data Intensive Computing • Определение – Время счета < Время доступа к данным • Доступ к данным (Data Fetch) – Обращения к памяти (DRAM/Cache) – Коммуникации (интерконнект) – Доступ к дискам (СХД) – ограничены пропускной способностью и задержкой (низкая временная локальность) Графовые задачи – частный случай Data. Intensive HPC

Graph 500 v 1. 2 Benchmark 1 SEARCH • • • 1. Генерируется случайный список ребер 2. Создается граф 3. Выполняется поиск вширь 4. Результаты поиска валидируются 5. Пункты 3 и 4 выполняются 64 раза 6. Выводятся результаты

Поиск вширь BFS

Поиск вширь BFS • процедура BFS(Граф, источник): • Создать пустую очередь Q • положить источник в очередь Q • отметить источник • пока Q непуста: • взять из очереди Q элемент и поместить в переменную v • для каждого соседнего с v ребра e принадлежащего Граф • пусть w другой конец ребра e • если w не отмечено • отметить w • положить w в очередь Q

Список Graph 500 #1 1 Intrepid BG/P 2 Franklin XT 4 3 Cougarxmt XMT 4 Graphstorm XMT 5 Endeavor X 5670, IB 6 Erdos XMT 7 Red Sky X 5570, IB 8 Jaguar XT 5 -HE 9 Endeavor X 5670, Nodes/core Owner s 8192 / DOE / 32768 Argonne scale TEPS v 36 6. 6 o DOE / NERSC PNNL 32 29 5. 22 1. 22 o o 128 256 / 512 Sandia Intel 29 29 1. 17 o 0. 533 r 64 512 / ? 128 / 256 Oak Ridge Sandia Oak Ridge Intel 29 28 27 26 0. 05 0. 477 0. 8 0. 615 500 / ? 128 r r

Постановка задачи Цель работы: при ограниченных объемах оперативной памяти достичь максимального размера генерируемого графа Задачи: • Проанализировать бенчмарк graph 500 • Проанализировать имеющийся код • Разработать модификации алгоритма • Реализовать разработанные модификации • Тестирование

Исходный код генератора Несколько версий (последовательный, OMP, MPI) Вершина – 64 бита. Ребро хранятся как пара вершин Алгоритм R-MAT: Алгоритм рекурсивно генерирует ребра Вход: подматрица смежности, количество ребер и инициаторы Выход: список ребер M 1 M 2 Разбивает на четыре подматрицы: M 3 M 4 Исключение – единичная подматрица или количество ребер не превосходит 1

Логика генерации Инициализация псевдорандоного генератора Генерация ребер графа, R-MAT алгоритм Генерация псевдорандомной перестановки вершин Применение перестановки к списку ребер Перемешевание ребер

Предлагаемая модификация кода • Перенос генерации перестановки вершин • Разбить генерацию ребер на k итераций (k = 128) Инициализация псевдорандоного генератора “Холостая” генерация ребер графа, R-MAT алгоритм Применение перестановки вершин к текущему списку ребер Генерация псевдорандомной перестановки вершин Инициализация псевдорандоного генератора Генерация ребер графа, R-MAT алгоритм K раз Запись текущего списка ребер на диск

Реализация изменений CONST_NUMBER_OF_ITERATIONS FLAG_TO_USE_ITERATION_METHOD Полная модификация make_graph() Частичная модификация generate_kronecker() generate_kronecker_internal() Создание новых функций check_and_apply_iteration() create_filename_for_proccess() Удаление scramble_edges()

Пример кода static void check_and_apply_iteration( #ifdef GRAPHGEN_KEEP_MULTIPLICITIES generated_edge* local_edges #else int 64_t* local_edges #endif) { int i; CNT_REMAIN_EDGES--; if (local_edges == NULL || USING_FEW_MEMORY || CNT_REMAIN_EDGES > 0) return; CNT_REMAIN_EDGES = CNT_EDGES_PER_ITERATION; CNT_PROCCESSED_EDGES += CNT_EDGES_PER_ITERATION; /* Copy the edge endpoints into the result array if necessary */ int 64_t* result; #ifdef GRAPHGEN_KEEP_MULTIPLICITIES result = (int 64_t*)xmalloc(2 * CNT_EDGES_PER_ITERATION sizeof(int 64_t)); for (i = 0; i < CNT_EDGES_PER_ITERATION; ++i) { if (local_edges[i]. multiplicity != 0) { result[i * 2] = local_edges[i]. src; result[i * 2 + 1] = local_edges[i]. tgt; } else { result[i * 2] = result[i * 2 + 1] = (int 64_t)(-1); } } #else result = local_edges; #endif /* Apply vertex permutation to part of graph. */ apply_permutation_mpi(NULL, perm_local_size, local_vertex_perm, N, CNT_EDGES_PER_ITERATION, result); for (i = 0; i < CNT_EDGES_PER_ITERATION; ++i) fprintf(output_file, "%lldn", result[i * 2], result[i * 2 + 1]); * #ifdef GRAPHGEN_KEEP_MULTIPLICITIES free(result); #endif }

Результаты • • Граф полностью совпадает с первоначальным Использование оперативной памяти уменьшено в 5 раза => scale увеличен на 2 • Среднее время работы возросло в 1. 4 раз

График зависимости времени выполнения генерации ребер max scale графа от количества узлов для модифицированного алгоритма

График зависимости времени выполнения генерации ребер max scale графа от количества узлов для исходного алгоритма

Дальнейшая работа • Запуск на полной мощности “Ломоносова” • Объединение результатов с остальными частями бенчмарка • Дальнейшая оптимизация генерации списка ребер • Оптимизация и совершенствование других частей бенчмарка

Спасибо за внимание, Вопросы?