Разработка алгоритмов поиска глобальных экстремумов при наличии явных и неявных ограничений на параллельных вычислительных системах Савин А. Н. , Ерофтиев А. А. , Дружинин И. В. Саратовский государственный университет им. Н. Г. Чернышевского
Цель и задачи работы: Исследование возможности распараллеливания комплексного метода оптимизации Бокса, алгоритма оптимизации, основанного на методе имитации отжига и генетических алгоритмов оптимизации, применяемых при поиске глобального минимума многоэкстремальной целевой функции многих переменных с явными и неявными ограничениями. Оценка эффективности поиска глобального экстремума вышеуказанными методами оптимизации, адаптированными для выполнения на параллельных и распределённых вычислительных системах.
Публикации участников иследовательской группы по теме НИР 1. 2. 3. 4. 5. 6. 7. Савин А. Н. , Шараевский Ю. П. , Тимофеева Н. Е. Модификация комплексного метода условной оптимизации Бокса для определения размеров замедляющих систем по заданным электродинамическим характеристикам // СВЧ-техника и телекоммуникационные технологии: Материалы 15 -ой Междун. Крымской конф. (Кры. Ми. Ко 2005). –Украина. Севастополь: Вебер, 2005. –С. 779– 780. Накрап И. А. , Савин А. Н. Синтез цепочки связанных неидентичных резонаторов по заданному закону изменения фазовой скорости волны // СВЧ-техника и телекоммуникационные технологии: Материалы 16 -ой Междун. Крымской конф. (Кры. Ми. Ко 2006). –Украина. Севастополь: Вебер, 2006. –С. 255– 256. Nakrap I. A. , Savin A. N. Synthesis of coupled non-identical cavity chain on the specified electrodynamic characteristics Synthesis of coupled non identical cavity chain on the specified electrodinamic characteristics // Моделирование в прикладной электродинамике и электронике: Сб. науч. трудов. - Саратов: Изд-во Сарат. ун -та, 2006. -Вып. 7. - С. 54 -58. Жничков Р. Ю. , Бойко И. А. , Савин А. Н. Адаптация алгоритма условной оптимизации комплексным методом Бокса для систем распределенных вычислений // Компьютерные науки и информационные технологии: Материалы Междун. научной конференции. - Саратов: Изд-во Саратов ун-та, 2009. С 99 -103. Тимофеева Н. Е. , Филенко А. Н. , Савин А. Н. Адаптация алгоритма оптимизации методом имитации отжига для систем параллельных вычислений // Компьютерные науки и информационные технологии: Материалы Междун. научной конференции. - Саратов: Изд-во Саратов ун-та, 2009. С 196 -200. Савин А. Н. , Жничков Р. Ю. , Тимофеева Н. Е. Адаптация алгоритма условной оптимизации модифицированным комплексным методом Бокса для решения задач синтеза в электродинамике на системах распределенных и параллельных вычислений // СВЧ-техника и телекоммуникационные технологии: Материалы 19 -ой Междун. Крымской конф. (Кры. Ми. Ко 2009). Севастополь, Крым, Украина, 2009. С. 153 -154. А. А. Eroftiev, N. E Timofeeva, A. N. Savin. Parallel Computing in Application to Global Optimization Problem Solving // Grid and Visualization Systems: MIPRO, 2011 Proceedings of the 34 th International Convention. − Zagreb, Croatia: DENONA, 2011. P. 185 -190.
Общий вид задачи поиска глобального минимума при наличии явных и неявных ограничений
Блок-схема алгоритма оптимизации модифицированным комплексным методом Бокса, выполняемого на параллельной вычислительной системе
Блок-схема процедуры улучшения одной из худших точек комплекса, выполняемой на отдельных узлах параллельной вычислительной системы
Оценка эффективности распараллеленного алгоритма оптимизации комплексным методом Бокса
Вид многоэкстремальной целевой функции 2 -х переменных
Вероятность нахождения глобального минимума ЦФ (4) – (6) и время его поиска распараллеленным алгоритмом оптимизации комплексным методом Бокса в зависимости от числа узлов вычислительной системы p и коэффициента умножения комплекса s Число переменных n=4 Число переменных n=6 Число переменных n=8 - исходный алгоритм (p=1, s=2); - оптимальные число узлов и коэффициент умножения комплекса (p=n, s=n); - оптимальное число узлов, коэффициент умножения комплекса исходный (p=n, s=2); - один узел и оптимальный коэффициент умножения комплекса (p=1, s=n).
Результаты тестирования распараллеленного алгоритма оптимизации комплексным методом Бокса Экспериментально установлено, что с точки зрения требуемой точности вычислений и стабильности результатов оптимальными являются число одновременно улучшаемых точек p=n и число точек комплекса k=sn при s=n, а не k=2 n, как в исходном алгоритме: s=n, p=n, k=sn, где n – количество параметров оптимизации, s – коэффициент умножения комплекса, p – количество узлов параллельной вычислительной системы, k – число точек комплекса. Результаты тестирования распараллеленного метода Бокса с оптимальным числом точек комплекса s=n Количество параметров оптимизации n Поиск глобального минимума на одном узле вычислительной системы (p=1) Вероятность нахождения глобального минимума % Время поиска сек 4 6 8 Время поиска Поиск глобального минимума на оптимальном числе узлов вычислительной системы (p=n) сек Вероятность нахождения глобального минимума % 1. 163 2. 854 5. 657 64 85 94 0. 299 0. 526 0. 915 68 88 95 Коэффициент ускорения 3. 89 5. 43 6. 18 Время выполнения программы на оптимальном количестве узлов параллельной вычислительной системы оказалось в среднем 5. 2 раз меньше чем на одной ЭВМ, а надёжность нахождения глобального минимума значительно выше за счёт одновременного исследования целевой функции в нескольких областях факторного пространства, что позволяет эффективно использовать распараллеленный метод Бокса для решения различных оптимизационных задач с явными и неявными ограничениями.
Блок-схема алгоритма оптимизации методом имитации отжига по схеме Больцмановского тушения
Блок-схема алгоритма оптимизации методом имитации отжига, выполняемого на параллельной вычислительной системе. Пунктиром выделена часть алгоритма, выполняемая на клиентских машинах
Оценка эффективности распараллеленного алгоритма оптимизации методом имитации отжига по схеме Больцмановского тушения
Зависимость найденного минимального значения ЦФ (7) – (9) (а) и размеров области глобального минимума (б) от количества параметров оптимизации и числа одновременно работающих процессов поиска минимума
Зависимость числа вычислений ЦФ (7) – (9) от количества параметров оптимизации и одновременно работающих процессов (а), а также от температурного коэффициента r (б) в параллельном алгоритме
Результаты тестирования распараллеленного алгоритма оптимизации методом имитации отжига по схеме Больцмановского тушения
Блок-схема генетического алгоритма оптимизации Начало Формирование исходных данных. Количество параметров: n Объем (численность) популяции: k Начальная случайная популяция: X 1 = {x 11, …, xk 1} Вероятность мутации: pm Вероятность скрещивания: pc Число новых особей популяции на каждом этапе: m Максимальное число шагов алгоритма: N Точность определения схождения популяции: ε i=1 Вычисление наборов значений функции приспособленности Fi = {f 1 i, …, fni} Нет i<N Да Для любых l, t |fli – fti| < ε Да Нет Отброс m особей с наименьшими значениями fji Для j = 1, …, [m/2]: выбрать с помощью оператора выбора родителей пару особей популяции; с вероятностью pc применить оператор скрещивания C. Если оператор не применяется, дочерние хромосомы равны родительским; с вероятностью pm применить к каждой хромосоме оператор мутации M. Добавить m полученных таким образом хромосом в популяцию. Если m нечетное, то удалить случайным образом 1 новую хромосому. i=i+1 f = min{fji} – искомое значение Завершение поиска
Блок-схема 1 варианта распараллеливания генетического алгоритма оптимизации Начало Формирование исходных данных. Количество параметров: n Объем (численность) популяции: k Начальная случайная популяция: X 1 = {x 11, …, xk 1} Вероятность мутации: pm Вероятность скрещивания: pc Число новых особей популяции на каждом этапе: m Максимальное число шагов алгоритма: N Точность определения схождения популяции: ε i=1 На p узлах вычислительной системы выполняется вычисление наборов значений функции приспособленности Fi = {f 1 i, …, fni} Fi 1 = {f 1 i, …, fni} … Fip = {f 1 i, …, fni} Нет i<N Да В случае целевых функций высокой вычислительной сложности Для любых l, t |fli – fti| < ε Да Нет Отброс m особей с наименьшими значениями fji Для j = 1, …, [m/2]: выбрать с помощью оператора выбора родителей пару особей популяции; с вероятностью pc применить оператор скрещивания C. Если оператор не применяется, дочерние хромосомы равны родительским; с вероятностью pm применить к каждой хромосоме оператор мутации M. Добавить m полученных таким образом хромосом в популяцию. Если m нечетное, то удалить случайным образом 1 новую хромосому. i=i+1 f = min{fji} – искомое значение Завершение поиска
Зависимость минимального значения и числа вычислений ЦФ от количества параметров оптимизации и размера популяции а) в) б) г) n=4, n=6, n=8
Зависимость минимального значения и числа вычислений ЦФ от количества параметров оптимизации и числа детей в каждом поколении а) б) в) г) n=4, n=6, n=8
Зависимость минимального значения и числа вычислений ЦФ от количества параметров оптимизации и вероятности применения кроссовера а) б) в) г) n=4, n=6, n=8
Зависимость минимального значения и числа вычислений ЦФ от количества параметров оптимизации и вероятности применения мутации а) б) в) г) n=4, n=6, n=8
Оптимальные диапазоны изменения параметров 1 варианта параллельного генетического алгоритма где k – объем популяции, m – число новых особей на каждом этапе развития популяции, pc – вероятность скрещивания, pm – вероятность мутации.
Блок-схема 2 варианта генетического алгоритма оптимизации, выполняемого на параллельной вычислительной системе В случае целевых функций невысокой вычислительной сложности
Зависимость минимального значения и числа вычислений ЦФ от количества параметров оптимизации и количества параллельных запусков а) б) в) г) n=4, n=6, n=8
Заключение • Осуществлена адаптация модифицированного метода условной оптимизации Бокса для выполнения на распределённых и параллельных вычислительных системах. Экспериментально определены оптимальные с точки зрения надёжности нахождения глобального экстремума и времени его поиска параметры комплекса и число узлов вычислительной системы. • Предложен вариант распараллеливания алгоритма оптимизации методом имитации отжига, основанный на многократном повторном запуске процедуры поиска при одинаковых начальных условиях и предназначенный для нахождения области глобального минимума многоэкстремальной ЦФ многих переменных с ограничениями на параллельных и распределённых вычислительных системах.
Заключение • Предложены два варианта распараллеливания генетических алгоритмов оптимизации для случаев сложных и простых ЦФ. • В результате численного эксперимента определены оптимальные диапазоны параметров первого варианта распараллеливания ГА, обеспечивающие небольшое время поиска глобального минимума ЦФ и высокую надёжность его нахождения при выполнении на параллельной ВС. • Тестирование второго варианта распараллеливания ГА, основанного на множественного запуске, на параллельной ВС показало значительное увеличение вероятности нахождения глобального экстремума за счёт более полного исследования области факторного пространства ЦФ. Время выполнения параллельного алгоритма при этом практически не зависело от числа узлов ВС и примерно равнялось времени выполнения алгоритма на одном узле ВС.
Спасибо за внимание
Скачать презентацию Разработка алгоритмов поиска глобальных экстремумов при наличии явных
fc45d71fe8b3782f35972d2af6f64482.ppt