Оптимизация — поиск наилучшего решения от лат optimum

Оптимизация - поиск наилучшего решения (от лат. optimum – наилучшее) Фундамент методов оптимизации: • Математическая теория (дифференциальное исчисление, многомерный анализ, линейная алгебра, векторы и др. ). • Теория алгоритмов и вычислительных (численных) методов. • Вычислительная техника и программирование. 1

Области применения методов оптимизации • Проектирование, конструирование и производство технических объектов различного характера. • Решение экономических задач на основе макро- и микроэкономических моделей, задач логистики и управления материальными ресурсами. • Планирование и обработка результатов научных экспериментов. • Автоматическое управление сложными системами. 2

Стратегия оптимизационного исследования: • Что оптимизировать? • Как оптимизировать? Основные компоненты оптимизационной модели: • Критерий оптимизации • Параметры оптимизации • Ограничения 3

Требования к оптимизационной модели: • Адекватность - соответствие полученных с использованием модели решений задачи оптимизации реальному улучшению естественного процесса, объекта при выбранном уровне детализации его описания. • Точность - степень соответствия вычисляемых характеристик (функций), входящих в компоненты модели, реальным характеристикам оптимизируемого процесса или объекта. • Экономичность - возможность проведения оптимизации в наименьшие сроки, с запросом возможно меньших ресурсов. • Простота - свойство модели, обеспечивающее наиболее простую, по возможности линейную связь параметров оптимизации с оценочной функцией и функциями ограничений. 4

Критерий оптимизации (оптимальности) - некоторое правило, по которому один вариант решения сравнивается с другим, исходя из необходимости достижения заданной цели. Возможные подходы к решению сложных проблем оптимизации: • Многокритериальный подход • Выбор единственного критерия, остальные факторы учитываются с помощью ограничений 5

Пример построения критерия оптимизации проектировании оптических систем F - вектор оптимизируемых функций: содержит безразмерные величины , однозначно связанные с характеристиками качества оптической системы и зависящие от параметров оптимизации X. Выбор осуществляется с таким расчетом, что в процессе оптимизации их необходимо приблизить к нулевым значениям где - текущее, заданное значения и масштаб какой-либо характеристики Критерий оптимизации: 6

Параметры оптимизации - независимые переменные, которые используются для уменьшения значений оценочной функции Выбор переменных обусловлен соблюдением требований к оптимизационной модели Пример Какой параметр формы сферической поверхности предпочтительней: радиус или кривизна? Связь параметров оптимизации X и конструктивных параметров P: L - матрица связи 7

Природа ограничений: • математические ограничения; • физические; • экономические; • эксплуатационные; • конструктивные; • технологические. 8

Типы ограничений • Ограничения-равенства – это ограничения, суть которых состоит в том, что некоторая функция от параметров оптимизации должна принимать точно определенное значение. • Ограничения-неравенства - это ограничения, суть которых заключается в том, что некоторая функция от параметров оптимизации должна принимать значения в заданном интервале. • Ограничения принадлежности параметров оптимизации определенному подмножеству. 9

Способы задания ограничений Ограничения-равенства: Ограничения-неравенства: • прямые ограничения на параметры оптимизации • функциональные ограничения 10

Типы оптимизируемых систем • Детерминированные, функционирование которых строго определено в настоящем и будущем. • Вероятностные, поведение которых описывается с помощью аппарата теории вероятности. • Игровые, которые осуществляют разумный выбор своего поведения в будущем на основе оценки ситуаций и предполагаемых способов действий по принятым критериям, а также исходя из неформальных соображений. 11

Особенности оптимизационных моделей Детерминированная модель отражает поведение системы с позиции полной определенности в настоящем и будущем. Детерминированный подход используют для достижения наивысшего качества в процессе проектирования технических изделий, при оптимизации планирования перевозок, материально - технического снабжения. Вероятностная модель учитывает влияние случайных факторов на поведение системы и, следовательно, оценивает будущее с позиции вероятности тех или иных событий Игровая модель дает возможность получить максимальный выигрыш в конфликтных ситуациях, в которых каждая из конфликтующих сторон придерживается своих взглядов, стремится получить информацию о намерениях ”противника” и, возможно, извлечь выгоду из его ошибок, действует сообразно складывающейся обстановке 12

Универсальность методов оптимизации Построение оптимизационной модели - проблема объектно-ориентированная. Это означает, что оно: • основывается на глубоком изучении свойств процесса или объекта, подлежащих улучшению; • формализации с учетом свойств оптимизируемого объекта; • осуществляется специалистом в конкретной предметной области. При формализации широко используются эвристические подходы (от греческого heurisko - отыскиваю, открываю), опирающиеся на совокупность интеллекта, знаний, опыта и интуиции. Реализация методов оптимизации является процедурой в значительной степени объектно-инвариантной, поскольку опирается на свойства модели вне зависимости от ее происхождения. 13

«Проба» функций «Проба» - алгоритм, позволяющий получить значения критерия оптимизации, функций-ограничений и, возможно, их производных для любого набора параметров из области определения. В «пробе» осуществляются элементы анализа конкретной оптимизируемой системы: Если «пробу функций» реализовать в виде сменного программного модуля, то сама программа, решающая проблему оптимизации, станет пригодной для улучшения не одного объекта или процесса, а целого их множества. Переход от одной задачи к другой будет осуществляться лишь подключением нового сменного программного модуля. 14

Постановка задачи математического программирования Проблема оптимизации детерминированных систем формулируется в виде задачи математического программирования найти величины переменных (параметров оптимизации) из n-мерного множества S евклидова пространства , для которых вещественная скалярная функция принимает минимальное значение при условии соблюдения следующих ограничений: 15

Матричная запись задачи математического программирования (МП) , означает, что требуется найти значения параметров оптимизации, которые доставляют минимум оценочной функции. Записи находятся соответственно векторы функций и нулевые векторы, означают, что соотношения, определяемые операндами, должны поэлементно выполняться для всех составляющих векторов. 16

Допустимое множество Произвольный набор переменных задает точку, или элемент в пространстве параметров оптимизации. Эта точка является допустимой, если для нее соблюдаются все ограничения задачи МП. В противном случае точка будет недопустимой. Множество допустимых точек образует допустимое множество, или допустимую область задачи. Будем рассматривать в качестве решения задачи МП точку локального минимума в допустимой области, характерную тем, что значение в ней оценочной функции связано определенными соотношениями со значениями оценочной функции в соседних допустимых точках. 17

Определение локального минимума Пусть - допустимая точка, а - окрестности (под Точку допустимое множество из ее - можно понимать n-мерный гипершар радиуса ). будем называть точкой сильного локального минимума, если существует число такое, что для всех . Точку будем называть точкой слабого локального минимума, если существует число такое, что для всех не удовлетворяет условиям сильного локального минимума. 18 , и при этом

Сильные, слабые локальные минимумы. Глобальный минимум 19

Классификация задач математического программирования и соответствующих им методов оптимизации 1. По наличию или отсутствию ограничений • Задачи безусловной оптимизации (дословно можно прочитать как задачи оптимизации «без условий» ), когда ограничения отсутствуют. • Задачи условной оптимизации, когда в наличии имеется хотя бы одно ограничение. 20

Классификация задач математического программирования и соответствующих им методов оптимизации (продолжение) 2. По линейности или нелинейности функций • Задачи линейного программирования (ЛП) - оценочная функция и функции ограничений в задаче МП линейны. • Задачи нелинейного программирования (НЛП) - хотя бы одна из функций является нелинейной Разновидностью задачи НЛП является задача квадратичного программирования, когда оценочная функция квадратичная, а ограничения линейные. Квадратичной называется функция вида: 21

Классификация задач математического программирования и соответствующих им методов оптимизации (продолжение) 3. По специальному виду оценочной функции По данному признаку можно выделить много типов задач. Наиболее часто называют: • задачу с сепарабельной целевой функцией: • задачу о наименьших квадратах: 22

Классификация задач математического программирования и соответствующих им методов оптимизации (продолжение) 4. По размерности задачи (числу параметров оптимизации) • задачи малой размерности; • задачи большой размерности. 5. По дискретности или непрерывности переменных • задачи дискретной оптимизации Их разновидностью являются задачи целочисленного программирования, в которых переменные могут быть только целыми • задачи непрерывной оптимизации 23

Способы решения оптимизационных задач • классические методы дифференциального и вариационного исчисления; • анализ вариантов; • использование графического способа: 1. выбор области изменения переменных, которая бы позволяла произвести визуализацию допустимого множества; 2. отображение линий, вдоль которых функции ограниченийравенств ограничений-неравенств равны нулю, чтобы найти графически допустимое множество; 3. отображение нескольких линий уровня оценочной функции – кривых, вдоль которых функция имеет постоянное значение, чтобы определить характер изменения оценочной функции внутри допустимой области; 4. нахождение оптимальной точки внутри допустимой области. 24

Пример использования графического способа Задача НЛП: 25

Пример использования графического способа (продолжение) • определение области изменения переменных для графического построения • построение линий нулевого уровня функций ограничений 26

Пример использования графического способа (продолжение) • изменение масштаба (если требуется) • отображение линий уровня оценочной функции 27

Пример использования графического способа (продолжение) • нахождение оптимальной точки 28

Использование численных методов Суть использования численных методов заключается в построении итерационного алгоритма для поиска минимума оценочной функции с учетом ограничений. Данный алгоритм требует задания исходного приближения , которое называется стартовой точкой оптимизации. Начиная с нее, строится последовательность точек , которая с ростом k должна сходиться к решению задачи МП – точке . При этом в одних алгоритмах должны всегда удовлетворять ограничениям задачи, в других – могут попадать в недопустимую область. Каждая итерация - шаг оптимизации состоит из типовых этапов 29

Структура шага оптимизации Этап 1. Анализ изменения оценочной функции и, возможно, функций ограничений в окрестности исходной точки данного шага с номером k. Этап 2. Выбор направления изменения параметров оптимизации. Этап опирается на результаты предыдущего и позволяет построить на шаге направление, или траекторию локального спуска – вектор (реже - направленную кривую), перемещение вдоль которого позволяет уменьшить значение оценочной функции. Направление локального спуска должно гарантировать локальное убывание или невозрастание оценочной функции в окрестности исходной точки шага для обеспечения сходимости процесса оптимизации. Численные методы, обеспечивающие определение траектории спуска, называют методами спуска. 30

Структура шага оптимизации (продолжение) К вопросу о терминологии: пример функции с овражным рельефом 31

Структура шага оптимизации (продолжение) Этап 3. Определение длины шага вдоль выбранного направления При выбранной траектории локального спуска положение точки на ней определяется единственным скалярным параметром - длиной шага. Изменяя длину шага (осуществляя ее одномерный поиск) можно добиться нахождения такой точки на траектории, которая бы обеспечила оптимальное убывание оценочной функции при заданной трудоемкости поиска. Этап 4. Уточнение положения точки, полученной на предыдущем этапе, с целью коррекции нарушенных ограничений. Используется только при контроле нелинейных ограничений. В результате выполнения этапа 4 значение оценочной функции может увеличиться по сравнению с этапом 3, но должно быть меньше или равно значению в точке . Этап 5. Проверка условий останова 32

Графическое отображение шага оптимизации 33

Условия оптимальности • Необходимее условия: Если известно, что точка является точкой локального минимума, то в ней необходимо должны соблюдаться условия, которые так и называются - необходимыми. Несоблюдение необходимых условий для произвольной точки пространства параметров оптимизации позволяет утверждать, что эта точка заведомо не является оптимальной. • Достаточные условия: Проверка достаточных условий осуществляется для точек пространства , в отношении которых не известно точно, соответствуют ли они локальному минимуму. Если эти условия соблюдаются в , то этого достаточно для утверждения того, что эта точка – локальный минимум 34

Условия оптимальности в задачах без ограничений (случай одной переменной) Случай одной переменной: Необходимые условия: Достаточные условия: 35

Условия оптимальности в задачах без ограничений (многомерный случай) Необходимые условия минимума в задаче без ограничений: , 36

Условные обозначения - слева от операнда равенства располагается вектор, это означает, что все его составляющие равны 0 (также равна 0 норма вектора) - слева от операнда располагается квадратная матрица. Такая запись означает, что матрица должна быть положительно полуопределенной Сведения из матричной алгебры: Положительно полуопределенной матрицей называется такая квадратная матрица, у которой все собственные числа больше или равны нулю; по другому определению, это матрица, для которой все значения квадратичной формы при любых X неотрицательны. 37

Принципы доказательства необходимых условий где , - вектор размерности n. Принимаем Доказательство необходимого условия первого порядка проводится методом от противного. Предполагается: . Тогда, существует такой вектор , перемещение вдоль которого от X* позволит уменьшить оценочную функцию. Этот вектор удовлетворяет условию: т. е. угол между векторами является тупым. Для доказательства необходимого условия второго порядка используется соотношение . Тогда Вновь используется метод от противного. 38

Условия оптимальности в задачах без ограничений (многомерный случай) Достаточные условия минимума в задаче без ограничений: Точка пространства параметров оптимизации, для которой называется стационарной. 39 ,

Общий подход к рассмотрению условий оптимальности в задачах с ограничениями • Необходимо описать допустимое множество , задав правила перемещения к его точкам из допустимой точки , или, как говорят, правила построения возможных направлений. • Следует рассмотреть специфические соотношения между значениями оценочной функции в X* и иных точках , чтобы убедиться в свойствах необходимости или достаточности предложенных условий. 40

Условия оптимальности в задачах с линейными ограничениями-равенствами Матрица A системы линейных уравнений, входящих в задачу МП, имеет полный строковый ранг, m строк и n столбцов, причем . Поиск возможных направлений Выберем произвольную точку из допустимого множества. Тогда в точках X* и должны соблюдаться ограничения задачи: где вектор является возможным направлением Любой вектор , удовлетворяющий данному условию, является возможным направлением. 41

Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) Множество возможных направлений образует линейное подпространство в n-мерном евклидовом пространстве , характерным свойством которого является ортогональность нормалям всех ограничений-равенств. Построим в этом подпространстве базис – линейно независимую систему векторов . Эти базисные векторы удобно составить в одну матрицу Z, имеющую m срок и (n-m) столбцов: где вектор образован из коэффициентов линейной комбинации векторов . 42

Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) - спроектированный градиент; - спроектированная матрица Гессе Сравним с разложением без ограничений: 43

Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) Необходимые условия минимума задачи математического программирования с линейными ограничениями-равенствами: Из условия вытекает , где - вектор из m чисел, которые называются множителями Лагранжа 44

Интерпретация условия оптимальности первого порядка Вектор градиента в точке локального минимума можно представить в виде линейной комбинации нормалей к ограничениям. Пусть векторы нормалей к ограничениям где через вектора 45 обозначены элементы.

Понятие функции Лагранжа Функция Лагранжа конструируется в виде линейной комбинации оценочной функции и функций ограничений-равенств (в данной задаче ): Функция Лагранжа обладает тем интересным свойством, что ее стационарная точка удовлетворяет условиям оптимальности нулевого и первого порядка задачи с ограничениями: 46

Условия оптимальности в задачах с линейными ограничениями-равенствами (продолжение) Достаточные условия минимума задачи математического программирования с линейными ограничениями-равенствами: Последовательность проверки достаточных условий: • проверяют условие нулевого порядка; • если условие нулевого порядка соблюдено, то вычисляют градиент оценочной функции и находят множители , удовлетворяющие системе уравнений (обычно недоопределенной); • если условие первого порядка соблюдено, то при строят матрицу Z, вычисляют матрицу Гессе и проверяют на положительность собственные числа матрицы . 47

Условия оптимальности в задачах с линейными ограничениями-неравенствами любое соотношение между числами m и n. Классификация ограничений: • нарушенные • ненарушенные: ü активные ü пассивные 48

Классификация ограничений-неравенств Возможные направления: • удерживающие (тип ) • неудерживающие (тип ) 49

Активные ограничения Удерживающее направление: (ортогонально нормали) Неудерживающее направление: (острый угол с нормалью) Все удерживающие и неудерживающие направления: 50

Необходимые условия для удерживающих направлений Дополнительные требования с учетом неудерживающих направлений: удовлетворяются при (Фаркаш, Минковский) 51

Условия оптимальности в задачах с линейными ограничениями-неравенствами (продолжение) Необходимые условия минимума задачи математического программирования с линейными ограничениями-неравенствами: Функция Лагранжа: 52

Геометрическая интерпретация необходимых условий 53

Интерпретация множителей Лагранжа Пусть направление - неудерживающее по отношению к -му активному ограничению и удерживающее ко всем остальным Из разложения оценочной функции в ряд Тейлора: где - длина шага; представляет собой скорость изменения целевой функции Из разложения функции в ряд Тейлора: В первом приближении: скорость изменения оценочной функции вдоль направления, неудерживающего по отношению к -му активному . ограничению и удерживающего ко всем остальным, пропорциональна множителю Лагранжа 54

Нулевые множители Лагранжа Нулевой множитель не дает информации об истинном знаке изменения оценочной функции Пример В точке Тогда: 55 :

Геометрическая интерпретация задачи с нулевым множителем Лагранжа 56

Условия оптимальности в задачах с линейными ограничениями-неравенствами (продолжение) Достаточные условия минимума задачи математического программирования с линейными ограничениями-неравенствами: 57

Условия оптимальности в задачах с нелинейными ограничениями-равенствами Возможные направления Любое возможное направление определяется с помощью векторной , которая называется функции скалярного аргумента допустимой дугой. Условие сохранения нулевого значения функции ограничения: Вектор , касающийся допустимой дуги, называется допустимым направлением в точке X* 58

Условия регулярности 59

Условия оптимальности в задачах с нелинейными ограничениями-равенствами (продолжение) Z(X*) - базис подпространства векторов, ортогональных строкам A(X*) (нормалям к ограничениям) Необходимые условия минимума задачи математического программирования с нелинейными ограничениями-равенствами: где через 60 обозначена матрица Гессе функции Лагранжа:

Условия оптимальности в задачах с нелинейными ограничениями-равенствами (продолжение) Достаточные условия минимума задачи математического программирования с нелинейными ограничениями-равенствами: 61

Условия оптимальности в задачах с нелинейными ограничениями-неравенствами Необходимые условия минимума задачи математического программирования с нелинейными ограничениями-неравенствами: 62

Условия оптимальности в задачах с нелинейными ограничениями-неравенствами (продолжение) Достаточные условия минимума задачи математического программирования с нелинейными ограничениями-неравенствами: 63

Условия оптимальности в задачах с нелинейными ограничениями (общий случай) Функция Лагранжа: 64

Условия оптимальности в задачах с нелинейными ограничениями (общий случай) Необходимые условия минимума задачи МП (общий случай) Достаточные условия минимума задачи МП (общий случай) 65

Общая схема реализации методов безусловной оптимизации • исследование функций в окрестности исходной точки шага - результат синтеза: ü пробные вычисления функций ü вычисления производных • вычисление конкретным методом локального спуска; • определение длины шага : или Задача одномерного поиска: • проверка выполнения условий окончания поиска; • переход к следующему шагу или окончание процесса 66 .

Условия окончания поиска Абсолютный критерий или Относительные критерии 67

Классификация методов безусловной оптимизации • методы нулевого порядка (прямого поиска) • методы первого порядка • методы второго порядка Возможно вычисление производных по приближенной разностной формуле, например: Погрешности разностной формулы: • методическая • округления 68

Критерии сравнения эффективности методов безусловной минимизации Критерии эффективности: • теоретические • практические Теоретические критерии: • порядок сходимости, под которым понимают максимальное число r, для которого: - последовательность сходится линейно - последовательность сходится квадратично • асимптотический параметр ошибки - последовательность сходится сверхлинейно. При - теоретически сходимость может быть очень плохой 69

Критерии сравнения эффективности методов безусловной минимизации (продолжение) Практические критерии • время решения задач; • количество вычислений оценочной функции и ее производных; • число шагов локального спуска до достижения заданных условий сходимости. Требования к сравнению методов: • один и тот же компьютер; • одна и та же платформа; • одинаковая техника программирования; • одинаковая стартовая точка; • тождественные условия сходимости и т. п. 70

Одномерная минимизация - унимодальная функция Функция называется унимодальной на отрезке , если на этом отрезке она имеет минимум в точке и если для любых , удовлетворяющих неравенству , справедливо: 71

Стратегия поиска длины шага при одномерной минимизации • пассивный поиск Стратегия пассивного поиска предусматривает наличие правила, по которому все точки могут быть заранее определены вне зависимости от функции . • последовательный поиск Стратегия последовательного поиска исходит из того, что величина вычисляется путем анализа информации о всех предшествующих точках, то есть о значениях . 72

Этапы поиска длины шага при одномерной минимизации 1. Нахождение отрезка , на котором локализована точка минимума (то есть, известно что ), но точное ее положение не определено. Такой отрезок называется начальным промежутком (или интервалом) неопределенности. Этап 1 теоретически присущ не всем метода оптимизации 2. Уточнение положения точки минимума . 73