Обратные задачи: теория и практика Тема 4. Задача минимизации при нелинейной регрессии. Новосибирский Государственный Университет Физический факультет Кафедра биомедицинской физики к. ф. -м. н. Юркин М. А. This work is licensed under the Creative Commons Attribution 3. 0 Unported License.
План темы n n n Наличие многих локальных минимумов в общем случае. Алгоритмы поиска глобального минимума: Левенберга-Марквардта, мультистарта, Di. Rect… Классификация алгоритмов по использованию ими производной от целевой функции. Необходимость исследования целевой функции для конкретной задачи. Проверка применимости используемого алгоритма. Разделяемые параметры Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 2
Общая постановка задачи n n n Если выполнено предположение о нормальности и независимости погрешностей, то все определяется «суммой квадратов» Зависимость от σ очень простая, и все особенности (и вся нужная информация) содержатся в зависимости S от β, которую обычно тяжело описать. Задача состоит в нахождении (глобального) минимума S(β), т. е. оценки максимального правдоподобия , оценки σ, а также доверительных интервалов на эти величины и значения модельной функции. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 3
Общая постановка задачи n n При некоторых разновидностях регрессии, минимизируется функции другой структуры, например: Поэтому мы рассмотрим как общие методы минимизации, так и использующие структуру S(β) в виде суммы квадратов. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 4
Квадратичная функция n n n Простейшая функция, имеющая минимум, это квадратичная: y y 0 b. Tx x. TGx/2, G – положительно определенная матрица. В любой точке градиент и гессиан равны: Определив их в любой точке, можно точно найти положение минимума x 0 G 1 b x H 1 g Линейная регрессия сводится к такой функции Многие методы используют квадратичное приближение функции (линейное приближение модели) Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 5
Компоненты итерации n Направление движения d n n Наискорейшего спуска (против градиента): g Спуска: Rg, R – положительно определена Направление Ньютона (из квадратичного приближения): H 1 g Величина шага n n Поиск в заданном направлении (линейный поиск), (приблизительно) минимизируя y( ) y(x d) Из квадратичного приближения Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 6
Метод наискорейшего спуска n n Движение против градиента (зеленая линия) сильно неоптимально, когда линии (эллипсы) постоянного уровня сильно вытянуты. Поэтому используются модификации, например, метод сопряженных градиентов (красная линия) или метод Ньютона (сходится за одну итерацию). Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 7
Алгоритмы локальной минимизации n Общие методы n Не использующие производные n n Первого порядка n n n Метод сопряженных градиентов Квазиньютоновские методы Второго порядка n n n Метод Нельдера-Мида (симплекса, амебы) Метод Ньютона Модификации метода Ньютона Численное вычисление производных Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 8
Метод Ньютона и модификации n Оригинальный n Модификации n : пробуем 1 и дальше уменьшаем (квадратичная или n кубическая интерполяция) Преобразование H, чтобы стала положительно определенной n n спектральный анализ (обращение знака отрицательных собственных значений) добавление положительно определенной матрицы Метод доверенной области Современные реализации – надежные и быстросходящиеся методы Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 9
Метод доверенной области n n Минимизируем квадратичную функцию внутри области, размер которой (Γn) увеличивается итерационно Фиксируем размер шага, оптимизируем направление Предполагаем, что минимум достигается при ||pλ|| = Γn, и используем множитель Лагранжа (λ) λ – параметр регуляризации. Упрощенные версии контролируют его вместо Γn (аналогично методу Левенберга-Марквардта) Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 10
Квазиньютоновские методы n n n Не вычисляет вторые производные. Строит приближение гессиана H по ходу итераций и тут же использует (например, Broyden–Fletcher–Goldfarb–Shanno). В «квазиньютоновском» направлении используется линейный поиск. Для квадратичной функции точный гессиан получается через p 1 итерацию. Рекомендуется, когда вторые производные недоступны или «дороги» для вычисления. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 11
Метод сопряженных градиентов n n Направления поиска (примерно) ортогональны другу. Для квадратичной функции гарантирована сходимость за p (число параметров) итераций, но примерная сходимость может достигаться намного раньше. Рекомендуется при p 100. Используется также при решении больших систем линейных уравнений. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 12
Метод Нельдера-Мида n n n n Начинает с симплекса из p 1 точек. Точка с максимальным f заменяется на симметричную относительно среднего остальных точек. Если точка удачная (минимальная f), то пробуем больший шаг. Если совсем неудачная, то пробуем меньший шаг. В крайнем случае, сжимаем весь симплекс относительно лучшей точки. При вырождении симплекса, алгоритм перезапускается. Работает для негладких функций. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 13
Пример метода Нельдера-Мида Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 14
Глобальная оптимизация n Метод мультистарта. n Обход локальных минимумов: n Произвольные прыжки + динамика по времени n n n Спуск с небольшими подъемами n n n Метод Левенберга-Марквардта Многоточечные методы n n Методы имитации отжига и квантового отжига Метод стохастического туннелирования Генетические, эволюционные и т. п. Исследование всего пространства (Di. Rect). В общем случае нет гарантии, но уверенность увеличивается со временем вычисления. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 15
Метод имитации отжига n n На каждом шаге переходим из x в одно из возможных соседних «состояний» x′ с вероятностью P(y(x), y(x′), T) (T – текущая «температура» системы) Например: T уменьшается от ∞ до 0 в соответствии с расписанием отжига. Чем медленнее, тем ближе к 1 вероятность нахождения глобального минимума. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 16
Генетический алгоритм n n На каждом шаге работаем с «популяцией» {x 1, …, xn} На основе значений y выбираем (стохастически) часть популяции (k < n) Из этой части выбираем случайно «родителей» (≥ 2), которые производят «ребенка» x′ = f (xi, xj, …), повторяем n раз Каждый новый элемент подвергается мутации x′ = x′ + δ Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 17
Метод Di. Rect n n n Рекурсивно делит пространство параметров, начиная с некоторого гиперкуба. Новое разделение выбирается с учетом значения функции и размера текущего разбиения. Очень много вычислений, но примерно прописывает всю поверхность целевой функции. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 18
Алгоритмы локальной минимизации n Использующие структуру S(β) в виде суммы квадратов n Не использующие производные n n В основном, численно приближающие производные Первого порядка n n Метод Гаусса-Ньютона и модификации Метод Левенберга-Марквардта Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 19
Метод Гаусса-Ньютона n n n Гессиан может быть примерно вычислен, используя только Якобиан модельной функции. z – текущая невязка В оригинале матрицей A полностью пренебрегают (проблемы вдали от минимума) d (JTJ) 1 JTz = J+z Модификации составляют приближение для A в процессе итераций аналогично квазиньютоновскому методу и выбирают оптимальный шаг в ньютоновском направлении. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 20
Метод Левенберга-Марквардта n n n Наиболее часто используемый метод для нелинейной регрессии. Вместо d (JTJ) 1 JTz, d (JTJ D) 1 JTz, D – диагональная положительная матрица. Помимо прочего решается проблема плохой обусловленности. динамически изменяется: уменьшается в 10 раз при медленной сходимости, и увеличивается в 10 раз при попадании в (локальный) минимум. n Гибрид методов Гаусса-Ньютона и наискорейшего спуска. Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 21
Разделяемые параметры n Частично-линейная модель β (β, γ): y(β, γ) X(γ)β + v(γ) n Например: y = a + b sin(cx) n При фиксированном γ, линейная регрессия: β b(γ). n Задача сводится к минимизации M(γ) S(b(γ), γ). n Два подхода: n n n Построение метода Гаусса-Ньютона для минимизации M(γ), используя выражение якобиана через X(γ) Упрощение алгоритма общей регрессии используя частичную линейность модели (двухшаговый алгоритм) Если матрица X(γ) имеет неполный ранг, то используется псевдообратная матрица при линейной регрессии Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 22
Псевдообратная матрица n Определение A+: AA+A = A, A+AA+ = A+, (AA+)T = AA+, (A+A)T = A+A n Свойства: n n n Если A обратима, то A+ = A− 1 Если ATA обратима, то A+ = (ATA)− 1 AT Всегда n В общем случае вычисляется через SVD n Проекторы n n PA = AA+ на im. A, QA = I − PA перпендикулярно im. A P A = A+A на im. AT, Q A = I − P A перпендикулярно im. AT Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 23
Производная от PA и A+ n Производная P по параметру (P′) n n + − Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 24
Разделяемые параметры n Формулы для разделяемых параметров (аналогия с Гаусс-Ньютона) n Полное вычисление H дают поправки из первых производных, но ускорение сходимости несущественное Обратные задачи. Тема 4: Минимизация в нелинейной регрессии. 25
Скачать презентацию Обратные задачи теория и практика Тема 4 Задача
c632fdacc8795d2b4654bcd8389302b1.ppt