Основы анализа данных Метод наименьших квадратов Лекция 6

Основы анализа данных. Метод наименьших квадратов Лекция 6 КМАИ 06 июня 2016 1

Секции Суть метода наименьших квадратов Метод наименьших квадратов для линейной функции Метод наименьших квадратов для квадратичной функции Матричный вид метода наименьших квадратов Фильтр Калмана Sergey Mityagin 2

Метод наименьших квадратов Наблюдаемая закономерность - Предполагаемая зависимость Sergey Mityagin 3

Суть метода наименьших квадратов Метод наименьших квадратов — математический метод, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных, применяемый для нахождения параметров функции аппроксимации. Функция неправдоподобия Sergey Mityagin 4

Функция правдоподобия – функция максимальное значение которой соответствует наилучшему значению параметров интерполяции. Условие максимального правдоподобия Теорема: Не существует другого метода обработки результатов эксперимента, который дал бы лучшее приближение к истине, чем метод максимального правдоподобия. Sergey Mityagin 5

ММП и МНК Sergey Mityagin 6

Секции Суть метода наименьших квадратов Метод наименьших квадратов для линейной функции Метод наименьших квадратов для квадратичной функции Матричный вид метода наименьших квадратов Фильтр Калмана Sergey Mityagin 7

МНК линейной функции Составляется и решается система из двух уравнений с двумя неизвестными. Функция неправдоподобия: Sergey Mityagin 8

МНК линейной функции Производная по параметрам: Sergey Mityagin 9

Оценки погрешности МНК Погрешность МНК: Sergey Mityagin 10

Оценки погрешности МНК Проверка распределения остатков: 1. Визуально. 2. Сравнивая с табличным значением статистики хи-квадрат. Sergey Mityagin 11

Секции Суть метода наименьших квадратов Метод наименьших квадратов для линейной функции Метод наименьших квадратов для квадратичной функции Матричный вид метода наименьших квадратов Фильтр Калмана Sergey Mityagin 12

МНК квадратичной функции Квадратичная апроксимационная функция. Функция неправдоподобия: Sergey Mityagin 13

Проблема выбора степени полинома 1. Условие минимизации суммы квадратов отклонений в точке. 2. В других точках может наблюдаться эффект переобучения. 3. Вычислительная сложность. Решение: Увеличение количества измерений Sergey Mityagin 14

Секции Суть метода наименьших квадратов Метод наименьших квадратов для линейной функции Метод наименьших квадратов для квадратичной функции Матричный вид метода наименьших квадратов Фильтр Калмана Sergey Mityagin 15

Матричный вид МНК Квадратичная апроксимационная функция. Sergey Mityagin 16

Матричный вид МНК Sergey Mityagin 17

Матричный вид МНК Sergey Mityagin 18

Обобщенный МНК Статистически независимые наблюдения. Ковариация оценок наблюдений: Ковариация ошибок наблюдений: Sergey Mityagin 19

Секции Суть метода наименьших квадратов Метод наименьших квадратов для линейной функции Метод наименьших квадратов для квадратичной функции Матричный вид метода наименьших квадратов Фильтр Калмана Sergey Mityagin 20

Матричный вид МНК Фильтр Калмана — эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Предположения фильтра Калмана: гауссовые априорные и апостериорные плотности вероятности вектора состояния на любой момент времени (в том числе начальный) гауссовые формирующие шумы гауссовые шумы наблюдений белые шумы наблюдений линейность модели формирующего процесса Sergey Mityagin 21

Вопросы 1. 2. 3. 4. Определение МНК и функция правдоподобия. МНК линейной функции МНК квадратичной функции Матричный вид МНК Sergey Mityagin 22