ОБС 11 ОСНОВЫ БИОСТАТИСТИКИ СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ РЕГРЕССИОННЫЙ АНАЛИЗ

ОБС 11 ОСНОВЫ БИОСТАТИСТИКИ СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ: РЕГРЕССИОННЫЙ АНАЛИЗ http: //www. hydrobiology. spb. ru ОБС 1 ОБС 2 ОБС 3 БИБЛИОТЕКА ОБС 4 ОБС 5 ОБС 6 ОБС 7 ОБС 8 ОБС 9 ОБС 10 ОБС 11 Фото: Risto Vainola

? 5 1 -4+6 1 2 7 18 мая 1, 2, 3, 4, 6 группы 8 23 мая 5 группа 3 29 мая 1 этап. Тест по группам на последнем занятии, или в зачетную неделю (7 группа в часы занятий данной группы) + анкетирование. 2 этап. Тест для всех студентов курса в зачетную неделю в часы лекции. 15 (? ) мая в 9 (? )часов 3 этап. Тест по группам в даты, обозначенные в расписании экзаменов группы. Это оффициальный срок сдачи экзамена по биостатистике. Начало в 11 часов. 31 мая 8 группа

t L, мм 1 4, 1 2 15, 9 3 22, 3 4 32, 4 5 36, 8 6 45, 2 7 46, 5 8 51, 3 9 54, 9 10 56, 2 L, мм У = f(Х) Lt=66, 4(1 -e-0, 34(t-0, 67)) Линейный рост Mytilus edulis L. Модель роста – уравнение Берталанфи (Bertalanffy, 1938) t, годы

ВВЕЛ ШИРОКОЕ ПОНЯТИЕ ФУНКЦИИ, ПРИТИВ ЕЁ УЗКОГО АНАЛИТИЧЕСКОГО (ФОРМУЛЬНОГО) ТОЛКОВАНИЯ «Функция есть кривая, начертанная свободным влечением руки» Ейлер, 1748 Leonhard Euler (1707 – 1783) «функция от Х есть число, которое даётся для каждого Х и вместе с Х Николай Иванович постепенно изменяется…» Лобачевский (1707 – 1783) Лобачевский, 1834

? X Y 2 6 5 22 8 25 10 12 17 20 23 35 48 56 77 79

Adrien-Marie Legendre 1752 - 1833 КАРЛ ФРИДРИХ ГАУСС (1777 -1855) 1803(1795) 1809 метод наименьших квадратов МНК 1805 1808 Adrian Robert Adrain 1775 -1843

МНК - вычислительный прием, обеспечивающий минимизацию некоторого квадратичного параметра при фиксированном множестве данных Регрессионный анализ - статистический анализ регрессионной модели. РЕГРЕССИОННАЯ МОДЕЛЬ - ЭТО МОДЕЛЬ, В КОТОРОЙ ОТКЛИК ЯВЛЯЕТСЯ СЛУЧАЙНОЙ ВЕЛИЧИНОЙ, А ПРЕДИКТОРЫ ДЕТЕРМИНИРОВАННЫЕ ВЕЛИЧИНЫ НЕЗАВИСИМО ОТ ИХ СВОЙСТВ.

В 1877 г. Френсис Гальтон РЕГРЕССИЯ в смысле реверсия – обращение вспять Sir Francis Galton «РЕГРЕССИОННОСТЬ» РЕГРЕССИОННОГО АНАЛИЗА ЗАКЛЮЧАЕТСЯ В ПОДХОДЕ, ПРИ КОТОРОМ СНАЧАЛА ПОЛУЧАЮТ ДАННЫЕ, А ЗАТЕМ ПО НИМ ВОССТАНАВЛИВАЮТ ЗАВИСИМОСТЬ МЕЖДУ ПЕРЕМЕННЫМИ.

ПАРНАЯ ЛИНЕЙНАЯ РЕГРЕССИЯ. имеется две переменные величины и РОСТ (СМ) ВЕС (КГ) - ДЛЯ ЛЮБОГО ЗАДАННОГО РОСТА ВСТРЕЧАЮТСЯ РАЗЛИЧНЫЕ ВЕСА и - ДЛЯ ЛЮБОГО ЗАДАННОГО ВЕСА ВСТРЕЧАЮТСЯ РАЗЛИЧНЫЕ ЗНАЧЕНИЯ РОСТА - СРЕДНИЙ НАБЛЮДЕННЫЙ ВЕС ПРИ ЗАДАННОМ РОСТЕ РАСТЕТ ПО МЕРЕ УВЕЛИЧЕНИЯ ПОКАЗАТЕЛЯ РОСТА - ГЕОМЕТРИЧЕСКОЕ МЕСТО ТОЧЕК СРЕДНИХ НАБЛЮДЕНИЙ ВЕСОВ ПРИ НАБЛЮДАЕМЫХ ЗНАЧЕНИЯХ РОСТА НАЗЫВАЕТСЯ РЕГРЕССИОННОЙ ЗАВИСИМОСТЬЮ ВЕСА (Y) ОТ РОСТА (X).

В генеральной совокупности - параметры В выборочной совокупности a и b - коэффициенты ВЕЛИЧИНА СТЕПЕНИ ПРЕДИКТОРА МОДЕЛИ НАЗЫВАЕТСЯ ЕЕ ПОРЯДКОМ.

О Р Д И Н А Т а я ор ди на т X 8 12 26 40 47 61 на ал ь на ч О С Ь Y 17 22 25 38 50 63 ОСЬ АБСЦИСС Угол наклона прямой

What did one regression coefficient say to the other regression coefficient? I'm partial to you!

МНК

МНК Оценки α 0 и β - a и b подбираются таким образом, чтобы при их подстановке в уравнение получалось минимальное значение E Выборочные значения a 0 и b можно найти дифференцируя уравнение сначала по a 0 , затем по b и приравнивая производные к нулю. . СИСТЕМА НОРМАЛЬНЫХ УРАВНЕНИЙ

РАСЧЕТ КОЭФФИЦИЕНТОВ УРАВНЕНИЯ ПАРНОЙ РЕГРЕССИИ a =? b=?

О КОРРЕКТНОСТИ ПРОЦЕДУРЫ МНК. 1 - стохастическая независимость отдельных наблюдений друг от друга; 2 - равенство варианс остатков; 3 - нормальность распределения остатков;

4 - отсутствие погрешностей в измерениях; 5 - число единиц выборочной совокупности должно превосходить число переменных в 6 -8 раз; ПОКАЗАТЕЛИ РЕГРЕССИОННОЙ МОДЕЛИ 1. Угол наклона (b - коэффициент регрессии) и ошибка угла наклона. 2. Начальная ордината (а) и ее ошибка 3. Коэффициент детерминации (R 2)

Другие свойства МНК - оценок. 1. Линия проходит через средние значения Х и Y; 2. Сумма отклонений значений зависимой переменной от линии регрессии равна нулю 3. Сумма квадратов отклонений эмпирических значений зависимой переменной от их прогнозных величин минимальна.

- наблюдаемое значение - прогнозное значение i i

СУММА КВАДРАТОВ ОТНОСИТЕЛЬНО СРЕДНЕГО Y (ОБЩАЯ) SSY SSR СУММА КВАДРАТОВ ОТНОСИТЕЛЬНО ЛИНИИ РЕГРЕССИ (НЕОБЪЯСНЕННАЯ ОСТАТОК) СУММА КВАДРАТОВ ОБУСЛОВЛЕННАЯ РЕГРЕССИЕЙ (ОБЪЯСНЕННАЯ) ОБЩАЯ = + SSЕ ВАРИАЦИЯ: ОБЪЯСНЁННАЯ НЕОБЪЯСНЁННАЯ

РАЗЛОЖЕНИЕ ВАРИАНСЫ РЕГРЕССИОННОГО КОМПЛЕКСА Источник вариации Обусловл. регрессией k-1 Остаток n-k Общий, скоррект. на среднее n-1 k - число параметров n - число измерений

КОЭФФИЦИЕНТ КОРРЕЛЯЦИИ КОЭФФИЦИЕНТ ДЕТЕРМИНАЦИИ ОШИБКА РЕГРЕССИИ (прогноза)

ОШИБКИ КОЭФФИЦИЕНТОВ РЕГРЕССИИ

Достоверность регрессии может быть определена в результате анализа: - разложения общей вариансы функции, - коэффициента наклона - коэффициента детерминации

ОЦЕНКА ДОСТОВЕРНОСТИ УРАВНЕНИЯ РЕГРЕССИИ. H 0: в генеральной совокупности связь между переменными не имеет характера регрессионной, следовательно, наблюдаемая организованность отклика по тренду аргумента - случайна. H 1: однозначна, строим односторонний критерий. 1. Принципиальная оценка.

2. Достоверность наклона линии регрессии. H 0: в генеральной совокупности связь между переменными не имеет характера регрессионной, СЛЕДОВАТЕЛЬНО, НАБЛЮДАЕМОЕ ОТЛИЧИЕ ТАНГЕНСА УГЛА НАКЛОНА (b) ОТ НУЛЯ СЛУЧАЙНО . Строим односторонний тест. В условиях справедливости Н 0 случайная величина имеет t- распределение Стьюдента ВХОД В ТАБЛИЦУ ПО 2 х

3. Достоверность коэффициента детерминации. H 0: в генеральной связь между переменными не имеет характера регрессионной, следовательно, отличие коэффициента детерминации от нуля случайно. Поверяем условие одностороннего теста:

ДОВЕРИТЕЛЬНАЯ ЗОНА РЕГРЕССИИ Зона интерполяции Зона экстраполяции

Two statisticians were traveling in an airplane from LA to New York. About an hour into the flight, the pilot announced that they had lost an engine, but don't worry, there are three left. However, instead of 5 hours it would take 7 hours to get to New York. A little later, he announced that a second engine failed, and they still had two left, but it would take 10 hours to get to New York. Somewhat later, the pilot again came on the intercom and announced that a third engine had died. Never fear, he announced, because the plane could fly on a single engine. However, it would now take 18 hours to get to New York. At this point, one statistician turned to the other and said, "Gee, I hope we don't lose that last engine, or we'll be up here forever!"

доверительный интервал линии регрессии

СРАВНЕНИЕ УРАВНЕНИЙ РЕГРЕССИИ. 1. Проверка гипотезы о близости величин остаточных дисперсий. H 0: в генеральной совокупности различий между дисперсиями нет, следовательно, наблюдаемые различия варианс случайны. ПРОВЕРЯЕМ УСЛОВИЕ ОДНОСТОРОННЕГО ТЕСТА где Su –ошибка прогноза (см выше)

2. ГИПОТЕЗА О БЛИЗОСТИ ВЕЛИЧИН КОЭФФИЦИЕНТОВ РЕГРЕССИИ. H 0: сравниемы выборки получены из одной генеральной, следовательно, наблюдаемые различия коэффициентов регрессии случайны. ПРОВЕРЯЕТСЯ УСЛОВИЕ ОДНОСТОРОННЕГО t-КРИТЕРИЯ

3. ГИПОТЕЗА О БЛИЗОСТИ ВЕЛИЧИН СВОБОДНЫХ ЧЛЕНОВ УРАВНЕНИЙ. H 0: сравниемые выборки получены из одной генеральной, следовательно, наблюдаемые различия начальных ординат случайны. ПРОВЕРЯЕТСЯ УСЛОВИЕ ОДНОСТОРОННЕГО t-КРИТЕРИЯ

ЛИНЕЙНАЯ МОДЕЛЬ НЕЛИНЕЙНАЯ МОДЕЛЬ ВЕЛИЧИНА СТЕПЕНИ ПРЕДИКТОРА МОДЕЛИ НАЗЫВАЕТСЯ ЕЕ ПОРЯДКОМ.

A theory has only the alternative of being right or wrong. A model has a third possibility it may be right, but irrelevant. Manfred Eigen

Неадекватность уравнения линейной регрессии.

КРИТЕРИЙ НЕЛИНЕЙНОСТИ H 0: в генеральной совокупности связь между переменными линейна, следовательно, наблюда- емые проявления нелинейности связи случайны. H 1: в генеральной совокупности связь между переменными нелинейна Для парной регресии k=2.

Источник вариации Обусловл. регрессией k-1 ОСТАТОК n-k Общий, скоррект. на среднее n-1 k - число параметров.

Работа с нелинейнными зависимостями

Модель роста Берталанфи Lt – длина тела в возрасте t; t – возраст; - коэффициенты Lt

!

Дрейпер Н. Смит Г. Прикладной регрессионный анализ. Книга 1. Москва, «Финансы и статистика» . 1986 г. Дрейпер Н. Смит Г. Прикладной регрессионный анализ. Книга 2. Москва, «Финансы и статистика» . 1986 г.

Развивается непараметрическое оценивание До середины XX - классический период регрессионного анализа МНК + процедуры проверки гипотез об адекватности модели и проверки гипотез о значимости коэффициентов уравнения. В 20 -е годы Р. Фишер разработал дисперсионный анализ. Началась консолидация процедур регрессионного и дисперсионного анализов Найден прием, позволяющий свести любую задачу дисперсионного анализа к задаче регрессионного анализа (К. Точер; С. Рао). Появилась - модель ковариационного анализа (Р. Фишер) Отказ от детерминированности независимых переменных – появление модели корреляционного анализа Появление многомерной (многооткликовой) регрессии Решение проблем оценивания параметров нелинейных моделей регрессионная модель выступает как цементирующее начало, связывающее эти методы в нечто целостное Сегодня непараметрические методы (ранговые) образуют систему обработки статистических данных, по своим возможностям не уступающую классическом методу наименьших квадратов Нормальность превращается в частный случай О месте линейной модели в статистическом оценивании Все большое место в статистическом оценивании занимают робастные критерии – критерии нечувствительные к «выбросам» вариант, в том числе и в регрессионном анализе

Доказал «теорему Байеса» , которая давала возможность оценить вероятность событий эмпирическим путём (посмертная публикация 1763 г. ) Reverend Thomas Bayes (1702 — 1761) Выдвинул идею об использовании субъективной уверенности для определения вероятности. Вероятность определяется как степень уверенности в истинности суждения В 1937 г. применил идеи Рамсея как альтернативу частотному определению вероятности Bruno de Finetti (1906 – 1985) Frank Plumpton Ramsey (1903 – 1930) В 50 -е годы ХХ-го века появилась Байесовская статистика, в которой Байесовская вероятность противопоставляется частотной Например, на одних и тех же данных, теория проверки статистических гипотез, основанная на частотной интерпретации, позволяет отвергать или не отвергать модели-гипотезы, противопоставляя их. Байесовские методы, напротив, в зависимости от входных данных выдают апостериорную (на основе опыта) вероятность быть адекватной для каждой из моделей-гипотез.