Скачать презентацию Предпосылки метода наименьших квадратов Исследование остаточных величин Скачать презентацию Предпосылки метода наименьших квадратов Исследование остаточных величин

Предпосылки МНК.ppt

  • Количество слайдов: 38

Предпосылки метода наименьших квадратов Предпосылки метода наименьших квадратов

Исследование остаточных величин. В задачу регрессионного анализа входит не только построение самой модели, но Исследование остаточных величин. В задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений, т. е. остаточных величин.

Оценки параметров регрессии должны отвечать определенным критериям: Несмещенность оценки (математическое ожидание остатков равно нулю). Оценки параметров регрессии должны отвечать определенным критериям: Несмещенность оценки (математическое ожидание остатков равно нулю). Эффективность (оценки имеют наименьшую дисперсию). Состоятельность (дисперсия оценок параметров при возрастании числа наблюдений стремится к нулю)

Указанные критерии оценок (несмещенность, состоятельность, эффективность) обязательно учитываются при разных способах оценивания. Так Указанные критерии оценок (несмещенность, состоятельность, эффективность) обязательно учитываются при разных способах оценивания. Так как метод наименьших квадратов строит оценки регрессии на основе минимизации суммы квадратов остатков, то очень важно исследовать поведение остаточных величин регрессии i.

Исследование остатков i предполагают проверку наличия следующих пяти предпосылок МНК (теорема Гаусса. Маркова): I. Исследование остатков i предполагают проверку наличия следующих пяти предпосылок МНК (теорема Гаусса. Маркова): I. случайный характер остатков; II. нулевая средняя величина остатков, не зависящих от x; III. гомоскедастичность – дисперсия каждого отклонения одинаковая для всех значений x; IV. отсутствие автокорреляции остатков. Значения остатков распределены независимо друг от друга; V. остатки подчиняются нормальному распределению.

Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель. Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

I. Прежде всего, проверяется случайный характер остатков - первая предпосылка МНК. С этой целью I. Прежде всего, проверяется случайный характер остатков - первая предпосылка МНК. С этой целью строится график зависимости остатков i от теоретических значений результативного признака y.

i 8 6 4 2 -2 -4 -6 -8 2 4 6 8 i 8 6 4 2 -2 -4 -6 -8 2 4 6 8 10 12 14 16 18 yi 20

Если на графике получена горизонтальная полоса (из точек, как показано на рис. ), то Если на графике получена горизонтальная полоса (из точек, как показано на рис. ), то остатки i представляют собой случайные величины и МНК оправдан, теоретические значения y аппроксимируют фактические значения y. Возможны следующие случаи: если i зависит от y , то: остатки не случайны (рис. а); остатки не имеют постоянной дисперсии (рис. в); остатки носят систематический характер (рис. б).

В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново В этих случаях необходимо либо применять другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

II. Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что • Это означает, II. Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что • Это означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную. В каждом конкретном наблюдении случайный член может быть либо положительным, либо отрицательным, но он не должен иметь систематического смещения. • Если ошибка имеет не нулевое среднее значение, то оценки по МНК окажутся смещенными.

III. В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это III. В соответствии с третьей предпосылкой МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это значит, что для каждого значения фактора остатки должны иметь одинаковую дисперсию. Если это условие не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно наглядно видеть из графика зависимости остатков от теоретических значений результативного признака.

Примеры гетероскедастичности: дисперсия остатков растет по мере увеличения x; Примеры гетероскедастичности: дисперсия остатков растет по мере увеличения x;

дисперсия остатков достигает максимальной величины при средних значениях переменной х и уменьшается при дисперсия остатков достигает максимальной величины при средних значениях переменной х и уменьшается при минимальных и максимальных значениях х;

максимальная дисперсия остатков при малых значениях х и дисперсия остатков однородна по мере максимальная дисперсия остатков при малых значениях х и дисперсия остатков однородна по мере увеличения значений х

Коэффициент ранговой корреляции Спирмена В случае гетероскедастичности абсолютные величины остатков еi и значения фактора Коэффициент ранговой корреляции Спирмена В случае гетероскедастичности абсолютные величины остатков еi и значения фактора xi будут коррелированы где di – разность между рангами значений xi и |ei| Коэффициент ранговой корреляции значим на уровне значимости при n > 10 (подтверждается гипотеза о наличии гетероскедастичности), если статистика где tтабл – табличное значение t-критерия Стьюдента, определенное на уровне значимости при числе степеней свободы (n-2)

Метод Гольдфельда — Квандта При малом объеме выборки, что наиболее характерно для эконометрических исследований, Метод Гольдфельда — Квандта При малом объеме выборки, что наиболее характерно для эконометрических исследований, для оценки гетероскедастичности может использоваться метод Гольдфельда — Квандта.

Метод Гольдфельда — Квандта 1. Упорядочение n наблюдений по мере возрастания переменной x. 2. Метод Гольдфельда — Квандта 1. Упорядочение n наблюдений по мере возрастания переменной x. 2. Исключение из рассмотрения С центральных наблюдений; при этом (n - С): 2 > р, где р — число оцениваемых параметров.

Метод Гольдфельда — Квандта 3. Разделение совокупности из (n – C) наблюдений на две Метод Гольдфельда — Квандта 3. Разделение совокупности из (n – C) наблюдений на две группы (соответственно с малыми и большими значениями фактора x) и определение по каждой из групп уравнений регрессии. 4. Определение остаточной суммы квадратов для первой (S 1) и второй (S 2) групп и нахождение их отношения:

Метод Гольдфельда — Квандта При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять Метод Гольдфельда — Квандта При выполнении нулевой гипотезы о гомоскедастичности отношение R будет удовлетворять F -критерию с (n-C-2 p): 2 степенями свободы для каждой остаточной группы квадратов. Чем больше величина превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Пример использования метода Гольдфельда — Квандта Поступление доходов в бюджет Санкт-Петербурга (у — млрд Пример использования метода Гольдфельда — Квандта Поступление доходов в бюджет Санкт-Петербурга (у — млрд руб. ) в зависимости от численности работающих на крупных и средних предприятиях (х -тыс. чел. ) экономики районов за 1994 г.

№п/п Районы города xi yi 1 Павловский 3 4, 4 -1, 0 5, 4 №п/п Районы города xi yi 1 Павловский 3 4, 4 -1, 0 5, 4 2 Кронштадт 6 8, 1 2, 5 5, 6 3 Ломоносовский 8 12, 9 4, 9 8, 0 4 Курортный 18 20, 8 16, 6 4, 2 5 Петродворец 20 15, 5 19, 0 -3. 5 6 Пушкинский 23 28, 8 22, 5 6, 3 7 Красносельский 39 37, 5 41, 4 -3, 9 8 Приморский 49 48, 7 53, 2 -4, 5 9 Колпинский 60 68, 6 66, 1 2, 5 10 Фрунзенский 74 104, 6 82, 6 22, 0 11 Красногвардейский 79 90, 5 88, 5 2, 0 12 Василеостровский 95 88, 3 107, 4 -19, 1 13 Невский 106 132, 4 120, 4 12, 0 14 Петроградский 112 122, 0 127, 4 -5, 4 15 Калининский 115 99, 1 131, 0 -31, 9 16 Выборгский 125 114, 2 142, 7 -28, 5 17 Кировский 132 150, 6 151, 0 -0, 4 18 Московский 149 156, 1 171, 0 -14, 9 19 Адмиралтейский 157 209, 5 180, 5 29, 0 20 Центральный 282 342, 9 327, 8 15, 1 1652 1855, 5 0, 0 Итого

В соответствии с уравнением найдены теоретические значения и отклонения от их фактических значений , В соответствии с уравнением найдены теоретические значения и отклонения от их фактических значений , т. е. .

Итак, остаточные величины обнаруживают тенденцию к росту по мере увеличения и Итак, остаточные величины обнаруживают тенденцию к росту по мере увеличения и

Этот вывод подтверждается и по критерию Гольдфельда – Квандта. Для его применения необходимо Этот вывод подтверждается и по критерию Гольдфельда – Квандта. Для его применения необходимо определить сначала число исключаемых центральных наблюдений C. При n=20 берем C=4 (при n=60 C= 16 , при n=30 C=8). Тогда в каждой группе будет по 8 наблюдений . Результаты расчетов представлены в таблице.

Проверка регрессии на гетероскедастичность. Уравнения регрессии 5, 7 -1, 3 1, 69 8, Проверка регрессии на гетероскедастичность. Уравнения регрессии 5, 7 -1, 3 1, 69 8, 1 8, 5 -0, 4 0, 16 8 12, 9 10, 3 2, 6 6, 76 18 20, 8 19, 6 1, 2 1, 44 15, 5 21, 4 -5, 9 34, 81 28, 8 24, 2 4, 6 21, 16 39 37, 5 38, 9 -1, 4 1, 96 49 Сумма 4, 4 23 3 20 r = 0, 979 F = 136, 4 y 6 1 -я группа с первыми 8 районами: x 48, 7 48, 1 0, 6 0, 36 68, 34

Уравнения регрессии x 132, 4 110, 7 21, 7 470, 89 112 122, 0 Уравнения регрессии x 132, 4 110, 7 21, 7 470, 89 112 122, 0 118, 7 3, 3 10, 89 99, 1 122, 7 -23, 6 556, 96 125 114, 2 136, 1 -21, 9 479, 61 132 150, 6 145, 4 5, 2 27, 04 149 156, 1 168, 2 -12, 1 146, 41 157 209, 5 178, 9 30, 6 936, 36 282 r = 0, 969 F = 93, 4 106 115 2 -я группа с последними 8 районами: y 342, 9 346, 1 -3, 2 10, 24 2638, 40 Сумма

Величина , что превышает табличное значение – Fкритерия 4, 28 при 5 %-ном Величина , что превышает табличное значение – Fкритерия 4, 28 при 5 %-ном уровне значимости для числа степеней свободы 6 для каждой остаточной суммы квадратов , подтверждая тем самым наличие гетероскедастичности.

IV. Четвертая предпосылка МНК - отсутствие автокорреляции остатков, т. е. значения остатков распределены независимо IV. Четвертая предпосылка МНК - отсутствие автокорреляции остатков, т. е. значения остатков распределены независимо друг от друга.

Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент корреляции Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Коэффициент корреляции между и , где - остатки текущих наблюдений, - остатки предыдущих наблюдений (например, j = i - 1), может быть определен по формуле:

V. При использовании F-критерия Фишера и t-критерия Стьюдента делаются предположения относительно поведения остатков –остатки V. При использовании F-критерия Фишера и t-критерия Стьюдента делаются предположения относительно поведения остатков –остатки представляют собой независимые случайные величины с нулевым средним; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Наряду с предпосылками МНК должны соблюдаться определенные требования относительно переменных, включаемых в модель: соотношение Наряду с предпосылками МНК должны соблюдаться определенные требования относительно переменных, включаемых в модель: соотношение 1 фактор на 6 -7 наблюдений; факторы должны быть свободны от мультиколлинеарности.

Обобщенный метод наименьших квадратов Обобщенный метод наименьших квадратов

Обобщенный метод наименьших квадратов При нарушении гомоскедастичности и наличии автокорреляции остатков рекомендуется вместо традиционного Обобщенный метод наименьших квадратов При нарушении гомоскедастичности и наличии автокорреляции остатков рекомендуется вместо традиционного МНК использовать обобщенный МНК. Его для случая устранения гетероскедастичности часто называют методом взвешенных наименьших квадратов. Метод применим, если известны дисперсии для каждого наблюдения. Основан на делении каждого наблюдаемого значения на соответствующее ему стандартное отклонение остатков.

Метод взвешенных наименьших квадратов. Случай парной регрессии Получили уравнение регрессии без свободного члена, но Метод взвешенных наименьших квадратов. Случай парной регрессии Получили уравнение регрессии без свободного члена, но с дополнительной объясняющей переменной z и с «преобразованным» остатком . Можно показать, что для него выполняются условия Гаусса-Маркова 1 – 5.

Метод взвешенных наименьших квадратов. Случай парной регрессии На практике, значения дисперсии остатков, как правило, Метод взвешенных наименьших квадратов. Случай парной регрессии На практике, значения дисперсии остатков, как правило, не известны. Для применения метода ВНК необходимо сделать реалистичные предположения об этих значениях. Например: Дисперсии пропорциональны xi: Дисперсии пропорциональны xi 2:

Метод взвешенных наименьших квадратов. Случай парной регрессии Гипотеза о пропорциональности остатков величине фактора может Метод взвешенных наименьших квадратов. Случай парной регрессии Гипотеза о пропорциональности остатков величине фактора может иметь реальное основание: при обработке недостаточно однородной совокупности, включающей как крупные, так и мелкие предприятия, большим объемным значения фактора может соответствовать большая дисперсия результативного признака и большая дисперсия остаточных величин.