Лекция 8 Множественная линейная регрессия Множественная линейная

Лекция 8 Множественная линейная регрессия.

Множественная линейная регрессия EARNINGS = b 1 + b 2 S + b 3 EXP + u b 1 EARNINGS EXP S Пример регрессии с двумя объясняющими переменными. Почасовая заработная плата зависит от длительности обучения S и опыта работы EXP. 1

Множественная линейная регрессия EARNINGS = b 1 + b 2 S + b 3 EXP + u b 1 EARNINGS EXP S Формально, почасовая заработная плата не имеющих образования и опыта работы равна β 1. 3

Множественная линейная регрессия EARNINGS = b 1 + b 2 S + b 3 EXP + u чистый S эффект b 1 + b 2 S EARNINGS EXP S Для индивидов с одинаковым опытом работы при увеличении длительности обучения S на 1 год почасовая з/п EARNINGS увеличивается на β 2 долларов. 4

Множественная линейная регрессия EARNINGS = b 1 + b 2 S + b 3 EXP + u b 1 + b 3 EXP чистый EXP эффект b 1 EARNINGS EXP S Аналогично, для индивидов с одинаковым образованием при увеличении опыта работы EXP на 1 год почасовая з/п EARNINGS увеличивается на β 3 долларов. 5

Множественная линейная регрессия EARNINGS = b 1 + b 2 S + b 3 EXP + u b 1 + b 2 S + b 3 EXP b 1 + b 3 EXP Суммарный эффект pure EXP effect pure S effect b 1 S и EXP b 1 + b 2 S EARNINGS EXP S 6

Множественная линейная регрессия Для нахождения оценок коэффициентов b 1, b 2 и b 3 используется метод наименьших квадратов. 7

Множественная линейная регрессия Выражение для i- го остатка. 8

Множественная линейная регрессия Аналогично парной регрессии определяем RSS, сумму квадратов остатков, b 1, b 2, b 3 надо выбрать так, чтобы эта сумма была минимальной. 9

Множественная линейная регрессия Приравниваем к нулю частные производные по всем переменным. 10

Множественная линейная регрессия 11

Множественная линейная регрессия. reg EARNINGS S EXP Source | SS df MS -------+---------------Model | 22513. 6473 2 11256. 8237 Residual | 89496. 5838 537 166. 660305 -------+---------------Total | 112010. 231 539 207. 811189 Number of obs F( 2, 537) Prob > F R-squared Adj R-squared Root MSE = = = 540 67. 54 0. 0000 0. 2010 0. 1980 12. 91 ---------------------------------------EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------+--------------------------------S | 2. 678125. 2336497 11. 46 0. 000 2. 219146 3. 137105 EXP |. 5624326. 1285136 4. 38 0. 000. 3099816. 8148837 _cons | -26. 48501 4. 27251 -6. 20 0. 000 -34. 87789 -18. 09213 --------------------------------------- Пример оцененной множественной регрессии. 12

Множественная линейная регрессия. reg EARNINGS S EXP Source | SS df MS -------+---------------Model | 22513. 6473 2 11256. 8237 Residual | 89496. 5838 537 166. 660305 -------+---------------Total | 112010. 231 539 207. 811189 Number of obs F( 2, 537) Prob > F R-squared Adj R-squared Root MSE = = = 540 67. 54 0. 0000 0. 2010 0. 1980 12. 91 ---------------------------------------EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------+--------------------------------S | 2. 678125. 2336497 11. 46 0. 000 2. 219146 3. 137105 EXP |. 5624326. 1285136 4. 38 0. 000. 3099816. 8148837 _cons | -26. 48501 4. 27251 -6. 20 0. 000 -34. 87789 -18. 09213 --------------------------------------- Каждый дополнительный год обучения увеличивает почасовую з/п на $2. 68, а каждый дополнительный год трудового стажа на $0. 56. 13

Множественная линейная регрессия. reg EARNINGS S EXP Source | SS df MS -------+---------------Model | 22513. 6473 2 11256. 8237 Residual | 89496. 5838 537 166. 660305 -------+---------------Total | 112010. 231 539 207. 811189 Number of obs F( 2, 537) Prob > F R-squared Adj R-squared Root MSE = = = 540 67. 54 0. 0000 0. 2010 0. 1980 12. 91 ---------------------------------------EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval] -------+--------------------------------S | 2. 678125. 2336497 11. 46 0. 000 2. 219146 3. 137105 EXP |. 5624326. 1285136 4. 38 0. 000. 3099816. 8148837 _cons | -26. 48501 4. 27251 -6. 20 0. 000 -34. 87789 -18. 09213 --------------------------------------- Константа не имеет содержательной экономической интерпретации. 14

Теорема Гаусса – Маркова для случая множественной линейной регрессии Если модель множественной линейной регрессии 1) Правильно специфицирована 2) Не существует линейной связи между регрессорами 3) Возмущения имеют нулевое мат. ожидание E(ui) = 0, 4) Дисперсии возмущений одинаковы D(uj) = σu 2 , j = 1, …, n 5) Возмущения с разными номерами не коррелируют Cov(ui, uj) = 0 Тогда оценки МНК являются BLUE (Best Linear Unbiased Estimator). 19

Дисперсионный анализ Как и для случая парной регрессии, для множественной регрессии сумма квадратов отклонений зависимой переменной от среднего значения может быть разбита на две части. 1

Свойства R 2 RSS (Residual Sum of Squares) – сумма квадратов остатков. ESS (Explained Sum of Squares) – объясненная с помощью регрессии сумма квадратов отклонений. TSS (Total Sum of Squares) - общая сумма квадратов отклонений зависимой переменной от среднего значения. Очевидно, что, минимизируя сумму квадратов остатков, мы максимизируем R 2. Таким образом, чем ближе R 2 к 1, тем выше качество подгонки регрессии. 8

Свойства R 2 имеет существенный недостаток: R 2 возрастает при добавлении любого регрессора X (т. к. при этом уменьшается сумма квадратов остатков). Но это может вести к мультиколлинеарности. 9

R 2 adj - это R 2, скорректированный с учетом числа степеней свободы. Он «наказывает» за включение лишних регрессоров. 11

Пример reg EARNINGS S SM SF ASVAB 02 ASVAB 03 ASVAB 04 ASVAB 05 SIBLINGS Source SS df MS Model 25995. 7171 8 3249. 46463 Residual 86014. 514 531 161. 985902 Total EARNINGS Coef. S SM SF ASVAB 02 ASVAB 03 ASVAB 04 ASVAB 05 SIBLINGS _cons 1. 606076 -. 0995345. 3080043. 421419 -. 1388054 -. 075362. 1509049. 0784485 -23. 31213 112010. 231 539 207. 811189 Std. Err. . 2842578. 2606452. 2059354. 0870657. 1106814. 101286. 0736544. 2701161 4. 332361 t 5. 65 -0. 38 1. 50 4. 84 -1. 25 -0. 74 2. 05 0. 29 -5. 38 Number of obs = F( 8, 531) = Prob > F = R-squared = Adj R-squared = Root MSE = P>t [95% Conf. Interval] 0. 000 0. 703 0. 135 0. 000 0. 210 0. 457 0. 041 0. 772 0. 000 1. 047668 -. 6115567 -. 0965438. 2503835 -. 3562325 -. 2743324. 0062151 -. 4521788 -31. 8228 540 20. 06 0. 0000 0. 2321 0. 2205 12. 727 2. 164484. 4124876. 7125523. 5924544. 0786216. 1236083. 2955947. 6090758 -14. 80146 В оцененной регрессии исключим переменные с наименьшими t – value. 12

Пример reg EARNINGS S SF ASVAB 02 ASVAB 03 ASVAB 05 Source SS df Model 25861. 8812 Residual 86148. 3499 Total 112010. 231 MS Number of obs = 540 F( 5, 534) = 5 5172. 37623 Prob > F = 534 161. 326498 R-squared = Adj R-squared = 539 207. 811189 Root MSE = EARNINGS Coef. Std. Err. t P>t [95% Conf. Interval] S SF ASVAB 02 ASVAB 03 ASVAB 05 _cons . 2819491. 1739785. 0857274. 0900419. 0712416 3. 745907 5. 61 1. 48 4. 79 -2. 15 1. 96 -6. 20 0. 000 0. 140 0. 000 0. 032 0. 051 0. 000 1. 026504 -. 0844271. 2424736 -. 3701465 -. 0004672 -30. 59067 32. 06 0. 0000 0. 2309 0. 2237 12. 701 1. 580369. 2573391. 4108779 -. 1932668. 1394809 -23. 23215 2. 134235. 5991053. 5792821 -. 016387. 279429 -15. 87363 R 2 уменьшился, R 2 adj увеличился. Вторая модель лучше соответствует данным. 13

Неприменимость R 2. Если в модели регрессии нет свободного члена, т. е. То не выполняются свойства 1) 2) 3) TSS = ESS + RSS 4) R 2 = 1 – RSS/TSS В этом случае R 2 не является показателем качества подгонки регрессии (как и R 2 adj). 14

Мультиколлинеарность Теоретическая мультиколлинеарность данных – явление, наблюдаемое при нарушении условий теоремы Гаусса – Маркова об отсутствии точной линейной связи между регрессорами. При наличии теоретической мультиколлинеарности однозначное нахождение оценок МНК коэффициентов регрессии невозможно. Если регрессоры в модели связаны строгой функциональной зависимостью, то говорят о наличии полной (совершенной) мультиколинеарности 1

Последствия полной мультиколлинеарности Полная мультиколлинеарность не позволяет однозначно оценить параметры исходной модели и разделить вклады регрессоров в эндогенную переменную по результатам наблюдений Рассмотрим пример Пусть спецификация модели имеет вид: ( 8. 1) Предположим, что регрессоры x 1 и x 2 связаны между собой строгой линейной зависимостью: ( 8. 2)

Последствия полной мультиколлинеарности Подставив (8. 2) в (8. 1), получим уравнение парной регрессии Раскрыв скобки и приведя подобные, получим модель в виде: ( Уравнение (8. 3) можно записать в виде: 8. 3)

Частичная мультиколлинеарность и ее последствия Т. к в реальности мы имеем дело с данными, имеющими стохастический характер, то случай полной мультиколлинеарности на практике встречается крайне редко На практике мы имеем дело с частичной мультиколлинеарностью (когда между регрессорами существует почти линейная зависимость квазимультиколлинеарностью) Частичная мультиколлинеарность характеризуется коэффициентами парной корреляции между регрессорами, которые так же носят стохастический характер и, по значениям которых судят о степени коррелированности Для определения степени коррелированности строят матрицу взаимных корреляций регрессоров R={rij}, I, j=1, 2, …, k

Частичная мультиколлинеарность и ее последствия Если между регрессорами имеется корреляционная связь и соответствующий коэффициент корреляции будет близок к единице rij≈1 В этом случае, формально можно получить оценки параметров модели, их точные показатели, но все они будут неустойчивыми (небольшое изменение данных будет сильно влиять на составляющие модели)

Частичная мультиколлинеарность и ее последствия Последствия частичной мультиколлинеарности следующие: - Увеличение дисперсий оценок параметров (снижение точности) - Уменьшение значений t-статистик для параметров, что приводит к неправильному выводу о их статистической значимости - Неустойчивость оценок МНК-параметров и их дисперсий - Возможность получения неверного (с точки зрения теории) знака у оценки параметра

Мультиколлинеарность Признаки мультиколлинеарности: • Небольшие изменения в данных приводят к значительным изменениям в оценках коэффициентов регрессии. • Многие коэффициенты по-отдельности не значимы, хотя в целом регрессия адекватная, R 2 может быть достаточно высоким. • Оценки коэффициентов регрессии (обычно незначимых) могут иметь “неправильный” знак (с экономической точки зрения). • - Модуль парного коэффициента корреляции между регрессорами Хi и Xj больше 0. 75 3

Частные коэффициенты корреляции Коэффициент корреляции, очищенный от влияния других факторов, называется частным коэффициентом корреляции Частный коэффициент корреляции определяет степень зависимости между двумя переменными без учета влияния на них других факторов Рассмотрим пример. Пусть спецификация модели имеет вид: (8. 4) Задача. Определить корреляцию между Y и X 1, исключив влияние переменной X 2

Частные коэффициенты корреляции Пример 1. Вычислить частный коэффициент корреляции r(Y, X 1│X 2) между переменными модели

Частные коэффициенты корреляции Пример 2. В таблице приведены данные об объеме импорта Y (млрд. дол), ВНП X 1 (млрд. дол) и индексе цен X 2 в США за период 1964 -1979 гг Вычислить элементы матрицы взаимных корреляций модели: Годы 1964 1965 1966 1967 1968 1969 1970 1971 1972 1973 1974 1975 1976 1977 1978 1979 Y 28, 4 32, 0 37, 7 40, 6 47, 7 52, 9 58, 5 64, 0 75, 9 94, 4 131, 9 126, 9 155, 4 185, 8 217, 5 260, 9 X 1 635, 7 688, 1 753, 0 796, 3 868, 5 935, 5 982, 4 1063, 4 1171, 1 1306, 6 1412, 9 1528, 8 1702, 2 1899, 5 2127, 6 2368, 5 X 2 92, 9 94, 5 97, 2 100, 0 104, 2 109, 8 116, 3 121, 3 125, 4 133, 1 137, 7 161, 2 170, 5 181, 5 195, 4 217, 4 Решение. 1. Вычисляем матрицу взаимных корреляций Y X 1 X 2 1, 0000 0, 9932 1, 0000 0, 9885 0, 9957 1, 0000 Вычисляется с помощью Excel, «Анализ данных) Проверка гипотезы Н 0: r(x 1, x 2│Y)=0

Методы устранения мультиколлинеарности Основным методом устранения мультиколлинеарности заключается в исключении переменных Существует несколько способов решения этой задачи 1. Метод дополнительных регрессий Алгоритм метода заключается в следующем: 1. Строятся уравнения регрессии, которые связывают каждый из регрессоров со всеми оставшимися 2. Вычисляются коэффициенты детерминации R 2 для каждого уравнения регрессии 3. Проверяется статистическая гипотеза H 0: R 2=0 с помощью F теста Вывод: если гипотеза H 0: R 2=0 не отклоняется, значит данный регрессор не приводит к мультиколлинеарности

Методы устранения мультиколлинеарности Пример. Рассмотрим предыдущую задачу и определим, приводит ли регрессор X 1 к мультиколлинеарности Исходные данные Годы 1964 1965 1966 1967 1968 1969 1970 1971 1972 1973 1974 1975 1976 1977 1978 1979 Y 28, 4 32, 0 37, 7 40, 6 47, 7 52, 9 58, 5 64, 0 75, 9 94, 4 131, 9 126, 9 155, 4 185, 8 217, 5 260, 9 X 1 635, 7 688, 1 753, 0 796, 3 868, 5 935, 5 982, 4 1063, 4 1171, 1 1306, 6 1412, 9 1528, 8 1702, 2 1899, 5 2127, 6 2368, 5 X 2 92, 9 94, 5 97, 2 100, 0 104, 2 109, 8 116, 3 121, 3 125, 4 133, 1 137, 7 161, 2 170, 5 181, 5 195, 4 217, 4 Результаты расчета ai 13, 59 -568, 32 si 0, 34 47, 35 R 2 0, 99 51, 07 Fтест 1616, 97 14, 00 4217961 36519, 9 Значение Fтест =1616. 97 > Fкрит Следовательно, гипотеза о равенстве нулю коэффициента детерминации отклоняется Вывод: регрессор X 1 вызовет в модели мультиколлинеарность

Методы устранения мультиколлинеарности 2. Метод последовательного присоединения В отличие от рассмотренного, метод последовательного присоединения регрессоров позволяет выявить набор регрессоров, который не только не приводит к мультиколлинеарности, но и обеспечивает наилучшее качество спецификации модели Алгоритм метода следующий: 1. Строится регрессионная модель с учетом всех предполагаемых регрессоров. По признакам делается вывод о возможном присутствии мультиколлинеарности 2. Расчитывается матрица корреляций и выбирается регрессор, имеющий наибольшую корреляцию с эндогенной переменной 3. К выбранному регрессору последовательно в модель добавляется каждый из оставшихся регрессоров и вычисляются скорректированные коэффициенты детерминации для каждой из моделей К модели присоединяется тот регрессор, который обеспечивает наибольшее значение скорректированного R 2

Метод последовательного присоединения 4. К паре выбранных регрессоров последовательно присоединяется третий из числа оставшихся Строятся модели, вычисляется скорректированный R 2, добавляется тот регрессор, который обеспечивает наибольшее значение скорректированного R 2 Процесс присоединения регрессоров прекращается, когда значение скорректированного R 2 становится меньше достигнутого на предыдущем шаге

Методы устранения мультиколлинеарности Пример 2. Исследуется зависимость урожайности зерновых культур Y от следующих факторов производства: X 1 – число тракторов на 100 га X 2 – число зерноуборочных комбайнов на 100 га X 3 – Число орудий поверхностной обработки почвы на 100 га X 4 - количество удобрений, расходуемых на гектар (т/га) X 5 – количество химических средств защиты растений (т/га)

Пример 2. (Продолжение) Исходные данные Номер района 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Y 9, 70 8, 40 9, 00 9, 90 9, 60 8, 60 12, 50 7, 60 8, 90 13, 50 9, 70 10, 70 12, 20 9, 70 7, 00 7, 20 8, 40 13, 10 8, 70 Результаты расчета X 1 X 2 1, 59 0, 34 2, 53 4, 63 2, 16 0, 68 0, 35 0, 52 3, 42 1, 78 2, 40 9, 36 1, 72 0, 59 0, 28 1, 64 0, 09 0, 08 1, 36 0, 28 0, 31 0, 40 0, 26 0, 30 0, 29 0, 26 0, 24 0, 31 0, 30 0, 32 0, 40 0, 28 0, 29 0, 26 0, 29 0, 22 0, 25 0, 26 X 3 2, 05 0, 46 2, 46 6, 44 2, 16 2, 69 0, 73 0, 42 0, 49 3, 02 3, 19 3, 30 11, 51 2, 26 0, 60 0, 30 1, 44 0, 05 0, 03 0, 17 X 4 X 5 0, 32 0, 59 0, 30 0, 43 0, 39 0, 32 0, 42 0, 21 0, 20 1, 37 0, 73 0, 25 0, 39 0, 82 0, 13 0, 09 0, 20 0, 43 0, 73 0, 99 0, 14 0, 66 0, 31 0, 59 0, 16 0, 17 0, 23 0, 08 0, 73 0, 17 0, 14 0, 38 0, 17 0, 35 0, 15 0, 08 0, 2 0, 42 -2, 72 4, 12 0, 17 9, 05 0, 01 5, 43 3, 05 1, 53 0, 82 21, 26 0, 92 5, 36 0, 49 1, 58 #Н/Д 2, 64 14 #Н/Д 33 35 #Н/Д Видно: стандартные ошибки всех параметров модели, кроме a 4, превосходят значения параметров Вывод: Последнее обстоятельство может быть следствием мультиколлинеарности Необходимо анализировать регрессоры

Пример 2. (Продолжение) Шаг 2. Построение матрицы корреляций Y X 1 X 2 X 3 X 4 X 5 Y 1 0, 42 0, 34 0, 56 0, 29 X 1 1 0, 85 0, 98 0, 11 0, 34 X 2 1 0, 88 0, 03 0, 46 X 3 X 4 X 5 1 0, 03 0, 28 1 0, 57 1 Видно: наибольшую корреляцию эндогенная переменна Y имеет с X 4 Вывод: в модель необходимо включить регрессор X 4 и к нему присоединять остальные Шаг 3. Рассматриваем следующие спецификации моделей: R 2 X 4, X 1 0, 4113 X 4, X 2 0, 3814 X 4, X 3 0, 4232 X 4, X 5 0, 272 Видно: Наибольший R 2 в модели 3 Вывод: Продолжаем присоединение к модели 3

Пример 2. (Продолжение) Шаг 4. Рассматриваем следующие спецификации моделей: R 2 X 4, X 1, X 3 X 4, X 3, X 2 X 4, X 3, X 5 0, 3911 0, 392 0, 4169 Видно: наибольший коэффициент детерминации соответствует модели 3 Однако его значение меньше, чем было достигнуто ранее: R 2=0, 4232 Выводы: 1. Не имеет смысл рассматривать спецификацию 3. 2. Для построения следует принять спецификацию модели в виде:

Проблема мультиколлинеарности Выводы: 1. Последствием мультиколлинеарности является потеря устойчивости вычисления оценок параметров модели 2. Наличие мультиколлинеарности приводит к завышенным значениям СКО оценок 3. Отсутствуют строгие критерии тестирования наличия мультиколлинеарности 4. Подозрением наличия мультиколлинеарности служит большое количество незначимых факторов в модели 5. Для устранения мультиколлинеарности необходимо удалить из спецификации модели факторы, ее вызывающие 6. Для получения спецификации модели, не имеющей мультиколлинеарности можно воспользоваться методом присоединения регрессоров или методом исключения регрессоров