Множественная регрессия и корреляция 1. Отбор факторов

Множественная регрессия и корреляция

1. Отбор факторов и выбор формы уравнения 2. Оценка параметров уравнения множественной регрессии 3. Показатели силы связи в модели множественной регрессии 4. Показатели тесноты связи 5. Оценка достоверности построенного уравнения 6. Использование фиктивных переменных в моделях регрессии 7. Проблемы, возникающие при построении регрессионных моделей: мультиколлинеарность и гетероскедастичность

При отборе факторов в уравнение множественной регрессии необходимо соблюдать следующее условия: • в модель нужно включать только существенные факторы, непосредственно формирующее результат • факторы должны быть количественно измерены • факторы не должны находиться в тесной взаимосвязи друг с другом (значение коэффициента корреляции между факторами, входящими в модель должно быть менее 0, 7)

Отбор факторов основан на: • теоретическом анализе взаимосвязи результата с кругом факторов • количественном анализе (на основе матрицы парных коэффициентов корреляции, матрицы частных коэффициентов корреляции)

Отбор факторов на основе матрицы парных коэффициентов корреляции

Отбор факторов на основе матрицы парных коэффициентов корреляции (пример)

Использование Microsoft Excel для построения матрицы парных коэффициентов корреляции • Анализ данных • Корреляция В диалоговом окне «корреляция» задаются следующее параметры – Входной интервал – вводится ссылка на диапазон ячеек, содержащий исходную информацию. Для этого надо выделить исходные данные, записанные в лист Excel. Если данные выделяются с названием граф, то устанавливается флажок метки. – Параметры вывода : выходной интервал (вводится ссылка на любую свободную ячейку на данном рабочем листе); другой рабочий лист или другая рабочая книга. • ОК

Виды функций, наиболее часто используемые в эконометрическом моделировании

Оценка параметров • Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов (МНК). При этом нелинейные функции приводятся к линейному виду по параметрам.

Пример

Продолжение примера

Продолжение примера 21 21 21 283812 386218 12186 154 228 72 bba bba 168 283812 386218 12186 840 2838154 3862228 121872 a 168 2815412 3822818 12726 1 b 336 1543812 2286218 72186 2 b

Продолжение примера$ 1 2 5 2 y x x 2 168 3362 2 b b 5 168 840 a a 1 168 1 1 b b

221 2112 221 x y xx xxyxyxr rrr b 1 1 2 2 a y b x 1 2 1 2 1 12 1 yx yx x xy x x x r r r b r

Пример$ 1 2 5 2 y x x

ВЫВОД ИТОГОВ Регрессионная статистика Множественный R 0, 7698004 R- квадрат 0, 5925926 Нормированный R- квадрат 0, 3209877 Стандартная ошибка 2, 7080128 Наблюдения 6 Дисперсионный анализ df SS MS F Регрессия 2 32 16 2, 181818 Остаток 3 22 7, 333333 Итого 5 54 Коэффициенты Стандартная ошибка t- статистика Нижние 95% Верхние 95% Y- пересечение 5 3, 570159 1, 400498 -6, 36184 16, 36183774 x 1 1 1, 023533 0, 977008 -2, 25734 4, 257337641 x 2 2 1, 447494 1, 381699 -2, 60657 6,

Показатели силы связи в модели множественной регрессии • Абсолютные • Относительные – Стандартизованные коэффициенты регрессии – Частные коэффициенты эластичности

Абсолютные показатели силы связи Показывают, на сколько единиц в среднем изменяется результативный признак при изменении рассматриваемого факторного признака на одну единицу при условии, что остальные факторы зафиксированы на среднем уровне и не меняются

Относительные показатели связи

Стандартизованные коэффициенты регрессии (для двухфакторной модели) 1 2 1 2 2 1 1 2 12 22 ; 1. 1 yx yx x x x x r r r r

Частные коэффициенты эластичности

Частные коэффициенты эластичности для линейной функции%33, 0 12 2 22 Э 1 3 1 0, 25% 12 Э j j j x Э b y

Коэффициент множественной детерминации

Продолжение примера 912153 2 2 22 yy y 5469 T SS

Продолжение примера

Продолжение примера. Расчет коэффициента детерминации для линейной функции 593, 0 54 22 12 R

Скорректированный коэффициент детерминации 2 2. : ( 1) 1 1 (1 ) : ( 1) ост скорр общ. SS n m n R R SS n n m %2, 32322, 0 126 16 593, 011 2 ñêîððR

Коэффициент (индекс) множественной корреляции 77, 0593, 0 R

Коэффициент множественной корреляцииjj yx. R r 1 1 2 1 2 2 2 2 1 yx yx x r r r R r

Показатели частной корреляции основаны на соотношении сокращения остаточной вариации за счет дополнительно включенного в модель фактора к остаточной вариации до включения в модель соответствующего фактора

Показатели частной корреляции 1 211 121 yx xyxyx E EE xyx SS SSSS r 2 212 21 1 yx xyxyx E EE xyx SS SSSS r

Показатели частной корреляции 1 2 2 1 12 21 1 1 yx x yx R r r 1 2 2 2 2 1 1 1 yx x yx R r r 1 2 1 22 2 1 1 yx yx x xr r r 2 1 1 2 2 1 1 1 22 21 1 yx yx x x r r r

Оценка достоверности модели

Таблица дисперсионного анализа

Оценка достоверности параметров

Оценка достоверности параметров

Доверительные интервалы для оцениваемых параметров Доверительный интервал позволяет: – Оценить значимость параметра (параметр будет значим, если в доверительный интервал не входит ноль). – Дать экономическую интерпретацию коэффициента регрессии (с вероятностью ( 1‑ α ) при единичном изменении независимой переменной x j зависимая переменная у изменится не меньше, чем на b j , min и не больше, чем на b j , max . jjbdftabj. Setbb. Setb), . (

Критерии выбора наилучшей функции • Минимальная доля остаточной дисперсии в общей дисперсии, то есть максимальная величина коэффициента детерминации R 2. Если модели регрессии содержат разное количество параметров, вместо R 2 следует сравнивать скорректированные коэффициенты детерминации R 2 скорр. • Статистическая значимость всех параметров при независимых переменных • Значимость всей функции в целом • Выполнение требований Гаусса-Маркова, предъявляемых к случайным остаткам модели, в первую очередь, постоянство дисперсии и независимость друг от друга

Использование фиктивных переменных в моделях регрессии Фиктивная (структурная) переменная – это переменная, принимающая значение 1 или 0. Используется при решении следующих задач: – при моделировании качественных признаков – для учета структурной неоднородности, к которой приводят качественные признаки – для оценки сезонных колебаний

Пример • y – оценочная стоимость жилья • x – жилая площадь • z – наличие камина (1 — есть камин, 0 – нет камина)

Пример Дом Оценочная стоимость (тыс. долл. ) Жилая площадь дома(тыс. кв. футов) Наличие камина Y X Z 1 84, 4 2 1 2 77, 4 1, 71 0 3 75, 7 1, 45 0 4 85, 9 1, 76 1 5 79, 1 1, 93 0 6 70, 4 1, 2 1 7 75, 8 1, 55 1 8 85, 9 1, 93 1 9 78, 5 1, 59 1 10 79, 2 1, 5 1 11 86, 7 1, 9 1 12 79, 3 1, 39 1 13 74, 5 1, 54 0 14 83, 8 1, 89 1 15 76, 8 1, 59 0 Z= 1 — если камин в доме есть, Z= 0 – если камина в доме нет

Фиктивные переменные в нелинейных моделях (на примере степенной функции) y x lny lnx z 05, 1 65 ˆ 05, 0 ln 335, 0175, 4 ln lnlnln 05, 0 175, 4 05, 0335, 0175, 4 21 e e exey zxy zbxbay z

Проблемы, возникающие при построении регрессионных моделей • Мультиколлинеарность • Гетероскедастичность

Симптомы мультиколлинеарности • Завышенное значение коэффициента детерминации • Высокие стандартные ошибки для коэффициентов регрессии • Широкие доверительные интервалы • Низкое значение t- критерия • Появление при коэффициентах регрессии знаков, противоположных ожидаемым

Выявление мультиколлинеарности с помощью матрицы парных коэффициентов корреляции • Наличие мультиколлинеарности можно подтвердить, найдя определитель матрицы. Если связь между независимыми переменными полностью отсутствует, то недиагональные элементы будут равны нулю, а определитель матрицы единице. ‑ • Если связь между независимыми переменными близка к функциональной (то есть является очень тесной), то определитель матрицы будет близок к нулю. pppp p p xxxxxx rrr rrr 21 22212 12111. . . .

Меры по устранению мультиколлинеарности • Удаление из модели переменных с высоким коэффициентом парной корреляции между факторами, если это не противоречит теории, положенной в основу построения модели • Увеличение числа наблюдений • Изменение функциональной формы модели • Функциональные преобразования тесно связанных между собой переменных. Например, поступление налогов в городах зависит от количества жителей и площади города. Очевидно, что эти переменные будут тесно связаны. Их можно заменить одной относительной переменной «плотность населения» • Построение моделей по отклонениям от средней величины • Использование специальных методов обработки временных рядов

Гетероскедастичность Основные предпосылки МНК: – случайный характер остатков – нулевая средняя остатков, не зависящая от фактора x – гомоскедастичность (дисперсия каждого отклонения одинакова для всех значений x ) – отсутствие автокорреляции остатков – остатки должны подчиняться нормальному распределению

Зависимость остатков от выровненного значения результата нет зависимости (гомоскедастичность) дисперсия остатков увеличивается с увеличением выровненного значения результата (один из случаев гетероскедастичности

Меры по устранению гетероскедастичности • Увеличение числа наблюдений • Изменение функциональной формы модели • Разделение исходной совокупности на качественно-однородные группы и проведение анализа в каждой группе • Использование фиктивных переменных, учитывающих неоднородность • Исключение из совокупности единиц, дающих неоднородность

Тесты, используемые для выявления гетероскедастичности • Го льдфельда-Квандта • Парка • Глейзера • Уайта

Тест Гольдфельда-Квандта • Все наблюдения упорядочивают по мере возрастания какого-либо фактора, который, как предполагается, оказывает влияние на возрастание дисперсии остатков • Упорядоченную совокупность делят на три группы, причем первая и последняя должны быть равного объема с числом единиц, больших, чем число параметров модели регрессии. Число отобранных единиц обозначим k • По первой и третьей группе находят параметры уравнений регрессии и остатки по ним • Используя данные об остатках моделей первой и третьей группы, рассчитывают фактическое значение F -критерия

Тест Гольдфельда-Квандта 1 3 EE SS SS F df 1 = df 2 = k — m —

Тест Паркаvxbaelnln

Тест Глейзера • k – какое-либо число, например, k = – 1; – 0, 5; 1 vbxae k

Тест Уайта vcxbxae