Регрессионный анализ Пошаговые алгоритмы регрессионного анализа Явление

Регрессионный анализ Пошаговые алгоритмы регрессионного анализа

Явление мультиколлинеарности Мультиколлинеарность - это негативное явление, обусловленное тесной взаимосвязью объясняющих переменных n 1. При наличии мультиколлинеарности матрица (XTX) становится слабо обусловленной, т. е. ее определитель близок к нулю. n 2. Нахождение обратной матрицы связано с делением на определитель (т. е. величину близкую к нулю). Следовательно, все решения становятся неустойчивыми.

Явление мультиколлинеарности 3. В результате вектор b=(b 0 b 1. . . bk)T содержит элементы, знаки которых не поддаются содержательной интерпретации. 4. Находящиеся на главной диагонали ковариационной матрицы дисперсии могут оказаться неоправданно завышенными 5. В этой связи значимые коэффициенты βj могут оказаться статистически незначимыми, т. к.

Явление мультиколлинеарности 6. Мультиколлинеарность ведет к неоправданно завышенному множественному коэффициенту корреляции Ry Наличие мультиколлинеарности можно проверить по матрице парных коэффициентов корреляции R=(rjl) j, l=1, 2, …, k. О мультиколлинеарности говорят, если rjl>0, 8. Избавиться от мультиколлинеарности позволяют пошаговые алгоритм регрессионного анализа.

Пошаговые алгоритмы регрессионного анализа Цель: получение уравнения регрессии со всеми значимыми по экономическим и статистическим критериям коэффициентами регрессии. Так как независимые переменные взаимосвязаны между собой, то отбрасывание одной (незначимой) переменной приведет к изменению значений bj и tj у оставшихся переменных. Следовательно, ранее значимые коэффициенты могут оказаться незначимыми и наоборот.

Пошаговый алгоритм регрессионного анализа с исключением переменных n 1 этап. В модель включаются все объясняющие переменные Находят оценку неизвестных параметров модели с помощью МНК. n

Пошаговый алгоритм регрессионного анализа с исключением переменных 2 этап. Из модели исключается одна из незначимых переменных xj, которой соответствует незначимый коэффициент регрессии с минимальным по абсолютной величине значением t-статистики. Для оставшихся (k-1) объясняющих переменных вновь проводят регрессионный анализ и с помощью МНК оценивают вектор неизвестных параметров b. и так далее…. .

Пошаговый алгоритм регрессионного анализа с исключением переменных Исключение переменных продолжается до тех пор, пока все оставшиеся коэффициенты регрессии окажутся значимыми по экономическим и статистическим критериям. Таким образом, алгоритм заканчивается получением уравнения регрессии со всеми значимыми коэффициентами.

Пошаговый алгоритм регрессионного анализа с включением переменных Состоит в переборе вех возможных вариантов зависимости переменной y от факторов xj и выборе лучшей по экономическим и статистическим критериям (с учетом мультиколлинеарности) модели

Пошаговый алгоритм регрессионного анализа с включением переменных n n n Облегченный вариант основывается на анализе матрицы парных коэффициентов корреляции. На первом этапе в уравнение регрессии включается переменная xj, имеющая максимальное значение коэффициента парной корреляции с зависимой переменной y. На каждом следующем шаге в уравнение регрессии включается еще одна переменная по аналогичному критерию.

Пошаговый алгоритм регрессионного анализа с включением переменных Необходимо помнить, что в уравнение регрессии не могут быть одновременно включены две переменные (имеющие коэффициент парной корреляции превышающий 0, 80 (0, 85) ! В этом случае необходимо рассматривать несколько возможностей включения переменных в модель и выбирать ту ветвь, которая имеет лучшие характеристики адекватности и точности, а также руководствоваться экономическими соображениями и интерпретируемостью полученных результатов.

Пошаговый алгоритм регрессионного анализа с включением переменных Вариант 2 При включении в модель переменных анализируется значение скорректированного коэффициента детерминации В уравнение регрессии включается переменная, приводящая к максимальному возрастанию Алгоритм заканчивается, когда включение переменных в модель не приводит к росту этого коэффициента (или сопровождается его уменьшением).

Анализ результатов j 5 n n bj 5, 2 sbj tj 0, 39 4, 17 р R 2 0, 007 0, 81 Ср. относите льная ошибка аппрокси мации 15% 1. F набл. – наблюдаемое значение статистики (чем выше, тем лучше) 2. R 2 - коэффициент детерминации 3. р-уровень значимости ( 4. Sbj – оценка среднеквадратического отклонения (чем ниже значение, тем лучше качество коэффициента)

Анализ результатов 5. Средняя относительная ошибка аппроксимации 6. Расчет и интерпретация коэффициентов эластичности (Коэффициент эластичности показывает на сколько % в среднем изменится y, если xj увеличится на 1% (при фиксированных значениях остальных показателей).

Описание модели n n n Под уравнением регрессии необходимо указать: 1. Коэффициент детерминации R 2 и привести его интерпретацию; 2. Наблюдаемое значение F статистики с выводом о значимости уравнения регрессии 3. t-статистики для каждого включенного в модель коэффициента регрессии с указанием критического значения. 4. Указать среднею ошибку аппроксимации 5. Рассчитать и проинтерпретировать все коэффициенты эластичности. Сделать вывод о влиянии регрессоров на результативный показатель. 6. В случае работы с временными массивами данных – расчет и интерпретация коэффициента Дарбина-Уотсона с указанием критических значений.

Выбор формы зависимости 1. Исследование общих экономических закономерностей 2. Каков вид функции? 3. Привлечение экономической теории. Выбор параметрического семейства функций. Например, зависимость между объемом произведенной продукции и основными факторами производства – трудом и капиталом (производственная функция Кобба-Дугласа), зависимость спроса на товары или услуги от цены и среднедушевого дохода семьи (функция спроса) являются нелинейными. 4. Сбор статистических данных 5. Идентификация модели 6. Верификация модели

Выбор формы зависимости При выборе общего вида функции регрессии, как правило, идут от простого к сложному, начиная с анализа возможности использования простейших, хорошо интерпретируемых моделей и только затем переходят к моделированию более сложными уравнениями.

Нелинейные регрессионные моделт n полиномиальные n Степенные n Равносторонняя гипербола (обратная модель)

Нелинейные регрессионные модели Экспоненциальная n Функция Гомперца n Показательная где а - положительная константа n Логистическая

Нелинейные регрессионные модели Различают два класса нелинейных регрессионных моделей: 1. Нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам n Примером могут служить следующие модели: n полиномиальная n гиперболическая (обратная модель)

Нелинейные регрессионные модели 2. Нелинейные как относительно включенных в анализ объясняющих переменных, так и по оцениваемым параметрам n Примером таких нелинейных моделей являются: n степенная n показательная n экспоненциальная

Подходы, используемые для оценки параметров нелинейных моделей Для оценки параметров нелинейных моделей используют два подхода. n Первый подход основан на линеаризации модели. С помощью подходящих преобразований исходных переменных исследуемую нелинейную зависимость представляют в виде линейного соотношения между преобразованными переменными. n Второй подход обычно применяется в том случае, когда подобрать соответствующее преобразование не удается. В этом случае применяют методы нелинейной оптимизации на основе исходных переменных.

Линеаризация нелинейных моделей n n n «замена переменных» , логарифмирование обеих частей уравнения, комбинированный.

Замена переменных Суть - замена «нелинейных» объясняющих переменных новыми «линейными» переменными и сведение нелинейной регрессии к линейной. n Например: Полиномиальные модели Полиномиальная модель k-ого порядка может быть приведена к линейному виду путем следующей замены переменных :

Замена переменных Гиперболические модели Гиперболическая модель может быть приведена к линейному виду путем следующей замены переменных :

Логарифмирование обеих частей уравнения n Степенные модели

Логарифмирование обеих частей уравнения Введем обозначения После замены получим линейную функцию

Степенные модели К классу степенных функций относятся кривые спроса и предложения, кривые Энгеля, производственные функции, кривые освоения для характеристики связи между трудоемкостью продукции и масштабами производства в период освоения и выпуска нового вида изделий. Если изучается зависимость спроса на благо (y) от его цены x или от дохода Х , то при такой интерпретации переменных степенная функция называется функцией Энгеля.

Коэффициенты эластичности В степенных регрессионных моделях коэффициенты регрессии являются коэффициентами эластичности. Коэффициент эластичности показывает на сколько % в среднем изменится переменная y, если xj увеличится на 1% при фиксированных значениях остальных показателей.

Комбинированный метод n Зависимость вида Может быть приведена к линейному виду следующими преобразованиями

Логистическая кривая Весьма гибкую форму параметризации искомой регрессионной модели представляет логистическая кривая

Логистическая кривая Кривая имеет две горизонтальные асимптоты у = 0 и и «точку перегиба» . Линеаризация этой зависимости производится с помощью перехода к переменным: Логистические кривые используются для описания поведения показателей, имеющих определенные «уровни насыщения» , например, для описания зависимости спроса на товар (у) от дохода (x), развития производства новых товаров, роста численности населения и т. д.

Описание модели Для полученного степенного уравнения регрессии необходимо указать n 1. коэффициент детерминации R 2 и привести его интерпретацию; n 2. Наблюдаемое значение F статистики с выводом о значимости уравнения регрессии n 3. t-статистики для каждого включенного в модель коэффициента регрессии с указанием критического значения. n 4. Расчет и интерпретация всех коэффициентов эластичности; n 5. Расчет средней ошибки аппроксимации n 6. В случае временных рядов – расчет и интерпретация коэффициента Дарбина-Уотсона с указанием критических значений.

Выбор факторных признаков n n n Факторы должны являться причинами, а результативный показатель – их следствием. Факторные признаки не должны быть составными частями результативного признака Следует избегать дублирования факторов Недопустимо включение в модель мультиколлинеарных переменных В модель следует включать факторы одинакового уровня иерархии