Тема 3 Парная регрессия и корреляция 3 1

Тема 3. Парная регрессия и корреляция 3. 1. Спецификация модели парной регрессии 3. 2. Оценка параметров парной регрессии и корреляции (идентификация модели) 3. 3. Оценка качества эконометрической модели парной регрессии (верификация модели)

3. 1. Спецификация модели парной регрессии Спецификация модели – обоснованный с позиций экономической теории выбор вида и структуры модели, отбор факторов и математическое описание характера их влияния на результирующий признак

2 Парная регрессии Парная регрессия – это уравнение связи двух переменных y и x: y = f (x) + , где y – зависимая переменная (результативный признак, объясняемая переменная); x – независимая переменная (фактор-аргумент, объясняющая переменная); f(x) – функция регрессии; – случайная величина (возмущение), отражающая действие не учтенных в функции регрессии факторов случайной природы. Расчетное значении зависимой переменной, вычисляемое с помощью функции регрессии для заданной величины аргумента, будем обозначать , а выражение будем называть теоретическим уравнением регрессии.

Линейные и нелинейные регрессии 2 Различают линейные и нелинейные регрессии. Линейная регрессия записывается в следующем виде: y = a + b * x + Нелинейные регрессии делятся на два класса: регрессии, нелинейные по объясняющим переменным · полиномы вида y = a + b 1 * x + b 2 * x 2 + b 3 * x 3 + ; · гипербола • экспоненциальная y = e a + b * x * . регрессии, нелинейные по оцениваемым параметрам · степенная y = a * xb * ; · показательная y = a * bx * ;

Аналитический выбор вида функции регрессии 2 В парной регрессии выбор вида функции f(x) может быть осуществлен аналитическим или экспериментальным методами. Аналитический метод основан на содержательном анализе экономической природы связи исследуемых признаков. Например, затраты предприятия могут быть подразделены на условно-переменные, изменяющиеся пропорционально изменению объема продукции (расход материалов, оплата труда и др. ) и условно-постоянные, не меняющиеся с изменением объема производства (арендная плата, содержание администрации и др. ). Соответственно зависимость затрат на производство y от объема продукции x характеризуется линейной функцией: y = a + b * x , а зависимость себестоимости единицы продукции z от объема продукции – гиперболой:

Линейная модель парной регрессии 2 Линейная модель парной регрессии y = a + b*x + находит широкое применение ввиду четкой экономической интерпретации ее параметров. В линейной модели коэффициент b имеет смысл увеличения переменной y при единичном приращении x: Знак параметра a интерпретируется как качественный показатель соотношения темпов изменения результата y и фактора x. При a > 0 относительное изменение результата происходит медленнее, чем изменение фактора: При a < 0 - относительное изменение результата происходит быстрее, чем относительное изменение фактора.

Полиномиальные модели (параболы) 2 Квадратичная функция регрессии y = a + b 1 * x + b 2 * x 2 может отражать зависимость между объемом выпуска и средними издержками; между расходами на рекламу и прибылью. По данным одной из работ зависимость урожайности пшеницы от количества внесенных удобрений удачно описывается параболой y = 3, 4 + 2, 986 * x - 0, 214 * x 2 + , что соответствует наличию оптимальной дозы внесения удобрений, превышение которой негативно сказывается на урожайности. Кубическая функция y = a + b 1 * x + b 2 * x 2 + b 2 * x 3 в микроэкономике моделирует зависимость общих издержек от объема выпуска.

Гиперболическая модель 2 Гиперболическая модель применяется в тех случаях, когда увеличение объясняющей переменной x асимптотически приближает зависимую переменную y к некоторому пределу. y y a a < 0 a > 0 b > 0 a > 0 b < 0 x a a x x Классический пример гиперболической модели - кривая Филлипса - по имени английского экономиста, обработавшего данные по уровню безработицы более чем за 100 -летний период. Она характеризует соотношение между уровнем безработицы x и заработной платой y, отражая тот факт, что с ростом уровня безработицы темп изменения заработной платы падает и в пределе стремится к нулю.

Кривая Энгеля 2 Гипербола с отрицательным значением коэффициента b известна как кривая Энгеля – по имени немецкого статистика, впервые показавшего зависимость семейных расходов на товары длительного пользования y от величины семейного дохода x Вместе с тем гипербола не является единственно возможной функцией для описания кривой Энгеля. В дальнейшем некоторые исследователи использовали полулогарифмическую кривую y = a + b * lnx + и получили лучшее совпадение с данными наблюдений.

2 Логистическая кривая Логистические кривые используются для описания поведения показателей, имеющих определенные уровни насыщения, например, для описания спроса на товар y от y дохода x 0 x Логистическая кривая имеет две горизонтальные асимптоты y = 0 и y = 1/a и точку перегиба (ln(b/a), 1/2 a). Линеаризация этой функции производится путем перехода к переменным z = 1/y, u = e-x.

Степенная модель 2 В эконометрических исследованиях, в частности, при изучении зависимости величины спроса y от цены товара x, широко используется степенная функция y = a * xb * Ее особенность в том, что при изменении величины x остается неизменным коэффициент эластичности, характеризующий относительный прирост значения функции y при увеличении x на один процент. В функции спроса величина b отрицательна, ее абсолютное значение характеризует уменьшение спроса в процентах на каждый процент возрастания цены товара. Степенная модель путем логарифмирования приводится к логарифмической: lny = lna + blnx + ln.

Полулогарифмические модели 2 Полулогарифмические модели вида lny = a + b*x + , y = a + b*lnx + используют, когда необходимо определять темп роста какоголибо экономического показателя. В первой модели коэффициент b имеет смысл темпа прироста переменной y по переменной x: Во второй модели коэффициент b определяет изменение переменной y вследствие единичного относительного прироста x (например, на 1%):

Коэффициент эластичности 3 Коэффициент эластичности характеризует относительный прирост значения функции y при увеличении аргумента x на один процент. Общая формула коэффициента эластичности: Коэффициент эластичности для степенной функции остается постоянным при изменении x, для линейной и других функций регрессии его величина зависит от x, поэтому вычисляется среднее значение коэффициента эластичности:

Коэффициенты эластичности некоторых функций Вид функции Линейная y = a + b * x Первая производная Коэффициент эластичности b Гипербола Показательная y = a * bx lnb* a * bx x * lnb Степенная a*b * xb-1 b b * e a + b * x xb y = a * Логарифмическая y = a + b * lnx Экспоненциальная y = e a + b * x 3

Экспериментальный метод выбора 2 вида функции регрессии

3. 2. Оценка параметров парной регрессии и корреляции Идентификация модели – статистическое оценивание параметров модели по выборочным данным

Метод наименьших квадратов 4 Построение модели регрессии сводится к оценке ее параметров по данным наблюдений значений y и x. Для оценки параметров регрессии используют метод наименьших Фактическое значение результирующего квадратов (МНК). МНК позволяет получить такие значения показателя в j-м наблюдении минимальна сумма квадратов параметров, при которых Расчетное значение результирующего отклонений фактических (наблюдавшихся) значений показателя для j-го наблюдения результативного признака y от теоретических (рассчитанных по уравнению регрессии), т. е. (здесь и далее в целях упрощения записи формул символ Регрессионный остаток для j-го наблюдения применяется вместо ).

Определение параметров линейной 4 регрессии Значение результирующего показателя Для линейных уравнений (y = a + b * x) и нелинейных уравв j-м наблюдении нений, приводимых к линейным путем логарифмирования, Значение фактора в j-м наблюдении замены переменных и т. д. , решается задача поиска экстремума функции двух неизвестных a и b Число наблюдений что приводит к системе нормальных линейных алгебраических уравнений с двумя неизвестными:

Формулы для расчета параметров 4 линейной регрессии Решением системы нормальных уравнений являются следующие значения (выборочные оценки) параметров уравнения регрессии: Ковариация y и x Дисперсия x где - средние значения результативного и факторного признаков по данным наблюдений; - среднее значение парных произведений результативного и факторного признаков; - средний квадрат факторного признака.

Матричные соотношения для расчета 4 параметров линейной регрессии Система нормальных уравнений и матричная формула для расчета параметров парной линейной регрессии: где - матрица-столбец значений факторного признака, дополненная слева “единичным” столбцом; - матрица-столбец значений результативного признака; - матрица параметров парной линейной регрессии; - транспонированная матрица X.

Матрицы и для парной 4 линейной регрессии Матрицы и играют важную роль в оценивании параметров уравнения регрессии. Для парной линейной регрессии Диагональные элементы матрицы используются при вычислении стандартных ошибок параметров a и b парной линейной регрессии.

Коэффициент и индекс корреляции 5 Тесноту связи изучаемых переменных оценивает линейный коэффициент парной корреляции ryx для линейной регрессии ( -1 £ ryx £ 1): Остаточная дисперсия и индекс корреляции ryx для нелинейной регрессии Дисперсия y (0 £ ryx £ 1):

Коэффициент детерминации 5 Коэффициент (индекс) детерминации R 2 равен отношению суммы квадратов отклонений, обусловленной регрессией (называемой также “объясненной” или “факторной”), к общей сумме квадратов отклонений Величина коэффициента детерминации R 2 должна быть достаточно близкой к единице, чтобы уравнение регрессии могло использоваться для практических целей.

Функции “Регрессия” и “Корреляция” 5 пакета “Анализ данных”

Построение нелинейной регрессии

Вычисление индекса корреляции 5 для обратной функции Если линеаризация нелинейной регрессии не связана с преобразованием зависимой переменной, то индекс корреляции исходной регрессии совпадает с коэффициентом корреляции линеаризованной регрессии, иначе – не совпадает.

3. 3. Оценка качества эконометрической модели парной регрессии Верификация модели – статистическая проверка адекватности модели данным наблюдений

Основное соотношение дисперсионного анализа 6 При оценке значимости модели регрессии, ее адекватности данным наблюдений используется основное соотношение дисперсионного анализа: где - общая сумма квадратов отклонений; - сумма квадратов отклонений, обусловленная регрессией; - остаточная сумма квадратов отклонений.

Коэффициент детерминации 5 Адекватность модели данным наблюдений оценивается коэффициентом (индексом) детерминации R 2, который равен отношению суммы квадратов отклонений, обусловленной регрессией (называемой также “объясненной” или “факторной”), к общей сумме квадратов отклонений Коэффициент детерминации – квадрат коэффициента или индекса корреляции. Величина коэффициента детерминации R 2 должна быть достаточно близкой к единице (R 2 > 0, 8), чтобы модель регрессии могла использоваться для практических целей.

Скорректированный коэффициент 5 детерминации Величина коэффициента детерминации, рассчитанная по выборочным данным, имеет систематическую ошибку, тем большую, чем меньше число наблюдений n и больше число факторов m, учитываемых в уравнении регрессии. Для того чтобы не допустить возможного преувеличения тесноты связи результативного показателя с факторными признаками, используется скорректированный коэффициент (индекс) детерминации: где m – число параметров при переменных x; n – число наблюдений.

Число степеней свободы 6 В статистике любая сумма квадратов отклонений связана с числом степеней свободы df (degress of freedom), которое показывает, сколько независимых отклонений из n возможных участвует в образовании данной суммы квадратов. Основному соотношению дисперсионного анализа для парной регрессии сопоставляется соотношение степеней свободы в виде: n – 1 = 1 + (n - 2) В общем случае – для множественной регрессии соотношение степеней свободы имеет вид: n – 1 = m + (n - m - 1), где m – число факторов в модели множественной регрессии.

6 Дисперсии на одну степень свободы Разделив каждую сумму квадратов на соответствующее ей число степеней свободы, получим средние квадраты отклонений или, что то же самое, дисперсии на одну степень свободы: общая дисперсия факторная дисперсия остаточная дисперсия (квадрат стандартной ошибки регрессии) Факторная и остаточная дисперсии используются при оценке статистической значимости уравнения регрессии с помощью F-критерия Фишера

F-критерий Фишера 6 Статистическая значимость модели регрессии оценивается с помощью F-критерия Фишера. Проверяется гипотеза H 0 о статистической незначимости уравнения регрессии. Для этого сравниваются фактическое Fфакт и табличное Fтабл значения F -критерия. Fфакт определяется из соотношения факторной и остаточной дисперсий, рассчитанных на одну степень свободы: где n – число наблюдений; m – число факторов (в парной регрессии m=1). Fтабл вычисляется с помощью функции Excel: Fраспобр(уровень значимости; степени свободы числителя; степени свободы знаменателя). Если Fфакт > Fтабл , уравнение регрессии значимо.

Гипотеза о значимости параметров 4 уравнения регрессии Пусть по выборке объема n построена модель парной линейной регрессии y = a + b*x + . Параметры этой модели a и b являются случайными величинами - выборочными средними со стандартными ошибками ma и mb. Точно также выборочное значение коэффициента корреляции r является случайной величиной со стандартной ошибкой mr. Для проверки значимости параметров регрессии и коэффициента корреляции выдвигаются нулевые гипотезы: H 0: a = 0; H 0: b = 0; H 0: r = 0 и альтернативные гипотезы: H 1: a ≠ 0; H 1: b ≠ 0; H 1: r ≠ 0. Проверка гипотез проводится с помощью статистик имеющих распределение Стьюдента с n-2 степенями свободы.

Случайные ошибки коэффициентов 4 регрессии и корреляции Дисперсии оценок параметров парной линейной регрессии представляют собой диагональные элементы матрицы Стандартные ошибки параметров линейной регрессии определяются по формулам: Ошибка коэффициента корреляции

Проверка значимости параметров 4 регрессии и коэффициента корреляции Сравнивая фактическое tфакт и критическое (табличное) tтабл значения t-статистики (с n - 2 степенями свободы) для каждого из рассмотренных показателей, принимаем или отклоняем гипотезу H 0 о статистически незначимом отличии анализируемого показателя от нуля. Если tтабл < tфакт , то H 0 отклоняется, т. е. соответствующий показатель не случайно отличается от нуля и сформировался под влиянием систематически действующего фактора x. Если tтабл > tфакт , то гипотеза H 0 не отклоняется и признается случайная природа формирования a, b или rxy. В парной линейной регрессии tb = tr , Для вычисления tтабл в ЭТ Excel используется функция Стьюдраспобр(уровень значимости; степени свободы).

Ошибки параметров нелинейной 4 регрессии При использовании линеаризуемых функций, затрагивающих преобразования зависимой переменной y, ошибки параметров регрессии должны вычисляться с учетом указанных преобразований. Так, для показательной функции y = a*bx сначала определяются ошибки параметров преобразованного уравнения lny = lna + x * lnb, т. е. lna и lnb, далее с помощью обратного преобразования (потенцирования) находят ошибки параметров в исходном соотношении. В степенной функции y = a*xb при определении стандартной ошибки параметра b используются не исходные значения y и x, а их логарифмы:

Оценка коэффициента корреляции при значениях, близких к – 1 или +1 5 Если величина коэффициента корреляции по модулю близка к 1, то распределение его оценки отличается от нормального (так как значения коэффициента корреляции изменяются в диапазоне от – 1 до +1). Для этого случая Р. Фишером предложено использовать вспомогательную величину При изменении r от – 1 до +1 величина z изменяется от - до + и закон ее распределения близок к нормальному. Стандартная ошибка величины z определяется по формуле Нулевая гипотеза об отсутствии корреляции проверяется с использованием статистики tz = z / mz. Для уровня значимости 0, 05 и 0, 01 разработаны таблицы критических значений r.

3. 4. Интервалы прогноза по линейному уравнению регрессии Если качество уравнения регрессии признается достаточным, то вычисляются прогнозные значения результативного признака и строятся доверительные интервалы прогноза

Стандартная ошибка прогноза Точечный прогноз результативного признака yp определяется подстановкой в регрессию прогнозного значения xp Для построения доверительного интервала прогноза вычисляется стандартная ошибка mp прогноза , которая, как видно из последнего соотношения, зависит от ошибки и ошибки коэффициента регрессии b: С учетом рассеивания yp относительно линии регрессии полная величина стандартной ошибки прогноза составит

Доверительный интервал прогноза где табличное значение выбирается в зависимости от доверительной вероятности прогноза и числа наблюдений. y Интервал прогноза увеличивается по мере удаления от среднего значения x. xp x

Доверительные интервалы прогноза для тестового примера

Прогноз с использованием пакета Statistica

ТЗ_3. 1 Выбрать правильный ответ В парной регрессии y = a + b*x + 1) отсутствуют случайные компоненты 2) все компоненты, кроме y, являются случайными 3) все компоненты, кроме x, являются случайными 4) только остаточный член является случайной величиной 5) только зависимая переменная y и остаточный член являются случайными величинами 3)

ТЗ_3. 2 Выбрать правильный ответ Независимые переменные в регрессионных моделях называются 1) откликами 2) возмущениями 3) регрессорами 4) остатками 3

ТЗ_3. 3 Установить соответствие Функция Модель 1) Степенная а) y = a + b * ln(x) + 2) Показательная б) y = a * bx * 3) Полулогарифмическая в) ln(y) = a + b * x + г) y = a * xb * 1 г, 2 б, 3 а, в

ТЗ_3. 4 Установить соответствие Экономическая интерпретация Модель 1) Зависимость расходов на товары а) длительного пользования от семейных расходов (кривая Энгеля) 2) Зависимость заработной платы от уровня безработицы (кривая Филлипса) б) 3) Зависимость спроса от цены товара в) г) y = a * x -b * 1 б, 2 в, 3 г

ТЗ_3. 5 Выбрать правильный ответ Функция регрессии на графике: 4 1. Степенная y = 0, 75 * x 0, 5 2. Экспоненциальная y = e 0, 1 + 0, 2*x 3. Гипербола 4. Гипербола

ТЗ_3. 6 Выбрать правильные ответы Регрессии, линейные по оцениваемым параметрам: 1. y = a * xb * 2. y = a * bx * 3. y = e a + b*x * 4. y = a + b * x + c * x 2 + 5. 3, 4, 5

ТЗ_3. 7 Выбрать правильные ответы Внутренне нелинейные модели регрессии: 1. y = a * xb + 2. y = a * bx * 3. y = a + e b*x + 4. y = a + b * x + c * x 2 + 5. y = a + b * xc + 1, 3, 5

ТЗ_3. 8 Установить соответствие Модель Интерпретация 1. y = a + b * x + а) 2. y = a * xb * б) 3. ln(y) = a + b * x + в) 4. y = a + b * ln(x) + г) 1 в, 2 а, 3 г, 4 б

ТЗ_3. 9 Установить соответствие Коэффициент эластичности Функция регрессии 1. Линейная a + b * x а) 2. Степенная a * xb б) 3. Показательная a * bx в) 4. Гипербола г) 1 б, 2 г, x*ln(b) b 3 а, 4 в

ТЗ_3. 10 Выбрать правильные ответы Оценка параметров регрессии методом наименьших квадратов проводится на основе минимизации 1. 2. 3. 4. 2, 4

ТЗ_3. 11 Выбрать правильные ответы Формулы вычисления коэффициента b парной линейной регрессии y = a + b * x + 1. 5. 2. 6. 3. 4. 1, 3, 4, 5

ТЗ_3. 12 Выбрать правильные ответы Формула вычисления коэффициента парной линейной корреляции 1. 5. 2. 6. 3. 4. 4, 5

ТЗ_3. 13 Установить соответствие Система уравнений 1. 2. 3. 1 б, 2 г, 3 в Модель а) y = a + b * ln(x) + б) y = a * xb * в) г)

ТЗ_3. 14 Указать правильную последовательность Уменьшение коэффициента парной линейной корреляции 1. 2. 4, 1, 2, 3. 4. 3

ТЗ_3. 15 Выбрать правильные ответы Индекс корреляции исходной модели совпадает с коэффициентом корреляции линеаризованной модели 1. y = a * xb * 2. y = a * bx * a + b*x * 3. y = e 2 4. y = a + b * x + c * x + 5. 6. 4, 5