Основные гипотезы

Линейная регрессионная модель с двумя переменными

Легко убедиться, что для функции вида Y= f(X) для одного X мы можем наблюдать разные значения Y.

Пример 1. X - возраст индивидуума, Y – его зарплата.

Пример 2. X - доход семьи, Y – расходы на питание.

Запишем уравнение зависимости Y_t от X_t в виде

Y_t=a+bx_t+e_t , t= 1,2,3,….,n,

где X_t - неслучайная (детерминированная) величина, а Y_t, e_t - случайные величины. Y_T – объясняемая (зависимая) переменная, а X_t - объясняющая (независимая) переменная, или регрессор. Уравнение, приведенное выше, также называется регрессионным уравнением.

Какова природа ошибки e_t?

Есть две основные возможные причины случайности:

1. Наша модель является упрощением действительности, и на самом деле есть еще другие параметры (пропущенные), от которых зависит Y. Зарплата, например, может зависеть от уровня образования, стажа работы, пола, типа фирмы (государственная, частная) и т. д.

2. Трудности в измерении данных (присутствуют ошибки измерений). Например, данные по расходам семьи на питание составляют на основании записей участников опросов, которые, как предполагается, тщательно фиксируют свои ежедневные расходы. Разумеется, при этом возможны ошибки.

Таким образом, можно считать, что e_t – случайная величина с некоторой функцией распределения, которой соответствует функция распределения случайной величины Y_t.

1. Y_t=a+bX_t+e_t, t=1,2,….,n – спецификация модели.

2. X_t – детерминированная величина; вектор (X₁,X₂,…,X_n)`не коллинеарен вектору s = (1,….,1)`.

3а. E e_t = 0, E(e_t²) = V (e_t) = s² – не зависит от t.

3б. E (e_t e_s) = 0. При t ¹ s – некоррелированность ошибок для разных наблюдений.

Часто добавляется условие:

3в. e_t ~ N (0,s²), т.е. e_t – нормально распределенная случайная величина со средним 0 и дисперсией s². В этом случае модель называется нормальной линейной регрессионной.

Обсудим гипотезы, лежащие в основе линейной регрессионной модели.

1.Спецификация модели отражает наше представление о механизме зависимости Y_t от X_t и сам выбор объясняющей переменной X_t.

Условия 3а, 3б в векторной форме могут быть записаны следующим образом:

E e = 0, V(e) = s²I_n,

где e = (e_{1, …….,} e_n)`, I_n – nxn единичная матрица, nxn - матрица ковариаций.

Условие независимости дисперсии ошибки от номера наблюдения E(e_t²)=V(e_t)=s², t=1,2,3,…,n называется гомоскедастичностью; случай, когда условие гомоскедастичности не выполняется, называется гетероскедастичностью. На рис. 3 приведен пример типичной картины для случая гомоскедастичности ошибок, на рис. 4 – пример данных с гетероскедастичными ошибками.

Рис. 3 Рис. 4

Условие E (e_te_s) = 0, t ¹ s указывает на некоррелированность ошибок для разных наблюдений. Это условие часто нарушается в случае, когда наши данные являются переменными рядами. В случае, когда это условие не выполняется, говорят об автокорреляции остатков.

Для простейшего случая автокорреляции остатков, когда E(e_t,e_t+1)=r¹0, типичный вид данных показан на рис. 5 (r> 0) и 6 (r<0).

Рис. 5 Рис. 6

Отметим, что условия 3а, 3б можно также написать в терминах зависимой переменной: Ey_t=a+bx_t, V(y_t)=s² , Cov(y_t, y_s)=0, t¹s.