Предпосылки применения МНК

Свойства коэффициентов регрессии существенным об­разом зависят от свойств случайной составляющей. Для того что­бы регрессионный анализ, основанный на обычном методе наименьших квад­ратов, давал наилучшие из всех возможных результаты, дол­жны выполняться следующие условия, известные как условия Гаусса – Маркова.

1. Математическое ожидание случайной составляющей в любом наблюдении должно быть равно нулю. Иногда случайная составляющая будет положительной, иногда отрицательной, но она не должна иметь систематичес­кого смещения ни в одном из двух возможных направлений.

2. В модели () возмущение (или зависимая переменная ) есть величина случайная, а объясняющая переменная - вели­чина неслучайная.

Если это условие выполнено, то теоретическая ковариация между независи­мой переменной и случайным членом равна нулю.

3. предполагает отсутствие систематической связи между значени­ями случайной составляющей в любых двух наблюдениях. Например, если случайная составляющая велика и положительна в одном наблюдении, это не должно обусловливать систематическую тенденцию к тому, что она будет большой и положительной в следующем наблюдении. Случайные составляющие должны быть независимы друг от друга.

В силу того, что , данное условие можно записать следую­щим образом:

Возмущения не коррелированны (условие независимости случайных составляющих в различных наблюдениях).

Это условие означает, что отклонения регрессии (а значит, и сама зависимая переменная) не коррелируют. Условие некоррелируемости огра­ничительно, например, в случае временного ряда . Тог­да третье условиеозначает отсутствие автокорреляции ряда .

4. дисперсия случайной составляющей должна быть постоянна для всех наблюдений. Эта постоянная дисперсия обычно обозначается , или часто в более крат­кой форме , а условие записывается следующим образом:

Величина , конечно, неизвестна. Одна из задач регрессионного анализа состоит в оценке стандартного отклонения случайной составляющей. Это условие гомоскедастичности, или равноизменчивости случайной составляющей (возмущения).

Предположение о нормальности Наряду с условиями Гаусса— Маркова обычно также предполагается нормаль­ность распределения случайного члена. Дело в том, что если случайный член нормально распределен, то так же будут распределены и коэффициенты регрессии.