Обобщенный метод наименьших квадратов –ОМНК (GLS)

Обобщенный метод наименьших квадратов (ОМНК) применяется в том случае, если нарушена третья, либо четвертая предпосылки нормальной линейной регрессионной модели, т. е. если случайные составляющие не имеют постоянной дисперсии или коррелированны между собой. Это характерно для неоднородной совокупности, состоящей из сильно отличающихся друг от друга единиц.

В этом случае имеет место обобщенная линейная модель множественной регрессии, которая в матричной форме выглядит так:

X – неслучайная матрица, имеющая полный ранг, т, е. х₁, х₂,..., х_m – неслучайные переменные.

М(U) = 0.

, где С₀ – некоторая заранее известная матрица.

Основное отличие обобщенной регрессионной модели от нормальной состоит в виде матрицы ковариации случайных составляющих – С_U. В нормальной модели предполагается, что матрица С₀ равна единичной матрице. В обобщенной модели допускается, что ковариации (следовательно, дисперсии и корреляции) остатков могут быть произвольными, следовательно, и матрица С₀ может содержать произвольные значения. В этом – суть обобщения нормальной модели.

Применение традиционного (обычного) МНК к обобщённой регрессионной модели дает состоятельные и несмещенные оценки. Однако данные оценки становятся неэффективными. Поэтому для оценивания параметров обобщенной модели пользуются обобщенным МНК. При этом вектор оценок параметров модели определяется по формуле:

(2.8)

Следует отметить, что для обобщенной регрессионной модели, в отличие от нормальной, коэффициент детерминации R² не может служить удовлетворительной мерой качества модели. Он даже не обязан лежать в интервале от 0 до 1, а добавление или удаление независимой переменной не обязательно приводит к его увеличению или уменьшению.

Проверка гипотез о значимости коэффициентов регрессии проводится так же, как и в случае нормальной линейной модели.

Ковариационная матрица МНК-оценок параметров регрессии (которая используется для определения дисперсий и стандартных ошибок оценок параметров) будет рассчитываться как .

В отличие от нормальной модели регрессии , уже нельзя интерпретировать как величину дисперсии случайной составляющей. Однако для получения ковариационной матрицей МНК-оценок ее нужно оценить. Для этого используют следующую формулу:

Для применения ОМНК необходимо знать матрицу С_U, что на практике бывает редко. Рекомендуется оценить каким-либо образом матрицу С_U, а затем использовать эту оценку в формуле (2.8) вместо С₀. Для этого вводят априорные ограничения на структуру матрицы С_U. Данный подход составляет суть так называемого доступного обобщенного метода наименьших квадратов (FGLS) и используется при оценивании параметров в модели с гетероскедастичностью, а также в случае автокорреляции случайных составляющих.

Рассмотрим ковариационную матрицу случайных составляющих в случае их гетероскедастичности и взаимной независимости; Если предположить, что приблизительно пропорциональна х_i т.е. , то ковариационная матрица может быть представлена в виде:

Рассмотрим ковариационную матрицу случайных составляющих в случае их автокорреляции. При сохранении свойства гомоскедастичности и в предположении, что случайные составляющие связаны автокорреляционной зависимостью 1-го порядка: , ковариационная матрица может быть представлена в виде: