Эффективность МНКйоценок. Теорема Гаусса—Маркова

С помощью теоремы Гаусса — Маркова доказывается эффекn тивность оценок неизвестных параметров уравнения регрессии, полученных с помощью МНК.

Нормальная, или классическая, линейная модель парной реn грессии (регрессии с одной переменной) строится исходя из слеn дующих предположений:

1) факторный признак x является неслучайной или детермиn

;

нированной величиной, не зависящей от распределения слуn

чайной ошибки уравнения регрессии e

2) математическое ожидание случайной ошибки уравнения

регрессииравнонулювовсехнаблюдениях: E()=0, где i =1, n;

3) дисперсия случайной ошибки уравнения регрессии является постоянной для всех наблюдений: D (i)=E(2)= G 2=cons t;

4) случайные ошибки уравнения регрессии не коррелированы

между собой, т. е. ковариация случайных ошибок любых двух разn

ныхнаблюденийравнанулю: Cov (i, j)=E(i e j)=0, где i ¹ j. Это верно тогда, когда изучаемые данные не являются временn ными рядами;

5) основываясь на 3 и 4nм предположениях, добавляется услоn вие о том, что ошибка уравнения регрессии является случайn ной величиной, подчиняющейся нормальному закону распреn деления с нулевым математическим ожиданием и дисперсией G 2/ e∼ N (0, G 2).

0 n

Тогда оценки неизвестных параметров уравнения регрессии, полученные методом наименьших квадратов, имеют наименьn шую дисперсию в классе всех линейных несмещенных оценок, т. е. оценки МНК являются эффективными оценками неизвестных параметров b, ј, b.

Для нормальной линейной модели множественной регрессии теорема Гаусса — Маркова звучит точно так же.

Дисперсии МНКnоценок неизвестных параметров записыn ваются с помощью матрицы ковариаций. Матрица ковариаций МНКnоценок параметров линейной модели парной регрессии выглядит так:

Cov ()= G 2(0)

è 0

0 ö G 2(1)÷

где G 2(0)— дисперсия МНКnоценки параметра уравнения регрессии;

−

G 2(1)—дисперсия МНКnоценки параметра уравнения регрессии. Общая формула для расчета матрицы ковариаций МНКnоцеn

ноккоэффициентоврегрессии: Cov ()= G 2()´(XTX) 1,

)

где G 2(e —дисперсияслучайнойошибкиуравнениярегрессии.Рассмотрим процесс определения дисперсий оценок коэффиn

циентов линейной модели парной регрессии, полученных с поn

мощью метода наименьших квадратов.

Дисперсия МНКnоценки коэффициента уравнения регрессии b:

(

)

G x

ç ÷

è ø

2 æ 2 ö G 2(b)= n 1+ G 2(x);

дисперсия МНКnоценки коэффициента уравнения регрессии b:

)

(

G 2(1)= nGG 2(x),

где G 2()— дисперn

сия случайной ошибки уравнения регрессии e;

G 2(x)— дисперсия независимого признака уравнения реn грессии;

n — объем выборочной совокупности.

На практике значение дисперсии случайной ошибки уравнеn

)

ния регрессии G 2(e зачастую неизвестно, поэтому для опредеn ления матрицы ковариаций МНКnоценок применяют оценку дисперсии случайной ошибки уравнения регрессии S 2().В слуn чае парной линейной регрессии оценка дисперсии случайной ошибки будет рассчитываться по формуле:

−

å e 2 G 2()= S 2()= i =1 2,

i i i

где e 2= y − y —остаткирегрессионноймодели.

Тогда общую формулу для расчета матрицы ковариаций МНКnоценок коэффициентов регрессии на основе оценки дисn персии случайной ошибки уравнения регрессии можно записать следующим образом: