Теорема Гаусса — Маркова

Состоятельность и несмещенность МНКГоценок.

Случайной ошибки регрессии.

В большинстве случаев генеральная дисперсия случайной ошибки — величина неизвестная, поэтому возникает необходиn мость в расчете ее несмещенной выборочной оценки.

Несмещенной оценкой дисперсии случайной ошибки линейn ного уравнения парной регрессии является величина:

n

i

å e 2

e

e

=

n

G 2()= S 2()= i −2, (1)

где n — объем выборки;

ei — остатки регрессионной модели:

b

b

i i i i

e = y − y = y − 0− 1 xi.

Оценка дисперсии, вычисляемая по формуле (1), также назыn вается исправленной дисперсией.

В случае множественной линейной регрессии оценка дисперn сии случайной ошибки вычисляется по формуле:

n

e

e

=

i

å iS 2()= n − k −1,

e

где k — число оцениваемых параметров модели регрессии. Оценкой матрицы ковариаций случайных ошибок ov ()буn

дет являться оценочная матрица ковариаций:

e

e

C ()= S 2()´I n, (2)

где I n — единичная матрица.

Оценка дисперсии случайной ошибки уравнения регрессии подчиняется c (хиnквадрат) закону распределения с (n — k — 1)

e

e

степенями свободы, где k — число оцениваемых параметров. Докажем несмещенность оценки дисперсии, т. е. необходимо

доказать, что E(S 2())= G 2().

e e

n

Примем без доказательства следующее выражения: E(S 2())= n −1´ G 2(),

n

e

e

S 2()= n −1´ S 2(),

e

где G 2(e) — генеральная дисперсия случайной ошибки; S2 (e) — выборочная дисперсия случайной ошибки;

æ ö

2()— выборочная оценка дисперсии случайной ошибки. Тогда:

n n

e

e

e

ç ÷

(

è ø

−

e

e

−

E S 2())=E n −1´ S 2() = n −1E(S 2())= = nn 1´ nn 1´ G 2()= G 2(),

что и требовалось доказать.

)

Такимобразом, S 2(e являетсянесмещеннойоценкойдля

G 2(e).

Теоретически можно предположить, что оценка любого параn метра регрессии, полученная методом наименьших квадратов, состоит из двух компонент:

1) константы, т. е. истинного значения параметра;

2) случайной ошибки Cov (x, e), вызывающей вариацию параn метра регрессии.

На практике такое разложение невозможно в связи с неизn вестностью истинных значений параметров уравнения регрессии и значений случайной ошибки, но в теории оно может оказаться полезным при изучении статистических свойств МНКnоценок: состоятельности, несмещенности и эффективности.

.

Докажем,чтозначениеМНКnоценкиb зависитотвеличины

случайной ошибки e

МНКnоценка параметра регрессии b рассчитывается по формуле:

b

=

.

Cov (x, y)1 G 2(x)

Ковариация между зависимой переменной y и независимой переменной x может быть представлена как:

b

b

e

b

b

x

Cov (x, y)= Cov (x,(0+ 1 x +))= Cov (x, 0)+ Cov (x, 1)+ Cov (x,). e

Дальнейшие преобразования полученного выражения провоn дятся исходя из свойств ковариации:

1) ковариация между переменной x и какойnлибо константой A равнанулю: Cov (x, A)=0, где A =const;

e

b

+.

b

= =

2) ковариация переменной x с самой собой равна дисперсии этойпеременной: Cov (x, x)= G 2(x).

Следовательно, на основании свойств ковариации можно заn писать, что:

b

b

Cov (x, 0)=0, так как 0=const;

b

b

b

Cov (x, 1 x)= 1´ Cov (x, x)= 1´ G 2(x).

Таким образом, ковариация между зависимой и независимой переменными Cov (x, y) может быть представлена в виде выражеГ ния:

e

Cov (x, y)= b G 2(x)+ Cov (x,).

b

e

В результате несложных преобразований МНКnоценка параn метра уравнения регрессии 1принимает вид:

b G 2(x)+ Cov (x,) Cov (x,) 1 G 2(x) 1 G 2(x)

(3)

Из формулы (3) следует, что МНКnоценка b действительно моn жет быть представлена как сумма константы b и случайной ошибки Cov (x, e), которая и вызывает вариацию данного параметn

ра регрессии.

Аналогичнодоказывается,чтоиоценкапараметрарегрессииb,

)

полученная методом наименьших квадратов, и несмещенная оценка дисперсии случайной ошибки 2(e могут быть предстаn влены как сумма постоянной составляющей (константы) и слуn чайной компоненты, которая зависит от ошибки уравнения реn грессии e.