ДлятогочтобыоценкуJ
i, полученнуюспомощьюметода наименьших квадратов, можно было бы принять за оценку параn метра J
i, необходимо и достаточно, чтобы оценка J
i удовлетвоn ряла трем статистическим свойствам: несмещенности, состояn
тельности и эффективности.
1.J i называется несмещенной оценкой для параметра J i,если ее выборочное математическое ожидание равно оцениваемому параметру генеральной совокупности, т. е.
E(J
i)=J
i, (3)
E(
i) J
i =
i,
где f — смещение оценки.
Докажем, что МНКnоценка 1 является несмещенной оценn кой параметра b для нормальной линейной регрессионной модеn
ли. Исходя из предпосылок данной модели, можно записать: 1) x — неслучайная детерминированная величина;
2) G 2(x) = const — дисперсия независимого признака является известной постоянной величиной;
3) E(Cov (x,e)) = 0 — случайная ошибка и независимый призn нак не коррелированы между собой;
4) E(e) = 0 — математическое ожидание случайной ошибки уравнения равно нулю во всех наблюдениях;
5)
Cov (e, e) = E(e, e) = 0 — случайные ошибки уравнения реn грессии не коррелированы между собой, т. е. ковариация слуn чайных ошибок любых двух разных наблюдений равна нулю. Исходя из определения свойства несмещенности необходимо
доказать, что E 1 = 1.
Доказательство через ковариационную матрицу:
æ Cov (x,eö1 è 1 G 2(x) ø
æ Cov (x,)ö
1 è G 2(x) ø
1+
G 2(
x)= 1b
или в развернутом виде
E(b)=E b+ (
xi −
x)´ e=
è (xi x) ø
+E (
xi −
x)´ =
è (xi x) ø
=b+Eå (
xi −
x) ´E(e=b
è xi x ø
Таким образом, МНКnоценка является несмещенной оценn
кой параметра b.
Несмещенность МНКnоценки b доказывается аналогично. Запишем доказательство несмещенности МНКnоценок параn
метров b в матричной форме:
E()=E((
XTX)1
XTY)=E(
XTX)1
XT (
X +e=
=E (
XTX)−1
XTX b (
XTX)−1
XT e= = +((
XTX)−1
XT E()) =,
т.е.E()=bчтодоказывает несмещенность МНКnоценок параметров b.
2. J
i является
состоятельнойоценкой для параметра J
i,еслиона удовлетворяет закону больших чисел (ЗБЧ). Закон больших
чисел гласит о том, что с увеличением выборки значение оценки J
i стремитсякзначениюпараметраJ
i генеральнойсовокупности:
P (J
i −J
i <)®1при
n ®¥. (4)
Это же условие можно записать с помощью теоремы Бернулли:
J
i ⎯⎯®J
i при
n ®¥,
т.е.значениеоценкиJ
i сходится по вероятности к значению параметраJ
i генеральнойсовокупностиприусловии,чтообъем
выборки стремится к бесконечности.
Для определения состоятельности оценки достаточно выполn нения двух условий:
1) f = 0 или f ® 0 при
n ® ¥ — смещение оценки равно нулю или стремится к нему при объеме выборки, стремящемся
к бесконечности;
2) G 2(J i)®0 при n ®¥ —дисперсия оценки параметра стреn мится к нулю при объеме выборки, стремящемся к бесконечn
ности.
Докажем первое условие состоятельности для МНКnоценки 1:1=E(1)−1=1−1=0.
Докажем второе условие состоятельности для МНКnоценки:
2
G 2(b)=E(b− b2=E ç (
xi −
x)´ ÷=
ë (
xi x) øû
=Eå (
xi −
x) 2´2 =ë ë (
xi x)û û
=å (
xi −
x)2 ´E(2 =
G 2(
x).
ë (xi − x)2û (xi − x)
Докажем состоятельность МНКnоценок параметров b в матn ричной форме:
Cov ()=E(−)´(− b=E((
XTX)−1
XT T X (
XTX)−1)== (
XTX)−1 (e
T)
X (
XTX)−1=
G ()(
XTX)−1
Такимобразом,МНКnоценкаb подчиняетсянормальномузаnкону распределения с математическим ожиданием b и дисперсией
(
G 2(
x)/ (
x −
x)2) / b ~
N æ;
G 2(
x) öè (
xi x)ø
или 1~
N (1;
G 2()(
XTX)22),
где индекс указывает на расположение дисперсии параметра b в матрице ковариаций.
Состоятельность МНКnоценки 0 доказывается аналогично.
Величины
2
T −11 22
называются
оценками стандартных ошибок МНКГоценок b
и b Эффективность МНК—оценок доказывается с помощью теоn
ремы Гаусса—Маркова.
Таким образом, оценки параметров уравнения регрессии и дисперсии случайной ошибки, полученные методом наименьn ших квадратов, являются оптимальными оценками, т. е. несмеn щенными, состоятельными и эффективными.