Оценка коэффициентов парной регрессии методом наименьших квадратов

Параметры альфа и бета, которые определяют модель парной линейной регрессии, на практике не известны, и их можно оценивать по мат данным, опираясь на различные принципы.

Пусть y^=a+bx- оцененное уравнение регрессии, где а,в-некоторые коэфф-ты. Обозначим через ei=yi-y^I остатки, где y^=a+bx, i=1n.

Для оценки коэфф-ов модели наиболее широко использ МНК. Как оказалось, оценки коэффициентов, получаемые по принципу МНК, обладают хорошими стат св-ми. Согласно этому принципу значения коэф-ов а, в оцененного уравнения регрессии определяются из условия минимума суммы квадратов остатков:

= min.

Необходимое условие минимума ф-ии двух переменных заключается в обращении в нуль частных производных по а и b:

2an-2 (1)

2b (2)

Это система двух алгебраических уравнений относитеьно 2х неизвестных a, b. Решим ее, разделив обе части уравнения на 2n и перепишем его в виде

a=yср-bxср (3). Найденное значение а подставим в уравнение (2) разделим его на 2n и, группируя слогаемые, приведем уравнение к виду

bVar(x)=Cov (x,y)

Таким образом, решение системы линейных уравнений находится по формулам: b=Cov(x,y)/var(x), a= Yср-bxср. Отметим, что уравнение y^=a+bx является лишь оценкой для истинной модели. Т.к величина ε не наблюдаема, то для получения различных оценок будет использоваться замена ее на остаток еi, который вычисляется по стат данным.

Mi y^=a+bx

εi еi E(y|x)=α+βx

Из равенства (3) следует, что оцененная линия регрессии проходит через точку с координатами xср,уср. Увеличение х на единицу приведет к увеличению у на b единиц. И это утверждение верно настолько, насколько b близок к β.