Вопрос №6. Свойства коэффициентов регрессии

Коэффициент регрессии, вычисленный методом наименьших квадратов, — это особая форма случайной величины, свойства которой зависят от свойств остаточного члена в уравнении. Мы продемонстрируем это сначала теоретичес­ки, а затем посредством контролируемого эксперимента. В частности, мы уви­дим, какое значение для оценки коэффициентов регрессии имеют некоторые конкретные предположения, касающиеся остаточного члена. В ходе рассмотрения мы постоянно будем иметь дело с моделью парной рег­рессии, в которой y связан с x следующей зависимостью:

(3.1)

и на основе n выборочных наблюдений будем оценивать уравнение регрес­сии.

(3.2)

Мы также будем предполагать, что x — это неслучайная экзогенная пере­менная. Иными словами, ее значения во всех наблюдениях можно считать за­ранее заданными и никак не связанными с исследуемой зависимостью. Во-первых, заметим, что величина состоит из двух составляющих. Она включает неслучайную составляющую , которая не имеет ничего общего с законами вероятности ( и могут быть неизвестными, но тем не менее это постоянные величины), и случайную составляющую и. Отсюда следует, что, когда мы вычисляем b по обычной формуле:

(3.3)

b также содержит случайную составляющую. Cov (x, y) зависит от значений у, а у зависит от значений u.

Если случайная составляющая принимает разные значения в n наблюдени­ях, то мы получаем различные значения у и, следовательно, разные величины Cov (x,y) и b.

Теоретически мы можем разложить b на случайную и неслучайную составля­ющие. Воспользовавшись соотношением (3.1), а также правилом расчета ковариации из раздела 1.2, получим:

Cov(x, у) = Cov(x, [ + х + u]) = Cov(x, ) + Cov(x, x) + Cov(x, u) (3.4)

По ковариационному правилу 3, ковариация Cov (х, ) равна нулю. По ко­вариационному правилу 2, ковариация Cov(x, х) равна Cov (х, х). Причем Cov (x, х) это тоже, что и Var (x). Следовательно, мы можем записать:

Cov(x, у) = Var(x) + Cov(x, u),

и, таким образом

Итак, мы показали, что коэффициент регрессии b, полученный по любой выборке, представляется в виде суммы двух слагаемых: 1) постоянной вели­ чины, равной истинному значению коэффициента ; 2) случайной состав­ляющей, зависящей от Cov (x, u), которой обусловлены отклонения коэффи­циента b от константы . Аналогичным образом можно показать, что имеет постоянную составляющую, равную истинному значению , плюс случайную составляющую, которая зависит от случайного фактора u.

Следует заметить, что на практике мы не можем разложить коэффициенты регрессии на составляющие, так как не знаем истинных значений и или фак­тических значений u в выборке. Они интересуют нас потому, что при опреде­ленных предположениях позволяют получить некоторую информацию о теоре­тических свойствах a и b.