Метод наименьших квадратов. Линейное уравнение регрессии

Пусть функция регрессии линейная, т. е. M(Y/X)=x = a + bx. Найдем оценки и параметров а и b.Критерием нахождения оценок и является следующее требование: средняя квадратов отклонений наблюдаемых «игреков» от «игреков», рассчитанных по уравнению Y=a+bx, должна быть минимальной. Запишем это требование в виде формулы

(62)

Метод нахождения значений оценок а и b (в соответствии с требованием962)) называется методом наименьших квад­ратов.

Для результатов (X_i, У_i) наблюдений величины (X,Y) не сгруппированных в корреляционную табл. (17), критерий имеет вид

(63)

Если наблюдения сгруппированы в табл. (17), то критерий (62) принимает следующий вид:

(64)

Критерий (63) имеет более простую форму, поэтому значения и най­дем исходя из него.

Необходимые условия минимума функции F(a, b)образуют систему

которая в результате тождественных преобразований принимает вид

, (65)

где

Система (65) называется нормальной системой уравнений. Решим ее относительно и . Из первого уравнения находим =Y— x. Подставив это выражение во второе из уравнений, получим

откуда находим

или, учитывая (60),

(66)

Тогда

(67)

Подставив выражения для и в уравнение Y= + x, получим

(68)

Уравнение (68) называется выборочным линейным уравнением регрессии.

Пусть x= ,тогда

— это оценка условного математического ожидания, вычисля­емого по формуле

.

Выше в качестве оценок условных математических ожиданий M(Y/X=x_i ) использовались групповые средние ⁽ⁱ⁾ —они находи­лись по результатам п_i, наблюдений в i-й, i=1,2,..., n, группе (см. табл. 17). Теперь в качестве оценки предлагается использовать Y_i. Подсчитаем средний квадрат разности между Y⁽ⁱ⁾ и Y_i,учитывая при этом, что в i-й группе число наблюдений равно n_i:

Итак,

(69)

Обратим внимание на следующее: так как левая часть равенства (69) неотрицательна, то и правая его часть σ^2/y (ρ²_y/x-ř²_xy)≥0. Отсюда следует, что

(70)