Матричная форма записи

Рассмотрим n-мерное евклидово пространство

Пусть

Введем обозначения: т.е. и - векторы из Тогда

– вектор, лежащий на двумерной плоскости Предполагаем, что и – неколлинеарны

Поставим задачу: найти такие и чтобы длина вектора была минимальной, т.е. наилучшим образом аппроксимировала вектор вектором лежащим в плоскости Очевидно, что длина минимальна тогда и только тогда, когда вектор плоскости (кратчайшее расстояние от точки до плоскости есть перпендикуляр).

Но

(9)

Нетрудно видеть, что (4) совпадает с (5), полученной по МНК. Введем обозначения:

– вектор коэффициентов. Тогда:

В самом деле:

Условие ортогональности (9) можно записать следующим образом:

Запишем СЛАУ (9) более подробно:

Умножим обе части на получим:

(10)

Замечание. Система (9) равносильна системе

Формула (10) совпадает с формулами:

Оценка дисперсии ошибок σ²

В регрессионном уравнении есть еще один параметр – дисперсия ошибок σ². Найдем оценку для этого параметра. Обозначим прогноз значения в точке через:

(11)

Остатки регрессии определяются из соотношения:

(12)

Замечание. Не следует путать остатки регрессии с ошибками регрессии в уравнении модели:

(13)

Разница состоит в том, что остатки в отличие от ошибок наблюдаемы. Имеем:Естественно в качестве оценки взять сумму:

Вычислим матожидание :

Без вывода:

Отсюда

Итак, несмещенная оценка дисперсии случайной ошибки линейной модели парной регрессии рассчитывается по формуле:

где n – объем выборочной совокупности; – остатки модели регрессии:

Предположим, что МНК – оценка любого коэффициента модели регрессии состоит из:

1) истинного значения коэффициента, т.е. константы;

2) случайной ошибки вызывающей вариацию коэффициента регрессии. Практически осуществить подобное разложение невозможно. Тем не менее можно доказать, что значение МНК-оценки зависит от величины случайной ошибки в модели регрессии.