Метод наименьших квадратов(МНК). Оценка параметров линейной модели

Суть МНК заключается в следующем: , где . Заменяя значения , где - ошибка измерений.

Предположим что - независимые нормально распределённые случайные велечины.

Плотность

, при .

Данная задача равносильна: .

Метод наименьших квадратов заключается в том, что оценка неизвестных параметров ищется из условия минимизации суммы квадратов ошибок измерения.

Рассмотрим линейный случай метода наименьших квадратов:

Пусть есть - вектор неизвестных параметров.

. (1)

Ошибки необязательно нормальные: . Ошибки - некоррелированы , где .

Перепишем зависимость (1) в матричной форме: .

, тогда имеем , в связи с этим:

1. .

2. , где - единичная матрица n*n.

.

Наценку параметра будем находить из условия:

. , (*).

Следовательно, полученная оценка является не смещённой. Найдём вариацию оценки :

, т.к.

. Подставляя последнее выражение в соотношение для вариации,

получим:

.

Сформулируем следующую теорему:

Теорема (Оптимальное свойство МНК-оценки): МНК оценка имеют наименьшую дисперсию в классе линейных несмещённых оценок.

МНК используется в задачах параметризации квадратов использованных в задачах оценки параметров между 2-я и более переменными.

Пример:

Пусть зависимость между и имеет вид:

, где , , - значение

Требуется оценить МНК параметры :

,

.

, .

; ,

Решая последнюю систему относительно и получим:

.

Обозначим: . Получим:

.