Принцип метода наименьших квадратов. (25)

Одним из методов, позволяющих получить состоятельные оценки, являются МНК. Данный метод был предложен Гауссом в 18в. В качестве критерия он предложил использовать сумму квадратов остатков (невязок), т.е. разности между абсциссами реальных точек и соответствующих точек на прямой.

Рассмотрим механизм применения МНК на примере идентификации модели в виде линейного уравнения парной регрессии (см. формулу (5.8)):

Оценим параметры (a₀, a₁, + δ_u)

Имеем некий набор наблюдений переменных y и x размерностью n
Согласно МНК необходимо найти такие значения параметров оценки модели (5.8), которые соответствуют минимуму суммы квадратов остатков.
параметры (константы):

Тогда из (5.18) следует, что необходимо найти минимум следующей функции (5.9):

Для нахождения параметров функции (5.9), соответствующих ее минимуму необходимо вычислить производную этой функции по параметру. После, прировнять к нулю и решить полученное уравнение относительно a₀, a₁

Система нормальных уравнений (5.11) для определения оценок параметров (5.8):

Следовательно, решение системы (5.11) соответствует минимуму функции (5.9)