Метод наименьших квадратов, алгоритм метода, условия применения.25

Предпосылки теоремы Гаусса-Маркова:

-математическое ожидание случайного возмущения при фиксированном значении предопределенной переменной равно 0

-дисперсия случайных возмущений во всех наблюдениях одинакова и равна константе

-ковариация между парами случайных возмущений =0

-ковариация между вектором регрессоров и вектором случайных возмущений =0

Был разработан Гауссом. В качестве критерия – сумма квадратов остатков (невязок), то есть разность между абсциссами реальных точек, имеющих нормальное распределение, и соответствующих точек на прямой.

Данный метод получил название регрессионного анализа.

Рассмотрим механизм применения МНК на примере идентификации модели в виде линейного уравнения парной регрессии.
+ + ,где
- эндогенная

– экзогенная

- параметры

Для решения задачи имеем некий набор наблюдений переменных У и Х размерности n.

Согласно МНК необходимо найти такие значения параметров оценки модели (5.8), которые соответствуют минимуму квадратов остатков.

Тогда из 5.8 следует, что необходимо найти минимум следующей функции:

Q = = - - ->min (5.9)

Для нахождения параметров функции 5.9, соответствующих ее минимуму, необходимо вычислить производную этой функции по параметрам и решить полученные уравнения относительно .

5.11 – система нормальных уравнений для определения параметров оценок модели 5.8

Убедимся, что решение системы 5.11 соответствует минимуму функции 5.9. Для этого необходимо, чтобы вторые частные производные функции 5.9 были положительными.

Вторая производная относительно а0 = n,что всегда больше 0.

Вторая производная относительно а1 = , что также всегда больше 0.

Это говорит о том, что система уравнений 5.11 соответствует минимуму функции 5.9

Систему уравнений 5.11 можно решить методом исключения переменных. Для этого достаточно выразить а0 через а1, подставив его во 2 уравнение системы, откуда получим а1, затем полученную а1 подставим в а0. В итоге получим 5.12