Метод наименьших квадратов. Вывод для нахождения параметров уравнений регрессии

При использовании МНК, параметры а и b выбираются таким образом, чтобы сумма квадратов отклонений теоретических значений от фактических было бы минимальным. Найденные значения параметров, которые минимизируют указанную сумму квадратов разностей, называются оценками неизвестных параметров по методу наименьших квадратов. Полученные оценки подставляются в функцию f(x) вместо неизвестных коэффициентов. В результате после подстановки получается функциональная зависимость, в которой нет неизвестных параметров.

Основные особенности МНК:

1) Он наиболее простой с вычислительной точки зрения.

2) Оценки коэффициентов регрессии по МНК

обладают рядом оптимальных свойств

Вывод уравнений:

(вместо RSS пишите просто S)

Находим минимум функции:

Находим производную:

Делим на n, получается:

(y с палочкой и х с палочкой – средние значения)

Решив полученную систему относительно неизвестных параметров , получим:

(вместо D(X) пишите S²x)