Оценивание параметров регрессии. Метод наименьших квадратов

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений

результативного признака y от расчетных (теоретических) минимальна: .

Иными словами, из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной:

Для того чтобы найти минимум функции надо вычислить частные производные по каждому из параметров a и b и приравнять к нулю.

Обозначим через S, тогда:

Преобразую формулу, получим следующую систему нормальных уравнений для оценки параметров a и b:

(система нормальных уравнений)

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

a = `y - b×`x.

Эта формула получена из первого уравнения системы, если все его члены разделены на n: , где cov(x,y) – ковариация признаков; «знаменатель» - дисперсия признака x.

Поскольку , получим следующую формулу расчета оценки параметров b:

Эта формула получается также при решении системы методом определителей, если все элементы расчета разделить на .

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Знак при коэффициенте регрессии b показывает направление связи: при b > 0 – связь прямая, а при b < 0 – связь обратная.

Система нормальных уравнений МНК и ее решение.

При оценке параметров уравнения регрессии применяется метод наименьших квадратов - это особая форма случайной величины, свойства которой зависят от свойств остаточного члена в уравнении.

См. вопрос №11