Метод наименьших квадратов (МНК) – один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Данный метод применяется также для приближенного представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.
Параметры модели выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений от модельных была минимальной:
Среди преимуществ метода наименьших квадратов следует особенно отметить лёгкость вычислительной процедуры и хорошие по статистическим свойствам оценки. Данные факты объясняют широкое применение данного метода в статистическом анализе. Из недостатков наиболее существенным является чувствительность к выбросам.
Согласно необходимому условию экстремума функции нескольких переменных, необходимо найти частные производные по этим переменным и приравнять их к нулю. После ряда преобразований получим:
Разделим обе части полученной выше системы на , получим систему нормальных уравнений:
Решив полученную систему относительно неизвестных параметров , получим:
Таким образом, остатки, оцененные таким образом, можно представить следующим образом:
Рассмотрим метод наименьших квадратов для линейной множественной регрессии. Согласно данному методу, неизвестные параметры модели выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений от модельных была минимальной:
Свойства оценок МНК определяются предположениями относительно свойств случайного возмущения в модели наблюдений. Эти предположения обычно называются условиями Гаусса – Маркова.
Условия Гаусса-Маркова:
1. – условие, гарантирующее несмещённость оценок МНК.
2. – условие гомоскедастичности, его нарушение приводит к проблеме гетероскедастичности.
3. – условие отсутствия автокорреляции предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если данное условие не выполняется, то в модели возникает проблема автокорреляции случайных возмущений.
4. для всех условие независимости случайного возмущения и объясняющей переменной. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.
Достаточно часто накладывают ещё одно условие на остатки модели, но данное условие не является условием Гаусса-Маркова: , оно очень полезно для проверки многих гипотез.
Свойства оценок, полученных с помощью МНК:
1. Линейность оценок – оценки параметров и представляют собой линейные комбинации наблюдаемых значений объясняемой переменной .
2. Несмещённость оценок:
3. Состоятельность оценок:
4. Эффективность – данное свойство означает, что оценка имеет минимальную дисперсию в заданном классе оценок:
Теорема Гаусса-Маркова: если выполнены условия Гаусса-Маркова, тогда оценки , полученные с помощью метода наименьших квадратов, являются линейными, несмещёнными, эффективными и состоятельными оценками.