Свойства оценок МНК.
В тех случаях, когда предпосылки выполняются, оценки, полученные по МНК, будут обладать свойствами несмещенности, состоятельности и эффективности.
Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.
Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. Поэтому несмещенность оценки должна дополняться минимальной дисперсией.
Степень достоверности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.
Дня оценки параметров регрессионного уравнения наиболее часто используют метод наименьших квадратов (МНК).
Метод наименьших квадратов дает оценки, имеющие наименьшую дисперсию в классе всех линейных оценок, если выполняются предпосылки нормальной линейной регрессионной модели.
МНК минимизирует сумму квадратов отклонения наблюдаемых значений от модельных значений .
Согласно принципу метода наименьших квадратов, оценки и находятся путем минимизации суммы квадратов
по всем возможным значениям и при заданных (наблюдаемых) значениях.
В результате применения МНК получаем формулы для вычисления параметров модели парной регрессии.
(3)
Такое решение может существовать только при выполнении условия
что равносильно отличию от нуля определителя системы нормальных уравнений. Действительно, этот определитель равен
Последнее условие называется условием идентифицируемости модели наблюдений , и означает, что не все значения совпадают между собой. При нарушении этого условия все точки , лежат на одной вертикальной прямой
Оценки и называют оценками наименьших квадратов. Обратим внимание на полученное выражение для параметра . В это выражение входят суммы квадратов, участвовавшие ранее в определении выборочной дисперсии
и выборочной ковариации так что, в этих терминах параметр можно получить следующим образом:
= = =
=