Для оценки параметров регрессионного уравнения наиболее часто используют метод наименьших квадратов. Его оценки обладают такими статистическими свойствами, как:
· Несмещенность (математическое ожидание остатков равно нулю)
· Состоятельность (увеличение точности оценок с увеличением объема выборки)
· Эффективность (оценки характеризуются наименьшей дисперсией)
Метод наименьших квадратов (МНК) дает оценки, имеющие наименьшую дисперсию в классе всех линейных оценок, если выполняются предпосылки нормальной линейной регрессионной модели. МНК минимизирует сумму квадратов отклонения наблюдаемых значений от модельных значений
Оценки , находятся путем минимизации суммы квадратов
По всем возможным значениям и при заданных (наблюдаемых) значениях , . Задача сводится к математической задаче поиска точки минимума функции двух переменных. Точка минимума находится путем приравнивания к нулю частных производных функции по переменным и . Этоприводитк системенормальныхуравнений
|
|
решением которой и является пара . Согласно правилам вычисления производным, имеем
так что искомые значения удовлетворяют соотношениям
Эта система является системой двух линейных уравнений с двумя неизвестными и может быть легко решена, например, методом подстановки. В результате получаем так называемые оценкинаименьшихквадратов:
Такое решение может существовать только при выполнении условия
что равносильно отличию от нуля определителя системы нормальных уравнений.