Классический метод наименьших квадратов (МНК)
На первом этапе проведения регрессионного анализа была выбрана функция
f (
x), отражающая зависимость результативного признака
y от факторного признака
x. Необходимо оценить неизn вестные параметры модели. В качестве методов оценки неизвестn ных параметров
уравнения регрессии b,
ј, b
могут выступат ь:
1) сумма квадратов отклонений наблюдаемых значений реn зультативного признака
y от теоретических значений
y, расn считанных на основании регрессионной функции,
f (
x):
n
F = (
yi −
f (
xi,))2
i =
n
или
F = (
yi −
yi)2.
i =
Этот метод оценивания неизвестных параметров уравнения регрессии называется методом наименьших квадратов (МНК). Термин МНК был впервые использован в работе А.М.Лежанйдра в 1805 г. Можно выделить следующие достоинства метода:
а) расчеты сводятся к механической процедуре нахождеn ния коэффициентов;
б) доступность полученных математических выводов. Основным недостатком МНК является чувствительность оцеn нок к резким выбросам, которые встречаются в исходных данn ных.
2) сумма модулей отклонений наблюдаемых значений резульn тативного признака
y от теоретических значений
y (рассчиn танных на основании регрессионной функции)
f (
x):
n
F =
yi −
f (
xi,)
i =1
n
или
F =
yi −
yi.
i =1
Основным достоинством метода является нечувствительность оценок к резким выбросам (в отличие от МНК). Среди недоГ статков можно выделить следующие:
а) сложности в ходе вычислительной процедуры;
б) зачастую большим отклонениям в исходных данных следует придавать больший вес для уравновешивания их в общей сумме наблюдений;
в) неодинаковым значениям оцениваемых параметров b, ј, b могут соответствовать одинаковые суммы модулей отклоn нений;
n n
F =
g (
yi −
f (
xi,)) или
F =
g (
yi −
yi),
i =1
i =1
где g — мера или вес, с которой отклонение (yi — f (xi, b)) входит в функционал F. Примером меры g является функn
ция Хубера, которая при малых значениях переменной x является квадратичной, а при больших значениях x — лиn
нейной:
ì
x 2,
x <
c
g (
x)= 2
cx −
c 2,
x ³
c −2
cx −
c 2,
x £−
c,
где c — ограничения функции.
Третий метод оценки неизвестных параметров уравнения реn грессии b, ј, b — объединие достоинства предыдущих двух меn тодов. Оценки неизвестных параметров, найденные с его помоn щью, являются менее чувствительными к случайным выбросам в исходных данных, чем оценки, полученные МНК. Этот метод применяют, когда выборка сильно «засорена».
Для нахождения оптимальных значений неизвестных паn раметров b, ј, b
необходимо минимизировать функционал F по данным параметрам:
n
1)
F = (
yi −
f (
xi,))2®min —процессминимизации
i 1 функционала
F состоит в отыскании таких параметров b, ј, b, при которых сумма квадратов отклонений наблюдаемых значений результативноn го признака
y от теоретических значений
y была бы минимальной;
n
2)
F =
y −
f (
x,) ®min —процессминимизации
i =1 функционала
F состоит
в отыскании таких параметров b, ј, b, при которых сумма
модулей отклонений наблюдаемых значений результативного признака
y от теоретических значений
y была бы минимальной;
n
3)
F =
g (
yi −
f (
xi,))®min
i =1
— процесс минимизации функционала F состоит
в отыскании таких параметров b, ј, b, при которых сумма отклонений наблюдаемых значений результативного признаn ка
y от теоретических значений
y с учетом заданных весов g была бы минимальной.
Наиболее распространенным методом оценивания параметn ров уравнения регрессии является метод наименьших квадратов.
2014-02-02
713
