Оценки параметров регрессии

Для статистической проверки взаимосвязи между зависимой и независимой переменной необходимо найти значения а, в, Е_i т.е найти оценку .

Классический подход оцененного параметра линейной регрессии – Метод наименьших квадратов (МНК). Он называется так потому, что при расчете параметров прямой линии, который наиболее соответствует фактическим данным, минимизирует Е квадратов расхождений между расчётными значениями и фактическим значением у.

y_i – фактическое значение;

- расчетное значение.

Необходимо оценить неизвестные коэффициенты модели регрессии β0…βn. Для определения оптимальных коэффициентов модели регрессии возможно применение следующих критериев:

1) критерий суммы квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений β (рассчитанных на основе функции регрессии f(x)):

Данный критерий определения оптимальных коэффициентов модели регрессии получил название метода наименьших квадратов или МНК. К основным преимуществам данного метода относятся:

а) все расчёты сводятся к механической процедуре нахождения коэффициентов;

б) доступность полученных математических выводов.

Недостаток метода наименьших квадратов заключается в излишней чувствительности оценок к резким выбросам, встречающимся в исходных данных.

2) критерий суммы модулей отклонений наблюдаемых значений результативной переменной у от теоретических значений β (рассчитанных на основе функции регрессии f(x)):

Главное преимущество данного критерия заключается в устойчивости полученных оценок к резким выбросам в исходных данных, в отличие от метода наименьших квадратов.

К недостаткам данного критерия относятся:

а) сложности, возникающие в процессе вычислений;

б) зачастую большим отклонениям в исходных данных следует придавать больший вес для уравновешивания их в общей сумме наблюдений;

в) разным значениям оцениваемых коэффициентов β0…βn могут соответствовать одинаковые суммы модулей отклонений.

3) критерий, имеющий вид:

где g – это мера или вес, с которой отклонение (yi-f|xi,β|) входит в функционал F. В качестве примера веса g можно привести функцию Хубера, которая при малых значениях переменной х является квадратичной, а при больших значениях х – линейной:

где с – ограничения функции.

Данный критерий определения наилучших оценок коэффициентов модели регрессии β0…βn является попыткой объединения достоинств двух предыдущих критериев. Основное преимущество данного критерия заключается в том, что оценки неизвестных коэффициентов, найденные с его помощью, являются более устойчивыми к случайным выбросам в исходных данных, чем оценки, полученные методом наименьших квадратов.