Оценка параметров парной регрессионной модели методом наименьших квадратов

Предположим, что в ходе регрессионного анализа была установлена линейная взаимосвязь между исследуемыми переменными х и у, которая описывается моделью регрессии вида: y_i=a+b*x_i

В результате оценивания данной эконометрической модели определяются оценки неизвестных коэффициентов.Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) минимальна:

Для того чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

, где cov(x,y) — ковариация признаков; σх2— дисперсия признака х. Поскольку , получим следующую формулу расчета оценки параметра b

Таким образом:

Свойство несмещенности оценок состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельности оценок состоит в том, что с увеличением наблюдений оценка становится более надежной в вероятностном смысле.

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.