Оценка параметров парной регрессионной модели методом наименьших квадратов

Метод наименьших квадратов(МНК)- метод, при котором рассчитывается сумма квадратов отклонений при котом рассчитывается сумма квадратов отклонений наблюдаемых значений результативной переменной у от теоретических значений у(оцененная) (рассчитанных на основании функции регрессии f(x)

Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров a и b, при которых сумма квадратов отклонений фактических значений результативного признака y от расчетных (теоретических) минимальна:

Для того чтобы найти минимум функции, надо вычислить частные производные по каждому из параметров a и b и приравнять их к нулю. Тогда мы получаем следующую систему нормальных уравнений для оценки параметров a и b

Решая систему нормальных уравнений либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b. Можно воспользоваться следующими формулами для a и b:

Эта формула получена из первого уравнения системы, если все его члены разделить на n:

, где cov(x,y) — ковариация признаков; σх2— дисперсия признака х. Поскольку , получим следующую формулу расчета оценки параметра b

Таким образом:

Свойство несмещенностиоценок состоит в том, что математическое ожидание оценки должно быть равно истинному значению параметра.

Свойство состоятельностиоценок состоит в том, что с увеличением наблюдений оценка становится более надежной в вероятностном смысле.

Оценка называется эффективной, если она имеет минимальную дисперсию по сравнению с любыми другими оценками этого параметра в классе выбранных процедур.

№ 67. Доверительные интервалы параметров парной регрессионной модели. 25

Доверительный интервал служит для проверки гипотезы о том, что значение параметра при регрессоре = 0.

Оценка параметра а – t критическое * стандартная ошибка отклонения оценки

параметра а <= параметр а <= Оценка параметра а + t критическое * стандартная ошибка отклонения оценки параметра а (6.17)

Если доверительный интервал накрывает истинное значение параметра, то выдвинутая статистическая гипотеза принимается, в противном случае – альтернативная гипотеза.