Свойства оценок МНК (определения и смысл)

Классический подход к оцениванию параметров линейной модели основан на методе наименьших квадратов (МНК).

Этот метод позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака (y) от расчетных (теоретических) минимальна:

Чтобы найти минимум функции, надо вычислить производные по каждому из параметров и приравнять их к нулю, т.к. равенство нулю производной – необходимое условие экстремума. В результате получается система уравнений, решение которой и позволяет получить оценки параметров регрессии.

Для получения корректной модели следует проверить выполнение предпосылок МНК:

1. Остатки регрессии (i=1, 2,…, n) являются случайными.

2. Средняя величина остатков равна нулю. Данная предпосылка всегда выполняется для линейных моделей со свободным коэффициентом.

3. Дисперсия остатков одинакова и не зависит от значений факторов.

4. Остатки независимы (отсутствие автокорреляции).

5. Остатки распределены по нормальному закону.

Если не выполняется хотя бы одна из предпосылок, то рассматриваемая модель не вполне адекватно описывает исследуемое явление.

Коэффициенты уравнения регрессии b0, b1, b2, …, bp являются случайными величинами. Если выполняются предпосылки 1 – 4 МНК, то они обладают следующими свойствами:

1. Несмещенности. Математическое ожидание коэффициента равно соответствующему истинному параметру регрессии:

2. Эффективности. Они характеризуются наименьшей дисперсией:

3. Состоятельности. При увеличении числа наблюдений увеличивается точность оценки:

Невыполнение предпосылки 5 не позволяет корректно оценить точность и проверить статистическую значимость уравнения регрессии и его параметров.