Г. - Предпосылки метода наименьших квадратов

При оценке параметров уравнения регрессии применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки относительно случайной составляющей эпсилон. В модели y = a+b₁x₁+b₂x₂+…+b_nx_n+ϵ случайная составляющая эпсилон представляет собой ненаблюдаемую величину. После того как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений результативного признака y, можно определить оценки случайной составляющей y-y_x (разность игрек фактической и игрек расчетной). Поскольку они не являются реальными случайными остатками, их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т.е. ϵ_i.

При изменении спецификации модели, добавлении в неё новых наблюдений выборочные оценки остатков ϵ_i могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений ϵ_i, т.е. остаточных величин.

При использовании критериев Фишера и Стьюдента делаются предположения относительно поведения остатков ϵ_i – остатки представляют собой независимые случайные величины и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей ϵ_i. Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у оценок ϵ_i (случайных остатков) тех свойств, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

Оценки считаются эффективными, если они характеризуются наименьшей дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии b_i имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

Исследование остатков ϵ_i предполагает проверку 5 предпосылок метода наименьших квадратов (МНК):

1) Случайный характер остатков;

2) Нулевая средняя величина остатков, не зависящая от x_i;

3) Гомоскедастичность – дисперсия каждого отклонения ϵ_i, одинакова для всех значений x;

4) Отсутствие автокорреляции остатков – значения остатков ϵ_i распределены независимо друг от друга;

5) Остатки подчиняются нормальному распределению.