Вопрос 2. Предпосылки метода наименьших квадратов

При оценке параметров уравнения регрессии применяется метод наименьших квадратов (МНК). При этом делаются определенные предпосылки относительно случайной составляющей ε. В модели

 

Случайная составляющая ε представляет собой ненаблюдаемую величину. После того как произведена оценка параметров модели, рассчитывая разности фактических и теоретических значений результативного признака у, можно определить оценки случайной составляющей . Поскольку они не есть реальные случайные остатки, их можно считать некоторой выборочной реализацией неизвестного остатка заданного уравнения, т.е. ε_i

При изменении спецификации модели, добавления в нее новых наблюдений выборочные оценки остатков ε_i могут меняться. Поэтому в задачу регрессионного анализа входит не только построение самой модели, но и исследование случайных отклонений ε_i, т.е. остаточных величин.

Ранее мы останавливались на формальных проверках статистической достоверности коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента, F-критерия Фишера и Z-преобразования (для коэффициентов корреляции). При использовании этих критериев делаются предположения относительно поведения остатков ε_i – остатки представляют собой независимые случайные величины и их среднее значение равно 0; они имеют одинаковую (постоянную) дисперсию и подчиняются нормальному распределению.

Статистические проверки параметров регрессии, показателей корреляции основаны на непроверяемых предпосылках распределения случайной составляющей ε_i. Они носят лишь предварительный характер. После построения уравнения регрессии проводится проверка наличия у оценок ε_i (случайных остатков) тех свойство, которые предполагались. Связано это с тем, что оценки параметров регрессии должны отвечать определенным критериям. Они должны быть несмещенными, состоятельными и эффективными. Эти свойства оценок, полученных по МНК, имеют чрезвычайно важное практическое значение в использовании результатов регрессии и корреляции.

Коэффициенты регрессии, найденные исходя из системы нормальных уравнений, представляют собой выборочные оценки характеристики силы связи. Их несмещенность является желательным свойством, так как только в этом случае они могут иметь практическую значимость. Несмещенность оценки означает, что матожидание остатков равно нулю. Следовательно, при большом числе выборочных оцениваний, остатки не будут накапливаться и найденный параметр регрессии можно рассматривать как среднее значение из возможного большого количества несмещенных оценок. Если оценки обладают свойством несмещенности, то их можно сравнивать по разным исследованиям.

Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными, если они характиризуются наименьшей дисперсией. Пэтому несмещенность оценки должна дополняться минимальнйо дисперсией. В практических исследованиях это означает возможность перехода от точечного оценивания к интервальному.

Степень реалистичности доверительных интервалов параметров регрессии обеспечивается, если оценки будут не только несмещенными и эффективными, но и состоятельными. Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки. Большой практический интерес представляют те результаты регрессии, для которых доверительный интервал ожидаемого значения параметра регрессии  имеет предел значений вероятности, равный единице. Иными словами, вероятность получения оценки на заданном расстоянии от истинного значения параметра близка к единице.

Указанные критерии оценок (несмещенность, состоятельно, эффективность) обязательно учитывается при разных способах оценивания. МНК строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому очень важно исследовать поведение остаточных величин регрессии . Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдений которых желательно для получения достоверных результатов регрессии.

Исследования остатков  предполагают проверку наличия следующих предпосылок МНК:

- случайный характер остатков;

- нулевая средняя величина остатков, не зависящая от

- гомоскедастичность – дисперсия каждого отклонения  одинакова для всех значений х.

- отсутствие автокорреляции остатков. Значения остатков  распределены независимо друг от друга.

- остатки подчиняются нормальному распределению.

В тех случаях, когда все пять предпосылок выполняются, оценки, полученные по МНК и методу максимального правдоподобия, совпадают между собой. Если распределение случайных остатков  не соответствует некоторым предпосылкам МНК, то следует корректировать модель.

Прежде всего проверяется случайный характер остатков  – первая предпосылка МНК.

С этой целью строится график зависимости остатков  от теоретических значений результативного признака (рис. 3.1)

Рис. 3.1. «Зависимость случайных остатков  от теоретических значений ,

 

Если на графике получена горизонтальная полоса, то остатки  представляют собой случайные величины и МНК оправдан, теоретические значения  хорошо аппроксимируют фактические значения у.

Возможны следующие случаи: если  зависит от , то:

- Остатки  не случайны (рис. 3.2а);

- Остатки  не имеют постоянной дисперсии (рис. 3.2в);

- Остатки  носят систематический характер (рис. 3.3б), в данном случае отрицательные значения  соответствуют низким значениям , а положительные – высоким значениям.

Рис. 3.2. «Зависимость случайных остатков ε_i от теоретических значений

 

В случаях а), б), в) (рис. 3.2) необходимо либо применят другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки  не будут случайными величинами.

Вторая предпосылка МНК относительно нулевой средней величины остатков означает, что . Это выполнимо для линейных моделей и моделей, нелинейных относительно включаемых переменных. Для моделей, нелинейных по оцениваемым параметрам и приводимых к линейному виду логарифмированием, средняя ошибка равна нулю для логарифмов исходных данных. Так, для модели вида