Предпосылки метода наименьших квадратов

При оценке параметров уравнения регрессии применяется МНК. При этом делаются определенные предпосылки относительно составляющей , которая представляет собой в уравнении ненаблюдаемую величину.

Исследования остатков предполагают проверку наличия сле­дующих пяти предпосылок МНК:

1) случайный характер остатков. С этой целью строится график отклонения остатков от теоретических значений признака. Если на графике получена горизонтальная полоса, то остатки представляют собой случайные величины и применение МНК оправдано. В других случаях необходимо применить либо другую функцию, либо вводить дополнительную информацию и заново строить уравнение регрессии до тех пор, пока остатки не будут случайными величинами.

2) нулевая средняя величина остатков, т.е. , не зависящая от хi. Это выполнимо для линейных моделей и моделей, нелинейных относительно вклю­чаемых переменных. С этой целью наряду с изложенным графиком зависимости остатков от теоретических значений ре­зультативного признака ух строится график зависимости случай­ных остатков от факторов, включенных в регрессию хi. Если остатки на графике расположены в виде горизонтальной полосы, то они независимы от значений xj. Если же график показывает наличие зависимости и хj то модель неадек­ватна. Причины неадекватности могут быть разные.

3. Гомоскедастичность — дисперсия каждого отклонения одинакова для всех значений хj. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. Наличие гетероскедастичности можно наглядно видеть из поля корреляции.

4. Отсутствие автокорреляции остатков. Значения остатков распределены независимо друг от друга. Автокорреляция остатков означает наличие корреляции между остатками текущих и предыдущих (последующих) наблюдений. Отсутствие автокорреляции остаточных величин обеспечива­ет состоятельность и эффективность оценок коэффициентов ре­грессии.

5. Остатки подчиняются нормальному распределению.

В тех случаях, когда все пять предпосылок выполняются, оценки, полученные по МНК и методу максимального правдоподобия, совпадают между собой. Если распределение случайных остатков не соответствует некоторым предпосылкам МНК, то следует корректировать модель, изменить ее спецификацию, добавить (исключить) некоторые факторы, преобразовать исходные данные, что в конечном итоге позволяет получить оценки коэффициентов регрессии aj, которые обладают свойством несмещаемости, имеют меньшее значение дисперсии остатков, и в связи с этим более эффективную статистическую проверку значимости параметров регрессии.

Вопрос 15 Несмещённость, эффективность и состоятельность оценок параметров регрессии

В тех случаях, когда предпосылки выполняются, оценки, полученные по МНК, будут обладать свойствами несмещенности, состоятель­ности и эффективности.

Несмещенность оценки означает, что математическое ожидание остатков равно нулю. Если оценки обладают свойством несме­щенности, то их можно сравнивать по разным исследованиям.

Для практических целей важна не только несмещенность, но и эффективность оценок. Оценки считаются эффективными, ес­ли они характеризуются наименьшей дисперсией. Поэтому не­смещенность оценки должна дополняться минимальной диспер­сией.

Степень достоверности доверительных интервалов парамет­ров регрессии обеспечивается, если оценки будут не только не­смещенными и эффективными, но и состоятельными. Состоя­тельность оценок характеризует увеличение их точности с увели­чением объема выборки.

Дня оценки параметров регрессионного уравнения наиболее часто используют метод наименьших квадратов (МНК).

Метод наименьших квадратов дает оценки, имеющие наименьшую дисперсию в классе всех линейных оценок, если выполняются предпосылки нормальной линейной регрессионной модели.

МНК минимизирует сумму квадратов отклонения наблюдаемых значений от модельных значений .

Согласно принципу метода наименьших квадратов, оценки и находятся путем минимизации суммы квадратов

по всем возможным значениям и при заданных (наблюдаемых) значениях .

В результате применения МНК получаем формулы для вычисления параметров модели парной регрессии.

(3)

Такое решение может существовать только при выполнении условия

что равносильно отличию от нуля определителя системы нормальных уравнений. Действительно, этот определитель равен

Последнее условие называется условием идентифицируемости модели наблюдений , и означает, что не все значения совпадают между собой. При нарушении этого условия все точки , лежат на одной вертикальной прямой

Оценки и называют оценками наименьших квадратов. Обратим внимание на полученное выражение для параметра . В это выражение входят суммы квадратов, участвовавшие ранее в определении выборочной дисперсии

и выборочной ковариации так что, в этих терминах параметр можно получить следующим образом:

= = =

=