Предпосылки метода наименьших квадратов

Напомним, что в общем виде уравнение регрессии имеет следующий вид:

,

где ненаблюдаемая случайная величина, оценки которой можно получить как .

При изменении спецификации, т.е. вида модели, и добавлении в нее новых переменных могут изменяться.

Одна из основных задач регрессионного анализа – исследование остатков путем проверки свойств оценок параметров регрессии, которые должны быть:

· несмещенными, т.е. должны представлять собой средние значения из возможно большого количества оценок: при , т.е. остатки не должны накапливаться;

· эффективными: оценки должны характеризоваться наименьшей дисперсией, что обеспечивает возможность перехода от точечной оценки к интервальной;

· состоятельными, т.е. должна повышаться точность оценок по мере увеличения объема выборки.

Условия, необходимые для обеспечения этих свойств, называются предпосылками МНК, соблюдение которых желательно для получения достоверных оценок параметров регрессии. Предпосылки можно сформулировать следующим образом.

1. Случайный характер остатков, который можно выявить на основе графика зависимости случайных остатков от теоретических значений Y [2].

2. – остатки не зависят от значений факторов x.

3. Гомоскедастичность остатков – (противоположное свойство интерпретируется как гетероскедастичность).

4. Отсутствие автокорреляции остатков, т.е. отсутствие корреляции между текущими и предыдущими или последующими значениями. Доказывается путем расчета и проверки значимости коэффициента автокорреляции по следующей формуле:

(1.16)

Причины автокорреляции в отклонениях от регрессионной модели указаны далее в п. 4.5.1, в отклонениях от трендовых моделей – в п. 4.4.5.

5. Подчинение остатков нормальному (Гаусса) закону распределения [2, 5, 7];

Кроме того, необходимо соблюдение требований, предъявляемых к переменным, таких как:

· отсутствие мультиколлинеарных факторов (п. 2.2);

· – объем выборки больше количества факторов в 6-8 раз.

1.7. Обобщенный метод наименьших квадратов

При нарушении гомоскедастичности остатков и наличии их автокорреляции применяется обобщенный МНК по отношению к преобразованным данным. Этот метод позволяет получить не только несмещенные оценки, но и оценки, имеющие наименьшую выборочную дисперсию.

Для корректировки гетероскедастичности выполняется следующее преобразование:

,

где – дисперсия ошибки при -том значении фактора;

– постоянная дисперсия ошибки при соблюдении предпосылки о гомоскедастичности остатков;

коэффициент пропорциональности: меняется с изменением величины фактора, характеризуя неоднородность дисперсии.

Предполагается, что неизвестна, а в отношении выдвигаются гипотезы, характеризующие структуру гетероскедастичности.

Для линейного уравнения модель примет вид, в которой остатки гетероскедастичны. Предполагая в них отсутствие автокорреляции остатков, можно перейти к уравнению с гомоскедастичными остатками, поделив все переменные на , тогда дисперсия остатков будет постоянной ().

Таким образом, от регрессии Y по X переходят к регрессии по преобразованным величинам и .

Уравнение регрессии примет следующий вид:

.

Исходные данные для построения регрессии можно представить как

Отличие обычного МНК от обобщенного МНК, следовательно, заключается в том, что уравнение регрессии с новыми переменными по отношению к обычной регрессии представляет собой взвешенную зависимость с коэффициентом .

Оценка параметров нового уравнения осуществляется по взвешенному критерию следующего вида: