Использование ОМНК

Как отмечалось ранее, применение ОМНК требует знания матрицы ковариаций W вектора ошибок, что бывает крайне редко.

Отсутствие автокорреляции остаточных величин обеспечивает состоятельность и эффективность оценок коэффициентов регрессии. Особенно актуально соблюдение данной предпосылки МНК при построении регрессионных моделей по рядам динамики, где ввиду наличия тенденции последующие уровни динамического ряда, как правило, зависят от своих предыдущих уровней. Кроме того, при построении регрессионных моделей должны соблюдаться определенные требования относительно переменных, включаемых в модель. Они были рассмотрены ранее при решении проблемы отбора факторов. Это прежде всего требование относительно числа факторов модели по заданному объему наблюдений (отношение 1 к 6—7). Иначе параметры регрессии оказываются статистически незначимыми. В общем виде применение МНК возможно, если число наблюдений п превышает число оцениваемых параметров т, т. е. система нормальных уравнений имеет решение только тогда, когда п > т.

рассматривается модель вида

для которой дисперсия остаточных величин оказалась пропорциональна К²,.

К_i — представляет собой коэффициент пропорциональности, принимающий различные значения для соответствующих i значений факторов х₁ и х₂. Ввиду того, что

рассматриваемая модель примет вид ,

где ошибки гетероскедастичны.

Для того чтобы получить уравнение, где остатки e_i- гомоскедастичны, перейдем к новым преобразованным переменным, разделив все члены исходного уравнения на коэффициент пропорциональности К. Уравнение с преобразованными переменными составит

, где

Параметры такой модели зависят от концепции, принятой для коэффициента пропорциональности К_i.

Рассмотрим несколько классов моделей с гетероскедастичностью, в которых накладываются дополнительные ограничения на структуру матрицы W и благодаря этому удается построить удовлетворительные оценки матрицы и использовать так называемый метод взвешенных наименьших квадратов.

1. Стандартное отклонение ошибки пропорционально независимой переменной.

В некоторых ситуациях априорно можно считать, что стандартное отклонение ошибки прямо пропорционально одной из независимых переменных, например. x_k: . Тогда, разделив i -e уравнение на x_ik, i = 1,..., n и вводя новые независимые переменные и новую зависимую переменную, i = 1,..., п, j = 1,..., k, получим классическую регрессионную модель. МНК-оценки коэффициентов этой модели дают непосредственно оценки исходной модели. Следует только помнить, что если первый регрессор в X есть набор единиц, то оценки свободного члена и коэффициента при в новой модели являются оценками соответственно коэффициента при x_ik и свободного члена в исходной модели.

2. Дисперсия ошибки принимает только 2 значения.

Допустим в первых n1 наблюдениях дисперсия ошибки имеет одно значение, а в последующих n2 - другое. В этом случае естественным является следующий вариант доступного ОМНК:

а) провести обычную регрессию, получить вектор остатков и разбить его на 2 подвектора e1 и е2, размерности n1 и n2 соответственно;

б) построить оценки дисперсий и :

и

в) преобразовать переменные, разделив первые n1 уравнений на , а последующие n2 - на ;

г) провести обычную регрессию для преобразованной модели.

3. Состоятельное оценивание дисперсий.

Поправка на гетероскедастичность и «улучшение» оценки матрицы ковариации выполняется либо с помощью формулы Уайта, либо в форме Невье-Веста (с использованием весовых коэффициентов).

Выводы:

1) для обобщенной регрессионной модели обычная МНК-оценка вектора b является состоятельной, но в отличие от классического случая не эффективной (в смысле минимума ковариационной матрицы);

2) эффективной в классе линейных несмещенных оценок является оценка, получаемая обобщенным методом наименьших квадратов (ОМНК);

3) для нахождения ОМНК-оценки необходимо знать ковариационную матрицу вектора ошибок;

4) ОМНК-оценка может быть получена применением обычного метода наименьших квадратов к вспомогательной системе, получаемой линейным преобразованием исходной модели;

5) коэффициент детерминации не может служить удовлетворительной мерой качества подгонки при использовании обобщенного метода наименьших квадратов.

6) применение ОМНК при наличии гетероскедастичности сводится к минимизации суммы взвешенных квадратов отклонений;

7) использование доступного ОМНК в общем случае требует оценивания n параметров по n наблюдениям, что не позволяет получать состоятельные оценки;

8) в некоторых ситуациях (ошибка пропорциональна одной из независимых переменных или дисперсии ошибок принимают 2 значения) можно применять доступный ОМНК и получать состоятельные оценки коэффициентов регрессии;

9) если в модели с гетероскедастичностью использовать ОМНК, то для получения состоятельной оценки соответствующей матрицы ковариаций можно применять оценки ошибок в форме Уайта или Невье-Веста.