Гетероскедастичность остатков и избавление от нее

Автокорреляция остатков

Одна из причин присутствия автокорреляции в остатках может быть неправильный выбор вида зависимости между переменными. Т.е. следует изменить зависимость. Еще один способ устранения автокорреляции остатков – введение лаговых переменных.

Лаговые переменные – переменные, которые измерены в прошлом периоде времени и участвуют в модели

При проверке наличия автокорреляции на практике руководствуются простым правилом: Расчетные значения DW, близкое к 2, свидетельствует об отсутствии автокорреляции; значение близкое к 4, свидетельствует об отрицательной автокорреляции; значение близкое к 0, о положительной автокорреляции.

Следует отметить, что тест DW можно применять при выполнении следующих условий:

1. в регрессионном уравнении есть свободный член

2. в регрессионном уравнении нет лаговых значений зависимой переменной (напр. y_i-j)

Тест DW определяет лишь отсутствие автокорреляции I порядка. Про остальные порядки он ответа не дает.

Тест Брана-Годфри ее общий тест, тест DW.

Предположительно, что остатки ε_i можно представить в виде авторегрессионного процесса 4 порядка.

ε_i = ρ₁ ε_i-1+ ρ₂ ε_i-2 + … + ρ_r ε_i-r + u_i

1)рассчитывается регрессия

т.е. в уравнении линейной регрессии подставили (?)

2)рассчитывается коэффициент детерминации R² для (*) множественной R²

3)рассчитывается x²_расч = (n-r) R²,

n – количество наблюдений, r – порядок авторегрессионного процесса ε_i

4)по таблице x² – распределения находим x² табличное со степенями свободы r.

2. Оценивается регрессия и находится оценка ρ (по МНК)

3. Зная ρ, оцениваем и (;

4. Рассчитывается регрессия между и по уравнению (4.3): получаются новые оценки и

5. Вычисляются новые отклонения расчетных значений от фактических;

6. Возвращаемся к пункту 2). Процедуру выполняют, пока отклонения, полученные в пункте 2), не совпадут с отклонениями в пункте 5) до определенной точности.

В итоге получим уравнение (4.3), в котором автокорреляции в остатках не будет.

Существует несколько подходов к решению проблемы гетероскедастичности:

1 подход: преобразование исходных данных

Обычно исходные данные преобразуют к такому виду,чтобы модель обладала условием гомоскедастичности. Для этого либо логарифмируют исходные данные, либо переходят к безразмерным величинам путем деления на известную велечину той же размерности, что и исходные данные.

Например, с помощью цепных индексов:

Z_i+1= y_i+1/y_i (4.4)

2 подход: применение другого метода оценивания коэф-ов регрессии.

Таким методом является обобщенный мнк. Он учитывает переменную дисперсию.

Обозначается ОМНК(GLS) для объяснения процессов происходящих в текущем периоде.Причем лаговыми переменными могут быть как зависимые переменные, так и независимые.

Одним из методов устранения автокорреляции остатков является процедура Оркатта-Кокроуна.

Рассмотрим уравнение регрессиии

, (4.1)

где, (4.2)

где H_i – случайная компонента

Запишим уравнение (4.1) для предложеного периода i-1 и умножим все уравнения на:

Вычтим из (4.1)

По (4.2):

Пусть

Тогда (4.3)

Если известно, то можно найти и через у_i, y_i-1, x_i, x_i-1.

А затем рассчитать регрессию между и

Процедура Оркатто-Кокроуна

1.Оценивается уравнение (4.1) находятся коэффециенты и.И находят остатки

ОМНК принимается не только для оценки данных для которых существенна гетероскедостичность остатков, но и для данных, для которых имеется место автокорреляции остатков т.е оценки, оцененные ОМНК, будут обладать как свойством несмещенности, так и иметь наименьшее выборочное диспресии.

Предположим, что матожидание равно 0, а диспресия, которая изменяется, пропорционально величине х_i

(4.5), где

–дисперсия ошибки при конкретном суммарном значении ф-ра.

– постоянная дисперсия ошибки при соблюдении условия гомоскедастичности остатков.

– коэффициент пропорциональности, изменяющийся с изменением ф-ра.

Тогда уравнение регрессии с дисперсии имеющий вид (4.5), можно преобразовывать в новое уравнение:

т.к Д=М((х-М(х))² и Д=М()

Для другого уравнения гетероскедостичность по-прежнему существует. Разделим данное уравнение на

Тогда дисперсия для полученного уравнения будет постоянной и равна

Обозначим

; (4.7)

Определение 4.1. Уравнение регрессии (4.6) с переменными вида (4.7) называется взвешенным уравнением регрессии, где весами являются выражение.

Оценка коэффициентов для точки 0 определенной регрессии осуществляется на основании взвешенной МНК (ВМНК), в которой следует минимизировать функционал (y-a-b x_i)² приравниваем к 0

Получаем систему нормальных уравнений для оценки а и b

Откуда следует

Как видно параметры регрессии определенные по формуле (4.8), полностью зависит от гипотезы выдвигаемой относительно коэффициентов пропорциональности К; обычно предполагается, что остатки _I т.е имеем параметры для каждого у_i

Функция, определяется по формуле (4.9) называется функцией максимального правдоподобия.

Иногда переходят к логарифмированной функции правдоподобия

Решение по ММП предполагает нахождение таких параметров, при которых функция правдоподобия достигает максимума, т.е находит _{оптимальное} .Нахождение _{оптимальное} в простых случаях производится с помощью методов матанализа (т.е приравнивающие к 0 первых производных:

В сложных случаях используется методы оптимального программирования (симплекс метод) или с помощью методов численного анализа, основных на интерактивных процедурах.

Для нахождения параметров линейной регрессии надо знать законы распределения либо зависимой переменной, либо остатков. Когда этот закон нормальный, из ММП пропорциональна значениям какого-то независимого ф-ла