Свойства оценок и статистические последствия

Автокорреляция первого порядка ошибок регрессии: свойства оценок и статистические последствия. Тесты и корректировка модели регрессии на автокорреляцию первого порядка.

Необязательное отступление:

В общем случае есть регрессия вида: .

Здесь – зависимая переменная, , ,…, - коэффициенты, ,…, - переменные-факторы, от которых зависит , а - это ошибки регрессии, то есть влияние всех остальных неучтённых в модели (в качестве дополнительных иксов) факторов.

Когда мы оцениваем регрессию, то есть ищем значения коэффициентов, например по МНК (метод наименьших квадратов), то на ошибку обычно накладываются условия Гаусса-Маркова (принимаем для простоты и для того, чтобы наши вычисления сошлись, что эти условия выполнены). Третье условие Г-М выглядит так: , при . На словах это условие некоррелируемости ошибок. То есть ошибки, при разных измерениях (при разных t в нашем случае) не зависят друг от друга и не влияют друг на друга, взаимная парная ковариация ошибок двух любых измерений равна 0. НО!

В жизни не всегда случается так, как нам хочется. Иногда проверка показывает, что третье условие Г-М не выполняется, обычно в случае временных рядов. То есть, иногда ошибки одних измерений (при одних t в нашем случае) зависят от других измерений (от других t в нашем случае).

В частности, чаще бывает, что ошибки измерения зависят от ошибок предыдущих измерений. Модель такой зависимости ошибок в общем случае выглядит так:

Здесь ошибка t-ого измерения зависит от ошибок p предыдущих измерений и также в этой модели есть влияние неучтённых факторов, необъяснённая часть, то есть ошибка модели регрессии ошибок - (чтобы совсем уж не заморачиваться и не сойти с ума принимаем, что эи ошибки удовлетворяют всем условиям Г-М). По сути это модель авторегрессии порядка p (для порядка авторегрессий принято брать букву p (“пэ”), а для индексов авторегрессии принято обычно брать t, так как обычно такие модели используются для объяснения временных рядов (а t – это обозначение какого-то момента времени (time))). Причём коэффициенты в ней: - это, грубо говоря, коэффициенты корреляции, то есть величины, отражающие зависимость между ошибками разных измерений (корреляцию обозначают или как corr(), или как букву (произносится “ро”)). Если бы третье условие Г-М было соблюдено, то эти коэффициенты были бы нулевыми и всей этой галиматьи не было бы, а так получается, что они не равны 0, и мы строим модель автокорреляции ошибок.

В связи с последним заявлением проясним про третье условие Г-М, обычно его записывают как (.), то есть попарные ковариация между любыми двумя ошибками равны нулю. А словами называют «некоррелируемость ошибок». Но на самом деле несоответствия нет, так как если ковариация равна нулю, то и корреляция равна нулю, потому что:

Где Var и M, на всякий случай, - это дисперсия (вариация) и математическое ожидание соответствующих случайных величин.

А теперь частный случай автокорреляции ошибок.

Автокорреляция первого порядка ошибок регрессии:

В случае существовании в регрессии автокорреляции первого порядка ошибок регрессии ошибка в момент t зависит от ошибки в предыдущем моменте. Автокорреляция/авторегрессия ошибки первого порядка (то есть порядок автокорреляции «p» равен 1) выглядит так:

,

Где удовлетворяет условиям Гаусса-Маркова.

– это коэффициент корреляции ошибки с лагом 1. (). Он по модулю меньше единицы.

Модель автокорреляции ошибок первого порядка или модель авторегрессии первого порядка обозначают AR(1).

Если , то говорят о положительной автокорреляции, если об отрицательной автокорреляции.

В случае положительной автокорреляции в ряду остатков наблюдается тенденция к «сохранению знака (Поясню: остатки регрессии – это, грубо говоря, ошибки регрессии после того, как мы оценили реальные значения коэффициентов для реальных значений иксов и игреков, то есть получили:

, где и т.д. – это оцененные в числах коэффициенты, а - найденные числовые значения влияния неучтённых в регрессии факторов).

В случае отрицательной автокорреляции в ряду остатков тенденция к «смене знаков».

Свойства оценок и статистические последствия

В случае автокорреляции ошибок регрессии:

оценки коэффициентов, полученные методом наименьших квадратов (МНК), то есть OLS-оценки (Ordinary Least Squares-оценки), остаются несмещёнными и состоятельными, но являются неэффективными, то есть их дисперсия не минимальна.

Как следствие, t-статистики и F-статистики, оценённые по МНК, уже не имеют соответствующих нужных распределений Стьюдента и Фишера.

В случае автокорреляции первого порядка метод наименьших квадратов «завышает» t-статистики. Доверительные интервалы, построенные по стандартным формулам, будут меньше реальных, то есть мы будем иметь «более оптимистичную» картину, чем на самом деле.

Тесты на автокорреляцию

Гипотезы о существовании автокорреляции остатков обычно имеют следующий вид:

, – стандартная гипотеза, но иногда бывает вместо альтернативной гипотезы предположение о типе автокорреляции: или .