Обобщенный МНК и его исп-ие для оценки эфф-ти методов определения параметров уравнения регрессии

Автокорреляция (остатков) и связанные с ней факторы.

При опред-ии ур-ия регрессии значения случ.составляющей в любом наблюдении опр-ся незав-мо от его значений во всех др.набл-ях.

Автокор-ция – зависимость одной случ.составляющей от другой.

Последствия авт-ции примерно такие же как и при гетероск-ти т.е оценки коэф-ов ур-ния регрессии становятся неэффективными, стандартные ошибки коэф-ов ур-ия занижаются. Обычно вопрос авток-ции остатков возникает при исслед-ии временных рядов, но соседними значениями результатирующего признака могут считаться значения, упоряд-ые по возрастанию к-л факториальной переменной.

Постоянная направленность воздействия не включенного в уравнение регрессии к-л фактора явл. наиболее частой причиной положительной автокор-ции.

Пример: Исследуем спрос на мороженое:

Наблюдения показали, что спрос меняется. График:

Выводы:

1. если в ур-ии регрессии вкл. существ. фактор(в данном сл.), вызыв-ий авток-цию, то она устраняется
2. если увеличить интервал наблюдений (в нашем сл.), то авт-ция устраняется
3. если мы имеем: (график)

,то это пример отриц-ой авт-ции.

8.2. Обнаружение автокорреляции 1-го порядка. Критерий Дарбина – Уотсона

Во многих сл.фактич.зависимость, опред-ую авт-цию остатков можно аппроксимировать авторегрессионной схемой 1-го порядка:

, где - чисто случ.величина; - пок-ль авт-ции . Если , то имеем сущ-ую отриц.авт-цию; - авт-ция отсутствует; - сущ-ет положит. авт-ция.

Оценка

Недостаток этой формулы – для этой формулы нет критических значений, поэтому используют для этой формулы критерий Дарбина – Уотсона.

Критерий Дарбина – Уотсона:

Известно, что:

(график) - обнаружение гетероск-ти

Если -авт-ция применяется.

8.3.1. Устранение авт-ции, описываемой авторегрессионной схемой 1-ого порядка в общем случае. Поправка Прайса – Уинстена.

(1)

Наиб. лучший способ устранения – это опред-ть фактор, кот.вызывает авт-цию остатков и вкл.его в ур-ие регрессии,но это трудно сделать, т.к.

1. нам неизвестен фактор
2. этот ф-р трудно измерить

Поэтому исп-ют др.способы. Пусть закономерность, описывающая авт-цию и нам известно . Для простоты рассмотрим ур-ие 1-го порядка:

() (2)

Получим

(3), следовательно полностью устранена авт-ция

При исп-ии такого подхода пропадает первое наблюдение. Если выборка маленькая, то потеря 1-го наблюдения может снизить эффект-ть оценок, вызванную авт-цией остатков.

Для возвращения 1-го наблюдения исп-ся след.подход. Если ур-ие (3) им.случ.составляющую, не связанную с др.случ.остатками в наблюдениях 2,3,4…n, то эти случ.составляющие не коррелируют и с 1-ым остатком, т.е. , а значит мы можем исп-ть 1-ое наблюдение без преобразований:

. Однако в этом сл.ур-ие (1) будет оказывать, при применении МНК, неоправданно большое влияние на определенные оценки параметров.

Для устранения этого дисбаланса м/д ур-ми Прайс и Уинстен предложили умножить 1-ое ур-ие на поправочный коэф-т . В этом сл.ур-ие становится соизмеримым с др.ур-ми.

8.3.2. Метод Кокрана-Оркатта. Метод Хилдрета – Лу.

Метод Кокрана-Оркатта.

Данный метод исп-ся для устранения авт-ции итарационную процедуру, кот.можно представить в виде след.этапов:

1. оцениваем исходное регрессионное ур-ие, т.е. находим λ и β.
2. вычисляем остатки
3. находим оценку ρ коэф-та авт-ции (1)
4. исп-уя данную оценку ρ находим ур-ие (3)
5. производим определение параметров ур-ия (3) и находим новые значения оценок λ и β
6. повторно вычисляем остатки и фактически возвращаемся к этому №3

Процесс повторяется до тех пор, пока не будет получена требуемая точность сходимости в оценках λ и β

Метод Хилдрета – Лу.

В данном м-де исслед-ль задает интервал изменения величины ρ, допустим в пределах Для каждого значения ρ производится оценка парпметров λ и β из ур-ия (3). Затем из полученных рез-ов выбир-ся такой, кот.дает минимальную стандартную ошибку для преобразованного ур-ия. Исп-мые в этом ур-ии значения ρ, λ и β принимаются за искомые.

В сл., когда статистика Дарбина – Уотсона указ.на очень тесную положительную авт-цию, можно исп-ать упрощенную процедуру, в кот.принимается ρ =1. В этом сл.ур-ие (3) принимает след. вид:

9. Мультиколлинеарность: способы ее обнаружения и устранения.

Мульт-сть – это коррелир-ть двух или неск.объясняющих переменных в ур-ии регрессии. Оценка коэф-та ур-ия регрессии может оказаться незначимой не только из-за несущественности данного фактора, но и из-за того, что трудно разграничить воздействие на завершающую переменную 2-х или неск. факторов. Это обычно возникает в том сл.когда факторы линейно связаны м/д собой и меняются синхронно. Природу мульт-ти наиб.наглядно можно выявить на примере совершенной мульт-ти, т.е. в сл.если ф-ры функционально связаны друг с другом.

Пусть ур-ие регрессии им.вид: (1) (2)

Используя соотношение (1) и (2) можем переписать в сл.виде:

или

Используя и методом наим.квадратов находим оценки: , но в этом сл.имеем одно ур-ие с 2-мя неизв-ми и следовательно найти значение оценок b₁ и b₂ невозможно.

В реальности им. несовершенную мульт-ть, т.е. стахост.линейную связь м/д x₁ и x₂. Оценка этой связи находится путем расчета . Чем ближе к 1, тем ближе несовершенная мульт-ть к совершенной, и тем менее надежными будут оценки коэф-та регрессии при этих переменных.

Небольшое смещение ведет к

большим изменениям признака

(график)

В эк.исследованиях счит.,что предельным значением коэф-та парной корреляции м/д двумя факторами д.б. 0,8

Устранение мульт-ти ведется путем искл-и одного из факторов из ур-ия регрессии. Искл-ют тот фактор, кот.:

1. по мнению исслед-ля считается менее значимым.
2. менее высокий коэф-т (r) с результат. Переменной (y).
3. более высокий r с др.факторами

Другие пути: изменить выборку

Под обобщенным МНК будем понимать м-д опред-ия пар-ов ур-ия регрессии, кот.предполагает предварительное преобразование исх.данных, т.о. чтобы устранить гетероск-сть и автокор-цию остатков.

Согласно Доугерти, оценки ур-ия регрессии будут иметь желательные для МНК св-ва, если для преобразования ур-ий исп-ся истинные значения коэф-та ρ (показ-ля авток-ции остатков) и если сохранено первое наблюдение.

Учитывая данное положение можно сказать, что м-д Карно-Оркатто и Прайса-Уинстона работает лучше чем обычные МНК только для больших выборок.

Точность оценок ур-ия регрессии, опред-ых МНК, во многом зависят от закона изменения факториального признака и эту зависимость исследовали Парк и Митчелл. В своих исслед-ях они брали ур-ие регрессии вида:, у кот.случ.составляющая имела авт-цию, подчиняется авторегрессионной схеме 1-го порядка:

В качестве исх. данных для каждого взято 3 вида зависимостей:

1. простоы временной тренд

2. ежегодные данные о ВНП США. В данной зав-сти на фоне случ.отклонений прослеживается опред.зависимость (слабый временной тренд)

3. ежегод.инф-ция о коэф-те исп-ния произв.мощностей США. В этой зависимости временной тренд отсутствует.

Случ.составл-ая генерируется генератором случ.цифр. Размер выборки = 20, и для кождой зависимости было сделано по 1000 экспериментов. Определялась относительная эфф-сть оценки как обратная величина отношения среднеквадратич. ошибки в эксперименте к соотв.ошибке при определении параметров с помощью обычного МНК. На основании повторного исслед-ия сделаны след.выводы:

1. выигрыш в эфф-сти, обеспечиваемый заменой обычного МНК на м-д Карнана-Оркатто (СО) или СО-PW (Прайс-Уинстон), то выигрыш в эфф-сти обеспечивается при наличии неярко выраженного тренда и большом значении ρ
2. в условиях сильного тренда, обычный МНК м.б.эфф-ым даже при высоких значениях ρ.
3. исп-ие м-да СО в чистом виде значительно менее эфф-но, чем СО-PW когда данные подвержены сильному тренду. В этом сл.м-д СО работает хуже, чем обычный МНК, следовательно, всегда более целесообразно исп-ть м-д СО-PW, сохраняющий 1-ое наблюдение. Кроме того, исслед-ия показали, что при наличии авт-ции необх. исп-ть более высокие уровни значимости 0-гипотезы.