Проверка гипотезы о совпадении уравнений регрессии для двух выборок

 

Еще одним направлением использования F-статистики является проверка гипотезы о совпадении уравнений регрессии для отдельных групп наблюдений. Одним из распространенных тестов проверки данной гипотезы является тест Чоу, суть которого состоит в следующем. Пусть имеются две выборки объемами n1 и n2 соответственно.

Для каждой из этих выборок оценено уравнение регрессии вида: 

       

Y = b0k + b1kX1 + b2kX2 +... + bmkXm + ek, k = 1, 2. (6.44) 

Проверяется нулевая гипотеза о равенстве друг другу соответствующих коэффициентов регрессии  

 

H0: bj1 = bj2, j = 0, 1,..., m.

Другими словами, будет ли уравнение регрессии одним и тем же для обеих выборок? 

 Пусть суммы ∑ei2k (k = 1, 2) квадратов отклонений значений yi от линий регрессии равны S1 и S2 соответственно для первого и второго уравнений регрессии. Пусть по объединенной выборке объема (n1 + n2) оценено еще одно уравнение регрессии, для которого сумма квадратов отклонений yi от уравнения регрессии равна S0. Для проверки Н0 в этом случае строится следующая F-статистика:

 

В случае справедливости H0 построенная F-статистика имеет распределение Фишера с числами степеней свободы ν1 = m + 1; ν2 = n1 + + n2 − 2m − 2. Очевидно, F-статистика близка к нулю, если S0 ≈ S1 + S2, и это фактически означает, что уравнения регрессии для обеих выборок практически одинаковы. В этом случае F < Fкрит.=Fб;н1;н2. Если же F >  Fкрит., то нулевая гипотеза отклоняется. Приведенные выше рассуждения особенно важны для ответа на вопрос, можно ли за весь рассматриваемый период времени построить единое уравнение регрессии (рис. 6.1, а), или же нужно разбить временной интервал на части и на каждой из них строить свое уравнение регрессии (рис. 6.1).

Некоторые причины необходимости использования различных уравнений регрессии для описания изменения одной и той же зависимой переменной на различных временных интервалах будут анализироваться ниже при рассмотрении фиктивных переменных и временных рядов.

 

РАЗДЕЛ 3.

Линейная регрессия

 

В тех случаях, когда из природы процессов в модели или из данных наблюдений над ней следует вывод о нормальном законе распределения двух СВ- Y и X, из которых одна является независимой, т. е. Y является функцией X, то возникает соблазн  определить такую зависимость аналитически. В случае успеха нам будет намного   проще вести моделирование. Конечно, наиболее заманчивой является перспектива линейной зависимости типа Y = a + b(X.Подобная задача носит название задачи регрессионного анализа и предполагает следующий способ решения. Выдвигается следующая гипотеза:H0: случайная величина Y при фиксированном значении величины распределена нормально с математическим ожиданием.

My = a + b(X и дисперсией Dy, не зависящей от X. При наличии результатов наблюдений над парами Xi и Yi предварительно вычисляются средние значения My и Mx, а затем производится оценка коэффициента b в вид

b =[pic][pic] = Rxy [pic][pic]

что следует из определения коэффициента корреляции. После этого вычисляется оценка для a в виде {2 - 16}и производится проверка значимости полученных результатов. Таким образом, регрессионный анализ является мощным, хотя и далеко не всегда допустимым расширением корреляционного анализа, решая всё ту же задачу оценки связей в сложной системе. Теперь более подробно рассмотрим множественную или многофакторную регрессию. Нас интересует только линейная модель вида Y=A0+A1X1+A2X2+…..AkXk.

 

Изучение связи между тремя и более связанными между собой признаками носит название множественной (многофакторной) регрессии. При исследовании зависимостей методами множественной регрессии задача формулируется так же,как и при использовании парной регрессии, т. е. требуется определить аналитическое выражение связи между результативным признаком (У) и факторными признаками (х1 х2, х3..., хn) найти функцию: Y=f(х1. Х2..., хn

 

Построение моделей множественной регрессии включает несколько этапов:

• выбор формы связи (уравнения регрессии):

• отбор факторных признаков:

• обеспечение достаточного объема совокупности для получения

несмещенных оценок.

Рассмотрим подробнее каждый из них. Выбор формы связи затрудняется тем, что, используя математический аппарат, теоретически зависимость между признаками может быть выражена большим числом различных функций. Выбор типа уравнения осложнен тем, что для любой формы зависимости выбирается целый ряд уравнений, которые в определенной степени будут описывать эти связи. Некоторые предпосылки для выбора определенного уравнения регрессии получают на основе анализа предшествующих аналогичных исследований или на базе анализа подобных работ в смежных отраслях знаний. Поскольку уравнение регрессии строится главным образом для объяснения и количественного выражения взаимосвязей, оно должно хорошо отражать сложившиеся между исследуемыми факторами фактические связи более приемлемым способом определения вида исходного уравнения регрессии является метод перебора различных уравнений. Сущность данного метода заключается в том, что большое число уравнений (моделей) регрессии, отобранных для описания связей какого-либо социально- экономического явления или процесса, реализуется на ЭВМ с помощью специально разработанного алгоритма перебора с последующей статистической проверкой, главным образом на основе t-критерия Стьюдeнта и F-критерия Фишера. Способ перебора является достаточно трудоемким и связан с большим объемом вычислительных работ. Практика построения многофакторных моделей взаимосвязи показывает, что все реально существующие зависимости между социально-экономическими явлениями можно описать, используя  пять типов моделей:

1. линейная: Y=A0+A1X1+….AkXk

2. степенная

3. показательная

4. параболическая

5. гиперболическая

Основное значение имеют линейные модели в силу простоты и логичности их экономической интерпретации. Нелинейные формы зависимости приводятся к линейным путем линеаризации

Важным этапом построения уже выбранного уравнения множественной регрессии являются отбор и последующее включение факторных признаков. Сложность формирования уравнения множественной регрессии заключается в том, что почти все факторные признаки находятся в зависимости один от другого. Проблема размерности модели связи, т. е. определение оптимального числа факторных признаков, является одной из основных проблем построения множественного уравнения регрессии. С одной стороны, чем больше факторных признаков включено в уравнение, тем оно лучше описывает явление. Однако модель размерностью 100 и более факторных признаков сложно реализуема и требует больших затрат машинного времени. Сокращение размерности модели за счет исключения второстепенных, экономически и статистически несущественных факторов способствует простоте и качеству ее реализации. В то же время построение модели регрессии малой размерности может привести  к тому, что такая модель будет недостаточно адекватна исследуемым явлениям и процессам. Проблема отбора факторных признаков для построения моделей взаимосвязи может быть решена на основе эвристических или многомерных статистических методов анализа.

 

Метод экспертных оценок как эвристический метод анализа основных макроэкономических показателей, формирующих единую,родную систему расчетов, основан на интуитивно-логических предпосылках, содержательно-качественном анализе. Анализ экспертной информации проводится на базе расчета и анализа непараметрических показателей связи: ранговых коэффициентов корреляции Спирмена, Кендалла и конкордации. Наиболее приемлемым способом отбора факторных признаков является шаговая регрессия (шаговый регрессионный анализ). 

 

Сущность метода шаговой регрессии заключается в последовательном включении факторов в уравнение регрессии и последующей проверке их значимости. Факторы поочередно вводятся в уравнение так называемым  "прямым методом". При проверке значимости введенного фактора определяется, насколько уменьшается сумма квадратов остатков и увеличивается величина множественного коэффициента корреляции. одновременно используется и обратный метод, т.е. исключение факторов, ставших незначимыми на основе t-критерия Стьюдента. Фактор является незначимым, если его включение в уравнение регрессии только изменяет значение коэффициентов регрессии, не уменьшая суммы квадратов остатков и не увеличивая их значения. 

 

Если при включении в модель соответствующего факторного признака величина множественного коэффициента корреляции увеличивается, а коэффициент регрессии не изменяется (или меняется несущественно), то данный признак существен и его включение в уравнение регрессии необходимо. Если же при включении в модель факторного признака коэффициенты регрессии меняют не только величину, но и знаки, а множественный коэффициент корреляции не возрастает, то данный факторный признак признается нецелесообразным для включения в модель связи.

 

Сложность и взаимное переплетение отдельных факторов, обусловливающих исследуемое экономическое явление (процесс), могут проявляться в так называемой мультиколлинеарности. Под мультиколлинеарностью понимается тесная зависимость между факторными признаками, включенными в модель. Наличие мультиколлинеарности между признаками приводит к:

1 искажению величины параметров модели, которые имеют тенденцию к

завышению;

2 изменению смысла экономической интерпретации коэффициентов регрессии;

3 слабой обусловленности системы нормальных уравнений;

4 осложнению процесса определения наиболее существенных факторных

признаков.

Одним из индикаторов определения наличия мультиколлинеарности между признаками является превышение парным коэффициентом корреляции величины 0,8.Устранение мультиколлинеарности может реализовываться через исключение из корреляционной модели одного или нескольких линейно-связанных факторных признаков или преобразование исходных факторных признаков в новые, укрупненные факторы. Вопрос о том, какой из факторов следует отбросить, решается на основании качественного и логического анализов изучаемого явления. Качество уравнения регрессии зависит от степени достоверности и надежности исходных данных и объема совокупности. Исследователь должен стремиться к увеличению числа наблюдений, так как большой объем наблюдений является одной из предпосылок построения адекватных статистических моделей. Аналитическая форма выражения связи результативного признака и ряда факторных называется многофакторным (множественным) уравнением регрессии, или моделью связи.

Уравнение линейной множественной регрессии имеет вид:

Y=A0+A1X1+….AkXk

Коэффициенты Аn вычисляются при помощи систем нормальных уравнений.

Проверка адекватности моделей, построенных на основе уравнений регрессии, начинается с проверки значимости каждого коэффициента регрессии. Значимость коэффициентов регрессии осуществляется с помощью t-критерия Стьюдента:

 

- дисперсия коэффициента регрессии. Параметр модели признается статистически значимым, если tp>tкр Наиболее сложным в этом выражении является определение дисперсии, которая может быть рассчитана двояким способом. Наиболее простой способ, выработанный методикой экспериментирования, заключается в том, что величина дисперсии коэффициента регрессии может быть приближенно определена по выражению:

- дисперсия результативного признака: k - число факторных признаков в уравнении.

 Наиболее сложным этапом, завершающим регрессионный анализ, является интерпретация уравнения, т. е. перевод его с языка статистики и математики на язык экономиста. Интерпретация моделей регрессии осуществляется методами той отрасли знаний, к которой относятся исследуемые явления. Но всякая интерпретация начинается со статистической оценки уравнения регрессии в целом и оценки значимости входящих в модель факторных признаков, т. е. с выяснения, как они влияют на величину результативного признака. Чем больше величина коэффициента регрессии, тем значительнее влияние данного признака на моделируемый. Особое значение при этом имеет знак перед коэффициентом регрессии. Знаки коэффициентов регрессии говорят о характере влияния на результативный признак. Если факторный признак имеет знак плюс, то с увеличением данного фактора результативный признак возрастает; если факторный признак со знаком минус, то с его увеличением результативный признак уменьшается. Интерпретация этих знаков полностью определяется социально-экономическим содержанием моделируемого (результативного) признака. Если его величина изменяется в сторону увеличения, то плюсовые знаки факторных признаков имеют положительное влияние. 

 

При изменении результативного призна-л-1 в сторону снижения положительное значение имеют минусовые знаки факторных признаков. Если экономическая теория подсказывает, что факторный признак должен иметь положительное значение, а он со знаком минус, то необходимо проверить расчеты параметров уравнения регрессии. Такое явление чаще всего бывает в силу допущенных ошибок при решении. Однако следует иметь в виду, что при анализе совокупного влияния факторов, при наличии взаимосвязей между ними характер их влияния может меняться. Для того чтобы быть уверенным, что факторный признак изменил знак влияния, необходима тщательная проверка решения данной модели, так как часто знаки могут меняться в силу допустимых ошибок при сборе или обработке информации.

 

При адекватности уравнения регрессии исследуемому процессу возможны следующие варианты.

1. Построенная модель на основе ее проверки по F-критерию Фишера в целом адекватна, и все коэффициенты регрессии значимы. Такая модель может быть использована для принятия решений к осуществлению прогнозов.

2. Модель по F-критерию Фишера адекватна, но часть коэффициентов регрессии незначима. В этом случае модель пригодна для принятия некоторых решений, но не для производства прогнозов.

3. Модель по F-критерию Фишера адекватна, но все коэффициенты регрессии незначимы. Поэтому модель полностью считается неадекватной. на ее основе не принимаются решения и не осуществляются прогнозы.

 

 

ВЫВОДЫ

 

Регрессионный анализ — метод моделирования измеряемых данных и исследования их свойств.Он используется для прогноза, анализа временных рядов, тестирования гипотез и выявления скрытых взаимосвязей в данных. На любой экономический показатель практически всегда оказывает влияние не один, а несколько факторов. Например, спрос на некоторое благо определяется не только ценой данного блага, но и ценами на замещающие и дополняющие блага, доходом потребителей и многими другими факторами. 

Изучение связи между тремя и более связанными между собой признаками носит название множественной (многофакторной) регрессии. Построение моделей множественной регрессии включает несколько этапов:

• выбор формы связи (уравнения регрессии):

• отбор факторных признаков:

• обеспечение достаточного объема совокупности для получения

несмещенных оценок.

Выбор типа уравнения осложнен тем, что для любой формы зависимости выбирается целый ряд уравнений, которые в определенной степени будут описывать эти связи.

Основное значение имеют линейные модели в силу простоты и логичности их экономической интерпретации. Наиболее сложным этапом, завершающим регрессионный анализ, является интерпретация уравнения, т. е. перевод его с языка статистики и математики на язык экономиста. Интерпретация моделей регрессии осуществляется методами той отрасли знаний, к которой относятся исследуемые явления.

При адекватности уравнения регрессии исследуемому процессу возможны следующие варианты:

1. Построенная модель на основе ее проверки по F-критерию Фишера;

2. Модель по F-критерию Фишера;

3. Модель по F-критерию Фишера адекватна, но все коэффициенты регрессии незначимы. Поэтому модель полностью считается неадекватной. на ее основе не принимаются решения и не осуществляются прогнозы.

 

 

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

 

1 Вводный курс эконометрики: Бородич С. А.,Учебное пособие − Мн.: БГУ,              

2000. − 354 с.

 

2 Анализ данных с помощью Microsoft Excel.: Берк, Кеннет, Кэйри, Патрик. Пер. с англ. — М.: Издательский дом "Вильяме", 2005. — 560 с.: ил. — Парал. тит. англ.

 

3 Норман Дрейпер, Гарри Смит Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. — 3-е изд. — М.: «Диалектика», 2007. — С. 912.

 

4 Радченко Станислав Григорьевич, Устойчивые методы оценивания статистических моделей: Монография. — К.: ПП «Санспарель», 2005. — С. 504.

 

5 Дрейпер Н., Смит Г. Прикладной регрессионный анализ. Издательский дом «Вильямс». 2007. 912 с.

 

6 Стрижов В. В. Методы индуктивного порождения регрессионных моделей. М.: ВЦ РАН. 2008. 55 с.

 

7 Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов; Учеб. пособие. — М.: Финансы и статистика, 2003. -416 с:

 

8 http://www.basegroup.ru/glossary/definitions/linear_regression/

 

ПРИЛОЖЕНИЕ А

 

 

 

 

ПРИЛОЖЕНИЕ Б