Теоретическая справка. Множественная регрессия – это уравнение связи с несколькими независимыми переменными

Множественная регрессия – это уравнение связи с несколькими независимыми переменными:

где y – зависимая переменная (результативный признак); –независимые переменные (признаки-факторы).

Для построения уравнения множественной регрессии чаще используются следующие функции:

-линейная –

-степенная –

-экспонента –

-гипербола –

Можно использовать и другие функции, приводимые к линейному виду.

Для оценки параметров уравнения множественной регрессий применяют метод наименьших квадратов (МНК). Для линейных уравнений

(3.1)

строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

(3.2)

Для двухфакторной модели данная система будет иметь вид:

(3.3)

Так же можно воспользоваться готовыми формулами, которые являются следствием из этой системы:

(3.4)

В линейной множественной регрессии параметры при x называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:

(3.5)

где – стандартизированные переменные: для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ; - стандартизированные коэффициенты регрессии.

В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии можно сравнивать между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида

(3.6)

где – коэффициенты парной и межфакторной корреляции.

Коэффициенты «чистой» регрессии b_i связаны со стандартизованными коэффициентами регрессии следующим образом:

(3.7)

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (3.5) к уравнению регрессии в натуральном масштабе переменных (3.1), при этом параметр a определяется как

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов – из модели исключаются факторы с наименьшим значением .

Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле

(3.8)

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции:

(3.9)

Значение индекса множественной корреляции лежит в пределах от 0 до 1 и должно быть больше или равно максимальному парному индексу корреляции:

При линейной зависимости коэффициент множественной корреляции можно определить через матрицы парных коэффициентов корреляции:

где

– определитель матрицы парных коэффициентов корреляции;

– определитель матрицы межфакторной корреляции.

Так же при линейной зависимости признаков формула коэффициента множественной корреляции может быть также представлена следующим выражением:

(3.11)

где – стандартизованные коэффициенты регрессии; – парные коэффициенты корреляции результата с каждым фактором.

Качество построенной модели в целом оценивает коэффициент (индекс) детерминации. Коэффициент множественной детерминации рассчитывается как квадрат индекса множественной корреляции

Для того чтобы не допустить преувеличения тесноты связи, применяется скорректированный индекс множественной детерминации, который содержит поправку на число степеней свободы и рассчитывается по формуле

(3.12)

где n – число наблюдений, m – число факторов. При небольшом числе наблюдений нескорректированная величина коэффициента множественной детерминации R² имеет тенденцию переоценивать долю вариации результативного признака, связанную с влиянием факторов, включенных в регрессионную модель.

Частные коэффициенты (или индексы) корреляции, измеряющие влияние на y фактора x_i, при элиминировании (исключении влияния) других факторов, можно определить по формуле

(3.13)

или по рекуррентной формуле:

(3.14)

Рассчитанные по рекуррентной формуле частные коэффициенты корреляции изменяются в пределах от –1 до +1, а по формулам через множественные коэффициенты детерминации – от 0 до 1. Сравнение их друг с другом позволяет ранжировать факторы по тесноте их связи с результатом. Частные коэффициенты корреляции дают меру тесноты связи каждого фактора с результатом в чистом виде.

При двух факторах формулы (3.12) и (3.13) примут вид:

Значимость уравнения множественной регрессии в целом оценивается с помощью F -критерия Фишера:

(3.15)

Частный F -критерий оценивает статистическую значимость присутствия каждого из факторов в уравнении. В общем виде для фактора x частный F -критерий определится как

(3.16)

Фактическое значение F -критерия Фишера сравнивается с табличным значением при уровне значимости и степенях свободы и . При этом, если фактическое значение - критерия больше табличного, то дополнительное включение фактора x_i в модель статистически оправданно и коэффициент чистой регрессии b_i при факторе x_i статистически значим. Если же фактическое значение меньше табличного, то дополнительное включение в модель фактора x_i не увеличивает существенно долю объясненной вариации признака y, следовательно, нецелесообразно его

включение в модель; коэффициент регрессии при данном факторе в этом случае статистически незначим.

Оценка значимости коэффициентов чистой регрессии проводится по t -критерию Стьюдента. В этом случае, как и в парной регрессии, для каждого фактора используется формула

(3.17)

Для уравнения множественной регрессии (3.1) средняя квадратическая ошибка коэффициента регрессии может быть определена по формуле:

(3.18)

где – коэффициент детерминации для зависимости фактора x_i со всеми другими факторами уравнения множественной регрессии. Для

двухфакторной модели (m = 2) имеем:

(3.19), (3.20)

Существует связь между t -критерием Стьюдента и частным F - критерием Фишера:

(3.21)

Уравнения множественной регрессии могут включать в качестве независимых переменных качественные признаки (например, профессия, пол, образование, климатические условия, отдельные регионы и т.д.). Чтобы ввести такие переменные в регрессионную модель, их необходимо упорядочить и присвоить им те или иные значения, т.е. качественные переменные преобразовать в количественные.

Такого вида сконструированные переменные принято в эконометрике называть фиктивными переменными. Например, включать в модель фактор «пол» в виде фиктивной переменной можно в следующем виде:

(3.22)

Коэффициент регрессии при фиктивной переменной интерпретируется как среднее изменение зависимой переменной при переходе от одной категории (женский пол) к другой (мужской пол) при неизменных значениях остальных параметров.