В линейной множественной регрессии параметры при называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.
Рассмотрим линейную модель множественной регрессии
. (1)
МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна:
. (2)
Вычислим частные производные первого порядка по каждому из параметров и приравняем их к нулю.
Имеем функцию аргумента:
.
Находим частные производные первого порядка:
После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (1):
(3)
Для двухфакторной модели данная система будет иметь вид:
Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:
|
|
(4)
где – стандартизированные переменные:
, , для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ;
– стандартизированные коэффициенты регрессии.
Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида
(5)
где и – коэффициенты парной и межфакторной корреляции.
Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами регрессии следующим образом:
. (6)
Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (4) к уравнению регрессии в натуральном масштабе переменных (1), при этом параметр определяется как .
На основе линейного уравнения множественной регрессии
(7)
могут быть найдены частные уравнения регрессии:
(8)
т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне.
При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем
(9)
где
На основе частных уравнений регрессии определяются частные коэффициенты эластичности:
, (10)
где – коэффициент регрессии для фактора в уравнении множественной регрессии,
– частное уравнение регрессии.
Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:
, (11)
которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.
|
|
Независимо от формы связи показатель множественной корреляции может быть найден как индекс множественной корреляции:
, (12)
где – общая дисперсия результативного признака; – остаточная дисперсия.
Границы изменения индекса множественной корреляции от 0 до 1. Чем ближе его значение к 1, тем теснее связь результативного признака со всем набором исследуемых факторов. Величина индекса множественной корреляции должна быть больше или равна максимальному парному индексу корреляции:
.
Расчет индекса множественной корреляции предполагает определение уравнения множественной регрессии и на его основе остаточной дисперсии:
. (13)
Можно пользоваться следующей формулой индекса множественной детерминации:
. (14)
При линейной зависимости признаков формула индекса множественной корреляции может быть представлена следующим выражением:
, (15)
где – стандартизованные коэффициенты регрессии;
– парные коэффициенты корреляции результата с каждым фактором.
при линейной зависимости определение совокупного коэффициента корреляции через матрицу парных коэффициентов корреляции:
, (2.16)
где
– определитель матрицы парных коэффициентов корреляции;
– определитель матрицы межфакторной корреляции.
Как видим, величина множественного коэффициента корреляции зависит не только от корреляции результата с каждым из факторов, но и от межфакторной корреляции. Рассмотренная формула позволяет определять совокупный коэффициент корреляции, не обращаясь при этом к уравнению множественной регрессии, а используя лишь парные коэффициенты корреляции.
В рассмотренных показателях множественной корреляции (индекс и коэффициент) используется остаточная дисперсия, которая имеет систематическую ошибку в сторону преуменьшения, тем более значительную, чем больше параметров определяется в уравнении регрессии при заданном объеме наблюдений . Если число параметров при равно и приближается к объему наблюдений, то остаточная дисперсия будет близка к нулю и коэффициент (индекс) корреляции приблизится к единице даже при слабой связи факторов с результатом. Для того чтобы не допустить возможного преувеличения тесноты связи, используется скорректированный индекс (коэффициент) множественной корреляции.
Скорректированный индекс множественной корреляции содержит поправку на число степеней свободы, а именно остаточная сумма квадратов делится на число степеней свободы остаточной вариации , а общая сумма квадратов отклонений на число степеней свободы в целом по совокупности .
Формула скорректированного индекса множественной детерминации имеет вид:
, (17)
где – число параметров при переменных ;
– число наблюдений.
Поскольку , то величину скорректированного индекса детерминации можно представить в виде:
. (17а)
Чем больше величина , тем сильнее различия и .
Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при устранении влияния других факторов, включенных в уравнение регрессии.
Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в анализ нового фактора к остаточной дисперсии, имевшей место до введения его в модель.
В общем виде при наличии факторов для уравнения
коэффициент частной корреляции, измеряющий влияние на фактора , при неизменном уровне других факторов, можно определить по формуле:
, (18)
где – множественный коэффициент детерминации всех факторов с результатом;
– тот же показатель детерминации, но без введения в модель фактора .
|
|
При двух факторах формула (2.18) примет вид:
; . (18а)
Коэффициенты частной корреляции более высоких порядков можно определить через коэффициенты частной корреляции более низких порядков по рекуррентной формуле:
(19)
При двух факторах данная формула примет вид:
; . (19а)
Для уравнения регрессии с тремя факторами частные коэффициенты корреляции второго порядка определяются на основе частных коэффициентов корреляции первого порядка. Так, по уравнению возможно исчисление трех частных коэффициентов корреляции второго порядка:
, , ,
каждый из которых определяется по рекуррентной формуле. Например, при имеем формулу для расчета :
. (20)
Рассчитанные по рекуррентной формуле частные коэффициенты корреляции изменяются в пределах от –1 до +1, а по формулам через множественные коэффициенты детерминации – от 0 до 1
Совокупный коэффициент корреляции по формуле:
. (21)
В частности, для двухфакторного уравнения формула (21) принимает вид:
. (21)
Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью -критерия Фишера:
, (22)
где – факторная сумма квадратов на одну степень свободы;
– остаточная сумма квадратов на одну степень свободы;
– коэффициент (индекс) множественной детерминации;
– число параметров при переменных (в линейной регрессии совпадает с числом включенных в модель факторов);
– число наблюдений.
Частный -критерий построен на сравнении прироста факторной дисперсии, обусловленного влиянием дополнительно включенного фактора, с остаточной дисперсией на одну степень свободы по регрессионной модели в целом. В общем виде для фактора частный -критерий определится как
, (23)
где – коэффициент множественной детерминации для модели с полным набором факторов,
– тот же показатель, но без включения в модель фактора ,
– число наблюдений,
– число параметров в модели (без свободного члена).
Фактическое значение частного -критерия сравнивается с табличным при уровне значимости и числе степеней свободы: 1 и . Если фактическое значение превышает , то дополнительное включение фактора в модель статистически оправданно и коэффициент чистой регрессии при факторе статистически значим. Если же фактическое значение меньше табличного, то дополнительное включение в модель фактора не увеличивает существенно долю объясненной вариации признака , следовательно, нецелесообразно его включение в модель; коэффициент регрессии при данном факторе в этом случае статистически незначим.
|
|
Для двухфакторного уравнения частные -критерии имеют вид:
, . (23а)
С помощью частного -критерия можно проверить значимость всех коэффициентов регрессии в предположении, что каждый соответствующий фактор вводился в уравнение множественной регрессии последним.
Частный -критерий оценивает значимость коэффициентов чистой регрессии. Зная величину , можно определить и -критерий для коэффициента регрессии при -м факторе, , а именно:
. (24)
Оценка значимости коэффициентов чистой регрессии по -критерию Стьюдента может быть проведена и без расчета частных -критериев. В этом случае, как и в парной регрессии, для каждого фактора используется формула:
, (25)
где – коэффициент чистой регрессии при факторе ,
– средняя квадратическая (стандартная) ошибка коэффициента регрессии .
Для уравнения множественной регрессии средняя квадратическая ошибка коэффициента регрессии может быть определена по следующей формуле:
, (26)
где – среднее квадратическое отклонение для признака ,
– среднее квадратическое отклонение для признака ,
– коэффициент детерминации для уравнения множественной регрессии,
– коэффициент детерминации для зависимости фактора со всеми другими факторами уравнения множественной регрессии;
– число степеней свободы для остаточной суммы квадратов отклонений.
Как видим, чтобы воспользоваться данной формулой, необходимы матрица межфакторной корреляции и расчет по ней соответствующих коэффициентов детерминации . Так, для уравнения оценка значимости коэффициентов регрессии , , предполагает расчет трех межфакторных коэффициентов детерминации: , , .