Свойства оценок на основе МНК

В линейной множественной регрессии параметры при называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии

. (1)

МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна:

. (2)

Вычислим частные производные первого порядка по каждому из параметров и приравняем их к нулю.

Имеем функцию аргумента:

.

Находим частные производные первого порядка:

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии (1):

(3)

Для двухфакторной модели данная система будет иметь вид:

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе:

(4)

где – стандартизированные переменные:

, , для которых среднее значение равно нулю: , а среднее квадратическое отклонение равно единице: ;

– стандартизированные коэффициенты регрессии.

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида

(5)

где и – коэффициенты парной и межфакторной корреляции.

Коэффициенты «чистой» регрессии связаны со стандартизованными коэффициентами регрессии следующим образом:

. (6)

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе (4) к уравнению регрессии в натуральном масштабе переменных (1), при этом параметр определяется как .

На основе линейного уравнения множественной регрессии

(7)

могут быть найдены частные уравнения регрессии:

(8)

т.е. уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне.

При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии, т.е. имеем

(9)

где

На основе частных уравнений регрессии определяются частные коэффициенты эластичности:

, (10)

где – коэффициент регрессии для фактора в уравнении множественной регрессии,

– частное уравнение регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности:

, (11)

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

Независимо от формы связи показатель множественной корреляции может быть найден как индекс множественной корреляции:

, (12)

где – общая дисперсия результативного признака; – остаточная дисперсия.

Границы изменения индекса множественной корреляции от 0 до 1. Чем ближе его значение к 1, тем теснее связь результативного признака со всем набором исследуемых факторов. Величина индекса множественной корреляции должна быть больше или равна максимальному парному индексу корреляции:

.

Расчет индекса множественной корреляции предполагает определение уравнения множественной регрессии и на его основе остаточной дисперсии:

. (13)

Можно пользоваться следующей формулой индекса множественной детерминации:

. (14)

При линейной зависимости признаков формула индекса множественной корреляции может быть представлена следующим выражением:

, (15)

где – стандартизованные коэффициенты регрессии;

– парные коэффициенты корреляции результата с каждым фактором.

при линейной зависимости определение совокупного коэффициента корреляции через матрицу парных коэффициентов корреляции:

, (2.16)

где

– определитель матрицы парных коэффициентов корреляции;

– определитель матрицы межфакторной корреляции.

Как видим, величина множественного коэффициента корреляции зависит не только от корреляции результата с каждым из факторов, но и от межфакторной корреляции. Рассмотренная формула позволяет определять совокупный коэффициент корреляции, не обращаясь при этом к уравнению множественной регрессии, а используя лишь парные коэффициенты корреляции.

В рассмотренных показателях множественной корреляции (индекс и коэффициент) используется остаточная дисперсия, которая имеет систематическую ошибку в сторону преуменьшения, тем более значительную, чем больше параметров определяется в уравнении регрессии при заданном объеме наблюдений . Если число параметров при равно и приближается к объему наблюдений, то остаточная дисперсия будет близка к нулю и коэффициент (индекс) корреляции приблизится к единице даже при слабой связи факторов с результатом. Для того чтобы не допустить возможного преувеличения тесноты связи, используется скорректированный индекс (коэффициент) множественной корреляции.

Скорректированный индекс множественной корреляции содержит поправку на число степеней свободы, а именно остаточная сумма квадратов делится на число степеней свободы остаточной вариации , а общая сумма квадратов отклонений на число степеней свободы в целом по совокупности .

Формула скорректированного индекса множественной детерминации имеет вид:

, (17)

где – число параметров при переменных ;

– число наблюдений.

Поскольку , то величину скорректированного индекса детерминации можно представить в виде:

. (17а)

Чем больше величина , тем сильнее различия и .

Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при устранении влияния других факторов, включенных в уравнение регрессии.

Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в анализ нового фактора к остаточной дисперсии, имевшей место до введения его в модель.

В общем виде при наличии факторов для уравнения

коэффициент частной корреляции, измеряющий влияние на фактора , при неизменном уровне других факторов, можно определить по формуле:

, (18)

где – множественный коэффициент детерминации всех факторов с результатом;

– тот же показатель детерминации, но без введения в модель фактора .

При двух факторах формула (2.18) примет вид:

; . (18а)

Коэффициенты частной корреляции более высоких порядков можно определить через коэффициенты частной корреляции более низких порядков по рекуррентной формуле:

(19)

При двух факторах данная формула примет вид:

; . (19а)

Для уравнения регрессии с тремя факторами частные коэффициенты корреляции второго порядка определяются на основе частных коэффициентов корреляции первого порядка. Так, по уравнению возможно исчисление трех частных коэффициентов корреляции второго порядка:

, , ,

каждый из которых определяется по рекуррентной формуле. Например, при имеем формулу для расчета :

. (20)

Рассчитанные по рекуррентной формуле частные коэффициенты корреляции изменяются в пределах от –1 до +1, а по формулам через множественные коэффициенты детерминации – от 0 до 1

Совокупный коэффициент корреляции по формуле:

. (21)

В частности, для двухфакторного уравнения формула (21) принимает вид:

. (21)

Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью -критерия Фишера:

, (22)

где – факторная сумма квадратов на одну степень свободы;

– остаточная сумма квадратов на одну степень свободы;

– коэффициент (индекс) множественной детерминации;

– число параметров при переменных (в линейной регрессии совпадает с числом включенных в модель факторов);

– число наблюдений.

Частный -критерий построен на сравнении прироста факторной дисперсии, обусловленного влиянием дополнительно включенного фактора, с остаточной дисперсией на одну степень свободы по регрессионной модели в целом. В общем виде для фактора частный -критерий определится как

, (23)

где – коэффициент множественной детерминации для модели с полным набором факторов,

– тот же показатель, но без включения в модель фактора ,

– число наблюдений,

– число параметров в модели (без свободного члена).

Фактическое значение частного -критерия сравнивается с табличным при уровне значимости и числе степеней свободы: 1 и . Если фактическое значение превышает , то дополнительное включение фактора в модель статистически оправданно и коэффициент чистой регрессии при факторе статистически значим. Если же фактическое значение меньше табличного, то дополнительное включение в модель фактора не увеличивает существенно долю объясненной вариации признака , следовательно, нецелесообразно его включение в модель; коэффициент регрессии при данном факторе в этом случае статистически незначим.

Для двухфакторного уравнения частные -критерии имеют вид:

, . (23а)

С помощью частного -критерия можно проверить значимость всех коэффициентов регрессии в предположении, что каждый соответствующий фактор вводился в уравнение множественной регрессии последним.

Частный -критерий оценивает значимость коэффициентов чистой регрессии. Зная величину , можно определить и -критерий для коэффициента регрессии при -м факторе, , а именно:

. (24)

Оценка значимости коэффициентов чистой регрессии по -критерию Стьюдента может быть проведена и без расчета частных -критериев. В этом случае, как и в парной регрессии, для каждого фактора используется формула:

, (25)

где – коэффициент чистой регрессии при факторе ,

– средняя квадратическая (стандартная) ошибка коэффициента регрессии .

Для уравнения множественной регрессии средняя квадратическая ошибка коэффициента регрессии может быть определена по следующей формуле:

, (26)

где – среднее квадратическое отклонение для признака ,

– среднее квадратическое отклонение для признака ,

– коэффициент детерминации для уравнения множественной регрессии,

– коэффициент детерминации для зависимости фактора со всеми другими факторами уравнения множественной регрессии;

– число степеней свободы для остаточной суммы квадратов отклонений.

Как видим, чтобы воспользоваться данной формулой, необходимы матрица межфакторной корреляции и расчет по ней соответствующих коэффициентов детерминации . Так, для уравнения оценка значимости коэффициентов регрессии , , предполагает расчет трех межфакторных коэффициентов детерминации: , , .