Анализ статистической значимости коэффициента детерминации

После оценки индивидуальной статистической значимости каждого из коэффициентов регрессии обычно анализируется совокупная значимость коэффициентов. Такой анализ осуществляется на основе проверки гипотезы об общей значимости − гипотезы об одновременном равенстве нулю всех коэффициентов регрессии при объясняющих переменных:

Н0: β1 = β2 = … = βm = 0.

Если данная гипотеза не отклоняется, то делается вывод о том, что совокупное влияние всех m объясняющих переменных Х1, Х2, …, Хm модели на зависимую переменную Y можно считать статистически несущественным, а общее качество уравнения регрессии − невысоким. Проверка данной гипотезы осуществляется на основе дисперсионного анализа − сравнения объясненной и остаточной дисперсий. Н0: (объясненная дисперсия) = (остаточная дисперсия),

Н1: (объясненная дисперсия) > (остаточная дисперсия).

Для этого строится F-статистика:

 F= ∑ki2/m/∑ei2/(n-m-1)= ∑(yi-y)2/m/∑(yi-yi)2/(n-m-1)                              (2.37) 

где ∑ki2/m − объясненная дисперсия; ∑ei2/(n−m−1) − остаточная дисперсия. При выполнении предпосылок МНК построенная F-статистика имеет распределение Фишера с числами степеней свободы ν1 = = m, ν2 = n − m − 1. Поэтому, если при требуемом уровне значимости α Fнабл. > Fкр. = Fα;m;n−m−1 (где Fα;m;n−m−1 − критическая точка распределения Фишера), то Н0 отклоняется в пользу Н1. Это означает, что объясненная дисперсия существенно больше остаточной дисперсии, а следовательно, уравнение регрессии достаточно качественно отражает динамику изменения зависимой переменной Y. Если Fнабл. < Fкр. = Fα;m;n−m−1, то нет оснований для отклонения Н0. Значит, объясненная дисперсия соизмерима с дисперсией, вызванной случайными факторами. Это дает основания считать, что совокупное влияние объясняющих переменных модели несущественно, а следовательно, общее качество модели невысоко. Однако на практике чаще вместо указанной гипотезы проверяют тесно связанную с ней гипотезу о статистической значимости коэффициента детерминации R2:

Н0: R2 = 0,

Н0: R2 > 0.

Для проверки данной гипотезы используется следующая F-

статистика: 

F=R2/1-R2*n-m-1/m    (2.38)

Величина F при выполнении предпосылок МНК и при справедливости H0 имеет распределение Фишера аналогичное F-статистике (2.37). Действительно, разделив числитель и знаменатель дроби в (2.37) на общую сумму квадратов отклонений ∑(yi −y)2

Очевидно, что показатели F и R2 равны или не равны нулю одновременно. Если F = 0, то R2 = 0, и линия регрессии Y = y является наилучшей по МНК, и, следовательно, величина Y линейно не зависит от X1, Х2,..., Xm. Для проверки нулевой гипотезы H0: F= 0 при заданном уровне значимости α по таблицам критических точек распределения Фишера находится критическое значение Fкр. = Fα;m;n−m−1. Нулевая гипотеза отклоняется, если F > Fкр.. Это равносильно тому, что R2 > 0, т. е. R2 статистически значим. Анализ статистики F позволяет сделать вывод о том, что для принятия гипотезы об одновременном равенстве нулю всех коэффициентов линейной регрессии, коэффициент детерминации R2 не должен существенно отличаться от нуля. Его критическое значение уменьшается при росте числа наблюдений и может стать сколь угодно малым.

Пример:

Пусть, например, при оценке регрессии с двумя объясняющими переменными по 30 наблюдениям R2 = 0.65. Тогда F = 0.65 ⋅ 30−2−1 ≈ 25.07. По таблицам критических точек распределения Фишера найдем F0.05;2;27 = 3.36; F0,01;2;27 = 5.49. Поскольку F набл. = 25.07 > F крит. как при 5%,  так и при 1% уровне значимости, то нулевая гипотеза в обоих случаях отклоняется. Если в той же ситуации R2 = 0.4, то F = 9. Предположение о не значимости связи отвергается и здесь. Отметим, что в случае парной регрессии проверка нулевой гипотезы для F-статистики равносильна проверке нулевой гипотезы для t-статистики  коэффициента корреляции В этом случае F-статистика равна квадрату t-статистики. Самостоятельную важность коэффициент R2 приобретает в случае множественной линейной регрессии.