Коэффициенты корреляции и детерминации

Определим, насколько тесно связаны между собой зависимая и независимая величины y и x. Для этого рассмотрим коэффициент корреляции

. (15)

Коэффициент корреляции является относительной мерой связи между двумя переменными, поэтому значения коэффициента корреляции всегда находятся, как видно из (15), между –1 и +1 (-1£r_xy£1). Положительное значение коэффициента корреляции свидетельствует о наличии прямой, а отрицательное – обратной связей между переменными. Когда коэффициент корреляции стремится по абсолютной величине к единице, это говорит о наличии сильной связи (r_xy ®±1) – теснота связи велика, в противном случае, когда коэффициент корреляции стремится к 0, – связь отсутствует.

Анализ вариации зависимой переменной в регрессии. Коэффициент детерминации

Рассмотрим вариацию (разброс) значений Y_t вокруг среднего значения. Разобьем эту вариацию на две части: объясненную регрессионным уравнением и не объясненную (связанную с ошибками).

Обозначим через предсказанное значение Y_t, тогда (рис. 7) и вариация Y_t можно представить в виде трех слагаемых:

(16)

Y_t

Y_t-Y_t

Y_t Y_t-Y

Y_t -Y

Y_t

X_t

Рис. 7

Третье слагаемое в формуле (16) равно нулю, так как – вектор остатков регрессии ортогонален константе S и вектору X. В самом деле,

Поэтому верно равенство

. (17)

SST SSE SSR

Обозначим левую часть в (17) через SST – общая сумма квадратов (вся дисперсия), первое слагаемое в правой части, соответствующее необъясненной дисперсии (сумма квадратов ошибок), – через SSE, второе слагаемое в правой части – SSR – объясняющая часть регрессии (сумма квадратов, объясняющих регрессию).

Статистика R² – коэффициент детерминации

Коэффициентом детерминации, или долей объясняющей дисперсии является

R² = 1 – SSE / SST = SSR / SST. (18)

R²принимает значения между 0 и 1, 0 £ R² £ 1.

Если R² = 0, то это значит, что регрессия ничего не дает, т.е. X_t не улучшает качества предсказания Y_t по сравнению с тривиальным предсказанием Y_t = Y.

Другой крайний случай R²=1 означает точную подгонку: все точки наблюдений лежат на регрессионной прямой (все e_t = 0).

Чем ближе к единице значение R², тем лучше качество подгонки.

Связь между коэффициентом корреляции и коэффициентом детерминации

По определению, коэффициент детерминации равен

R² = SSR / SST (19)

Напомним, что

SST = , (20)