Понятие качества регрессии, коэффициент детерминации, скорректированный коэффициент детерминации

 

Коэффициент детерминации (R2) Это оценка качества - это квадрат множественного коэффициента корреляции. Он показывает, какая доля дисперсии результативного признака объясняется влиянием независимых переменных. Формула для вычисления коэффициента детерминации:

 

 

где yi — выборочные данные, а fi — соответствующие им значения модели.

Коэффициент принимает значения из интервала [0;1]. Чем ближе значение к 1 тем ближе модель к эмпирическим наблюдениям. R2<50% Построенные при таких условиях регрессионные модели имеют низкое практическое значение.

Значение R2 монотонно возрастает с ростом числа переменных (регрессоров) в регрессии, что зачастую не означает улучшения качества предсказания. Потому правильнее использовать скорректированный коэффициент детерминации, учитывающий число использованных регрессоров и корректировать коэффициент множественной детерминации на потерю степеней свободы вариации.

 

Модель множественной регрессии. Смысл коэффициентов множественной регрессии. Матричный вид регрессии, метода наименьших квадратов и теоремы Гаусса-Маркова. Вывод формул метода наименьших квадратов в матричном виде

 

Идея множественной регрессии состоит в том, что зависимая переменная определяется более чем одной объясняющей переменной. Общий вид множественной регрессии:

 

 

Коэф. Регрессии показывают насколько изменится значение зависимой переменной y, если значение соответствующей независимой переменной изменится на 1, при условии, что все остальные переменные останутся неизменными.

Матричная форма записи

Пусть имеется выборка из п наблюдений, а модель включает k peгреccopов и константу. Введем обозначения:

Y= - вектор-столбец наблюдений (размерности п)

X= — матрица значений регрессоров (размерности п на k+1)

- вектор-столбец неизвестных параметров, (размерности k+1)

- вектор-столбец случайных ошибок, (размерности п)

Тогда множественную линейную регрессионную модель можно записать, в матричной форме:

 

 

Метод наименьших квадратов

Необходимо найти методом наименьших квадратов оценки неизвестных параметров β.

Они определяются исходя из условия минимизации суммы квадратов остатков по компонентам вектора β.