Коэффициент детерминации. Оценка значимости уравнения регрессии

Чтобы определить правильность подбора формул уравнения рассчитывают коэффициент детерминации.

К.д.- является одной из наиболее эффективных оценок адекватности регрессионной модели, мерой качества подгонки регрессионной модели к наблюдаемым значениям.

Компоненты дисперсии:

1. Регрессия; сумма квадратов- значок суммы(уi(с кр)-у(ср.) ² , число степеней свободы (m-1), средние квадраты S² объяснённая регрессия= значок суммы(уi(с кр)-у(ср.) ²  / m-1

2. Остаток; сумма квадратов - значок суммы(уi(с кр)-у)² ;число степеней свободы (n-m), средние квадраты S² остаточная=…

3. Общая; сумма квадратов- значок суммы(уi)-у(ср.) ^2; число степеней свободы (n-1), S² общая=…

В последнем столбце таблицы представлены несмещённые оценки зависимой переменной, m-число оцениваемых параметров уравнения регрессии, n- число наблюдений. В случае линейной парной регрессии, m=2, т.к у(с кр.)=a+bx содержит два параметра a и b.

Коэффициент детерминации показывает долю дисперсии результативного признака, объясненную регрессией в общей доле дисперсии результативного признака. Обозначается

R²= значок суммы(уi(с кр)-у(ср.) ²/ значок суммы(уi)-у(ср.) ²

В случае линейной парной регрессии R²=r²

0<= R²<=1, чем ближе R² к 1, тем более адекватно построенная модель к исходным данным. Чем ближе R² к 0, тем больше несоответствие между реальными наблюдениями и построенной моделью.

Основная формула дисперсионного анализа.

значок суммы(уi(с кр)-у(ср.) ²+ значок суммы(уi(с кр)-у)²= значок суммы(уi)-у(ср.) ²

Оценка значимости уравнения регрессии и параметров линейной регрессии, корреляции (критерий Фишера, Стьюдента).

Оценить значимость уравнения регрессии означает установить соответствует ли математическая модель выражающая зависимость между переменными экспериментальным данным и выявить, достаточно ли включённых в уравнения объясняющих переменных для описания зависимой переменной.

Проверка значимости уравнения регрессии проводится с помощью дисперсионного анализа. Для того, чтобы применить критерий Фишера выдвигают гипотезу H₀=(коэффициент регрессии =0, фактор х не оказывает влияния на у).

Для того, чтобы потвердить или опровергнуть эту гипотезу рассчитываем F расчётное=S² регресии/S²остатков= значок суммы(уi(с кр)-у(ср.) ²  (n-m)/ значок суммы(уi(с кр)-у)² (m-1)

Fрасч.линей.=r²(n-m)/1-r² для линейной модели

Затем по таблице приложений смотрим табличное значение F табл.

F табл. – это максимально возможное значение критерия при заданном уровне значимости альфа и числе степеней свободы.

Уровень значимости (альфа)- это вероятность допустить ошибку первого рода, т.е вероятность отвергнуть правильную гипотезу.

Чаще всего альфа=0,05, а также альфа 0, 01.

Число степеней свободы для F критерия определяется по формуле k1=m-1, K2=n-m.

Fтабл. смотрим по таблице приложения(1)

Если, F расч> Fтабл, то гипотеза H₀ отклоняется, уравнение признаётся значимым и надёжным. Если F расч< Fтабл, то гипотеза H₀ принимается, фактор х не оказывает влияния на у, уравнение не значимо не надёжно.

Оценка значимости коэффициентов регрессии (a и b), и коэффициентов корреляции (r).

Проверить значимость коэффициентов a, b и r, можно с помощью t-критерия Стьюдента.

Выдвигается гипотеза H₀(коэффициент b(либо a,r) сформирован случайно. Чтобы подтвердить или опровергнуть данную гипотезу рассчитывается расчетное значение ta,tb,tr по формулам.

ta=a/ma

tb=b/mb

tr=r/mr

Табличное значение критерия, смотрим по табл. Приложения при альфа=0,05,и числе степеней свободы k=n-m(приложение 2)

Если tрасч.>tтабл, то гипотеза   H₀ отклоняется, значит коэффициенты неслучайно отличаются от 0 и сформированы под воздействием фактора х.

Если tрасч.<tтабл, то гипотеза H₀ принимается, коэффициенты a,b,r - случайно отличаются от 0 и фактор х не влияет на их формирование.

Геометрическая интерпретация регрессии.

Пусть число наблюдений n=3, тогда у1,у2,у3 – значение зависимой переменной, х1,х2,х3- значение объесняющей переменной. Рассмотрим 3-х мерное пространство с осями координат 1, 2, 3. Рассмотрим в этом пространстве вектор

У(вектор)(у1,у2,у3)

Х(вектор)( х1,х2,х3)

S(вектор)(1,1,1)

Тогда у1(с кр), у2(с кр.),у3(с кр) можно представить, как линейную комбинацию S(вектор) и Х(вектор).

У(с кр)=a=bx

Записываем в столбец (у1(с кр), у2(с кр.),у3(с кр))=а*столбец (1,1,1)+b* столбец(х1,х2,х3)

У(с кр.)=а*S(вектор)+b*X(вектор)

Из векторной алгебры известно, что у(с кр. И вектор) будет лежать в плоскости П.Разница ei=yi(c кр.)-yi будет минимальной, если вектор у(с кр.) расположен перпендикулярно плоскости П.

Тогда, вектор e перпендикулярен S(вектору), вектор e перпендикулярен вектору Х.

Векторы перпендикулярны, если их скалярное произведение равно 0.

В результате мы получим те же условия из которых находятся «наилучшие» оценки a, b методом наименьших квадратов.

Аналогично можно получить результаты при n>3, но геометрически показать это не получится.