Метод наименьших квадратов

Для оценки параметров регрессионного уравнения наиболее часто используют мнк.мнк дает оценки имеющихся наименьших дисперсий. Оценки а и b с крышами находят путем минимизации квадратов: Q(a,b)=сумма(yi-yi с крыш)в квадрате=сумма(yi-a-bxi)в квадрате. Задача сводится к поиску минимума функции двух переменных. Точка минимума находится путем приравнивания к нулю функцию z=Q(a,b)по переменным a и b

Основные гипотезы

Для того чтобы регрессионный анализ давал наилучший из всех возможных результаты при использовании мнк должны выполняться следующие предпосылки гаусса-маркова:

1.мат ожидание случайной величины должно быть равно нулю М(Е)=0;

2.случайная переменная Е есть величина случайная, а объясняющая переменная х-неслучайная величина.т о.ковариация между независимой переменной х и постоянной величиной а =0 ---var(x)=M[x-M(x)], cov(y,x)=M[(x-M[x])(y-M[y])]

3.в любых двух наблюдениях связь между случайными величинами должна отсутствовать, т.е. случайные величины независимы М(Ei,Ej)=0(i!=j)

4.дисперсия случайной величины должна быть постоянной для всех наблюдений D(Ei)=ϐв квадрате.

В случае когда выполняются предпосылки,оценки коэффициентов будут обладать свойствами несмещенности (мат ожидание остатков равно0), эффективности(наименьшая дисперсия) и состоятельности(увеличение точности с увеличением объема выборки).

Анализ вариации зависимой переменной в регрессии

Цель вариационного анализа состоит в объяснении поведения зависимой переменной yi. Пусть дано уравнение регрессии yi=a+b*xi+Ei. Рассмотрим вариацию зависимой переменной сумма(yi-yi c черточкой)в квадрате, вокруг своего среднего значения. Разобьем вариацию на две части объясненную регрессионным уравнением и связанную с ошибками погрешности. Тогда вариацию зависимой переменной можно представить в виде 3х слагаемых: сумма (y-у с черточкой)в квадрате=сумма(у-у с крышкой)в квадрате+сумма(у с крышкой-у с черточкой)в квадрате +2*(у-у с крышкой)*(у с крышкой-у с черт). Т.к. третье слагаемое равно нулю, то получим равенство сумма (y-у с черточкой)в квадрате=сумма(у-у с крышкой)в квадрате+сумма(у с крышкой-у с черточкой)в квадрате

Коэффициент детерминации

Коэффициентом детерминации называют отношение характеризующее долю вариации зависимой переменной, объясненную с помощью уравнения регрессии.

R²=∑(yi-yiс крыш)²/∑(yi-yi с черт)²=1-∑ei²/∑(yi-y с черт)

Если величина ∑ei² велика, то коэф дет не велик, близок к 0.если многие точки лежат на линии регрессии или располагаются вблизи нее то коэф дет равен 1.