Одношаговый метод наименьших квадратов. Эмпирическая регрессионная функция. Регрессионные коэффициенты. Ошибка отклонения и ее математическое ожидание

Расмотрим уравнение

Применим к обеим частям этого уравнения оператор математического ожидания. Тогда получим[3]

Эту величину можно прогнозировать с помощью регрессионного уравнения.

Очевидно, что на момент постановки экспериментов по выявлению зависимости между переменными величинами и , точные значения параметров неизвестны. Они могут быть только оценены. Основной принцип оценки параметров регрессионной модели является принцип минимума суммы квадратов ошибок (отклонений).

Важный этап - формирование целевой функции.

Ошибка или отклонение:

Квадрат ошибки:

Здесь значения параметров, получаемые в результате оценок.

Сумма квадратов ошибок:

Функция при оценке регрессионных коэффициентов методом наименьших квадратов и является целевой функцией. Перепишем ее в следующем виде:

Далее, вычислим частную производную

мерный вектор мерный вектор

Необходимое условие экстремума:

или

В развернутом виде:

Здесь неизвестным (искомым) является вектор . В матричной записи имеем:

Подставляя найденные значения в оцениваемое регрессионное уравнение, получим так называемую эмпирическую регрессионную функцию:

(*)

Эмпирический регрессионный коэффициент в выражении (*) является частной производной эмпирической функции регрессии по му регрессору.

Бета-коэффициенты являются коэффициентами, которые были бы получены, если бы мы заранее стандартизовали все переменные, т.е. сделали их среднее равным 0, а стандартное отклонениеравным 1. Одно из преимуществ бета-коэффициентов (по сравнению с B-коэффициентами) заключается в том, что бета-коэффициенты позволяют сравнить относительные вклады каждойнезависимой переменной в предсказание зависимой переменной.

Таким образом: изменение величины го регрессора на единицу при прочих равных условиях вызовет изменение оцениваемой величины на величину равную .