Модель линейной регрессии (оценка МНК)

Под моделью линейной регрессии будем понимать модель вида:

где y – объясняемый ряд (выходной параметр, целевой показатель, зависимая переменная),

x₁, …, x_k – объясняющие ряды (входные параметры, независимые переменные),

e – вектор ошибок модели,

b₀, b₁, …, b_k – коэффициенты регрессии.

Различают регрессию:

- одномерную - с участием одной независимой переменной;

- многомерную - с несколькими независимыми переменными.

Различают также линейную и нелинейную регрессию. Если регрессионная модель не является линейной комбинацией функций от параметров, то говорят о нелинейной регрессии. Нелинейными моделями являются, экспоненциальные, тригонометрические и другие (например, радиальные базисные функции или персептрон Розенблатта), полагающие зависимость между параметрами и зависимой переменной нелинейной.

Примеры нелинейных зависимостей:

Различают также параметрическую и непараметрическую регрессию. Строгую границу между этими двумя типами регрессий провести сложно. Сейчас не существует общепринятого критерия отличия одного типа моделей от другого. Например, считается, что линейные модели являются параметрическими, а модели, включающие усреднение зависимой переменной по пространству свободной переменной —непараметрическими. В целом, непараметрическая регрессия отличается от параметрической тем, что зависимая переменная зависит не от одного значения независимой переменной, а от некоторой заданной окрестности этого значения.

Регрессия и классификация тесно связаны друг с другом. Термин «алгоритм» в классификации мог бы стать синонимом термина «модель» в регрессии, если бы алгоритм не оперировал с дискретным множеством ответов-классов, а модель — с непрерывно-определенной независимой переменной.

Рисунок 4 – Линейная регрессия

На рисунке 4 представлены объекты выборки, обозначенные синими точками, и график линейной регрессионной зависимости в виде сплошной линии. По оси абсцисс отложена свободная переменная, а по оси ординат — зависимая. Зависимость линейна относительно параметров.

2 варианта применения регрессионный моделей (см рисунок 5):

- для предсказания;

- для исследования.

Рисунок 5 – Применение регрессионных моделей для: 1) предсказания; 2) исследования.