Под моделью линейной регрессии будем понимать модель вида:
где y – объясняемый ряд (выходной параметр, целевой показатель, зависимая переменная),
x1, …, xk – объясняющие ряды (входные параметры, независимые переменные),
e – вектор ошибок модели,
b0, b1, …, bk – коэффициенты регрессии.
Различают регрессию:
- одномерную - с участием одной независимой переменной;
- многомерную - с несколькими независимыми переменными.
Различают также линейную и нелинейную регрессию. Если регрессионная модель не является линейной комбинацией функций от параметров, то говорят о нелинейной регрессии. Нелинейными моделями являются, экспоненциальные, тригонометрические и другие (например, радиальные базисные функции или персептрон Розенблатта), полагающие зависимость между параметрами и зависимой переменной нелинейной.
Примеры нелинейных зависимостей:
Различают также параметрическую и непараметрическую регрессию. Строгую границу между этими двумя типами регрессий провести сложно. Сейчас не существует общепринятого критерия отличия одного типа моделей от другого. Например, считается, что линейные модели являются параметрическими, а модели, включающие усреднение зависимой переменной по пространству свободной переменной —непараметрическими. В целом, непараметрическая регрессия отличается от параметрической тем, что зависимая переменная зависит не от одного значения независимой переменной, а от некоторой заданной окрестности этого значения.
|
|
Регрессия и классификация тесно связаны друг с другом. Термин «алгоритм» в классификации мог бы стать синонимом термина «модель» в регрессии, если бы алгоритм не оперировал с дискретным множеством ответов-классов, а модель — с непрерывно-определенной независимой переменной.
Рисунок 4 – Линейная регрессия
На рисунке 4 представлены объекты выборки, обозначенные синими точками, и график линейной регрессионной зависимости в виде сплошной линии. По оси абсцисс отложена свободная переменная, а по оси ординат — зависимая. Зависимость линейна относительно параметров.
2 варианта применения регрессионный моделей (см рисунок 5):
- для предсказания;
- для исследования.
Рисунок 5 – Применение регрессионных моделей для: 1) предсказания; 2) исследования.