Множественная регрессия

В тех случаях, когда необходимо оценить влияние нескольких факторов на исследуемую величину, строится уравнение множественной регрессии.

Если связь является линейной, то уравнение линейной множественной регрессии запишется в виде:

i = a0 + a1xi1 + a2xi2 +... + amxim,

где m - число учитываемых факторов (независимых переменных),

n - объем выборки.

Рассмотрим случай, когда y зависит от двух переменных – x₁ и x₂.

Уравнение с оцененными параметрами будет иметь вид:

i = a0 + a1xi1 + a2xi2,

Чтобы определить значения коэффициентов a₀, a₁ и a₂, воспользуемся методом наименьших квадратов.

Как и ранее, задача формулируется следующим образом:

Q = = → min.

Приравяв частные производные нулю и выполнив преобразования, получим систему уравнений:

na0 + a1 xi1 + a2 xi2 = yi, a0 xi1 + a1 + a2 xi1xi2 = yixi1, a0 xi2 + a1 xi1xi2 + a2 = yixi2.

Решив систему, можно получить формулы для расчета коэффициентов уравнения множественной линейной регрессии (a₀, a₁, a₂).

Рассмотрим более общий случай - зависимость переменной y от m факторов.

Обозначим:

A = {a_j}, j = 0, 1, 2,..., m - вектор оценок параметров регрессии;

Y = {y_i}, - вектор значений зависимой переменной;

X = {x_ij}, , j = 0, 1, 2,..., m - матрица значений независимых переменных;

при этом m - количество независимых переменных, n - объем выборки.

Уравнение регрессии может быть представлено в следующим образом.

Для конкретного y_i:

i = a0 + a1xi1 + a2xi2 +... + amxim,

(6.5)

или в матричном виде:

где X = 1 x11 x12... x1m 1 x21 x22... x2m ... 1 xn1 xn2... xnm .

Обратите внимание на то, что в матрицу X дополнительно введен столбец, все элементы которого равны 1, т.е. условно полагается, что в уравнении (6.5) свободный член a₀ умножается на фиктивную переменную x_i0, принимающую значение 1 для всех i.

Можно показать, что для общего случая множественной линейной регрессии, коэффициенты уравнения могут быть определены из следующего соотношения: