Методы оценивания коэффициентов линейной многофакторной регрессии

Основные понятия

Множественная линейная регрессия

Тема 2. Множественная регрессия (группа 3.5Б)

Изменения экономических показателей, как правило, обусловлены большим количеством факторов. В этом случае применяют многофакторное уравнение регрессии. Общий вид:

где

у – зависимые переменные;

x_1, …, x_p – независимые переменные(объясняющие факторы).

Рассмотрим случай линейной многофакторной регрессии:

(1.1),где

у – зависимая переменная;

х_j, () – j-й фактор уравнения (1.1),

b₀ – свободный член уравнения

b_j – коэффициент регрессии при j-том факторе. Он показывает изменения зависимой переменной у с изменением соответствующего фактора на единицу при условии, что остальные факторы остаются неизменными (фиксированными).

ε_i – ошибки (случайная компонента)

В матричной форме многогранное регрессионное уравнение записывается так:

(1.2) где

у - случайная вероятность значимой переменной

X – матрица размерности

, где

i – параметр наблюдения

j – параметр фактора

;

Коэффициенты регрессии многофакторной модели имеют следующий экономический смысл: прирост результата (y), приходящийся на единицу прироста j-го фактора при фиксированном значении других факторов.

В большинстве случаев компоненты множественной регрессии оцениваются с помощью МНК.

Для определения параметров множественной регрессии (1.1) с p факторами решают систему из (p+1) уравнений с (p+1) неизвестными.

Запишем минимизируемый функционал в матричной форме min

Дифференцируя данный функционал по, получаем систему обычных линейных уравнений

Оценки вектора b (значения коэффициентов регрессии) находятся по формулам

, где

X^T – транспонированная матрица

(X^TX)^-1 – обратная матрица к матрице X^T*X

y = b₀+b₁x₁+b₂x₂+ε – рассмотрим двухфакторное уравнение

min

Дифференцируем по b₀, b₁, b₂

Разрешая систему относительно b₀, b₁, b_2, получаем значения для определения коэффициентов b₀, b₁, b_2.

Для оценки параметров уравнения множественной регрессий применяют метод наименьших квадратов (МНК). Для линейных уравнений y  a  b₁  x₁  b₂  x2  b_m  x_m  строится следующая система нормальных уравнений, решение которой позволяет получить оценки параметров регрессии:

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе: t_y=β₁t_x1 +β₂t_x2+…+β_mt_xm+ε

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений вида.

Средние коэффициенты эластичности для линейной регрессии рассчитываются по формуле

которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.