Множественная линейная регрессия

Парная корреляция или парная регрессия могут рассмат­риваться как частный случай отражения связи некоторой зависимой переменной, с одной стороны, и одной из множества независимых переменных — с другой. Когда же требуется охарактеризовать связь всего указанного множества незави­симых переменных с результативным признаком, говорят о множественной корреляции или множественной регрессии.

Рассмотрим вопрос о регрессии. В ряде случаев именно от его решения — оценки уравнений регрессии — зависят оценки тесноты связи, а они, в свою очередь, дополняют результаты регрессионного анализа. Прежде всего следует определить перечень независимых переменных X, включаемых в уравнение. Это должно делаться на основе теоретических положений. Список Х может быть достаточно широк и ограничен только исходной информацией. На практике теоретические положения о сути взаимосвязи подкрепляются парными коэффициентами корреляции между зависимой и независимыми переменными. Отбор наиболее значимых из них можно провести с помощью ЭВМ, выбирая в соответствии с коэффициентами корреляции и другими критериями факторы, наиболее тесно связанные с У. Параллельно решается вопрос о форме уравнения. Современные средства вычислительной техники позволяют за относительно короткое время рассчитать достаточно много вариантов уравнений. В ЭВМ вводятся значения зависимой переменной У и матрица независимых переменных X, прини­мается форма уравнения, например линейная. Ставится задача включить в уравнение k наиболее значимых X. В результате получим уравнение регрессии с k наиболее значимыми факторами. Аналогично можно выбрать наилучшую форму связи. Этот традиционный прием, называемый пошаговой регрессией, если он не противоречит качественным посылкам, достигает приемлемых результатов. Первоначально обычно берется линейная модель множественной регрессии

У_i = а₀ + а₁Х_i1 + а₂ Х_i2 +... + а_k Х_ik + e_i

или — в форме уравнения регрессии –

У_теор = а₀ + а₁Х₁ + а₂ Х₂ +... + а_k Х_k,

где У_теор – расчетное значение регрессии, которое представляет собой оценку ожидаемого значения У при фиксированных значениях переменных Х₁, Х₂,..., Х_k;

а₁, а₂, …, а_k - коэффициенты регрессии, каждый из которых показывает, на сколько единиц изменится У с изменением соответствующего признака Х на единицу при условии, что остальные признаки останутся на прежнем уровне.

Параметры уравнения множественной регрессии, как правило, находятся методом наименьших квадратов. В матричной записи система уравнений имеет вид

(Х^т Х) * А = Х^тУ,

1 Х₁₁ … Х_1k У₁ а₀

где Х = 1 Х₂₁ … Х_2k; У = У₂; А = а₁.

… … … … …

1 Х_n1 … Х_nk У_n а_k

Оценка параметров множественной регрессии вручную затруднительна, приводит к потерям точности и может лишь удовлетворить любопытство. Получение же оценок параметров на ЭВМ в настоящее время не представляет большой проблемы. Гораздо важнее, насколько линейная форма связи соответствует реально существующей зависимости между У, с одной стороны, и множеством Х — с другой.