Классическая и обобщенная модели множественной линейной регрессии. Условия применения метода наименьших квадратов, свойства его оценок

Понятие множественной регрессии, её графическая интерпретация:

Множественный регрессионный анализ является развитием парного регрессионного анализа применительно к случаям, когда зависимая переменная гипотетически связана с более чем одной независимой переменной. Большая часть анализа будет непосредственным расширением парной регрессионной модели, но здесь мы сталкиваемся с двумя новыми проблемами. Во-первых, при оценке влияния данной независимой переменной на зависимую переменную нам придется решать проблему разграничения ее воздействия и воздействий других независимых переменных. Во-вторых, мы должны будем решить проблему спецификации модели. Часто предполагается, что несколько переменных могут оказывать влияние на зависимую переменную, с другой стороны, некоторые переменные могут не подходить для модели. Мы должны решить, какие из них следует включить в уравнение регрессии, а какие - исключить из него, и какова форма связи изучаемых переменных? В большинстве ситуаций мы ограничимся основным случаем, где используются только две независимые переменные.

Пример: определяются факторы совокупного спроса на продукты питания. Расширим первоначальную модель, включив учет влияния ценовых изменений на спрос, и допустим, что истинную зависимость можно выразить следующим образом: у = a + b₁х + b₂ р + и,

где у - общая величина расходов на питание, х - располагаемый личный доход, а р - цена продуктов питания. Это, разумеется, является значительным упрощением как с точки зрения состава независимых переменных, включенных в зависимость, так и с точки зрения математической формулы связи.

Для геометрической иллюстрации этой зависимости необходима трехмерная диаграмма с отдельными осями для у, х и р.

Основание диаграммы содержит оси для х и р, и если пренебречь текущим влиянием случайного члена, то наклонная плоскость над ним показывает величину у, соответствующую любому сочетанию х и р, измеренную расстоянием по вертикали от данной точки до этой плоскости. Так как расходы на питание могут увеличиваться с ростом доходов и уменьшаться с увеличением цены, изображение на диаграмме было построено на основе допущения о том, что величина b₁ является положительной, а величина b₂ - отрицательной. Конечно, нереально было бы предположить, что одна из величин х и р могла бы быть равной нулю, но если бы обе величины х и р оказались равными нулю, то величина у равнялась бы a. При сохранении р = 0 уравнение означает, что для любого положительного дохода величина у будет равна (a + b₁ х), и на рис. приращение b₁х обозначено как "чистый эффект дохода". При сохранении х = 0 уравнение означает, что для любой положительной цены величина у будет равной (a + b₂ р), приращение b₂ р на рисунке обозначено как "чистый эффект цены". Поскольку b₂ на практике является отрицательной величиной, отрицательным будет и этот эффект. Показан также комбинированный эффект дохода и цены (b₁х + b₂р).

До сих пор мы пренебрегали случайным членом. Если он отсутствует на данный момент в уравнении, то значения у в выборке наблюдений для у, х и р будут находиться точно на наклонной плоскости и будет довольно просто вывести точные значения b₁ и b₂.

Учет случайного члена приводит к тому, что фактические значения у будут лежать несколько выше или ниже значений, соответствующих наклонной плоскости.

Уравнение для выбранной плоскости будет иметь вид: и ее расположение будет зависеть от выбора величин а, b₁ и b₂, являющихся, соответственно, оценками a, b₁ и b₂.

Отбор факторов при построении модели:

Основная цель множественной регрессии - построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также их совокупное влияние на результативный признак.

Построение уравнения множественной регрессии, как и в случае парной зависимости признаков, начинается с проблемы спецификации модели. Эта проблема включает в себя два круга вопросов – отбор факторов и выбор вида уравнения регрессии. Их решение при построении модели множественной регрессии имеет некоторую специфику.