Множественная линейная регрессия: отбор факторов

Наиболее важная задача при построении множественной линейной регрессии – правильный отбор факторов, входящих в данное уравнение. При решении этой задачи наиболее широкое применение получили следующие схемы: метод включения факторов и метод исключения – отсев факторов из полного его набора.

В соответствии с первой схемой (метод включения факторов) признак включается в уравнение в том случае, если его включение существенно увеличивает значение множественного коэффициента корреляции, что позволяет последовательно отбирать факторы, оказывающие существенное влияние на результирующий признак даже в условиях мультиколлинеарности системы признаков, отобранных в качестве аргументов из содержательных соображений. При этом первым в уравнение включается фактор, наиболее тесно коррелирующий с Y, вторым в уравнение включается тот фактор, который в паре с первым из отобранных дает максимальное значение множественного коэффициента корреляции, и т.д. Существенно, что на каждом шаге получают новое значение множественного коэффициента (большее, чем на предыдущем шаге); тем самым определяется вклад каждого отобранного фактора в объясненную дисперсию Y.

Вторая схема пошаговой регрессии (метод исключения) основана на последовательном исключении факторов с помощью t -критерия. Она заключается в том, что после построения уравнения регрессии и оценки значимости всех коэффициентов регрессии из модели исключают тот фактор, коэффициент при котором незначим и имеет наименьшее значение t - статистики. После этого получают новое уравнение множественной регрессии и снова производят оценку значимости всех оставшихся коэффициентов регрессии. Если среди них опять окажутся незначимые, то опять исключают фактор с наименьшим значением t -критерия. Процесс исключения факторов останавливается на том шаге, при котором все регрессионные коэффициенты значимы.

Ни одна их этих процедур не гарантирует получения оптимального набора переменных. Однако при практическом применении они позволяют получить достаточно хорошие наборы существенно влияющих факторов.

При отборе факторов также рекомендуется пользоваться следующим правилом: число включаемых факторов обычно в 6–7 раз меньше объема совокупности, по которой строится регрессия. Если это соотношение нарушено, то число степеней свободы остаточной дисперсии очень мало. Это приводит к тому, что параметры уравнения регрессии оказываются статистически незначимыми, а F-критерий меньше табличного значения.

В соответствии с первой схемой (метод включения факторов) воспользуйтесь инструментом анализа данных MS Excel «РЕГРЕССИЯ» следующим образом. Сначала выберите фактор, имеющий наиболее тесную связь с результатом (rухi = мах). Обозначим его х1. Затем примените только к этому фактору (х1) и результату (У), т.е. только к двум столбикам данных, инструмент анализа данных MS Excel «РЕГРЕССИЯ». Оцените R2х1 - он покажет, сколько процентов дисперсии удалось объяснить с помощью переменной х1.

Применение инструмента Регрессия (Анализ данных в EXCEL).

Для проведения регрессионного анализа выполните следующие действия:

1. Выберите команду Сервис Þ Анализ данных.

2. В диалоговом окне Анализ данных выберите инструмент Регрессия, а затем щелкните на кнопке ОК

3. В диалоговом окне Регрессия в поле Входной интервал Y введите адрес одного диапазона ячеек, который представляет зависимую переменную. В поле Входной интервал Х введите адреса одного или нескольких диапазонов, которые содержат значения независимых переменных

4. Если выделены и заголовки столбцов, то установить флажок Метки в первой строке.

5. Выберите параметры вывода. В данном примере Новая рабочая книга

6. В поле Остатки поставьте необходимые флажки.

Далее добавьте еще одну объясняющую переменную (х₂), и снова примените инструмент анализа данных MS Excel «РЕГРЕССИЯ», теперь уже к трем столбикам даных – У, х₁, х₂.

Обратите внимание! Столбики х₁ и х₂ должны стоять рядом!

Оцените R²_х1х2 - он покажет, сколько процентов дисперсии удалось объяснить с помощью двух переменных - х₁ и х₂. Затем найдите разность между R²_х1 и R²_х1х2, оцените ее существенность/несущественность и сделайте вывод – стоит ли включать в модель переменную х₂. Несущественной считается величина меньше 0,01 – т.е. дополнительная переменная добавляет меньше 1 % объясненной регрессии.

Если переменная х₂ существенно улучшает модель, добавьте третью объясняющую переменную х₃ и проведите процедуру оценки снова, теперь уже для результата «У» и трех факторных переменных х₁, х₂ и х₃.

Снова оцените, насколько улучшилась модель – для этого опять найдите разность между R²_х1х2 и R² _х1х2х3. Если разность существенна, переменную х₃ следует включить в модель и повторить процедуру оценки уже для четырех объясняющих факторов – У, х₁, х₂ , х₃ и х₄. Если разность несущественна – переменную х3 нужно исключить из дальнейшего анализа, и провести процедуру оценки для переменных у, х₁, х₂ и х₄.

Продолжайте процедуру отбора до тех пор, пока не включите в модель все переменные, или разница R² станет несущественной при добавлении очередной переменной.

Таблица 1.4 – Результаты применения инструмента анализа данных MS Excel «РЕГРЕССИЯ» к У и х₁; вывод по R² _х1.

Пример:

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,825
R-квадрат	0,785
Нормированный R-квадрат	0,542
Стандартная ошибка	150611,41
Наблюдения

R²_х1 = 0,785, т.е. объем предоставленных субсидий из федерального бюджета объясняет 78,5% вариации показателя «Число малых предприятий».

Таблица 1.5 – Результаты применения инструмента анализа данных MS Excel «РЕГРЕССИЯ» к у, х₁, х₂, вывод по R² _х1х2.

Пример:

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,891
R-квадрат	0,821
Нормированный R-квадрат	0,744
Стандартная ошибка	50613,41
Наблюдения

R²_х1х2 = 0,821, разница между R²_х1 и R²_х1х2 составляет 0,036 = 0,0821-0,785. Таким образом, фактор х₂ «Густота ж/д путей общего пользования (на конец года; км путей на 10000 кв. км территории)» существенно улучшает качество модели, процент объясненной дисперсии возрастает до 82,1%, и данный фактор нужно включить в модель.

Таблица 1.6 – Результаты применения инструмента анализа данных MS Excel «РЕГРЕССИЯ» к У, х₁, х₂, х₃, вывод по R² _х1х2х3.

Пример:

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,898
R-квадрат	0,822
Нормированный R-квадрат	0,765
Стандартная ошибка	25987,41
Наблюдения

R²_х1х2х3 = 0,822, разница между R²_х1х2 и R²_х1х2х3 составляет 0,001 = 0,0821-0,0822. Таким образом, фактор х₃ «Число абонентских терминалов сотовой связи (на конец года; на 1000 чел. населения)» несущественно улучшает качество модели, процент объясненной дисперсии возрастает до 82,2%, данный фактор включать в модель не нужно.