Выбор вида регрессионной модели

Используемый при проведении регрессионного анализа МНК обеспечивает минимизацию отклонений измеренных значений от предсказанных при заданной исследователем структуре модели, что не говорит о том, что модель хорошо описывает изучаемый процесс. При выборе вида модели необходимо уделить внимание следующим положениям:

- Наличие имеющихся знаний при построении моделей, описывающих процессы, подобные моделируемому текущему процессу. Важно знать какими моделями описывали исследователи подобные процессы и как они себя проявили.

- Выбор модели, отражающей реальные закономерности, наблюдаемые в процессе.

- Стремиться применять простые виды функциональных зависимостей, близко расположенных к выборке данных.

- В случае нелинейного вида модели, желательно отдавать предпочтение нелинейным моделям, которые можно преобразовать к псевдолинейному виду посредством ввода новых регрессоров . Например, допустим выбрана модель вида , тогда вводя новые переменные , получим псевдолинейную модель вида . Таким образом, определив значения псевдолинейной модели легко восстановить значения исходной нелинейной модели . Пример нелинейной модели , которую нельзя свести к виду псевдолинейной модели.

- Если речь идет о парной регрессии, то можно провести анализ расположения точек на графике, посредством которого провести выбор модели. На рис. 1 представлен пример подбора вида полинома для отклика как функции одного фактора (эмпирические данные на графике представлены в форме звездочек). Из рисунка видно, что точность линейной модели будет неудовлетворительной в силу большого значения остаточной суммы квадратов ошибки. В данной ситуации приемлемо использование полинома третьей степени . Однако возможен поиск и других видов регрессионных моделей, дающих более точный прогноз.

Рис. 1. Графики парной регрессии

Если указанные положения невозможно оценить, а исследователь приступает к изучению процесса, о котором не имеет ясного представления и не может сориентироваться при выборе структуры модели, можно воспользоваться одним из подходов:

1. В том случае, когда из описания исследуемого процесса следует, что он представляет собой непрерывную функцию факторов, отражающую отклик процесса, то обычно используют полиномиальную модель (4). При этом необходимо определиться с максимально возможной степенью полинома. При построении регрессионной модели с учетом факторов и предположением того, что к изучаемому процессу можно применить полином не выше второй степени, с учетом (4) можно записать новый полином как:

Сформированная подобным образом структура учитывает все возможные комбинации регрессоров модели. Дальнейший анализ модели позволит выявить незначимые оценки коэффициентов , что в результате приведет к удалению из модели соответствующих регрессоров и как результат приведет к ее постепенному упрощению.

2. Проверка всех возможных регрессий. Суть заключается в вычислении коэффициентов для всех возможных регрессионных моделей с дальнейшим сравнением их качественных характеристик. Если модель содержит коэффициентов, то:

- Все модели делятся на подмножеств. Первое подмножество включает модель , второе подмножество включает все модели с двумя коэффициентами и так далее.

- В каждом подмножестве модели упорядочиваются по возрастанию коэффициента множественной корреляции .

- В каждом подмножестве исследуется одно уравнение с максимальным значением . Если при переходе от модели одного подмножества к модели другого подмножества не наблюдается существенного увеличения , то оставляют модель с меньшим числом регрессоров.

Данный подход наиболее точный, но и самый трудоемкий.

3. Метод включения. Исследование начинается с модели . Затем поочередно один за другим добавляются новые регрессоры. Порядок включения регрессоров определяется частным коэффициентом корреляции регрессоров с откликом. Включаемый на данном этапе регрессор должен иметь максимальный частный коэффициент корреляции. С введением нового регрессора проводится качественная оценка модели. Добавление новых регрессоров продолжается до тех пор, пока величина частного критерия не станет меньше значения распределения Фишера .

Существуют и другие подходы выбора структуры регрессионной модели.