Многофакторный нелинейный регрессионный анализ

ЛЕКЦИЯ 7.

5.1. Нелинейный регрессионный анализ

В случаях, когда линейная модель оказывается неадекватной, или если известен априорно нелинейный характер взаимосвязи между управляемыми переменными и результатами функционирования системы, переходят на практике к нелинейному регрессионному анализу.

Пусть класс нелинейных функций, среди которых ищется уравнение регрессии - задан, т. е. уравнение имеет вид , где а - неизвестный вектор параметров.

Тогда в соответствии с МНК необходимо найти такие значения а, которые минимизировали бы взвешенную сумму квадратов отклонений между наблюдаемыми значениями выходной переменной и значениями, вычисленными по уравнению регрессии, т.е.

Здесь х_i - точки наблюдений (экспериментов), - наблюдаемые значения. Очевидно, что число наблюдений должно быть не меньше числа определяемых параметров а _i 1 = 1,...,k.

Поиск значений параметров а сводится к решению системы нелинейных уравнений вида

, I=1,…,k или иначе

, I=1,..,k

Решение данной системы представляет собой сложную задачу. Аналитическое решение может быть получено только в отдельных случаях. На практике для поиска вектора параметров а решается задача минимизация исходного выражения S с использованием традиционных численных методов оптимизации (например симплекс - метод). Кроме того могут использоваться и специально организованные процедуры поиска оценок параметров. Так, в работе [1] используется сочетание метода наискорейшего спуска с линериализацией исходной модели на каждом шаге поиска оценок ее коэффициентов.

После того, как параметры уравнения регрессии будут найдены, нужно проверить адекватность модели. Для этого можно использовать статистику вида , где характеризует отклонения результатов наблюдений от уравнения регрессии, характеризует ошибки наблюдения.

Если закон распределения ошибок нормальный, то величина и подчинена F-распределению с соответствующими числами степеней свободы числителя и знаменателя. Если при заданном уровне значимости а выполняется условие U<U_кр, то модель можно считать адекватной.

Для построения доверительных интервалов для параметров уравнения регрессии и функции отклика необходимо знание законов распределения их оценок. Если они не могут быть найдены теоретически, то можно использовать статистические методы построения аппроксимирующих кривых распределения типа Бутстреп - метода.

5.2. Полиномиальный регрессионный анализ

При проведении нелинейного регрессионного анализа особо сле­дует оговорить случай, когда зависимость между переменными х и у описываются в виде полинома r - го порядка. Так. например, при од­ном контролируемом факторе это будет y= a ₀+ a ₁x+ a ₂x²+...+а_rх^r.

При многофакторном полиномиальном регрессионном анализе, кро­ме отдельных факторов, уравнение регрессии включает в себя и все возможные произведения переменных общего порядка до г включительно. Так, для двухфакторного анализа 2-го порядка уравнение регрессии будет иметь вид

у = а ₀ + a ₁x₁ + а ₂х₂ + а ₁₂x₁² + a ₁₁x₁x₂ + а ₂₂х₂².

Особенностью этих моделей является то, что за счет замены переменных они могут быть сведены к моделям линейного регрессион­ного анализа. Так, в нашем случае заменой переменных z₁=x₁. z₂=x₂, z₃=x₁², z₄=x₁x₂, z₅=x₂² и коэффициентов b₀= а ₀, b₁= a ₁, b₂= а ₂. b₃= а ₁₂, b₄= а ₁₁. b₅= а ₂₂ полиномиальная модель сводится к линейной модели вида y=b₀+b₁z₁+...+b₅z₅.

Аналогично можно свести к линейной любую полиномиальную мо­дель. Анализ этой -модели может быть осуществлен рассмотренными вы­ше методами линейного регрессионного анализа. Следует заметить, что при определении коэффициентов регрессии и анализе уравнения вместо матрицы X в нормальном уравнении необходимо использовать матрицу F(x) Для рассмотренного выше примера элементы матрицы бу­дут равны- f₀(x)=1, f₁(x)=x₁. f₂(х)=х₂. f₃(x)=x₁², f₄(х)=х₁х₂, f₅(х)=х₂². Сама матрица имеет вид

Анализ существенно упрощается, если оценки параметров модели некоррелированы, а это обеспечивается для линейных моделей ортогональными планами проведения эксперимента (матрица F ортогональная) Практическая реализация ортогональных планов эксперимента и анализ получаемых результатов связаны с проведением активного эксперимента, которым занимается теория планирования эксперимента.