Используя уравнение регрессии (3.1), запишем функцию цели Ф, характеризующую качество аппроксимации объясненной части Ye=Mx(Y) уравнением регрессии:
(3.2)
Это задача безусловной оптимизации, т.е требуется найти такие оптимальные значения вектора параметров уравнения регрессии, которые доставляют минимум функции цели Ф.
Замечание 3: Для простоты далее считаем, что в уравнении регрессии каждый входной фактор xj предоставлен одним членом суммы со своей базисной функцией fj (xj), т.е. a º j.
В теории регрессионного анализа показано, что функция Ф непрерывна и строго выпукла по аргументам bj. Тогда ее минимум обеспечивается условием
(3.3)
Система (3.3) называется системой нормальных уравнений. Если вектор входит в модель линейно, то эта система представляет собой линейные алгебраические уравнения относительно искомых параметров {bj}, j= .
Замечание 4: Под линейным вхождением { bj }, в модель понимается, что сами координаторные функции { fj (xj)} могут быть нелинейными, но они не должны содержать ни одного оцениваемого параметра bj.
Пример:
Здесь обе модели нелинейны по независимой переменной х. Однако вторая модель линейна по искомому параметру b0, в тоже время как в первой модели параметр b1 входит в структуру модели нелинейно. Такие модели называются иногда «криволинейными» [11].
Если система нормальных уравнений есть система линейных алгебраических уравнений, то для ее решения можно использовать аппарат линейной алгебры и, соответственно, матричную форму метода наименьших квадратов [5].