Понятие о методе наименьших квадратов

Пусть проводится серия из n опытов. Результатами наблюдений являются численные значения y(x_i) некоторой величины. Поставим задачу: представить приближенным способом измеряемую величину y(x) в виде линейной комбинации известных (базисных) функций – g_k(x), k=1, 2, …, m, (m<n), чем n, так, чтобы полученная зависимость согласовывалась с результатами наблюдений «наилучшим образом». Словосочетание «наилучшим образом» будет далее пояснено. Итак, будем искать зависимость у(х) в виде

(6.13)

где коэффициенты c_k подлежат определению.

В общем случае в силу ошибок в измерениях при проведении опытов или «несовершенства» выбранной системы функций g_k(x), k=1, 2, …, m возможно лишь выполнение приближенных равенств

(6.14)

Сформируем разности между левыми и правыми частями приближенных равенств (6.14)

(6.15)

Очевидно, если бы удалось подобрать систему функций g_k(x) идеальным образом, а результаты измерений были бы точны, то вектор

,

называемый вектором невязки, состоял бы из нулевых элементов и его длина была бы минимально возможной (равной нулю).

Теперь мы можем уточнить, что следует понимать под приближением «наилучшим образом» зависимости у(х) посредством линейной комбинации базисных функций . Будем требовать, чтобы длина вектора , которая вычисляется по формуле

,

(6.16)

была минимально возможной для данной системы функций g_k(x), k=1, 2, …, m. То, чем мы можем «управлять» длиной вектора - это выбор коэффициентов c_k, k=1, 2, …, m. Далее вместо длины вектора нам удобнее будет пользоваться квадратом длины, который в соответствии с равенствами (6.15) и (6.16) есть

(6.17)

Ясно, что если ½r½² минимален, то и выбор коэффициентов c_k, k=1, 2, …, m наилучший в указанном выше смысле. Будем рассматривать правую часть равенства (6.17) как функцию m переменных, в роли которых выступают коэффициенты c_k, k=1, 2, …, m. Тогда необходимое условие экстремума функции ½r½² состоит в обращении в ноль частных производных, т.е.

(6.18)

Дифференцируя правую часть формулы (6.17) по переменным c_k, k=1, 2, …, m как сложную функцию и, приравнивая полученные частные производные нулю, приходим к равенствам:

,

,

¼ ¼ ¼ ¼ ¼ ¼

Сокращая на 2 обе части полученных равенств, и записывая их в компактной форме, получаем систему

Раскрывая скобки и, перенося известные величины в правые части, в итоге получаем систему, которая называется системой нормальных уравнений:

(6.19)

Заметим, что система (6.19) получена из необходимых условий экстремума функции m переменных. Можно доказать, что в точке m-мерного пространства, которая является решением системы (6.19) выполняются достаточные условия наличия минимума функции , однако, ввиду громоздкости выкладок мы этот вопрос здесь не рассматриваем.

Рассмотренный метод нахождения наилучшего в указанном смысле приближения к неизвестной функциональной зависимости у=у(х), если задана система базисных функций g_k(x), k=1, 2, …, m, основанный на нахождении решения системы уравнений (6.19), называется методом наименьших квадратов.