Метод наименьших квадратов и наилучшие среднеквадратические приближения

Рассмотрим задачу, возникающую при изучении каких-либо закономерностей на основе наблюдения или экспериментов. Характерной особенностью таких задач является то, что исходный материал – заведомо приближенный, в силу неточности измерительных приборов, неповторимости условий наблюдений, случайных ошибок и пр.

Предположим, что между независимой переменной x и зависимой переменной y имеется некая неизвестная функциональная связь

y = f(x).

Эта связь отображается таблицей

x	x₀	x₁	…	x_n
y	y₀	y₁	…	y_n

приближенных значений y_i» f(x_i), получаемых в ходе наблюдений или экспериментов.

Требуется дать приближенное аналитическое описание этой связи, т.е. подобрать функцию j(x) такую, которая аппроксимировала бы на отрезке [x₀, x_n] заданную отдельными приближенными значениями y_i функцию f(x).

Для решения этой задачи заведомо неудачным является интерполяционный подход хотя бы потому, что функция j(x) такая, что

j(x_i) = y_i при всех iÎ {0,1,…,n},

будет мало похожа на искомую f(x), поскольку в ней отразятся все ошибки экспериментальных данных.

Это заставляет отказаться от идеи интерполяции и находить функцию j(x) такую, чтобы она хорошо отражала в среднем зависимость между x и y.

А именно, из каких-либо соображений (аналитических, графических или иных) аппроксимирующая функция j(x) берется из определенного m - параметрического семейства функций, и ее параметры подбираются так, чтобы сумма квадратов отклонений значений j(x_i) от заданных приближенных значений y_i была минимальной.

Такая функция (т.е. при таком оптимальном наборе параметров) будет наилучшей аппроксимацией f(x) среди функций выбранного семейства в смысле метода наименьших квадратов.

Ясно, что число данных приближенных значений y_i в таблице должно быть не меньшим, чем число параметров в подбираемой зависимости j(x); как правило, считается, что n>>m.

Итак, согласно МНК, задаем семейство

Y=j(x, a₁, a₂,…, a_m)

И ищем значения параметров a₁, a₂,…, a_m (где m£ n), решая экстремальную задачу (задачу на экстремум функции)

Оптимальный набор параметров, a*₁, a*₂,…, a*_m может быть найден из необходимых условий гладкого экстремума, т.е. в результате приравнивания к нулю частных производных функции , взятых по каждому из ее аргументов.

Получаем следующую систему уравнений относительно
неизвестных a₁, a₂,…,a_m

(1)

Эти условия экстремума в силу специфики функции являются и достаточными условиями ее минимума.

В зависимости от характера табличных данных, (изучаемых с помощью графика), часто используют следующие

двухпараметрические семейства функций:

y=ax+b, y=a+blnx, y=ax ^b, y=1/(ax+b)

Трехпараметрические семейства: Y=ax²+bx+c, y=ax^b+c, y=ae^bx+c

При изучении периодических явлений применяют тригонометрические функции.

Рассмотрим, к чему сводится процесс построения наилучших среднеквадратических приближений в одном конкретном, но общем, случае, когда аппроксимирующая f(x) функция j(x) представляет собой линейную комбинацию нескольких других, вообще говоря, более простых (базисных) функций.

Пусть - некоторая заданная на [a, b] система линейно независимых функций.

Обобщенным многочленом будем называть функцию

(3)

Где с_i - произвольные вещественные числа (коэффициенты обобщенного многочлена).

Поскольку функции j_j(x) считаются заданными, построение многочлена наилучшего приближения для данной функции f(x) сводится к нахождению оптимального набора c*₀, c*₁,,c*_m коэффициентов Q_m(x) в (3) на основе метода наименьших квадратов, т.е. к решению задачи минимизации:

В дискретном случае необходимые и достаточные условия экстремума выражаются системой

(4)

После элементарных преобразований она может быть переписана в терминах скалярных произведений:

(4)

Если сеточные функции j_j(x_i) образуют систему линейно независимых элементов пространства R_n+1[a, b], то полученная симметричная линейная алгебраическая система (4), называемая нормальной системой МНК, имеет заведомо отличный от нуля определитель, и значит, однозначно разрешима.

Следовательно, при заданном базисе путем решения системы (4) можно найти единственный обобщенный многочлен