Метод наименьших квадратов

Одним из важных практических применений экстремума функции нескольких переменных является метод наименьших квадратов.

Пусть в результате некоторого опыта или наблюдения установлена зависимость между переменными величинами х и у, выражаемая в виде таблицы:

х	х1	х2	…	хn
у	у1	у2	…	уn

Пусть требуется перейти от табличного метода задания функции к аналитическому (т.е. выраженному в виде формулы), причем, если это нельзя сделать точно, постараемся получить аналитическую связь приближенно.

Теперь обратимся к графическому изображению данной системы рис. 1.

Рис. 1. Графическая интерпретация зависимости х и у

Рассматривая значения х и у как координаты точек в прямоугольной системе координат, наносим эти точки на график. Пусть, например построенные точки расположились достаточно близко к некоторой прямой. Поэтому можно приблизительно считать, что между х и у существует линейная зависимость, выражаемая формулой,

у = ах + b.

Поставим задачу аналитического определения неизвестных коэффициентов а и b.

В основе аналитического метода определения а и b лежит метод наименьших квадратов. Точки, полученные на основании опытных данных, вообще говоря, не лежат на искомой прямой. Если бы некоторая точка (хi, уi) лежала на прямой, то ее координаты удовлетворяли бы уравнению прямой, т.е. имело бы место равенство:

у_i = ax_i + b или

ax_i + b - y_i = 0

Однако в общем случае подстановка координат точки в уравнение прямой дала бы:

ax_i + b - y_i = ε_i,

где ε_i ─ какая то малая величина.

Для первой точки получаем

ax₁ + b - y₁ = ε₁,

Для второй точки

ax₂ + b - y₂ = ε₂, и т.д.

Для последней точки

ax_n + b - y_n = ε_n.

Величины ε₁, ε₂, …, ε_n характеризуют отклонения рассматриваемых точек от точек искомой прямой: они выражают отклонения ординат точек наблюдения от ординат точек искомой прямой.

Метод наименьших квадратов требует подобрать значения параметров а и b таким образом, чтобы сумма квадратов отклонения ε_i, была при этом наименьшей, т.е.

Здесь x₁, x₂,..., x_n, y₁, y₂,..., y_n - заданные числа. Функция S есть функция двух независимых переменных a и b, т.е.:

S = f (a, b).

Необходимые условия существования экстремума функции дают:

¶S / ¶a = 0; ¶S / ¶b = 0.

Вычислим эти частные производные:

¶S / ¶a = 2 (ax₁ + b - y₁) x₁ +

+2 (ax₂ + b - y₂) x₂ +... + 2 (ax_n + b - y_n) x_n,

¶S / ¶b = 2 (ax₁ + b - y₁) · 1 +

+2 (ax₂ + b - y₂) · 1 +... + 2 (ax_n + b - y_n) · 1.

Приравнивая частные производные к нулю и сокращая на 2, получаем систему двух линейных уравнений с двумя неизвестными a и b:

(ax₁ + b - y₁) x₁ + (ax₂ + b - y₂) x₂ +...+

+ (ax_n + b - y_n) x_n = 0,

(ax₁ + b - y₁) + (ax₂ + b - y₂) +... +

+ (ax_n + b - y_n) = 0.

Раскрывая скобки, и после соответствующих преобразований получаем:

(1)

Эти уравнения называются стандартными уравнениями, решение которых дает искомые значения a и b.

Система (1) может быть для удобства переписана следующим образом:

1.5. Правила составления систем стандартных уравнений

Существует определенное правило составления системы стандартных уравнений:

1. Записывается исходное уравнение:

y = a + bx.

2. Перемножаются все члены уравнения на коэффициент при первом неизвестном и суммируются. Одновременно первый член (а) умножается на (n), т.е. на число наблюдений:

.

3. Далее в системе перемножаются все члены уравнения на коэффициент при втором неизвестном и также суммируются:

и т.д.

Итак, система стандартных уравнений для функции у = а + bx имеет вид:

Для параболы второй степени у = а + bх + сх² система стандартных уравнений имеет вид:

Для параболы третьей степени у = а + bх + сх² + dx³:

Для функции у = а + система стандартных уравнений имеет вид:

Для функции у = система стандартных уравнений записывается следующим образом:

= а + bx + cz

Для функции у = а + а₁х₁ + а₂х₂ + а₃х₃ система стандартных уравнений имеет вид: