Тема 4.2. Метод наименьших квадратов

1 2 3 4 5 6 7

Общие положения

Для упрощения изложения рассмотрим сначала случай линейной функции одного аргумента. Пусть из опыта получены точки:

x1, y1,

x2, y2,
... (1)

xn, yn

(см. рисунок). Требуется найти уравнение прямой

y=ax+b, (2)

наилучшим образом согласующейся с опытными точками.

Пусть мы нашли такую прямую. Обозначим через расстояние опытной точки от этой прямой (измеренное параллельно оси y).

Из уравнения (2) следует, что

(3)

Чем меньше числа по абсолютной величине, тем лучше подобрана прямая (2). В качестве характеристики точности подбора прямой (2) можно принять сумму квадратов

(4)

Покажем, как можно подобрать прямую (2) так, чтобы сумма квадратов S была минимальной. Из уравнений (3) и (4) получаем

(5)

Условия минимума S будут

(6)

(7)

Уравнения (6) и (7) можно записать в таком виде:

(8)

(9)

Из уравнений (8) и (9) легко найти a и b по опытным значениям xi и yi. Прямая (2), определяемая уравнениями (8) и (9), называется прямой, полученной по методу наименьших квадратов (этим названием подчеркивается то, что сумма квадратов S имеет минимум). Уравнения (8) и (9), из которых определяется прямая (2), называются нормальными уравнениями.

Можно указать простой и общий способ составления нормальных уравнений. Используя опытные точки (1) и уравнение (2), можно записать систему уравнений для a и b

y1=ax1+b,

y2=ax2+b,.. (10)

yn=axn+b,

Умножим левую и правую части каждого из этих уравнений на коэффициент при первой неизвестной a (т.е. на x1, x2,..., xn) и сложим полученные уравнения, в результате получится первое нормальное уравнение (8).

Умножим левую и правую части каждого из этих уравнений на коэффициент при второй неизвестной b, т.е. на 1, и сложим полученные уравнения, в результате получится второе нормальное уравнение (9).

Этот способ получения нормальных уравнений является общим: он пригоден, например, и для функции

y=a0+a1x+a2x2+...+anxn.

(11)

Естественно, что здесь получится система из n+1 нормального уравнения для определения величин
a0, a1, a2,..., an.

Рассмотрим частный случай применения метода наименьших квадратов. Пусть из теории известно, что

k=y/x

(12)

есть величина постоянная и ее нужно определить по опытным данным (1).

Систему уравнений для k можно записать:

k=y1/x1,
k=y2/x2,...		(13)
k=yn/xn,

Для получения нормального уравнения умножим каждое из этих уравнений на коэффициент при неизвестной k, т.е. на 1, и сложим полученные уравнения

(14)

отсюда

(15)

Следовательно, среднее арифметическое, полученное из опытных отношений yi/xi, дает решение поставленной задачи по методу наименьших квадратов. Это важное свойство средней арифметической объясняет ее широкое применение в практике обработки опытных данных.

Пример 1

На опыте получены значения x и y, сведенные в таблицу

x
y	5,2	6,3	7,1	8,5	9,2	10,0

Найти прямую (2) по методу наименьших квадратов.

Решение. Находим:

xi=21, yi=46,3, xi2=91, xiyi=179,1.

Записываем уравнения (8) и (9)

91a+21b=179,1,

21a+6b=46,3,

отсюда находим

a=0,98 b=4,3.

Оценка точности метода наименьших квадратов

Дадим оценку точности метода для линейного случая, когда имеет место уравнение (2).

Пусть опытные значения xi являются точными, а опытные значения yi имеют случайные ошибки с одинаковой дисперсией для всех i.

Введем обозначение

(16)

Тогда решения уравнений (8) и (9) можно представить в виде

	(17)
	(18)
где
	(19)
Из уравнения (17) находим
	(20)
Аналогично из уравнения (18) получаем
	(21)
так как
	(22)
Из уравнений (21) и (22) находим
	(23)

Уравнения (20) и (23) дают оценку точности коэффициентов, определенных по уравнениям (8) и (9).

Заметим, что коэффициенты a и b коррелированы. Путем простых преобразований находим их корреляционный момент.

(24)

Уравнения (20), (23) и (24) позволяют найти оценку для ошибки y, которую дает уравнение (2) в произвольной точке x, если коэффициенты a и b найдены по уравнениям (8) и (9). Из уравнений (2), (20), (23) и (24) находим