Для упрощения изложения рассмотрим сначала случай линейной функции одного аргумента. Пусть из опыта получены точки: |
x1, y1, | ||
x2, y2,... | (1) | |
xn, yn |
(см. рисунок). Требуется найти уравнение прямой
y=ax+b, | (2) |
наилучшим образом согласующейся с опытными точками.
Пусть мы нашли такую прямую. Обозначим через расстояние опытной точки от этой прямой (измеренное параллельно оси y).
Из уравнения (2) следует, что
(3) |
Чем меньше числа по абсолютной величине, тем лучше подобрана прямая (2). В качестве характеристики точности подбора прямой (2) можно принять сумму квадратов
(4) |
Покажем, как можно подобрать прямую (2) так, чтобы сумма квадратов S была минимальной. Из уравнений (3) и (4) получаем
(5) |
Условия минимума S будут
(6) | |
(7) |
Уравнения (6) и (7) можно записать в таком виде:
(8) | |
(9) |
Из уравнений (8) и (9) легко найти a и b по опытным значениям xi и yi. Прямая (2), определяемая уравнениями (8) и (9), называется прямой, полученной по методу наименьших квадратов (этим названием подчеркивается то, что сумма квадратов S имеет минимум). Уравнения (8) и (9), из которых определяется прямая (2), называются нормальными уравнениями.
Можно указать простой и общий способ составления нормальных уравнений. Используя опытные точки (1) и уравнение (2), можно записать систему уравнений для a и b
y1=ax1+b, | ||
y2=ax2+b,... | (10) | |
yn=axn+b, |
Умножим левую и правую части каждого из этих уравнений на коэффициент при первой неизвестной a (т.е. на x1, x2,..., xn) и сложим полученные уравнения, в результате получится первое нормальное уравнение (8).
Умножим левую и правую части каждого из этих уравнений на коэффициент при второй неизвестной b, т.е. на 1, и сложим полученные уравнения, в результате получится второе нормальное уравнение (9).
Этот способ получения нормальных уравнений является общим: он пригоден, например, и для функции
y=a0+a1x+a2x2+...+anxn. | (11) |
Естественно, что здесь получится система из n+1 нормального уравнения для определения величин
a0, a1, a2,..., an.
Рассмотрим частный случай применения метода наименьших квадратов. Пусть из теории известно, что
k=y/x | (12) |
есть величина постоянная и ее нужно определить по опытным данным (1).
Систему уравнений для k можно записать:
k=y1/x1, | ||
k=y2/x2,... | (13) | |
k=yn/xn, |
Для получения нормального уравнения умножим каждое из этих уравнений на коэффициент при неизвестной k, т.е. на 1, и сложим полученные уравнения
(14) |
отсюда
(15) |
Следовательно, среднее арифметическое, полученное из опытных отношений yi/xi, дает решение поставленной задачи по методу наименьших квадратов. Это важное свойство средней арифметической объясняет ее широкое применение в практике обработки опытных данных.