Метод нименьших квадратов - один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Данный метод применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.
Метод наименьших квадратов предложен К.Гауссом (1794-95 гг.) и А.Лежандром (1805-06 гг.), первоначально он использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости метода даны А.А.Марковым (старшим) и А.Н.Колмогоровым. Ныне метод наименьших квадратов представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.
Мерой разницы в методе наименьших квадратов служит сумма квадратов отклонений действительных (экспериментальных) значений yi от теоретических Yi.
|
|
Название свое метод наименьших квадратов получил, исходя из основного принципа, которому должны удовлетворять полученные на его основе оценки параметров: сумма квадратов ошибки модели должна быть минимальной, т.е.
(4.11)
где yi - экспериментальное значение измеряемой величины;
Yi - теоретическое значение измеряемой величины (здесь и далее в качестве теоретической модели выбрана линейная модель Y= a + bx. Ознакомиться с дальнейшими расчетами для случаев нелинейной модели, т.е. когда Y= kx2 или Y=ax2 +bx + c студентам рекомендуется самостоятельно по указанным источникам литературы);
ei=yi –Yi - разность между измеренными и вычисленными по уравнению значениями.
Исследуя на экстремум эту функцию аргументов a и b с помощью производных, т.е. , можно доказать, что функция принимает минимальное значение, если коэффициенты a и b являются решением системы:
. (4.12)
Отсюда решением системы являются значения a и b, вычисленные по выражению:
(4.13)
Пример - найти уравнение линейной регрессии для следующих исходных данных:
Решение: Уравнение будем искать в виде y(x)=a+bx.
По методу наименьших квадратов для определения коэффициентов данного уравнения, необходимо решить систему (4.12). Для удобства сведем предварительные расчеты в таблицу 4.8.
Таблица 4.8 – Расчетная таблица
xi | yi | xi 2 | xi yi | |
S |
Таким образом, .
Исходя из (4.13), .
Следовательно, y=-1,1+2,9x - уравнение регрессии, которое связывает две исходные величины Х и У.