Решение систем уравнений

Пусть дана система уравнений , где — некоторые функции, — некоторые известные значения, x — набор неизвестных (искомых) переменных. Для произвольных значений значения отличаются от . Суть метода наименьших квадратов заключается в том, чтобы найти такие значения , при которых минимизируется сумма квадратов отклонений (ошибок) :

В случае, если система уравнений имеет решение, то минимум суммы квадратов будет равен нулю и могут быть найдены точные решения системы уравнений аналитически или, например, различными численными методами оптимизации. Если система переопределена, то есть количество независимых уравнений больше количества искомых переменных, то система не имеет точного решения и метод наименьших квадратов позволяет найти некоторый «оптимальный» вектор . Оптимальность здесь означает максимальную близость векторов и или максимальную близость вектора отклонений к нулю.

В частности, метод наименьших квадратов может использоваться для «решения» системы линейных уравнений , где матрица не квадратная, а прямоугольная размера (точнее ранг матрицы A больше количества искомых переменных).

Такая система уравнений, в общем случае не имеет решения. Поэтому эту систему можно «решить» только в смысле выбора такого вектора , чтобы минимизировать «расстояние» между векторами и . Для этого можно применить критерий минимизации суммы квадратов разностей левой и правой частей уравнений системы, то есть .