Метод наименьших квадратов

       Пусть по данным выборки было получено n пар вида . По виду корреляционного поля можно предположить линейную связь, следовательно получим прямую, которая наилучшим образом приближает точки корреляционного поля называется линейной регрессией.

Уравнение линейной регрессии имеет вид

Исходя из вышеуказанных требований получим

Выполнение метода неменьших квадратов обеспечивает выполнение нулевой суммы вертикальных отклонений.

       Метод наименьших квадратов заключается в решении данной системы двух линейных уравнений относительно неизвестных

Данная система уравнений называется нормальной системой уравнений для линейной регрессии Y на X.

       Решив рассматриваемую систему, можно найти значения a и b, которые будут реализовывать минимум функции , что вытекает из второго требования, следовательно может быть найдено уравнение регрессии .

       Аналогично можно найти систему нормальных уравнений для регрессии X на Y, что означает минимизацию суммы квадратов горизонтальных отклонений. Уравнения линейных регрессии примут вид

Данные уравнения задают разные прямые, но они могут совпадать при , что означает функциональную зависимость между X и Y.