Методические указания. Метод наименьших квадратов (МНК) предназначен для решения избыточной системы нормальных уравнений

Метод наименьших квадратов (МНК) предназначен для решения избыточной системы нормальных уравнений. В эконометрике такая система образуется при оценивании параметров линейной регрессии.

Пусть по группе предприятий, выпускающих один и тот же вид продукции, необходимо определить зависимость затрат на производство (у – определяемая переменная) от объема выпуска продукции (х – определяющая величина). Эта задача решается методами линейной регрессии, которая сводится к решению уравнения вида

y=a+bx+ε (1).

В нашем случае х – объем выпуска продукции; у – затраты на производство; ε – случайная величина, характеризующая отклонение реального значения определяемого признака от теоретического, получаемого по формуле

y=a+bx (1`).

Значения у и х варьируются в зависимости от предприятия. Поэтому для определения теоретического значения этих величин необходимо в уравнении (1) найти коэффициенты a и b. Тогда для любого аналогичного предприятия можно будет спрогнозировать затраты на производство по заданному объему продукции.

Пусть имеется n предприятий. Тогда уравнение (1) превратится в систему уравнений (2), где х_i, y_i – затраты на производство и объем выпущенной продукции i-го предприятия. Или в матричной форме:

У= а + в Х+Е (2`),

где

.

Система (2), (2`) – избыточная: неизвестных два – a и b, а уравнений n. Она решается МНК, который заключается в следующем. Система (2) решается, исходя из условия

;

если обозначить сумму квадратов F(a,b), то

. (3)

Чтобы найти минимум функции (3), необходимо вычислить частные производные по каждому из параметров a и b и приравнять их нулю:

, .

Вычисляя производные, приходим к системе уравнений

(4).

Решая систему нормальных уравнений (4) либо методом последовательного исключения переменных, либо методом определителей, найдем искомые оценки параметров a и b:

, (5),

где

.

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Величина в знаменателе параметра b

(6)

называется дисперсией признака х. Коэффициент регрессии можно записать иначе

.

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции

(7).

Линейный коэффициент корреляции находится в границах: -1≤r_xy≤1.

Если коэффициент регрессии b>0, то 0≤r_xy≤1, и, наоборот, при b<0, -1≤r_xy≤0. Близость модуля линейного коэффициента корреляции к 1 означает, что зависимость величин х и у близка к линейной.