Пример

Имя	Вес (кг)	Рост (см)
Вася
Коля
Петя

Оценим две модели:

М1:

М2: Таким образом, необходимо найти для этих моделей.

Метод наименьших квадратов минимизирует величину RSS, т.е. величину .

Рассмотрим модель М1: , случайная компонента ε не прогнозируется.

n				e
				= -
				= -
				= -

Рассмотрим слагаемые функции :

,

, где .

Следовательно функция имеет вид:

для любого числа n в моделях без объясняющих переменных.

Разделим обе части равенства на -2n:

Соответственно .

Теперь рассмотрим модель М2: , случайная компонента ε не прогнозируется.

n				e
				= –
				= –
				= –

= =

Как и в случае с М1, минимизируем функцию

Разделим оба уравнения на -2.

При этом, как и в модели 1, , т.е.:

Разделим первое уравнение на n:

Выразим из последнего равенства :

Подставим полученное значение во второе уравнение системы.

Сгруппируем слагаемые с в одной стороне и с в другой:

=

Следовательно

Прибавим к числителю и знаменателю на одно и то же число – ноль:

Внесем числитель под один знак суммы и то же проделаем со знаменателем:

Рассчитаем значение оценок параметров для примера:

n					(
			-3,67	-10	13,4689
			-3,67		13,4689
			7,33		53,7289
S					80,6667
Среднее значение	173,67

Таким образом, уравнение регрессии будет иметь вид:

Из МНК

можно получить две другие формулы для нахождения параметра :

1.

2.

Оценка параметра а находится одинаковым способом во всех случаях:

.

Параметр называется коэффициентом регрессии и показывает, на сколько единиц в среднем изменится переменная при увеличении переменной на 1 единицу. Знак при коэффициенте регрессии показывает направление связи: при < 0 – связь обратная, при > 0 – связь прямая.

Параметр формально представляет собой значение при = 0. Если не имеет или не может иметь нулевого значения, то не имеет смысла. Он может и не иметь экономического смысла. При <0 экономическая интерпретация может оказаться абсурдной.

Интерпретировать можно знак при параметре . Если >0, то относительное изменение результата происходит медленнее, чем изменение

Для случая модели множественной регрессии вида:

,

где переменная оказывается зависимой от нескольких независимо влияющих не нее факторов, также применим МНК. При его применении строится система нормальных уравнений, решение которой и позволяет получить оценки параметров регрессии:

Решение этой системы может быть получено матричными способами. Интерпретация параметров – аналогично случаю парной регрессии с оговоркой «при фиксированном влиянии прочих факторов».