Метод наименьших квадратов

Классический подход к оценке параметров линейной регрессии – метод наименьших квадратов (МНК). При определенных предположениях относительно ошибки ε МНК дает наилучшие оценки параметров a и b.

Согласно МНК, выбираются такие значения параметров а и b, при которых сумма квадратов отклонений фактических значений результативного признака от теоретических значений при тех же значениях фактора минимальна, т. е. или

Чтобы найти минимум функции, нужно найти частные производные по каждому из параметров и приравнять их к 0:

Отсюда получаем систему уравнений:

Разделим оба уравнения на n:

Из первого уравнения находим значение параметра а:

Подставляем во второе уравнение и находим значение параметра b:

Рассмотрим интерпретацию параметров уравнения линейной регрессии.

Коэффициент b при факторной переменной x называется коэффициентом регрессии. Его величина показывает среднее изменение результата y при изменении фактора x на одну единицу.

Знак при коэффициенте регрессии показывает направление связи: при b> 0 связь прямая, при b< 0 связь обратная.

Например, допустим, что зависимость между затратами (тыс. руб.) и объемом выпуска продукции описывается соотношением

y = 35000+0,58·x.

В этом случае увеличение объема выпуска на 1 единицу потребует дополнительных затрат на 580 рублей.

Что касается свободного члена a, формально это значение у при х=0. Если фактор х не может иметь нулевого значения, то трактовка свободного члена не имеет смысла. Параметр a может не иметь экономической интерпретации.

Интерпретировать можно лишь знак при параметре а. Если а > 0, то относительное изменение результата происходит медленнее, чем изменение фактора, т.е. вариация результата меньше вариации фактора.

 

Контрольные вопросы:

1. Какие существуют основные типы взаимосвязей между факторными и результативными признаками?

2. Какая связь называется функциональной?

3. Что нужно учитывать при определении вида связи между двумя признаками?

4. В чем суть корреляционного анализа?

5. В чем суть регрессионного анализа?

6. Что представляет собой парная регрессия?

7. Что представляет собой линейная и нелинейная регрессия?

8. Какие условия применения метода наименьших квадратов?

 

Литература: [1], [2].