2014-02-01
725
Будем предполагать в рамках модели (2.2) линейную зависимость между двумя переменными Y и X. Т.е. имеем модель парной регрессии в виде:
Yi = a + bXi + ui, i =1,…, n.
а. E ui =0, i =1,…, n.
б. 
в. X 1, …, X n – неслучайные величины.
Предположим, что имеется выборка значений Y и X.
Обозначим арифметические средние (выборочные математические ожидания) для переменных X и Y:
.
Запишем уравнение оцениваемой линии в виде:
, (2.6)
где 
и 
- оценки неизвестных параметров a и b, а 
- ордината этой линии.
Пусть (Xi, Yi) одна из пар наблюдений. Тогда отклонение этой точки (см. рис. 2.1) от оцениваемой линии будет равно e i= Y i - 
.
Принцип метода наименьших квадратов (МНК) заключается в выборе таких оценок и , для которых сумма квадратов отклонений для всех точек становится минимальной.
Y
|
| |||
 | |||
X
Рис. 2.1. Иллюстрация принципа МНК
Необходимым условием для этого служит обращение в нуль частных производных функционала:
по каждому из параметров. Имеем:
Упростив последние равенства, получим стандартную форму нормальных уравнений, решение которых дает искомые оценки параметров:
(2.7)
Из (2.7) получаем:
(2.8)
Пример. Для иллюстрации вычислений при отыскании зависимости с помощью метода наименьших квадратов рассмотрим пример (табл. 2.1).
