Принцип максимального правдоподобия. Построение регрессионных моделей при гетероскедастичности ошибок

Для нахождения коэффициентов парной и множественной регрессии мы использовали метод наименьших квадратов (МНК). Этот метод приводит к хорошим результатам, если остатки e _i удовлетворяют условиям Гаусса–Маркова:

- величины e _i являются случайными величинами, распределенными по нормальному закону;

- E e _i = 0;

- D e _i= s ² — дисперсия каждого отклонения e _i одинакова для всех значений переменной. Это свойство называют гомоскедастичностью или равноточностью;

- cov(e _i, e _j) = 0 (i ¹ j), так что (при нормальном распределении e _i) остатки являются независимыми случайными величинами.

Если D e _i= s _i ²и s _i различны, то говорят о гетероскедастичности регрессионной модели. В этом случае МНК надо скорректировать. Удобнее всего провести такую коррекцию, используя принцип максимального правдоподобия. Поясним сначала суть этого принципа на простом примере.

Пусть эмпирические данные наблюдений { x₁, x₂, …, x_n } характеризуют случайную величину xÎN (m, s²), для которой математическое ожидание m =Ex и дисперсия s ²=Dx неизвестны и их требуется оценить. Выпишем плотность нормального распределения

Согласно принципу максимального правдоподобия предполагаем, что функция правдоподобия L=p (x ₁) p (x ₂) …p (x_n) принимает наибольшее значение при истинных значениях параметров m и s². Удобнее иметь дело с логарифмом этой функции

В нашем примере

поэтому

Выпишем необходимые условия экстремума функции ln L (,а значит и L):

Решение этой системы уравнений после простых преобразований приводит к оценкам

Заметим, что

Рассматриваемый пример показывает, что принцип максимального правдоподобия не обязательно приводит к несмещенной оценке искомых параметров.

Воспользуемся принципом максимального правдоподобия для анализа гетероскедастичности. В этом случае модель парной линейной регрессии имеет вид y_i=a+bx_i+ e _i, где E e _i= 0, D e _i= s _i², так что e _i Î N (0, s _i²). Соответствующие плотности вероятностей

Логарифмическая функция правдоподобия

Теперь ясно, как корректируется МНК в случае гетероскедастичности ошибки e _i:

В случае гомоскедастичности дисперсии s _i равны и мы получаем классическую формулировку МНК.

Часто вводится веса наблюдений W_i= ls _i^-2, при этом число l выбирается так, чтобы веса были целыми числами. МНК сводится к минимизации взвешенных сумм квадратов: