Метод максимального правдоподобия

Подход) включение дисперсии в модель

Включение изменяющейся дисперсии в модель(актуально для временных рядов) ARCH, GARCH.

Метод максимального правдоподобия (ММП) применяется для оценки коэффициентов регрессии.

Одна из важных предпосылок ММП-известность закона распределения зависимой переменной.

Пусть известен закон распределения зависимой переменой у_i. Причем параметр этого распределения неизвестны и их следует определить. Предположим, что зависимая переменная у_i, является реализацией случайных величин У_i причем для каждой случайной величины свой набор параметров распределения.

В итоге получаем матрицу параметров

Нужно найти закон совместного распределения величин

Предположим, что величины независимы в совокупности, то этот закон равен произведению n законов от

Cсовместный закон:

или

)

Обозначим через вектор вектор параметра тогда

Метод максимального правдоподобия, базируется на - оптимальные оценки параметров обеспечивают максимум так называемой “функции правдоподобия”. Эта функция может быть интерпретирована как условная плотность совместного распределения j (a | y, х) п +1-го неизвестного параметра модели a ₀, a ₁,... a_n при заданных исходных значениях зависимой переменной y_t и независимых факторов х_it, i =1,..., п; t =1,..., Т, с учетом того, что эти переменные взаимосвязаны между собой эконометрической моделью с функционалом f (a, x) в общем случае. Оптимальные оценки a ₀^*, a ₁^*,..., a_n ^*параметров этого функционала характеризуются в такой ситуации максимальной вероятностью, равной значению функционала правдоподобия в точке (п +1)-мерного пространства оценок с координатами a ₀^*, a ₁^*,..., a_n ^*. Такие оценки и называют оценками максимального правдоподобия.

При их нахождении обычно учитывается, что каждому набору значений оценок параметров соответствуют свои собственные ряды расчетных значений зависимой переменной и фактической ошибки модели е_t, это позволяет сформировать функцию правдоподобия на основе плотности совместного распределения значений ошибки модели e_t в моменты t =1,2,..., Т, и оценки максимального правдоподобия находить, максимизируя эту функцию.

В целом, в основе ММП лежат следующие рассуждения.

1. Выбранная модель адекватна процессу изменения (распределению) зависимой переменной y_t, в том смысле, что ее форма и состав факторов “правильно” выражают причинно-следственные связи, определяющие его закономерности. Таким образом, истинная ошибка e_t является ”абсолютно” случайной переменной. Ее закон распределения выражает закон распределения значений y_t относительно расчетных значений, рассматриваемых при известных значениях параметров a ₀, a ₁,..., a_n, как выборочные математические ожидания M [ y_t ]= = a ₀+ a ₁ х _{1 t}+...+ a_nх_nt. Отклонение значения y_t от его математического ожидания объясняется влиянием на этот процесс каких-либо случайных воздействий, которые невозможно учесть в рамках данной модели и т. п.

2. Закон распределения значений y_t известен. Чаще всего выдвигается естественное предположение о его нормальном характере. Плотность условного совместного распределения значений y_t при известных значениях независимых факторов х_it определяется следующим выражением: j (y_t х _t)~ N (,), где – дисперсия значения y_t, определяемая относительно его математического ожидания.

Для совокупности случайных величин y_t, t =1, 2,..., T этот закон можно выразить путем задания их совместной плотности распределения, в общем случае имеющей следующий вид:

j (y ₁, ..., y_Т / Х)= N (M [ y ], W _y), (2.103)

где M [ y ] – вектор математических ожиданий наблюдаемых значений y ₁,..., y_Т, W _y – ковариационная матрица значений y_t, определяемая следующим выражением:

W_y =

где значения и следует интерпретировать как дисперсии и ковариации случайных переменных y_t и y_t и y_t _{+ j}соответственно*.

В “классическом” варианте ММП в отношении зависимой переменной y_t выдвигается предположение о независимости распределений значений y_t, рассматриваемых в разные моменты времени t =1, 2,..., T,и о постоянстве их разновременных дисперсий относительно математических ожиданий.

В этом случае матрица W _y имеет следующий вид:

× (2.105)

где – постоянная дисперсия переменных y ₁, ..., y_T; Е – единичная матрица Т ´ Т.

3. Функция плотности закона распределения ошибки e_t эквивалентна функции плотности закона распределения переменной y_t, т. е. j (e_t)= j (y_t), и в общем случае j (e_t)~ N (0, W _e).

Данное предположение вытекает из того факта, что производные ошибок по соответствующим значениям y_t равны 1, т. е., а производные ошибок по разновременным значениям y_t–j равны нулю, j =1,2,..., т. е.. Это непосредственно устанавливается прямым дифференцированием выражения у_t=a ₀+ a ₁ х _{1 t}+...+ a_n х_nt + e_t в предположении, что e_i и у_j независимы при i ¹ j. Напомним, что плотность закона свместного распределения значений у_t (условного распределения) взаимосвязана с плотностью закона совместного распределения ошибки e_t, t =1, 2,..., T следующим образом:

j (y / Х)= j (e)×½¶ e /¶ y ½, (2.106)

где ½¶ e /¶ y ½– якобиан перехода от переменной e к y, рассчитываемый как абсолютное значение следующего определителя:

¶ e /¶ y =

В соответствии с тем, что, а, i ¹ j, получаем, что ¶ e /¶ y =1 и j (y / Х)= j (e).

Из этого факта вытекает, что соответствующие плотности распределения ошибки e имеют следующий вид:

j (e_t)~ N (0,); =;

j (e ₁, ..., e_T) = N (0, W_e), W_e = W_y, (2.107)

С учетом (2.107) условия независимости разновременных переменных у_t и постоянства их дисперсий переходят в соответствующие условия для разновременных значений ошибки e_t и тогда вместо выражения (2.105) можно записать

W_y = W_e = s _e ²× Е. (2.108)

Выражение (2.108) c учетом свойства M [ e ]=0 определяет истинную ошибку модели e_t как процесс “белого шума”, т. е. как стационарный процесс с постоянным (нулевым) математическим ожиданием (M [ e_t ]= у_t – M [ у_t ]=0), постоянной, независящей от времени дисперсией (=) и нулевыми ковариационными (корреляционными) связями между ее разновременными значениями e_t и e_t– ₁, e_t и e_t– ₂ и т. д.

В основе метода максимального правдоподобия лежит исходное предположение о том, что “лучшим” оценкам a ₀^*, a ₁^*,..., a_n ^*“истинных” значений параметров эконометрической модели a ₀, a ₁,..., a_n должен соответствовать наиболее вероятный набор “фактических” значений ошибки е ₁^*, е ₂^*,..., е_T ^*, рассматриваемых как “своего рода оценки” ее истинных значений e ₁, e ₂,..., e_T и поэтому удовлетворяющих вышеприведенным предположениям.

Таким образом, максимум произведения р (е ₁)× р (е ₂)×...× р (е_Т) соответствует наиболее вероятному сочетанию значений e_t, t =1, 2,..., T, обеспечиваемому “наилучшими” оценками параметров модели. При этом имеется в виду, что для произвольного набора значений фактической ошибки е ₁, е ₂,..., е_T произведение вероятностей р (е ₁)× р (е ₂)×...× р (е_Т) в данном случае выражает вероятность совместного распределения их значений, соответствующих определенному набору оценок параметров a ₀, a ₁,..., a_n.

С учетом этого, решение задачи оценки параметров линейной эконометрической модели типа (1.2) может быть получено в результате максимизации целевой функции следующего вида:

по неизвестным параметрам a ₀, a ₁,..., a_n и s_e ² при заданных массивах исходных данных, выражаемых вектором известных значений зависимой переменной у_t и матрицей значений независимых факторов Х размера Т ´(п +1).