Метод максимального правдоподобия

Метод максимального правдоподобия позволяет работать при несоблюдении требований теоремы Гаусcа-Маркова, а именно: при наличии гетероскедастичности и несоответствии остатков закону нормального распределения. Метод основан на максимизации совместной вероятности появления реальных значений переменной (в данном случае – остатков) при подборе параметров их функции распределения.

Предварительно приведем пример. Требуется оценить математическое ожидание переменной Х по выборке из двух чисел: X1 = 4и X2 = 6. Можно в качестве оценки использовать среднее значение : μ =Е(Х) = Хср. = (4 + 6) / 2. Если знать, что закон распределения переменной Х – нормальный с известным стандартным отклонением σ, то можно подобрать Е(Х), максимизирующую функцию

L(X1, X2, μ) =р(X1, X2, μ)) = р(X1, μ) * р(X2, μ) =

Exp(-(X1- μ)² /(2 σ²)) * Exp(-(X2- μ)² /(2 σ²))

σ √2π σ√2π

которая называется функцией правдоподобия.

Ее логарифм

l(X1, X2, μ)= ln(L(X1, X2, μ)) = Σ (-(Xi- μ)² /2 σ²) – ln(σ) –ln(√2π) )

т.е. от произведения мы переходим к сумме. При σ =1, отброшенных константах и различных μ:

μ =4: l(4,6,4) = - (4-4)² - (6-4)² = - 4

μ=5: l(4,6,5) = - (4-5)² - (6-5)² = - 2

μ=6: l(4,6,6) = - (4-6)² - (6-6)² = - 4

т.е. максимум функции правдоподобия достигается при μ =5.

При построении эконометрической модели вместо μ происходит оценка аппроксимирующих значений зависимой переменной Y. В случае парной регрессии Ŷ =a+bX, и происходит подбор коэффициентов a и b, обеспечивающих максимизацию функции правдоподобия для совокупностей значений (векторов) Y и Ŷ при заданной функции распределения плотности вероятности их разностей (остатков).

Далее представлено построение парной регрессии двумя методами: МНК и Методом максимального правдоподобия (МНП). Распределение остатков предполагается нормальным с оценкой стандартного отклонения s. Технология МНП аналогична МНК с использованием Поиска решения: задаются произвольные начальные значения a, b, но, кроме того, s, по a, b строится функция Ŷ =a+b X, вычисляются остатки Y_i - Ŷ_i, но затем вычисляются не квадраты остатков, а функции ост²/2s² + ln s и их сумма, равная -ln(L). Поиск решения ищет ее минимум, изменяя ячейки a, b и, может быть, s. Квадраты остатков МНП приведены для сравнения: видно, что их сумма меньше, чем для МНК, что говорит о высоком качестве подгонки модели.

Таблица 6.1.

		МНК	Метод максимального правдоподобия
	a	6,80			a	6,45
	b	2,09			b	2,14
					s	3,53
X	Y	Ŷ	остатки	ост²	Ŷ	остатки ост²/2 s ² + ln s	ост²
		8,90	3,10	9,63	8,59	3,41	1,73	11,60
		10,99	-2,99	8,95	10,73	-2,73	1,56	7,47
		13,09	1,91	3,66	12,87	2,13	1,44	4,53
		15,18	2,82	7,95	15,01	2,99	1,62	8,93
		17,28	-3,28	10,73	17,15	-3,15	1,66	9,93
		19,37	2,63	6,92	19,29	2,71	1,56	7,34
		21,46	-3,46	12,00	21,43	-3,43	1,73	11,77
		23,56	-6,56	43,01	23,57	-6,57	2,99	43,16
		25,65	2,35	5,51	25,71	2,29	1,47	5,25
		27,75	-2,75	7,55	27,85	-2,85	1,59	8,11
		29,84	5,16	26,61	29,99	5,01	2,27	25,12
		31,94	1,06	1,13	32,13	0,87	1,29	0,76
			Σ	Σ		Σ	Σ	Σ
			0,00	143,6		0,00	17,62	124,90

Для демонстрации возможностей МНП были проведены расчеты в предположении, что распределение остатков имеет форму равностороннего треугольника с основанием 2 s. Отрицательные вероятности заменяются на небольшую положительную величину (здесь 0,1) при помощи функции ЕСЛИ. При работе Поиска решения изменялись a и b, s не изменялась. Полученная сумма квадратов остатков в этом случае аналогична результату МНК. Начальные значения a и b в данном случае требуется задавать достаточно близко к истинным значениям, иначе Поиск решения Рис 6.5.

выдает неверные решения.

Таблица 6.2.

	a	6,66
	b	2,10		Распределение возмущений - треугольник
	s	8,00
X	Y	Ŷ	остатки	ост²	1-ABS(ост)/s	ЕСЛИ(L >0; L; 0,1)
		8,76	3,24	10,48	0,60	0,60
		10,86	-2,86	8,19	0,64	0,64
		12,96	2,04	4,15	0,75	0,75
		15,06	2,94	8,64	0,63	0,63
		17,16	-3,16	9,99	0,60	0,60
		19,26	2,74	7,50	0,66	0,66
		21,36	-3,36	11,29	0,58	0,58
		23,46	-6,46	41,73	0,19	0,19
		25,56	2,44	5,95	0,69	0,69
		27,66	-2,66	7,07	0,67	0,67
		29,76	5,24	27,47	0,34	0,34
		31,86	1,14	1,30	0,86	0,86
			Σ	Σ	L	L
			1,27	143,78	0,00	0,00