Пусть вектор подчиняется нормальному закону распределения с нулевым математическим ожиданием и диагональной корреляционной матрицей . В таком случае
С учетом (3.177), (3.178) получаем функцию правдоподобия:
Исследуем функцию правдоподобия на максимум, следуя [6]. Перепишем (3.179) в виде
где через С обозначен множитель перед экспонентой, не зависящий от yN и а.
Поскольку функция L(yN, а) всюду не отрицательна, то для нее существует логарифм, а так как логарифм — монотонная функция, то максимум ln L(yN, а) совпадает с максимумом L(yN, а).
Поэтому исследуем на максимум In L (yN, a):
Из (3.180) следует, что максимум ln L(yN, а) достигается при минимуме по а положительно определенной квадратичной формы
Поэтому имеем
Это уравнение совпадает с (3.138) при . Отсюда следует, что метод наименьших квадратов можно рассматривать как частный случай метода максимума правдоподобия: при аддитивных и независимых ошибках измерений, подчиняющихся нормальному закону распределения, оценки, получаемые по методу наименьших квадратов, определяются из тех же условий, что и оценки максимального правдоподобия. Поэтому все алгоритмы оценивания и результаты, касающиеся метода наименьших квадратов, приведенные выше, справедливы и в данном случае. С другой стороны, приведенные в данном разделе рассуждения можно рассматривать как теоретическое обоснование тех условий, когда оценки, полученные по методу наименьших квадратов, будут обладать свойствами оценок максимального правдоподобия, т. е. будут состоятельными.
|
|
При нахождении оценок максимального правдоподобия так же, как и при использовании метода наименьших квадратов, может учитываться дополнительная информация, содержащаяся в априорной плотности вероятностей вектора оцениваемых параметров, если таковая имеется в нашем распоряжении [37]. Пусть задана априорная плотность вероятностей вектора а. В соответствии с формулой Байеса (1.9) имеем
где
В этой формуле p(a/yN) —апостериорная плотность вероятностей вектора а. Как указывалось в разд. 3.1, метод максимума апостериорной вероятности заключается в выборе в качестве оценки такого значения вектора а, при котором достигается максимум p(a/yN).
Так как множитель C1 в правой части (3.182) не зависит от а, то задача сводится к отысканию максимума функции p0(a)p(yN/a)=p0(a)L(yN/a). Необходимые условия экстремума по а этой функции имеют вид
Уравнение (3.183) отличается от условия первым слагаемым, учитывающим имеющуюся априорную информацию. Необходимые условия (3.183) приводят к системе нелинейных алгебраических уравнений относительно а, которые необходимо решать численными методами.
|
|
Пусть априорная плотность вероятностей p0(а) определяет некоторую априорную оценку вектора а, которую обозначим ; ошибку априорной оценки обозначим . Тогда p0(а) = p0(а - ) = = p0( ). В то же время имеем L(yN, a)=p(yN/a)=p[yN- (a)]. В результате получаем p0(а)р(уN/а)=ра(а - ) p[yN- (a)]. Это же выражение может быть получено непосредственно из определения функции правдоподобия L(yN, a)=L[yN - (а)]. Для этого доста-
точно рассматривать компоненты вектора как дополнительные измерения и сформировать блочный вектор измерений в виде .
Тогда, считая ошибки и независимыми, получаем функцию правдоподобия в виде
где — плотность вероятностей вектора .
Таким образом, метод максимума апостериорной вероятности представляет собой обобщение метода максимума правдоподобия при условии, что априорные оценки рассматриваются как дополнительные измерения, а ошибки априорной оценки и ошибки измерений считаются независимыми.
Соответствующая модификация может быть осуществлена и в алгоритме наименьших квадратов. Эта модификация уже была использована в разд. 3.3.4. при построении аналитического алгоритма априорной оценки точности определения орбиты ИСЗ.
Вернемся к задаче отыскания максимума функции р0(а)×p(yN/a). Рассмотрим случай, когда векторы и а подчиняются нормальному закону распределения:
В таком случае
Для исследования на максимум функции p(a/yN) перейдем к ее логарифму:
Максимум по а достигается при минимуме по а двух последних слагаемых в правой части (3.185). Вследствие положительной определенности соответствующих квадратичных форм имеем условие минимума в виде
Формула (3.186) совпадает с формулой для нахождения оценки по методу наименьших квадратов (3.138) при или максимума правдоподобия (3.181) при условии, что вектор а рассматривается как вектор дополнительных измерений, проведенных с точностью, определяемой элементами матрицы Ро.
Таким образом, соотношение (3.186), определяющее оценки максимума апостериорной вероятности при нормальном законе распределения ошибок измерения и нормальной априорной плотности вероятностей оцениваемого вектора, можно рассматривать как соотношение, определяющее оценки метода наименьших квадратов или оценки максимума правдоподобия, вычисленные с учетом априорной информации, содержащейся в Р0(a).
ГЛАВА