Принцип максимума энтропии

Принцип максимума энтропии утверждает, что если плотность распределения некоторой случайной величины неизвестна, то из логических соображений следует выбрать такую плотность распределения, которая обеспечивает максимизацию энтропии случайной величины при учете всех известных ограничений. Применение этого критерия приводит к решению, отличаю­щемуся минимальным смещением, так как плотность распреде­ления любого другого вида будет обладать большим смещением «в сторону» информации, содержащейся в известном наборе данных. Плотность распределения, обеспечивающую максимум энтропии, особенно легко определять в тех случаях, когда все известные ограничения представлены в форме средних оценок, таких, например, как математические ожидания и дисперсии плотности распределения.

Энтропия совокупности образов с плотностью распределения р(х) определяется как

(1)

где p(x) - это плотность распределения .

Пусть априорная информация о случайной величине x задается в виде:

(*)

и

(**)

Постановка задачи: необходимо так задать плотности распределения p(x), чтобы величина энтропии при выполнении ограничений (*) и (**), которые являются априорной информацией, была максимальной.