Определить понятие энтропии как меры неопределенности опыта со случайными исходами

Тема 9. Статистический подход к распознаванию образов: оценка неизвестной плотности вероятности

1. Разобрать способ выбора неизвестной плотности вероятности на основе априорной информации:

· определить понятие энтропии как меры неопределенности опыта со случайными исходами;

· сформулировать и разъяснить принцип максимума энтропии, поставить задачу отыскания неизвестной плотности вероятности на основе этого принципа;

· дать общее решение задачи с помощью метода неопределенных множителей Лагранжа;

· разобрать конкретные примеры.

2. Разобрать способ оценки неизвестной плотности вероятности по апостериорным данным путем аппроксимации функциями:

· дать понятие ортогональной и ортонормированной системы функций одной и нескольких переменных, указать способ построения полной системы ортонормированных функций нескольких переменных по полной ортонормированной системе функций одной переменной, рассмотреть конкретные системы (многочлены Лежандра, Лаггера, Эрмита);

· сформулировать постановку задачи;

· дать общее решение задачи;

· разобрать конкретный пример.

Разобрать способ выбора неизвестной плотности вероятности на основе априорной информации.

Определить понятие энтропии как меры неопределенности опыта со случайными исходами.

Опыты, процессы, явления, исход которых точно предсказать нельзя (он зависит от случая) называют опытами со случайными исходами.

Численная величина, измеряющая неопределенность опыта называется энтропия, т.е это статическая мера неопределённости. Энтропия это числовая характеристика, отражающая ту степень неопределенности, которая исчезает после проведения опыта.

Пусть события А₁, …, А_n – возможные исходы некоторого опыта А. Тогда энтропия всего опыта A:

H(A) = ;

Энтропия H(X) дискретной случайной величины:

H(X) ==

Энтропия некоторой случайной величины выражает неопределенность нашего знания о том, какое именно значение примет эта случайная величина при очередном испытании.

В простейшем случае равновероятных значений случайной величины энтропия будет равна:

H(X) =

где N- это общее число возможных альтернатив (чем больше значение N, тем больше степень неопределенности).

Максимальной энтропией будет обладать та случайная величина, у которой вероятности возможных значений равны.

Значит, верно следующее равенство:

H(X)

Энтропия H(X) для непрерывной случайной величины:

H(X) =