Свойства энтропии

1) Как следует из (2.4), Н = 0 только в двух случаях: (а) какая-либо из p(A_j) = 1; однако, при этом из (А.7) следует, что все остальные р(А_i) = 0 (i≠j), т.е. реализуется ситуация, когда один из исходов является достоверным (и общий итог опыта перестает быть случайным); (b) все р(А_i) = 0, т.е. никакие из рассматриваемых исходов опыта невозможны, поскольку нетрудно показать, что (р ∙ log р) = 0 во всех остальных случаях, очевидно, что Н > 0.

2) Очевидным следствием (2.1) будет утверждение, что для двух независимых опытов α и β

Энтропия как мера неопределенности

Модели натурные и информационные

Структуры данных и их представление в ОЗУ

Пример 5.1

Контрольные вопросы и задания

Вернуться в оглавление: Теоретические основы информатики