При прочих равных условиях наибольшую энтропию имеет опыт с равновероятными исходами

Пример 2.2

В ящике имеются 2 белых шара и 4 черных. Из ящика извлекают последовательно два шара без возврата. Найти энтропию, связанную с первым и вторым извлечениями, а также энтропию обоих извлечений. Будем считать опытом αизвлечение первого шара. Он имеет два исхода: A ₁ - вынут белый шар; его вероятность р(А ₁ ) =2/6 = 1/3; исход А ₂ - вынут черный шар; его вероятность р(А ₂ ) = 1 - р(А ₁ ) = 2/3. Эти данные позволяют с помощью (2.4) сразу найти Н( α):

Н( α ) = - р(А ₁ ) log₂ р(А ₁ ) - р(А ₂ ) log₂ р(А ₂ ) = -1/3 log₂1/3 - 2/3 log₂2/3 = 0,918 бит.

Опыт β - извлечение второго шара также имеет два исхода: В ₁ - вынут белый шар; В ₂- вынут черный шар, однако их вероятности будут зависеть от того, каким был исход опыта α. В частности:

при A ₁: р_{А 1}(B ₁) = 1/5 р_А1(B ₂) = 4/5;

при A ₂: р _{A 2}(B ₁) = 2/5 р _{A 2}(B ₂) = 3/5.

Следовательно, энтропия, связанная со вторым опытом, является условной и, согласно (2.8) и (2.9), равна:

Наконец, из (2.10): Н (α Ù β) = 0,918 + 0,888 =1,806 бит.