Пример 2.2

В ящике имеются 2 белых шара и 4 черных. Из ящика извлекают последовательно два шара без возврата. Найти энтропию, связанную с первым и вторым извлечениями, а также энтропию обоих извлечений. Будем считать опытом α извлечение первого шара. Он имеет два исхода: A₁ - вынут белый шар; его вероятность р(А₁) = 2/6 = 1/3; исход А₂ - вынут черный шар; его вероятность р(А₂) = 1 - р(А₁) = 2/3. Эти данные позволяют с помощью (2.4) сразу найти Н(α):

Н(α) = - р(А₁)log₂ р(А₁) - р(А₂)log₂ р(А₂) = -1/3 log₂1/3 - 2/3 log₂2/3 = 0,918 бит.

Опыт β - извлечение второго шара также имеет два исхода: В₁ - вынут белый шар; В₂ - вынут черный шар, однако их вероятности будут зависеть от того, каким был исход опыта α. В частности:

при A₁: р_А₁(B₁) = 1/5 р_А1(B₂) = 4/5;

при A₂: р_A₂(B₁) = 2/5 р_A₂(B₂) = 3/5.

Следовательно, энтропия, связанная со вторым опытом, является условной и, согласно (2.8) и (2.9), равна: