В ящике имеются 2 белых шара и 4 черных. Из ящика извлекают последовательно два шара без возврата. Найти энтропию, связанную с первым и вторым извлечениями, а также энтропию обоих извлечений. Будем считать опытом α извлечение первого шара. Он имеет два исхода: A1 - вынут белый шар; его вероятность р(А1) = 2/6 = 1/3; исход А2 - вынут черный шар; его вероятность р(А2) = 1 - р(А1) = 2/3. Эти данные позволяют с помощью (2.4) сразу найти Н(α): Н(α) = - р(А1)log2 р(А1) - р(А2)log2 р(А2) = -1/3 log21/3 - 2/3 log22/3 = 0,918 бит. Опыт β - извлечение второго шара также имеет два исхода: В1 - вынут белый шар; В2 - вынут черный шар, однако их вероятности будут зависеть от того, каким был исход опыта α. В частности: при A1: рА1(B1) = 1/5 рА1(B2) = 4/5; при A2: рA2(B1) = 2/5 рA2(B2) = 3/5. Следовательно, энтропия, связанная со вторым опытом, является условной и, согласно (2.8) и (2.9), равна: Наконец, из (2.10): Н(α Ù β) = 0,918 + 0,888 =1,806 бит. |