Энтропия и информация

За меру неопределенности опыта с n исходами А ₁, А ₂ ... А_п принимается число H:

Это и есть знаменитая формула К.Шеннона

Исходы опытов неравновероятны и равны р(А_i).

Энтропия является мерой неопределенности опыта, в котором проявляются случайные события, и равна средней неопределенности всех возможных его исходов.

Пример 2.1

Имеются два ящика, в каждом из которых по 12 шаров. В первом -3 белых, 3 черных и 6 красных; во втором - каждого цвета по 4. Опыты состоят в вытаскивании по одному шару из каждого ящика. Что можно сказать относительно неопределенностей исходов этих опытов?

Согласно (2.4) находим энтропии обоих опытов:

Н _β > Н _α, т.е. неопределенность результата в опыте β выше и, следовательно, предсказать его можно с меньшей долей уверенности, чем результат α.