Энтропия и информация

Поучительность только что рассмотренного примера в том, что из него отчетливо видно как предшествующий опыт (α) может уменьшить количество исходов и, следовательно, неопределенность последующего опыта (β). Разность H(β) и Н_α(β), очевидно, показывает, какие новые сведения относительно β получаем, произведя опыт α. Эта величина называется информацией относительно опыта β, содержащейся в опыте α.

Данное выражение открывает возможность численного измерения количества информации, поскольку оценивать энтропию уже умеем. Из него легко получить ряд следствий:

Следствие 1. Поскольку единицей измерения энтропии является бит, то в этих же единицах может быть измерено количество информации.

Следствие 2. Пусть опыт α = β, т.е. просто произведен опыт β. Поскольку он несет полную информацию о себе самом, неопределенность его исхода полностью снимается, т.е. Н_β(β) = 0. Тогда /(β, β) = Н(β), т.е. можно считать, что