Объем информации

Следует делать различие между понятиями “количество информации” и “объем информации”. Количество информации вычисляется относительно первичного алфавита, а объем информации - относительно вторичного алфавита. Количество информации зависти от вероятностных характеристик первичного алфавита, а объем зависит от длины сообщения во вторичном алфавите и равен , где l длина сообщений, а k - количество передаваемых букв алфавита.

Пример. Определить количество информации и объем информации от сообщения “Ночью ожидается ураган ” переданному по 7 элементному телеграфному коду.

Решение. Число букв k=23. Тогда

. Здесь было принято, что энтропия русского алфавита без учета статистических характеристик равна

Таким образом, мы видим, что объем информации, занимает больше памяти, чем количество информации.