2018-01-21
345
Выбор основания логарифмов в формуле (4.1) определяет единицы измерения количества информации. При использовании десятичного логарифма 
информация измеряется в десятичных единицах – дитах. В случае использования натуральных логарифмов единицей измерения является натуральная единица – нат. Более удобно в системах, работающих с двоичными кодами, использовать основание логарифма 
, и тогда информация измеряется в двоичных единицах – дв.ед. Весьма часто вместо двоичных единиц используется эквивалентное название – бит, возникшее как сокращенная запись английских слов binary digit (двоичная цифра). 1 бит это количество информации, которое передается единичным символом сообщения, вероятность передачи которого 
:
 (бит).
|
В настоящее время термин бит в информатике, вычислительной и импульсной технике употребляется не только как единица количества информации, но и для обозначения числа двоичных символов 0 и 1, поскольку они обычно равновероятны и каждый из них несет 1 бит информации.
Количество информации в сообщении, составленном из 
символов, определяется по формуле [2]:
 ,
|
где 
– номер символа 
из алфавита источника;
– вероятность передачи 
-го символа.
