Содержательный подход к измерению информации

Сообщение, уменьшающее неопределенность знаний человека в два раза, несет для него 1 бит информации.

Количество информации, заключенное в сообщении, определяется по формуле Хартли:

где N – количество равновероятных событий;
I – количество информации (бит), заключенное в сообщении об одном из событий.

2. Алфавитный (технический) подход к измерению информации - основан на подсчете числа символов в сообщении.

Если допустить, что все символы алфавита встречаются в тексте с одинаковой частотой, то количество информации, заключенное в сообщении вычисляется по формуле: