Алфавитный подход к измерению информации

Алфавит – это набор букв, цифр, знаков препинания и др. символов, используемых в тексте.

Мощность алфавита - полное число его символов (N).

Информационный вес символа, выраженный в битах (b), и мощность алфавита (N) связаны формулой N=2^b.

Пример: Алфавит содержит 32 буквы. Какое количество информации несет одна буква?

Мощность алфавита N = 32. Какое количество информации несет одна буква?

32 = 2 ⁵, значит вес одного символа b = 5 бит.

Пример: Сообщение, записанное буквами из 16 символьного алфавита, содержит 10 символов. Какой объем информации в битах оно несет?

Мощность алфавита N = 16. Текст состоит из 10 символов.

1. 16 = 2 ⁴, значит вес одного символа b = 4 бита.

2. Всего символов 10, значит объем информации 10 * 4 = 40 бит.