Алфавитный (технический) подход

В технике под информацией, как правило, любая последовательность символов и знаков. Для определения количества информации в сообщении определяют длину данной последовательности без учёта её смыслового содержания.

Определение. Информационный объём сообщения – это количество символов, которое необходимо для кодирования этого сообщения.

В качестве единицы информации условились принять один бит (англ. bit - binary digit – двоичная цифра). Бит в теории информации – минимальная единица количества информации, равная одному двоичному разряду и необходимая для различения двух равновероятных сообщений. В вычислительной технике битом называют наименьшую "порцию" памяти, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Обозначим через M – количество символов в записи сообщения, N – мощность алфавита (количество символов, в котором записано сообщение), тогда информационный объём сообщения I вычисляется по формуле:

I = M * log₂N (1)

Если log₂N не является целым числом, то его надо округлить в большую сторону или найти такое значение log₂ , где – ближайшая целая степень 2, > N.

Информационный объем сообщения, выраженный в битах, и минимальное количество разрядов, необходимое для записи сообщения в двоичном алфавите, совпадают.

С помощью n двоичных разрядов можно закодировать двоичным кодом все элементы множества, мощность которого равна 2ⁿ. Информационный объём одного символа алфавита, обозначающего элемент данного множества равен n.

Бит – слишком мелкая единица измерения. На практике чаще применяется более крупная единица – байт, равная восьми битам.

В кодах ASCII (американский стандартный код информационного обмена) – 1 символ = 8 бит = 1 байт.

В международном стандарте Unicode: 1 символ = 16 бит = 2 байта.

Пример 1. Слово «информатика» содержит 11 символов, и в кодировке ASCII будет иметь информационный объём, равный 88 бит, т.е. 11 байт, а в кодировке Unicode – 176 бит, т.е. 22 байта.

Пример 2. Табло состоит из светодиодов, каждый из которых может находиться в двух состояниях (горит, не горит). Какое наименьшее количество светодиодов необходимо, чтобы табло смогло отобразить 130 различных сигналов?

Решение. Мощность алфавита равна 130. Количество символов в сообщении равно 1. По формуле (1) находимI = log₂130. Так как число 130 не является целой степенью числа 2, то значение log₂130 необходимо округлить в большую сторону, то есть найти значение log₂ , где – ближайшая целая степень 2, > 130. Следовательно, = 256 = 2⁸ (2⁷ = 128 < 130).

Ответ: 8 светодиодов.

Пример 3. Для передачи секретного сообщения используется код, состоящий из 26 латинских букв и 10 цифр от 0 до 9. Все символы кодируются одним и тем же минимально возможным количеством бит. Определить информационный объем сообщения длиной в 150 символов.

Решение. Мощность алфавита равна 26 + 10 = 36. Для того чтобы закодировать один из 36 возможных символов необходимо log₂36 бит. Так как число 36 не является целой степенью числа 2, то значение log₂36 необходимо округлить в большую сторону, то есть найти значение log₂ , где – ближайшая целая степень 2, > 36. Следовательно, = 64 = 2⁶ (т.к. 2⁵ = 32 < 36). По формуле (1) находимI = 150 * log₂64 = 150 * 6 = 900 бит.