Вероятностный подход

Измерение информации

Пусть должно произойти какое-то событие. Обозначим количество равноверо­ятно возможных результатов этого события через N.

Например, бросаем монету. Выпадает «орел» или «решка» - равновероят­ные события, значит N =2.

Количество информации i, содержащееся в сообщении о том, что произо­шло одно из N равновероятных событий, определяется решением уравнений 2ⁱ = N. Отсюда

i=log₂N

Известно, что не всегда значение log₂N оказывается целым числом, тогда как ответом в задачах по смыслу их постановки может быть только целое число. Следовательно, в этих случаях в качестве ответа надо взять ближайшее целое число, большее log₂N

Для решения этого уравнения легче всего воспользоваться таблицей сте­пеней числа 2:

n	2n	n	2n	n	2n

За единицу измерения количества информации принят 1 бит.

Если в формулировке задачи присутствует термин «бит», это автоматиче­ски подразумевает двоичное кодирование. Ведь этот термин справедлив только для двоичных алфавитов и означает «binary digit» - «двоичный знак». Такие за­дачи решаются с применением вышерассмотренных формул: 2ⁱ = N и i = log₂N

В случае с монетой 2ⁱ= 2. Отсюда i = log₂2, откуда i = 1, то есть количе­ство информации, полученной после броска монеты, равно 1 биту.

1. В коробке 16 кубиков различных цветов. Сколько бит информации несет сообщение о том, что из коробки достали зеленый кубик?

Решение. Результат вытаскивания из коробки любого из 16 кубиков - со­бытие равновероятное. Поэтому используем формулу 2ⁱ = N, где N = 16. Стало быть i = 4.

___________________________________________________________________________________

Ответ: 4 бита.

2. При угадывании целого числа в диапазоне от 1 до N получено 7 битов информации. Чему равно N?

Решение. Используем формулу 2' = N, где i = 7. Стало быть, N = 128.

___________________________________________________________________________________

Ответ: N= 128.

3. Сколько информации содержит сообщение о том, что некий человек сидит в 12 ряду на 19 месте, если в кинотеатре 16 рядов по 32 места в каждом?

Решение. Всего в кинотеатре 16 х 32 = 512 мест. То есть N= 512. Исполь­зуем формулу 2ⁱ = N Стало быть, i = log₂512 = 9.

___________________________________________________________________________________

Ответ: 9 битов

Вопрос измерения количества информации тесно связан со способом ее кодирования. Так, например, предыдущая задача может быть сформулирована иначе: какое минимальное количество бит потребуется для кодирования номера каждого зрительского места, если в кинотеатре 16 рядов по 32 места в каждом?

4. Кодовый замок сейфа должен допускать не менее 15 000 уникальных комбинаций. Код устанавливается с помощью двухпозиционных пере­ключателей. Сколько таких переключателей необходимо использовать в конструкции замка?

Решение. Воспользуемся формулой i = log₂N. log₂15000 = 13,872. Полу­чается, что 13 переключателей обеспечат 8192 различных ком­бинаций, а 14 переключателей - 16384 комбинаций, что удо­влетворяет условию задачи.

___________________________________________________________________________________

Ответ: Не менее 14 двухпозиционных переключателей.

Теперь давайте представим себе, что в конструкции кодового замка при­меняются не двух-, а трехпозиционные переключатели. Сколько переключате­лей потребуется а этом случае?

Если переключатель трехпозиционный. следовательно, он может пребы­вать в одном из трех различных состояний {например: в верхнем, в среднем или в нижнем). В этом случае для решения будем использовать более общую формулу:

x = log_a N

где

N - количество уникальных комбинаций,

х - требуемое количество переключателей,

а - число состояний, в которых может находиться каждый переключатель.

Таким образом, подставляя значение из предыдущей задачи, имеем:

x = 1og₃l5000=8,753.

Округлив до ближайшего большего целого, получаем ответ: 9 переклю­чателей.

5. Световое табло состоит из лампочек. Каждая лампочка может находиться в одном из трех состояний (включено, выключено или мигает). Какое наи­меньшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передать 50 различных сигналов?

Решение. Воспользуемся формулой х = log_a N. log₃50 ~ 3,56. Округлив до ближайшего большего целого, получаем 4.

___________________________________________________________________________________

Ответ: Минимум 4 лампочки.