Дано i, найти N

Лабораторная работа №1

Измерение информации (содержательный подход)

1 бит – количество информации, уменьшающее неопределенность знаний вдвое. Задачи по теме связаны с использованием формулы Р. Хартли:

i = log₂N или 2ⁱ= N,

где i – количество информации, N – количество равновероятных исходов события.

Возможны два варианта условий задач:

1) дано N, найти i;

дано i, найти N.

Равновероятные события

1.В соревновании участвуют 4 команды. Сколько информации в сообщении, что выиграла 3-я команда?

– Сообщение уменьшает первоначальную неопределенность ровно в четыре раза (дважды по два) и несет два бита информации.

2. Шарик находится в одном из 64 ящичков. Сколько единиц информации будет содержать сообщение о том, где находится шарик?

6 бит (64 = 2⁶)

3. При угадывании целого числа в некотором диапазоне было получено 8 бит информации. Сколько чисел содержал этот диапазон?

i=8 бит

N=2⁸

N=256

Ответ: 256

5. Сколько бит информации несет сообщение о том, что из колоды в 32 карты достали даму пик?

Решение этой задачи следует описывать так: при случайном вытаскивании карт из перемешанной колоды ни одна из карт не имеет преимущества по сравнению с другими быть выбранной. Следовательно, случайный выбор любой карты, в том числе и дамы пик, - события равновероятные. Отсюда следует, что неопределенность знаний о результате вытаскивания карты равна 32 - числу карт в колоде. Если i - количество информации в сообщении о результате вытаскивания одной карты (дамы пик), то имеем уравнение

2 ⁱ =32

Поскольку 32= 2⁵, следовательно, i = 5 бит.

6. Шарик находится в одной из трех урн: А, В или С. Определить, сколько бит информации содержит сообщение о том, что он находится в урне В.

Такое сообщение содержит I = log₂ 3 = 1,585 бита информации.

7. Вы бросаете два кубика с нанесенными на гранях цифрами от 1 до 6. Определите, сколько бит информации несет сообщение, что на одном кубике выпала тройка, а на другом - пятерка.

log₂6 + log₂6 = 2,585 + 2,585 = 5,17 (бит)

8. Проводятся две лотереи: "4 из 32" и "5 из 64". Сообщение о результатах какой из лотерей несет больше информации?

Первый путь решения тривиальный: вытаскивание любого номера из лотерейного барабана – события равновероятные. Поэтому в первой лотерее количество информации в сообщении об одном номере равно 5 бит (2⁵ = 32), а во второй – 6 бит (2⁶ = 64). Сообщение о четырех номерах в первой лотерее несет 5х4= 20 бит. Сообщение о пяти номерах второй лотереи несет 6х5= 30 бит. Следовательно, сообщение о результатах второй лотереи несет больше информации, чем о первой.

Но возможен и такой путь рассуждения. Представьте себе, что вы наблюдаете за розыгрышем лотереи. Выбор первого шара производится из 32 шаров в барабане. Результат несет 5 бит информации. Но 2-й шар будет выбираться уже из 31 номера, 3-й - из 30 номеров, 4-й - из 29. Значит, количество информации, которое несет 2-й номер, находится из уравнения:

2ⁱ= 31, отсюда i= 4,95420 бита.

Для 3-го номера: 2'= 30; i = 4,90689 бита.

Для 4-го номера: 2'= 29; i= 4,85798 бита.

В сумме получаем: 5 + 4,95420 + 4,90689 + 4,85798 = 19,71907 бита.