Пример 2.7

В некоторой местности имеются две близкорасположенные деревни: А и В. Известно, что жители А всегда говорят правду, а жители В - всегда лгут. Известно также, что жители обеих деревень любят ходить друг к другу в гости, поэтому в каждой из деревень можно встретить жителя соседней деревни. Путешественник, сбившись ночью с пути оказался в одной из двух деревень и, заговорив с первым встречным, захотел выяснить, в какой деревне он находится и откуда его собеседник. Какое минимальное количество вопросов с бинарными ответами требуется задать путешественнику?

Количество возможных комбинаций, очевидно, равно 4 (путешественник в А, собеседник из А; путешественник в А, собеседник из В; и т.д.), т.е. п = 2² и, следовательно значит, k = 2. Последовательность вопросов придумайте самостоятельно.

Попытаемся понять смысл полученных в данном разделе результатов. Необходимо выделить ряд моментов.

1. Выражение (2.14) является статистическим определением понятия «информация», поскольку в него входят вероятности возможных исходов опыта. По сути дается операционное определение новой величины, т.е. устанавливается процедура (способ) измерения величины. Как отмечалось ранее, в науке (научном знании) именно такой метод введения новых терминов считается предпочтительным, поскольку то, что не может быть измерено, не может быть проверено и, следовательно, заслуживает меньшего доверия.

Выражение (2.13) можно интерпретировать следующим образом: если начальная энтропия опыта Н₁, а в результате сообщения информации / энтропия становится равной Н₂ (очевидно, Н₁ ≥ Н₂), то

т.е. информация равна убыли энтропии. В частном случае, если изначально равновероятных исходов было п₁, а в результате передачи информации / неопределенность уменьшилась, и число исходов стало п₂(очевидно, п₂≤ п₁), то из (2.15) легко получить:

Таким образом, можно дать следующее определение:

Информация - это содержание сообщения, понижающего неопределенность некоторого опыта с неоднозначным исходом; убыль связанной с ним энтропии является количественной мерой информации.

В случае равновероятных исходов информация равна логарифму отношения числа возможных исходов до и после (получения сообщения).

2. Как уже было сказано, в статистической механике энтропия характеризует неопределенность, связанную с недостатком информации о состоянии системы. Наибольшей оказывается энтропия у равновесной полностью беспорядочной системы - о ее состоянии наша осведомленность минимальна. Упорядочение системы (наведение какого-то порядка) связано с получением некоторой дополнительной информации и уменьшением энтропии. В теории информации энтропия также отражает неопределенность, однако, это неопределенность иного рода - она связана с незнанием результата опыта с набором случайных возможных исходов. Таким образом, хотя между энтропией в физике и информатике много общего, необходимо сознавать и различие этих понятий. Совершенно очевидно, что в дальнейшем понятие энтропии будет использоваться в аспекте теории информации.

3. Следствием аддитивности энтропии независимых опытов (2.5) оказывается аддитивность информации. Пусть с выбором одного из элементов (х_A) множества А, содержащего п_A элементов, связано /_А = log₂ п_A информации, а с выбором х_B из В с п_B элементами информации связано I_B = log₂ п_B и второй выбор никак не связан с первым, то при объединении множеств число возможных состояний (элементов) будет п = п_А∙ п_B и для выбора комбинации х_Aх_Bпотребуется количество информации:

4. Вернемся к утверждению о том, что количество информации может быть измерено числом вопросов с двумя равновероятными ответами. Означает ли это, что I должна быть всегда величиной целой? Из формулы Хартли (2.15), как было показано, I = k бит (т.е. целому числу бит) только в случае п = 2^k. А в остальных ситуациях? Например, при игре «Угадай-ка - 7» (угадать число от 0 до 6) нужно в выборочном каскаде задать т ≥ log₂ 7 = 2,807, т.е. необходимо задать три вопроса, поскольку количество вопросов - это целое число.

Однако представим, что одновременно играем в шесть таких же игр. Тогда необходимо отгадать одну из возможных комбинаций, которых всего

Следовательно, для угадывания всей шестизначной комбинации требуется I = 17 бит информации, т.е. нужно задать 17 вопросов. В среднем на один элемент (одну игру) приходится 17/3 = 2,833 вопроса, что близко к значению log₂ 7. Таким образом,

величина I, определяемая описанным выше образом, показывает, сколько в среднем необходимо сделать парных выборов для установления результата (полного снятия неопределенности), если опыт повторить многократно (n → ).

5. Необходимо понимать также, что не всегда с каждым из ответов на вопрос, имеющий только с два варианта ответа (будем далее называть такие вопросы бинарными), связан ровно 1 бит информации. Рассмотрим опыт, реализующийся посредством двух случайных событий; поскольку их всего два, очевидно, они являются дополнительными друг другу. Если эти события равновероятны, р₁ = р₂ = 1/2, и I = 1 бит, как следует из формулы Хартли и (2.14). Однако, если их вероятности различны: р₁ = р, то, согласно (А.8),

p₂ = 1 - р, и из (2.14) получаем функцию:

Легко показать, что при р → 0 и при р → 1 функция I(р) → 0. Ситуация может быть проиллюстрирована графиком, из которого, в частности, видно, что кривая симметрична относительно р = 0,5 и достигает максимума при этом значении. Если теперь считать, что событие 1 - это утвердительный ответ на бинарный вопрос, а событие 2 - отрицательный, то приходим к заключению: