Студопедия
Обратная связь


Авиадвигателестроения Административное право Административное право Беларусии Алгебра Архитектура Безопасность жизнедеятельности Введение в профессию «психолог» Введение в экономику культуры Высшая математика Геология Геоморфология Гидрология и гидрометрии Гидросистемы и гидромашины История Украины Культурология Культурология Логика Маркетинг Машиностроение Медицинская психология Менеджмент Металлы и сварка Методы и средства измерений электрических величин Мировая экономика Начертательная геометрия Основы экономической теории Охрана труда Пожарная тактика Процессы и структуры мышления Профессиональная психология Психология Психология менеджмента Современные фундаментальные и прикладные исследования в приборостроении Социальная психология Социально-философская проблематика Социология Статистика Теоретические основы информатики Теория автоматического регулирования Теория вероятности Транспортное право Туроператор Уголовное право Уголовный процесс Управление современным производством Физика Физические явления Философия Холодильные установки Экология Экономика История экономики Основы экономики Экономика предприятия Экономическая история Экономическая теория Экономический анализ Развитие экономики ЕС Чрезвычайные ситуации ВКонтакте Одноклассники Мой Мир Фейсбук LiveJournal Instagram


Пример 2.7

В некоторой местности имеются две близкорасположенные деревни: А и В. Известно, что жители А всегда говорят правду, а жители В - всегда лгут. Известно также, что жители обеих деревень любят ходить друг к другу в гости, поэтому в каждой из деревень можно встретить жителя соседней деревни. Путешественник, сбившись ночью с пути оказался в одной из двух деревень и, заговорив с первым встречным, захотел выяснить, в какой деревне он находится и откуда его собеседник. Какое минимальное количество вопросов с бинарными ответами требуется задать путешественнику?

Количество возможных комбинаций, очевидно, равно 4 (путешественник в А, собеседник из А; путешественник в А, собеседник из В; и т.д.), т.е. п = 22 и, следовательно значит, k = 2. Последовательность вопросов придумайте самостоятельно.

Попытаемся понять смысл полученных в данном разделе результатов. Необходимо выделить ряд моментов.

1. Выражение (2.14) является статистическим определением понятия «информация», поскольку в него входят вероятности возможных исходов опыта. По сути дается операционное определение новой величины, т.е. устанавливается процедура (способ) измерения величины. Как отмечалось ранее, в науке (научном знании) именно такой метод введения новых терминов считается предпочтительным, поскольку то, что не может быть измерено, не может быть проверено и, следовательно, заслуживает меньшего доверия.

Выражение (2.13) можно интерпретировать следующим образом: если начальная энтропия опыта Н1, а в результате сообщения информации / энтропия становится равной Н2 (очевидно, Н1 ≥ Н2), то

т.е. информация равна убыли энтропии. В частном случае, если изначально равновероятных исходов было п1, а в результате передачи информации / неопределенность уменьшилась, и число исходов стало п2 (очевидно, п2 ≤ п1), то из (2.15) легко получить:

Таким образом, можно дать следующее определение:

Информация - это содержание сообщения, понижающего неопределенность некоторого опыта с неоднозначным исходом; убыль связанной с ним энтропии является количественной мерой информации.

В случае равновероятных исходов информация равна логарифму отношения числа возможных исходов до и после (получения сообщения).

2. Как уже было сказано, в статистической механике энтропия характеризует неопределенность, связанную с недостатком информации о состоянии системы. Наибольшей оказывается энтропия у равновесной полностью беспорядочной системы - о ее состоянии наша осведомленность минимальна. Упорядочение системы (наведение какого-то порядка) связано с получением некоторой дополнительной информации и уменьшением энтропии. В теории информации энтропия также отражает неопределенность, однако, это неопределенность иного рода - она связана с незнанием результата опыта с набором случайных возможных исходов. Таким образом, хотя между энтропией в физике и информатике много общего, необходимо сознавать и различие этих понятий. Совершенно очевидно, что в дальнейшем понятие энтропии будет использоваться в аспекте теории информации.

3. Следствием аддитивности энтропии независимых опытов (2.5) оказывается аддитивность информации. Пусть с выбором одного из элементов A) множества А, содержащего пA элементов, связано /А = log2 пA информации, а с выбором хB из В с пB элементами информации связано IB = log2 пB и второй выбор никак не связан с первым, то при объединении множеств число возможных состояний (элементов) будет п = пА ∙ пB и для выбора комбинации хAхB потребуется количество информации:

4. Вернемся к утверждению о том, что количество информации может быть измерено числом вопросов с двумя равновероятными ответами. Означает ли это, что I должна быть всегда величиной целой? Из формулы Хартли (2.15), как было показано, I = k бит (т.е. целому числу бит) только в случае п = 2k. А в остальных ситуациях? Например, при игре «Угадай-ка - 7» (угадать число от 0 до 6) нужно в выборочном каскаде задать т ≥ log2 7 = 2,807, т.е. необходимо задать три вопроса, поскольку количество вопросов - это целое число.

Однако представим, что одновременно играем в шесть таких же игр. Тогда необходимо отгадать одну из возможных комбинаций, которых всего

Следовательно, для угадывания всей шестизначной комбинации требуется I = 17 бит информации, т.е. нужно задать 17 вопросов. В среднем на один элемент (одну игру) приходится 17/3 = 2,833 вопроса, что близко к значению log2 7. Таким образом,

величина I, определяемая описанным выше образом, показывает, сколько в среднем необходимо сделать парных выборов для установления результата (полного снятия неопределенности), если опыт повторить многократно (n ).

5. Необходимо понимать также, что не всегда с каждым из ответов на вопрос, имеющий только с два варианта ответа (будем далее называть такие вопросы бинарными), связан ровно 1 бит информации. Рассмотрим опыт, реализующийся посредством двух случайных событий; поскольку их всего два, очевидно, они являются дополнительными друг другу. Если эти события равновероятны, р1 = р2 = 1/2, и I = 1 бит, как следует из формулы Хартли и (2.14). Однако, если их вероятности различны: р1 = р, то, согласно (А.8),

p2 = 1 - р, и из (2.14) получаем функцию:

Легко показать, что при р → 0 и при р → 1 функция I(р) → 0. Ситуация может быть проиллюстрирована графиком, из которого, в частности, видно, что кривая симметрична относительно р = 0,5 и достигает максимума при этом значении. Если теперь считать, что событие 1 - это утвердительный ответ на бинарный вопрос, а событие 2 - отрицательный, то приходим к заключению:





 

Читайте также:

Последовательная передача данных

Контрольные вопросы и задания

Пример 7.2

Таким образом - формулировки и наиболее важные утверждения.

Пример 7.11

Вернуться в оглавление: Теоретические основы информатики

Просмотров: 1318

 
 

© studopedia.ru Не является автором материалов, которые размещены. Но предоставляет возможность бесплатного использования. Есть нарушение авторского права? Напишите нам. Ваш ip: 54.197.159.173