Количество информации

Сложность при проектировании и эксплуатации средств, систем и каналов связи в том, что конструктору и инженеру недостаточно решить задачу с физических и энергетических позиций. С этих точек зрения система может быть самой совершенной и экономичной. Но важно еще при создании передающих систем обратить внимание на то, какое количество информации пройдет через эту передающую систему.

Информацию можно измерить количественно, подсчитать. И поступают при подобных вычислениях самым обычным путем: абстрагируются от смысла сообщения, как отрешаются от конкретности в привычных для всех нас арифметических действиях (как от сложения двух яблок и трех яблок переходят к сложению чисел вообще: 2+3). При этом человеческая оценка информации полностью игнорируется. Последовательному ряду из 100 букв, например, придают определенное значение информации, не обращая внимания, имеет ли эта информация смысл и имеет ли, в свою очередь, смысл практическое применение.

Количественный подход - наиболее разработанная ветвь теории информации. В соответствии с этим определением совокупность 100 букв - фраза из 100 букв из газеты, пьесы Шекспира или теоремы Эйнштейна - имеет в точности одинаковое количество информации. Такое определение количества информации является в высшей степени полезным и практичным. Оно в точности соответствует задаче инженера связи, который должен передать всю информацию, содержащуюся в поданной телеграмме, вне зависимости от ценности этой информации для адресата. Канал связи бездушен. Передающей системе важно одно: передать нужное количество информации за определенное время.

Как же вычислить количество информации в конкретном сообщении?

Оценка количества информации основывается на законах теории вероятностей, точнее, определяется через вероятности событий. Сообщение имеет ценность, несет информацию только тогда, когда мы узнаем из него об исходе события, имеющего случайный характер, когда оно в какой-то мере неожиданно. Ведь сообщение об уже известном никакой информации не содержит. Т.е. если вам, допустим, кто-то позвонит по телефону и скажет: «Днем бывает светло, а ночью темно», то такое сообщение вас удивит лишь нелепостью высказывания, очевидного и всем известного, а не новостью, которую оно содержит. Иное дело, например, результат забега на скачках. Кто придет первым? Исход здесь трудно предсказать.

Чем больше интересующее нас событие имеет случайных исходов, тем ценнее сообщение о его результате, тем больше информации.

Рассмотрим простейший случай получения информации. Вы задаете только один вопрос: "Идет ли дождь?". При этом условимся, что с одинаковой вероятностью ожидаете ответ: "ДА" или "НЕТ". Легко увидеть, что любой из этих ответов несет самую малую порцию информации. Эта порция определяет единицу измерения информации, называемую БИТОМ.

Сообщение о событии, у которого только два одинаково возможных исхода, содержит одну единицу информации, называемую битом. Выбор единицы информации не случаен. Он связан с наиболее распространенным двоичным способом ее кодирования при передаче и обработке. Если событие имеет два равновероятных исхода, это означает, что вероятность каждого исхода равна 1/2. Такова вероятность выпадения «орла» или «решки» при бросании монеты. Информация о таком событии равна 1 биту. Бит – минимальная порция информации, он может принимать два значения: 0 или 1. Информация меньше бита – это вообще не информация. Каким бы сложным ни был источник информации, отвечающий на любой вопрос «да» или «нет», умело поставленными вопросами можно узнать все. А если он может отвечать только «да», мы ничего не узнаем. Поэтому меньше бита информации нет, т.к. бит – это как раз и есть информация, содержащаяся в событии, имеющем 2 исхода (ответ «да» или «нет»). Вообще-то, не только компьютерная, но и вся человеческая логика, если отбросить эмоции, основана на таком выборе: одно из двух.

Итак, 1 бит – это информация, содержащаяся в осуществлении события, имеющего 2 исхода («орел» - «решка») или, что то же самое, в совершении или не совершении какого-либо события.

Если событие имеет три равновероятных исхода, то вероятность каждого равна 1/3. Сумма вероятностей всех исходов всегда равна единице: ведь какой-нибудь из всех возможных исходов обязательно наступит.

Событие может иметь и неравновероятные исходы. Так, при футбольном матче между сильной и слабой командами вероятность победы сильной команды велика - например, 4/5. Вероятность ничьей намного меньше, например 3/20. Вероятность же поражения совсем мала.

Количество информации - это мера уменьшения неопределенностинекоторой ситуации. Различные количества информации передаются по каналам связи, и количество проходящей через канал информации не может быть больше его пропускной способности. А ее определяют по тому, какое количество информации проходит здесь за единицу времени. Один из героев романа Жюля Верна «Таинственный остров», журналист Гедеон Спиллет, передавал по телефону главу из Библии, чтобы его конкуренты не могли воспользоваться телефонной связью. В этом случае канал был загружен полностью, а количество информации было равно нулю, ибо абоненту передавались известные для него сведения. Значит, канал работал вхолостую, пропустив строго определенное количество импульсов, ничем их не нагрузив.