Билет 2. Определить понятие "количество информаци

--------------------------------------------------------------------------------------------------------
1. Измерение информации: содержательный и алфавитный подходы. Единицы измерения информации.
--------------------------------------------------------------------------------------------------------

Определить понятие "количество информации" довольно сложно. В решении этой проблемы существует два основных подхода. Исторически они возникли почти одновременно. В конце 1940 г. один из основоположников кибирнетиеи американский математик Клож Шенон развил вероятностный подход к измерению количества информации, а работы по созданию ЭВМ привели к "объемному подходу".

Количество информации как мера уменьшения неопределенности
(вероятностный подход)

С точки зрения отдельного человека, ценность информации определяется тем, насколько она проясняет для него какой-либо вопрос, то есть уменьшает неопределенность ситуации. При этом количество одной и той же информации может быть оценено различными людьми по-разному. Для объективного измерения количества информации необходимо формализовать задачу.

Будем считать события равновозможными, если мы не располагаем заранее никакой информацией (статистическими данными, логическими умозаключениями и т.д.), о том, что шансы одного из событий выше или ниже, чем шансы любого другого. При этом имеется в виду, что в результате опыта обязательно наступит какое-либо событие и притом только одно.

Так, например, при подбрасывании монеты выпадение орла или решки можно считать равновозможными событиями, предполагая монету идеальной, то есть исключив из рассмотрения возможность других исходов ("зависла в воздухе", "встала на ребро"), а также влияние на исход опыта чеканки на сторонах монеты, отклонения формы реальной монеты от правильной и т. д.

Чем больше равновозможных событий, тем больше неопределенность ситуации. Минимальный размер сообщения о том, что произошло одно из двух равновозможных событий, равен одному биту. Информацию о том, что произошло первое событие, можно закодировать в двоичном алфавите нулем, а о том, что произошло второе событие – единицей.

Для уменьшения неопределенности в два раза (вместо двух возможных событий – одно реально произошедшее) требуется один бит информации. Иначе говоря, сообщение, уменьшающее неопределенность ситуации в два раза, несет один бит информации. Если его длина, подсчитанная с использованием алфавитного подхода, больше, значит сообщение несет избыточную, с точки зрения уменьшения неопределенности, информацию.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания идеальной монеты (два равновозможных события) несет один бит информации.

Можно рассчитать длину сообщения в двоичном алфавите, необходимую для передачи информации. Для уменьшения неопределенности ситуации в 2n раз необходимо n бит информации.

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания двух идеальных монет (четыре равновозможных события: орел-решка; решка-орел; орел-орел; решка-решка) несет два бита информации. Действительно, 2n в данном случае равняется четырем, следовательно n = 2.

Задача нахождения n по известному значению k = 2n решается нахождением логарифма числа k по основанию 2, поэтому, для того, чтобы закодировать информацию, уменьшающую неопределенность в k раз, необходимо log2k бит информации. Приведем таблицу некоторых двоичных логарифмов, являющихся целыми числами. n log2k

Пример. С точки зрения уменьшения неопределенности, сообщение о исходе опыта бросания точечного объекта на шахматную доску (равновозможные события - попадания в одну из 64 клеток) несет 6 бит информации. Действительно, k в данном случае равняется 64, log264 = 6. Минимальная длина двоичного сообщения также будет равна 6. Подробнее: номер клетки доски по вертикали можно закодировать целым числом от 0 до 7. Для этого требуется 3 двоичных разряда (см. Системы счисления). Еще 3 разряда нужны для того, чтобы закодировать номер клетки доски по горизонтали, 3+3=6. Можно также просто пронумеровать все клетки числами от 0 до 63. Для этого опять-таки потребуется 6 разрядов.

Если используется алфавит, состоящий не из двух, а из 2p знаков, то каждый знак может нести информацию, уменьшающую неопределенность ситуации в 2p раз. Таким образом, сообщение из m знаков позволяет уменьшить неопределенность в (2p)m = 2pm раз, то есть его информационный объем равен m·p бит, что согласуется с результатом, полученным при использовании алфавитного подхода.

Пример. Пусть для кодирования сообщения о попадании точечного объекта на клетку шахматной доски используется алфавит из 8 символов (2p = 8, следовательно p = 3). Сообщение уменьшает неопределенность в 64 раза, следовательно 2pm = 23m = 64, отсюда 3m = log264 = 6; m = 2, то есть для кодирования информации попадании точечного объекта на клетку шахматной доски потребуется сообщение из двух знаков восьмисимвольного алфавита. Действительно, в первом знаке сообщения можно закодировать, например, информацию о горизонтали клетки, а во втором — о вертикали. В общепринятой шахматной нотации фактически используется указанный способ именования клеток, только для удобства чтения первый символ сообщения записывается как буква, а второй - как цифра. С математической точки зрения ничто не мешает обозначать клетки a1 и h8 как aa и hh или 11 и 88, используя только 8 символов.