Количество информации в системе равновероятных событий. Подход Хартли

Получение любой информации неразрывно связано с проведением опыта в той или иной форме. Под опытом понимается процесс, в результате которого наблюдатель (человек или автоматическое устройство) получает новые сведения (информацию) о некотором интересующем объекте. В частности, опытами являются чтение или прослушивание незнакомого текста, регистрация на ПЗС-матрицу изображений, измерения длины, яркости, интенсивности и т.п. Иначе говоря, под опытом понимается любой процесс получения и обработки одного или нескольких сигналов. При этом априори (до опыта) однозначно не известно какие сигналы и в какой последовательности будут воздействовать на приемник информации (глаза человека, ПЗС-матрица и т.д.). Т.е. результат опыта до его проведения является в той или иной степени неопределенным. Апостериори (после опыта) эта неопределенность частично или полностью устраняется.

Интуитивно ясно, что за меру количества информации, полу­чаемой в результате опыта, можно принять величину, характери­зующую меру уменьшения неопределенности сведений о наблюдаемом объекте. Для введения последней необходимо привлечение понятий теории вероятностей, поскольку наши звания о наблюдаемом объекте до проведения опыта носят характер предсказаний и являются вероятностными оценками.

Первую попытку количественного определения информации предпринял в 1928 году американский инженер Р. Хартли. С целью сравнения и оптимизации параметров линий связи он рассмотрел возможность введения количественной меры информации, содержащейся в некотором сообщении.

Следуя Хартли, предположим, что для записи и передачи сообщений используется язык, характеризующийся алфавитом символов: L₁, L₂, … L_S S – число символов (букв) (например 0, 1). Пусть передатчик генерирует слова, состоящие из n букв (например, 01001011, 8 букв) в количестве N. При отсутствии ограничений на возможные повторения и порядок следования букв в слове, количество N различных слов, длиной n букв, согласно теории вероятности, равно: N = Sⁿ (2⁸). Поскольку при приеме сообщения известна длина слова n, то неопределенность опыта по точной регистрации очередного слова характеризуется величиной N – количеством равновероятных исходов опыта, т.о. чем больше N – тем больше информации мы получаем в результате проведения опыта. Вывод: мера измерения количества информации должна быть неубывающей функцией от N.

Для выбора наиболее удобного с практической точки зрения вида этой функции учтем два обстоятельства:

а) мера информации должна быть пропорциональна длине слова n, т.е. I = n∙K, где I - количество информации, K - коэффициент пропорциональности;

б) мера должна позволять сравнивать информационные возмож­ности разных систем (с различными n и S), т.е. необходимо выразить величину К через S.

Рассмотрим две системы, характеризующиеся параметрами n₁, S₁, N₁, I₁ и n₂, S₂, N₂, I₂, обладающие одинаковыми информацион­ными возможностями I₁ = I₂. Тогда можно записать

n₁ K₁ = n₂ K₂ (1)

и

K₁ / K₂ = n₂ / n₁. (2)

Поскольку из условия равенства количеств информации, получаемых при приеме одного слова в обеих системах, должно следовать равенство

N₁ = N₂, (3)

имеем

S₁ⁿ¹ = S₂ⁿ² или n₁ lg S₁ = n₂ lg S₂ (4)

Подставив (4) в (2), получим

K₁ / K₂ = lg S₁/lg S₂ (5)

Таким образом, коэффициент K пропорционален логарифму числа символов алфавита. Следовательно, выражение для меры количества информации по Хартли можно записать в виде:

I = n lg S = lg Sⁿ = lg N. (6)

Например, если у нас имеется устройство, формирующее сообщения из состоящие из двух символов S = 2 и длиной из 8 букв n = 8, то такое устройство может передать количество информации I = lg2⁸= lg256.

Можно заметить, что, lg N = - lg p, где р = 1/N - вероятности регистрации какого-либо слова, которые по условиям опыта одинаковы. Итак, по Хартли количество информации, получаемое в результате опыта, равно логарифму числа возможных равновероятных исходов.

Логарифмическая мера Хартли обладает свойством аддитивности, т.е. позволяет суммировать количества информации независимых систем при определении общего количества информации, получаемого в обеих системах совместно. Действительно, пусть проводятся два опыта по регистрации слов независимыми системами связи; при этом число независимых исходов в 1-ой системе равно N₁, а во второй – N₂. Общее количество возможных исходов N_сум в опыте по регистрации одного слова первой системой и одного слова второй равно

N_сум= N₁ ∙N₂ (7)

Следовательно, общее количество информации

I_сум = lgN_сум = lgN₁ + lgN₂ = I₁ + I₂,(8)

где I₁ и I₂ - количества информации, получаемые в первой и второй системах соответственно.

В зависимости от основания логарифмов, используемого в выражениях (6), (8) находят применение следующие единицы измерения количества информации:

а) бит - двоичная единица (англ. bit — binary digit — двоичная цифра), при использовании которой I = log₂N;

б) дит - десятичная единица, при использовании которой I = lgN;

в) нат - натуральная единица, при использовании которой I = lnN.

Выбор той или иной единицы измерения обуславливается удобством вычислений. Нат применяется в различных математических выкладках, которые упрощаются при использовании натуральных логарифмов. Дит используется при анализе измерительных устройств, работающих в десятичной или двоично-десятичной системах счисления. Бит наиболее употребительная единица, информация размером в один бит содержится в ответе на вопрос, требующий ответа “да” или “нет”. Бит применяется при анализе различных компьютерных устройств, а в вычислительной технике битом называют наименьшую "порцию" памяти, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Поскольку бит является наиболее распространенной единицей измерения, ниже все рассуждения будут проводиться с использованием этой единицы.

Рассмотрим примеры, поясняющие меру Хартли и единицу измерения информации - бит.

Допустим, что наш текст передается с помощью азбуки Морзе, когда каждой букве сопоставляется некоторый набор точек и тире. Более того, рассмотрим упрощенный случай, когда текст идет подряд без всяких промежутков между буквами и словами. Тогда мы увидим одну сплошную ленту только из точек и тире. В каждой позиции может быть только один из двух символов: либо точка, либо тире. Когда имеется только один из двух вариантов символов, то каждая из ячеек имеет один бит информации. Вся лента Морзе, имеющая N символов, содержит N бит информации. Можно сказать, что такая лента "запомнила" определенный текст, и в каждой из ее N "ячеек памяти" заложен один бит информации.

Пример 1. На одном из полей шахматной доски установлена фигура (рис.40). Найдите количество информации, содержащееся в каждом из сообщений:

а) конь находится не вертикали B;

б) конь находится на горизонтали 3;

в) конь находится на поле В3.

Рис. 40. Пояснение к примеру 1

Заметим, что рассматриваемый пример идентичен случаю нахождения изображения точечного объекта наблюдения на одном из пикселей ПЗС-матрицы размером 8x8.

Решение.

а) Шахматная доска имеет 8 вертикалей (для рассматриваемого случая это эквивалентно 8 словам или ситуациям), поэтому N_B = 8 и I_B = log₂8 = 3 бит;

б) Шахматная доска имеет 8 горизонталей, поэтому N_Г = 8; I_Г = log₂8 = 3 бит;

в) Шахматная доска имеет 64 поля, поэтому N_П = 64; I_П = log₂64 = 6 бит.

С другой стороны N_П = N_B ∙N_Г и I_П = log₂ (N_B ∙N_Г)= log₂ N_B + log₂ N_Г = 6 бит.

Отсюда видно, что мера Хартли действительно обладает свойством аддитивности, позволяющим находить количество информации, содержащееся в полном сообщения, путем суммирования количеств информации, содержащихся в его независимых составных частях.

Поясним логический смысл количества информации на рассмотренном примере. Пусть для выяснения местоположения коня задаются вопросы и отвечающий может воспользоваться только двумя ответами «Да» или «Нет». Тогда количество информации в битах, численно равно количеству правильно заданных вопросов, необходимых для выяснения ситуации, содержащейся в сообщении. Это означает, например, что 6 бит информации, содержащихся в сообщении «конь находится на поле B3», соответствуют 6 заданным вопросам, необходимым для выяснения местоположения фигуры.