double arrow

Количество информации в системе равновероятных событий. Подход Хартли

3

Получение любой информации неразрывно связано с проведением опыта в той или иной форме. Под опытом понимается процесс, в результате которого наблюдатель (человек или автоматическое устройство) получает новые сведения (информацию) о некотором интересующем объекте. В частности, опытами являются чтение или прослушивание незнакомого текста, регистрация на ПЗС-матрицу изображений, измерения длины, яркости, интенсивности и т.п. Иначе говоря, под опытом понимается любой процесс получения и обработки одного или нескольких сигналов. При этом априори (до опыта) однозначно не известно какие сигналы и в какой последовательности будут воздействовать на приемник информации (глаза человека, ПЗС-матрица и т.д.). Т.е. результат опыта до его проведения является в той или иной степени неопределенным. Апостериори (после опыта) эта неопределенность частично или полностью устраняется.

Интуитивно ясно, что за меру количества информации, полу­чаемой в результате опыта, можно принять величину, характери­зующую меру уменьшения неопределенности сведений о наблюдаемом объекте. Для введения последней необходимо привлечение понятий теории вероятностей, поскольку наши звания о наблюдаемом объекте до проведения опыта носят характер предсказаний и являются вероятностными оценками.

Первую попытку количественного определения информации предпринял в 1928 году американский инженер Р. Хартли. С целью сравнения и оптимизации параметров линий связи он рассмотрел возможность введения количественной меры информации, содержащейся в некотором сообщении.

Следуя Хартли, предположим, что для записи и передачи сообщений используется язык, характеризующийся алфавитом символов: L1, L2, … LS S – число символов (букв) (например 0, 1). Пусть передатчик генерирует слова, состоящие из n букв (например, 01001011, 8 букв) в количестве N. При отсутствии ограничений на возможные повторения и порядок следования букв в слове, количество N различных слов, длиной n букв, согласно теории вероятности, равно: N = Sn (28). Поскольку при приеме сообщения известна длина слова n, то неопределенность опыта по точной регистрации очередного слова характеризуется величиной N – количеством равновероятных исходов опыта, т.о. чем больше N – тем больше информации мы получаем в результате проведения опыта. Вывод: мера измерения количества информации должна быть неубывающей функцией от N.


Для выбора наиболее удобного с практической точки зрения вида этой функции учтем два обстоятельства:

а) мера информации должна быть пропорциональна длине слова n, т.е. I = n∙K, где I- количество информации, K - коэффициент пропорциональности;

б) мера должна позволять сравнивать информационные возмож­ности разных систем (с различными nи S), т.е. необходимо выразить величину Кчерез S.

Рассмотрим две системы, характеризующиеся параметрамиn1, S1, N1, I1 и n2, S2, N2, I2, обладающие одинаковыми информацион­ными возможностями I1 = I2. Тогда можно записать

n1 K1 = n2 K2 (1)

и

K1 / K2 = n2 / n1 . (2)

Поскольку из условия равенства количеств информации, получаемых при приеме одного слова в обеих системах, должно следовать равенство

N1 = N2, (3)

имеем

S1n1 = S2n2 или n1 lg S1 = n2 lg S2 (4)

Подставив (4) в (2), получим

K1 / K2 = lg S1/lg S2 (5)

Таким образом, коэффициент K пропорционален логарифму числа символов алфавита. Следовательно, выражение для меры количества информации по Хартли можно записать в виде:

I = n lg S = lg Sn = lg N.(6)

Например, если у нас имеется устройство, формирующее сообщения из состоящие из двух символов S = 2 и длиной из 8 букв n = 8, то такое устройство может передать количество информации I = lg28= lg256.

Можно заметить, что, lg N = - lg p, где р = 1/N - вероятности регистрации какого-либо слова, которые по условиям опыта одинаковы. Итак, по Хартли количество информации, получаемое в результате опыта, равно логарифму числа возможных равновероятных исходов.

Логарифмическая мера Хартли обладает свойством аддитивности, т.е. позволяет суммировать количества информации независимых систем при определении общего количества информации, получаемого в обеих системах совместно. Действительно, пусть проводятся два опыта по регистрации слов независимыми системами связи; при этом число независимых исходов в 1-ой системе равно N1, а во второй – N2. Общее количество возможных исходов Nсум в опыте по регистрации одного слова первой системой и одного слова второй равно

Nсум= N1 ∙N2 (7)

Следовательно, общее количество информации

Iсум = lgNсум = lgN1 + lgN2 = I1 + I2,(8)

где I1 и I2 - количества информации, получаемые в первой и второй системах соответственно.

В зависимости от основания логарифмов, используемого в выражениях (6), (8) находят применение следующие единицы измерения количества информации:

а) бит - двоичная единица (англ. bitbinary digit — двоичная цифра), при использовании которой I = log2N;

б) дит - десятичная единица, при использовании которой I = lgN;

в) нат - натуральная единица, при использовании которой I = lnN.

Выбор той или иной единицы измерения обуславливается удобством вычислений. Нат применяется в различных математических выкладках, которые упрощаются при использовании натуральных логарифмов. Дит используется при анализе измерительных устройств, работающих в десятичной или двоично-десятичной системах счисления. Бит наиболее употребительная единица, информация размером в один бит содержится в ответе на вопрос, требующий ответа “да” или “нет”. Бит применяется при анализе различных компьютерных устройств, а в вычислительной технике битом называют наименьшую "порцию" памяти, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.

Поскольку бит является наиболее распространенной единицей измерения, ниже все рассуждения будут проводиться с использованием этой единицы.

Рассмотрим примеры, поясняющие меру Хартли и единицу измерения информации - бит.

Допустим, что наш текст передается с помощью азбуки Морзе, когда каждой букве сопоставляется некоторый набор точек и тире. Более того, рассмотрим упрощенный случай, когда текст идет подряд без всяких промежутков между буквами и словами. Тогда мы увидим одну сплошную ленту только из точек и тире. В каждой позиции может быть только один из двух символов: либо точка, либо тире. Когда имеется только один из двух вариантов символов, то каждая из ячеек имеет один бит информации. Вся лента Морзе, имеющая N символов, содержит N бит информации. Можно сказать, что такая лента "запомнила" определенный текст, и в каждой из ее N "ячеек памяти" заложен один бит информации.


Пример 1. На одном из полей шахматной доски установлена фигура (рис.40). Найдите количество информации, содержащееся в каждом из сообщений:

а) конь находится не вертикали B;

б) конь находится на горизонтали 3;

в) конь находится на поле В3.

Рис. 40. Пояснение к примеру 1

Заметим, что рассматриваемый пример идентичен случаю нахождения изображения точечного объекта наблюдения на одном из пикселей ПЗС-матрицы размером 8x8.

Решение.

а) Шахматная доска имеет 8 вертикалей (для рассматриваемого случая это эквивалентно 8 словам или ситуациям), поэтому NB = 8 и IB = log28 = 3 бит;

б) Шахматная доска имеет 8 горизонталей, поэтому NГ = 8; IГ = log28 = 3 бит;

в) Шахматная доска имеет 64 поля, поэтому NП = 64; IП = log264 = 6 бит.

С другой стороны NП = NB ∙NГ и IП = log2 (NB ∙NГ)= log2 NB + log2 NГ =6 бит.

Отсюда видно, что мера Хартли действительно обладает свойством аддитивности, позволяющим находить количество информации, содержащееся в полном сообщения, путем суммирования количеств информации, содержащихся в его независимых составных частях.

Поясним логический смысл количества информации на рассмотренном примере. Пусть для выяснения местоположения коня задаются вопросы и отвечающий может воспользоваться только двумя ответами «Да» или «Нет». Тогда количество информации в битах, численно равно количеству правильно заданных вопросов, необходимых для выяснения ситуации, содержащейся в сообщении. Это означает, например, что 6 бит информации, содержащихся в сообщении «конь находится на поле B3», соответствуют 6 заданным вопросам, необходимым для выяснения местоположения фигуры.

3