Структурные меры информации

Структурные меры информации применяются для оценки возможностей аппаратуры или сообщений вне зависимости от условий их применения.

В структурной теории различают геометрическую, комбинаторную и аддитивную меры информации.

Геометрическая мера используется для определения потенциального, т.е. максимально возможного количества информации в заданных структурных габаритах. Это количество называют информационной емкостью исследуемой части системы. Определение количества информации геометрическим методом сводится к измерению длины, площади или объема геометрической модели исследуемой системы. Единицей измерения при этом являются кванты, представляющие собой неделимые части. Физический смысл их может быть разным. Например, если ЗУ (запоминающее устройство) имеет информационную емкость 1 кбит (1024 1), то под квантом здесь подразумевается одна элементарная ячейка памяти, запоминающая 1 бит информации. Если ЗУ имеет организацию (256 4), то под квантом подразумевается четыре элементарных ячейки памяти.

Комбинаторную меру применяют, когда требуется оценить возможность передачи информации при помощи различных комбинаций информационных элементов.

При формировании сообщений применяют следующие основные виды соединения букв:

– сочетания из h букв по ; комбинации здесь отличаются составом букв;

– перестановки h букв различаются их порядком;

– размещения из h букв по различаются и составом букв, и их порядком.

Количество информации в комбинаторной мере совпадает с числом возможных соединений букв.

Аддитивная мера (мера Хартли) используется для определения количества информации в сообщении без учета реальной вероятности появления отдельных букв (принимается одинаковой), возможной статистической связи между буквами и свойств канала связи.

Пусть передается сообщение длиной n, а объем используемого алфавита равен m. Очевидно, что при такой структуре может быть получено

(1.2)

различных сообщений.

Чем больше N, тем больше априорная неопределенность ситуации и, следовательно, тем больше количество информации будет получено в результате приема конкретного сообщения. Однако непосредственно использовать выражение (1.2) для количественной оценки информации в сообщении нельзя, так как здесь не выдержан принцип аддитивности – пропорциональность между длиной сообщения n и количеством содержащейся в нем информации N (одно из основных требований к мерам информации). Но поскольку N однозначно определяется структурой сообщения, то для количественной оценки информации в нем целесообразно использовать некоторую функцию , такую, чтобы для I выполнялся принцип аддитивности.

В математической форме требование аддитивности записывается так:

(1.3)

Дифференцируя (1.2) по n и учитывая (1.3), после несложных преобразований получим следующее выражение для I:

(1.4)

За единицу количества информации в данной мере принят 1 бит, соответствующий количеству информации, определенному по (1.4) при для простейшей ситуации: n =1, m =2.

Выражение (1.4) впервые получено Р. Хартли, поэтому рассмотренную меру называют также мерой Хартли. Она позволяет определить потенциальное количество информации в сообщении заданной структуры.