Структурная мера информации

В структурном аспекте рассматривается строение массивов информа­ции и их измерение простым подсчетом информационных элементов или комбинаторным методом. Структурный подход применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

Информация всегда представляется в виде сообщения. Элементарная единица сообщений — символ. Символы, собранные в группы, - слова. Сообщение, оформленное в виде слов или отдельных символов, всегда пе­редается в материально-энергетической форме (электрический, световой, звуковой сиг. и т. д.).

Различают информацию непрерывную и дискретную. При использовании структурных мер информации учитывается толь­ко дискретное строение сообщения, количество содержащихся в нем ин­формационных элементов, связей между ними.

При структурном подходе различаются:

· геометрическая,

· комбинаторная

· аддитивная меры инфор­мации.

Геометрическая мера предполагает измерение параметра геометриче­ской модели информационного сообщения (длины, площади, объема и т. п.) в дискретных единицах.

Максимально возможное количество информации в заданных структурах определяет информацион­ную емкость модели (системы), которая определяется как сумма дискрет­ных значений по всем измерениям (координатам).

В комбинаторной мере количе­ство информации определяется как число комбинаций элементов (симво­лов). Возможное количество инфор­мации совпадает с числом возмож­ных сочетаний, перестановок и размещений элементов. Комбиниро­вание символов в словах, состоящих только из 0 и 1, меняет значения слов. Рассмотрим две пары слов 1001 10 и 001101, 011101 и 111010. В них проведена перестановка крайних разрядов (изменено местоположение знакового разряда в числе — перене­сен слева направо).

Аддитивная мера (мера Хартли), в соответствии с которой количество информации измеряется в двоичных единицах — битах, - наиболее рас­пространена. Вводятся понятия глубины q и длины п числа.

Глубина q числа — количество символов (элементов), принятых для представления информации, В каждый момент времени реализуется только один какой-либо символ. (По позже понятие глубины числа будет трансформировано в понятие основания системы счисления).

Длина п числа — количество позиций, необходимых и достаточных для представления чисел заданной величины.

При заданных глубине и длине числа коли­чество чисел, которое можно представить, N = qⁿ. Величина N не удобна для оценки информационной емкости. Введем логарифмическую меру, по­зволяющую, вычислять количество информации, — бит:

Статистическая мера информации

При статистическом подходе используется понятие энтропии как ме­ры неопределенности, учитывающей вероятность появления и информа­тивность того или иного сообщения. Статистический подход учитывает конкретные условия применения информационных систем.

В статистической теории информации вводится более общая мера количества информации, в соответствии с которой рассматривается не само событие, а информация о нем. Этот вопрос глубоко проработан К. Шенноном в работе «Избранные труды по теории информации». Если появляется сообщение о часто встречающемся событии, вероятность появ­ления которого близка к единице, то такое сообщение для получателя ма­лоинформативно. Столь же малоинформативны сообщения о событиях, ве­роятность появления которых близка к нулю.

События можно рассматривать как возможные исходы некоторого опыта, причем все исходы этого опыта составляют ансамбль, или полную группу событий. К. Шеннон ввел понятие неопределенности ситуации, воз­никающей в процессе опыта, назвав ее энтропией (обозначают обычно бук­вой И). Энтропия ансамбля есть количественная мера его неопределенности и, следовательно, информатив­ности, количественно выражаемая как средняя функция множества вероят­ностей каждого из возможных исходов опыта.

Семантическая мера информации Семантическийподход позволяет выделить полезность или ценность информационного сообщения.

Вычислительные машины обрабатывают и преобразуют информацию разного содержания — от числовых данных до сочинения музыки и стихов. Вся эта информация изображается соответствующими символами. Оценка содержания разнохарактерной информации — весьма сложная проблема.

Среди семантических мер наиболее распространены:

· содержатель­ность,

· логическое количество,

· целесообразность,

· существенность ин­формации.

Преобразование информации

Информационное сообщение всегда связано с источником информа­ции, приемником информации и каналом передачи.

Дискретные сообщения состоят из конечного множества элементов, создаваемых источником последовательно во времени. Набор элементов (символов) составляет алфавит источника.

Непрерывные сообщения задаются какой-либо физической величиной, изменяющейся во времени. Получение конечного множества сообщений за конечный промежуток времени достигается путем дискретизации (во вре­мени), квантования (по уровню).

Информация всегда представляется в виде сообщения, которое передается некоторой физической средой. Носителем информации может быть любая предметная среда, которая меняет состояние в зависимости от передаваемой информации. Это может быть бумага, на которой информация изображается либо знаками, либо специальными отметками (например перфорация); магнитный материал (лента, диск и т.п.), состояние которого меняется с помощью магнита; электрический сигнал, у которого изменяется какой-либо параметр (частота, амплитуда).

Различают две формы представления информации:

-статическую I_c

-динамическую I_д.

Динамический характер информации. Информация не является статичным объектом – она динамически меняется и существует только в момент взаимодействия данных и методов. Все прочее время она пребывает в состоянии данных. Таким образом, информация существует только в момент протекания информационного процесса. Все остальное время она содержится в виде данных.

Требование адекватности методов. Одни и те же данные могут в момент потребления поставлять разную информацию в зависимости от степени адекватности взаимодействующих с ними методов. В примере с письмом – можно получить информацию методом наблюдения (количество страниц, цвет и сорт бумаги, наличие незнакомых символов и т.п.) Все это информация, но это не вся информация, заключенная в письме. Использование более адекватных методов даст иную информацию.

Диалектический характер взаимодействия данных и методов. Обратим внимание на то, что данные являются объективными, поскольку это результат регистрации объективно существовавших сигналов, вызванных изменениями в материальных телах или полях. В то же время, методы являются субъективными. Таким образом, информация возникает и существует в момент диалектического взаимодействия объективных данных и субъективных методов.