Измерение информации

Ценность теоретико-информационных представлений заключается в том, что благодаря их общности и абстрактности существенно разнородные физические и технические характеристики можно выразить через некоторые универсальные понятия теории информации и сопоставить их не только качественно, но и количественно.

Существуют три направления в теории информации, связанные с ее количественной оценкой – структурное, статистическое и прагматическое.

Структурная теория рассматривает дискретное строение массивов информации и ее измерение либо простым подсчетом информационных элементов, либо комбинаторным методом.

Статистическая теория оперирует понятием энтропии, характеризующей неопределенность сообщений и учитывающей вероятность их появления.

Прагматическая теория изучает вопросы о практическом использовании информации, о ее ценности для достижения поставленной цели.

В инженерной практике наибольшее применение находят первые две теории, поэтому ограничимся только их рассмотрением.

Независимо от направления теории информации при количественном ее определении должны выполняться следующие общие принципы:

– количественная мера информации не должна зависеть от физической природы объекта или процесса;

– мера должна быть такой, чтобы количество информации в данной мере было тем больше, чем больше априорная неопределенность ситуации;

– количественная мера должна удовлетворять принципу аддитивности, согласно которому количество информации должно изменяться прямо пропорционально длительности сообщения.

Рассмотрим меры информации, удовлетворяющие перечисленным требованиям.