Методы и модели оценки информации

Для теоретической информатики информация играет такую же роль, как и вещество в физике. Информация имеет достаточно большое число характеристик. Для характеристик информации имеются единицы измерения, что позволяет некоторому количеству информации приписывать числа - количественные характеристики информации. Выбор единиц измерения зависит от метода оценки информации.

В науке и технике используются следующие методы оценки информации:

- объемный;

- энтропийный (вероятностный);

- алгоритмический.

1) Объемный способ является самым простым и грубым способом измерения информации. Соответствующую количественную оценку информации называют объемом информации. Объем информации в сообщении - это количество символов в сообщении. Поскольку одно и то же число может быть записано многими разными способами, то этот способ чувствителен к форме представления (записи) сообщения. Здесь минимальной единицей измерения является байт – один символ алфавита, используемого для кодирования информации.

2) Энтропийный (вероятностный) подход. Этот способ исходит из следующей модели. Получатель информации имеет определенные представления о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенности характеризуется некоторой математической зависимостью от совокупности этих вероятностей. Количество информации в сообщении определяется тем, насколько уменьшится эта мера после получения сообщения. Количество информации при данном подходе вычисляется по формуле:

 (1),

где I – количество информации,

N – количество разновероятных событий;

p_i – вероятности отдельных событий.

Если события равновероятны, то количество информации вычисляется по следующей формуле:

I=log₂N (2),

где N - число возможных равновероятных выборов. 

При данном подходе информация единица измерения информации называется бит.

3) Суть алгоритмического подхода состоит в том, что любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести. Так как имеется много разных вычислительных машин и разных языков программирования, то для определенности задаются некоторой конкретной вычислительной машиной, сложность слова (сообщения) определяется как минимальное число внутренних состояний машины, требующиеся для его воспроизведения.