Меры измерения информации

Синтаксические меры информации

Существует несколько подходов измерения количества информации:

1. Объемный (алфавитный);

2. Содержательный (энтропийный).

При хранении и передаче информации с помощью технических устройств используют простой и грубый способ измерения информации, который измеряет информационный объем сообщения. Объем информации связан с общим числом символов и мощностью алфавита и не учитывает содержание (смысл) сообщения.

Алфавитный подход рассматривает информацию как последовательность знаков (букв, цифр, кодов цветов точек изображения и т.д.). Ключевым понятием является мощность алфавита, «информационный вес». Под алфавитом понимают не только буквы, но и цифры, знаки препинания, скобки и пробел.

Мощность алфавита – это количество различных символов, используемых в алфавите. При алфавитном подходе считается, что каждый символ текста, сообщения имеет определенный «информационный вес». Информационный вес символа зависит от мощности алфавита и вычисляется по формуле:

N=2ⁱ, где N-мощность алфавита, i – информационный вес символа.

Информационный вес символа двоичного алфавита принят за единицу информации и называется 1 бит.

С увеличением мощности алфавита увеличивается информационный вес символов этого алфавита. Например:

Тогда, количество информации в сообщении (информационный объем) можно подсчитать, умножив количество информации, которое несет один символ (информационный вес) на количество символов в сообщении.

Формула: I=K*i, где I – информационный объем сообщения,

I– информационный вес символа,