Синтаксическая мера информации. Для измерения информации вводятся два параметра: количество информации I и объем данных VД

Классификация мер

МЕРЫ ИНФОРМАЦИИ

Для измерения информации вводятся два параметра: количество информации I и объем данных V_Д.

Эти параметры имеют разные выражения и интерпретацию в зависимости от рассматриваемой формы адекватности.

Каждой форме адекватности соответствует своя мера количества информации и объема данных

Эта мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Объем данныхV_Д в сообщении измеряется количеством символов (разрядов)» этом сообщении. В различных системах счисления один разряд имеет различный вес и соответственно меняется единица измерения данных.

Количество информации / на синтаксическом уровне невозможно определить без рассмотрения понятия неопределенности состояния системы (энтропии системы).

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе a. Мерой его неосведомленности о системе является функция H(a).

После получения некоторого сообщения b получатель приобрел некоторую дополнительную информацию I_b(a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения b) неопределенность состояния системы стала H_b(a).

Тогда количество информации Ib(a) о системе, полученной в сообщении Р, определится как

I_b(a)= H(a) – H_b(a),

т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность H_b(a) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_b(a)= H(a). Иными словами, энтропия системы H(a) может рассматриваться как мера недостающей информации.

Энтропия системы H(a), имеющая N возможных состояний, согласно формуле Шеннона, равна:

где Pi — вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т.е. их вероятности равны, ее энтропия определяется соотношением

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N=mn,

где N — число всевозможных отображаемых состояний;

т — основание системы счисления (разнообразие символов, применяемых в алфавите);

n — число разрядов (символов) в сообщении.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т.е.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.