Синтаксическая мера информации

Лекция 1.6 Измерение информации

При данном подходе различают количество информации и объем данных.

Объем данных в сообщении измеряется количеством символов (разрядов) при­нятого алфавита в этом сообщении.

Часто информация кодируется числовыми кодами в той или иной системе счисле­ния. Естественно, что одно и то же количество разрядов в разных системах счисле­ния может передать разное число состояний отображаемого объекта.

Действительно,

N = mⁿ,

где N — число всевозможных отображаемых состояний;

т — основание системы счисления (разнообразие символов, применяемых в

алфавите);

п — число разря­дов (символов) в сообщении.

Поэтому в различных системах счисления один разряд имеет различный вес, и со­ответственно, меняется единица измерения данных. Так, в двоичной системе счи­сления единицей измерения служит бит (binary digit, двоичный разряд), в деся­тичной системе счисления – дат (десятичный разряд).

В вычислительной технике все обрабатываемые и хранимые данные, вне зависимости от их природы (числа, текст, изображение), представляются в двоичной форме. Это связано с тем, что в техническом устройстве наиболее просто реализовать два противоположных физических состояния (например, конденсатор заряженный или незаряженный, магнитный носитель информации намагниченный или ненамагниченный, транзисторный ключ открыт или заперт и т.д.). Следовательно, минимальной единицей измерения объема данных является бит данных. Один бит данных – это один двоичный символ (0 или 1). Единицами измерения большего объема данных являются:

байт = 8 бит;

Кбайт = 2¹⁰ байт = 1024 байт;

Мбайт = 2²⁰ байт = 1024 Кбайт;

Гбайт = 2³⁰ байт = 1024 Мбайт.

Объем данных, записанных двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов.

Таким образом, объем данных в сообщении представляет собой количество двоичных символов в этом сообщении.

Определение количества информации на синтаксическом уровне невозможно без рассмотрения понятия неопределенности состояния системы (энтропии си­стемы). Действительно, получение информации связано с изменением степени неосведомленности получателя о состоянии системы (объекта, процесса). До получения информации получатель мог иметь некоторые предварительные (априорные) сведения о сис­теме a; мера неосведомленности о системе – Н(a) и является для него мерой неопределенности состояния системы. После получения некоторого сообщения b получатель приобрел дополнительную информацию I_b (a), уменьшившую его априорную неосведомленность так, что апостериорная (после получения со­общения b) неопределенность состояния системы стала Н (a/b). Тогда количе­ство информации I_b (a) о системе a, полученное в сообщении b, будет определе­но как:

I_b(a) = H(a) – H(a/b).

Таким образом, количество информации измеряется изменением (уменьшением) неопределенности состояния системы. Если конечная неопределенность H(a/b) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации

I_b(a) = H(a).

Иными словами, энтропия системы Н(a) может рассматриваться как мера недо­стающей информации. Энтропия системы Н(a), имеющей N возможных состоя­ний, согласно формуле Шеннона равна

где Р_i – вероятность того, что система находится в i -ом состоянии;

N – число возможных состояний системы.

Если все N исходов являются равновероятными, то в этом случае Р_i = 1 /N и, следовательно, энтропия равна

H(a) = log ₂ N.

Количество информации в сообщении определяется тем, насколько уменьшится энтропия после получения сообщения.

Единицей количества информации в данном случае является «бит».

Рассмотрим пример. Пусть имеется колода из 32 различных карт. Необходимо угадать, какая карта выбрана из колоды. Для этого достаточно задать

H = log ₂ 32 = 5 вопросов.

Например:

1. Карта красной масти? Ответ: нет.

2. Трефы? Ответ: нет.

3. Одна из четырех старших? Ответ: да.

4. Одна из двух самых старших? Ответ: нет.

5. Дама? Ответ: да.

Следовательно, угадываемой картой является дама пик.

Таким образом, полученная оценка характеризует число двоичных вопросов, ответы на которые могут быть односложными: «да» или «нет» (1 или 0).

1.6.2 Семантическая мера информации

Синтаксические меры количества информации в общем случае не могут быть не­посредственно использованы для измерения смыслового содержания, ибо имеют дело с обезличенной информацией, не выражающей смыслового отношения к объекту. Для измерения смыслового содержания информации, то есть ее количе­ства на семантическом уровне, наибольшее признание получила тезаурусная мераинформации, предложенная Ю.И. Шнейдером, которая связывает семантические свойства информации со способностью пользователя воспринимать поступившее сообщение. При этом используется понятие тезаурус пользователя.

Тезаурус можно трактовать как совокупность сведений, которыми располагает данная система, пользователь.

В зависимости от соотношений между смысловым содержанием информации – S* и тезаурусом пользователя – S _п, изменяется количество семантической информации I_c, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус:

- при S _п»0 пользователь не воспринимает, не понимает поступающую информа­цию;

- при S _п ® ¥ пользователь все знает и поступающая информация ему не нужна. И в том и в другом случае I_c»0.

Максимальное значение I_c приобретает при согласовании S* с тезаурусом S _п (рисунок 1), когда поступающая информация понятна пользователю и несет ему ра­нее не известные (отсутствующие в его тезаурусе) сведения.

Рисунок 1 – Зависимость I_c = f (S_n)

Следовательно, количество семантической информации в сообщении ( количество новых знаний, получаемых пользователем ) является величиной относительной: одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным – семантическим шумом – для пользовате­ля некомпетентного. В то же время понятная, но известная компетентному пользо­вателю информация представляет собой для него тоже семантический шум. При разработке информационного обеспечения систем управления следует стремить­ся к согласованию величин S* и S _п так, чтобы циркулирующая в системе информа­ция была понятна, доступна для восприятия и обладала наибольшей содержа­тельностью S, определяемой из соотношения

S = I_c / V _д,

где V _д – объем поступивших данных.

1.6.3 Прагматическая мера информации

Прагматическая мера информации – это полезность информации, ее ценность для пользователя (управления). Эта мера также является величиной относительной, обусловленной особенностями использования информации в той или иной систе­ме управления. Ценность информации целесообразно измерять в тех же самых единицах (или близких к ним), в которых измеряется целевая функция управле­ния системой.

Тогда в системе управления производством, например, ценность информации опре­деляется эффективностью осуществляемого на ее основе экономического управ­ления, или, иначе, приростом экономического эффекта функционирования систе­мы управления, обусловленным прагматическими свойствами информации:

I _{п b} (a) = П (a/b) – П (a),

где I _{п b} (a) – ценность информационного сообщения b для системы управления a;

П (a) – априорный ожидаемый экономический эффект функционирования систе­мы управления a;

П (a/b) – ожидаемый эффект функционирования системы a при условии, что для управления будет использована информация, содержащаяся в со­общении b.

Поскольку экономический эффект функционирования системы управления скла­дывается из экономического эффекта решения отдельных функциональных задач, то для вычисления I _п следует определить:

Z_b – множество задач, для решения которых используется информация b;

F – частоту решения каждой задачи за период времени, для которого оценива­ется экономический эффект;

R_b – степень влияния информационного сообщения b на точность решения за­дачи, 0 < R < 1.

Тогда

где П_j – экономический эффект от решения j -ой задачи в системе.

В такой постановке единицей измерения ценности экономической информации является рубль.

Информация в системе управления является и предметом труда, и продуктом тру­да, поэтому от ее качества существенно зависят эффективность и качество функ­ционирования системы.