Статистическая (энтропийная) мера

Разработана с позиции теории связи К. Шенноном в работе «Избранные труды по теории информации». Используется понятие энтропии как меры неопределённости, учитывающей вероятность появления и информативность события.

Создавая основы статистической теории информации, Шеннон специально подчеркивал, что он занимается вопросами математической теории связи, и при этом абстрагируется от всех качественных и человеческих аспектов информации.

В теории информации исследуются дискретные и непрерывные случайные системы (свойства, признаки). Рассмотрим сначала дискретные системы.

Пусть имеется случайная величина (физическая система) – X, которая может принимать n состояний: х₁, х₂, ….., х_n. Каждое из этих

состояний может рассматриваться как случайное событие x_i, имеющее вероятность P(x_i) События х₁, х₂, ….., х_n образуют полную группу случайных событий, т.е.

До проведения опыта системе Х присуща неопределённость

Количество информации содержащееся в сообщении об отдельном событии х_i-h(х_i).

Можно сформулировать содержательные требования к h(х_i).

Чем более вероятно событие, тем меньше информации получаем при его осуществлении (информация – обратная функция вероятности).

h(х_i)=0, когда P(х_i)=1;

Мера информации должна удовлетворять свойству аддитивности.

h(x_i , x_j) = h(x_i) + h(x_j) при независимых x_i , x_j – результирующая информация двух независимых сообщений равна сумме информации каждого из сообщений.

Этим требованиям удовлетворяет единственная функция

которая и рассматривается в теории информации как количество информации, содержащее в сообщении о событии х_i.

В зависимости от основания логарифма различают единицы информации:

- бит (двоичные логарифмы);

- нат (натуральные логарифмы);

- дит или хартли (десятичные логарифмы).

Значение функции h(x_i), осредненное по всем значениям (состояниям) Х

называется энтропией и характеризует среднее количество информации, необходимое для полного определения системы Х. H(X) является мерой неопределенности системы Х.

Свойства энтропии:

- принимает только положительные значения:

- равна нулю в случае полного отсутствия неопределенности, когда вероятность одного из состояний системы равна 1, а остальных – 0;

- при заданном числе состояний n максимальна и равна log n, когда вероятности всех n состояний равны, т.е.

Таким образом, при заданном n

Если обозначить через Нο(X) – исходную неопределенность случайной величины X, а через H₁(X/Y) – неопределенность после получения сведений Y, то количество информации, полученное из сведений Y об X можно определить как I = Нο(X) - H₁(X/Y)

Вопросы для самопроверки

1. Чем отличается информация от данных.

2. Основные разделы информатики.

3. Пример информационной системы.

4. Пример информационной технологии.

5. Какие свойства информации поддаются количественной оценке.

6. Какие свойства информации поддаются лишь качественной оценке.

7. Форматы данных представляемых в ЭВМ.

8. Способы кодирования графических данных.