Решение. По каналу связи передаются сообщения из двух символов

Задача №1

По каналу связи передаются сообщения из двух символов. Вероятности появления отдельных символов равны р(х₁)=0,65; р(х₂)=0,45, а статистическая связь между ними задаётся условными вероятностями:

р(х₁/х₁)=0,8; р(х₁/х₂)=0,35;

р(х₂/х₁)=0,2; р(х₂/х₂)=0,65.

Определить условную энтропию и энтропию последовательности. Что характеризует условная энтропия?

Решение

Для определения условной энтропии воспользуемся формулой:

(бит/сообщение).

Энтропию последовательности без учета статистической связи между символами определяем по формуле:

;

(бит/сообщение).

Энтропия последовательности равна:

H(x,x’)=H₁(x)+H₂(x);

H(x,x’)= 0,922369+ 0,889584= 1,811953 (бит/сообщение).

Если символы независимы, то

H(x,x’)=2H₁(x)= 1,844738 (бит/сообщение).

Условная энтропия характеризует количество информации, приходящейся в среднем на 2-й символ.