Понятие условной энтропии. Избыточность и производительность источника сообщений

В предыдущем параграфе рассматривались только источник независимых сообщений (без памяти). Если дискретный источник передает последовательность независимых между собой сообщений, то получение (прием) предшествующих сообщений может изменить вероятность последующего сообщения и, следовательно. количество информации в нем. Это означает, что количество информации в сообщении а_i должно теперь определяться не безусловной вероятности Р_ai, а условной вероятностью передачи сообщений а_i при известных предшествующих сообщениях а_i-1, a_i_-2,…

Эту условную вероятность обозначают .

Соответственно количество информации, содержащиеся в а_i:

Наличие вероятностных (корреляционных) связей символов, последовательно выбираемых источником, ведет к уменьшению энтропии по сравнению с источником независимых сообщений при одинаковом объеме алфавита К.

Чем сильнее корреляционные связи символов, тем меньше свободы выбора последующих символов, то есть на каждый вновь выбираемый символ в среднем приходится информации меньше.

Обозначим энтропию источника с памятью Н – условная энтропия. Можно утверждать, что Н ≤Н(А).

Пример: источник (дискретный) выдает последовательность букв русского алфавита К=32. Если выбор букв производится равновероятно и независимо друг от друга, то энтропия будет максимально.

Если источник выдает связный и литературный текст, то эти буквы будут не равновероятны. В результате установлено, что энтропия литературного текста Н(А)=1.5 бит/с.

Средняя информация букв хаотичного текста в 3.2 раз выше, чем у осмысленного текста. В поэтическом тексте добавляется требование рифмы.

Понятие избыточности дискретного сообщения с объемом алфавита К.

Избыточность

Избыточность показывает какую долю максимально возможной энтропии при данном объеме алфавита К источник не использует 0≤χ≤1.

Рассмотрим 2 крайних случая:

1) избыточность χ=1. Когда одна из вероятностей Р(а_i)=1, тогда остальные вероятности Р(а_n)=0, при n≠i.

2) χ=0, если сообщения, вызываемые источником, независимы и равновероятны.

Во всех остальных случаях χ находятся от 0 до 1, не включая.

Пример: двоичный источник сообщений а₁=0, а₂=1, р(0)=1/4, Р(1)=3/4.

Понятие производительности источника сообщений.

Если источник передает сообщения с фиксированной скоростью, затрачивая в среднем Т секунд на каждое сообщение, то производительность такого источника – величина