Избыточность сообщений

Теория помехоустойчивого кодирования

Лекция 10. Теория помехоустойчивого кодирования

Спектр импульсных последовательностей.

Для импульсных последовательностей спектр является дискретным:

т.е. амплитуды комплексного спектра могут быть получены из непрерывного спектра при дискретных значениях arg

Для Т=2:

Т.е. в спектре имеются только нечетные гармоники: 1, 3, 5,…..

Для Т=5:

Рис.9.3

Цель лекции: ознакомление c теорией помехоустойчивого кодирования и теоремой об эффективном кодировании.

Содержание:

а) теория помехоустойчивого кодирования;

б) пропускная способность и скорость передачи информации;

в) избыточность сообщений;

г) теорема об эффективном кодировании.

10.1 Пропускная способность и скорость передачи информации

Для электросвязи задача обеспечения помехоустойчивости является одной из главных. Система связи должна быть спроектирована и эксплуатироваться так, чтобы она при наличии помех обеспечивала заданное качество передачи сигналов и сообщений. Расчет влияния помех на передачу сигналов и разработка способов уменьшения этого влияния является основными вопросами, решаемыми в теории помехоустойчивости.

Помехоустойчивое кодирование сообщений или кодирование с прямым исправлением ошибок применяется в системах связи, в которых отсутствует или недоступен обратный канал для передачи запросов на повторную передачу, задержки в канале при запросах повторной передачи оказываются недопустимо большими или, наконец, уровень помех настолько велик, что количество повторных передач становится чрезвычайно большим.

Скорость передачи – это количество взаимной информации, передаваемой по каналу связи в единицу времени,

R= I(A’,A)/T_H=F*[(H(A)-H(A/A’)]=F*[H(A’)-H(A’/A)]. (10.1)

Пропускная способность – это максимально достижимая для данного канала скорость передачи информации

C= R_max= max F*I (A’,A), {P} или {W} (10.2)

где максимум ищется по всем распределениям вероятностей источника ДС или всем ФПВ источники НС. Величина С является характеристикой только канала связи и не зависит от статистики источника сообщений.

В качестве источника сообщений рассмотрим оператора, который вводит в компьютер текста на русском языке. Очевидно, что буквы в тексте появляются с разными вероятностями. Так, буква А передается значительно чаще чем Ц или Ю. Кроме того, появление очередной буквы зависит от предыдущей. Ясно, что после гласных не появится Ь, Ъ или Ы. Весьма редким будет появление подряд трех букв Е (в слове «змееед»). Таким образом, на выходе источника «с памятью» (зависимыми сообщениями) неопределенность оказывается меньше, чем при отсутствии памяти, когда сообщения появляются хаотично. Таким образом, мы подошли к понятию избыточности источника, которую формально можно определить соотношением:

. (10.3)

Отсюда видно, чем больше энтропия, тем меньше избыточность источника и наоборот. Ясно также, что величина избыточности принимает значения в пределах 0≤ρ≤1.

Данная величина характеризует число букв (символов) n, используемых источником сообщений для передачи заданного количества информации, относительно необходимого букв.

Избыточность можно определить так:

ρ=(n-n_min)/n=1-n_min/n. (10.4)

Величину μ=H(A)/logN=n_min/n называют коэффициентом сжатия. Он показывает, до какого значения без потери информации можно сжимать передаваемые сообщения, если устранить содержащуюся в них избыточность. Например, при передаче телеграмм из текста исключают союзы, знаки препинания которые легко восстанавливаются при чтении на основании известных правил.

Очевидно, что избыточность приводит к увеличению времени передачи сообщений, излишней загрузке каналов связи и, как следствие, - к снижению эффективности их использования. Вместе с тем было бы неверным всегда рассматривать избыточность как признак несовершенства источника сообщений. В ряде случаев она бывает полезной. Наличие зависимостей между буквами и словами текста дает возможность восстанавливать его при искажении отдельных букв, т.е. избыточность можно использовать для повышения достоверности передачи информации в условиях воздействия помех.

Помимо избыточности важным параметром, характеризующим любой источник с фиксированной скоростью V_и=1/Т_и симв/с выдачи сообщений, является его производительность, которую определяют как энтропию в единицу времени (секунду):

H’(A)=V_иH(A). (10.5)

Если энтропия максимальна и равна log N, то величина R_и=logN/T_и, бит/с, называется информационной скоростью источника.

Смысл производительности – среднее количество информации, которое выдается источником в течение одной секунды непрерывной работы.