Теория помехоустойчивого кодирования
Лекция 10. Теория помехоустойчивого кодирования
Спектр импульсных последовательностей.
Для импульсных последовательностей спектр является дискретным:
т.е. амплитуды комплексного спектра могут быть получены из непрерывного спектра при дискретных значениях arg
Для Т=2:
Т.е. в спектре имеются только нечетные гармоники: 1, 3, 5,…..
Для Т=5:
Рис.9.3
Цель лекции: ознакомление c теорией помехоустойчивого кодирования и теоремой об эффективном кодировании.
Содержание:
а) теория помехоустойчивого кодирования;
б) пропускная способность и скорость передачи информации;
в) избыточность сообщений;
г) теорема об эффективном кодировании.
10.1 Пропускная способность и скорость передачи информации
Для электросвязи задача обеспечения помехоустойчивости является одной из главных. Система связи должна быть спроектирована и эксплуатироваться так, чтобы она при наличии помех обеспечивала заданное качество передачи сигналов и сообщений. Расчет влияния помех на передачу сигналов и разработка способов уменьшения этого влияния является основными вопросами, решаемыми в теории помехоустойчивости.
|
|
Помехоустойчивое кодирование сообщений или кодирование с прямым исправлением ошибок применяется в системах связи, в которых отсутствует или недоступен обратный канал для передачи запросов на повторную передачу, задержки в канале при запросах повторной передачи оказываются недопустимо большими или, наконец, уровень помех настолько велик, что количество повторных передач становится чрезвычайно большим.
Скорость передачи – это количество взаимной информации, передаваемой по каналу связи в единицу времени,
R= I(A’,A)/TH=F*[(H(A)-H(A/A’)]=F*[H(A’)-H(A’/A)]. (10.1)
Пропускная способность – это максимально достижимая для данного канала скорость передачи информации
C= Rmax= max F*I (A’,A), {P} или {W} (10.2)
где максимум ищется по всем распределениям вероятностей источника ДС или всем ФПВ источники НС. Величина С является характеристикой только канала связи и не зависит от статистики источника сообщений.
В качестве источника сообщений рассмотрим оператора, который вводит в компьютер текста на русском языке. Очевидно, что буквы в тексте появляются с разными вероятностями. Так, буква А передается значительно чаще чем Ц или Ю. Кроме того, появление очередной буквы зависит от предыдущей. Ясно, что после гласных не появится Ь, Ъ или Ы. Весьма редким будет появление подряд трех букв Е (в слове «змееед»). Таким образом, на выходе источника «с памятью» (зависимыми сообщениями) неопределенность оказывается меньше, чем при отсутствии памяти, когда сообщения появляются хаотично. Таким образом, мы подошли к понятию избыточности источника, которую формально можно определить соотношением:
|
|
. (10.3)
Отсюда видно, чем больше энтропия, тем меньше избыточность источника и наоборот. Ясно также, что величина избыточности принимает значения в пределах 0≤ρ≤1.
Данная величина характеризует число букв (символов) n, используемых источником сообщений для передачи заданного количества информации, относительно необходимого букв.
Избыточность можно определить так:
ρ=(n-nmin)/n=1-nmin/n. (10.4)
Величину μ=H(A)/logN=nmin/n называют коэффициентом сжатия. Он показывает, до какого значения без потери информации можно сжимать передаваемые сообщения, если устранить содержащуюся в них избыточность. Например, при передаче телеграмм из текста исключают союзы, знаки препинания которые легко восстанавливаются при чтении на основании известных правил.
Очевидно, что избыточность приводит к увеличению времени передачи сообщений, излишней загрузке каналов связи и, как следствие, - к снижению эффективности их использования. Вместе с тем было бы неверным всегда рассматривать избыточность как признак несовершенства источника сообщений. В ряде случаев она бывает полезной. Наличие зависимостей между буквами и словами текста дает возможность восстанавливать его при искажении отдельных букв, т.е. избыточность можно использовать для повышения достоверности передачи информации в условиях воздействия помех.
Помимо избыточности важным параметром, характеризующим любой источник с фиксированной скоростью Vи=1/Ти симв/с выдачи сообщений, является его производительность, которую определяют как энтропию в единицу времени (секунду):
H’(A)=VиH(A). (10.5)
Если энтропия максимальна и равна log N, то величина Rи=logN/Tи, бит/с, называется информационной скоростью источника.
Смысл производительности – среднее количество информации, которое выдается источником в течение одной секунды непрерывной работы.