Теоремы для пропускной способности канала с помехами
Для дискретных каналов с помехами Шеннон доказал теорему, имеющую фундаментальное значение в теории передачи информации. Эта теорема может быть сформулирована следующим образом.
Если производительность источника Rи C-ε, где ε- сколь угодно малая величина, то существует способ кодирования, позволяющий передавать все сообщения источника со сколь угодно малой вероятностью ошибки. При Rи>C такая передача невозможна. Количество типичных переходов каждой группы:
МГ=2nH(v/u). (4.10)
В общем случае переходы перекрещиваются, т.е. одна и та же последовательность Vj может образоваться в результате передачи одной из нескольких последовательностей U.
Вероятность ошибки декодирования:
. (4.11)
МИ – число последовательностей, выбранные для переноса информации;
Рпер – вероятность перекрещивания переходов.
Это оценка вероятности ошибки является грубым приближенным, однако она правильно указывает на характер зависимости РОД от МИ.
Если энтропия источника равна НИ, т о:
(4.12)
.
Скорость передачи информации:
где. (4.13)
При максимальной скорости передачи сообщений по каналу maxR=C и
. (4.14)
Возможность одновременного установления сколь угодно малой вероятности ошибки декодирования РОД и малой величины ε доказывает справедливость теоремы Шеннона.
Для обеспечения высокой достоверности передачи сообщений необходимо применять коды с избыточностью. Если R=C, то средняя взаимная информация. Тогда коэффициент избыточности:
. (4.15)
Иными словами, теорема утверждает, что для передачи сообщений со сколь угодно малой вероятностью ошибки декодирования PОД могут быть найдены коды с минимальной избыточностью, равной χ. При передаче бинарных сигналов минимальная избыточность равна:
. (4.16)
Простейшей моделью двоичного канала с памятью является Марковская, определяемая матрицей переходных вероятностей
(4.17)
где Р1 – условная вероятность принять (i+1) –й символ ошибочно, если предыдущий принят правильно; 1- Р1 – условная вероятность принять (i+1) –й символ правильно, если предыдущий принят правильно; Р2 - условная вероятность принять (i+1) –й символ ошибочно, если предыдущий принят ошибочно; 1- Р2 – условная вероятность принять (i+1) –й символ правильно, если предыдущий принят ошибочно.
Безусловная вероятность ошибки р должна удовлетворять уравнению. Откуда. Это модель очень проста в использовании, однако она весьма неточно воспроизводит свойства реальных каналов.
Несколько более успешно используется модель Гильберта. Согласно этой модели канал может находиться в двух состояниях S1 и S2. В состоянии S1 ошибок не происходит, в состоянии S2 ошибки возникают независимо с вероятностью p2. Переходы из одного состояния в другое образуют простую Марковскую цепь с матрицей переходов
(4.18)
где P(S2/S1) –вероятность перехода из состояния S1 в S2; P(S1/S2) - вероятность перехода из состояния S2 в S1. Вероятности нахождения канала в состоянии S1 и S2 соответственно
;. (4.19)
Безусловная вероятность ошибки
.
При использовании модели Гильберта обычно полагают р2=0,5. Это хорошо согласуется с представлением о канале, в котором на некоторых временных интервалах из-за плохих условий прохождения или действия мощных помех связь пропадает.