Математическая модель дискретного канала без помех

Теоремы для пропускной способности канала без помех

Для дискретных каналов без помех Шенноном была доказана следующая теорема: если производительность источника R_и C-ξ, где ξ - сколь угодно малая величина, то всегда существует способ кодирования, позволяющий передавать по каналу все сообщения источника. Передачу всех сообщений при R_и>С осуществить невозможно.

Смысл теоремы сводится к тому, что как бы не была велика избыточность источника, все его сообщения могут быть переданы по каналу, если R_и С-ξ. Обратное утверждение теоремы легко доказывается от противного. Допустим, R_и>С, но для передачи всех сообщений источника по каналу необходимо, чтобы скорость передачи информации R была не меньше R_и. Тогда имеем R R_и>С, что невозможно, так как по определению пропускная способность С=R_max.

Для рационального использования пропускной способности канала необходимо применять соответствующие способы кодирования сообщений. Статистическим или оптимальным называется кодирование, при котором наилучшим образом используется пропускная способность канала без помех. При оптимальном кодировании фактическая скорость передачи по каналу R приближается к пропускной способности С, что достигается путем согласования источника с каналом. Сообщения источника кодируются таким образом, чтобы они в наибольшей степени соответствовали ограничениям, которые накладываются на сигналы, передаваемые по каналу связи. Поэтому структура оптимального кода зависит как от статистических характеристик источника, так и от особенностей канала.

Рассмотрим основные принципы оптимального кодирования на примере источника независимых сообщений, который необходимо согласовать с двоичным каналом без помех. При этих условиях процесс кодирования заключается в преобразовании сообщений источника в двоичные кодовые комбинации.

Энтропия кодовых комбинаций равна энтропии источника:

. (2.5)

Скорость передачи информации в канале:

. (2.6)

Здесь числитель определяется исключительно статистическими свойствами источника, а величина τ₀ – характеристиками канала. Можно закодировать сообщения, чтобы скорость передачи R (2.6) достигла своего максимального значения, равного пропускной способности двоичного канала С=1/ τ₀, если выполняется условие:

. (2.7)

Одним из кодов, удовлетворяющих условию (2.7), является код Шеннона-Фано.

Постоянный симметричный канал без памяти определяется как дискретный канал, в котором каждый переданный кодовый символ может быть принят ошибочно с фиксированной вероятностью р и правильно с вероятностью 1-р, причем в случае ошибки вместо переданного символа b_i может быть рваной вероятностью принят любой другой символ. Таким образом, вероятность того, что принят символ b_j если был передан b_i,

. (2.8)

Вероятность любого n - мерного вектора ошибки в таком канале

(2.9)

где l- число ненулевых символов в векторе ошибки. Вероятность того что произошло l ошибок, расположенных как угодно на протяжении последовательности длины n, определяется формулой Бернулли

(2.10)

где - биноминальный коэффициент, равный числу различных сочетаний l ошибок в блоке длиной n.

Эту модель также называют биноминальным каналом. Она удовлетворительно описывает канал, возникающий при определенном выборе модема, если в непрерывном канале отсутствуют замирания, а аддитивный шум белый (или по крайней мере квазибелый). Нетрудно видеть, что вероятность появления ошибок в двоичной кодовой комбинации длины n (кратному l 1) согласно модели (2.10) при р <<1

. (2.11)

Вероятность переходов в двоичном симметричном канале схематически показана в виде графа на рисунке 2.2.