Пропускная способность канала с помехами

Дискретный канал передачи информации с помехами

Лекция 4. Дискретный канал передачи информации с помехами

Цель лекции: ознакомление с дискретным каналом передачи информации с помехами

Содержание:

а) дискретный канал передачи информации с помехами;

б) пропускная способность канала с помехами;

в) теоремы для пропускной способности канала с помехами;

д) математическая модель дискретного канала с помехами.

Иное положение имеет место в каналах, где присутствуют различного рода помехи. Их воздействие на передаваемый сигнал приводит к разрушению и необратимой потере части информации, поступающей от источника сообщения. Поскольку в канале с помехами принятому сигналу _I может соответствовать передача одного из нескольких сигналов u, то после приема _I остается некоторая неопределенность в отношении переданного сигнала. Здесь соответствие между u и носит случайный характер, поэтому степень неопределенности характеризуется условной апостериорной вероятностью P(u_i/ _i), причем всегда P(u_i/ _i) <1. Количество информации, необходимое для устранения оставшейся неопределенности log 1/P(u_i/3_i), очевидно, равно той части информации и определяется как разность:

J(u_i , _i)= log 1/P(u_i) – log 1/P(u_i/ _i) = log P(u_i/ _i)/P(u_i). (4.1)

Пропускная способность канала с помехами определяется как максимально возможная скорость передачи при заданных ограничениях, накладываемых на передаваемые сигналы:

C=R_max.. (4.2)

Для каналов с сигналами одинаковой длительности, равной τ, пропускная способность

, (4.3)

где максимум ищется по всем возможным ансамблям сигналов u, Р.

Рассмотрим двоичный канал с помехами без памяти, по которому передаются дискретные сигналы, выбранные из ансамбля, содержащих два независимых сигнала u₁ и u₂ с априорными вероятностями Р(u₁) и Р(u₂). На выходе канала образуются сигналы υ₁ и υ₂, при правильном приеме отражающие соответственно сигналы u₁ и u₂. В результате действия помех возможны ошибки, которые характеризуются при передаче u₁ условной вероятностью Р(υ_2/ u₁), при передаче u₂ - условной вероятностью Р(υ_1/ u₂).

Вычислим энтропию сигнала:

. (4.4)

И энтропию шума:

(4.5)

Будем полагать канал симметричным. Для такого канала вероятности переходов одинаковы: Р(υ_2/ u₁) = Р(υ_1/ u₂) = Р, а полная вероятность ошибки

(4.6)

Отсюда вытекают соотношения:

(4.7)

После их подстановки в (4.4) получаем:

. (4.8)

Для того, чтобы определить полную пропускную способность (4.3.), необходимо максимизировать J(u,v)=H(v)-H(v/u). При заданной вероятности ошибки, как следует из (4.8), величина H(v/u) постоянна, а максимум следует искать, изменяя H(v). Энтропия сигнала H(v), выраженная формулой (4.2), имеет максимальное значение H₀(v)=1 в случае равновероятных сигналов, когда P(v₁)= P(v₂)=0.5. Подставляя выражения (4.7) u (4.8) в формулу (4.2) получим следующее выражение для пропускной способности двоичного симметричного канала:

. (4.9)

Рисунок 4.1 - Зависимость пропускной способности двоичного канала от вероятности ошибки Р₀

На рисунке 4.1 приведена зависимость С от вероятности ошибки для двоичного канала (4.9). Увеличение Р₀ приводит к снижению пропускной способности, которая становится равной нулю при Р₀ =0,5. В этом случае в соответствии с (4.7) полностью исчезает какая-либо зависимость между передаваемыми и принятыми сигналами: Р(v₁/u₁)= Р(v₂/u₁)=1/2 и Р(v₁/u₂)= Р(v₂/u₂)=1/2. Значение Р₀ =1/2 для бинарного канала является предельным.