Пропускная способность двойного симметричного канала без памяти

1. Вначале исследуем энтропию двоичного источника, который производит поток взаимонезависимых сигналов 0, 1 с безусловными вероятностями р ₀, p ₁.

При граничных значениях p ₁= 0 (p ₀= 1 – 0 = 1) и p ₁ = 1 (p ₀= 1 – 1 = 0) в соответствии со свойствами частной энтропии энтропия источника равна нулю. Так как эта величина положительна, то при промежуточных значениях вероятностей p ₀, p ₁оно будет иметь экстремум. Среднее значение энтропии на сигнал здесь

Возьмём производную и приравняем её нулю:

и экстремум имеет место при

, т.е. тогда, когда сигналы равновероятны.

Величина энтропии в точке экстремума

бит/сигнал

Полученные результаты в графической форме представлены на рис. 1.5.

Рис. 1.5

Если m >2, максимум энтропии источника также будет при условии, что сигналы равновероятны и взаимозависимы.

При этом и согласно (…)

(1.61)

2. Симметричным называется канал, для которого условные вероятности трансформаций сигналов одинаковы

(1.62)

Рис 1.6

Тогда термин «канал без памяти» обозначает то, что принятый сигнал зависит только от переданных на кануне (по аналогии с эргодическим источником при r = 1) и не зависит от переданных ранее.

Исследуем условия реализации пропускной способности такого канала и воспользуемся для этой цели выражением

Исследуем зависимости H(Y) и H(Y/X) от вероятностных характеристик источника. Теория вероятностей устанавливает здесь следующее соотношение

(1.63)

В нашем случае безусловная вероятность принятого сигнала 0

(1.64)

Источник производит максимум информации, если p (x ₁) = p (x ₀). Это приводит к тому, что в этом случае p (y ₀) = p (x ₀), p (y ₁) = p (x ₁), а следовательно здесь и энтропия H(Y) достигает максимума.