Вопрос3. Скорость передачи дискретной информации по каналу без помех

В любом реальном канале всегда присутствуют помехи. Однако, если их уровень настолько мал, что вероятность искажения практически равна нулю, можно условно считать, что все сигналы передаются неискаженными, т.е. считается, что канал без помех.

Оценим пропускную способность канала в отсутствие помех.

В этом случае H(X/ Y) = 0.

Выражение (2.4) примет вид

(3.1)

Пусть сообщение с энтропией H(X) состоит из m элементарных символов, каждый из которых передается за время τ.

Тогда

Максимум H(X) достигается при равновероятных сообщениях, значит энтропия сообщений будет равна

(3.2)

Тогда пропускная способность равна

(3.3)

Сравнить с (2.2).

Вывод: В отсутствие помех пропускная способность канала равна технической скорости передачи информации по этому каналу.

Для двоичного кода  бит/сек.

В общем случае С = 2F log N [бит/сек], где 1/2τ = F, т.к. если представить последовательность импульсов с периодом T = 1/F, то за период можно передать и импульс и паузу, а можно две паузы, или два импульса, т.е. за один период можно передать 2 сигнала T = 2τили F = 1/2τ.

Формула С = 2F log Nназывается пределом Найквиста.

Информационная скорость будет вычисляться исходя из того, что H(X/Y) = 0 и H(X) определяется по формуле Шеннона

(3.4)

А если элементарные символы имеют различную длину, т.е. разное время передачи (неравномерный код), то

(3.5)

Шеннон обобщил теоретический предел Найквиста.

Вопрос: какова должна быть пропускная способность канала, чтобы информация от источника X к приемнику Y поступала без задержек? Ответ на этот вопрос дает первая теорема Шеннона.

Первая теорема Шеннона

Если имеется источник информации с энтропией Н(X) в единицу времени (производительностью) и канал связи с пропускной способностью С, то если С >Н(Х), то всегда можно закодировать достаточно длинное сообщение таким образом, что оно будет передано без задержек. Если же, напротив С <Н(Х), то передача информации без задержек невозможна.