Теоремы Шеннона о помехоустойчивом кодировании

Существует несколько теорем Шеннона, посвященных кодированию при наличии помех. Первая из них читается так: если скорость создания информации источником меньше пропускной способности канала, то среди кодов, обеспечивающих сколь угодно малую вероятность ошибки, существует код, при котором скорость передачи каналом сколь угодно близка к скорости создания информации источником.

Конкретизируем понятия, используемые в данной теореме.

Скорость создания информации источником определяет количество информации, вырабатываемое источником в единицу времени, и равна

, , (2.16)

где – энтропия источника сообщений; – средняя длительность передаваемых знаков.

Скорость передачи информации определяет количество информации, переносимое одним знаком сообщения в единицу времени. При знаках равной длительности скорость передачи информации

, (2.17)

где – количество знаков (букв), вырабатываемых источником в единицу времени.

Пропускная способность канала определяется как максимум скорости передачи информации, взятый по всем возможным распределениям вероятностей появления знаков на входе канала, т.е.

. (2.18)

Используя введенные обозначения, сущность 1-ой теоремы Шеннона можно сформулировать так: если , то среди помехоустойчивых кодов существует код, обеспечивающий сколь угодно малую вероятность ошибки при передаче без задержки.

Вторая теорема Шеннона о кодировании при наличии помех утверждает, что если скорость создания информации источником больше пропускной способности канала, то никакой код не может сделать вероятность ошибки сколь угодно малой.

Таким образом, согласно 2-ой теореме Шеннона, при потери информации в канале связи неизбежны, при этом величина минимальных потерь равна разности .

В случае помехоустойчивого кодирования, так же как и в случае эффективного, теоремы Шеннона не указывают путей построения помехоустойчивых кодов, а лишь указывают на возможность и условия практически идеальной передачи информации при наличии помех.