Запомните основные положения. 17.1. Количество информации в дискретном сообщении вычисляется как логарифмы величины, обратной вероятности сообщения

17.1. Количество информации в дискретном сообщении вычисляется как логарифмы величины, обратной вероятности сообщения.

17.2. Наиболее распространенная единица измерения количества информации — дв. ед., или бит, численно равная количеству

информации в сообщении с вероятностью P(a_i) =0,5.

17.3. Энтропия определяет степень неопределенности источника

и численно равна среднему количеству информации в сообщении.

17.4. Производительность источника — это средняя скорость

выдачи информации источником.

17.5. Максимальная скорость передачи информации по каналу

называется пропускной способностью канала.

17.6. Пропускная способность гауссовского канала вычисляется

по формуле Шеннона.

17.7. Согласно основной теореме кодирования Шеннона, пропускная способность определяет предел безошибочной передачи

информации по каналу.

17.8. Для оценки технической эффективности систем связи при-

меняют коэффициенты информационной частотной и энергетической ß эффективностей.

КОНТРОЛЬНЫЕ ВОПРОСЫ

17.1. Почему применяется логарифмическая мера количества информации

17.2. Что такое 1 бит информации?

17.3. Что называется энтропией источника?

17.4. Каковы причины появления избыточности источника?

17.5. Как вычисляется производительность источника?

17.6. Что называется пропускной способностью канала связи?

17.7. Для чего важно знать пропускную способность канала?

17.8. Что произойдет, если передавать сообщение по каналу со скоростью,

превышающей пропускную способность канала?

17.9. Что называется эффективностью систем связи и как она определяется количественно?

ЗАДАЧИ

17.1. Определить избыточность двоичного источника, выдающего сообщения

1 и 0 независимо с вероятностями Р(1) =0,25; P(0) =0,75.

О т в е т: х_и=0,19.

17.2. Вычислить пропускные способности двух дискретных каналов без по-

мех, если в первом канале основание кода _m1=2, а во втором — _m2=4, и скорости модуляции в первом канале В₂=75 Бод, а во втором — В2 =50 Бод.

О т в е т: С₁ = 75 бит/с, С₂ = 100 бит/с.

17.3. В непрерывном канале применена широкополосная ЧМ, обеспечивающая отношение сигнал-помеха 10 дБ в полосе 50 кГц. Как изменится пропускная способность этого канала, если индекс модуляции увеличить в 10 раз?

Ответ: Увеличится в 2,9 раза.

Г л а в а 18. КОРРЕКТИРУЮЩИЕ КОДЫ

18.1. ОСНОВНЫЕ ПАРАМЕТРЫ

КОРРЕКТИРУЮЩИХ КОДОВ

Одним из способов повышения качества передачи сообщений по

дискретным каналам с помехами является применение корректирующих кодов, позволяющих обнаруживать и исправлять ошибки, возникающие в канале. Сколько же ошибок может обнаружить и исправить код? Согласно теореме Шеннона (см. $ 17.2) при скорости передачи информации R меньше пропускной способности канала С существуют коды, обеспечивающие безошибочную передачу. Однако они сложны и даже еще не найдены. Предложены и используются коды, обнаруживающие и исправляющие не все, а часть ошибок.

Общий принцип построения корректирующих кодов достаточно прост. Из общего числа Мo=mⁿ возможных кодовых комбинаций значности m и основания и используются для передачи дискретных сообщений не все, а только необходимое количество М_а (естественно, М_a<М_o). Используемые кодовые комбинации называются разрешенными. Остальные Мo— М_a комбинаций считаются запрещенными, т. е. они не могут передаваться по каналу связи и их появление на приемном конце свидетельствует о наличии ошибок. По определению акад. А. А. Маркевича, корректирующим кодом является код, удовлетворяющий единственному условию: М,(МО. Действительно, если имеется хотя бы одна запрещенная кодовая комбинация, то возникает принципиальная возможность обнаружения (или даже исправления) ошибок передачи. Таким образом, любой корректирующий код является кодом с избыточностью (имеются лишние, неиспользуемые кодовые комбинации). Для описания корректирующего кода вводятся следующие параметры:

Корректирующая способность кода определяется кратностью обнаруживаемых q_o.ош и исправляемых q_и.ош ошибок, под которыми понимают гарантированное число ошибок в кодовой комбинации, обнаруживаемых или исправляемых заданным кодом. Совершенно ясно, что чем больше кратность q_o.ош и q_и.ош тем совершенней является код. Расстояние Хэмминга d_ij показывает степень различия между i-й и j-й кодовыми комбинациями. Для любых двух двоичных кодовых комбинаций кодовое расстояние равно числу несовпадающих в них разрядов. Так, приведенные ниже комбинации (для удобства различения они написаны друг под другом)

не совпадают в трех разрядах (помечены штрихами) и поэтому расстояние Хэмминга d_ij=3. Математически расстояние Хэмминга вычисляется как число единиц в сумме по модулю два этих кодовых комбинаций.Кодовое расстояние — это минимальное расстояние Хэмминга

для заданного кода. Перебрав все возможные пары разрешенных кодовых комбинаций и вычислив для них d_ij необходимо найти среди них минимальное. Это и будет кодовое расстояние do=min d_ij которое полностью характеризует корректирующую способность кода.

Вес кодовой комбинации W численно равен числу входящих в нее ненулевых символов.

Относительная скорость кода Я, показывает относительное число разрешенных кодовых комбинаций в коде и вычисляется по формуле

Rк= log² М_а/log² Мо. (18.1}

Величина х_k = 1 — Rk является коэффициентом избыточности кода.

18.2. ПРИНЦИПЫ ПОСТРОЕНИЯ

КОРРЕКТИРУЮЩИХ КОДОВ

Схема включения кодера и декодера корректирующего кода в

систему передачи дискретных сообщений двоичными кодами показана на рис. 18.1. На вход кодера поступает последовательность двоичных символов а₁а₂... аk, представляющих собой безызбыточные кодовые комбинации А_k, соответствующие знакам сообщения. В процессе кодирования кодовые комбинации А_i значности k преобразуются в разрядные кодовые комбинации В_i с символами b₁b2......b_kb_k+1,... b_n (n>A), т. е. кодер вводит в безызбыточные кодовые комбинации r=n-1 проверочных символов. Скорость такоro кода можно вычислить по формуле (18.1), которая с учетом соотношений М_a=2_k и М_o=2_n преобразуется к виду

R_k= k/n (18.2)

Принятая кодовая комбинация В'i (b'₁b'₂... б'_k... b'_n) может в любом символе отличаться от переданной в результате воздействия ошибок, возникающих на выходе дискретного канала связи.

Поэтому каждый из ее символов обозначается со штрихом. В декодере при избыточном кодировании появляется возможность обнаружения и исправления этих ошибок. Для реализации этой возможности, как было сказано выше (см. §18.1), все кодовые комбинации корректирующего кода разбиваются на разрешенные и запрещенные. На выходе кодера формируются и далее передаются по дискретному каналу только разрешенные В_ip кодовые комбинации. Переход их в запрещенные под действием ошибок является необходимым условием для обнаружения и исправления ошибок.

Поэтому главная задача построения любого корректирующего кода — разбиение всех Мo кодовых комбинаций на Мa, разрешенных и М_o— М_a запрещенных, так чтобы обеспечить заданную корректирующую способность кода. В общем случае это достаточно сложная задача, решаемая различным образом в зависимости от требований к декодеру: необходимо обнаруживать или исправлять ошибки.

Декодирование с обнаружением ошибок. Методика обнаружения ошибок при декодировании достаточно прос-

Рис. 18.1. Структурная схема включения кодека корректирующего кода: