Передача информации по каналу без помех

Рассматривая различные системы передачи информации специалисты часто используют термин «канал связи».

Скорость передачи информации по каналу связи определяется выражением:

, (3.3)

где - средняя длительность сообщения, - скорость выдачи символов сообщения источником.

Как видно из 3.3, скорость зависит не только от свойств самого канала, но и от подаваемого на его вход сигнала, поэтому не может характеризовать канал. Попытаемся найти способ оценки способности канала передавать информацию. Рассмотрим вначале дискретный канал, через который передаются в единицу времени В_х символов из алфавита объемом m. При передаче каждого символа в среднем по каналу проходит количество информации

J(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X) (3.4)

где X и Y – случайные символы на входе и выходе канала.

Из четырех фигурирующих здесь энтропий собственная информация передаваемого символа Н(X) определяется источником дискретного сигнала и не зависит от свойств канала. Остальные три энтропии в общем случае зависят как от источника сигнала, так и от канала.

Представим, что на вход канала можно подавать символы от разных источников, характеризуемых различными распределениями вероятностей P(X) (конечно, при тех же значениях m и k). Для каждого такого источника количество информации, переданной по каналу, принимает свое значение. Максимальное количество переданной информации, взятое по всевозможным источникам входного сигнала, характеризует сам канал и называется пропускной способностью канала в расчете на один символ

, бит/симв., (3.5)

где максимизация производится по всем многомерным распределениям вероятностей Р(X). Можно также определить пропускную способность С канала в расчете на единицу времени (секунду):

, бит/с. (3.6)

Равенство (3.6) следует из аддитивности энтропии. В дальнейшем везде (если особо не оговорено) под пропускной способностью будем понимать пропускную способность в расчете на секунду.

Задача (на всякий случай). Источник вырабатывает символы с вероятностями р₁=0,2; р₂=0,7; р₃=0,1 корреляционные связи между сообщениями отсутствуют. Передача осуществляется двоичным кодом, длительность символов которого равна t = 1 мс. Определить скорость передачи информации по каналу связи без помех при использовании равномерного кода.

Решение. Скорость передачи информации определяем по формуле 3.3. Средняя энтропия сообщений на один символ

Н(Х) = – (0,2 log₂ 0,2 +0,7 log₂ 0,7 +0,1 log₂ 0,1)» 1,16 бит.