Сообщение и его кодирование

Классифицировать способы кодирования можно по различным теоретическим или практическим критериям. С точки зрения назначения процесса кодирования способы кодирования сообщений целесообразно разделить на кодирование источника и кодирование канала. Для этого более подробно рассмотрим термин сообщение.

В соответствии с рис. 3.13 можно мысленно представить некую плоскость сообщений, которая горизонтальной линией делится на существенную и несущественную для получателя части. Вертикально проходящая прямая разделит плоскость сообщения па избыточную и неизбыточную части. Избыточная полуплоскость представляет собой известную и, следовательно, избыточную часть сообщения. Неизбыточная полуплоскость соответствует неизвестной части сообщения. С точки зрения получателя сообщений, интерес представляет только статистически неизбыточная и существенная части сообщения.

Рис. 3.13 Плоскость сообщений

Математически количество информации, содержащееся в сообщении H₀, можно записать в виде

H₀=H+R, (3.6)

где Н — энтропия сообщения, a R — ее статистическая избыточ-ность. С точки зрения рассмотренной плоскости представления сообщений можно также записать

H₀=H_R+H _I +R, (3.7)

где H_R и h_i — соответственно существенная и не существенная для получателя части энтропии.

Кодирование источника сообщений выполняется для того, чтобы в максимальной мере «сжать» сообщение на основе устранения его части, несущественной для получателя и сокращения статистической избыточности. Сокращение потока сообщений источника позволяет лучше и эффективнее использовать канал передачи и облегчает обработку передаваемой информации. Устранение же существенной для получателя части сообщения является необратимым процессом, который характеризуется потерей информации. Степень уменьшения несущественной для получателя части сообщения определяется свойствами получателя сообщений. В отличие от этого сокращение статистической избыточности является обратимым процессом, так как со стороны приемника избыточную часть сообщения можно восстановить. Поэтому процесс сокращения статистической избыточности не зависит от свойств получателя сообщений и не приводит к потерям информации.