Избыточность информации. Если бы сообщения передавались бы с помощью равновероятных букв алфавита и между собой статистически независимых

Если бы сообщения передавались бы с помощью равновероятных букв алфавита и между собой статистически независимых, то энтропия таких сообщений была бы максимальной. На самом деле реальные сообщения строятся из не равновероятных букв алфавита с наличием статистических связей между буквами. Поэтому энтропия реальных сообщений - H_р, оказывается много меньше оптимальных сообщений - H_{о .} Допустим, нужно передать сообщение, содержащее количество информации, равное I. Источнику, обладающему энтропией на букву, равной H_р, придется затратить некоторое число n_р, то есть . Если энтропия источника была бы Н₀, то пришлось бы затратить меньше букв на передачу этого же количества информации I= n₀H₀ .

Таким образом, часть букв n_р-n_о являются как бы лишними, избыточными. Таким образом, мера удлинения реальных сообщений по сравнению с оптимально закодированными и представляет собой избыточность D. (3.2)

Но наличие избыточности нельзя рассматривать как признак несовершенства источника сообщений. Наличие избыточности способствует повышению помехоустойчивости сообщений. Высокая избыточность естественных языков обеспечивает надежное общение между людьми.