Избыточность сообщений

Величина, показывающая, какая часть сообщения при данных условиях может быть устранена без потери информации, называется избыточностью.

Абсолютная величина избыточности определяется выражением:

, (2.1)

где – максимальная энтропия сообщения, определяемая при равновероятных и статистически независимых знаках в сообщении; – реальная энтропия сообщения.

Относительная избыточность, называемая информационной, определяется выражением:

(2.2)

Информационная избыточность показывает относительную недогруженность одного знака алфавита и является безразмерной величиной, изменяющейся в пределах: .

В соответствии с (2.2), избыточность, обусловленная неравновероятным появлением знаков в сообщении, будет равна:

(2.3)

где – объем используемого алфавита; .