Избыточность сообщений. Сообщения, элементы (символы) которых равновероятны и статистически независимы и соответственно энтропия которых максимальна будем называть оптимальными

Сообщения, элементы (символы) которых равновероятны и статистически независимы и соответственно энтропия которых максимальна будем называть оптимальными. Показателем относительной информационной емкости сообщения является коэффициент сжатия

где , – средние удельные энтропии реального и соответствующего ему оптимального сообщения.

Если оптимальное и неоптимальное сообщения имеют одинаковые полные энтропии

где – число элементов оптимального и реального сообщений.

С понятием коэффициента сжатия непосредственно связано понятие избыточности, определяемое как

Диапазон изменения указаных величин составляет . С учетом приведенных выше данных по удельной информационной емкости символа русского языка, его избыточность составляет 0.6.