При равных вероятностях знаков энтропия источника максимальна

Если 32 буквы русского алфавита считать равновероятными, Н = log₂32= 5.

Если учесть частоту появления букв в тексте, Н» 4,42.

Если учесть корреляцию соседних букв, Н» 3,53.

Если учесть дальние связи букв между словами, Н» 1,5.

Производительность источника, выдающего знаки со скоростью V_и= 1/τ_и ( τ_и – длительность одного знака) – это количество информации, выдаваемое в единицу времени: