2015-05-05
896
Прямая теорема
Для алфавита X ={x, p(x)} с энтропией H существует побуквенный неравномерный префиксный двоичный код со средней длиной кодовых слов K ≤ H +1.
Обратная теорема
Для любого однозначно декодируемого двоичного кода алфавита X={x, p(x)} с энтропией H средняя длина кодовых слов K удовлетворяет неравенству K ≥ H.
С помощью теорем побуквенного кодирования можно дать оценку возможной средней длины неравномерного кода.
H ≤ K ≤ H+1 (4.7)
Первая теорема гарантирует, что при любых самых неблагоприятных статистических характеристиках источника сообщений можно построить неравномерный код длины не больше чем H+1. Вторая теорема говорит о том, что даже при самых «удачных» вероятностях символов первичного алфавита нельзя построить код средней длиной меньше Н. Из этих же теорем вытекает оценка общей эффективности кода: КОЭ ≤ 1.
