Кодирование укрупненными блоками

В случае, когда побуквенное кодирование не приводит к получению оптимального или близкого к нему кода, нужно применять кодирование укрупненными блоками.

Пусть для передачи сообщения используется всего две буквы, причем вероятности появления этих букв существенно различны: ; .

Выполнив кодирование по методике Хаффмена,

		1,00

получаем, что средняя длина кодовой комбинации равна 1 символу . В то же время энтропия первичного источника

.

Таким образом, реально полученная средняя длина кодовой комбинации при побуквенном кодировании вдвое превышает минимально достижимую величину, определяемую теоремой Шеннона, т.е. .

Произведем кодирование блоков из двух букв:

Блоки	Вероятность	Разбиения	Кодовая комбинация
						0 1
						0 0 1
						0 0 0

Средняя длина кодовой комбинации, отображающей блок из двух букв:

Следовательно, на одну букву сообщения приходится в среднем

,

т.е. в данном случае по сравнению с побуквенным кодированием получено сокращение средней длины кодовой комбинации на 0,34 символа.

Здесь коэффициент эффективности построенного кода

.

Если полученный результат является неудовлетворительным, необходимо проводить кодирование более крупными блоками – по три буквы в блоке, четыре и т.д. Приемлемая величина должна быть задана.

2.3. Теоретические основы помехоустойчивого
кодирования.

Целью помехоустойчивого кодирования является обеспечение заданной достоверности передачи информации при наличии помех в канале связи за счет внесения избыточности в сообщения.

Помехи могут быть естественными и искусственными. Естественные помехи – грозовые разряды, космическое излучение и т.д. Искусственные помехи образуются вследствие деятельности человека и связаны в основном с прерыванием цепей электрического тока (электросварка, системы зажигания двигателей внутреннего сгорания) или электромагнитными волнами.

Достоверность передачи информации характеризуется вероятностью ошибочного приема 1 символа кодовой комбинации.

Требуемая достоверность обеспечивается за счет внесения избыточности в сообщения. Необходимо иметь в виду, что в данном случае избыточность имеет совершенно иную природу, чем та, что устранялась методами эффективного кодирования. Рассмотренная ранее избыточность была заложена в первичном алфавите источника сообщений и характере передаваемых сообщений; эта избыточность не согласована со статистическими свойствами помех в канале связи и поэтому не может быть использована для повышения достоверности принимаемого сообщения. При помехоустойчивом кодировании избыточность обусловлена введением специальных – контрольных символов, количество и состав которых зависит от свойств канала связи. Первичный код при этом может быть оптимальным.