Коды, исправляющие одиночную ошибку

По аналогии с предыдущим пунктом можно было бы предложить простой способ установления ошибки - передавать каждый символ трижды, например, «гггооорррааа» - тогда при получении сообщения «гггооопррааа» ясно, что ошибочной оказывается буква «л» и ее следует заменить на «р». Безусловно, при этом предполагается, что вероятность появления парной ошибки невелика. Такой метод кодирования приводит к избыточности сообщения L = 3, что неприемлемо с экономической точки зрения.

Прежде, чем обсуждать метод кодирования, позволяющий локализовать и исправить ошибку передачи, произведем некоторые количественные оценки. Как показано в п.5.3, наличие шумов в канале связи ведет к частичной потере передаваемой информации на величину возникающей неопределенности, которая при передаче одного бита исходного сообщения составляет

где р - вероятность появления ошибки в сообщении. Для восстановления информационного содержания сообщения, очевидно, следует дополнительно передать количество информации не менее величины ее потерь, т.е. вместо передачи каждого 1 бит информации следует передавать 1 + Н, бит. В этом случае избыточность сообщения составит

Приведенную избыточность следует считать минимальной (это указывает ее индекс), поскольку при передаче сообщения по каналу, характеризуемому вероятностью искажения р, при избыточности, меньшей L_min восстановление информации оказывается невозможным.