Содержание

ПСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ПОЛИТЕХНИЧЕСКИЙ ИНСТИТУТ

А.И. Спиридонов

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
И КОДИРОВАНИЯ

УЧЕБНОЕ ПОСОБИЕ

Санкт-Петербург

УДК 681.3.053

Рекомендовано к изданию

Научно-методическим советом

Псковского государственного политехнического института

Рецензенты:

- Ильин С.Н., зам. генерального директора ОАО «СКБ ВТ»

- Григорьев О.Н., доцент каф. Электроэнергетики ППИ

Учебное пособие «Основы теории информации и кодирования» по дисциплине «Теория кодирования» (ЕН.Р.02) предназначено для студентов Псковского государственного политехнического института специальности 230101 «Электронные вычислительные машины, комплексы, системы и сети» очной, очно-заочной и очной с сокращенным сроком реализации форм обучения.

В пособии изложены основные положения теории информации и кодирования, принципы построения цифровых, эффективных и корректирующих кодов, способы реализации кодеров и декодеров.

Учебное пособие может использоваться студентами родственных специальностей и специализаций.

Спиридонов А.И. «Основы теории информации и кодирования». Учебное пособие. – СПб/Псков, Изд. СПбГПУ, 2004 – 140 с.

© Псковский государственный политехнический институт, 2004.

© СПбГПУ, 2004.

© Спиридонов А.И., 2004.

Содержание

Введение.. 5

1. Элементы теории информации. 7

1.1. Понятия информации, сообщения и сигнала. 7

1.1.1. Понятие информации. 7

1.1.2. Понятие сообщения. 8

1.1.3. Понятие сигнала. 10

1.2. Измерение информации. 12

1.2.1. Структурные меры информации. 13

1.2.2. Статистическая мера информации. 17

1.3. Квантование сигналов. 23

1.3.1. Дискретизация сигналов. 25

1.3.2. Квантование по уровню. 28

2. Кодирование информации. 31

2.1. Цифровое кодирование информации. 31

2.1.1. Позиционные системы счисления. 32

2.1.2. Смешанные системы счисления. 34

2.1.3. Перевод числа из одной системы счисления в другую. 36

2.1.4. Коды, не базирующиеся на системах счисления. 39

2.2. Эффективное кодирование. 41

2.2.1. Избыточность сообщений. 41

2.2.2. Теоретические основы эффективного кодирования. 43

2.2.3. Построение эффективного кода по методам Шеннона-Фано и Хаффмена. 45

2.2.4. Кодирование укрупненными блоками. 50

2.3. Теоретические основы помехоустойчивого кодирования. 52

2.3.1. Теоремы Шеннона о помехоустойчивом кодировании. 53

2.3.2. Классификация помехоустойчивых кодов. 54

2.3.3. Общие принципы использования избыточности при построении корректирующих кодов. 55

2.3.4. Избыточность корректирующих кодов. 60

2.4. Коды, обнаруживающие ошибки. 61

2.5. Линейные коды, обнаруживающие и исправляющие ошибки. 65

2.5.1. Построение двоичного линейного кода. 68

2.5.2. Кодирование. 74

2.5.3. Синдромный метод декодирования. 76

2.5.4. Кодирующее и декодирующее устройства. 79

2.5.5 Коды Хэмминга. 83

2.5.6. Матричное представление линейных кодов. 85

2.5.7. Мажоритарное декодирование. 94

2.6. Циклические коды. 97

2.6.1. Выбор образующего многочлена. 100

2.6.2. Формирование разрешенных кодовых комбинаций. 103

2.6.3. Декодирование циклических кодов. 106

2.6.4. Циклические коды с . 109

2.6.5. Кодирующее и декодирующее устройства. 111

2.6.6. Мажоритарное декодирование. 124

2.6.7. Матричное представление циклических кодов. 128

2.7. Краткие сведения о других кодах. 130

2.8. Понятие об адаптивном кодировании. 134

Список используемой литературы. 139