Вопросы и задачи к главе 4

1. Источник генерирует три символа первичного алфавита: А, В и С с вероятностями 0.5, 0.25 и 0.25 соответственно. В передатчике символы кодируются равномерным бинарным кодом. При передаче сообщения по каналу связи возможны искажения: знак 0 искажается в 1 с вероятностью 0.1, знак 1 не искажается. Построить канальную матрицу.

Решение. Закодируем символ А словом 00, символ В словом 01, символ С словом 10. С учетом того, что P(0→1)=0.1, P(0→0)=0.9, P(1→0)=0, P(1→1)=1, получим P(A|A)=P(0|0)∙P(0|0)=0.81, P(B|A)=P(0|0)∙P(1|0)=0.09, P(C|A)=P(1|0)∙P(0|0)=0.09, P(A|B)=P(0|0)∙P(0|1)=0,… Кроме того, приемник будет получать код 11, не соотнесенный ни с одним символом первичного алфавита. Обозначим этот код буквой Z и получим канальную матрицу:

2. Насколько снижается пропускная способность канала, если средняя частота появления ошибки при передаче сообщения в двоичном симметричном канале составляет 1 ошибочный сигнал на 100 переданных?

Решение. Очевидно, вероятность появления ошибки передачи p = 0.01. Следовательно, по формуле (4.15) получаем:

≈ 0.9192

т.е. пропускная способность канала снизилась приблизительно на 8%.

3. Во сколько раз средняя мощность сигнала с равномерным распределением значений отсчетов должна быть больше мощности сигнала с нормальным распределением отсчетов при условии, что оба сигнала имеют одинаковые дифференциальные энтропии?

4. В информационном канале используется алфавит с четырьмя различными символами. Длительности всех символов одинаковы и равны t = 1 мкс. Определить пропускную способность канала при отсутствии шумов.

5. По каналу в одну секунду передается 106 символов (скорость передачи 106 бод). Символы " 0 " и " 1 " поступают на вход канала с равной вероятностью. Определите пропускную способность канала при следующих условиях:

1) символ «1» воспринимается как «1» с вероятностью 0.9, и как «0» с вероятности 0.1, так же искажается и символ «0»;

2) в пакете из 4-x символов с вероятностью 0.1 искажается один символ.

6. Источник создает последовательность из алфавита в 16 равновероятных и статистически независимых букв. При передаче по каналу с шумом буквы искажаются так, что четверть всех букв принимается неправильно, причем все ошибки одинаково вероятны. Определить среднюю информацию в принятой букве относительно переданной.

7. Двоичный стирающий канал является одним из наиболее простых типов канала с шумом. В нем переданные символы могут быть "стертыми", но никогда не могут быть приняты ошибочно. Найти среднее количество информации, переносимое одним символом в таком канале, если вероятность стирания равна 0.1 и не зависит от переданного символа; вероятности символов на входе одинаковы.

8. Источник генерирует знак z₁ с вероятностью 0.8 и z₂ с вероятностью 0.2. Постройте эффективные коды для последовательности из трех знаков z_i, z_j, z_k. Каково среднее число символов на знак? Сравните с энтропией источника.

9. Сообщения источника с производительностью 850 бит/с поступают на вход двоичного симметричного канала с вероятностью искажения p = 0.05. Длительность символов сигнала в канале t = 10^-3 с. Достаточна ли пропускная способность канала для передачи всей информации, поступающей от источника?

10. На флоте при передаче сообщений прожектором используется два световых сигнала: длинный и короткий. Оба сигнала в морской азбуке равновероятны. Длительность длинного сигнала в среднем 0.5 с, а короткого – 0.25 с. В тумане каждую восьмую вспышку не удается рассмотреть (теряется), а каждый десятый длинный сигнал воспринимается как короткий. Короткие сигналы распознаются безошибочно (если не теряются). Определить скорость передачи такого канала связи.

Решение. Составим матрицу переходных вероятностей:

	априорные вероятности	Длинный	Короткий	Потеря
Д	0.5	1-0.1-0.125=0,775	0.1	1/8 = 0.125
К	0.5		1-0.125=0.875	1/8 = 0.125

Вычислим энтропию сигнала:

H(v)=-p(Д)∙log p(Д)-p(К)∙log p(К)-p(П)∙log p(П) =-0.5∙0,775∙log(0.5∙0.775)-(0.5∙0.1+0.5∙0,875)∙log(0.5∙0.1+0.5∙0.875)-(0.5∙0.125+0.5∙0.125)∙log(0.5∙0.125+0,5∙0,125)=

-0,3875∙log0.3875-0.4875∙log0.4875-0.125∙log0.125=1.41 (бит)

Вычислим энтропию шума:

H(v/u)=-0.5∙(0.775∙log0.775+0.1∙log0.1+0.125∙log0.125)-0.5(0.875∙log0.875+0.125∙log0.125)=0.77 (бит)

I(u,v)=H(v)-H(v/u)=0.64 (бит)

Средняя длительность одного сигнала: 0.5∙0.5 (с)+ 0.5∙0.25 (с)= 0.375 (с)

Скорость передачи: 0,64/0,375=1,71 (бит/с)

11. На вход информационной системы поступает непрерывный сигнал с предельной круговой частотой ω = 610 Гц. Сигнал оцифровывается и пропускается далее по двоичному каналу связи. Пропускная способность канала составляет 200 бит в секунду. Возможна ли такая дискретизация входного сигнала, чтобы его можно было передать по каналу связи без потери информации?

12. Источник каждую 0.1 с генерирует один из 8 знаков первичного алфавита с вероятностями:

x_j	x₁	x₂	x₃	x₄	х₅	х₆	x₇	x₈
p(x_j)	1/2	1/4	1/8	1/16	1/32	1/64	1/128	1/128

Длительность передачи одного элементарного символа по бинарному каналу – 0.01 с.

Найти пропускную способность такого канала связи.

С целью защиты от помех при передаче информации по каналу использован принцип «голосования по большинству из трех». Можно ли построить неравномерный однобуквенный бинарный код, обеспечивающий пропускание такого сигнала?

13. Человек в спокойном темпе произносит фразу: «не имей сто рублей а имей сто друзей». Оценить пропускную способность информационного канала, достаточную для синхронной передачи этой фразы в двоичном побуквенном коде с учетом возможных 10% -х искажений.

14. На вход информационной системы поступает непрерывный сигнал с частотой манипуляции (полосой пропускания) F = 300 Гц. Сигнал оцифровывается и передается далее по двоичному каналу связи. Техническая пропускная способность канала (не учитывающая искажения) составляет 1 мегабит в секунду. Возможна ли такая дискретизация входного сигнала, чтобы его можно было передать по каналу связи с учетом возможных 10% -х искажений?

15. Источник генерирует один из пяти знаков первичного алфавита каждую 0.1 с. с вероятностью:

x_j	x₁	x₂	x₃	x₄	х₅
p(x_j)	1/2	1/4	1/8	1/16	1/16

Длительность передачи одного элементарного символа по бинарному каналу – 0.02 с.

Найти пропускную способность канала связи без помех.

Найти пропускную способность канала связи с помехами типа «инверсия», вероятность помех – 0.2

Найти пропускную способность канала связи с помехами типа «стирание», вероятность помех – 0.4

Достаточна ли пропускная способность во всех трех случаях при использовании равномерного (эффективного) кодирования?

16. По каналу связи передаются сообщения, которые представляют последовательность десятичных цифр, вероятности которых соответственно равны:

p(0)=0,4; p(1)=0,2; p(2)=0,05; p(3)=0,03; p(4)=0,02;

p(5)=0,15; p(6)=0,08; p(7)=0,01; p(8)=0,04; p(9)=0,02.

Канальная матрица, определяющая потери информации в канале связи имеет вид:

P(y|x)=

Определить:

· Энтропию источника информации- H(X)

· Безусловную энтропию приемника информации- H(Y).

· Общую условную энтропию- H(Y/X).

· Скорость передачи информации, если время передачи одного символа первичного алфавита t=0.1мс.

· Определить потери информации в канале связи при передаче 500 символов алфавита.

· Количество принятой информации.

· Построить эффективный код по методу Шеннона - Фано для передачи сообщений.

· Оценить эффективность построенного кода.

17. Сообщения передаются в двоичном коде. Длительность передачи нулевого бинарного символа – τ₀= 1 с, длительность передачи единичного бинарного символа τ₁ = 5 секунд. Определить скорость передачи информации для случаев равновероятных символов и неравновероятных символов с вероятностями р(0) = 0.37, р(1) = 0.63.

Решение.

1) Символы равновероятны и независимы.

2) Символы неравновероятны: р₀ = 0.37, р₁ = 0.63.

18. Источник генерирует символы А и В с вероятностями Р(А)=0.7, Р(В)=0.3. Построить эффективный бинарный код для однобуквенного, двухбуквенного и трехбуквенного кодирования. Оценить среднюю длину кодового слова и эффективность каждого кода.

Решение.

1) Составим однобуквенный код. А → 0, В → 1. Энтропия источника Н = 0,88 бит/символ. Средняя длина кода К₁ = 1. Коэффициент эффективности кода К_ОЭ = 0.88/1 = 0.88.

2) Составим двухбуквенный код.

Пара	Вероятность пары	Код пары	Длина кода
АА	0.7∙0.7=0.49
АВ	0.7∙0.3=0.21
ВА	0.3∙0.7=0.21
ВВ	0.3∙0.3=0.09

Средняя длина кода К₂=1∙0.49+2∙0.21+3∙0.21+3∙0.09=1.81; в расчете на один символ К₁=К₂/2=0.905. Коэффициент эффективности кода К_ОЭ = 0.88/0.905 = 0.972.

2) Составим алфавит из трёхбуквенных комбинаций.

Пара	Вероятность пары	Код пары	Длина кода
ААА	0.343
ААВ	0.147
АВА	0.147
ВАА	0.147
АВВ	0.063
ВАВ	0.063
ВВА	0.063
ВВВ	0.027

Средняя длина кода К₃=2.686; в расчете на один символ К₁=К₃/3=0.895.

Коэффициент эффективности кода К_ОЭ = 0.88/0.895 = 0.983.

19. Энтропия источника информации равна 6 бит/символ, энтропия приемника равна 8 бит/символ, энтропия шума равна 3 бита/символ. Вычислить утечку информации из канала связи.

20. Какой знак следует поставить между левой и правой частями формулы, чтобы она оказалась верной?

H(v)? H(u) + H(v|u) - H(u|v)

21. От чего зависит скорость передачи информации в канале связи?

22. Что означает свойство симметричности бинарного канала с помехами?

23. Укажите возможные причины, из-за которых скорость передачи информации не достигает значения пропускной способности канала связи

Понравилась статья? Добавь ее в закладку (CTRL+D) и не забудь поделиться с друзьями: