Задачи к разделу 1

1.1. Источник сообщений выдает символы из ансамбля . Распределения вероятностей приведены в табл. 1.1. Найти количество информации, содержащееся в каждом из символов источника при их независимом выборе (источник без памяти). Вычислить энтропию и избыточность заданного источника.

Таблица 1.1

Вариант	а)	б)	в)	г)	д)	е)	ж)	з)	и)	к)
	0,1	0,1	0,03	0,4	0,5	0,06	0,4	0,24	0,24	0,1
	0,25	0,05	0,26	0,25	0,04	0,15	0,18	0,18	0,28	0,1
	0,15	0,04	0,09	0,05	0,03	0,15	0,1	0,38	0,05	0,1
	0,15	0,01	0,05	0,3	0,15	0,07	0,1	0,1	0,22	0,2
	0,3	0,2	0,16	-	0,04	0,05	0,06	0,06	0,15	0,35
	0,05	0,03	0,1	-	0,12	0,29	0,07	0,02	0,06	0,15
	-	0,07	0,09	-	0,1	0,19	0,05	0,02	-	-
	-	0,5	0,22	-	0,02	0,04	0,04	-	-	-

1.2. Дискретная последовательность символов, выдаваемых источником, описывается простой цепью Маркова с матрицей переходных вероятностей:

Определить энтропию и избыточность двоичного источника без памяти и с памятью, если дискретный стационарный источник задан с помощью матриц переходных вероятностей (табл.1.2).

Таблица 1.2

Вариант	а)	б)	в)	г)	д)

1.3. Имеется выборка 100 000 пар совместных событий от дискретных источников и . Алфавит каждого из дискретных источников содержит четыре события. Оценки пар событий получены подсчетами их относительной частоты и сведены в табл. 1.3. Определить: энтропии источников и ; совместную энтропию источников; условные вероятности ; условную энтропию , .

Таблица 1.3

В-нт
а)		0,10	0,05	0,05
	0,05	0,15	0,15
		0,10	0,10	0,10
		0,05	0,05	0,05

б)
	0,15	0,05	0,05
	0,05	0,15	0,1
		0,05	0,1	0,1
		0,1	0,05	0,05

в)
	0,15	0,05	0,05
	0,05	0,1	0,1
		0,05	0,1	0,1
		0,05	0,05	0,15

г)
	0,1	0,05	0,05
	0,05	0,1	0,1
		0,1	0,2	0,1
		0,05	0,05	0,05

д)
	0,1	0,05	0,05
	0,05		0,1
	0,1		0,2	0,1
	0,1	0,05	0,05	0,05

1.4. Алфавит, из которого строятся передаваемые сообщения, содержит четыре символа . Время передачи каждого из символов соответственно равно: =1 мсек; =2 мсек; =3 мсек; =5 мсек. Определить скорость передачи информации:

а) для случая равновероятных символов;

б) для передачи сообщений со следующими вероятностями появления символов: =1/8; =1/8; =1/4; =1/2.

1.5. Сообщения составлены из алфавитов А и В. Вероятность появления символов алфавита =0,6; =0,4. Помехи в канале связи заданы канальной матрицей: . Определить скорость передачи информации, если время передачи одного символа =2 мсек.

1.6. Сообщения, составленные из букв русского алфавита, передаются в коде МТК-2 при помощи стартстопного телеграфного аппарата. В начале передачи идёт стартовая посылка, а в конце – стоповая. Буква передаётся пятью элементарными посылками длительностью t₁ = 20 мсек. Длина стартовой посылки t₂ = 20 мсек, стоповой - t₃ = 30 мсек. Определить:

а) скорость передачи информации;

б) скорость передачи информационных символов;

в) время передачи сообщения, состоящего из 450 букв.

1.7. Сообщения передаются в двоичном коде. Время передачи «0» t₀ = 1 мсек, длительность импульса, соответствующего «1», t₁ = 5 мсек. Определить скорость передачи информации для случаев:

а) когда символы равновероятны и независимы;

б) вероятность появления символа «0» р₀ = 0,37, вероятность появления символа «1» р₁ = 0,63;

в) р₀ = 0,2, р₁ = 0,8;

г) р₀ = 0,02, р₁ = 0,98.

1.8. Число символов алфавита m = 4. Вероятности появления символов равны соответственно р₁ = 0,15, р₂ = 0,4, р₃ = 0,25, р₄ = 0,2. Длительность символов t₁ = 3 мсек, t₂ = 2 мсек, t₃ = 5 мсек, t₄ = 6 мсек. Определить скорость передачи сообщений, составленных из данных символов.

1.9. Сообщения составлены из пяти качественных признаков ( =5). Длительность элементарной посылки =20 мсек. Определить, чему равна скорость передачи сигналов и информации.

1.10. По двоичному каналу связи передается информация со скоростью 14 400 бит/сек. Сколько времени понадобится для передачи 1000 страниц русского текста (энтропия = 5бит/букву) с использованием двоичного кода без избыточности (одна страница - 800 букв)?

1.11. По каналу связи без шума могут передаваться четыре сигнала длительностью 1 мсек каждый. Определить емкость такого канала.

1.12. Определить пропускную способность дискретного бинарного канала, способного передавать 100 символов «0» или «1» в единицу времени, в котором в результате действия помех 5% сообщений не соответствуют переданным.

1.13. Определить пропускную способность симметричного бинарного канала, если вероятность ложного приёма р_л = 0,02, t₀ = t₁ = 1 мсек.

1.14. Чему равна пропускная способность симметричного канала, если источник вырабатывает со скоростью 2 знака в секунду сообщения, закодированные кодом с основанием m = 10, а вероятность ложного приёма р_л = 0,03?

1.15. Канал связи описан следующей канальной матрицей:

Вычислите среднее количество информации, которое переносится одним символом сообщения, если вероятности появления символов источника сообщений равны =0,7; =0,2; =0,1. Чему равны информационные потери при передаче сообщения из 1000 символов алфавита , , ? Чему равно количество принятой информации?

1.16. Источник информации выдает сообщения со скоростью = 1000 симв/сек. Алфавит состоит из трех символов (букв) X, Y, Z, статистика появления которых равна 0,7; 0,2; 0,1. Закодировать символы источника информации таким образом, чтобы обеспечить прохождение сообщений через канал связи с пропускной способностью С = 1250 бит/сек без задержек.