Учебно-исследовательское задание

1. Произвести вывод распределения молекул тела по энергии (распределение Гиббса) из условия максимума информационной энтропии при заданной средней энергии системы. Получить из этого распределения распределение молекул атмосферы по высоте над уровнем моря. [3].

Литература

1. В.И.Тихонов. Статистическая радиотехника. М.: Радио и Связь, 1982.

2. В.Т.Горяинов, А.Г.Журавлев, В.И.Тихонов. Статистическая радиотехника. Примеры и задачи. М.: Сов.Радио, 1980.

3. И.В.Савельев. Курс общей физики, Т.2. М: Высшая школа, 1987.

Практическое занятие 11.

Тема 9: ЭНТРОПИЯ И КОЛИЧЕСТВО ИНФОРМАЦИИ В ДИСКРЕТНЫХ СИСТЕМАХ

Определения и глоссарий

Входной и выходной алфавиты, Априорная вероятность символа алфавита, Совместная вероятность пары символов из двух алфавитов, Условная вероятность символа одного алфавита при заданном символе другого алфавита, Собственная информация символа, Условная собственная информация символа при заданном втором элементе пары символов, Взаимная информация двух случайных символов относительно друг друга, Собственная информация пары символов, Среднее количество информации, доставляемое символом одного алфавита относительно всего другого алфавита, Полное среднее количество взаимной информации двух случайных объектов. условная и безусловная энтропия случайных объектов, избыточность кода.

Задания для предварительной самостоятельной подготовки

1. Уяснить определения и свойства перечисленных выше характеристик.

Задачи

1. Источник сообщений генерирует множество кодовых комбинаций, одна из которых имеет априорную вероятность р(х)=1/8, а апостериорные вероятности, соответствующие последовательному приему символов у=1, z=0и u=1, равны: р(х|у)=р(х|1)=1/6, р(х|у,z)=р(х|10)=1/2, р(х|у,z,u)=р(х|101)=1. Определить увеличение информации о сообщении х в процессе приема символов у, z и u.

2. Источник вырабатывает ансамбль символов X={x_i}, i=1,2,3,4, с вероятностями р(x₁)=0,2, р(х₂)=0,3, р(х₃)=0,4 и p(x₄) = 0,1. Корреляционные связи между символами отсутствуют. Вычислить энтропию источника.

3. Определить энтропию случайной величины X,распределенной по биномиальному закону: 1) в общем случае; 2) при p=1/2 и n=5.

4. Алфавит состоит из четырех букв x₁, x₂, х₃, х₄, вероятности появления которых равны: р(x₁)=0,5, р(x₂)=0,25; р(х₃)=p(x₄)=0,125. Условные вероятности р(x_j|x_i) появления j-ой буквы при условии, что ей предшествовала i-я буква, заданы таблицей. Найти избыточность источника сообщений при статистической независимости букв и избыточность с учетом зависимости между буквами.

xi	xj
x1	x2	x3	x4
x1		0,2	0,4	0,4
x2	0,2	0,2	0,3	0,3
x3	0,25		0,25	0,5
x4	0,2	0,4	0,4

5. Показать, что энтропия Н(X)алфавита {x_i}с конечным множеством символов x_i, i=1,2,...,n,достигает максимума Н(X)=H_m(X)=log(n), когда все символы равновероятны.

6. По каналу телекодовой связи передаются пять команд X ={x_i}, i=1,2,3,4,5 с вероятностями р(х₁)=0,3, р(х₂)=0,1, р(х₃)=0,25, р(x₄)=0,2, р(х₅)=0,15. Определить среднее количество информации, приходящееся на одну команду.

7. Cимволы алфавита азбуки Морзе появляются в сообщении со следующими вероятностями: 0,51 для точки, 0,31 для тире, 0,12 для промежутка между буквами, 0,06 для промежутка между словами. Определить среднее количество информации в сообщении из 500 символов данного алфавита, считая, что связь между последовательными символами отсутствует.

8. Напряжение изменяется в пределах U₂ –U₁=8 В. При равномерном квантовании датчик регистрирует приращения напряжения DU=0,1 В. Вычислить максимальное количество информации за 5 отсчетов.

9. Найти количество информации, которое содержится в квантованном телевизионном сигнале, соответствующем одному кадру развертки изображения, если: в кадре 625 строк; сигнал, соответствующий одной строке развертки изображения, представляет собой последовательность из 600 случайных по амплитуде импульсов, каждый из которых может с равной вероятностью принять любое значение в интервале от 0 до 8 В; каждый импульс квантуется по величине с шагом квантования 1 В; импульсы изображения между собой не коррелированы.

10. Pадиостанция противника может работать на волне λ₁ (событие A₁) или на волне λ₂ (событие A₂), причем в импульсном (событие B₁) илинепрерывном (событие B₂) режимах. Вероятности совместных событий имеют следующие значения: р(А₁,B₁)=0,7, р(А₁,В₂)=0,15, р(А₂,B₁)=0,05, р(A₂, B₂)=0,1. Вычислить количество информации, получаемой о режиме работы станции, если станет известной длина волны станции.

11. Распределение вероятностей случайной величины X имеет вид: р(x₁)=0,1, р(х₂)=0,1, р(х₃)=0,1, р(x₄)=0,7. Определить число п значений случайной величины, при котором энтропия H_р(X)равномерного распределения будет равна энтропии H(X)заданного распределения.

12. Вероятность появления события Апри одном испытании равна р. Испытания повторяются до первого появления события А. Найти энтропию числа испытаний X и выяснить характер изменения энтропии с изменением р.

13. Для повышения достоверности каждое сообщение может передаваться по каналу связи kраз, причем вероятность неискаженного прохождения сигнала при каждой передаче р₁ = 0,2. После kповторений (1≤k≤N)решающее устройство сравнивает все kпринятых сигналов и при их совпадении выносит решение о правильном приеме, после чего отправителю посылается команда о прекращении посылки данного сообщения и о передаче следующего сообщения. Определить значение коэффициента дублирования kиз условия максимума количества информации, обеспечиваемой решающим устройством.

14. Ансамбли событий X и Y объединены, причем вероятности совместных событий равны: р(х₁,у₁)=0,1, р(х₁,y₂)=0,25, p(х₂,y₁)=0,2, р(х₂,y₂)=0, р(х₃,у₁)=0,3, р(х₃,у₂)=0,15. Определить: а) энтропии ансамблей X и У; б) энтропию объединенного ансамбля; в) условные энтропии ансамблей.

15. Источник сообщений создает последовательность букв, выбранных из набора букв А, В, С, Dс вероятностями 0,5; 0,25;0,125; 0,125, причем очередная буква выбирается независимо. Вычислить избыточность текста.

16. Для передачи сообщений используется код, состоящий из трех символов, вероятности появления которых равны 0,6; 0,2; 0,2. Корреляция между символами кода отсутствует. Определить избыточность кода.