Лабораторная работа. 1) Рассмотрите первое свойство энтропии

Свойства энтропии

1) Рассмотрите первое свойство энтропии. Для этого составьте программу построения графика функции H_i = -p_i log p_i при изменении вероятности от нуля до единицы. Значения р_i возьмите через интервал 0,05. Сделайте соответствующие выводы.

2) Рассмотрите второе свойство энтропии. Для этого задайте такие значения р_i (i = 1, 2, 3) для системы Х = (х1, х2, х3), чтобы одно из состояний было достоверно известно. Найдите энтропию.

3) Рассмотрите третье свойство энтропии.

Необходимо считать, что имеется три системы, каждая из которых имеет по четыре состояния. Задайтесь различными распределениями вероятностей, например:

система 1 0,5; 0,2; 0,25; 0,05;

система 2 0,25; 0,25; 0,25; 0,25;

система 3 0,2; 0,3, 0,28, 0,22.

Определите, при каких распределениях вероятностей энтропия максимальна. Сделайте соответствующие выводы.

ГЛАВА 2. Неопределенность непрерывных случайных величин