Количество информации и энтропия

Аксиомы для определения кол-ва информации

1. Информация одиночного события x_i происходящего с вероятностью p_i имеет не отрицательное значение

Чем реже происходит событие тем больше информации оно несет (Солнце не встало)

2. Информация является непрерывной функцией от вероятности события

3. Совместная информация двух независимых событий x_i  xj   с совместной вероятностью рi * pj равна сумме их информаций (См скриншот)

Кол- во информации события xi события pi вычисляется по формуле