Информация. Количество информации, неравновероятностные события. Энтропия

Для не равновероятностных событий применяют следующую формулу: , где I-это количество информации, р- вероятность события.

Вероятность события выражается в долях единицы и вычисляется по формуле: р=К/N, где К- величина, показывающая, сколько раз произошло интересующее событие, N –общее число возможных исходов какого-то процесса.

Существует общая формула вычисления количества информации для событий с различными вероятностями. Эту формулу в 1948 г. Предложил американский учёный Клод Шеннон. Количество информации в этом случае вычисляется по формуле:
где I- количество информации;

N- количество возможных событий4

Р_i-вероятность отдельных событий.

Количеством информации называют числовую характеристику сигнала, отражающую степень неопределенности, которая исчезает после получения данного сигнала. Эту меру неопределенности к теории информации называют энтропия.

Энтропия – мера внутренней неупорядоченности системы.

Уменьшая неопределенность мы получаем информацию. \