Измерение сообщений и информации

Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности, определённости, выбору (вероятности) состояний отображаемой системы.

Для определения количества информации наиболее распространены формулы Хартли и Шеннона.

Формула Хартли: k = log₂N.

Количество информации (k), необходимой для определения конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N).

Формула Шеннона

В случае, когда вероятность элементов не одинакова, для определения количества информации, достаточной для выявления элемента, используют формулу Шеннона.