Чем больше количество возможных событий, тем больше начальная неопределенность и соответственно тем большее количество информации будет содержать сообщение о результатах опыта

Для определения количества информации введена единица измерения.

За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность в два раза. Такая единица названа «бит» (от binary digit - двоичная цифра).

Если вернуться к опыту с бросанием монеты, то здесь неопределенность как раз уменьшается в два раза и, следовательно, полученное количество информации равно 1 биту.

Количество возможных событий N и количество информации I связаны между собой формулой:

N = 2^I

Данная формула позволяет определять:

количество информации, если известно количество событий;
количество возможных событий, если известно количество информации;

Если из формулы выразить количество информации, то получится

I=log₂N
Если количество возможных вариантов информации не является целой степенью числа 2, то необходимо воспользоваться калькулятором или следующей таблицей

Рассмотренная формула является частным случаем, так как применяется только к равновероятным событиям. В жизни мы часто сталкиваемся не только с равновероятными событиями, но и событиями, которые имеют разную вероятность реализации.