Измерение информации

Для количественного определения любой величины необходимо определить единицу измерения.

За единицу количества информации принято такое количество информации, которое содержит сообщение, уменьшающее неопределенность знания в два раза. Такая единица называется бит.

Существует формула, которая связывает между собой количество возможных событий (N) и количество информации (I):

N = 2^I

По этой формуле можно легко определить количество возможных событий, если известно количество информации. Например, если получено 4 бита информации, то количество возможных событий будет 16.

Наоборот, для определения количества информации, если известно количество событий. Необходимо решить показательное уравнение относительно I. Например, в игре крестики-нолики на поле 8х8 перед первым ходом существует 64 возможных события (64 варианта расположения крестика). Тогда уравнение принимает вид:

64 = 2^I

Так как 64 = 2⁶, то уравнение принимает вид:

2⁶ = 2^I

Таким образом, I = 6 бит, то есть количество информации, полученное вторым игроком после хода первого, составляет 6 бит.

На практике существует множество ситуаций, когда возможные события имеют различные вероятности реализации. В этом случае для вычисления количества информации используется формула Шеннона (названа по имени автора):

I = - p_ilog₂p_i

где I – количество информации,

N – количество возможных событий,

p_i – вероятности отдельных событий.

Например, пусть при бросании несимметричной четырехгранной пирамидки вероятности отдельных событий будут следующими: p₁=0,5, p₂=0,25, p₃=0,125 p₄=0,125. Тогда количество информации, которое можно получить после реализации одного из указанных событий можно рассчитать по формуле Шеннона.

I = - (0,5log0,5 + 0,25log0,25 + 0,125log0,125 + 0,125log0,125) бит = -(0,5*(-1) + 0,25*(-2) + 0,125*(-3) + 0,125*(-3)) = -(-0,5 – 0,5 – 0,375 – 0,375) = 0,5 + 0,5 + 0,375 + 0,375 = 1,75 бит

Для частного, но широко распространенного случая, когда события равновероятны (p_i = 1/N), величину количества информации можно рассчитать по формуле:

I = - log₂ = log₂N

Минимальной единицей количества информации является бит. В информатике система образования кратных единиц измерения количества информации отличается от принятых в большинстве наук. Поскольку компьютер оперирует в двоичной системе счисления в кратных единицах измерения количества информации используется коэффициент 2ⁿ.

1 байт = 2³бит = 8 бит

1 Кбайт = 2¹⁰ байт = 1024 байт

1 Мбайт = 2²⁰ байт = 1024 Кбайт

1 Гбайт = 2³⁰ байт = 1024 Мбайт