Измерение информации

Шенноном было введено понятие количества информации как меры неопределенности состояния системы, снимаемой при получении информации. Количественная мера неопределенности состояния называется энтропией. При получении информации уменьшается неопределенность, то есть энтропия системы. Получение информации связано с изменением степени неосведомленности получателя о состоянии системы.

Если система Х обладает дискретными состояниями, то есть может переходить из состояния в состояние скачком, их количество равно N, а вероятность нахождения системы в каждом состоянии p₁, p₂, …,p_N, Sp_i = 1, p_i £ 1, то энтропия системы равна:

Если после получения сообщения энтропия, то есть неопределенность состояния системы, стала , то количество информации равно

Таким образом, количество информации измеряется уменьшением неопределенности состояния системы. Энтропия H равна нулю только когда все вероятности p_i, кроме одной, равны нулю, а эта единственная вероятность равна единице. Таким образом, только в случае полной определенности состояния системы.

Чем выше уровень неопределенности выбора, тем большую степень неожиданности имеет результат выбора и тем большую информацию он несёт. Поэтому в теории информации количество информации является мерой снятия неопределенности.

За единицу количества информации принято такое количество информации, которое содержит сообщение уменьшающее неопределённость знания в 2 раза. Такая единица названа бит.

Компьютер оперирует числами в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2ⁿ.

Следующей по величине единицей измерения количества информации является байт, причём

1 байт = 2³ бит = 8 бит.

Кратные байту единицы измерения количества информации вводятся следующим образом:

1 Кбайт = 2¹⁰ байт = 1024 байт

1 Мбайт = 2¹⁰ Кбайт =1024 Кбайт = 220 байт

1 Гбайт = 2¹⁰ Мбайт = 1024 Мбайт = 220 Кбайт = 230 байт.