Измерение количества информации

Использование терминов «больше информации» или «меньше информации» подразумевает некую возможность ее измерения (или хотя бы количественного соотнесения).

В решении этой проблемы существуют два основных подхода: вероятностный и объемный. Американский инженер Р. Хартли в 1928 г. рассматривал процесс получения информации как выбор одного сообщения из конечного заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N:

I=log₂N.

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется:

I= Log₂100 ~ 6,644.

Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Клод Шеннон развил вероятностный подход к измерению количества информации. В 1948 году он предложил другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Формула Хартли является частным случаем формулы Шеннона. Работы Джон фон Неймана по созданию ЭВМ привели к объемному подходу измерения количества информации.

Объемный подход

Объем информации в сообщении – это количество символов в сообщении. Поскольку, например, одно и то же число может быть записано многими разными способами (использованием разных алфавитов):

«двадцать пять»

XXV

то этот способ чувствителен форме представления (записи) сообщения. В вычислительной технике вся обрабатываемая и хранимая информация вне зависимости от ее природы (число, текст, отображение) представлена в двоичной форме с использованием алфавита, состоящего из двух символов 0 и 1, называемых битами (от английского Binary digit — двоичная цифра). Такая стандартизация позволила ввести две стандартные единицы: бит и байт. Байт – это восемь бит.

Для измерения количества информации используются также более крупные единицы:

1 Килобайт = 1024 байта (2¹⁰ байта)

1 Мегабайт =1024 Кбайта (2²⁰ байта)

1 Гигабайт = 1024 Мбайта (2³⁰ байта)

1 Терабайт = 1024 Гбайта (2⁴⁰ байта)

1 Петабайт = 1024 Тбайта (2⁵⁰ байта)

1 Экзабайт = 1024 Пбайта (2⁶⁰ байта)