Вероятностный подход

В настоящее время получил распространение подход к определению понятия «количество информации», основанный на том, что информацию, содержащуюся в сообщении, можно нестрого трактовать в смысле ее новизны или, иначе, уменьшения неопределенности наших знаний об объекте.

Определение. Количество информации можно рассматривать как меру уменьшения неопределённости знания при получении информационных сообщений.

За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа битом.

Американский инженер Р. Хартли (1928 г.) процесс получения информации рассматривает как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определяет как двоичный логарифм N. Формула Хартли:

I = log₂ N (2)

или из уравнения (2)

N = 2^I (3)

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log ₂100» 6,644. То есть сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единиц информации.

Американский ученый Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе. Количество информации для событий с различными вероятностями определяется по формуле Шеннона:

(бит) (4)

где p_i - вероятность того, что именно i -е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p_i равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.

Пример 1. В корзине лежат 8 мячей разного цвета (черный, белый, синий, красный, желтый, зеленый, фиолетовый, коричневый). Какое количество информации несет в себе сообщение о том, что из корзины будет вынут мяч белого цвета?

Решение: Так как возможность вынуть мяч любого цвета равновероятна, то для определения количества информации, содержащегося в сообщении о том, что вынут мяч белого цвета, воспользуемся формулой (2): I = log₂ N = log₂ 8 = 3 бита.

Ответ: 3 бита.

Пример 2. В корзине лежат 16 мячей разного цвета: 4 белых, 8 синих, 4 красных. Какое количество информации несет в себе сообщение о том, что из корзины извлечен один мяч?

Решение: Так как количество мячей различного цвета неодинаково, то вероятности о цвете вынутого мяча различны. Для определения вероятностей разделим количество мячей одного цвета на общее количество мячей. Вероятность вынуть мяч белого цвета р_б = 4/16 = 0,25, синего цвета р_с = 8/16 = 0,5, красного цвета р_к = 4/16 = 0,25.

Так как события не являются равновероятными, то для определения количества информации, содержащегося в сообщении о том, что из корзины вынут мяч, воспользуемся формулой (4):

I = – (р_б * log₂ р_б + р_с log₂ р_с + р_к * log₂ р_к) = – (0,25 * log₂ 0,25 + 0,5 log₂ 0,5 + 0,25 * log₂ 0,25) = 1,5 бита.

Ответ: 1,5 бита.

Пример 3. Сообщение о том, что ваш знакомый живет на 5 этаже, несет в себе 4 бита информации. Сколько этажей в доме?

Решение: Обозначим через N – количество этажей. Так как события проживания на любом этаже равновероятны, то воспользуемся формулой (3).

N = 2^I = 2⁴ = 16.

Ответ: 16 этажей.