2015-02-24
6885
Разработаны различные способы оценки количества информации.
В 1928 году американский инженер Ральф Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного наперед заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.
Формула Хартли:
I = log2 N.
В качестве примера использования формулы Хартли рассмотрим задачу. Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 = 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
А теперь рассмотрим другую задачу: являются ли равновероятными сообщения «первой выйдет из дверей здания женщина» и «первым выйдет из дверей здания мужчина». Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то такая вероятность одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.
|
|
|
Для подобных задач американский ученый Клод Шеннон предложил в 1948 году другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.
Формула Шеннона:
I = - (p 1·log2 p 1 + p 2·log2 p 2 +... + pN ·log2 pN),
где pi — вероятность того, что именно i -е сообщение выделено в наборе из N сообщений.
Легко заметить, что если вероятности p 1,..., pN равны, то каждая из них равна 1/ N, и формула Шеннона превращается в формулу Хартли.
