Определение количества информации

В определенных, весьма широких условиях можно пренебречь качественными особенностями информации, выразить её количество числом, а также сравнить количество информации, содержащейся в различных группах данных.

Количество информации зависит от новизны сведений об интересном для получателя информации явлении, другими словами, получая информацию, мы уменьшаем неполноту знаний, т.е. неопределенность. Если в результате полученного сообщения неопределенность полностью исчезнет, то есть будет достигнута полная ясность, то говорят, что полученная информация была исчерпывающей, полной.

Подходы к определению количества информации. Формулы Хартли и Шеннона.

Клод Шеннон, американский учёный, рассматривает информацию как снятую неопределенность наших знаний о чем-то.

Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

Формула Хартли: I = log₂N

Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I=log₂100>6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.

Определим теперь, являются ли равновероятными сообщения "первой выйдет из дверей здания женщина" и "первым выйдет из дверей здания мужчина". Однозначно ответить на этот вопрос нельзя. Все зависит от того, о каком именно здании идет речь. Если это, например, станция метро, то вероятность выйти из дверей первым одинакова для мужчины и женщины, а если это военная казарма, то для мужчины эта вероятность значительно выше, чем для женщины.

Для задач такого рода американский учёный Клод Шеннон предложил в 1948г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Формула Шеннона: I=-(p₁log₂p₁ + p₂log₂p₂ +... + p_Nlog₂p_N),

где p_i – вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.

Легко заметить, что если вероятности p₁,..., p_N равны, то каждая из них равна 1/N, и формула Шеннона превращается в формулу Хартли.