А. Энтропийный подход

Впервые энтропийный подход к определению количества информации предложил американский ученый Клод Шеннон. Он предложил формулу: прирост информации, полученный по результатам случайного эксперимента, равен устраненной неопределенности. Из этого утверждения следует, что неопределенность и информация должны измеряться одной и той же мерой. Величина, характеризующая количество неопределенности в случайном эксперименте называется энтропией.

Сущность данного утверждения можно пояснить на примере эксперимента со случайным бросанием монеты. Пусть возможны два варианта организации опытов. В первом случае подбрасывается дефектная монета. При бросании такой монеты никакой неопределенности нет – монета всегда падает на одну и ту же сторону. При проведении опытов с обычной монетой исход опытов – выпадение «орла» или «решки» равновероятен.

В результате проведения опыта с дефектной монетой не снимается никакая неопределенность и не получается никакая новая информация, - ведь результат был заранее известен. Во втором случае по результатам опыта снимается максимальное количество неопределенности (энтропии) и получается максимально возможное количество информации. Ведь до проведения опыта невозможно отдать предпочтение одному из исходов.

Энтропийный подход широко используется при определении количества информации, передаваемой по каналам связи. Выбор при приеме информации осуществляется между символами алфавита в принятом сообщении. Пусть сообщение, принятое по каналу связи, состоит из N символов (без учета связи между символами в сообщении). Тогда количество информации в сообщении может быть подсчитано по формуле Шеннона:

где P i– вероятность появления в сообщении символа i; k – количество символов в алфавите языка.

Анализ формулы Шеннона показывает, что количество информации в двоичном представлении (в битах или байтах) зависит от двух величин: количества символов в сообщении и частоты появления того или иного символа в сообщениях для используемого алфавита. Этот подход абсолютно не отражает насколько полезна полученная информация, а позволяет определить лишь затраты на передачу сообщения.