Определения количества информации в сообщении

Пусть А – некоторое случайное событие, относительно которого известно, что оно может произойти с вероятностью Р_А. Предположим, что до момента наступления этого события к получателю информации приходит некоторое сообщение, абсолютно точно предсказывающее исход случайного испытания. Ставится вопрос о том, какова количественная мера информации, содержащейся в данном сообщении. Впервые эту задачу поставил и решил американский инженер Хартли в конце 20-х годов. Он предложил вычислять количество информации, содержащейся в сообщении, по формуле:

                                                  (2.1)

где логарифм может быть взят при любом основании. В дальнейшем оказалось, что удобнее всего пользоваться двоичными логарифмами. При этом:

                                                  (2.2)

Хотя с физической точки зрения величина I безразмерна, ее стали измерять в условных единицах, называемых битами. Выбор двоичных логарифмов диктуется тем, что сообщение в технически реализуемых каналах связи чаще всего принимал форму отдельных групп (кодовых слов), состоящих только из двух символов, которые можно трактовать как 0 и 1. Каждая такая казалось, что уи любом основании.        ле:XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXгруппа кодирует, например, буквы того или иного естественного языка, из которых составляются отдельные слова.