Определение информации. Основы теории информации сообщений

Основы теории информации сообщений

Радиотехника, как наука о методах и средствах передачи и приема сообщений на расстояние, тесно связана с теорией информации. Поэтому первый вопрос, который следует внимательно рассмотреть, приступая к изучению радиотехники, состоит в определении понятия «сообщения», вытекающего, в свою очередь, из более обширной категории - «информация». Последний термин происходит от латинского слова «informatio», означающего изложе­ние, разъяснение.

В обыденном смысле под информацией мы обычно понимаем совокупность передаваемых или хранящихся сведений об окружающем нас мире и происходящих в нем явлениях и событиях. Информация может быть представлена в различных формах, например, в виде: устной речи, передаваемой от одного человека слушателям; печатного текста книги, журнала или газеты; фотографии или художественной картины; кинофильма или телевизионного изображения, объединяемых общим понятием «видеоинформация»; совокупности электронных данных, хранящиеся на магнитных носителях или компакт дисках, используемых в компьютерах.

Последний вид информации получил название электронной. Ее роль в повседневной жизни человека и во всех сферах его деятельности - производственной, торговой, финансовой, военной и других - с каждым годом все более возрастает, что позволяет утверждать, что XXI век будет столетием информационных технологий. Internet((Интернет) - глобальная мировая сеть, объединившая миллионы компьютеров и позволяющая обмениваться электронной информацией миллионам людей, является наглядным тому подтверждением.

Теория информации используется в самых разнообразных науках: связи, радиолокации, телевидении, медицине, биологии, генетике, лингвистике и других областях [29, 30, 36]. Поэтому понятие «информация» требует более точного определения, основанного на количественных критериях. Поскольку сведениям, поступающим с некоторого физического объекта или иного носителя информации, почти всегда присуща некоторая неопределенность, то данные кри­терии вытекают из понятий теории вероятностей. Например, к дис­петчеру на аэродроме поступают данные о высоте, направлении и скорости полета, расходе топлива и другие сведения с самолетов, находящихся в его зоне контроля. При медицинском обследовании человека врач анализирует сведения о температуре тела пациента, кровяном давлении, остроте зрения и слуха и т.д. Однако, какие точно сведения будут получены в каждом конкретном случае, ни диспетчеру, ни врачу неизвестно. Они могут только знать о возмож­ном разбросе значений различных параметров.

В этой связи рассмотрим простой случай. Положим в ящик стола восемь шаров, на которых нанесем цифры 1, 2, 3, 4,5, 6, 7, 8. Ве­роятность того, что мы вынем из ящика шар с той или иной цифрой, очевидно, равна 1/8. Такая вероятность, определяемая до прове­дения опыта, называется априорной. Обозначим ее через р₁. Вы­нув из ящика шар и взглянув на его номер, мы перейдем к апосте­риорной вероятности, которая в рассматриваемом случае равна 1. Обозначим ее через р₂.

Отношение вероятности р₂ (после опыта) к вероятности р₁ (до опыта) и может явиться количественным носителем информации. Однако, поскольку значение этого отношения может быть очень большим, то информация оценивается как логарифм данной вели­чины: I= log_a (p₂/p₁).

Из сказанного следует, что понятие «информация» связано с получением новых сведений. Если заранее со 100%-ной вероятно­стью известно содержание принятого сообщения (р₁ = р₂ = 1), то никакой новой информации получено не будет и, следовательно, значение I= 0. Так, например, сообщение о событии, прослушанное нами по второму каналу телевидения, о котором мы уже узнали из передачи по первому каналу, не принесло нам новой информации и, следовательно, в этом случае значение I= 0.

В качестве основания логарифма «а» может использоваться Любое число. Однако в большинстве случаев в технических прило­жениях теории информации принимают а = 2, поскольку передача с Сообщений в технике связи и компьютерах базируется на двоичной системе счисления.

При равной вероятности всех передаваемых М сообщений или событий, происходящих с физическим или иным объектом, и пред­ставлении р₁ в виде p₁ = 1/M = 1/2ⁿ получим из последнего выраже­ния при а = 2 и р₂ = 1.

I = log₂ M = log₂ (2ⁿ) = n (1.1)

Таким образом, при основании логарифма а = 2. величина I рав­на числу двоичных единиц, называемых битами. В рассмотренном выше примере с восемью шарами (М = 8) значение
n = log₂ (8) = 3 и, следовательно, I = 3 битам. Очевидно, при 16 шарах значение n = I = 4 битам; при 32 шарах значение n = I = 5 битам и т.д.

Рассмотрим теперь случай буквенно-цифрового текста, содер­жащего К знаков - букв, цифр и иных значков, общее число которых равно М. Будем считать появление в тексте любой буквы или циф­ры равновероятным, т.е. примем для априорной вероятности р₁ = 1/ М. Следовательно, при хранении этого текста на магнитном диске, записанного с помощью двоичного кода, получим для общего количества информации:

A = K log₂ M = K·n, (1.2)

Например, при К = 1000, М = 64 и п = log₂ М = 6 получим для об­щего количества информации, содержащейся в хранимом тексте, А = 6000 бит = 6 kбит.

С учетом разной вероятности появления в тексте той или иной буквы или цифры количество информации будет несколько отли­чаться от значения, полученного согласно (1.2).

Рассмотрим теперь случай, когда возможен прием множества символов х_1,х₂,х₃,х₄,..., х_m с разными априорными вероятностями p_1,p₂,p₃,p₄,..., p_m

Сумма вероятностей

(1.3)

Для информационного описания такого сообщения или состоя­ний системы вводится понятие энтропии, как мера неопределенно­сти ожидаемой информации:

(1.4)

Поскольку вероятность р_i < 1, то знак минус в (1.3) позволяет по­лучить значение энтропии Н > 0. При основании логарифма а = 2, равной вероятности всех М символов или событий p_i = 1/ M= 1/2 ⁿ из (1.3) получим

Согласно (1.3) и (1.4) энтропия есть среднее значение бит ин­формации, приходящееся на один символ или одно состояние фи­зического объекта. Следовательно, размерность энтропии есть бит/символ.

Пусть вероятность приема символа х₁ есть р₁ = 0,01, х₂ → р₂ = 0,1, х₃ → р₃ = 0,15, х₄ → р₄ = 0,25 х₅ → р₅ = 0,49. Тогда согласно (1.3) при а = 2 для энтропии получим Н = 1,827 бит/символ.

Можно показать, что значение энтропии максимально при рав­ной вероятности всех символов сообщения или состояний объекта. В рассмотренном примере при равной вероятности всех символов р = 0,2 энтропия Н= 2,322 бит/символ.

Рассмотрим случай объединения двух независимых систем или групп сообщений:

- первая система X имеет М состояний х₁, х₂, х₃, х₄,...,х_м с апри­орными вероятностями р_1Х, р_2Х, р_3Х, р_4Х,…, р_mХ, и энтропией Н(Х);

-вторая система У имеет К состояний у₁, у₂, у₃, у₄,... y_k С априор­ными вероятностями: р_1y, р_2y, р_3y, р_4y,…, р_my, и энтропией Н(Y);

Тогда объединенная или сложная система (X, Y) будет иметь М-К состояний с априорными вероятностями р_ij= р_iр_j и энтропией

Это выражение приводится к виду H(X,Y) = Н(Х) + H(Y), т.е. при объединении независимых систем или групп символов их энтропии складываются [36]. Такое качество объединенной системы называ­ется свойством аддитивности, вытекающим из логарифмического характера рассматриваемых зависимостей.

Таким образом, два статистических параметра - количество ин­формации и энтропия - характеризуют в первую очередь информа­ционные возможности сообщений или состояний системы.