Информационные характеристики источника сообщений

Элементы теории информации.

Лекция 32.

Количественная мера информации. Из определения информации как совокупности неизвестных для получа­теля сведений следует, что в общем случае дать оценку количест­ва информации довольно затруднительно, так как всякое подле­жащее передаче сообщение имеет свое содержание, свой смысл и определенную ценность для получателя. Одно и то же сообщение может давать одному получателю много информации, другому ма­ло. Однако содержательная сторона сообщений несущественна для теории и техники связи и поэтому не учитывается при опре­делении количественной меры информации.

В основу измерения количества информации положены вероят­ностные характеристики передаваемых сообщений, которые не свя­заны с конкретным содержанием сообщений, а отражают степень их неопределенности (неожиданности). Естественно, что чем мень­ше вероятность сообщения, тем больше информации оно несет.

Логарифмическая мера, впервые предложенная в 1928 г. англий­ским ученым Р. Хартли, обладает свойством аддитивности, что со­ответствует нашим интуитивным представлениям об информации (сведения, полученные от двух источников, складываются). Кроме того, при Р(а) = 1 количество информации равно нулю, что соответствует принятому определению информа­ции (сообщение об известном событии никакой информации не не­сет).

Энтропия источника. Большинство реальных источни­ков выдают сообщения с различными вероятностями. Например, в тексте буквы А, Е, О встречаются сравнительно часто, а Щ, Ы, Ъ — редко. При разных вероятностях сообщения несут различное количество информации. При решении большинства практи­ческих задач необходимо знать среднее количество информации, приходящееся на одно сообщение.

Термин «энтропия» заимствован из термодинамики, где выра­жение характеризует среднюю неопределенность состояния системы молекул вещества. В теории информации этот термин и способ вычисления введен в 1948 г. амери­канским ученым К. Шенноном и далее более строго определен со­ветскими математиками А. Я- Хинчиным и А. Н. Колмогоровым. Физически энтропия Я (Л) выражает среднюю неопределенность состояния источника сообщений и является объективной информа­ционной характеристикой источника. Энтропия всегда положитель­на и принимает максимальное значение.

Для источника с зависимыми сообщениями энтропия также вычисляется как математическое ожидание количества информа­ции этих сообщений. Следует отметить, что полученное в этом случае значение энтропии меньше, чем источника независимых со­общений. Это физически следует из того, что при наличии зависи­мости сообщений неопределенность выбора уменьшается и, соот­ветственно, уменьшается энтропия. Так, в тексте после сочетания «чт» вероятнее всего, что третьей буквой будет «о» и маловероят­но появление в качестве третьей буквы «ж» или «ъ». В среднем сочетание «что» несет меньше информации, чем эти буквы в от­дельности.

Избыточность источника. Под избыточностью всегда понимают что-то лишнее (ненужное). Что же избыточное (лиш­нее) имеется в источнике, выдающим какую-то информацию? Из­быточными в источнике считаются сообщения, которые несут ма­лое, а иногда и нулевое, количество информации. Время на их пе­редачу тратится, а информации передается мало. Наличие избы­точности означает, что часть сообщений можно и не передавать по каналу связи, а восстановить на приеме по известным статисти­ческим связям. Так и поступают при передаче телеграмм, исклю­чая из текста союзы, предлоги, знаки препинания, поскольку они легко восстанавливаются по смыслу телеграммы на основании из­вестных правил построения фаз.

Избыточность при передаче сообщений имеет свои положитель­ные и отрицательные стороны. Увеличение избыточности приводит к увеличению времени передачи сообщений, излишней загрузке ка­налов связи. За заданный промежуток времени по каналу переда­ется меньшее количество информации, чем это возможно, поэтому одной из задач теории информации и техники кодирования явля­ется задача сокращения избыточности.

Однако при увеличении избыточности появляется возможность повышения помехоустойчивости передачи сообщений. Так, избыточ­ность текста позволяет легко исправлять отдельные ошибки или восстанавливать пропуски букв или даже слов в телеграмме. У русского, да и у всех европейских языков, избыточность с учетом всех статистических зависимостей букв примерно одинакова. Она сформировалась в результате длительной, обществен­ной практики на основе требований исправления искажения слов и фраз под воздействием различных мешающих факторов. При практическом выполнении систем связи устанавливается компро­миссное значение избыточности, обеспечивающее заданные ско­рость и надежность передачи сообщений.

Производительность источников сообщений

Производительность источника сообщений является одной иэ основных его характеристик, так как каналы передачи сообщений должны строиться так, чтобы обеспечить передачу выдаваемого источником количества информации. Для типовых первичных сиг­налов, считая, что преобразователь сообще­ния — первичный сигнал — не вносит искажений, расчеты произ­водительности сведены в таблицу. При подсчете производительности источников непрерывных сооб­щений (первичных сигналов) считалось, что распределение уров­ней квантования равновероятно и АЦП обеспечивает высокое ка­чество (малый шум квантования).