Характеристики источника дискретных сообщений

Сообщение поступает от источника дискретных сообщений, который характеризуется алфавитом передаваемых сообщений .

Алфавит – есть совокупность всех возможных (различных) сообщений (знаков) данного источника.

Объем алфавита – число различных символов алфавита К.

Каждое сообщение алфавита появляется с некоторой вероятностью.

Вероятность выдачи символа (сообщения) – .

Количество информации в сообщении (символе) определяется вероятностью его появления. Чем меньше вероятность появления того или иного сообщения, тем большее количество информации мы извлекаем при его получении. В 1928г. Хартли предложил определять количество информации, которое приходится на одно сообщение , выражением

Энтропия. Среднее количество информации Н(А), которое приходится на одно сообщение, поступающее от источника без памяти, получим, применяя операцию усреднения по всему объему алфавита

, (1)

Выражение (1) известно как формула Шеннона для энтропии источника дискретных сообщений. Энтропия - мера неопределенности в поведении источника дискретных сообщений.

Энтропия равна нулю, если с вероятностью единица источником выдается всегда одно и то же сообщение (в этом случае неопределенность в поведении источника сообщений отсутствует). Энтропия максимальна, если символы источника появляются независимо и с одинаковой вероятностью.

Один бит - это количество информации, которое переносит один символ источника дискретных сообщений в том случае, когда алфавит источника состоит из двух равновероятных символов.

Среднее количество информации, выдаваемое источником в единицу времени, называют производительностью источника

, [бит/с], (2)