Количество информации, передаваемое в канале с помехами (статистическая модель)

Используя понятие условной энтропии как остаточной можно на основании выражения 1… записать

(1.55)

Условная энтропия H (X/Y) – мера остаточной неопределённости о переданном ансамбле сигналов Х, если известен ансамбль принятых сигналов. Аналогично можно записать

(1.56)

,

где H (Y/X) – мера неуверенности в том, что если был принят ансамбль сигналов Y, то был отправлен ансамбль Х.

Преобразуем (1.55) с учётом (1.48)

(1.57)

Заменив во втором слагаемом суммы (1.57) произведение на равное ему , сведём выражение для к виду

(1.58)

Тогда

(1.59)

Располагая матрицей условных вероятностей (1.51) переписывается в виде

(1.60)

Итак, вычисление количества информации, передаваемой в канале, основывается на знании статистических свойств объекта, представляющего собой источник, канал связи с помехами и приёмник сигналов.