Энтропия объединений. Условная энтропия

Объединением называются совместные опыты со взаимозависимыми исходами. Пример объединения – действие источника и приёмника сигналов в канале с помехами, если заданы вероятностные характеристики источника, приёмника и процесса передачи сигналов.

Источник производит сигнал х ₁, х ₂, … х_i,… х_m, приёмник принимает y ₁, y ₂, … y_i,… y_m при этом заданы распределения безусловных вероятностей p (х ₁), p (х ₂), … p (х_i),… p (х_m), а также условных вероятностей y_j / x_i, x_i / y_j.

Как известно, безусловные и условные вероятности в совместных опытах связаны выражением

(1.45)

На основе этого энтропия объединения

(1.46)

Действие помех приводит к тому, что передавая сигнал х_i, в последовательности будет получать разные сигналы y_j, что и отражается канальной матрицей.

Задавая качественные признаки сигналов (частоту, фазу и др.) в соответствии с характеристиками помех обеспечивают наибольшие значения условных вероятностей на главной диагонали матрицы, что и обеспечивает возможность передачи информации по каналу.

(1.47)

С учётом (1.45) получим

(1.48)

В преобразованиях (1.48) использованы замены двойных сумм вложенными, также тот факт, что сумма условных вероятностей

(1.49)

В выражении (1.48) первое слагаемое – это энтропия источника Н (X), а Н (Y/X) – это средняя условная энтропия – мера неопределённости того, какой ансамбль принятых сигналов соответствует ансамблю переданных. Эта энтропия складывается из частных условных энтропий

(1.50)

путём их усреднения с учётом распределения безусловных вероятностей p(x_i)

(1.51)

Частная условная энтропия – мера неопределённости принятого ансамбля относительно переданного сигнала x_i

На основании двойственности зависимости (1.45) можно записать

H (Y,X) = H (Y) + H (X/Y) (1.52)

Условные вероятности p (y_j/x_i) могут принимать граничные значения p (y_j/x_i) = 1, если принятые сигналы такие же, как и переданные и p (y_j/x_i) = p (y_j), т.е. какая-либо связь между переданными и принятыми сигналами отсутствует.