double arrow

Энтропия объединений. Условная энтропия


Объединением называются совместные опыты со взаимозависимыми исходами. Пример объединения – действие источника и приёмника сигналов в канале с помехами, если заданы вероятностные характеристики источника, приёмника и процесса передачи сигналов.

Источник производит сигнал х1, х2, … хi,… хm, приёмник принимает y1, y2, … yi,… ym при этом заданы распределения безусловных вероятностей p(х1), p(х2), … p(хi),… p(хm), а также условных вероятностей yj /xi, xi /yj .

Как известно, безусловные и условные вероятности в совместных опытах связаны выражением

(1.45)

На основе этого энтропия объединения

(1.46)

Действие помех приводит к тому, что передавая сигнал хi, в последовательности будет получать разные сигналы yj, что и отражается канальной матрицей.

Задавая качественные признаки сигналов (частоту, фазу и др.) в соответствии с характеристиками помех обеспечивают наибольшие значения условных вероятностей на главной диагонали матрицы, что и обеспечивает возможность передачи информации по каналу.

(1.47)

С учётом (1.45) получим

(1.48)

В преобразованиях (1.48) использованы замены двойных сумм вложенными, также тот факт, что сумма условных вероятностей




(1.49)

В выражении (1.48) первое слагаемое – это энтропия источника Н(X) , а Н(Y/X) – это средняя условная энтропия – мера неопределённости того, какой ансамбль принятых сигналов соответствует ансамблю переданных. Эта энтропия складывается из частных условных энтропий

(1.50)

путём их усреднения с учётом распределения безусловных вероятностей p(xi)

(1.51)

Частная условная энтропия – мера неопределённости принятого ансамбля относительно переданного сигнала xi

На основании двойственности зависимости (1.45) можно записать

H(Y,X) = H(Y) + H(X/Y) (1.52)

Условные вероятности p(yj/xi) могут принимать граничные значения p(yj/xi) = 1, если принятые сигналы такие же, как и переданные и p(yj/xi) = p(yj), т.е. какая-либо связь между переданными и принятыми сигналами отсутствует.

В первом случае

(1.53)

или H(Y,X) = H(Y)H(X) = H(Y)

Во втором

т.к. (1.54)

Из (1.54) следует, что энтропия объединения здесь достигает максимума, а передача информации от источника к приёмнику отсутствует.







Сейчас читают про: