Основные свойства условной энтропии

1. Если сообщения X и Y статистически независимы, то условная энтропия сообщений Y относительно X равна безусловной энтропии сообщений Y: H(Y/X)=H(Y). В этом случае вся информация, которую содержат сообщения Y, является новой по отношению к информации, содержащейся в сообщениях X.

В самом деле, если сообщения X и Y статистически независимы, то p(y_j/x_i)=p(y_j) и общая условная энтропия может быть записана в форме

Так как сумма вероятностей всех состояний Х равна единице , то или Р(Y/X)=Р(Y).

2. Если сообщения X и Y являются статистически жестко связанными, то условная энтропия сообщений Y относительно X равна нулю H(Y/X)=0. Это означает, что сообщения Y не содержат никакой новой информации сверх той, которая содержится в сообщениях Х.

3. Условная энтропия всегда меньше безусловной энтропии H(Y/X)<H(Y).

В случае если имеются n - зависимых систем, энтропия объединения будет равна:

H(X₁; X₂; X₃;...;X_n) = H(X₁)+H(X₂ /X₁)+H(X₃ /X₁ X₂) +... +H(X_n / X ₁X ₂... X_n). Энтропия первой системы входит полностью, энтропия второй системы с учетом того, что первая определена, третей - первые две определены и т.д.