Сложение энтропии независимых систем

Пусть системы X и Y независимы, то есть принимают свои состояния независимо одна от другой, тогда по теореме умножения вероятностей (для независимых случайных величин)

Далее возьмем математическое ожидание от левой и правой части

отсюда

(1.5)

Таким образом, при объединении независимых систем их энтропии складываются. При объединении n независимых систем