Энтропия сложной системы

Ранее мы рассмотрели одну систему, а как быть, если имеем дело со сложной системой, представляющей собой соединение нескольких простых систем.

Например, пусть имеются две системы X=(x₁, …x_i, …, x_n) и Y=(y_1…,y_j, … y_m). Чему будет равняться энтропия сложной системы H(x,y)? При этом могут быть две ситуации. Системы X и Y могут быть независимыми или зависимыми.

Рассмотрим ситуацию для случая независимых систем. Для этого необходимо определить вероятности совместных событий p_ij= p(x_i, y_j).

При этом данная матрица обладает свойствами:

, ,

После того, как станут, известны все вероятности, нетрудно вычислить энтропию.

(1.4)