Энтропия простейших эргодических источников

1. r =0. Это значит, что элементы последовательности взаимозависимы. Источник имеет лишь одно состояние S ₀ с p (S ₀)=1 и возвращается в него при поступлении очередного элемента x_j. Тогда p (S ₀/ S _v)= p (x_j) и (3.32) преобразуется к виду

что соответствует (1.10)

2. r =1. Здесь вероятность перехода из одного состояния источника в другое

p (S_e/S_k) = p (x_j/x_q), а возможное число таких переходов равно m, как и число состояний источника. Вероятность нахождения источника в состоянии S_k,

p (S_k) = p (x_k) и

(1.33)

3. r= 2. Вероятность перехода p (S_e /S_k) = p (S_hj /S_qh), а число состояний источника S_k – это число пар x_q, x_h и равно оно m ².

При этом

Число переходов S_hj/S_qh равно объёму алфавита m (количеству возможных значений элемента j)

C учётом полученных выражений

(1.34)