Энтропия эргодических последовательностей

Если свойства источника сигналов, установленные в 1.2 включают в себя взаимозависимость появления элементов последовательностей этих сигналов, то такой источник называют эргодическим.

Для него вероятность появления очередного элемента последовательности х_j

(1.29)

зависит только от того, какие «r» элементов ему предшествуют.

Если вероятностные свойства источника неизменны, то последовательность, которую он вырабатывает также называют эргодической. Величина «r» называется порядком эргодического источника.

Очередный набор из r элементов определяет состояние источника S_k, из которого он при поступлении элемента x_j перейдёт в состояние S_l.

Число возможных состояний S_k эргодического источника – это число возможных сочетаний из m по r,

N = m^r (1.30)

где m -алфавит источника.

Пусть двоичный эргодический источник характеризуется величиной r =2. Тогда возможное число состояний источника N = 2² = 4, а сами состояния S_k - это двоичные комбинации.

S ₁– 00, S ₂– 01, S ₃– 10, S ₄– 11.

Согласно эргодической последовательности

Источник переходит из состояния S ₂ в S ₃, далее в S ₁, S ₄ и т.д.

Если рассматривать ряд аналогичных последовательностей достаточно большой длины (а это определяется величинами m и r), то вероятностные характеристики источника – безусловные вероятности p (0), p (1) и условные вероятности p (x_j / x_q, x_h),

x_j, x_j, x_j Є {0,1}

для любой такой последовательности будут одними и теми же.

Когда источник находится в состоянии S_е, то имеется неопределённость, из какого состояния S_к он в него перешёл. Мера одной неопределённости – энтропия, которая определяется согласно (1.10)

(1.31)