Энтропия непрерывных распределений

Многие физические процессы описываются непрерывными (аналоговыми)случайными величинами, которые в пределах своего изменения могут принимать любые значения. Число таких значений бесконечно велико (образует континуум).

Непрерывные распределения случайных величин х характеризуются функциями плотности вероятности w(x).

Для определения энтропии в этом случае перейдём от непрерывного распределения к дискретному, проквантовав случайную величину с шагом (интервалом) Δх (рис. 1.3)

Рис. 1.3

, (1.18)

где m – число дискретных значений х в пределе изменения от х_min до х_max (некоторые распределения имеют бесконечные пределы изменения от -∞ до ∞).

Выберем значение дискретной величины х_i на шаге I таким образом, чтобы выполнялось условие

, (1.19)

Левая часть этого уравнения – площадь под кривой распределения на интервале Δх_i (индекс i обозначает лишь номер интервала и Δх_i = Δх = const), а в правой – эквивалент площадь прямоугольника с высотой w (x_i). Эта площадь представляет собой вероятность попадания случайной величины х в интервал Δх_i:

P (х_i) =w (х_i) ∙Δх (1.20)

Переход от непрерывной модели к дискретной позволяет в дальнейших преобразованиях использовать выражение (1.10) для средней энтропии, полагая распределение w(x) бесконечным по аргументу

(1.21)

Устремив величину кванта Δх→0, получим:

(1.22)

Первое слагаемое называется дифференциальной энтропией

(1.23)

И полностью определяется видом функции w (x).

Второе слагаемое – это мера неопределённости перехода от непрерывной модели к дискретной с квантом Δх, или остаточная энтропия,

, (1.24)

т.к.

то, что в (1.22) и далее под знаком логарифма малая величина оставлена в форме Δх отражает тот факт, что в практических приложениях непрерывная величина всегда отображается в дискретном виде из-за ограниченной точности измерения.

Таким образом

H (x) = H_g - H_ост = H_g – log(Δx) = H_g + log(1/Δx) (1.25)

Очевидно, что при Δx → 0 H_ост → ∞ и Н (х) также бесконечно велика.

Простейший пример непрерывного распределения – равномерное (рис 1.4). Для него

и

=log(x_max-x_min) (1.26)

Рис. 1.4

Широко распространённое несмещённое нормальное распределение

, (1.27)

где σ – среднеквадратическое отношение х от 0, характеризуется дифференциальной энтропией

(1.28)

К другим известным непрерывным распределениям относятся треугольный (Симпсона), экспоненциальные, Пирсона, Коши и др.