Энтропия типовых дискретных распределений

Решение ряда задач передачи информации основано на моделях опытов, у которых вероятности исходов имеют аналитические выражения. Простейшая такая модель – равномерное распределение – опыт с равновероятными m взаимонезависимыми исходами.

Аналитические выражения для равномерного дискретного распределения и средней удельной энтропии источника равномерно распределенных сообщений имеют вид

(1.14)

бит/исход

а его полигон представлен на рис. 1.1

Рис. 1.1

Биномиальному распределению, или распределению Бернулли подчиняется случайная величина, определяющая число l появлений случайного события в последовательности из n независимых испытаний. Распределение описывается зависимостями,

(1.15)

бит/последоват.

где p –вероятность появления случайного события в одном испытании.

Полигон биномиального распределения приведен на рис. 1.2

Рис. 1.2

В приложении, например, к задаче определения вероятности появления ошибок (трансформации элементов) крайности в случайной последовательности двоичных элементов длиной n, p -вероятность трансформаций элементов в этой последовательности, когда элемент «0» заменяется на «1», или наоборот, «1» переходит в «0». При этом условные вероятности

P( 0 / 1 ) = P( 1 / 0 ) =p (1.16)

Когда вероятность появления ошибок весьма мала, p ®0, распределение Бернулли переходит в распределение Пуассона, для которого выражения для P(x_i=l) и H_CЭ принимает более простую форму

(1.17)

бит/последоват.

Где – интенсивность, или среднее число ошибок на интервале n,

Из других типовых распределений следует назвать такие, как геометрическое гипергеометрическое и др. [ ]