Предположим, что опыт – это генерация источником случайных последовательностей элементов (сигналов) с признаками 1, 2, 3… m. Число различимых элементов называют объемом алфавита источника. Заметим, что статистические свойства источника неизменные, поэтому вероятности появления элементов в последовательностях достаточно большой длины n также можно считать неизменными.
Согласно теореме об умножении вероятностей для опыта со случайными неравновероятными и взаимонезависимыми исходами средняя вероятность появления любой последовательности сигналов источника длиной
(1.8)
Где – числа элементов с признаками 1, 2, 3… m в последовательности длиной n.
и при этом
(1.9)
Заметим, что число возможных последовательностей N здесь определяется как все размещения с повторениями из n по m
Так как для данного источника , к нему возможно применить для вычисления среднего значения энтропии выражение в форме 1.2
=бит/последоват. (1.10)
Величина
Нсэ =бит/элемент (1.11)
Называется средней удельной энтропией многоэлементного источника.
|
|
В расчетах информационных характеристик систем широко используется понятие частной энтропии
бит/исход (1.12)
При реализации конкретного исхода опыта получают количество информации
бит/исход (1.13)
И называют полной энтропией на " I " исход опыта.