Предположим, что опыт – это генерация источником случайных последовательностей элементов (сигналов) с признаками 1, 2, 3…m. Число различимых элементов называют объемом алфавита источника. Заметим, что статистические свойства источника неизменные, поэтому вероятности появления элементов в последовательностях достаточно большой длины n также можно считать неизменными.
Согласно теореме об умножении вероятностей для опыта со случайными неравновероятными и взаимонезависимыми исходами средняя вероятность появления любой последовательности сигналов источника длиной
(1.8)
Где – числа элементов с признаками 1, 2, 3…m в последовательности длиной n.
и при этом
(1.9)
Заметим, что число возможных последовательностей N здесь определяется как все размещения с повторениями из n по m
Так как для данного источника , к нему возможно применить для вычисления среднего значения энтропии выражение в форме 1.2
=
бит/последоват. (1.10)
Величина
Нсэ=бит/элемент (1.11)
Называется средней удельной энтропией многоэлементного источника.
В расчетах информационных характеристик систем широко используется понятие частной энтропии
бит/исход (1.12)
При реализации конкретного исхода опыта получают количество информации
бит/исход (1.13)
И называют полной энтропией на "I" исход опыта.