Расчет энтропии источника

Передаваемая информация представляет собой совокупность следующих сигналов:

1) а₁ – знак числа, а₁= (0,1). Заранее указать его невозможно, поэтому, в соответствии с признаком максимальной энтропии, Р₁ = 0.5.

2) а₂ – количество цифр целой части числа, а₂ = 0

3) а₃ – число в интервале от 0 до наибольшего по абсолютной величине х, а₃= 204.

Если допустить, что цифры по КС передаются двоичным кодом, то для передачи числа 204 требуется l разрядов:

2^l = 204 (4.1)

l = 7.672

После округления в большую сторону для расчетов принято l = 8. Таким образом, а₃ = [0, 204] передается с помощью двойного кода с количеством разряда, равным 8. Заранее указать значение числа невозможно, поэтому, в соответствии с принципом максимальной энтропии, Р = 1/2⁸.

Таким образом, передаваемая информация состоит из трех сигналов и представляет собой сложное сообщение.

При передаче сигналов их энтропия находится по формуле Шеннона:

Н (4.2)

H₁ = - 0.5 * log₂0.5

H₁ = 0.5 бит/символ

H₂ = - 1*log₂1

H₂ = 0 бит/символ

H₃ =

H₃ = 8 бит/символ

На основании правила сложения энтропий при передаче сложного сообщения, можно найти энтропию датчика сообщения:

H(А) = H₁ + H₂ + H₃ (4.3)

H(А) = 8.5 бит/символ

Расчет ширины спектра сигнала

Любой непрерывный датчик характеризуется шириной спектра сигнала dF. В соответствии с теоремой Котельникова, для обеспечения неискаженного процесса передач необходимо показание датчика снимать с интервалом времени dt:

dF = (4.4)