Расчет энтропии сообщения

Понятие энтропии вводится дли измерения неопределенности состояния процесса. Исторически оно было введено в физике, математике и других точных науках. В информатике энтропия – степень неопределенности источника информации или его способности отдавать информацию. Она характеризует степень исходной неопределенности, которая присуща элементам алфавита, выбранного для передачи сообщения. Алфавит с малой энтропией, как правило, мало пригоден для практического использования.

Расчет энтропии сообщения, написанного на алфавите с равновероятным распределением символов

Развивая идеи Хартли, К. Шеннон ввел очень важное понятие энтропии источника – среднее значение количества информации, приходящееся на один символ алфавита. Исходя из определения, для данного случая энтропия рассчитается следующим образом:

Для буквенной части сообщения:

                                                             (2.7)

Н₁ = 5 бит/символ

Для цифровой части сообщения:

                                                           (2.8)

Н₂ =  3.32  бит/символ

Энтропия всего сообщения:

Н = Н₁+ Н₂                                                                                     (2.9)

Н = 8.32 бит/символ

2.2.2. Расчет энтропии сообщения, в котором буквы попадаются со своей вероятностью

Согласно тому же определению энтропии источникасообщения, в котором буквы попадаются со своей вероятностью, она определится таким же образом:

Для буквенной части сообщения:

                                                          (2.10)

          Н₁₁ = 3.06 бит/символ

Для цифровой части сообщения энтропия остается неизменной, т.к. количество информации также не меняется. Она определится по формуле 2.8.

Таким образом, полная энтропия сообщения определится как:

Н = Н₁₁ + Н₂                                                                                  (2.11)

     Н = 6.38 бит/символ

Таким образом, в данном пункте было определено количество информации и энтропия сообщения М для двух случаев: сообщение написано на алфавите, в котором буквы распределены с равной вероятностью, и в случае, когда сообщение написано на алфавите, в котором буквы попадаются со своей вероятностью.

Как энтропия сообщения, так и количество информации в нем меньше в том случае, когда оно написано на алфавите, буквы которого попадаются со своей вероятностью.