Свойства энтропии. 1.Энтропия является неотрицательной вещественной величиной

1.Энтропия является неотрицательной вещественной величиной. Это так, поскольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение – p_i×log p_i положительно.

2.Энтропия ограничена сверху значением 1.

3.Энтропия равна 0, только если одно из состояний имеет вероятность, равную 1 (полностью определенный источник).

4.Энтропия максимальна, когда все состояния источника равновероятны. При этом H_max(U_N) = log₂ N.

5.Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.

6.Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.

7.Энтропия характеризует среднюю неопределенность выбора одного состояния из ансамбля, не учитывая содержательную сторону (семантику) состояний.

8.Энтропия как мера неопределенности согласуется с экспериментальными психологическими данными. Время безошибочной реакции на последовательность случайно чередующихся равновероятных раздражителей растет с увеличением их числа так же, как энтропия, а при переходе к неравновероятным раздражителям, среднее время реакции снижается так же, как энтропия.

Единицы количества информации

Бит – очень мелкая единица измерения количества информации. Более крупная единица – байт, состоящий из восьми битов. (Восьмибитный байт стал стандартным только с распространением системы IBM System 360 (ЕС ЭВМ), до того в разных вычислительных системах использовались байты разного размера.)

Применяются и более крупные единицы:

Килобайт (Кбайт) – 1024 байт – 2¹⁰ байт

Мегабайт (Мбайт) – 1024 Кбайт – 2²⁰ байт

Гигабайт (Гбайт) – 1024 Мбайт – 2³⁰ байт

Терабайт (Тбайт) – 1024 Гбайт – 2⁴⁰ байт

Петабайт (Пбайт) – 1024 Тбайт – 2⁵⁰ байт

В качестве единицы количества информации можно было бы выбрать количество информации, содержащееся, например, в выборе одного из десяти равновероятных сообщений. Такая единица будет называться дит или десятичной единицей.