Единицы измерения информации

Статистический подход

Алфавитный подход

Комбинаторный подход

Меры и единицы количества и объема информации

Имеется несколько подходов, которые устанавливают количество информации в сообщении, при этом учитываются синтаксические и семантические характеристики информации.

Количество информации в комбинаторной мере – это число возможных комбинаций информационных элементов.

Размещениями из n элементов по m называются такие их соединения, которые различаются друг от друга самими элементами и их порядком. Например, размещения их трех элементов А, В, С по 2: АВ, АС, ВС, ВА, СА, АС. Число всех размещений из n различных элементов по m равняется:.

Перестановками из n элементов называются их соединения, отличающиеся друг от друга только порядком входящих в них элементов. Например, перестановки из трех элементов А, В, С: АВС, АСВ, ВСА, ВАС, САВ, СВА. Число перестановок из n элементов равняется n!.

Сочетаниями из n элементов по m называются их соединения, отличающиеся друг от друга только самими элементами. Например, сочетания из трех элементов А, В, с по 2: АВ, АС, ВС. Число всех сочетаний из n различных элементов по m равняется.

Количество информации I, приходящееся на один символ сообщения. определяют по формуле Хартли:

I=log₂N

где N – число возможных символов, которое может использоваться при передаче сообщения.

Например, при передаче символов русского алфавита, который содержит 33 буквы, количество информации будет равно I=log₂33=5,04. Это значит, что для кодирования 33-х букв требуется 6 бит.

Статистический подход базируется на понятии энтропии и служит для оценки меры информационной неопределенности, учитывающей вероятность появления событий.

Количество информации определяется, как мера уменьшения неопределенности знаний о передаваемой информации.

Формула шеннона:

где N – число возможных символов, которое может использоваться при передаче сообщения;

p_i – вероятность появления i-го символа в сообщении.

Количество информации, определяемое по формуле Шеннона, называют информационной энтропией. Энтропия при равенстве всех вероятностей имеет наибольшее значение, при этом формула Шеннона совпадает с формулой Хартли.

Минимальной единицей информации является бит.

Бит – это количество информации, которое можно записать в одном двоичном разряде. Двоичный разряд может принимать значение 1 или 0.

Байт равняется 8 битам. Один байт может принимать 256 различных значений, (т.е. можно закодировать 256 различных символов).

Более крупными единицами информации являются килобайты (К), мегабайты (М), гигабайты (Г) и терабайты (Т). По определению: 1 килобайт = 1024 байт.

1 Кбайт = 2¹⁰ байт = 1024 байт.

1 Мбайт = 2²⁰ байт = 1024 Кбайт.

1 Гбайт = 2³⁰ байт = 1024 Мбайт.

1 Тбайт = 2⁴⁰ байт = 1024 Гбайт.