Единицы измерения информации

Под количеством информации понимают меру снятия неопределенности ситуации при получении сообщения. В решении определения количества информации существуют два основных подхода. В конце 40-х годов ХХ века один из основоположников кибернетики американский математик Клод Шеннон, развил вероятностный подход. А работы по созданию ЭВМ, привели к использованию объемного способа измерения информации, учитывающего количество символов, содержащихся в сообщении. Длина сообщения при этом обусловлена используемым алфавитом.

При этом для измерения информации вводятся два параметра: количество информации I и объем данных Vд.

Вероятностный подход основан на энтропии Н – величина, характеризующая неопределенность информации. На ней строятся теории Хартли и Шеннона, описанные следующими формулами:

Н=log₂N – аддитивная мера Хартли

Н= - - формула Шеннона определения среднего количества информации в сообщении с учетом известных вероятностных характеристик его элементарных составляющих,

где N – количество элементов, определяющих сообщение, P_j – априорная (доопытная) вероятность появления элемента х_j в сообщении, log₂P_j – количество информации в битах, доставляемой элементом х_j сообщения.

Наименьшей единицей измерения информации является Бит. Это двоичная ячейка памяти, которая может находиться в двух состояниях: «0» когда амплитуда импульса равна 0 или близка к нему, и «1», когда амплитуда импульса приближена к напряжению источника питания.

Выбор такой единицы количества информации связан с наиболее распространенным способом ее обработки на компьютере с помощью двоичного кода.

1 Бит – это количество информации, содержащейся в сообщении типа «да» – «нет», что в двоичном коде равнозначно символам 1 – 0.

Основной единицей количества информации, воспринимаемой и обрабатываемой компьютером является Байт, объединяющий блоки данных из 8 Бит. Т.о. 1Байт = 8Бит. Байт записывается в память компьютера, считывается и обрабатывается как единое целое. Количественная совокупность Байт называется машинным словом.

Информация, обрабатываемая компьютером поступает в него уже закодированной.

Кодирование информации

Для автоматизации работы с данными, очень важно унифицировать их форму представления – для этого обычно используется прием кодирования, т.е. выражение данных одного типа через данные другого типа. Человеческие языки – это ни что иное, как системы кодирования понятий для выражения мыслей по средствам речи. Проблема универсального средства кодирования достаточно успешно реализуется в отдельных отраслях техники науки и культуры (телеграфная азбука, система Брайля для слепых, система записи математических выражений и др.)

Своя система существует и в вычислительной технике – она называется двоичным кодированием и основана на представлении данных последовательностью всего двух знаков: 0 и 1. эти знаки называют двоичными цифрами.