За единицу количества информации принято элементарное количество информации о событии, которое заключается в выполнении одного из двух равновероятных исходов

Такая единица названа бит. (bit — binary digit — двоичная цифра).

Компьютер оперирует числами не в десятичной, а в двоичной системе счисления, поэтому в кратных единицах измерения количества информации используется коэффициент 2 ⁿ.

Следующей по величине единицей измерения количества информации является байт, причем

1 байт = 2³ бит = 8 бит.

Для обозначения больших количеств информации применяются производные от байта единицы:

1 Кбайт = 2 ¹⁰ байт = 1024 байт

1 Мбайт = 2 ¹⁰ Кбайт = 1024 Кбайт

1 Гбайт = 2 ¹⁰ Мбайт = 1024 Мбайт

В общей теории информации (раздел теории алгоритмов) предлагается алгоритмический метод оценки информации в сообщении.

Каждый согласится, что слово 0101...01 сложнее слова 00...0, а слово, где 0 и 1 выбираются из эксперимента - бросания монеты (где 0 – «орел», 1 – «решка»), сложнее обоих предыдущих.

Компьютерная программа, производящая слово из одних нулей, крайне проста: печатать один и тот же символ. Для получения 0101...01 нужна чуть более сложная программа. Случайная, не обладающая никакими закономерностями последовательность не может быть произведена никакой "короткой " программой. Длина программы, производящей хаотичную последовательность, должна быть близка к длине последней.

Таким образом любому сообщению можно приписать количественную характеристику, отражающую сложность (размер) программы, которая позволяет ее произвести.

Для определенности задаются некоторой конкретной вычислительной машиной, например машиной Тьюринга, а предполагаемая количественная характеристика - сложность слова (сообщения) определяется как минимальное число внутренних состояний машины, требующихся для его воспроизведения