Количество информации

Сигналы в системах.

Информация в системе управления возникает при обработке сигналов, поступивших из внешней среды. В качестве сигналов используются состояния некоторых объектов (каналов связи), соответствующим определенным состояниям управляемого объекта и внешней среды.

Кроме этого, на состояние каналов связи влияют и другие объекты и системы из внешней среды, несущественные с точки зрения целей системы управления. Это воздействия являются помехами или шумами. При изучении каналов связи и их свойств можно рассматривать их в достаточной степени автономно, отвлекаясь от системы управления в которую они входят и говорить, что сами сигналы - это и есть информация, передаваемая посредством этого канала. Канал - носитель информации, передающий ее во времени и пространстве.

Для образования сигналов могут быть использованы только объекты, состояния которых достаточно устойчивы, во времени или по изменению положения в пространстве. В связи с этим сигналы делятся на два типа:

1). Стабильные состояния физических объектов (книга, фотография, маг. запись) - статические сигналы.

2). Динамические состояния физических полей. Изменение их состояния не локализовано (в неизолированной части поля) и приводит к распространению возмущения. Конфигурация этого возмущения обладает определенной устойчивостью, что обеспечивает сохранение сигнала (звук - колебания в газе, твердом теле, жидкости, радиосигналы,... электромагнитного поля), такие сигналы называются динамическими.

Н. Винер: общество простирается до тех пределов, до каких распространяется информация.

Идея, что информация допускает количественную оценку, выдвинута Хартли в 1928 г., теорию разработал Клод Элвуд Шеннон в 1948 г. Эти идеи возникли из необходимости каналов связи, для определения характеристик устройств, преобразующих сигналы, выбора способа кодирования.

Если отвлечься от смыслового содержания информации и ее ценности для получателя, то всякое сообщение можно рассматривать как сведение об определенном событии xi, ti, указывающим, в каком состоянии находилась среда в момент t.

Рассмотрим дискретные сообщения. Они представляют собой последовательности символов, взятых из некоторого набора - алфавита. Каждый символ - это буква такого алфавита. С помощью любого алфавита можно передать данные о состоянии, выбранном из сколь угодно большого числа возможных состояний , известных получателю сообщения. Для этого достаточно передать число-номер выбранного состояния. Числа можно записывать в разных системах счисления (десятичная, римская, в древней Греции и др. местах буквами и словами обозначали числа). Наиболее широко используются позиционные системы счисления, среди них - десятичная.

Пример:

В качестве основания можно взять любое натуральное число (>1). Наиболее экономной по числу цифр является двоичная система 0, 1

Основание системы счисления

Число в двоичной системе может быть передано последовательностью сигналов, состоящих из импульсов тока и пауз между ними.

РИС

Различных двоичных последовательностей длины m имеется 2 m, поэтому с помощью последовательностей такой длины можно передать сообщения о N=2 mразличных событиях.

Для передачи сообщения об одном из N событий необходимо сообщение длиной m=log2 N.

Целесообразно считать, что максимальное количество информации, содержащееся в сообщении пропорционально его длине Hmax~ m=log2 N

За единицу информации принимается количество информации в сообщении единичной длины, т.е. в одном двоичном разряде. Эта единица называется бит (binary digit)

Hmax=log2 N (Хартли 1928 г.). Эта мера обладает двумя важными свойствами:

Монотонно растет с ростом N

РИС

Аддитивна.

Пусть сообщение a выбирается из N возможных, а независимое от него сообщение b из N возможных, тогда в сложном сообщении, составленном из a и b (которое может быть выбрано из различных сложных сообщений), может содержится информация:

т.е. равна сумме количеств информации в каждом из сообщений.

Hmaxуказывает верхнюю границу количества информации, которая может содержаться в сообщении. Действительное количество информации зависит не только от количества возможных сообщений, но и от их вероятностей.

Пример:

1). Сообщение о том, что у Ваших знакомых родился мальчик или родилась девочка. Равновероятные сообщения p1=p2=1/2.

2). Сообщение о том, родилась двойня или нет.