Информационные аспекты изучения систем

Информация как свойство материи. Информация в настоящее время рассматривается как фундаментальное свойство материи.

Философия объясняет это следующим образом. Т. к. информация представляет собой некие знания, а знание, в свою очередь, есть отражение реального мира, а отражение является всеобщим свойством материи, то таковым является и информация.

О том, что информацию можно оценить количественно, философия говорит так: между объектом и знанием о нем всегда есть некоторое соответствие, и чем сильнее выражено это соответствие, тем больше информации знание содержит об объекте.

Несколько по-другому к вопросу о количестве информации подходят конкретные науки. Они утверждают, что исчерпывающего знания об изучаемом объекте, процессе, явлении получить невозможно в принципе уже хотя бы потому, что в процессе познания участвует человек, а значит 100%-ой объективности быть не может. Отсюда следует, что в полученных знаниях всегда присутствует некоторая неопределенность. Меру этой неопределенности установил еще в Х1Х веке известный ученый Л. Больцман. Он изучал термодинамические процессы в тепловых машинах, и не смог их описать, пока не ввел специальное понятие, которое он назвал энтропией, и не вывел формулу для определения ее величины.

Уже тогда (в 1877 г.) Л. Больцман определил энтропию как недостающую информацию о процессе, правда, в то время его не поняли. И только когда К. Шэнноном была создана теория информации, и его формула для информационной энтропии оказалась абсолютно идентичной формуле Л. Больцмана для энтропии термодинамической, стало ясно, что это не случайное совпадение.

Сигналы в системах. Отвлечемся немного от количественных оценок информации и поговорим о сигналах. Сигналы в системах являются средством перенесения информации в пространстве и во времени. В качестве сигналов используются некоторые объекты, вернее, не сами объекты, а их состояния. Это может быть проиллю-

стрировано на следующем примере.

Пример. Колебания воздуха могут быть звуками музыки, речью лектора, пением птиц или шу-

мом самолета; с магнитной ленты можно стереть одну запись и сделать другую и т.д.

Далее, объект, информацию о котором мы хотим получить, взаимодействует не только с нами, но и с другими объектами, однако для них он сигналом не является. И наоборот, мы, желая получить информацию об интересующем нас объекте, одновременно получаем информацию и о многих других объектах. Для того чтобы выделить из большого количества поступающей к нам информации нужный сигнал, необходимо иметь код. Вся посторонняя информация при этом является помехами или шумом. И если нам не удалось получить нужный нам сигнал, то причин может быть две: либо сигнал заглушается шумом, либо имеет место рассогласование кодов.

В искусственных системах рассогласование кодов может иметь место, если они специально засекречены (наука – криптография), а в природных системах выделить

нужный сигнал не удается, главным образом, из-за незнания кода.

Это ярко прослеживается на примере поиска внеземных цивилизаций, когда уже более 40 лет земляне регулярно посылают в космос различные сигналы, а также прослушивают его. Однако до

сих пор никаких положительных результатов это не дало.

Поскольку сигналы служат для переноса информации в пространстве и во времени, в качестве переносчиков сигналов могут использоваться только те объекты, которые достаточно устойчивы по отношению к течению времени или к изменению положения в пространстве. С этой точки зрения выделяют два типа сигналов:

- статические, обладающие стабильными состояниями (книга, фотография, магнитофонная запись и т.п.), и

- динамические, т.е. сигналы, которые не могут быть локализованы в одном месте, но способны к распространению (звук, свет и радиосигналы).

Динамические сигналы при этом используются преимущественно для передачи, а статические – для хранения информации, хотя можно найти и противоположные примеры (письма, газеты и т.д.).

Основные параметры информации. А теперь вернемся к количественным оценкам информации. Т. к. информация допускает количественную оценку, она должна характеризоваться определенными параметрами.

Энтропия. Первым таким параметром является энтропия. Энтропию как количественную меру неопределенности случайных процессов можно проиллюстрировать

следующим примером.

Пример. Если некоторое событие может произойти с вероятностью 0,99 и, следовательно, не произойти с вероятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5, то в первом случае событие можно прогнозировать «почти наверняка», во втором же случае неопреде-

ленность исхода столь велика, что от прогноза лучше воздержаться.

Согласно теории информации К. Шэннона энтропией случайного объекта Х с конечным множеством возможных состояний Х₁, …, Х_i, …, Х_n с соответствующими

вероятностями р₁, …, р_i, …, р_п является величина:

Н(Х) = - . (3.1)

Нетрудно заметить, что только эта зависимость обладает качествами, которыми должна обладать мера неопределенности, а именно:

- Н(р₁, …, р_п) = 0 в том и только в том случае, когда какое-нибудь одно р_i равно единице (а остальные – нули);

- Н(р₁, …, р_п) достигает наибольшего значения при р₁ = р₂ = … = р_п = 1/n, т.е. в случае максимальной неопределенности.

Количество информации можно определить как меру уменьшения неопределенности в результате получения сигнала. Это соответствует разности энтропий до и

после приема сигнала:

I(X, Y) = H(X) – H(X / Y), (3.2)

где Н(Х) – энтропия до получения сигнала; Н(Х / Y) – энтропия после получения сигнала (символ Х / Y означает, что процесс из состояния Х перешел в состояние Y).

Единицы измерения энтропии и количества информации. Из определения Н и I следует, что, они безразмерны, а из линейной связи между ними (3.2) – что они имеют одинаковые единицы измерения. Поэтому для определенности будем говорить об энтропии.

За единицу энтропии принимается такая неопределенность случайного объекта,

что

Н(Х) = - = 1. (3.3)

Наименьшее число возможных состояний объекта, при которых он остается еще случайным, равно 2, т.е. п = 2. Если и в основании логарифма взять 2, то из равенства - р₁ log p₁ – p₂ log p₂ = 1 следует, что р₁ = р₂ = ½. Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название «бит». Количество информации в 1 бит дает бросание монеты.

Сигнал передается набором символов. Однако по ряду причин количество информации, которое несет сигнал, обычно меньше, чем то, которое он мог бы нести по своей физической природе. Для описания этого свойства сигналов введено понятие избыточности и определена ее количественная мера.

Если сигнал длиной в п символов содержит количество информации I, то исходя из принципа избыточности, то же количество информации может быть представлено с помощью меньшего числа символов (п₀). В качестве меры избыточности R принимается относительное удлинение сигнала, соответствующее данной избыточности

R = (n – n₀) / n = 1 – I₁ / I_{1 max}, (3.4)

где I₁ = I / n - количество бит информации, приходящееся на один символ при наличии избыточности; I_{1 max} = I / n₀ - количество бит информации на один символ без учета избыточности.

Следующим важнейшим параметром является скорость передачи информации. Эта величина определяется по формуле (3.2), где энтропии исчисляются на единицу

времени.

Пример. Для наглядного представления о величине скорости передачи информации можно указать, что темп обычной речи соответствует скорости порядка 20 бит/с, муравьи обмениваются ин-

формацией путем касания усиков со скоростью около 0,1 бит/с.

Скорость передачи информации по каналу связи зависит от многих факторов – энергии сигнала, числа символов в сигнале, полосы частот, способа кодирования и декодирования и др. По возможности ее, конечно, нужно увеличивать, однако обычно существует предел, выше которого увеличение скорости передачи информации по каналу невозможно в принципе. Этот предел называется пропускной способностью канала. Для представления о порядке величины пропускной способности

можно привести такие примеры.

Примеры. 1. Прямыми измерениями установлено, что пропускная способность зрительного, слухового и тактильного каналов связи человека имеют порядок 50 бит/с (вопреки распространенному мнению о сильном отличии зрительного канала).

Если предложить человеку нажимать педаль или кнопку в темпе получения сигналов, т.е. включить в канал и «исполнительные» органы человека, то пропускная способность близка к 10 бит/с. Следует отметить, что многие бытовые технические устройства слабо согласованы с органами чувств человека. Например, канал телевидения имеет пропускную способность в десятки

миллионов бит/c.

Для системного анализа теория информация имеет двоякое значение.

- во-первых, можно проводить количественные исследования информационных потоков в изучаемой или проектируемой системе;

- во-вторых, системный анализ неизбежно выходит на определение наличных и необходимых ресурсов, которые потребуются для решения анализируемой проблемы. И информационные ресурсы играют здесь далеко не последнюю роль.