Информация

Понятие “информация” имеет несколько определений, зависящих от рассматриваемых точек зрения на нее. Философию интересует взаимосвязь информации и материи. С этой точки зрения материалистическая философия определяет информацию как свойство материи, результат отражения реальной действительности. Имеется в виду результат непосредственного отражения. В мозгу человека, или в технических устройствах, происходит процесс преобразования исходной информации (накопление, обобщение, сопоставление, логические выводы), что ведет к появлению новой информации. Это результат обобщающего отражения.

Различные течения философии имеют свои точки зрения на информацию. Одни утверждают, что понятие “информация” не распространяется на неживую природу, другие, - что информация существует только тогда, когда она используется человеком.

Мы будем придерживаться компромиссной трактовки, что понятием информация объединяются характеристики объектов живой и неживой природы, которые являются потенциальным источником сведений различного рода для людей, так и сами сведения, извлекаемые (получаемые) людьми. В качестве рабочего примем более краткое определение:

Определение: 1.8 Информацией называют сведения об окружающем мире, протекающих в нем процессах.

Информация, зафиксированная на носителях, приобретает свойства реальных объектов со своими характеристиками: объемом, скоростью и направлением движения, возможностями по целевому использованию и т.п. Носители могут иметь любую физическую природу и форму: бумага, магнитные ленты и диски, электромагнитные и электрические колебания и др.

Информация передается, обрабатывается в виде отдельных сообщений.

Весьма важным является вопрос взаимоотношения человека и получаемой им информации: цели извлечения (получения) информации, виды оценки и использования ее. С этой точки зрения существуют следующие подходы к анализу информации: синтаксический, семантический и прагматический.

При синтаксическом подходе осуществляется структурный анализ информации (количество сообщений, форма их представления, статистические характеристики появления и т.д.)

При семантическом подходе анализируется смысловое содержание информации и влияние ее на человека и решаемые им задачи.

Прагматический подход связан с оценкой полезности, ценности получаемой информации.

Практически потребности человека определили функции информации в жизни и деятельности человека, направления исследования ее. Информация играет в жизни человека исключительно важную роль. Он постоянно использует ее в различных целях. Не только человек, но и все живое на земле постоянно испытывает потребность в притоке вещества, энергии и информации. Удовлетворение любой потребности требует информации о путях и способах достижения цели.

Информация изучается также с точек зрения влияния ее на человека в плане психологического, эстетического и нравственного воздействия.

Весьма важно отметить динамические свойства информации. Объекты и явления окружающего нас мира постоянно меняются с различной скоростью. Изменения эти носят случайный характер как по моментам проявления, по параметрам, диапазону изменения параметров, так и по законам изменения. Информация - как отражение этих процессов - тоже носит динамический, случайный характер. Всегда необходима обновленная информация, которая призвана устранять неопределенность ситуации в данный момент.

Функции информации в жизни человека и общества многогранны. Они зависят от решаемых задач, от целей использования информации, от внешних условий, от запаса времени и других ресурсов, предназначенных для достижения цели.

Обобщенной функцией информации является обеспечение выживаемости и развития человека и общества в сложном и изменчивом окружающем нас мире. Она складывается из ряда частных функций, которые предъявляются в различной степени в зависимости от внешних условий и характера деятельности человека. Наиболее часто мы сталкиваемся с проявлениями следующих функций информации:

а) управленческой, которая проявляется во всех элементах повседневной жизни в трудовой деятельности, и призвана помочь человеку в выборе варианта собственного поведения или варианта целенаправленного воздействия на объекты и процессы реального мира;

б) коммуникационной, которая проявляется при обмене информацией между людьми, и направлена на организацию взаимодействия между ними;

в) познавательной, которая обусловлена потребностью в информации, необходимой для общего развития, приобретения специальности и, вообще, для удовлетворения потребности к новому безотносительно к его прагматическому значению;

г) психологической, проявляющейся при формировании определенного эмоционального настроя с помощью некоторых видов информации, способов ее подачи человеку.

С развитием человеческого общества заметно увеличивается ряд информационных функций, меняются их приоритеты у человека. Существенно, что в чистом виде функции почти не проявляются. Практически всегда присутствуют элементы управленческой, коммуникационной и других функций в комплексе. Приоритет отдается функции, определяющей интегральную цель использования информации.

Приведенная классификация функций носит чисто прикладной характер. В таком конкретном виде их трудно использовать в математических моделях. Нужна определенная степень абстракции. Обобщенным свойством информационных функций является их нацеленность на устранение неопределенности нашего представления о состоянии интересующих нас объектов и процессов реального мира на данный момент или после некоторых воздействий на них внутренних или внешних сил. Именно на устранение неопределенности ориентированны процессы сбора, передачи и обработки информации. Степень изменения неопределенности ситуации положена в основу количественной меры информации.

1.8 Количественная мера информац ии

При введении количественной меры информации (Норберт Винер и Клод Шеннон) было принято смысловое содержание сообщений (семантику) не учитывать, а ограничиваться только формальными признаками, важными с точки зрения передачи сообщений по каналам связи. В итоге учитывается только число N сообщений, подлежащих передаче, и вероятность Р(xi) поступления их на вход канала. Всю совокупность сообщений представляют в виде некоторой системы Х c состояниями xi

X= (х1 х2 … хN)

р (х1) р (х2) p (хN),

N

S p (xi) = 1, (1.1)

i=1

где xi - отдельные сообщения (или их типы, классы), р (xi) - априорные вероятности появления сообщений xi.

В результате передачи сообщения xi по каналу связи будет получено сообщение yј.Оно может с некоторой вероятностью быть похоже на любое из (х1, х2, … хN) сообщений. В том числе оно может быть похоже на переданное сообщение xi.Апостериорная (послеопытная) вероятность присутствия xiвyјравна р (xi / yј).

В основу меры количества информации положены изменения вероятностей появления сообщений от априорного значения p (xi) на входе канала к апостериорному значению р (xi / yј) на выходе канала, связанные с искажениями информации в канале. Сравнивая вероятностиp (xi) и р (xi / yј)можно установит меру количества информации, переданной через данный канал. Удобной мерой оказался логарифм отношения апостериорной вероятности к априорной.

Количество информации, содержащееся в событии yјотносительно события xiопределяется по формуле

I (xi; yј) = logр (xi / yј) / p (xi) (1.2)

Основанием логарифма могут быть: 2, e или 10. В зависимости от основания меняются единицы измерения количества информации (бит – дв. ед.; нит – нат. ед.;Хартли – дес. ед.)

Свойства количества информации I (xi;yi)

1. Свойство симметрии.

Информация, содержащаяся в yјотносительно xi, равна информации, содержащейся в xi относительно yј. Это становится очевидным, если числитель и знаменатель в (1.2) умножить на p(yј) и произвести преобразования:

I (xi, yј) = logр (xi /yј) ּ p (yј) / p (xi) ּ p (yј) =

= logр (xi,yј) / p (xi) ּ p (yј) = I (xi; yј),

поскольку р (xi, yј)= p (yј) ּ p(xi / yj) = p (xi) ּ p(yj / xi) - вероятность совместного появления yј и xi.

В результате указанного свойства величину I (xi; yј)называют количеством взаимной информации между xi и yј.

2. Свойство аддитивности

Информация, содержащаяся в паре символов yј, zk относительно xi, равна сумме информации, содержащейся в уј относительно хi и информации, содержащейся в zk относительно xi при условии, что значение yј известно

I (xi; yј; zk) = I (xi; yј) + I (xi; zk / yј). (1.3)

Количество собственной информации в xi определяется из (1.2) при p(xi / yj) = 1

I (xi) = - log р (xi). (1.4)

Эта величина определяет количество информации, необходимое для однозначного определения xi на выходе канала.

С учетом введенного понятия (1.4) можно преобразовать выражение (1.2) к виду

I (xi; yј) = I (xi) - I (xi / yј),

где I (xi / yј) = - log p (xi / yј) - условная собственная информация.

Среднее количество взаимной информации получается путем усреднения (1.2) по всем i и ј:

N M

I (Х; У) = ∑ ∑ p (xi, yј) ּ log p (xi / yј) / p (xi)

i=1 ј=1

Энтропия

Она определяет меру неопределенности всего множества сообщений на входе канала и вычисляется как среднее количество собственной информации во всех сообщениях:

I (Х) = - ∑ p (xi) ּ log p (xi) = H(X).

Свойства энтропии:

Энтропия Н(Х) неотрицательна.

Энтропия Н(Х) ≤ log N.

Величина log N = D называется информационной пропускной способностью алфавита (информационной емкостью алфавита).

Если N = 2, то р(х1) = р, р(х2) = 1-р

Н(Х) = - р log p - (1-p) log (1-p).

Максимум Н(Х) =log 2=1 – емкость двоичного алфавита равна 1 бит.

Зависимость H(X) от величины р:

Рис. 1.1.

Для объединенных ансамблей

N M

H(X, Y) = - ∑ ∑ p (xi, yј) ּ log p (xi, yј). (1.6)

i=1 ј=1

Частная условная энтропия

M

H(Y/xi) = - ∑ p (yј /xi) ּ log p (yј / xi). (1.7)

ј=1

Среднее значение частных условных энтропий называется условной энтропией

N

H(Y / X) = - ∑ p (xi) ּ H(Y/xi). (1.8)

i=1

Она характеризует неопределенность исхода событий у при известных событиях х.

Если учесть, что математическое ожидание есть результат усреднения по всем состояниям, то выражения (1.5), (1.6) и (1.8) можно записать в виде

N

Н(Х) = - ∑ p (xi) ּ log p (xi),

i=1

Н(Y/X) = M [ - log p (Y / X)],

Н(X,Y) = M [- log p (xi, yј)],

где М – математическое ожидание. Из теории вероятности известно, что p (x, y) = p (x) p (у/х) = р(у) р(х/у).

После логарифмирования и применения операции поиска математического ожидания получаем соотношения:

Н(Х,У) = Н(Х) + Н(У/Х),

Н(Х,У) = Н(Х) + Н(Х/У). (1.9)

В другой форме (1.9) имеет вид

Н(Х) – Н(Х/У) = Н(У) – Н(У/Х). (1.10)

Левую часть (1.10) можно интерпретировать как среднее количество информации I(Х,У), доставленное в пункт приема, равно среднему количеству переданной информации Н(Х) минус среднее количество информации Н(Х/У), потерянное вследствие действия шумов.

Правая часть (1.10) содержит энтропию шума Н(У/Х) при известном сигнале Х. Обе части равенства (1.10) одинаково пригодны для определения среднего количества переданной по каналу информации.

Энтропия систем с непрерывным множеством состояний вычисляется по правилам анализа дискретных систем с предварительным квантованием плотности вероятности w(x) с шагом ∆х.

Тогда число состояний в системе будет равно

N = (х max - x min) / ∆х,

а вероятности состояний р (xi) = w(x) ∆х.

Используя известные формулы данного раздела, можем получить энтропию

N

Н ∆х (х) = - ∑ ω(xi) ∆х ּ log {ω(xi) ∆х }.

i=1

После преобразований и устремления ∆х к нулю получаем

Н ∆х (Х) = Н* (Х) – log ∆х. (1.11)

Величина Н*(Х) называется приведенной энтропией. Она равна

∞

Н* (Х) = -∫ ω(x) log ω(x) dx. (1.12)