Количественная оценка информации

ТЕОРИЯ ИНФОРМАЦИИ. СЕНСОРНЫЕ СИСТЕМЫ.

Основные понятия теории информации.

Количественная оценка информации.

Информационная энтропия.

Сенсорные системы. Основные понятия.

Закон Вебера.

Закон Вебера-Фехнера.

Закон Стивенса.

Основные понятия теории информации

Слово «информация» происходит от латинского – разъяснение, изложение, осведомленность. В течение многих веков понятие информации не раз претерпевало изменения, то расширяя, то предельно сужая свои границы. Сначала под этим словом понимали «представление», «понятие», затем – «сведения», «передачу сообщений».

В XX в. бурное развитие получили всевозможные средства связи (телефон, телеграф, радио), назначение которых заключалось в передаче сообщений. Однако эксплуатация их выдвинула ряд проблем: как обеспечить надежность связи при наличии помех, какой способ кодирования сообщения применять в том или ином случае, как закодировать сообщение, чтобы при минимальной его длине обеспечить передачу смысла с определенной степенью надежности. Эти проблемы требовали разработки теории передачи сообщений, иными словами, теории информации.

Существует несколько определений понятия «информация».

(Н. Винер) – информация означает содержание, полученное из внешнего мира в процессе приспособления к ней нас и наших органов чувств.

(К. Шеннон) – это мера той неопределенности, которая исчезает после получения сведений о системе.

(Н.М. Амосов) – информация это нечто, что может передаваться от одной системы к другой, в результате чего изменяются обе системы (т.е. когда две системы взаимодействуют между собой: одна система отдает, другая что то принимает) т.е. это нечто и есть «информация».

Можно привести более общее определение – информация это совокупность сведений о всевозможных явлениях, объектах и предметах, привносящих новые знания о них.

Многочисленность определений информации связана с одной стороны с широтой этого понятия, с другой со свойствами присущими информации.

Свойства информации:

1. Информация приносит знания об окружающем мире, которых в рассматриваемой точке пространства не было до получения информации.

2. Информация не материальна, но проявляется в форме материальных носителей – дискретных знаков и сигналов.

3. Информация может быть заключена и в знаках и в их взаимном расположении.

4. Знаки и сигналы несут информацию только для получателя, способного их распознать.

Использование информации для целей управления ставит вопросы ее количественной оценки.

Количественная оценка информации

Попытки количественного измерения информации предпринимались неоднократно. Первые отчетливые предложения об общих способах измерения количества информации были сделаны Р. Фишером (1921 г.) в процессе решения вопросов математической статистики. Проблемами хранения информации, передачи ее по каналам связи и задачами определения количества информации занимались Р. Хартли (1928 г.) и X. Найквист (1924 г.). Р. Хартли заложил основы теории информации, определив меру количества информации для некоторых задач. Наиболее убедительно эти вопросы были разработаны и обобщены американским инженером Клодом Шенноном в 1948 г. С этого времени началось интенсивное развитие теории информации вообще и углубленное исследование вопроса об измерении ее количества в частности.

Для того чтобы применить математические средства для изучения информации, потребовалось отвлечься от смысла, содержания информации. Этот подход был общим для упомянутых нами исследователей, так как чистая математика оперирует с количественными соотношениями, не вдаваясь в физическую природу тех объектов, за которыми стоят соотношения. Например, если находится сумма двух чисел 5 и 10, то она в равной мере будет справедлива для любых объектов, определяемых этими числами. Поэтому, если смысл выхолощен из сообщений, то отправной точкой для информационной оценки события остается только множество отличных друг от друга событий и соответственно сообщений о них.

Предположим, нас интересует следующая информация о состоянии некоторых объектов: в каком из четырех возможных состояний (твердое, жидкое, газообразное, плазма) находится некоторое вещество?

Во всех этих случаях имеет место неопределенность интересующего нас события, характеризующаяся наличием выбора одной из четырех возможностей. Если в ответах на приведенные вопросы отвлечься от их смысла, то оба ответа будут нести одинаковое количество информации, так как каждый из них выделяет одно из четырех возможных состояний объекта и, следовательно, снимает одну и ту же неопределенность сообщения. Неопределенность неотъемлема от понятия вероятности. Уменьшение неопределенности всегда связано с выбором (отбором) одного или нескольких элементов (альтернатив) из некоторой их совокупности. Такая взаимная обратимость понятий вероятности и неопределенности послужила основой для использования понятия вероятности при измерении степени неопределенности в теории информации.

Предположим, что какое-то событие имеет m равновероятных исходов. Таким событием может быть, например, появление любого символа из алфавита, содержащего m таких символов. Как измерить количество информации, которое может быть передано при помощи такого алфавита? Это можно сделать, определив число N возможных сообщений, которые могут быть переданы при помощи этого алфавита. Если сообщение формируется из одного символа, то N = m, если из двух, то N = m · m = m ². Если сообщение содержит n символов (n – длина сообщения), то N = mⁿ. Казалось бы, искомая мера количества информации найдена. Ее можно понимать как меру неопределенности исхода опыта, если под опытом подразумевать случайный выбор какого-либо сообщения из некоторого числа возможных. Однако эта мера не совсем удобна. При наличии алфавита, состоящего из одного символа, т.е. когда m = 1, возможно появление только этого символа. Следовательно, неопределенности в этом случае не существует, и появление этого символа не несет никакой информации. Между тем, значение N при m = 1 не обращается в нуль. Для двух независимых источников сообщений (или алфавита) с N ₁ и N ₂ числом возможных сообщений общее число возможных сообщений N = N ₁ N ₂, в то время как логичнее было бы считать, что количество информации, получаемое от двух независимых источников, должно быть не произведением, а суммой составляющих величин.

Выход из положения был найден Р. Хартли, который предложил информацию I, приходящуюся на одно сообщение, определять логарифмом общего числа возможных сообщений N:

I (N) = log N

Если же все множество возможных сообщений состоит из одного (N = m = 1), то I (N) = log 1 = 0, что соответствует отсутствию информации в этом случае. При наличии независимых источников информации с N ₁ и N ₂ числом возможных сообщений

I (N) = log N = log N ₁ N ₂ = log N ₁ + log N ₂,

т.е. количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источников, взятых порознь. Формула, предложенная Хартли, удовлетворяет предъявленным требованиям. Поэтому ее можно использовать для измерения количества информации.

Если возможность появления любого символа алфавита равновероятна (а мы до сих пор предполагали, что это именно так), то эта вероятность р = 1/ m. Полагая, что N = m,

I = log N = log m = log (1/ p) = – log p,

т.е. количество информации на каждый равновероятный сигнал равно минус логарифму вероятности отдельного сигнала.

Полученная формула позволяет для некоторых случаев определить количество информации. Однако для практических целей необходимо задаться единицей его измерения. Для этого предположим, что информация – это устраненная неопределенность. Тогда в простейшем случае неопределенности выбор будет производиться между двумя взаимоисключающими друг друга равновероятными сообщениями, например между двумя качественными признаками: положительным и отрицательным импульсами, импульсом и паузой и т.п. Количество информации, переданное в этом простейшем случае, наиболее удобно принять за единицу количества информации. Именно такое количество информации может быть получено, если взять логарифм по основанию 2. Тогда

I = – log₂ p = – log₂ 1/2 = log₂ 2 = 1

Полученная единица количества информации, представляющая собой выбор из двух равновероятных событий, получила название двоичной единицы, или бита. Название bit образовано из двух начальных и последней букв английского выражения binary unit, что значит двоичная единица. Бит является не только единицей количества информации, но и единицей измерения степени неопределенности (информационной энтропии). При этом имеется в виду неопределенность, которая содержится в одном опыте, имеющем два равновероятных исхода.

Следующей по величине единицей измерения количества информации является байт, причем 1 байт = 2³ бит = 8 бит.

Кратные байту единицы измерения количества информации вводятся следующим образом:

1 Кбайт = 2¹⁰ байт = 1024 байт;

1 Мбайт = 2¹⁰ кбайт = 1024 кбайт;

1 Гбайт = 2¹⁰ Мбайт = 1024 Мбайт.
На количество информации, получаемой из сообщения, влияет фактор неожиданности его для получателя, который зависит от вероятности получения того или иного сообщения. Чем меньше эта вероятность, тем сообщение более неожиданно и, следовательно, более информативно. Сообщение, вероятность которого высока и, соответственно, низка степень неожиданности, несет немного информации.

Р. Хартли понимал, что сообщения имеют различную вероятность и, следовательно, неожиданность их появления для получателя неодинакова. Но, определяя количество информации, он пытался полностью исключить фактор «неожиданности». Поэтому формула Хартли позволяет определить количество информации в сообщении только для случая, когда появление символов равновероятно и они статистически независимы. На практике эти условия выполняются редко. При определении количества информации необходимо учитывать не только количество разнообразных сообщений, которые можно получить от источника, но и вероятность их получения.

Наиболее широкое распространение при определении среднего количества информации, которое содержится в сообщениях от источников самой разной природы, получил подход К Шеннона. Рассмотрим следующую ситуацию.

Источник передает элементарные сигналы k различных типов. Проследим за достаточно длинным отрезком сообщения. Пусть в нем имеется N ₁ сигналов первого типа, N ₂ сигналов второго типа,..., N_k сигналов k -го типа, причем N ₁ + N ₂ +... + N_k = N – общее число сигналов в наблюдаемом отрезке, f ₁, f ₂,..., f_k – частоты соответствующих сигналов. При возрастании длины отрезка сообщения каждая из частот стремится к фиксированному пределу, т.е.

lim f_i = p_i, (i = 1, 2,..., k),

где р_i можно считать вероятностью сигнала. Предположим, получен сигнал i -го типа с вероятностью р_i, содержащий – log p_i единиц информации. В рассматриваемом отрезке i -й сигнал встретится примерно Np_i раз (будем считать, что N достаточно велико), и общая информация, доставленная сигналами этого типа, будет равна произведению Np_i log р_i. То же относится к сигналам любого другого типа, поэтому полное количество информации, доставленное отрезком из N сигналов, будет примерно равно

Чтобы определить среднее количество информации, приходящееся на один сигнал, т.е. удельную информативность источника, нужно это число разделить на N. При неограниченном росте приблизительное равенство перейдет в точное. В результате будет получено асимптотическое соотношение – формула Шеннона

В последнее время она стала не менее распространенной, чем знаменитая формула Эйнштейна Е = mc ². Оказалось, что формула, предложенная Хартли, представляет собой частный случай более общей формулы Шеннона. Если в формуле Шеннона принять, что

р ₁ = p ₂ =... = р_i =... = p_N = 1/ N, то

Знак минус в формуле Шеннона не означает, что количество информации в сообщении – отрицательная величина. Объясняется это тем, что вероятность р, согласно определению, меньше единицы, но больше нуля. Так как логарифм числа, меньшего единицы, т.е. log p_i – величина отрицательная, то произведение вероятности на логарифм числа будет положительным.

Кроме этой формулы, Шенноном была предложена абстрактная схема связи, состоящая из пяти элементов (источника информации, передатчика, линии связи, приемника и адресата), и сформулированы теоремы о пропускной способности, помехоустойчивости, кодировании и т.д.

Рис. 1. Общая схема системы передачи информации

(1949 г. К. Шеннон)