Количественная мера информации

Цифровая обработка сигналов

Аналоговый сигнал, снимаемый с датчика в АСУ, может подвергаться цифровой обработке. Для этого он сначала превращается в аналогово-цифровом преобразователе (АЦП) в цифровую форму. Затем обрабатывается в цифровом фильтре, которым, как правило, является ЭВМ. После чего может использоваться или преобразовываться в нужную форму сигнала.

Информационные свойства сигнала

Понятие информации является центральным понятием кибернетики. Она не имеет устоявшегося и однозначного определения. Существует большое количество этих определений. Они отражают различные стороны.

С точки зрения философской, информация – отражение реального мира. С точки зрения практической, информация – классифицируется в зависимости от объекта, который она характеризует. В зависимости от этого различают виды информации:

1) технологическая;

2) техническая;

3) научная;

4) экономическая;

5) социальная;

6) медицинская;

7) культурная.

В инженерной практике наибольшее внимание уделяется анализу количественной стороны информации. В теории информации в чистом виде понятие информации не существует. Необходимым и достаточным для построения теории информации является понятие «количество информации». Вводимая мера информации должна быть удобной для анализа, синтеза, для передачи и хранения, и не чувствительной к смыслу, ценности и степени правдивости информации. То есть информация должна определяться через нечто общее. Этим общим, характеризующим факт получения произвольной информации является:

1) наличие опыта. Опытом может быть и чтение книг, и смотрение телевизора, и визуальные наблюдения, и измерения параметра с помощью прибора;

2) до опыта должна существовать некоторая определенность в том или ином исходе опыта.

Таким образом, до опыта всегда имеется большая или меньшая неопределенность интересующей нас ситуации. Разность между этими количествами неопределенности до и после опыта можно отождествлять с количеством полученной информации в результате опыта.

Исходя из вышеизложенного, к количеству информации можно предъявить три априорных условия:

1. Количество получаемой информации больше в том опыте, у которого большее число возможных исходов.

2. Опыт с единственным исходом несет количество информации равное нулю.

3. Количество информации от двух независимых опытов должно равняться сумме количества информации от каждого из них.

Функцией, удовлетворяющие этим трем условиям, является логарифмическая функция.

С и альфа – произвольные постоянные.

n – число исходов опытов.

I – информация.

2 – число исходов, Р – вероятность. Р=1/n.

Если исходы опытов не равновероятны, то усредненное количество информации будет иметь вид:

-- энтропия, H.

Энтропия – это величина случайная и априорная до проведения опыта. После проведения опыта она будет равняться нулю.

Пример:

Известно такое событие, что наш поток сдаст экзамен по автоматизации с вероятностью Р1 = 7/8. Будут люди, которые не сдадут экзамен с вероятностью Р2 = 1/8

Тогда в первом и втором случае информация для деканата будет:

В настоящее время теория информации рассматривает следующие основные вопросы:

1) анализ сигналов как средства передачи сообщений;

2) анализ информационных характеристик источников сообщения и каналов передачи информации;

3) принципы кодирования и декодирования сообщений;

4) принцип передачи информации в отсутствии помех и при их наличии.

Энтропия как мера неопределенности

Энтропия – мера вариантности системы или мера неопределенности результатов наблюдения какого-либо события.

Формула, определяющая энтропию выводится через результаты наблюдений, которые нумеруются в двоичной системе счисления с учетом следующих правил:

1) равновероятные результаты наблюдений обозначаются одним и тем же количеством двоичных знаков;

2) чем больше вероятность результата, тем меньшим числом двоичных знаков он нумеруется.

После этого результаты наблюдений разбиваются на две группы, так, чтобы сумма вероятностей в каждой группе была приблизительно равна ½. При этом вероятности нельзя перемешивать, то есть, чтобы в первой группе были все самые большие вероятности.

Например:

Р1=0,4

Р2=0,06

Р3=0,1

Р4=0,04

Р5=0,2

Р6=0,2.

Все результатам первой группы приписывается первый двоичный знак 1, а второй – 0. Чтобы определить второй двоичный знак, каждая из групп разбивается на две подгруппы, с суммой вероятности ¼. Первой и третьей подгруппам присваивается второй двоичный знак 1, а 2 и 4 – нолики. Продолжая это разбиение на всё более мелкие подгруппы и обозначив числом, вероятность всех возможных испытаний будет выглядеть:

Р_i=2m_i,

где I изменяется от 1 до m, а m – целые положительные числа.

ЛК 5

21.02.13

При чем сумма вероятностей .

За меру неопределенности результатов наблюдений целесообразно принимать математическое ожидание числа двоичных знаков.

Так как величины 2 в степени –м являются вероятностью Р этого события (этого опыта), а величина m1 =

Таким образом:

-- формула Шинона (первый закон) для количественного определения энтропии в общем виде. Вероятности событий могут быть различными в данном случае. Она является общей мерой неопределенности, наблюдений или опытов в случае если исходы наблюдений или опытов не равновероятны.

Предложенная ранее Хартли формула позволяет учитывать энтропию для случаев с равновероятными исходами опытов. Единицей измерения энтропии является один двоичный знак – бит. В тех случаях, когда в этой формуле используется натуральный логарифм, то тогда единицей данного измерения является нат. Эта натуральная единица используется крайне редко.