Энтропия системы и количество информации. Априорная и апостериорная информация

рис.определение информации по этапам ее преобразования

I –самое широкое определение: к информации относится любое сообщение.

Элементы A и B соединены каналом связи.если B получает сведения о состояний A то они трактуются как инф. такую «фотографию»состояния A принято называть данными. B как получатель данных выступает в роли наблюдателя, следящего за объектом A и фиксирующего его состояние. Здесь не учитывается, знал ли В о сост. А до получения. конкретных. данных, и какова была степ. неопределенности этих априорных знаний.

II – инф. представляет собой меру уменьшения неопределенности знаний у В после получения. им сообщения. о сост. А. В общем случ. полученная инф. оценивается отношением вероятностей сост. А в представлении В после получ. сообщ. и до него, т.е. отнош. апостериорного и априорного знания В о сост. А. Обычно берется логарифм этого отношения по основанию 2.

Пусть В заинтересован в получении инф. об А для достижения. опред. цели. Предположим вер-ть достиж. цели до получения инф. об А в представлении В составляет р₀ (априорные знания В).р₁ – вер-ть достиж. цели после получ. инф. об А (апостериорные знания В). если р₁>p₀, ценность данной инф. для В сост.:

До получ. инф. A характеризуется неопределенностью для B. Для измерения неопределенности использ. энтропия, которая (как понятие) заимствована из термодинамики.

Энтропия в теории инф.— это мера неопределенности к.-либо опыта (испыт.), который может иметь разные исходы, а значит и колич. инф.

Энтропия в представлении. B об A рассчитывается. ф-лой:

если после получения инф. об A полностью снимается неопределенность у B, то кол-во полученной инф. будет равно энтропии: H(A)=I(A) или  (ф-ла К.Шенона), где I(A) – кол-во информации об A.

Инф. (II) - мера снятия неопределенности системы. единица кол-ва инф. 1 бит (от англ. двоичная единица» - binary digit) определяется по двум равновероятностным состояниям системы.

Сообщение является формой передачи знания - упорядоченного отражения объектов и процессов в понятиях, суждениях и других построенных из понятий образах. Чтобы воспринять и усвоить сообщение, его получатель сам должен обладать определенным запасом знаний. обычно этот запас представляют в виде тезауруса, т.е. систематизированного словаря понятий с указанием логических смысловых связей между ними. тезаурус [ от греч., запас ] – полный систематический набор данных о какой-либо области знания, позволяющий чел. или вычисл. машине в ней ориентироваться.

Когда сообщения увязывается с тезаурусом его получателя, и к тому же эти сообщ. обогащают тезаурус, можно сказать, что получена новая смысловая (семантическая) информация.

Под инф. (III) понимается мера расширения, развития тезауруса. Можно считать любую семантическую инф. потенциально полезной, не искл. при этом содержащиеся в ней ненужные знания («прагматический шум»). Важно получение актуально полезной инф., способствующей решению стоящих перед нами задач. в этом контексте под инф. - IV (она является прагматичной) правомерно понимать меру полезности полученных и усвоенных получателем знаний.

АПРИОРНАЯ ИНФОРМАЦИЯ — предварительные данные, представления исследователя, используемые при формировании экономико-математической модели. Их источником могут быть, во-первых, теоретические соображения (напр., представление об отрицательной зависимости спроса от цены продукта в функции спроса), во-вторых, предшествующие статистические исследования, в которых уже оценивались некоторые элементы, в том числе параметры будущей модели (напр., в функции спроса может использоваться априорная для данной модели оценка эластичности спроса от дохода). В современных условиях, когда накапливаются гигантские массивы информации, ее анализ, классификация и предварительная обработка становятся одним из решающих условий успешности построения и применения экономико-математических моделей.

Апостериорная отличается от априорной информации наличием сведений, полученных во время проведения эксперимента.