Тема1.Информационные характеристики источников сообщений

Занятие 2. Основные характеристики информации

Учебные вопросы:

1.Энтропия, как мера неопределенности.

2.Количественные характеристики информации.

3.Взаимная информация.

Введение

Слово “ information ” действительно переводится с латинского языка, как “ осведомление ”, “ разъяснение ”, и такое определение устраивало человечество до сороковых годов двадцатого века.

Этим термином пользовались для определения чисто практических понятий, таких, как некоторая совокупность знаний, сведений о конкретном предмете, явлении, событии. Такая информация носит вполне конкретный характер и во многих случаях не несёт в себе количественной оценки.

Тысячелетиями слово “информация” было рядовым, ничем не выделяющимся среди десятков тысяч других слов. Все это долгое время человек считал себя единственным созданием, способным к передаче, приему и творению информации.

Положение стало меняться с появлением кибернетики – науки об управлении. "Кибернетика" Норберта Винера увидела свет в 1948 году. Она открыла людям глаза на то, что сейчас известно каждому – информационные процессы происходят в любом живом организме, начиная с амебы и вируса. Созданные человеком машины также работаю под управлением информации. Любое сообщество живых существ – муравьев, пчел, рыб, птиц и, конечно, людей не может существовать без потоков информации, циркулирующих в нем.

Датой рождения “Теории информации” также считается 1948 год. Именно тогда в реферативном журнале американской телефонной компании "Белл систем" появилась статья 32-летнего инженера-связиста Клода Шеннона "Математическая теория связи”, в которой он предложил способ измерения количества информации. С этого момента понятие "информация" начинает расширять сферу своего применения.

Вскрытие единства процессов в живом и неживом, широкое внедрение ЭВМ, стремительное нарастание информационного потока в виде газет, журналов, книг, теле- и радиотрансляций придало совершенно другое, новое значение слову “информация”. На современном этапе развития науки признано, что понятие "информация" значительно более ёмкое и, что очень важно, существует и вне нашего восприятия. Другими словами, весь окружающий нас мир, как доступный, так и недоступный нам, всюду имеет информационную структуру.

“Информация” превратилась в необычайно широкое понятие и встала в один ряд с такими философскими категориями, как материя, энергия, пространство и время. Однако единого общепризнанного определения информации не существует до сих пор, более того, это понятие остается одним их самых дискуссионных в современной науке. Все мы имеем представление о том, что такое материя, энергия, пространство, время, информация, мы можем описать их свойства, мы можем их измерять, но мы так и не можем пока дать их четкого научного определения.

Давайте познакомимся с определениями информации, данными выдающимися учеными:

• Информация – это обозначение содержания, полученного от внешнего мира в процессе приспособления к нему (Н. Винер).
• Информация – отрицательная энтропия (негэнтропия) (Л. Бриллюэн).
• Информация – вероятность выбора (А. М. Яглом, И. М. Яглом).
• Информация – снятая неопределенность (К. Шеннон).
• Информация – мера сложности структур, мера упорядоченности материальных систем (А. Моль).
• Информация - снятая неразличимость, передача разнообразия (У.Р. Эшби).
• Информация – отраженное разнообразие (А. Д. Урсул).
• Информация – мера неоднородности распределения материи и энергии в пространстве и времени (В. М. Глушков).

Любое сообщение между источником и приемником информации имеет некоторую продолжительность во времени (длину сообщения), но количество информации воспринятой приемником в результате сообщения, характеризуется в итоге вовсе не длиной сообщения, а разнообразием сигнала порожденного в приемнике этим сообщением.

Память носителя информации имеет некоторую физическую ёмкость, в которой она способна накапливать образы, и количество накопленной в памяти информации, характеризуется в итоге именно разнообразием заполнения этой ёмкости. Для объектов неживой природы это разнообразие их истории, для живых организмов это разнообразие их опыта.

Однообразные пейзажи снежных или песчаных пустынь – отраженное однообразие температурного режима, разнообразие средней полосы – отражение разнообразия ее природных факторов.

Разнообразие человеческого опыта, отражается в мироощущении: однообразие сужает кругозор, разнообразие – расширяет. Сидение в четырех стенах сужает мир до размера квартиры, наличие в квартире телевизора – расширяет мир до размеров планеты. Тяга к путешествиям, общению, новым знакомствам, новому опыту, новым ощущениям это тяга к получению новых, ранее не известных впечатлений в память, новых образов, следовательно, новой информации.

Бит

Разнообразие необходимо при передаче информации. Нельзя нарисовать белым по белому, одного состояния недостаточно. Если ячейка памяти способна находиться только в одном (исходном) состоянии и не способна изменять свое состояние под внешним воздействием, это значит, что она не способна воспринимать и запоминать информацию. Информационная емкость такой ячейки равна 0.

Минимальное разнообразие обеспечивается наличием двух состояний. Если ячейка памяти способна, в зависимости от внешнего воздействия, принимать одно из двух состояний, которые условно обозначаются обычно как «0» и «1», она обладает минимальной информационной ёмкостью.

Информационная ёмкость одной ячейки памяти, способной находиться в двух различных состояниях, принята за единицу измерения количества информации - 1 бит.

На физическом уровне бит является ячейкой памяти, которая в каждый момент времени находится в одном из двух состояний: «0» или «1».

Если каждая точка некоторого изображения может быть только либо черной, либо белой, такое изображение называют битовым, потому что каждая точка представляет собой ячейку памяти емкостью 1 бит. Лампочка, которая может либо «гореть», либо «не гореть» также символизирует бит. Классический пример, иллюстрирующий 1 бит информации – количество информации, получаемое в результате подбрасывания монеты – “ орел ” или “ решка ”.

Количество информации равное 1 биту можно получить в ответе на вопрос типа «да»/ «нет». Если изначально вариантов ответов было больше двух, количество получаемой в конкретном ответе информации будет больше, чем 1 бит, если вариантов ответов меньше двух, т.е. один, то это не вопрос, а утверждение, следовательно, получения информации не требуется, раз неопределенности нет.

Информационная ёмкость ячейки памяти, способной воспринимать информацию, не может быть меньше 1 бита, но количество получаемой информации может быть и меньше, чем 1 бит. Это происходит тогда, когда варианты ответов «да» и «нет» не равновероятны. Неравновероятность в свою очередь является следствием того, что некоторая предварительная (априорная) информация по этому вопросу уже имеется, полученная, допустим, на основании предыдущего жизненного опыта. Таким образом, во всех рассуждениях предыдущего абзаца следует учитывать одну очень важную оговорку: они справедливы только для равновероятного случая.

Количество информации мы будем обозначать символом I, вероятность обозначается символом P. Напомним, что суммарная вероятность полной группы событий равна 1.