Основы теории информации

Термин "информация" происходит от латинского слова " informatio ", что означает сведения, разъяснения, изложение. Информация — это настолько общее и глубокое понятие, что его нельзя объяснить одной фразой. В третьем издании Большой Советской Энциклопедии читаем: «ИНФОРМАЦИЯ - любые сведения и данные, отражающие свойства объектов в природных (биологических, физических и др.), социальных и технических системах и передаваемые звуковым, графическим (в том числе письменным) или иным способом без применения или с применением технических средств». В словаре Вебстера следующее определение термина: «Сообщение, или получение знаний или све­дений. Факты, приготовленные для сообщения, в отличие от тех, которые воплощены в мысли или знании. Данные, но­вости, сведения, знания, полученные путем изучения или наблю­дения...».

С точки зрения философии, информация — нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация - противоположность неопределенности. Информация как физическая величина – количественная мера упорядоченности исследуемой системы. Все устройства передачи, отображения и хранения информации (в том числе и оптические) характеризуются данной количественной мерой.

Теория информации рассматривается как существенная часть кибернетики. Кибернетика — это наука об общих законах получения, хранения, передачи и переработки информации. Ее основной предмет исследования — это так называемые кибернетические системы, рассматриваемые абстрактно, вне зависимости от их материальной природы. Примеры кибернетических систем: автоматические регуляторы в технике, ЭВМ, мозг человека или животных, биологическая популяция, социум. Часто кибернетику связывают с методами искусственного интеллекта, т.к. она разрабатывает общие принципы создания систем управления и систем для автоматизации умственного труда. Основными разделами современной кибернетики считаются: теория информации, теория алгоритмов, теория автоматов, исследование операций, теория оптимального управления и теория распознавания образов.

Родоначальниками кибернетики (датой ее рождения считается 1948 год, год соответствующей публикации) считаются американские ученые Норберт Винер (Wiener, он — прежде всего) и Клод Шеннон (Shannon, он же основоположник теории информации).

А Б

Рис.39. Клод Шеннон (1916-2001 г.г.) (А),

Норберт Винер (1894 - 1964 г.г.)(Б)

В наш век возрастающей дифференциации человеческих знаний Клод Шеннон является исключительным примером соединения глубины отвлеченной математической мысли с широким и в то же время совершенно конкретным пониманием больших проблем тех­ники. Его в равной мере можно считать одним из первых математи­ков и одним из первых инженеров последних десятилетий. Своеобраз­ная роль ему принадлежит в создании кибернетики. В отличие от Норберта Винера Шеннон не занимался пропагандой и системати­зацией этой новой науки. Но он создал основы теории информации и в значительной мере предопределил своими работами развитие общей теории дискретных автоматов, которые составляют две боль­шие главы кибернетики, занимающие в ней едва ли не центральное положение.

Теория информации тесно связана с такими разделами математики как теория вероятностей и математическая статистика, а также прикладная алгебра, которые предоставляют для нее математический фундамент. С другой стороны теория информации исторически и практически представляет собой математический фундамент теории связи. Часто теорию информации вообще рассматривают как одну из ветвей теории вероятностей или как часть теории связи. Теория информации представляет собой математическую теорию, посвященную измерению информации, ее потока, “размеров” канала связи и т. п., особенно применительно к радио, телеграфии, телевидению и к другим средствам связи.