Энтропийный подход

Место и назначение лингвистического обеспечения в информационных системах

Современные информационные технологии стали мощным инструментом ведения бизнеса. Их использование приводит к качественно новым результатам, как на уровне отдельного предприятия, так и экономики страны в целом. Сложившаяся тенденция стремительного роста возможностей компьютерных и информационных технологий оказывается справедливой и для сферы экономики и бизнеса.

Информационные технологии обеспечивают качественно новый уровень системного анализа и оценки процессов, происходящих внутри компании и за ее пределами. Управление ресурсами компании позволяет быстро приспосабливаться к постоянно меняющимся условиям, оперативно находить новые рынки, партнеров и клиентов, выводить на рынок новые продукты, увеличивать доходность бизнеса.

Бизнес и государственное управление нуждаются в специалистах, способных осуществлять проектирование корпоративных информационных систем: определять политику организаций в области ИС и ИТ, создавать информационные модели бизнес-процессов, определять состав и функции информационных систем, выбирать информационные технологии для реализации функций ИС, принимать обоснованные решения по поводу интеграции отдельных компонентов в корпоративную ИС и т. д.

Условно все подходы к определению количества информации можно разделить на пять видов:

1. Энтропийный.

2. Алгоритмический.

3. Комбинаторный.

4. Семантический.

5. Прагматический.

Первые три вида дают количественное определение сложности описываемого объекта или явления. Четвертый – описываетсодержательностьиновизнупередаваемого сообщения для получателя (пользователя) сообщения. Наконец, пятый вид обращает внимание на полезность полученного сообщения для пользователя.

Энтропийный подход

Исторически первым возник энтропийный подход, потому что еще в XIX-м веке физики ввели понятие “энтропия” для определения величины, характеризующей процессы перехода тепловой энергии в механическую. В какой-то мере эта величина характеризовала меру хаотичности (неопределенности) движения молекул. Наверноепоэтому К.Шеннонназвал энтропиейколичество информации,испускаемой источником. Энтропией, или неопределенностью, называется вещественнозначная функция, зависящая от вероятностей событий и удовлетворяющая следующим условиям:

1. Событие, наступающее с вероятностью единица, имеет нулевую неопределенность.

2. Если одно событие имеет меньшую вероятность чем другое, то неопределенность первого события больше неопределенности второго.

3. Неопределенность одновременного наступления двух событий равна сумме их неопределенностей.

Согласно Шеннону, информация, испускаемая дискретным источником X за единицу времени, характеризуется энтропией

H(X)= –P_i log P_i,

где P_i – вероятность одной из возможных последовательностей сигналов, исходящих из источника X за единицу времени (в предположении, что источник испускает конечное число таких неисправностей). Количество информации J(X,Y), переданной источником X приёмнику Y также характеризуется с помощью энтропии

J(X,Y) = H(X)–H_y(X),

где H_y(X) – условная энтропия источника. В случае, рассмотренном Шенноном, обмен сообщениями между источником и приёмником (информационное взаимодействие) характеризуется количеством информации, фактически получаемой приёмником. Работы Шеннона показали, что для описания информационного взаимодействия важны количественные характеристики участвующей в нем информации.

Сегодня принято считать, что энтропийный подход к характеристике самого понятия информации и введению её количественных характеристик, создан в работах Шеннона. Теория, развитая Шенноном,позволиласединойточкизренияосмыслитьразрозненные,новажныеработы егопредшественников.

Прежде всего, в этой связи следует упомянуть Р. Хартли, который ввел понятие, являющееся частным, но важным случаем шенноновской энтропии в случае равновероятного исхода случайных событий. После появления в 1948 году работы Шенннона последовало большое количество работ по развитию энтропийного подхода к теории информации. Отметим отдельно основополагающуюработу А. Н. Колмогорова, в которой введено понятие энтропии динамических систем как метрического инварианта преобразований, сохраняющих меру. Работы Колмогорова и его последователей по энтропии динамических систем показали, что все энтропии, в том числе и шенноновская, близки к энтропиям частных классов динамических систем. С помощью энтропии выражается количество информации в данном случайном объекте и информации, которую он несет о другом случайном объекте.

Обзор работ, посвященных энтропийному подходу, дан в монографии Н. Мартина и Дж. Ингленда и содержит около 700 ссылок (вместе с дополнительным списком литературы).