Семантический анализ

Целью семантического анализа является определение информативности текстовой информации и выделение наиболее важной информации из обрабатываемого текста. Проведение автоматизированного семантического анализа текста предполагает решение задачи выявления и оценки смыслового содержания текста. Данная задача является трудно формализуемой вследствие необходимости наличия совершенного аппарата экспертной оценки качества информации. Это, в свою очередь, требует наличия априорно в самой системе семантического анализа гигантского объемаполной информации по оцениваемым рубрикам для проведения оценки смыслового содержания текста. Таким образом, теряется всякий смысл создания поисковой системы, которая должна иметь в своем составе полную информацию по достаточно широкому кругу оцениваемых рубрик, и которая будет осуществлять оценку смыслового содержания индексируемых документов. Это обусловлено тем, что поисковая система перерождается в громоздкую энциклопедическую систему оценки информативности индексируемых текстов.

Поэтому, семантический анализатор поисковой системы должен обеспечивать выделение смысловой информации индексируемых текстов на основе обобщенного критерия о встречающихся именных группах, группах терминологических целых, предикативных основах в условиях отсутствия априорно полной информации по оцениваемым рубрикам.

В настоящее время отсутствуют поисковые системы, реализующие в данном понимании семантический анализ текстовой информации.

При создании поисковых систем, основанных на рубрикаторах, могут быть использованы алгоритмы автоматического реферирования текстовой информации (Automatic Text Summarization). На рынке присутствует очень небольшое количество традиционных программ реферирования, то есть таких, которые выделяют наиболее весомые предложения из текста используя статистические алгоритмы, либо слова-подсказки (Inxight Summarizer, Extractor, Text Analyst).

Таким образом, в настоящее время не решена задача создания поисковой машины, реализующей в полном объеме лингвистическую обработку текстовой информации.

Формальные системы, грамматики, автоматы