Модели и методы обработки естественного языка в автоматизированных системах

В контексте компьютерных систем естественный язык (ЕЯ) рассматривается как средство хранения и передачи информации внутри человеческого сообщества. Теория языка как структуры, соответствующая классификация и методы обработки формальных языков начались разрабатываться в математике (а позднее и в информатике) еще с 30-х годов. Однако прямое применение существующего аппарата описания формальных языков к ЕЯ невозможно из-за того, что это объект принципиально другой природы. В частности, в отличие от формального языка, ЕЯ не следует задуманной и последовательно реализованной концепции. Он развивается с течением времени под воздействием многих внешних и внутренних сил и усваивается в сообществе через использование в коммуникации, а не благодаря правилам. Кроме того, чисто грамматическое описание ЕЯ не достаточно для использования, поскольку он соотносится со структурами знания, используемыми его носителями. В результате описание грамматики ЕЯ как некоторого класса грамматики формальной оказывается затруднено.

Задача автоматизированной обработки ЕЯ-текстов впервые появилась в 1960-70х гг. С тех пор было предпринято множество различных попыток ее решения, однако широкого распространения такие системы пока не получили – как правило, из-за невысокого качества распознавания фраз, жестких требований к синтаксису «естественного языка», а также больших затрат машинных ресурсов, необходимых для их работы. Во всех системах машинного анализа текста используется ограниченный ЕЯ, поскольку полной и строгой формальной модели ни для одного ЕЯ пока не создано. Тем не менее ЕЯ-системы постоянно развиваются, что обусловлено с одной стороны, развитием теоретических средств описания ЕЯ, а с другой – прогрессом технологий программирования.

Вопросы и упражнения

Приведите пример функциональной структуры для ЕЯ-системы.

В чем принципиальное отличие методов обработки ЕЯ и искусственных языков?