Математическая лингвистика и семиотика – самые «молодые» методы формализованного отображения систем.
Математическая лингвистика возникла во второй половине XIX века как средство формализованного изучения естественных языков и вначале развивалась как алгебраическая лингвистика, первые полезные результаты которой связаны со структурным (иначе, структуралистским) подходом к исследованию естественного языка. В силу отсутствия в тот период концепции развития языка эти работы привели к тупику в попытках построения универсальной формальной грамматики, поэтому был период, когда структурализм считался неперспективным направлением развития науки о языке и даже был гоним.
Активное возрождение математической лингвистики началось в 50 – 60- е годы XX века и связано в значительной степени с потребностями прикладных технических дисциплин, усложнившиеся задачи которых перестали удовлетворять методы классической математики, а в ряде случаев – и формальной математической логики.
Семиотика возникла как наука о знаках, знаковых системах. Однако некоторые школы семиотики равноправно пользуются понятиями математической лингвистики, такими как тезаурус, грамматика, семантика и т. п., не выделяя при этом в отдельное направление лингвосемиотику. В то же время именно в лингвосемиотике достигнуты наиболее конструктивные результаты, которые могут быть полезны при исследовании систем различной физической природы.
Поэтому для целей приложения математической лингвистики и семиотики к системынм исследованиям удобно рассматривать эти направления совместно, не оговаривая особо, что фактически речь идет о лингвосемиотике.
Основными понятиями, на которых базируются лингвистические представления, являются такие понятия: тезаурус, грамматика, семантика, прагматика.
Термин тезаурус (в переводе с греческого – сокровищница, богатство, клад, запас и т. п.) в общем случае характеризует «совокупность научных знаний о явлениях и законах внешнего мира и духовной деятельности людей, накопленную всем человеческим обществом».В информатику этот термин введен в 1956 году Кемориджской группой по изучению языков. (В эпоху Возрождения тезаурусами называли энциклопедии).
В математической лингвистике и семиотике термин «тезаурус» используется в более узком смысле, для характеристики конкретного языка, его многоуровневой структуры. Для этих целей удобно пользоваться одним из принятых в лингвистике определений: «Тезаурус – множество смысловыражающих элементов языка с заданными смысловыми отношениями».
Это определение позволяет представить структуру языка в виде уровней (страт) множеств (например, слов, словосочетаний, предложений, абзацев и т. п.), смысловыражающие элементы каждого из которых формируются из элементов предшествующих структурных уровней.
Иногда вместо термина «смысловыражающие элементы» используется термин «синтаксические единицы» тезауруса, который, вообще говоря, менее удачен, поскольку не отражает появление смысла при переходе на новый уровень.
В таком толковании понятие тезауруса можно использовать при создании искусственных языков – языков моделирования, автоматизации проектирования, информационно – поисковых языков – поскольку позволяет охарактеризовать язык с точки зрения уровней обобщения.
Можно говорить о глубине тезауруса того или иного языка, характеризуемой числом уровней, о видах уровней обобщения, и, пользуясь этими понятиями, сравнивать языки, выбирать более подходящий для рассматриваемой задачи или, охарактеризовав структуру языка, организовать процесс его разработки.
Под грамматикой понимаются правила, с помощью которых формируются смысловыражающие элементы языка. Грамматику иногда называют синтактикой, синтаксисом, что сужает понятие грамматики, исключая из него морфологию.
Пользуясь этими правилами, можно порождать (формировать) грамматически (синтаксически) правильные конструкции или распознавать их грамматическую правильность.
Термин «грамматика» употребляется в лингвистике и как укороченная замена термина «формальная грамматика», который имеет иной смысл.
Под семантикой понимается содержание, значение, смысл формируемых или распознаваемых конструкций языка, под прагматикой – полезность для данной цели или задачи.
Например, иллюстрацией синтаксической правильности и семантической бессмыслицы может быть предложение: «Глокая куздра тшето борзданула бокра и курдычет бокренка» (здесь нет ни одного слова естественного языка, имеющего смысл). Или еще: «Муха лукаво всплеснула зубами» - синтаксически верно, но бессмысленно в обиходной речи, т. е. семантически неверно. И еще: «Маленькая девочка собирает цветы на лугу» - для директора предприятия прагматически неверно. Иное дело «Иванов (работник предприятия) собирает цветы на лугу» (вместо того, чтобы быть на рабочем месте).
При создании и использовании искусственных языков применяют такие понятия структурной лингвистики, как «порождающая» и «распознающая» грамматика.
Под порождающей грамматикой понимается совокупность правил, с помощью которых обеспечивается возможность формирования (порождения) из первичных элементов (словаря) синтаксически правильных конструкций.
Под распознающей грамматикой понимаются правила, с помощью которых обеспечивается возможность распознавания синтаксической правильности предложений, фраз или других фрагментов языка.
На базе лингвистических представлений развивается теория формальных грамматик (иначе, теория формальных языков). Формальный язык определяют как множество предложений (или цепочек), каждое из которых имеет конечную длину и построено с помощью некоторых операций (правил) из конечного множества элементов (символов), составляющих алфавит языка. Естественно, что вид порождаемых предложений зависит от вида правил (исчисления) и от последовательности их применении (алгоритма). Очевидно понятие «грамматически правильны» - то-есть, соответствует правилам рассматриваемой грамматики.
Создавая предложения по формальным правилам, можно при этом не вполне соответствовать нормам естественного языка. Так, поступая по правилам (в соответствии с формальной грамматикой), разработанным на основе пушкинского стиля, мы бы могли получить, например, такое предложение: «Я решение свое принял правильное»(подобно фразе «Я памятник себе воздвиг нерукотворный»).
Аналогично можно создавать языки моделирования структур, языки автоматизации проектирования сложных устройств и систем определенного класса, используя различные формальные грамматики (соответствующие решаемой задаче).
При разработке языков программирования, языков моделирования, языков автоматизации проектирования (и иных формальных языков) необходимо учитывать следующую закономерность:
чем большими смысловыражающими возможностями обладает знаковая система, тем в большей мере растет в ней число алгоритмически неразрешимых проблем (т. е. тем менее доказательны в ней формальные процедуры).
Семиотические представления пользуются другими, по сравнению с математической лингвистикой, средствами исследования семантических возможностей языков. В частности, понятием «треугольника Фреге», согласно которому любой знак имеет форму, синтаксис (обозначаемое знаком) и семантику (смысл, значение). Такая исходная терминология позволяет конструировать грамматику, используя более широкий спектр отношений, которые могут иметь произвольный вид. Такие языки необходимы при расшифровке, например, древних рукописей, при автоматизации процесса перевода с одного языка на другой. Создание таких языков - сложный и трудоемкий процесс.