2015-04-12
298
Минимальная конструкция языка, имеющая смысл, называется лексемой (аналог в обычном языке – слово). Фразы (аналог в обычном языке – предложение) на языке Паскаль записываются с использованием лексем и разделителей.
Замечание: Правильнее говоря, разделители являются особым типом лексем вместе со знаками операций и ключевыми (служебными) словами. Эти особого вида лексемы заранее известны (задаются) компилятору.
В качестве разделителей используются пустые и спец. символы. При этом между двумя соседними лексемами должен находиться хотя бы один разделитель. Сами лексемы строятся из символов алфавита.
Пример:
- лексемы (for, to, do – лексемы типа зарезервированное слово, i – лексема типа идентификатор, 1 и 10 – лексемы типа константа), 
- разделители.
Анализ правильности слов (лексем) в программе выполняет программа- parser (сканер) (строит и передает синтаксическому анализатору таблицу кодов лексем), а анализ правильности предложений (операторов) языка выполняет программа – scanner (синтаксический анализатор) (на основе таблицы кодов лексем и синтаксических правил проверяет правильность слов и их порядок в предложении).
В Паскале имеются следующие классы лексем: служебные слова, идентификаторы, метки константы, комментарии, директивы.
