Алфавит и лексемы

Все тексты на языке пишутся с помощью его алфавита. Алфавит Паскаля включает:

• прописные и строчные латинские буквы, знак подчеркивания _;
• цифры от 0 до 9;
• специальные символы, например +, *, { и @;
• пробельные символы: пробел, табуляцию и переход на новую строку.

Из символов составляются лексемы (tokens), то есть минимальные единицы языка, имеющие самостоятельный смысл:

• константы;
• имена (идентификаторы);
• ключевые слова;
• знаки операций;
• разделители (скобки, точка, запятая, пробельные символы).

Лексемы языка программирования аналогичны словам естественного языка. Например, лексемами являются число 128, имя Aliya, ключевое слово goto и знак операции сложения +. Компилятор при синтаксическом разборе текста программы определяет границы одних лексем по другим, например разделителям или знакам операций. Из лексем строятся выражения и операторы. Рассмотрим каждый вид лексем подробнее.