Lexico

Análisis Léxico
Componente léxico

Programa Fuente

Analizador Léxico

Obtén otro componente léxico

Analizador Sintáctico

Tabla de Símbolos

Análisis Léxico. Procesadores de Lenguaje IDefiniciones
Tokens:
Símbolos terminales de una gramática
Identificadores, palabras reservadas, operadores, ... Varios signos pueden forman el mismo token

Lexema:
Secuencia de caracteresdel código fuente que son identificados como un token específico
a1, acumulador, s_total con lexemas del token identificador

Atributos:
Información adicional que tiene el token, de utilidad para elanálisis sintáctico y semántico

Análisis Léxico. Procesadores de Lenguaje I

Funciones del Análisis Léxico
Manejar el fichero fuente Leer los caracteres de la entrada Generar una secuencia decomponentes léxicos (TOKENS) Eliminar comentarios, delimitadores (espacios, símbolos de puntación, fin de línea) Relacionar los mensajes de error con las líneas del programa fuente Introducir losidentificadores en la tabla de símbolos Manejar macros Controlar si es de formato libre o no
Libre: PASCAL, ALGOL No libre: FORTRAN, BASIC

Análisis Léxico. Procesadores de Lenguaje I

Aspectos delAnálisis Léxico
Diseño más sencillo
Los símbolos que trata el scanner se describe con una gramática más simple que la del parser, gramática regular

Mejora la eficiencia
Gran parte del tiempo decompilación se consume en la lectura y exploración de caracteres

Mejora la portabilidad
Se pueden tener varias versiones del scanner una para distintos códigos (EBCDID, ASCII, ...), con el mismoparser

Descarga el análisis sintáctico
Ejemplo; no puedo distinguir en FORTRAN hasta después del 1
DO 5 I=1.25 DO 5 I=1,25

Análisis Léxico. Procesadores de Lenguaje I

Tokens, patrones ylexemas, I
Dos cuestiones:
¿Cómo especificar tokens? ¿Cómo reconocer los tokens dada una especificación de tokens? Todos los elementos básicos en un lenguaje deben ser tokens por lo tanto deben...