nelly

UNIVERSIDAD NACIONAL DEL ALTIPLANO PUNO
FACULTAD DE INGENIERÍA MECÁNICA ELÉCTRICA
ELECTRÓNICA Y SISTEMAS
ESCUELA PROFESIONAL DE INGENIERÍA DE SISTEMAS

ANÁLISIS LÉXICO

CURSO: Compiladores
INGENIERO: Vladimir Crespo
INTEGRANTES DE GRUPO:
 ACERO ZAPANA, Roy D.
 ESCALANTE APAZA, Mijail
 ANAHUA PEÑALOZA Alex W.

PUNO – PERÚ
2013

Contenido
FUNCIONES DEL ANALIZADOR LÉXICO.................................................................................. 3
VENTAJAS DE SEPARAR EL ANÁLISIS LÉXICO..................................................................... 4
COMPONENTES LÉXICOS, PATRONES, LEXEMAS .............................................................. 4
ESPECIFICACIÓN DE LOS COMPONENTES LÉXICOS: EXPRESIONES REGULARES 5
RECONOCIMIENTO DE LOS COMPONENTESLÉXICOS: AUTÓMATAS FINITOS.......... 6
Componente léxico: ..................................................................................................................... 6
Autómatas finitos determinísticos .............................................................................................. 6
IMPLEMENTACIÓN DE UN ANALIZADOR LÉXICO................................................................. 7
Mediante bucles anidados .......................................................................................................... 7
Mediante una tabla de transiciones ........................................................................................... 8
ASPECTOS PRÁCTICOS PARA LA IMPLEMENTACIÓN DE UN ANÁLISIS LÉXICO........ 9
Principio de Máxima longitud...................................................................................................... 9
Palabras reservadas versus identificadores ............................................................................ 9
Gestión de buffer de Entrada.................................................................................................... 10
Aspectos a tener en cuenta de la implementación............................................................... 10
TRATAMIENTO DE ERRORES LÉXICOS ................................................................................ 11
GENERADORES AUTOMÁTICOS DE ANALIZADORES LÉXICOS .................................... 12

ANÁLISIS LÉXICO
Según (Louden, 2004, pág. 31): “La fase de rastreo, o análisis léxico, de un compilador
tiene la tarea de leerel programa fuente como un archivo de caracteres y dividirlo en
tokens. Los tokens son como las palabras de un lenguaje natural: cada token es una
secuencia de caracteres que representa una unidad de información en el programa
fuente.”
En resumen el analizador léxico se encarga del reconocimiento de tokens que pasa al
analizador sintáctico además se interrelacionan con una tabla de símbolosque el
analizador léxico elabora al reconocer identificadores, palabras clave que ingresan a esta
tabla para un reconocimiento léxico adecuado.

FUNCIONES DEL ANALIZADOR LÉXICO
La función esencial del analizador léxico es leer los caracteres del código fuente y generar
lexemas que a su vez generan tokens. Los tokens son enviados al analizador sintáctico
cuando este los requiere a través delsiguiente procedimiento. El analizador sintáctico
requiere que le envíen un token, el analizador léxico revisa los caracteres del código
fuente, almacena algunos lexemas encontrados como identificadores en una tabla de
símbolos donde en ocasiones los relaciona con un valor adicional para la identificación
del lexema en si, a su vez genera un token que es enviado al analizador sintáctico.Estos componentes léxicos representan:







Palabras reservadas: if, while, do, etc.
Identificadores: asociados a variables, nombres de funciones, tipos definidos por el
usuario, etiquetas,... Por ejemplo: posición, velocidad, tiempo, etc.
Operadores: = * + - / == > < & ! = , etc.
Símbolos especiales: ; ( ) [ ] { },etc.
Constantes numéricas: literales que representan valores en-...