Análisis léxico

análisis Léxico
Es un programa que recibe como entrada el código fuente de otro programa (secuencia de caracteres) y produce una salida compuesta de tokens (componentes léxicos) o símbolos. Estostokens sirven para una posterior etapa del proceso de traducción, siendo la entrada para el analizador sintáctico.
La función del analizador léxico
Como la primera fase del compilador, es laprincipal tarea del analizador léxico es leer los caracteres de la entrada de los programas fuente, agrupado en lexemas y producir como salida una secuencias de tokens para cada lexema en el programafuente.
Como el analizador léxico es la parte del compilador que lee el texto de origen, debe realizar otras tareas aparte de identificar lexemas.
Comparación entre análisis léxico y análisissintáctico.
Existen varias razones por las cuales la parte correspondiente al análisis de un compilador se separa en fases de análisis léxicos y análisis sintáctico.
1-La sencillez en el diseño: Es laconsideración más importante. La separación del análisis léxico y el análisis sintáctico a menudo nos permite simplificar por lo menos una de estas tareas.
2-Se mejora la eficiencia delcompilador: un analizador léxico separado nos permite aplicar técnicas especializadas que sirven solo para la tarea léxica, no para el trabajo del análisis sintáctico.
3-Se mejora la portabilidad delcompilador: las peculiaridades específicas de los dispositivos de entrada pueden restringirse al analizador.

Tokens, Patrones y Lexemas
Al hablar sobre el análisis léxico, utilizamos trestérminos distintos, pero relacionados:
Un tokens: es un par que consisten en un nombre de tokens y un valor de atributo opcional. El nombre del tokens es un símbolo abstracto que representa un tipo deunidad léxica. Los nombres de los tokens son símbolos de entrada que procesa el analizador sintáctico.
Un Patrón: es una descripción de la forma que pueden tomar los lexemas de un tokens, en el...