Analizador Lexico

Qué es un analizador léxico y cuáles son sus características principales.
El análisis léxico constituye la primera fase, aquí se lee el programa fuente de izquierda a derecha y se agrupaen componentes léxicos (tokens), que son secuencias de caracteres que tienen un significado. Además, todos los espacios en blanco, líneas en blanco, comentarios y demás información innecesaria se elimina delprograma fuente. También se comprueba que los símbolos del lenguaje (palabras clave, operadores, etc.) se han escrito correctamente.

El Analizador Léxico es un autómata finito determinista que reconoceel lenguaje generado por las expresiones 
regulares correspondientes a las unidades sintácticas del lenguaje.

Funciones
         … Leer los caracteres de la entrada
         … Generar unasecuencia de componentes léxicos(TOKENS)
         … Eliminar comentarios, delimitadores (espacios, símbolos de puntación, fin de línea)
         … Relacionar los mensajes de error con las líneas delprograma fuente
         … Introducir los identificadores en la tabla de símbolos
 
Funciones Principales de analizador léxico
 
         … Formación y entrega al parser de los tokens            manejar el fichero de programa fuente
         … Explorar los literales
         … Listar el programa fuente
         … Manejar las macros
         … Controlar si es de formato libre o no         † Libre: PASCAL, ALGOL
         † No libre: FORTRAN, BASIC

Caracteristicas

Existen dos formas de implementar el análisis léxico:
–Como una función antes del análisis sintáctico
–Como una funcióndurante el análisis sintáctico

Contiene tareas secundarias como:
–Ignorar espacios en blanco, tabuladores, caracteres de fin de línea
–Ignorar comentarios
–Algunas veces guarda información delerror para el usuario
•Algunas veces es dividido en 2 fases
–Scanner
–Análisis Léxico
•Razones de implementación de dos fases
–Diseño simple
–Eficiencia del compilador...