Analizador Léxico

Analizador Léxico
Un analizador de léxico es la primera parte de un compilador, y tiene como función principal el tomar secuencias de caracteres o símbolos del alfabeto del lenguaje de entrada yubicarlas dentro de categorías, conocidas como unidades de léxico. Las unidades de léxico son empleadas por el analizador sintáctico para determinar si lo escrito en el programa fuente es correcto o nogramaticalmente. Algunas de las unidades de léxico no son empleadas por el analizador sintáctico sino que son descartadas o filtradas. Tal es el caso de los comentarios, que documentan el programapero que no tienen un uso gramatical, o los espacios en blanco, que sirven para dar legibilidad a lo escrito.

Un analizador léxico puede convertirse en una subrutina o co-rrutina de un analizadorsintáctico: El analizador léxico lee los caracteres de entrada hasta que pueda identificar el siguiente componente léxico.
Razones para dividir la parte de analizador léxico y analizador sintáctico.• Un diseño sencillo.
• Se mejora la eficiencia del compilador.
• Se mejora la transportabilidad del compilador.
Alguna terminología empleada en la construcción de un analizador de léxico seencuentran los siguientes términos.
• Patrón Representa la regla para que una secuencia de caracteres sea considerada cierta unidad de léxico. Ejemplo: El patrón para un identificador de Pascal es:Una letra seguida por letras, dígitos o guiones (_)
• Lexema El valor actual de un conjunto de caracteres que satisfacen un patrón. Ejemplo: Este_es_1_ejemplo . Este es el lexema que satisface elpatrón de un identificador.
• Token o Ficha (Componente léxico) El valor asociado a una categoría o unidad de léxico. Se representa como un número entero o una constante de un byte. Ejemplo: el tokende un identificador puede ser 1 ó id (si id fue definida como 1).
• Unidades de léxico Categorías en que se clasifican las cadenas de caracteres válidos en un lenguaje. Los caracteres válidos...