curp

Compiladores Análisis Léxico

En la fase de análisis, los términos componentes léxicos (token), patrón y lexema se emplean con significados específicos. Un analizador léxico, inicialmente lee los lexemas y le asigna un significado propio.
• Patrón es una regla que genera la secuencia de caracteres que puede representar a un determinado componente léxico (expresión regular).
• Lexema es unacadena de caracteres que concuerda con un patrón que describe un componente léxico (valor de cadena). Ejemplo de una cadena de código: const pi = 3.1416; Lexemas Componente léxico Patrón const const const = relación < o o >= pi identificador letra seguida de letras o números 3.1416 número cualquier literal numérica “hola mundo” literal caracteres entre comillas El analizador léxico recogeinformación sobre los componentes léxicos en sus atributos asociados. Los tokens influyen en las decisiones del análisis sintáctico, y los atributos, en la traducción de los tokens. En la práctica los componentes léxicos suelen tener solo un atributo. Para efectos de diagnóstico, puede considerarse tanto el lexema para un identificador como el número de línea en el que se encontró por primera vez. Estainformación puede ser almacenada en la tabla de símbolos para el identificador (estructura de datos). Para la cadena E=M*C**2 de ejemplo, los componentes léxicos y los valores de atributo asociado son: Tome en cuenta que ciertas parejas no necesitan un valor de atributo. Los atributos relacionados con ese token deberán ser conservados y transferidos a alguna estructura de datos para que seanempleados en las siguientes etapas del análisis
En el análisis léxico se lee los caracteres del programa fuente de izquierda a derecha, y los agrupa en tokens
Funciones del Analizador Léxico  Convierte el programa fuente en una cadena de tokens  Para reconocer el token usa un patrón, una regla que describe como se forman las cadenas que corresponden a un token.  Salta comentarios y espacios enblanco (tabuladores, saltos de línea...)  Tener el registro de la línea del archivo fuente que está siendo analizada  Genera mensajes de error léxico, y se recupera del error  Convierte los valores literales al tipo que corresponda  Si la entrada debe obedecer a un formato, verifica el formato Ej. Fortran, Cobol
Tokens y Lexemas:
Elemento básico del lenguaje
Unidad léxicaindivisible
Identifica una entidad lógica dentro del lenguaje
Incluyen: Palabras Reservadas, Constantes, Operadores, Signos de Puntuación e Identificadores

Lexema:
La cadena original que se identifica como token
No hay correspondencia 1-1 entre token-lexema

Según  El analizador léxico es la primera fase de un compilador. Su principal función consiste en leer los caracteres de entrada yelaborar como salida una secuencia de componentes léxicos que utiliza el analizador sintáctico para hacer el análisis. En algunas ocasiones, los analizadores léxicos se dividen en una cascada de dos fases; la primera, llamada "examen", y la segunda, "análisis léxico". El examinador se encarga de realizar tares sencillas, mientras que el analizador léxico es el que realiza las operaciones complejas. ASPECTO DEL ANALISIS LEXICO Hay varias razones para dividir la fase de análisis de la compilación en análisis léxico y análisis sintáctico.  Un diseño sencillo es quizá la consideración más importante. Separar el análisis léxico del análisis sintáctico a menudo permite simplificar una u otra de dichas fases.  Se mejora la eficiencia del compilador. Un analizador léxico independiente permiteconstruir un procesador especializado y potencialmente más eficiente para esta función. Gran parte de tiempo se consume en leer el programa fuente y dividirlo en componentes léxicos. Con técnicas especializadas de manejo de buffer para la lectura de caracteres de entrada y procesamiento de componentes léxicos se puede mejorar significativamente el rendimiento de un compilador. Se mejora la...