Planalex2
Páginas: 10 (2357 palabras)
Publicado: 8 de abril de 2015
Analizador Léxico
2003
Índice
1.- ANALIZADOR LÉXICO
2.- FUNCIONES DEL ANALIZADOR LÉXICO
3.-VENTAJAS DE SEPARAR EL ANÁLISIS LÉXICO DEL SINTÁCTICO.
4.- LEXEMAS, PATRONES, COMPONENTES LÉXICOS Y ATRIBUTOS.
5.- ESTRUCTURA FUNCIONAL DEL ANALIZADOR LÉXICO.
6.- CONSTRUCCIÓN DE ANALIZADORES LÉXICOS
7.- DETECCIÓN Y RECUPERACIÓN DE ERRORES LÉXICOS
1.-ANALIZADOR LÉXICO
El objetivo de este analizador es el de aceptar o rechazar el léxico ( las palabras o caracteres) que presenta el programa fuente, comprobando si pertenece o no al lenguaje que se intenta analizar. Si lo acepta entrega al analizador sintáctico unidades sintácticas con un determinado significado sintáctico y semántico. Ejemplo en lenguaje natural:
By Juan escribe cartas
En castellanose rechazaría by por no estar en el léxico de idioma, pero el resto de las palabras serían aceptadas entregando al analizador sintáctico : sujeto, verbo, complemento directo que concuerda con una estructura gramatical de una frase u oración en castellano.
Así pues el análisis léxico se realiza en el nivel de los caracteres y su misión es a partir de éstos, comparándolos con patrones, reconocer elconjunto de caracteres (lexemas) que constituyen una unidad sintáctica, entregando al analizador sintáctico dicha unidad sintáctica o componente léxico, habitualmente con información adicional (atributos).
2.- FUNCIONES DEL ANALIZADOR LÉXICO
Principal:
Leer carácter a carácter del programa fuente, bajo petición del analizador sintáctico.
Entregar al analizador sintáctico la unidad sintáctica,llamada componente léxico (token) junto con información adicional relevante para el analizador semántico y para el traductor ( atributo).
Rechazar aquellos caracteres o conjunto de éstos que no pertenezcan al lenguaje, indicándolo mediante mensaje de error al usuario.
Secundarias:
Ignorar del programa fuente los comentarios, los espacios en blanco y los tabuladores.
Reconocer las palabrasreservadas del lenguaje
Contar los saltos de línea y asociar los mensajes de error con el número de la línea del programa fuente donde se producen.
Guardar información relacionada con los componentes léxicos en una llamada tabla de símbolos.
Circunstanciales:
Manejar el fichero fuente ( abrir, leer , cerrar).
Utilizar un preprocesador para expandir macros.
Si el formato de línea no es libre, informardel fin de línea.
3.-VENTAJAS DE SEPARAR EL ANÁLISIS LÉXICO DEL SINTÁCTICO.
Se consume mucho tiempo de compilación en leer el programa fuente. Estando separados los dos análisis se puede aumentar la eficacia con técnicas especiales de manejo de buffers de entrada.
La sintaxis del léxico es más sencilla: corresponde a gramáticas más simples (expresiones regulares ).
Las peculiaridades delalfabeto de entrada ( códigos ASCII, EBCDIC, considerar mayúsculas diferentes o no que las correspondientes minúsculas) pueden quedar limitadas al analizador léxico.
Ciertas ambigüedades pueden resolverse en el analizador léxico ( variable o sentencia : DO1I = 8.15 ó DO1I = 8; 15 ).
4.- LEXEMAS, PATRONES, COMPONENTES LÉXICOS Y ATRIBUTOS.
Los lexemas son caracteres o conjuntos de caracteres(palabras) que pertenecen al léxico del lenguaje.
Los patrones son reglas que describen un conjunto de lexemas que pueden ser representados por determinados componentes léxicos en el análisis sintáctico.
Los componentes léxicos son las unidades sintácticas o terminales para la gramática que define la estructura sintáctica del lenguaje.
Los atributos son las informaciones adicionales para cada componenteléxico que serán utilizadas en el análisis semántico o en la traducción. Habitualmente los atributos que se guardan en la tabla de símbolos son relativos a los identificadores.
En la mayoría de los lenguajes de programación, se consideran componentes léxicos las siguientes construcciones:
Las palabras reservadas
Los operadores (de comparación, asignación, booleanos, binarios, aritméticos,...
Analizador Léxico
2003
Índice
1.- ANALIZADOR LÉXICO
2.- FUNCIONES DEL ANALIZADOR LÉXICO
3.-VENTAJAS DE SEPARAR EL ANÁLISIS LÉXICO DEL SINTÁCTICO.
4.- LEXEMAS, PATRONES, COMPONENTES LÉXICOS Y ATRIBUTOS.
5.- ESTRUCTURA FUNCIONAL DEL ANALIZADOR LÉXICO.
6.- CONSTRUCCIÓN DE ANALIZADORES LÉXICOS
7.- DETECCIÓN Y RECUPERACIÓN DE ERRORES LÉXICOS
1.-ANALIZADOR LÉXICO
El objetivo de este analizador es el de aceptar o rechazar el léxico ( las palabras o caracteres) que presenta el programa fuente, comprobando si pertenece o no al lenguaje que se intenta analizar. Si lo acepta entrega al analizador sintáctico unidades sintácticas con un determinado significado sintáctico y semántico. Ejemplo en lenguaje natural:
By Juan escribe cartas
En castellanose rechazaría by por no estar en el léxico de idioma, pero el resto de las palabras serían aceptadas entregando al analizador sintáctico : sujeto, verbo, complemento directo que concuerda con una estructura gramatical de una frase u oración en castellano.
Así pues el análisis léxico se realiza en el nivel de los caracteres y su misión es a partir de éstos, comparándolos con patrones, reconocer elconjunto de caracteres (lexemas) que constituyen una unidad sintáctica, entregando al analizador sintáctico dicha unidad sintáctica o componente léxico, habitualmente con información adicional (atributos).
2.- FUNCIONES DEL ANALIZADOR LÉXICO
Principal:
Leer carácter a carácter del programa fuente, bajo petición del analizador sintáctico.
Entregar al analizador sintáctico la unidad sintáctica,llamada componente léxico (token) junto con información adicional relevante para el analizador semántico y para el traductor ( atributo).
Rechazar aquellos caracteres o conjunto de éstos que no pertenezcan al lenguaje, indicándolo mediante mensaje de error al usuario.
Secundarias:
Ignorar del programa fuente los comentarios, los espacios en blanco y los tabuladores.
Reconocer las palabrasreservadas del lenguaje
Contar los saltos de línea y asociar los mensajes de error con el número de la línea del programa fuente donde se producen.
Guardar información relacionada con los componentes léxicos en una llamada tabla de símbolos.
Circunstanciales:
Manejar el fichero fuente ( abrir, leer , cerrar).
Utilizar un preprocesador para expandir macros.
Si el formato de línea no es libre, informardel fin de línea.
3.-VENTAJAS DE SEPARAR EL ANÁLISIS LÉXICO DEL SINTÁCTICO.
Se consume mucho tiempo de compilación en leer el programa fuente. Estando separados los dos análisis se puede aumentar la eficacia con técnicas especiales de manejo de buffers de entrada.
La sintaxis del léxico es más sencilla: corresponde a gramáticas más simples (expresiones regulares ).
Las peculiaridades delalfabeto de entrada ( códigos ASCII, EBCDIC, considerar mayúsculas diferentes o no que las correspondientes minúsculas) pueden quedar limitadas al analizador léxico.
Ciertas ambigüedades pueden resolverse en el analizador léxico ( variable o sentencia : DO1I = 8.15 ó DO1I = 8; 15 ).
4.- LEXEMAS, PATRONES, COMPONENTES LÉXICOS Y ATRIBUTOS.
Los lexemas son caracteres o conjuntos de caracteres(palabras) que pertenecen al léxico del lenguaje.
Los patrones son reglas que describen un conjunto de lexemas que pueden ser representados por determinados componentes léxicos en el análisis sintáctico.
Los componentes léxicos son las unidades sintácticas o terminales para la gramática que define la estructura sintáctica del lenguaje.
Los atributos son las informaciones adicionales para cada componenteléxico que serán utilizadas en el análisis semántico o en la traducción. Habitualmente los atributos que se guardan en la tabla de símbolos son relativos a los identificadores.
En la mayoría de los lenguajes de programación, se consideran componentes léxicos las siguientes construcciones:
Las palabras reservadas
Los operadores (de comparación, asignación, booleanos, binarios, aritméticos,...
Leer documento completo
Regístrate para leer el documento completo.