Sistemas autonomas y lenguajes
Páginas: 10 (2375 palabras)
Publicado: 18 de septiembre de 2012
Que es un analizador Léxico?
Se encarga de buscar los componentes léxicos o palabras que componen el programa fuente, según unas reglas o patrones. La entrada del analizador léxico podemos definirla como una secuencia de caracteres.
[pic]
gramática (N, T, P, S)
N ::= Símbolos no terminales.
T ::= Símbolos terminales.
P ::= Reglas de producción.
S ::= Axioma inicial.
El analizadorléxico tiene que dividir la secuencia de caracteres en palabras con significado propio y después convertirlo a una secuencia de terminales desde el punto de vista del analizador sintáctico, que es la entrada del analizador sintáctico.
El analizador léxico reconoce las palabras en función de una gramática regular de manera que sus NO TERMINALES se convierten en los elementos de entrada de fasesposteriores. En LEX, por ejemplo, esta gramática se expresa mediante expresiones regulares.
Funciones del analizador léxico
El analizador léxico es la primera fase de un compilador. Su principal función consiste en leer los caracteres de entrada y elaborar como salida una secuencia de componentes léxicos que utiliza el analizador sintáctico para hacer el análisis. Esta interacción, suele aplicarseconvirtiendo al analizador léxico en una subrutina o corrutina del analizador sintáctico.
Recibida la orden "Dame el siguiente componente léxico" del analizador sintáctico, el analizador léxico lee los caracteres de entrada hasta que pueda identificar el siguiente componente léxico.
[pic]
Otras funciones que realiza:
• Eliminar los comentarios del programa.
• Eliminar espacios enblanco, tabuladores, retorno de carro, etc, y en general, todo aquello que carezca de significado según la sintaxis del lenguaje.
• Reconocer los identificadores de usuario, números, palabras reservadas del lenguaje,..., y tratarlos correctamente con respecto a la tabla de símbolos (solo en los casos que debe de tratar con la tabla de símbolos).
• Llevar la cuenta del número de línea por la que valeyendo, por si se produce algún error, dar información sobre donde se ha producido.
• Avisar de errores léxicos. Por ejemplo, si @ no pertenece al lenguaje, avisar de un error.
• Puede hacer funciones de preprocesador.
Necesidad del analizador léxico.
• Se mejora la eficiencia del compilador. Un analizador léxico independiente permite construir un procesador especializado y potencialmentemás eficiente para esa función. Gran parte del tiempo se consume en leer el programa fuente y dividirlo en componentes léxicos. Con técnicas especializadas de manejo de buffers para la lectura de caracteres de entrada y procesamiento de componentes léxicos se puede mejorar significativamente el rendimiento de un compilador.
• Se mejora la portabilidad del compilador. Las peculiaridades del alfabetode entrada y otras anomalías propias de los dispositivos pueden limitarse al analizador léxico. La representación de símbolos especiales o no estándares pueden ser aisladas en el analizador léxico.
Conceptos de tokens, patrones y lexemas
El analizador lexicográfico puede tener la siguiente estructura:
Patrón : es una expresión regular.
Token : es el terminal asociado a un patrón. Cada token seconvierte en un número que es un código identificativo de cada patrón. En algunos casos, cada número tiene asociado un puntero a la tabla de símbolos. Utilizamos la palabra terminal desde el punto de vista de la gramática utilizada por el analizador sintáctico.
Lexema : Es cada secuencia de caracteres concreta que encaja con un patrón, es decir,
es como una instancia de un patrón.
Ej: 8, 23,50 ( son lexemas que encajan con el patrón ( 0 | 1 | 2 | ... | 9) + )
Análisis Sintáctico
Todo lenguaje de programación tiene reglas que describen la estructura sintáctica de programas bien formados. En Pascal, por ejemplo, un programa se compone de bloques, un bloque de proposiciones, una proposición de expresiones, una expresión de componentes léxicos, y así sucesivamente. Se puede...
Se encarga de buscar los componentes léxicos o palabras que componen el programa fuente, según unas reglas o patrones. La entrada del analizador léxico podemos definirla como una secuencia de caracteres.
[pic]
gramática (N, T, P, S)
N ::= Símbolos no terminales.
T ::= Símbolos terminales.
P ::= Reglas de producción.
S ::= Axioma inicial.
El analizadorléxico tiene que dividir la secuencia de caracteres en palabras con significado propio y después convertirlo a una secuencia de terminales desde el punto de vista del analizador sintáctico, que es la entrada del analizador sintáctico.
El analizador léxico reconoce las palabras en función de una gramática regular de manera que sus NO TERMINALES se convierten en los elementos de entrada de fasesposteriores. En LEX, por ejemplo, esta gramática se expresa mediante expresiones regulares.
Funciones del analizador léxico
El analizador léxico es la primera fase de un compilador. Su principal función consiste en leer los caracteres de entrada y elaborar como salida una secuencia de componentes léxicos que utiliza el analizador sintáctico para hacer el análisis. Esta interacción, suele aplicarseconvirtiendo al analizador léxico en una subrutina o corrutina del analizador sintáctico.
Recibida la orden "Dame el siguiente componente léxico" del analizador sintáctico, el analizador léxico lee los caracteres de entrada hasta que pueda identificar el siguiente componente léxico.
[pic]
Otras funciones que realiza:
• Eliminar los comentarios del programa.
• Eliminar espacios enblanco, tabuladores, retorno de carro, etc, y en general, todo aquello que carezca de significado según la sintaxis del lenguaje.
• Reconocer los identificadores de usuario, números, palabras reservadas del lenguaje,..., y tratarlos correctamente con respecto a la tabla de símbolos (solo en los casos que debe de tratar con la tabla de símbolos).
• Llevar la cuenta del número de línea por la que valeyendo, por si se produce algún error, dar información sobre donde se ha producido.
• Avisar de errores léxicos. Por ejemplo, si @ no pertenece al lenguaje, avisar de un error.
• Puede hacer funciones de preprocesador.
Necesidad del analizador léxico.
• Se mejora la eficiencia del compilador. Un analizador léxico independiente permite construir un procesador especializado y potencialmentemás eficiente para esa función. Gran parte del tiempo se consume en leer el programa fuente y dividirlo en componentes léxicos. Con técnicas especializadas de manejo de buffers para la lectura de caracteres de entrada y procesamiento de componentes léxicos se puede mejorar significativamente el rendimiento de un compilador.
• Se mejora la portabilidad del compilador. Las peculiaridades del alfabetode entrada y otras anomalías propias de los dispositivos pueden limitarse al analizador léxico. La representación de símbolos especiales o no estándares pueden ser aisladas en el analizador léxico.
Conceptos de tokens, patrones y lexemas
El analizador lexicográfico puede tener la siguiente estructura:
Patrón : es una expresión regular.
Token : es el terminal asociado a un patrón. Cada token seconvierte en un número que es un código identificativo de cada patrón. En algunos casos, cada número tiene asociado un puntero a la tabla de símbolos. Utilizamos la palabra terminal desde el punto de vista de la gramática utilizada por el analizador sintáctico.
Lexema : Es cada secuencia de caracteres concreta que encaja con un patrón, es decir,
es como una instancia de un patrón.
Ej: 8, 23,50 ( son lexemas que encajan con el patrón ( 0 | 1 | 2 | ... | 9) + )
Análisis Sintáctico
Todo lenguaje de programación tiene reglas que describen la estructura sintáctica de programas bien formados. En Pascal, por ejemplo, un programa se compone de bloques, un bloque de proposiciones, una proposición de expresiones, una expresión de componentes léxicos, y así sucesivamente. Se puede...
Leer documento completo
Regístrate para leer el documento completo.