Analizador Léxico y Sintáctico

ANALIZADOR LÉXICO
Función de un analizador léxico Leer los caracteres de código fuente y formarlos en unidades lógicas para que lo aborden las partes siguientes de compilador (generalmente el analizador Sintáctico).las unidades lógicas que genera el analizador léxico se denominan Tokens . Los Tokens son las palabras de un lenguaje natural: cada tokens es una secuencia de caracteres querepresenta una unidad de información en el programa fuente.
TOKENS: Palabras reservadas: if, while, son cadenas fijas de letras. Identificadores: Son cadenas definidas por el usuario; compuesta por lo general de letras y números y que comienzan con una letra. Símbolos especiales: como los símbolos aritméticos +, * , -. Además de algunos símbolos compuestos de múltiples caracteres como son: , = , .ATRIBUTO DEL TOKEN: El atributo es cualquier valor asociado a un Token. Ejm: El Token NUM puede tener un atributo de valor de cadena como “32767”, que consta de 5 caracteres numéricos, pero también tendrá un atributo de valor numérico que consiste en le valor real de 32767 calculado a partir de su valor de cadena.
El token de símbolo especial como “MAS”, no solo se tiene el valor de cadena “+”, sinotambién la operación aritmética real + que está asociada con él mismo. Es decir el símbolo del token mismo se puede ver simplemente como otro atributo.
REGISTRO DE TOKEN: El mismo analizador léxico puede realizar la operaciones necesarias para registrar un atributo en el lugar apropiado, o puede simplemente pasar el atributo a una fase posterior del compilador Debido a que el analizador léxicoposiblemente tendrá que calcular varios atributos para cada token, a menudo es útil recolectar todos los atributos en un solo tipo de datos estructurado.
Un registro así se podría declarar en C como: El atributo de valor de cadena sólo es necesario para identificadores y atributo de valor numérico sólo para números. Un arreglo más común es que el analizador léxico solamente devuelva el valor delToken y coloque los otros atributos en variables donde se puede tener acceso a ellos por otras partes del compilador.
EXPRESIONES REGULARES: Estas expresiones representan patrones de cadena de caracteres. Las expresiones regulares r se encuentran completamente definidas mediante el conjunto de cadenas con las que concuerda. Este conjunto se denomina lenguaje generado por la expresión regular. Valedecir que la palabra lenguaje se utiliza para definir “conjunto de cadenas” y no tiene una relación específica con el lenguaje de programación.


ANALIZADOR SINTÁCTICO
Un analizador sintáctico (en inglés parser) es una de las partes de un compilador que transforma su entrada en un árbol de derivación.
El análisis sintáctico convierte el texto de entrada en otras estructuras (comúnmenteárboles), que son más útiles para el posterior análisis y capturan la jerarquía implícita de la entrada. Un analizador léxico crea tokens de una secuencia de caracteres de entrada y son estos tokens los que son procesados por el analizador sintáctico para construir la estructura de datos, por ejemplo un árbol de análisis o árboles de sintaxis abstracta.
El análisis sintáctico también es un estado inicialdel análisis de frases de lenguaje natural. Es usado para generar diagramas de lenguajes que usan flexión gramatical, como los idiomas romances o el latín. Los lenguajes habitualmente reconocidos por los analizadores sintácticos son los lenguajes libres de contexto. Cabe notar que existe una justificación formal que establece que los lenguajes libres de contexto son aquellos reconocibles por unautómata de pila, de modo que todo analizador sintáctico que reconozca un lenguaje libre de contexto es equivalente en capacidad computacional a un autómata de pila.
Los analizadores sintácticos fueron extensivamente estudiados durante los años 70 del siglo XX, detectándose numerosos patrones de funcionamiento en ellos, cosa que permitió la creación de programas generadores de analizadores...