Analizadores Léxicos

FORMATO DEL FICHERO CON LOS TOKENS GENERADOS POR EL ANALIZADOR LÉXICO
Para la corrección de la Práctica de Procesadores de Lenguajes, y como se indica en la especificación de la misma , elProcesador deberá leer (a través de la línea de comandos) el programa fuente de un archivo de texto y entregar
obligatoriamente los resultados generados en varios archivos de texto (lista de tokens,Tabla de Símbolos, parse,
errores). Se detalla aquí el formato que ha de tener el fichero donde se almacenarán los tokens obtenidos por el
Analizador Léxico.


Debe escribirse un único tokenpor cada línea. El fichero puede tener líneas vacías, que no representarán a ningún
token. Los tokens tendrán el siguiente formato:

Dónde:
- del* cualquier cantidad de espacios en blanco otabuladores, o nada.
- código el código del token correspondiente, con el siguiente formato: • (l|d)+ caracteres
alfanuméricos, habiendo al menos uno.

- atributo el atributo del tokencorrespondiente, que puede tener uno de los siguientes formatos: • nombre:
(l|d)+ caracteres alfanuméricos, habiendo al menos uno
• número: [+|-]d+ número entero con signo opcional
• cadena:"c+" cadena de caracteres no vacía
• otros caracteres, por ejemplo: +, -, ;, :, :=, *, /, >, (, ], $, , ++, &, }, .
• vacío: para indicar que el token no tiene atributo

- RE salto de línea(RC) o Fin de Fichero (EOF)


Aunque la codificación habitual del código y del atributo del token es mediante un número, se permite también una
representación más legible usando otroscaracteres.
Tanto en el código como en el atributo del token no se distingue entre caracteres alfabéticos en mayúscula o en
minúscula.
Se permiten comentarios precedidos por //. Un comentario puedesituarse en una línea tras el token o en una línea
que tenga sólo el comentario.


Los tokens estarán en el fichero en el orden en que son generados por el Analizador Léxico, es decir, el...