Analizador Lexico

Compiladores:
Análisis Léxico
Pontificia Universidad Javeriana Cali
Ingeniería de Sistemas y Computación
Prof. Gloria Inés Alvarez V.

Análisis Léxico
Programa
Lenguaje
Fuente

AnálisisLéxico

(Token,
Lexema)

Mensajes de Error

Lee los caracteres del programa fuente de
izquierda a derecha, y los agrupa en tokens

Pontificia U. Javeriana Cali - Ingeniería de Sistemas yComputación – Compiladores – Prof. Ma. Constanza Pabón

Funciones del Analizador Léxico


Convierte el programa fuente en una cadena de tokens










Para reconocer el token usaun patrón, una regla que describe
como se forman las cadenas que corresponden a un token.

Salta comentarios y espacios en blanco (tabuladores,
saltos de línea...)
Tener el registro de la líneadel archivo fuente que está
siendo analizada
Genera mensajes de error léxico, y se recupera del error
Convierte los valores literales al tipo que corresponda
Si la entrada debe obedecer a unformato, verifica el
formato Ej. Fortran, Cobol

Pontificia U. Javeriana Cali - Ingeniería de Sistemas y Computación – Compiladores – Prof. Ma. Constanza Pabón

Tokens y Lexemas


Token:






Elemento básico del lenguaje
Unidad léxica indivisible
Identifica una entidad lógica dentro del lenguaje
Incluyen: Palabras Reservadas, Constantes, Operadores,
Signos de Puntuación eIdentificadores

Lexema:



La cadena original que se identifica como token
No hay correspondencia 1-1 entre token-lexema

Pontificia U. Javeriana Cali - Ingeniería de Sistemas y Computación– Compiladores – Prof. Ma. Constanza Pabón

Tokens y Lexemas: Ejemplos
Token
If

Token #

Lexema

10

‘if’

parentesisIzq 12

‘(‘

Identificador

1

‘valor’

opSuma
puntoComaMenor
menorIgual

30
48
56
57

‘+’
‘;’
‘

i

l

e

a

>

Begin

=

..... 1

5

2

.

5

Forward

Sentinelas: marcar el final del buffer con EOF. Entonces EOF...