An Lisis L Xico

Análisis Léxico

Modelos de Programación de Sistemas

Introducción




El análisis de un programa fuente durante la
compilación es complejo.
El análisis de un programa fuente es
separado en dos partes:


Identificando las construcciones de lenguaje de
bajo nivel (tokens) – nombres de variables,
palabras reservadas, etiquetas y operadores –



Determinando la organización sintáctica delprograma.

Introducción [2]




Para describir los tokens puede ocuparse
gramáticas
regulares.
Otro
enfoque
descriptivo involucra el uso de expresiones
regulares.
Otro aspecto: aceptores de estados finitos,
pueden especificarse utilizando diagramas
de transición.

El proceso de Análisis Léxico


Se refiere al trabajo que realiza el scanner
con relación al proceso de compilación. El
scannerrepresenta una interfaz entre el
programa fuente y el analizador sintáctico o
parser.

El Scanner


A través del examen carácter por carácter
del texto, separa el programa fuente en
piezas llamadas tokens, los cuales
representan los nombres de las variables,
operadores, etiquetas, y todo lo que
comprende el programa fuente.

El Parser


Usualmente genera un árbol de sintaxis del
programa fuente comoha sido definido por
una gramática. Las hojas del árbol son
símbolos terminales de la gramática. Son
esos símbolos terminales o tokens los que el
scanner extrae del código fuente y se los
pasa al parser.



El
análisis
léxico
de
caracteres
generalmente es lento en los compiladores,
y separándolo del componente de análisis
semántico de la compilación, el énfasis
particular puede darse para hacermás
eficiente el proceso.

El proceso de Análisis Léxico


Un analizador de léxico tiene como función
principal el tomar secuencias de caracteres
o símbolos del alfabeto del lenguaje y
ubicarlas dentro de categorías, conocidas
como unidades de léxico.



Las unidades de léxico son empleadas por el
analizador gramatical para determinar si lo
escrito en el programa fuente es correcto o
nogramaticalmente.



Algunas de las unidades de léxico no son
empleadas por el analizador gramatical sino
que son descartadas o filtradas. Tal es el
caso de los comentarios, que documentan el
programa pero que no tienen un uso
gramatical, o los espacios en blanco, que
sirven para dar legibilidad a lo escrito.

Patrón




Representa la regla para que una secuencia
de caracteres sea considerada ciertaunidad
de léxico. Ejemplo: El patrón para un
identificador de Pascal es:
Una letra seguida por letras, dígitos o
guiones (_)

Rol del Analizador Léxico


Aunque el analizador de léxico es la primera
etapa del proceso de compilación, no es
quien lo inicia. Pudiera considerarse que el
analizador de léxico hace su procesamiento
y envía sus resultados al analizador
gramatical, como secuencialmentese
aprecia en el proceso de compilación; no es
así:

Rol del Analizador Léxico [2]


La compilación empieza con el analizador
gramatical quien solicita un token para
realizar su trabajo; el analizador de léxico
reune símbolos y envía el token
correspondiente a la unidad de léxico que
conformó al analizador gramatical y espera
una nueva solicitud de token.

Rol del Analizador Léxico [3]


Elanalizador de léxico está supeditado por
el analizador gramatical.



Durante estas etapas se tiene comunicación
con la tabla de símbolos que concentra
información de las entidades empleadas en
el programa.

Descripción de Patrones


Un Patrón se puede describir:


Mediante una descripción informal,
informal en donde
se emplea el lenguaje natural para describir el
comportamiento de la regla deléxico.



Utilizando
expresiones
regulares.
Una
regulares
expresión regular es una notación formal que
utiliza operaciones sobre el alfabeto de un
lenguaje. Por ejemplo, se puede definir que un
identificador es:


{letra} ({letra} | {dígito} | {guión})*

Descripción de Patrones [2]




Que interpreta como un elemento del
conjunto letra seguido de cero o más veces
(la cerradura Kleene,...