Analisis_lexicografico

Análisis Léxicografio

Introducción


El análisis de un programa fuente es
separado en dos partes:


Identificando las construcciones de lenguaje de
bajo nivel (tokens) – nombres de variables,
palabras reservadas, etiquetas y operadores



Determinando la organización sintáctica del
programa.





Para describir los tokens puede ocuparse
gramáticas
regulares.
Otroenfoque
descriptivo involucra el uso de expresiones
regulares.

Otro aspecto: aceptores de estados finitos,
pueden especificarse utilizando diagramas
de transición.

El proceso de Análisis
Léxicografico


Se refiere al trabajo que realiza el scanner
con relación al proceso de compilación. El
scanner representa una interfaz entre el
programa fuente y el analizador sintáctico.El Scanner


A través del examen carácter por carácter
del texto, separa el programa fuente en
piezas llamadas tokens, los cuales
representan los nombres de las variables,
operadores, etiquetas, y todo lo que
comprende el programa fuente.



Usualmente genera un árbol de sintaxis del
programa fuente como ha sido definido por
una gramática. Las hojas del árbol son
símbolosterminales de la gramática. Son
esos símbolos terminales o tokens los que el
scanner extrae del código fuente y se los
pasa al analizador sintactico.



El análisis léxico de caracteres generalmente
es lento en los compiladores, y separándolo
del componente de análisis semántico de la
compilación, el énfasis particular puede
darse para hacer más eficiente el proceso.

El proceso deAnálisis Léxico


Un analizador de léxico tiene como función
principal el tomar secuencias de caracteres o
símbolos del alfabeto del lenguaje y
ubicarlas dentro de categorías, conocidas
como unidades de léxico.



Las unidades de léxico son empleadas por el
analizador gramatical para determinar si lo
escrito en el programa fuente es correcto o
no gramaticalmente.



Algunas de lasunidades de léxico no son
empleadas por el analizador gramatical sino
que son descartadas o filtradas. Tal es el
caso de los comentarios, que documentan el
programa pero que no tienen un uso
gramatical, o los espacios en blanco, que
sirven para dar legibilidad a lo escrito.

Patrón




Representa la regla para que una secuencia
de caracteres sea considerada cierta unidad
deléxico. Ejemplo: El patrón para un
identificador de Pascal es:

Una letra seguida por letras, dígitos o
guiones (_)‫‏‬

Rol del Analizador
Léxicografico


Aunque el analizador léxicografico es la
primera etapa del proceso de compilación,
no es quien lo inicia. Pudiera considerarse
que el analizador léxico hace su
procesamiento y envía sus resultados al
analizador sintactico, comosecuencialmente
se aprecia en el proceso de compilación; no
es así:



el analizador léxicografico reune símbolos y
envía el token correspondiente a la unidad
de léxico que conformó al analizador
sintactico y espera una nueva solicitud de
token.

Rol del Analizador
Léxicografico



Durante estas etapas se tiene comunicación
con la tabla de símbolos que concentra
información delas entidades empleadas en
el programa.

Descripción de Patrones


Un Patrón se puede describir:


Mediante una descripción informal, en donde
se emplea el lenguaje natural para describir el
comportamiento de la regla de léxico.



Utilizando
expresiones
regulares.
Una
expresión regular es una notación formal que
utiliza operaciones sobre el alfabeto de un
lenguaje. Porejemplo, se puede definir que un
identificador es:


{letra} ({letra} | {dígito} | {guión})*

Descripción de Patrones


Que interpreta como un elemento del
conjunto letra seguido de cero o más veces
de una letra, dígito o guión.

Descripción de Patrones


Utilizando autómatas finitos (diagramas de
transición o diagramas sintácticos), que son
representaciones gráficas de las...