Compiladores - Analisis Lexico


1. ANALISIS LEXICO


1.1. FUNCIONES DEL ANALIZADOR LÉXICO

Las principales funciones del análisis léxicos son:

1. Leer el programa fuente como un archivo de caracteres y dividirlo en unidades lógicas denominada componentes léxicos o tokens

2. Eliminar comentarios o espacios en blanco realizados con las teclas espaciadora, tabuladora o fin de líneas.

3. Reportar errores siexisten

Si el analizador léxico no puede continuar por que ninguno de los patrones concuerda con un prefijo, entonces es necesario recuperar los errores de entrada así:

1. Borrando el carácter extraño

2. Reemplazando un carácter incorrecto por uno correcto

3. Intercambiando los caracteres adyacentes

4. Borrando caracteres sucesivos de la entrada hasta encontrar un componente bienformado.


En la fase de análisis léxico se revisa o se examina el programa fuente como una cadena de izquierda a derecha y se generan los componentes léxicos o token a partir de una secuencia de caracteres que tenga un significado válido.

1.2. CONCEPTOS BÁSICOS

1.2.1. Componentes Léxicos o Tokens

Es un carácter o secuencia de caracteres que representan una unidad de información dentrodel programa fuente, estos pueden ser un signo de puntuación, un operador aritmético, una palabra reservada, una constante, etc.

Para la determinación de un análisis léxico se tienen en cuenta las siguientes categorías.

• Palabras reservadas: Son palabras predefinidas, por ejemplo: for, while, if, etc ...

• Símbolos especiales: Elementos que son únicos, por ejemplo: +, -, *, (,), etc.

•Variables o identificadores: Es una de las categorías más
importantes por que son diseñadas por nosotros mismos. Estas poseen una ó varias reglas asociadas.

• Constantes numéricas: No son solamente enteras, pueden ser decimales o flotantes, estas también deben tener una ó varias reglas asociadas.

1.2.2 Patrón:

Es una regla que describe el conjunto de cadenas de la entrada quecorresponden a un componente léxico.

Ejemplo: Una variable comienza en letras seguidas de letras y/ó dígitos.

1.2.3 Lexema:

Es una secuencia de caracteres del programa fuente que concuerdan con un patrón. Ejemplo:
Una variable comienza en letras seguidas de letras y/ó dígitos.

CONT1 Es un lexema que concuerda con el patrón anterior.
CONT$ No es un lexema, por que noconcuerda con ese patrón.


¿Todo componente léxico puede ser un Lexema?

No. todo componente léxico no es un lexema, porque por ejemplo: if es una palabra reservada (recuérdese que las palabras reservadas son componentes léxicos) y no es un lexema.


1.2.4 Alfabeto:

Es un conjunto no vacío y finito de símbolos. Se denota con el símbolo .

Nota: Cuando necesitamos mas de un alfabetole colocamos un subíndice, ejemplo:




Nota: En un solo alfabeto puedo colocar los tres, pero es mejor diferenciarlos por clase de caracteres




1.2.5 Cadena
Es una sucesión ó secuencia de caracteres tomados a partir de un alfabeto.
Ejemplos:

• 010001 es una cadena que pudo ser tomado del alfabeto () ó del alfabeto ()

• 01834 fue tomado del alfabeto (), puesto que suselementos hacen parte solo de este alfabeto.

Nota: La Cadena vacía se representa con el símbolo ()

1.2.6 Lenguaje:

Es un conjunto finito ó infinito de cadenas construidos a partir de los símbolos del alfabeto. Se denota con la letra L. Ejemplo:

L1= {010, 0110, 11100}
L2= {ab, abbc, cajk}


1.3. OPERACIONES BASICAS


1.3.1. Operaciones con cadenas


1.3.1.1. Concatenación

Siu y v son cadenas, entonces la concatenación se denota u.v ó uv
Se define:

1. Si u= y v, entonces u.v=v.u=v
Si u y v, entonces u.vv.u

2. Si u= a1a2 a3…. an y v= b1b 2b 3….bm, entonces
u.v= a1a2 a3….an b1b 2b 3….bm


1.3.1.2. Potencia de una cadena

Si u es una cadena y n {0}Z+ entonces la potencia se denota

un y se define

=

1.3.1.3. Longitud de una cadena...