Analizador Lexico

Analizador Léxico

UCR – ECCI CI-2414 Recuperación de Información Prof. M.Sc. Kryscia Daviana Ramírez Benavides

Aspectos Generales
Un analizador léxico es la especificación y el diseño de programas que ejecuten las acciones activadas por patrones dentro de las cadenas. La principal función es leer los caracteres de entrada y elaborar como salida una secuencia de componentes léxicos que seutilizaran. Convierte una cadena de caracteres en una cadena de palabras. Una forma sencilla de crear un analizador léxico consiste en la elaboración de un diagrama que muestre la estructura de los componentes léxicos del archivo fuente, y después hacer la traducción “a mano” del diagrama a un programa para encontrar los componentes léxicos.
UCR-ECCI CI-2414 Recuperación de Información AnalizadorLéxico

Aspectos Generales (cont.)
Una herramienta de software que automatiza la construcción de analizadores léxicos, permite que personas con diferentes conocimientos utilicen la concordancia de patrones en sus propias áreas de aplicación. La gran ventaja de un generador de analizadores léxicos es que puede utilizar los algoritmos más conocidos de concordancia de patrones, con lo cual creaanalizadores léxicos eficientes para los no especialistas en dichas técnicas.

UCR-ECCI CI-2414 Recuperación de Información Analizador Léxico

Algunas Reglas en RI
Dígitos. En general números no son buenos candidatos de palabras claves. Sin embargo, la normalización de ciertos números en el contexto de ciertas palabras pueden ser relevantes para la recuperación de información. Guiones. Puedeque sea o no sea relevante la eliminación de guiones. En general, se adopta una regla y se agregan excepciones. Tildes y caracteres especiales. Puede que sea o no sea relevante la eliminación de tildes y caracteres especiales. En general, se adopta una regla y se agregan excepciones.
UCR-ECCI CI-2414 Recuperación de Información Analizador Léxico

Algunas Reglas en RI (cont.)
Las etiquetasHTML por lo general son removidas. Los signos de puntuación son generalmente removidos. Generalmente el texto es transformado a mayúscula o minúscula.

UCR-ECCI CI-2414 Recuperación de Información Analizador Léxico

Algunas Reglas en RI (cont.)
Dígitos:
Generalmente son palabras poco específicas. Hay casos en que si son importantes:
Vitamina B12 Efecto 2000

No hay una solución generalpues depende del dominio. En colecciones generales se consideran los que empiezan por letra:
2000 NO B12 SI

UCR-ECCI CI-2414 Recuperación de Información Analizador Léxico

Algunas Reglas en RI (cont.)
Guiones:
Al final de palabra se puede eliminar y juntar los dos trozos. Separador:
Es bueno que siga junto: F-16. Son dos palabras: Jean-Claude.

En un dominio específico tenemos otroselementos de juicio. En dominios generales podemos usar:
F no es término y 16 no es término. Por tanto F-16 es término. Jean es término y Claude es término. Por tanto “–” es un separador.

UCR-ECCI CI-2414 Recuperación de Información Analizador Léxico

Algunas Reglas en RI (cont.)
Otros signos:
Puntuación, barras, etc. En la mayoría de los casos son separadores. Aunque no siempre:
Ej.: OS/2Mayúsculas/Minúsculas:
Normalmente da lo mismo. Se suelen poner todo en mayúsculas o todo en minúsculas.

UCR-ECCI CI-2414 Recuperación de Información Analizador Léxico

Algunas Reglas en RI (cont.)
Palabra:
Regla general (colección genérica):
Palabra: Toda cadena de caracteres alfanuméricos o numéricos en que el primer carácter es una letra. Todos los caracteres se pasan a mayúsculas (ominúsculas) y todos los demás son separadores.

En dominios específicos se tiene una lista de términos candidatos.
Ej.: B12 no lo separes

En las preguntas se suele hacer el mismo análisis léxico:
Ej.: “Quiero documentos que tengan 13 animales de pelo verde y rojo”.

UCR-ECCI CI-2414 Recuperación de Información Analizador Léxico

Componentes Léxicos, Patrones y Lexemas
Se dice que...