Clasificacion alg. de busqueda

Clasicación Automática de Documentos
Carlos G. Figuerola, José Luis Alonso Berrocal, Angel F. Zazo
Universidad de Salamanca
Grupo REINA
http://reina.usal.es

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

1 / 23

Clasicación Automática de Documentos
Dos cosas diferentes:

Clasicación Supervisada
también conocida como categorización
parte de la existencia de unconjunto de clases pre-establecidas
el objetivo es colocar cada documento en la clase que le corresponda

Clasicacion no supervisada
también llamada clustering
no hay clases preestablecidas
el propio sistema establece las clases o clusters de forma totalmente
automática

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

2 / 23

Clasicación Supervisada
se parte de unconjunto de clases diseñadas por personas previamente
el sistema debe asignar cada documento a la clase que le corresponda

Aplicaciones:

ltrado de documentos
routing o DSI
recuperación mediante browsing
asignación automática de descriptores, encabezamientos de materias o
similares

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

3 / 23

Clasicación Supervisada
Lamayoría de los algoritmos parten la elaboración de un modelo o
patrón para cada clase
Esta fase se conoce como entrenamiento
Necesita una colección de documentos ya clasicada manualmente
(colección de entrenamiento)
Requiere intervención humana para la clasicación de la colección de
entrenamiento y para la revisión y renamiento de resultado

Carlos G. Figuerola (Grupo REINA)Clasicación Automática

4 / 23

Clasicación Supervisada. Entrenamiento

Podemos verlo como la elaboración de un centroide para cada clase.

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

5 / 23

Clasicación Supervisada
El proceso de clasicación consiste en estimar la similitud entre el
documento a clasicar y cada uno de los centroides
Sistemas que asignan cada documento auna sola clase
Sistemas que asignan un documento a varias clases
En sistemas con asignación de clase única el centroide más similar indica a
qué clase hay que asignar el documento
En sistemas con asignación de clases múltiples un umbral de similitud
indica a qué clases hay que asignar el documento

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

6 / 23

ClasicaciónSupervisada

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

7 / 23

Clasicación Supervisada. Algoritmos

Naive Bayes
Rocchio
Vecino más próximo
Knn

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

8 / 23

Clasicación Supervisada. Naive Bayes

Naive Bayes
tiene una base probabilística
calcula la probabilidad de que un documento encaje en una clase apartir de la probabilidad de que documentos que contengan
determinados términos pertenezcan a esa clase
estas probabilidades de los términos se estiman mediante los términos
que aparecen en los documentos de entrenamiento
en la práctica considera solamente pesos binarios de esos términos
es rápido y fácil de implementar
es ecaz

Carlos G. Figuerola (Grupo REINA)

ClasicaciónAutomática

9 / 23

Clasicación Supervisada. Rocchio

Algoritmo de Rocchio
se basa en las mismas ideas utilizadas en la realimentación por
relevancia
se contruyen vectores que tratan de representar cada clase a partir de
los documentos de entrenamiento
para el vector de cada clase:
los documentos de entrenamiento de esa clase se usan como ejemplos
positivos
los documentos de entrenamiento delas demás clases se usan como
ejemplos negativos

Carlos G. Figuerola (Grupo REINA)

Clasicación Automática

10 / 23

Clasicación Supervisada. Rocchio

Algoritmo de Rocchio
el vector representativo de una clase se construye sumando los pesos
de los términos de los ejemplos positivos
de él se restan los pesos de los términos de los ejemplos negativos
aplicando coecientes...