Intro tagging

Prácticas

Definición
• Un etiquetador/anotador recibe una secuencia de palabras y le asigna una secuencia de etiquetas gramaticales (tags)
El niño come una manzana

ETIQUETADOR

DET N V DETN

Dificultad de la anotación: Ambigüedad
• Una misma palabra puede tener etiquetas diferentes en diferentes frases.
– Ha pesado/V tres kilos – El profesor es un pesado/N – Un discuro pesado/ADJ• La categoria gramatical de una palabra en una frase depende del contexto de utilización. – Ejemplo. • La palabra “médico” después del determinante (“un”) generalmente actuará como nombre (y nocomo adjetivo). “Un medico/N” vs. “un equipo médico/N”

¿Cómo automatizar el proceso?
• Opción 1: – Obtener un diccionario – Escribir reglas
• si wi=“médico” y ti-1 es un DET entonces • entoncesti = N

• Opción 2: Utilizando Aprendizaje Automático (Machine Learning)

Tagging como Supervised Machine Learning
Corpus

- Datos anotados manualmente: “Training test”. En LC se suele llamar aestos datos un “Corpus anotado”. - Objetivo: extraer de estos datos “conocimento” para poder repetir la operación de etiquetado con otros textos

Tagging como Supervised Machine Learning 1 -Entrenamiento
Corpus

Alg. de generación del ML

Modelo del Lenguaje

- El Modelo del Lenguage (ML) puede consistir en reglas, conjunto de probabilidades, pesos de un red neuronal, etc.

Taggingcomo Supervised Machine Learning 2 – Etiquetado
Corpus Texto sin etiquetar

Modelo del Lenguaje

Alg. de etiquetado

Texto etiquetado

- Utilizando el ML se puede ahora etiquetar cualquiertexto nuevo

Tagging como Supervised Machine Learning 3 – Evaluación
Corpus Test set Test etiquetado manualmente

Modelo del Lenguaje

Test etiquetado por el programa

Comparación

%correcto

- Para conocer la precisión del algoritmo de etiquetado se compara con un texto anotado manualmente que no se ha usado para el entrenamiento

Anotación Estadística
• Dada una secuencia de...