Tarea

Árboles de decisión
Tema 3
Juan A. Bot´a Blaya ı
juanbot@um.es

´ Departamento de Ingenier´a de la Informacion y las Comunicaciones ı Universidad de Murcia

´ Aprendizaje Computacional. Ingenier´ Superior en Inform ıa atica. Tema3. ADs. Juan A. Bot´ – p.1/38 ıa

Árboles de decisión
1. Introducción 2. Aplicabilidad 3. Algoritmo básico 4. Búsqueda en ID3 5. Sobre-aprendizaje 6. Valorescontinuos 7. Medidas alternativas para selección de atributos 8. Valores nulos 9. Atributos con costes diferentes 10. Árboles de regresión

´ Aprendizaje Computacional. Ingenier´ Superior en Inform ıa atica. Tema3. ADs. Juan A. Bot´ – p.2/38 ıa

Introducción [Mit97]
Método para aproximar funciones de valores discretos a la entrada y a la salida. La función de salida viene representada por unárbol de decisión Los nodos representan atributos de entrada, y los arcos los diferentes valores que éstos pueden tomar. Las hojas son los valores de salida de la función. También pueden escribirse en forma de reglas IF-THEN Aplicación típica: concesión de créditos

´ Aprendizaje Computacional. Ingenier´ Superior en Inform ıa atica. Tema3. ADs. Juan A. Bot´ – p.3/38 ıa

Ejemplos → Árbolbinario
Color=verde Uva tamaño=grande si no tamaño=medio si Manzana no Uva tamaño=grande si Pomelo no Limón si si no color=amarillo no

Melón

forma=redondeado si no Banana

tamaño=pequeño si no Manzana sabor=dulce si Cereza no Uva

´ Aprendizaje Computacional. Ingenier´ Superior en Inform ıa atica. Tema3. ADs. Juan A. Bot´ – p.4/38 ıa

Ejemplos → Árbol n-ario
Tiempo Soleado Nublado HumedadNormal No Alta Si Si Fuerte No Lluvioso Viento Suave Si

(T iempo = Soleado ∧ Humedad = N ormal) ∨ ∨ (T iempo = N ublado) (T iempo = Lluvioso ∧ V iento = Suave) T HEN JUGAR=Si

´ Aprendizaje Computacional. Ingenier´ Superior en Inform ıa atica. Tema3. ADs. Juan A. Bot´ – p.5/38 ıa

¢ Uy u iU `Y `r V p X i ir U Va X R SQ 8  A ' 1 ' 8 ¢ ¤ ¤ ' 8 A 8 % A 4 1 ¦ 9 @ % 8 ' V iUy b YW a U q yWr s v ` Wu U U u r … r r x a Va ƒ X ta Y q W w Vry Y `r s  ‚€ iU ' 8 4 5 6 5 ! 4 31 ) ¢  0 ¥ r W q ' 8 p X ' 1 £ 2 31 2 5 ¤ %& &' 5 % % 1 ¤   2 31  ¢  !  ¦ ¥    W Y iU ta i X % ` ' UW s 5 i I PH W € Y q Y f Y X q a W % G a Y X 1 ¥ ¦ ¥ ¥  ¡  F W s V r € V 5 A g ED ' W UW `U iU X % 8 CB U b € r i U YW U £ 9 @ ¥¦ § ¢¤

 ¡

¨©

|

` U ` U y Y ir Va Vr ryi V p X W iU i `rg Y u r q W W iU i rV V y b X W Y X Y † YW ` a v V x W r‚q X w W ` ` Y X ` W W X g `p X W X W Y X V r X X s s iU i a i W i s i Vr Y f s W a U YW VU xW Y s V f g hf `r U `p „ `U X b X r s r u q r € p W ƒ X ` c ed `U c ed r U iY Y X b ƒ X ` ta ` a X `a Va V b 6 75 x Y q U r r `a yVr a w X s a b x b `r W Y X 4 5 Vr r X w a v tY W W VY U V u iU W b U 3T W r ‚q Y € YW w W

X s Wu 2 5 W r‚q „ 7`p U„ u

`r `r X

r s

W



#" 5 ¢  $

W r ‚q

Árboles monotéticos - Espacio de hipótesis

´ Aprendizaje Computacional. Ingenier´ Superior en Inform ıa atica. Tema3. ADs. Juan A. Bot´ – p.6/38 ıa

(

Aplicabilidad
Los ejemplos se presentan en forma de pares < atributo, valor > Mejor si los atributos tienen un dominio de valores reducido. La función de salida presentavalores discretos. Es interesante el tipo de representación con vistas a la explotación posterior del modelo. Resulta conveniente una representación del tipo de la disyunción de conjunciones. Los datos de aprendizaje pueden contener errores. Los datos de aprendizaje pueden contener valores nulos en algún atributo para algún ejemplo. Ejemplos pueden verse en [Mur97]

´ Aprendizaje Computacional.Ingenier´ Superior en Inform ıa atica. Tema3. ADs. Juan A. Bot´ – p.7/38 ıa

ID3 para clasificación
Los problemas típicos a los que se aplica este tipo de enfoque son denominados problemas de clasificación [Qui93]. Relación de casos, formados por pares < atributo, valor >, junto con una etiqueta que informa sobre la clase de concepto a la que pertenece el ejemplo particular. Una vez aprendido el...