Weka

Inteligencia Artificial

Algoritmo c4.5

INGENIERÍA EN SISTEMAS COMPUTACIONALES INTELIGENCIA ARTIFICIAL

~ ALGORITMO C4.5 ~
ING. BRUNO LÓPEZ TAKEYAS
ALUMNOS:

José Antonio Espino López Javier Eduardo Tijerina Flores Manuel Cedano Mendoza Eleazar de la Fuente Amaya Juan José Pérez González Aníbal Chiñas Carballo

Nuevo Laredo, Tamaulipas, Noviembre del 2005
Instituto Tecnológico deNuevo Laredo

Pág. 1

Inteligencia Artificial

Algoritmo c4.5

ÍNDICE INTRODUCCIÓN 3 3 3 3 4 4 5 5 5 6 6 7 8 9 9 10 13 13 13 13 14 15

LA FAMILIA TDIDT

CONSTRUCCIÓN DE LOS ÁRBOLES DE DECISIÓN ALGORITMO C4.5 ORIGEN CARACTERÍSTICAS DEL ALGORITMO C4.5 HEURÍSTICA ATRIBUTOS MEJORAS DEL ALGORITMO C4.5
SOBREAJUSTE (OVERFITTING) POST PRUNNING (POST PODA) ESTRUCTURAS UTILIZADAS EN EL ALGORITMOC4.5

EJEMPLO APLICADO DE ÁRBOL DE DECISIÓN ADAPTADO PARA C4.5 PSEUDOCODIGO DE C4.5

DIAGRAMA GENÉRICO DE ALGORITMO C4.5 ESTIMACIÓN DE LA PROPORCIÓN DE ERRORES PARA LOS ÁRBOLES DE DECISIÓN CONSTRUCCIÓN DE UN ÁRBOL DE DECISIÓN UTILIZANDO EL C4.5 APLICACIONES ALGORITMO C4.5
SIMULADOR PARA VOLAR UN AVIÓN CESSNA APRENDIZAJE EN LA WWW GRÚA DE EMBARCACIÓN SISTEMAS EXPERTOS

BIBLIOGRAFÍAInstituto Tecnológico de Nuevo Laredo

Pág. 2

Inteligencia Artificial

Algoritmo c4.5

INTRODUCCIÓN
LA FAMILIA TDIDT
La familia de los Top Down Induction Trees (TDIDT) pertenece a los métodos inductivos del Aprendizaje Automático que aprenden a partir de ejemplos preclasificados. En Minería de Datos, se utiliza para modelar las clasificaciones en los datos mediante árboles de decisión.CONSTRUCCIÓN DE LOS ÁRBOLES DE DECISIÓN
Los árboles TDIDT, a los cuales pertenecen los generados por el ID3 y pos el C4.5, se construyen a partir del método de Hunt. El esqueleto de este método para construir un árbol de decisión a partir de un conjunto T de datos de entrenamiento es muy simple. Sean las clases {C1, C2,. . ., Ck}. Existen tres posibilidades: 1. T contiene uno o más casos, todospertenecientes a una única clase Cj: El árbol de decisión para T es una hoja identificando la clase Cj. 2. T no contiene ningún caso: El árbol de decisión es una hoja, pero la clase asociada debe ser determinada por información que no pertenece a T. Por ejemplo, una hoja puede escogerse de acuerdo a conocimientos de base del dominio, como ser la clase mayoritaria. 3. T contiene casos pertenecientesa varias clases: En este caso, la idea es refinar T en subconjuntos de casos que tiendan, o parezcan tender hacia una colección de casos pertenecientes a una única clase. Se elige una prueba basada en un único

ALGORITMO C4.5 ORIGEN
El algoritmo c4.5 fue desarrollado por JR Quinlan en 1993, como una extensión (mejora) del algoritmo ID3 que desarrollo en 1986.

Instituto Tecnológico de NuevoLaredo

Pág. 3

Inteligencia Artificial

Algoritmo c4.5

El algoritmo C4.5 genera un árbol de decisión a partir de los datos mediante particiones realizadas recursivamente. El árbol se construye mediante la estrategia de profundidad-primero (depth-first). El algoritmo considera todas las pruebas posibles que pueden dividir el conjunto de datos y selecciona la prueba que resulta en la mayorganancia de información. Para cada atributo discreto, se considera una prueba con n resultados, siendo n el número de valores posibles que puede tomar el atributo. Para cada atributo continuo, se realiza una prueba binaria sobre cada uno de los valores que toma el atributo en los datos. En cada nodo, el sistema debe decidir cuál prueba escoge para dividir los datos. Los tres tipos de pruebasposibles propuestas por el C4.5 son: La prueba "estándar" para las variables discretas, con un resultado y una rama para cada valor posible de la variable. Una prueba más compleja, basada en una variable discreta, en donde los valores posibles son asignados a un número variable de grupos con un resultado posible para cada grupo, en lugar de para cada valor. Si una variable A tiene valores numéricos...