Mineria De Datos

Preprocesamiento de Datos
Francisco Herrera Grupo de Investigación SCI2S Dpto. Ciencias de la Computación e I.A. Universidad de Granada José Riquelme, Roberto Ruiz Grupo de Investigación MLG Dpto. Lenguajes y Sistemas Informáticos Universidad de Sevilla
Reunión Red Nacional DM & ML Madrid, 6-7 Mayo, 2004

Preprocesamiento de Datos Sumario
Introducción Importancia de la Preparación de Datos¿Qué incluye la Preparación de Datos? Reducción de Datos Selección de Instancias Selección de Características

Preprocesamiento de Datos Introducción
D. Pyle, 1999, pp. 90:

“The fundamental purpose of data preparation is to manipulate and transforrm raw data so that the information content enfolded in the data set can be exposed, or made more easily accesible.”
Dorian Pyle Data Preparationfor Data Mining Morgan Kaufmann Publishers, 1999

Preprocesamiento de Datos Introducción
Problem Specification Post Data Mining Evaluation Interpretation Exploitation Data Mining Data Preparation Data Collecting Data cleaning Data Transformation Data Reduction

Resourcing

Preprocesamiento de Datos Importancia de la Preparación de Datos
1. Los datos reales pueden ser impuros, puedenconducir a la extracción de patrones/reglas poco útiles. Esto se puede deber a: Datos Incompletos: falta de valores de atributos, … Datos con Ruido Datos inconsistentes (incluyendo discrepancias)

Preprocesamiento de Datos Importancia de la Preparación de Datos
2. La preparación de datos puede generar un conjunto de datos más pequeño que el original, lo cual puede mejorar la eficiencia del procesode Minería de Datos. Esta actuación incluye: Selección relevante de datos: eliminando registros duplicados, eliminando anomalías, … Reduccion de Datos: Selección de características, muestreo o selección de instancias, discretización.

Preprocesamiento de Datos Importancia de la Preparación de Datos
3. La preparación de datos genera “datos de calidad”, los cuales pueden conducir apatrones/reglas de calidad. Por ejemplo, se puede: Recuperar información incompleta. Eliminar outliers Resolver conflictos, …

Preprocesamiento de Datos ¿Qué incluye la Preparación de Datos?
“El Preprocesamiento de Datos” / “La Preparación de Datos” engloba a todas aquellas técnicas de análisis de datos que permite mejorar la calidad de un conjunto de datos de modo que las técnicas de extracción deconocimiento/minería de datos puedan obtener mayor y mejor información (mejor porcentaje de clasificación, reglas con más completitud, etc.)
Bibliografía: S. Zhang, C. Zhang, Q. Yang. Data preparation for data mining. Applied Artificial Intelligence 17:5-6, 375-381, 2003. Special Issue Data Cleaning and Preprocessing: 13 artículos

Preprocesamiento de Datos ¿Qué incluye la Preparación de Datos?
Esdifícil dar una lista exacta de tareas o tópicos. Diferentes autores dan diferentes tareas y clasificaciónes. Se pueden incluir las siguientes tareas o tópicos:
-

Data collecting and integration Data cleaning Data transformation Data reduction (Feature Selection, Instance Selection, Discretization)

Preprocesamiento de Datos ¿Qué incluye la Preparación de Datos?
Data collecting andintegration Obtiene los datos de diferentes fuentes de información Resuelve problemas de representación y codificación Integra los datos desde diferentes tablas para crear información homogénea, ...
Bibliografía específica para cada aplicación. Bibliografía: V. Detours, J. E. Dumont, H. Bersini and C. Maenhaut. Integration and cross-validation of high-throughout gene expression data: Ejemplo en elámbito comparing heterogeneous data sets, FEBS Letters 546:1, 2003, de la Bioinformática 98-102.

Preprocesamiento de Datos ¿Qué incluye la Preparación de Datos?
Data cleaning Resuelve conflictos entre datos Elimina outliers Chequea y resuelve problemas de ruido, valores perdidos, …
Bibliografía: W. Kim, B. Choi, E-K. Hong, S-K. Kim. A Taxonomy of Dirty Data. Data Mining and Knowledge Discovery...