HERRAMIENTAS ETL

UNIVERSIDAD TECNOLÓGICA DE PANAMÁ
FACULTAD DE INGENIERÍA DE SISTEMAS COMPUTACIONALES
CENTRO REGIONAL DE VERAGUAS

Contenido



INTRODUCCIÓN
El presente trabajo tratará de explicar de una manera breve los conceptos básicos sobre los procesos ETL y sus herramientas de trabajo (Knime).
Dentro de los siguientes puntos se podrá observar una completa explicación de software, sucompatibilidad, sus versiones, requerimientos, forma de manejo del mismo y licencia del programa.
Para lograr un mejor entendimiento del programa se colocaron capturas de pantalla de lo que es la interfaz del software en sí, es decir la manera como se va a comunicar el sistema con el usuario ejecutor.
Así, se podrá ver las características y funcionalidades que tiene el Knime como herramienta ETL o mineríade datos.
Proceso ETL.
Las herramientas ETL (Extract, Transform and Load – Extraer, transformar y Cargar).
Es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos, data mart, o data warehouse para analizar, o en otro sistema operacional para apoyar un proceso de negocio.
Los procesos ETL también se puedenutilizar para la integración con sistemas heredados (aplicaciones antiguas existentes en las organizaciones que se han de integrar con los nuevos aplicativos, por ejemplo, ERP´s. La tecnología utilizada en dichas aplicaciones puede hacer difícil la integración con los nuevos programas).
Proceso de Extracción con Software ETL.
Es la primera fase del proceso ETL y consiste en extraer o sacardatos desde las fuentes de datos o desde los sistemas de bases de datos de origen. Cada sistema separado puede usar una organización diferente de los datos o formatos distintos. Los formatos de las fuentes normalmente se encuentran en bases de datos relacionales o ficheros planos, pero pueden incluir bases de datos no relacionales u otras estructuras diferentes. La extracción convierte los datos aun formato preparado para iniciar el proceso de transformación.
Una parte intrínseca del proceso de extracción es la de analizar los datos extraídos, de lo que resulta un chequeo que verifica si los datos cumplen la pauta o estructura que se esperaba. De no ser así los datos son rechazados.
Un requerimiento importante que se debe exigir a la tarea de extracción es que ésta cause un impacto mínimo enel sistema origen. Si los datos a extraer son muchos, el sistema de origen se podría ralentizar e incluso colapsar, provocando que éste no pueda utilizarse con normalidad para su uso cotidiano. Por esta razón, en sistemas grandes las operaciones de extracción suelen programarse en horarios o días donde este impacto sea nulo o mínimo. 
Proceso de Transformación con una Herramienta ETL.
Lasegunda fase del proceso ETL es la fase de Transformación, esta aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Algunas fuentes de datos requerirán alguna pequeña manipulación de los datos. No obstante en otros casos pueden ser necesarias aplicar algunas de las siguientes transformaciones:
Seleccionar sólo ciertas columnas parasu carga (por ejemplo, que las columnas con valores nulos no se carguen).
Traducir códigos (por ejemplo, si la fuente almacena una “H” para Hombre y “M” para Mujer pero el destino tiene que guardar “1″ para Hombre y “2″ para Mujer).
Codificar valores libres (por ejemplo, convertir “Hombre” en “H” o “Sr” en “1″).
Obtener nuevos valores calculados (por ejemplo, total_venta = cantidad * precio).Unir datos de múltiples fuentes (por ejemplo, búsquedas, combinaciones, etc.).
Calcular totales de múltiples filas de datos (por ejemplo, ventas totales de cada región).
Generación de campos clave en el destino.
Transponer o pivotar (girando múltiples columnas en filas o viceversa).
Dividir una columna en varias (por ejemplo, columna “Nombre: García, Miguel”; pasar a dos columnas “Nombre:...