Diseño del Componente ETL


Herramienta ETL
ETL son las siglas en inglés de Extraer, Transformar y Cargar (Extract, Transform and Load). Es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos, Data Mart, o Data Warehouse para analizar, o en otro sistema operacional para apoyar un proceso de negocio.
Los procesos ETL también sepueden utilizar para la integración con sistemas heredados (aplicaciones antiguas existentes en las organizaciones que se han de integrar con los nuevos aplicativos, por ejemplo, ERP´s. La tecnología utilizada en dichas aplicaciones puede hacer difícil la integración con los nuevos programas).

Los sistemas o procesos ETL (Extact-Transform-Load) son la base de la construcción de cualquiersistema Data Warehouse (aunque además puedan ser utilizados para otros muchísimos cometidos). Un sistema bien diseñado extrae la información de los sistemas origen, asegura la calidad y consistencia de los datos, homogeniza los datos de sistemas divergentes para que puedan ser utilizados de una forma conjunta (procesando y transformando la información si es necesario) y finalmente genera los datos enel formato apropiado para que puedan ser utilizados por las herramientas de análisis.
Como bien dice Ralph Kimball en su libro “The Datawarehouse ETL Toolkit“, los sistemas ETL construyen o “se cargan” un Data Warehouse. La construcción de un sistema este tipo es una actividad que no está en primera línea de fuego y no es visible para los usuarios finales, pero fácilmente consume el 70% de lasnecesidades de recursos para el desarrollo y mantenimiento de un sistema DW. Además, estos procesos no son solamente un mero traspaso de información de un sistema o otro. Son mucho más, pues pueden dar un valor significativo a los datos. Unos procesos mal definidos, mal validados, pueden cargarse un sistema de BI impecablemente diseñado, pero mal alimentado por unos procesos mal construidos.
Elproceso de construcción de un sistema ETL puede ser extraordinariamente exigente y complejo, estando además limitado por muchos aspectos, como pueden ser los requerimientos, los formatos y deficiencias de los datos de origen, las habilidades del personal disponible, las necesidades de los usuarios finales, el presupuesto del proyecto, las ventanas de tiempo para los procesos de actualización, etc.Teniendo en cuenta esto, no se debe nunca despreciar la importancia, el tiempo y recursos que se han de utilizar para su construcción.

Proceso de Extracción de Datos
La primera parte del proceso ETL consiste en extraer los datos desde los sistemas de origen. La mayoría de los proyectos de almacenamiento de datos fusionan datos provenientes de diferentes sistemas de origen. Cada sistemaseparado puede usar una organización diferente de los datos o formatos distintos. Los formatos de las fuentes normalmente se encuentran en bases de datos relacionales o ficheros planos, pero pueden incluir bases de datos no relacionales u otras estructuras diferentes. La extracción convierte los datos a un formato preparado para iniciar el proceso de transformación.
Una parte intrínseca del proceso deextracción es la de analizar los datos extraídos, de lo que resulta un chequeo que verifica si los datos cumplen la pauta o estructura que se esperaba. De no ser así los datos son rechazados.
Un requerimiento importante que se debe exigir a la tarea de extracción es que ésta cause un impacto mínimo en el sistema origen. Si los datos a extraer son muchos, el sistema de origen se podríaralentizar e incluso colapsar, provocando que éste no pueda utilizarse con normalidad para su uso cotidiano. Por esta razón, en sistemas grandes las operaciones de extracción suelen programarse en horarios o días donde este impacto sea nulo o mínimo.

Proceso de Transformación
La fase de transformación de un proceso de ETL aplica una serie de reglas de negocio o funciones sobre los datos extraídos...