Etl Extract, Transform And Load

Definición de ETL.

Sus siglas en ingles quieren decir Extract, Transform and Load y es un proceso que permite la extracción de información, procesamiento y carga con diferentes objetivos, dentro de ellos es generar conocimiento.
Operaciones de ETL.

Extraer. La primera parte del proceso ETL consiste en extraer los datos desde los sistemas de origen. La mayoría de los proyectos dealmacenamiento de datos fusionan datos provenientes de diferentes sistemas de origen. La extracción convierte los datos a un formato preparado para iniciar el proceso de transformación. Una parte intrínseca del proceso de extracción es la de analizar los datos extraídos, de lo que resulta un chequeo que verifica si los datos cumplen la pauta o estructura que se esperaba. De no ser así los datos sonrechazados.
Transformar. Aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Algunas fuentes de datos requerirán alguna pequeña manipulación de los datos. No obstante en otros casos pueden ser necesarias aplicar algunas de las siguientes transformaciones:
* Seleccionar solo ciertas columnas para su carga.
* Traducir códigos.* Codificar valores libres.
* Obtener nuevos valores calculados.
* Unir datos de múltiples fuentes.
* Generación de campos clave en el destino.
* Transponer o pivotar.
* Dividir una columna en varias.
* La aplicación de cualquier forma, simple o compleja, de validación de datos, y la consiguiente aplicación de la acción de datos OK y ERRONEOS.
Carga.: momento en elcual los datos de la fase pasada son cargados en el sistema de destino. Dependiendo de los requerimientos de la organización, este proceso puede abarcar una amplia variedad de acciones diferentes. Hay dos formas básicas para el proceso de carga:
* Acumulación Simple: simple y más común. Consiste en realizar un resumen de todas las transacciones comprendidas en el periodo de tiempo seleccionadoy transportar el resultado como una única transacción hacia el data werehouse, almacenando un valor calculado que consistirá en un sumatorio típicamente.
* Rolling: se aplica en los casos en que se opta por mantener varios niveles de granularidad. Para ello se almacena información resumida a distintos niveles, correspondientes a distintas agrupaciones de la unidad de tiempo o diferentesniveles jerárquicos.
Al realizar esta operación se aplicaran todas las restricciones y trigger que se hayan definido en esta, si estas están bien definidos contribuyen a que se garantice la calidad de los datos en el proceso ETL, y deben ser tomados en cuenta.
Staging Area
Se entiende por Staging Area el sistema que pertenece entre las fuentes de datos y el data werehouse con el objetivo de:
*Facilitar la extracción de datos desde las fuentes de origen de carácter múltiple realizando un pretratado.
* Realizar lo que se conoce como data cleansing.
* Mejorar la calidad de datos.
* Ser usado como cache de datos operacionales con el que posteriormente se realiza el proceso de Data Werehousing.
* Uso de la misma para acceder en detalle a información no contenida en el DataWerehouse.
Estructura de datos en el ETL.
El proceso ETL involucre la interacción con diversas estructuras de datos que se leen y escriben en diversos dispositivos de almacenamiento, por tal motivo revisamos las estructuras de datos más frecuentes que se presentan a lo largo del proceso.
Definición de Archivo de texto plano y sus operaciones en ETL.
Los archivos de texto plano son aquellos quealmacenan la información en filas y columnas para emular la estructura de una tabla de una base de datos. Estos archivos pueden ser manipulados y procesados por algunas de las herramientas de ETL o ya sea por lenguajes de secuencia de comandos como si se trataran de tablas de bases de datos, solo que en algunas ocasiones mas rápido que ellas.
Las operaciones de ordenado, eliminado, mezcla, entre...