documento standard ETL

Proyecto SIGNA
Proceso ETL
Proyecto SIGNA - ERS


Versión 1.1
31 de Julio 2009




Historia de Revisiones

Fecha Versión Descripción Autor
22/08/2009 1.0 Creación del documento ERS Fernández - Larraz - Silvera








Tabla de Contenidos

1. Introducción 4
1.1 Propósito 4
1.2 Alcance 4
2. Proceso ETL 4
2.1 Generalidades 4
2.2 Arquitectura de alto nivel4
2.3 Entidades involucradas 5
2.3.1 Pandora 5
2.3.2 Signa 5
2.3.3 ETL 6
2.4 Mapeo entre entidades 6
2.5 Descripción del proceso 6
2.5.1 Generalidades 6
2.5.2 Narrativa del proceso 7


Proceso ETL

1. Introducción

El Proyecto SIGNA representa un nuevo sistema con el objetivo de cubrir las necesidades del cliente Cliente de contar con una herramienta que permita el controlintegral de toda la operativa de monitoreo de los sistemas y servicios de su centro de cómputos. También debe de poder realizar reportes de costos asociados al funcionamiento del centro de cómputos.

•Debido a que el sistema SIGNA utiliza como fuente de información los datos de monitoreo de otro subsistema, debe de existir un conjunto de procesos encargados de extraer, transformar y cargar dichos datos(ETL: Extraction, Transforming and Loading).
1.1 Propósito

El propósito de este documento es recolectar, analizar y definir las necesidades y las características de los procesos necesarios para obtener la información desde el sistema de monitoreo.
1.2 Alcance

El presente documento aplica solamente al proyecto del sistema SIGNA y al subsistema de monitoreo Pandora (v 2.1)

2. Proceso ETL2.1 Generalidades

La arquitectura del proceso ETL maneja distintas entidades. Cuando se hace referencia a nodos se está mencionado los elementos físicos a monitorear, quiere decir: servidores, impresoras, routers, etc. Cuando se habla de módulo se hace referencia a elementos o servicios que están desglosados para su control dentro del nodo monitoreado.

2.2 Arquitectura de alto nivel

Elproceso ETL básicamente maneja estructuras y procesos de bases de datos para realizar su tarea. Dicho proceso consiste en filtrar, transformar y cargar la información requerida para el sistema SIGNA. También se contempla un manejo controlado y registrado del proceso para dar mayor seguridad y control sobre la carga de datos.

Por un lado está la base de datos utilizada por el sistema Pandora queestá encargada de recolectar la información de monitoreo. La base de datos del sistema SIGNA tiene la información consolidada y adaptada de Pandora para sus procesos de reportes gerenciales. La base de datos del proceso de extracción contiene la información acerca del propio proceso ETL y también tablas temporales para el almacenamiento de la información antes de ser llevada a Signa.

La figura1 contiene una representación esquemática de los grandes componentes involucrados en el proceso ETL y la dirección del flujo de datos entre los repositorios involucrados.


Figura 1 - Arquitectura de alto nivel del proceso ETL

2.3 Entidades involucradas

2.3.1 Pandora

Las entidades involucradas en el proceso ETL para el sistema de monitoreo son las siguientes:

Tipo NombreDescripción
Tabla tevento Registro de eventos del sistema Pandora
Tabla tgrupo Categorías de tipo de nodos a monitorear
Tabla tagente Información sobre nodos monitoreados
Tabla tagente_modulo Módulos que contienen los nodos


2.3.2 Signa

Las entidades involucradas en el proceso ETL para el sistema SIGNA son las siguientes:

Tipo Nombre Descripción
Tabla Node_categories Categoría de nodos
TablaNodes Nodos
Tabla Modules Módulos
Tabla Module_state_records Estado de los módulos

2.3.3 ETL

Las entidades involucradas en el proceso ETL son las siguientes:

Tipo Nombre Descripción
Tabla etl_sessions Datos relevantes para cada sesión ETL iniciada
Tabla etl_settings Datos de configuración para las sesiones ETL
Tabla etl_session_mode Modos del proceso ETL (automático, manual)...