Describir una arquitectura Big Data

Actividad 1: Describir una arquitectura Big Data
Describiendo una solución Big Data basada en Hadoop:

Fuentes de datos: son todos aquellos datos que obtenemos de diferentes fuentes que generan
datosy que son de gran importancia para una organización, compañía, empresa etc. Estos
datos son clasificados de la siguiente manera: Datos estructurados, son aquellos datos
transaccionales que provienende la organización, la cual reúne información acerca de sus
clientes, proveedores, operaciones, etc. Por otro lado tenemos los datos Semi-estructurados
que son todos aquellos datos que se refieren auna información implícita, pero no tan regular
como para ser gestiona como la estructurada, algunos ejemplos de estos datos son: Emails,
páginas web, XML, JSON, y por ultimo tenemos los datosNo-estructurados que son todos
aquellos que no poseen ningún tipo de estructura y estos podemos tomarlos de redes sociales,
youtube, sensores etc.
Colección e Integración: en este bloque tal y como comenta elsu nombre, es el proceso
mediante el cual se extrae toda la data que queremos procesar en nuestra plataforma Hadoop.
Algunas herramientas de integración son:



Scoop, el cual recolecta informaciónde diferentes bases de datos.
Flume, recolecta datos en tiempo real, como Logs, sensores, etc...

Algunas tecnologías comerciales: Talend, Pentaho, Informática, IBM DataStage…
Área de Staging,Agregación: Cuando ya hemos extraído los datos, viene el siguiente proceso
de transformación (conversión de datos, limpieza de datos sucios, cambio de formatos…) para
luego ser cargados. Herramientas para elproceso de transformación son: Hive, Pig…
Almacenamiento: en este bloque después de ya transformados los datos son comúnmente
cargados a la fuente de datos HDFS el cual se define básicamente como unsistema de ficheros
distribuido en miles de nodos optimizado para trabajar con petabytes de datos sin
inconvenientes.
Algunas soluciones hibridas combinadas con el HDFS, denominadas NoSQL (Not only...