paper

Big data. Un nuevo paradigma
de análisis de datos
There was five exabytes of
information created between the
dawn of civilization through
2003, but that much information
is now created every two days,
and the pace is increasing.
Eric Schmidt, former CEO
of Google, 2010

Carlos Maté Jiménez

Profesor Propio de la ETSI (ICAI) de la Universidad
Pontificia Comillas de Madrid, adscrito al Departamentode Organización Industrial y al Instituto de
Investigación Tecnológica (IIT). Doctor en Ciencias
Matemáticas y diplomado en Ciencias Económicas
y Empresariales por la Universidad Complutense.
Actualmente imparte las asignaturas de Análisis de
Datos, Economía y Gestión de Empresas y Estadística. Reconocido experto en predicción y en análisis
de datos simbólicos, ha escrito varios libros sobreEstadística y publicado diversos artículos sobre
aplicaciones de los métodos estadísticos en prestigiosas revistas internacionales y nacionales, tanto
del ámbito industrial, informático y de organización
como del económico.

Palabras clave: cálculo distribuido,
conjuntos de datos masivos, estadística, minería de datos.
Resumen:
En nuestros días, es un hecho incuestionable la ingente cantidad deinformación que se genera cada segundo en nuestro planeta. Dicha información puede ser estructurada,
semiestructurada o no estructurada.
También puede aportar enorme valor
a cualquier entidad o puede suponer
un consumo excesivo de recursos humanos, informáticos, etc.
El análisis inteligente (y la mayoría
de las veces en tiempo real) de este
tipo de información está empezando
a ser un requisito innegablepara la supervivencia de muchas empresas y organizaciones. Como consecuencia de
ello han surgido en los últimos años
términos de nuevo cuño como big
data, Mapreduce, Hadoop o computación en la nube. Así, la demanda de
los llamados “científicos de datos” está
creciendo exponencialmente.
Este artículo plantea una introducción divulgativa a todos estos términos y analiza las estructuras másconocidas para el tratamiento de los big
data, así como las cuestiones legales
y éticas.

10 anales de mecánica y electricidad / noviembre-diciembre 2014

Key words: data mining, distributed
computing, massive datasets, statistics.
Abstract:
An unquestionable fact is the vast
amount of information that each second
is now generated on our planet. This information can be structured, semi-structured orunstructured. It can also bring
tremendous value to any entity or may
lead to undue consumption of human or
computing resources. Intelligent analysis
(generally in real time) of this information is becoming absolutely undeniable
for the survival of many companies and
organizations. As a result demand for
the so-called “data scientist” is growing
exponentially and new concepts like big
data, Mapreduce,Hadoop or cloud computing have emerged.
This article presents an informative introduction to all these terms and analyzes the best known structures for the
treatment of big data, as well as legal
and ethical issues.

Introducción
Tradicionalmente la estructura de
un conjunto de datos se presenta
como una matriz de n filas y p columnas, representando cada fila información sobre p variables medidasen
cada unidad (individuo, empresa, inmueble, calle de una gran ciudad, procedimiento judicial, etc.). Por ejemplo,
la hoja de cálculo Excel 2013 puede
utilizarse para mostrar 1.048.576 filas
por 16.384 columnas en cada hoja,
siendo los límites máximo de almacenamiento en memoria de 2 gigabytes
(GB) en un entorno de 32 bits, y los
límites del sistema y su memoria en un
entorno de 64 bits.Recordamos que un bit es la mínima cantidad de información procesada,
sólo puede ser 1 o 0; mientras que un
byte es un conjunto de 8 bits. La Tabla 1
muestra los distintos múltiplos del byte
con algunos ejemplos de los ámbitos
estático y dinámico de la información,
tomando como base el año 2014.
Una solución a las limitaciones de
Excel procedió de los sistemas de
gestión de bases de datos relacionales...