MapReduce
Páginas: 2 (274 palabras)
Publicado: 29 de enero de 2015
“MapReduce: Simplied Data Processing on Large Clusters”
MapReduce es un framework o modelo de programación y una aplicación asociada para el procesamiento y la generación degrandes conjuntos de datos utilizada por Google. Los usuarios especifican una función de mapeo, y esta procesa una gran cantidad de datos, después genera un conjunto deintermediario claves, y entonces la función de reducir combina todos los valores intermedios asociados con la misma clave intermedia y los junta.
Los programas escritos en este estilofuncional se paralelizar automáticamente y se ejecutan en un gran grupo de máquinas de las materias primas. El sistema de tiempo de ejecución se encarga de los detalles de dividirlos datos de entrada, la programación de la ejecución del programa a través de un conjunto de máquinas, manejo de fallas de la máquina, y la gestión de la comunicación entre lamáquina requerida. Esto permite a los programadores sin ninguna experiencia con los sistemas paralelos y distribuidos utilizar fácilmente los recursos de un sistema distribuido degran tamaño.
Este concepto se inspira en el mapeo y reducción que encontramos en Lisp y algunos otros lenguajes funcionales de programación. Posteriormente en la lectura se describeel modelo de programación básica, para después pasar a la implementación de la interfaz de MapReduce, en las siguientes secciones se habla de los refinamientos del modelo deprogramación y del rendimiento de la aplicación para una gran variedad de tareas, además se explora el uso de MapReduce en Google.
Bibliografía:
Dean Jeffrey, Ghemawat, Sanjay(2004). MapReduce: Simplified Data Processing on Large Clusters. Recuperado el (26 de septiembre de 2012) de https://www.dropbox.com/s/pngspamqwdafr2p/mapreduce-osdi04.pdf
MapReduce es un framework o modelo de programación y una aplicación asociada para el procesamiento y la generación degrandes conjuntos de datos utilizada por Google. Los usuarios especifican una función de mapeo, y esta procesa una gran cantidad de datos, después genera un conjunto deintermediario claves, y entonces la función de reducir combina todos los valores intermedios asociados con la misma clave intermedia y los junta.
Los programas escritos en este estilofuncional se paralelizar automáticamente y se ejecutan en un gran grupo de máquinas de las materias primas. El sistema de tiempo de ejecución se encarga de los detalles de dividirlos datos de entrada, la programación de la ejecución del programa a través de un conjunto de máquinas, manejo de fallas de la máquina, y la gestión de la comunicación entre lamáquina requerida. Esto permite a los programadores sin ninguna experiencia con los sistemas paralelos y distribuidos utilizar fácilmente los recursos de un sistema distribuido degran tamaño.
Este concepto se inspira en el mapeo y reducción que encontramos en Lisp y algunos otros lenguajes funcionales de programación. Posteriormente en la lectura se describeel modelo de programación básica, para después pasar a la implementación de la interfaz de MapReduce, en las siguientes secciones se habla de los refinamientos del modelo deprogramación y del rendimiento de la aplicación para una gran variedad de tareas, además se explora el uso de MapReduce en Google.
Bibliografía:
Dean Jeffrey, Ghemawat, Sanjay(2004). MapReduce: Simplified Data Processing on Large Clusters. Recuperado el (26 de septiembre de 2012) de https://www.dropbox.com/s/pngspamqwdafr2p/mapreduce-osdi04.pdf
Leer documento completo
Regístrate para leer el documento completo.