P2P-MAPREDUCE

A Peer-to-Peer Framework for Supporting Map Reduce Applications in Dynamic Cloud Environments
(Un marco Peer-to-Peer para apoyar aplicaciones MapReduce en entornos cloud Dinámicos)

Introducción:
La computación en nube está ganando un creciente interés, tanto en la ciencia y la industria por su promesa de ofrecer acceso remoto a servicios orientados a las instalaciones de hardware ysoftware. De una manera altamente fiable y transparente. Un punto clave para la aplicación efectiva de los sistemas de nube a gran escala es la disponibilidad de modelos de programación que soportan una amplia gama de aplicaciones y escenarios del sistema. Uno de los modelos de programación de mayor éxito actualmente aprobados para la ejecución de aplicaciones en la nube intensivo de datos es elMapReduce.
Objetivo:
El objetivo de nuestro trabajo es el estudio de cómo la arquitectura maestro-esclavo de las implementaciones actuales MapReduce puede ser mejorado para que sea más adecuado para escenarios dinámicos nube como Interclouds. En este capítulo, se presenta un Peer-to -Peer (P2P) - MapReduce marco que explota un modelo P2P para gestionar la participación de nodos intermitentes, fallasprincipales, y la recuperación de trabajo MapReduce de manera descentralizada, pero eficaz.
MapReduce:
MapReduce define un marco para el procesamiento de grandes conjuntos de datos de una manera altamente paralela mediante la explotación de las instalaciones de computación disponibles en un gran grupo o por medio de un sistema de Cloud.
Las implementaciones MapReduce se basan en un modelomaestro-esclavo. Un trabajo es presentado por un nodo de usuario a un nodo maestro que selecciona trabajadores ociosos y asigna a cada uno un mapa o una tarea a reducir. Cuando se han completado todo el mapa y se han reducido las tareas, el nodo maestro devuelve el resultado al nodo de usuario.
El fracaso de un trabajador está gestionado para volver a ejecutar su tarea sobre otro trabajador, mientrasque las implementaciones MapReduce actuales no hacer frente a errores del maestro, ya que consideran poco probable fracasos en grandes grupos o entornos cloud fiables diseñadores.
Por el contrario, los fallos en los nodos - incluyendo errores del maestro - puede ocurrir en grupos grandes y es probable que suceda en ambientes dinámicos nube como un Internube, una nube de nubes, donde los nodos decomputación pueden unirse y dejar el sistema a una velocidad impredecible. Por lo tanto, proporcionar mecanismos eficaces para gestionar errores del maestro es fundamental para aprovechar el modelo MapReduce en la implementación de aplicaciones de uso intensivo de datos en grandes entornos dinámicos nube donde las implementaciones MapReduce actuales podrían ser poco fiables.
Los usuarios definenun mapa y una función reducir. La función de mapa de procesos de un par (clave, valor) y devuelve una lista de intermedia (clave, valor) en pares:
Map (k1, v1) → list (K2, v2).


La función reducir combina todos los valores intermedios que tienen la misma clave intermedia:
Reduce (K2, list (v2))  list (v2).
El proceso de transformación se puede describir a través de los siguientes pasos(véase la figura:
1. Un proceso maestro recibe una "configuración de trabajo ", que describe el trabajo MapReduce para ser ejecutado. La configuración de la tarea específica, entre otra información, la localización de los datos de entrada, que normalmente es un directorio en un sistema de archivos distribuido.
2. De acuerdo con la configuración del trabajo, el maestro inicia una serie deprocesos mapeados y el reductor en diferentes máquinas. Al mismo tiempo, se inicia un proceso que lee los datos de entrada de su ubicación, particiones que los datos en un conjunto de divisiones, y distribuye los divide a los diversos maleadores.
3. Después de recibir su parte de los datos, cada proceso asignado ejecuta la función de mapa (incluidos como parte de la configuración del trabajo) para...