Con flash

The Google File System
Por Sanjay Ghemawatt, Howard Gobioff y Shun-Tak Leung
Traducido por Volkan Rivera

Resumen:

Nosotros hemos diseñado e implementado el Google File System, un sistema de archivos distribuido y escalable para aplicaciones distribuidas que accesen intensivamente a los datos. Éste provee tolerancia a fallos mientras mientras corre sobre computadoras de bajo costo, y escapaz de generar un alto rendimiento a un gran número de clientes.
Mientras compartimos muchos de los objetivos de otros sistemas de archivos distribuidos, nuestro diseño se basa en criterios obtenidos de la observación del flujo de datos de nuestras aplicaciones y el entorno tecnológico, tanto el actual como el futuro, que refleja un marcado alejamiento de algunas suposiciones iniciales desistemas de archivos.  Esto nos ha llevado a reexaminar las opciones tradicionales para el diseño de sistemas de archivos y explorar nuevos puntos de vista radicalmente diferentes.
El sistema de archivos ha cumplido exitosamente nuestras necesidades de almacenamiento. Y es ampliamente usado en Google como la plataforma de almacenamiento para la generación y procesamiento de datos, usados por nuestrosservicios así cómo también en nuestros trabajo de investigación y desarrollo que requiere grandes conjuntos de datos. El cluster más grande a la fecha provee cientos de terabytes de almacenamiento a través de miles de discos en un número equivalente de computadoras, y es accesado simultáneamente por cientos de cliente.
En este documento presentaremos los alcances del diseño del sistema de archivospara soportar aplicaciones distribuidas, discutiendo muchos de los aspectos de nuestro diseño y mostraremos reportes de nuestras mediciones tanto de micro-benchmark (pruebas de laboratorio) como su uso en el mundo real.
Categorías y descripción del tema:
D [4]: 3 - Sistema de archivos distribuido

The Google File System
Introducción
El sistema de archivos de Google, GFS1 (siglas de «GoogleFile System»), es un sistema de
almacenamiento basado en las necesidades de Google diseñado por Sanjay Ghemawat, Howard
Gobioff y Shun-Tak Leung y presentado por primera vez en «19th ACM Symposium on Operating
Systems Principles», Lake George, Nueva York, octubre de 20032.
Al no ser un sistema de archivos de uso generalista, GFS, ha sido diseñado teniendo en cuenta las
siguiente premisas: queun componente falle es la norma no la excepción, los archivos son enormes
(archivos de muchos GB son comunes), es muy común que un archivo cambie porque se le añaden
datos pero es muy raro que se sobrescriban los datos existentes, el codiseño de las aplicaciones y de
la API del sistema de archivos proporciona un beneficio global.
Diseño
Suposiciones
El sistema está construido para que elfallo de un componente no le afecte.
El sistema almacena grandes archivos
La mayoría del trabajo consiste en dos tipos de lecturas: grandes lecturas de datos y
pequeñas lecturas aleatorias
La carga de trabajo también consiste en añadir grandes secuencias de datos a archivos.
El sistema debe ser diseñado para ofrecer concurrencia a múltiples clientes que quieran el
mismo archivo.Tener un gran ancho de banda prolongadamente es más importante que una baja latencia.
Arquitectura
Un cluster GFS consiste en un master y múltiples chukserver que dan servicio a múltiples clientes.
Cada uno de estos servidores está normalmente implementado sobre una máquina Linux ejecutando
el servidor como un proceso a nivel de usuario.
Los archivos están divididos en trozos de tamaño fijo y cadatrozo es identificable por un número
único (global e inmutable) de 64 bits, llamado chunk handle, que es asignado por el master cuando
el trozo se crea. Por fiabilidad, cada trozo está replicado en varios chunkserver.
El master es el encargado de mantener todos los metadatos del sistema de archivos. Eso incluye el
espacio de nombres, información para el control de acceso, el mapa con la...