Arquitecturas secuenciales

COMPUTACIÓN DE ALTA PERFORMANCE
Curso 2010
Sergio Nesmachnow (sergion@fing.edu.uy) Gerardo Ares (gares@fing.edu.uy) Grupo de Procesamiento Paralelo Aplicado Centro de Cálculo
COMPUTACIÓN DE ALTA PERFORMANCE – 2010 1 ARQUITECTURAS PARALELAS

TEMA 2 ARQUITECTURAS PARALELAS

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

2

ARQUITECTURAS PARALELAS

CONTENIDO
• Arquitecturas secuenciales yparalelas.
– – – – – – Clasificación de Flynn. Modelo SIMD. GPUs. Modelo SISD. Modelo SIMD. Arquitectura MIMD
• MIMD con memoria compartida. • MIMD con memoria distribuida.

• • • •

Factores que determinan la eficiencia Máquina paralela virtual Clusters Arquitecturas multinúcleo
3 ARQUITECTURAS PARALELAS

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

2.1: ARQUITECTURAS SECUENCIALES YPARALELAS

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

4

ARQUITECTURAS PARALELAS

ARQUITECTURAS PARALELAS
• Modelo estándar de computación: Arquitectura de Von Neumann.
• CPU única.
• Ejecuta un programa (único). • Accede a memoria.
Neumann János

• Memoria única.
• Operaciones read/write.

• Dispositivos.

• Modelo robusto, independiza al programador de la arquitectura subyacente.Arquitectura de Von Neumann

• Permitió el desarrollo de las técnicas de programación (estándar).

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

5

ARQUITECTURAS PARALELAS

ARQUITECTURAS PARALELAS
• Extendiendo el modelo a la computación paralela, para lograr abstraer el hardware subyacente. • Existen varias alternativas, genéricamente contempladas en el modelo del multicomputador:
• Variosnodos (CPUs de Von Neumann). • Un mecanismo de interconexión entre los nodos.

Multicomputador (de memoria distribuida).
COMPUTACIÓN DE ALTA PERFORMANCE – 2010 6 ARQUITECTURAS PARALELAS

ARQUITECTURAS PARALELAS
• Extendiendo el modelo a la computación paralela ... • Otras alternativas • Multiprocesador de memoria compartida
• Nodos de Von Neumann. • Memoria única.

• Computador masivamenteparalelo
• Muchísimos nodos (sencillas CPUs estilo Von Neumann). • Topología específica para interconexión entre los nodos.

• Cluster
• Multiprocesador que utiliza una red LAN como mecanismo de interconexión entre sus nodos.

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

7

ARQUITECTURAS PARALELAS

CATEGORIZACIÓN DE FLYNN
• Clasificación de arquitecturas paralelas que considera la manerade aplicación de las instrucciones y el manejo de los datos.

Instrucciones SD MD SI SISD SIMD MI (MISD) MIMD

Michael Flynn

Datos

Taxonomía de Flynn (1966)

S=single, M=multi, I=Instrucción, D=Datos

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

8

ARQUITECTURAS PARALELAS

To help protect y our priv acy , PowerPoint prev ented this external picture from being automaticallydownloaded. To download and display this picture, click Options in the Message Bar, and then click Enable external content.

CATEGORIZACIÓN DE FLYNN
Instrucciones Instrucciones

Datos

Datos
Single Instruction Single Data Multiple Instruction Single Data
9 ARQUITECTURAS PARALELAS

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

To help protect y our priv acy , PowerPoint prev ented this externalpicture from being automatically downloaded. To download and display this picture, click Options in the Message Bar, and then click Enable external content.

CATEGORIZACIÓN DE FLYNN
Instrucciones Instrucciones

Datos

Datos
Single Instruction Multiple Data Multiple Instruction Multiple Data
10 ARQUITECTURAS PARALELAS

COMPUTACIÓN DE ALTA PERFORMANCE – 2010

CATEGORIZACIÓN DE FLYNN
• •• • SISD SIMD MISD MIMD – – – – Modelo convencional de Von Neumann. Paralelismo de datos, computación vectorial. Pipelines, arrays sistólicos. Modelo general, varias implementaciones.

• El curso se enfocará en el modelo MIMD, utilizando procesadores de propósito general o clusters de computadores. • El modelo SIMD se estudiará enfocado en el procesamiento de propósito general en procesadores...