Computao de Alto Desempenho Clusters de PCs

Renato Silva LNCC - MCT Outubro de 2003

RSS-10/03 p.1/31

 Renato S. Silva sala: 2a-23 - ramal: 6148 - e-mail: rssr@lncc.br Material: Aulas: www.lncc.br/rssr/courses Notas .....

RSS-10/03 p.2/31

Curso

Objetivo: Ensinar a programar visando desempenho. Identicar os recursos computacionais e retirar o maior proveito possvel. Rodar grandes problemas o mais rpido possvel Utilizando-se do Paralelismo em todos os nveis. Mquinas seriais Mquinas paralelas

RSS-10/03 p.3/31

Ementa

RSS-10/03 p.4/31

Avalio

Listas de exerccios (30%) Projeto Final (70%) avaliao por etapas pequenos seminrios Mquinas disponveis Cluster de PCs 32 ns - Carcar SUM 24 processadores

RSS-10/03 p.5/31

Pr-Requesitos

Vontade de por a mo na massa literalmente vai tomar tempo !! lgebra Linear Clculo Numrico C (C++) ou Fortran (suporte para MPI ou PVM) Unix / Linux

RSS-10/03 p.6/31

Bibliograa (parte)

Foster - Designing and Building Parallel Programs -

http://www.mcs.anl.gov/dbpp
Kumar - Introduction to Parallel Computing Dowd - High Performance Computing Gropp - Using MPI Culler - Parallel Computer Architeture a Hardware

Software approach
Papers

RSS-10/03 p.7/31

Processamento de Alto Desempenho

Aula - 01

RSS-10/03 p.8/31

Contedo

Introduo unidades Objetivos: Porque da computaoo de alto desemepenho Porque das mquinas paralelas

RSS-10/03 p.9/31

Unidades

Flop/s - Floating point operations / second Operaes de ponto utuante por segundo 1Mop/s - 1 Megaop/s - 106 Flop/s 1 Gop/s - 1 Gigaop/s - 109 Flop/s 1 Top/s - 1 Teraop/s - 1012 Flop/s 1 Pop/s - 1 Pentaop/s - 1015 Flop/s

RSS-10/03 p.10/31

Porque da Computaoo de alto Desempenho

Modelagem de problemas reais difcil o uso de modelos anal;ticos sujeitos a simplicaes de difcil soluo mtodos experimentais modelos em escala reduzida distncia entre os tomos no pode ser reduzida tcnicas no destrutivas (biolgicos) para medir pertuba-se o experimento custo dos laboratrios perigo (biolgicos e qumicos)

RSS-10/03 p.11/31

Grand Challenge

RSS-10/03 p.12/31

Exemplos

V/STOL (vertical /short take-off and landing) Harrier (1950) vetorizao analisar: estrutura ( cargas areodinmicas) motores efeito do solo 1991 - 2.8 milhes de pontos - 40h Cray Y-MP - 5 milh;es de pontos 10 - 1 h 30 - 300 Gop/s (sustentado)

RSS-10/03 p.13/31

Obs.:

Pico x Sustentado
Desempenho de Pico (peak performance) Aquilo que vc nunca vai ter !!! Oferecido pelos fabricantes Desempenho Sustentado (sustained performance) aquilo que vc realmente consegue !!!! depende da aplicao (algoritimo) depende da mquina

RSS-10/03 p.14/31

300 Gop/s ?

Como se consegue chegar a esse patamar

sustentado ???????
Explorando Paralelismo em diferentes nveis. Nivel de instruoo - mais baixo nvel Nvel de arquitetura (cooperao) - mais alto

nvel

RSS-10/03 p.15/31

Ex.:

F18-A 8 anos (70) 35.000 hr tnel de vento 0 CPU

YF-23 8 anos (86) 5.500 hr tnel de vento 15.000 hr CPU

RSS-10/03 p.16/31

Evoluo dos Processadores

Tecnologia VLSI (very large scale integration) maior nmero de elementos no chip reorganizar os recursos para permitir que mais

operaes sejam feitas ao mesmo tempo

Tecnologias de armazenamento necessrio armazenar os dados em algum

lugar acesso rpido

localidade*

RSS-10/03 p.17/31

Evoluo dos Processadores

RSS-10/03 p.18/31

SPEC

System Performance Evaluation Cooperative Iniciativa de alguns frabicantes (SUN, HP) para

normalizar os benchmarks.

RSS-10/03 p.19/31

Limitaes

O aumento do desempenho no pode ser innito mesmo do paralelismo do nvel de instruo limitaes das mquinas seriais Limitaes Fsica - velocidade da luz tecnolgica - retirada de calor

RSS-10/03 p.20/31

Ex.:

hiptese: Mq. sequencial com 1TFlop/s e 1Tbyte

de armazenamento
para manter funcionando a plena carga. v 3 108 s= = 0.3mm = 12 t 10 Memria - forma matricial 106 x 106 bytes cada byte ocupa 3 Angstrons tamanho de um tomo pequeno

CPU

RAM

RSS-10/03 p.21/31

Mquinas Paralelas

Explorando o paralelismo em mais alto nvel criando mquinas com arquitetura paralela um conceito antigo (58,59), faltou tecnologia ! Quando se tem uma grande carga para puxar

mais fcil colocar mais um boi do que criar um boi gigante

A unio faz a fora

RSS-10/03 p.22/31

RSS-10/03 p.23/31

Mq. Paralelas
Def.: "Mq. Paralela um conjunto de processadores que se comunicam e cooperam para a resoluo de um problema de grande porte"
Almasi e Gottelib 1989

RSS-10/03 p.24/31

Algumas Questes

Quantos processadores ? Qual a potncia de cada processador ? Como eles cooperam ? Como os dados so transmitidos ? Qual o desempenho ? Escalvel ? ( processadores x tamanho)

RSS-10/03 p.25/31

Outros Usos

No s o fato de rodar mair rpido Mas rodar problemas de grande porte ( Tbytes de

RAM)
Aumento da capacidade de recursos Processadores Memria largura de banda de I/O grandes bancos de dados servidores de Web

RSS-10/03 p.26/31

Econmicas:

custo dos processadores muito mais baixo o investimento ainda grande mas so vendidos

muito mais que os supercomputadores

ex.: servidores principalmente com os clusters
5%

SC

Servidores Estaes PCs

RSS-10/03 p.27/31

Paralela x Distribuda

Paralela "fortemente" conectada construda com esse objetivo comunicaoo, sistema operacional,... Ex.: Massive Parallel Processors (MPP) Ex.: clusters de estaes de trabalho (COW) Clusters de PCs Distribuda coleo de mquinas que trabalham em conjunto fortemente dependentes da rede heterogneas (proc., sistemas operacionais,...) Ex.: Metacomputing (grid), redes, ciclos osciossos

RSS-10/03 p.28/31

Mas realmente funciona ?

Lista Top500

RSS-10/03 p.29/31

Conceitos Bsicos

Concorrencia - paralelismo

Escalabilidade**** Localidade Sincronizacao comunicacao - trafego latencia largura de banda (bandwitdh) balanceamento de carga (heterogeneo)

RSS-10/03 p.30/31

Por def. so sistemas mais complexos que os seriais exigem tempo e conhecimento

RSS-10/03 p.31/31