CENTRO FEDERAL DE EDUCAO TECNOLGICA DE

MINAS GERAIS
PROGRAMA DE PS-GRADUAO EM ENGENHARIA
ELTRICA

C O M P U T A O D E A LT O D E S E M P E N H O

C O M P U TA O PA RA L E L A N A R E S O LU O D E M T O D O S N U M R I C O S
C O M P U TA C I O N A I S
A RT H U R A R A U J O M A I A FA R A H

Setembro / 2012

RELEVNCIA
Vasto numero de problema s pr ticos de
grande complexidade, em diversas reas
do conhecimento.
Necessidade de tcnicas numrica s
computa cionais para tra tar grande
volume de dados com qualidade
numrica.
Inteno de reduzir tempo e custo de
projetos, sem necessidade de construir
prottipos e de realizar ensaios fsicos,
explorando problemas de forma
otimizada.
Alta necessidade de processa mento e
restries em relao a o ha rdware Paradigma da computao paralela
faz-se necessrio!

MTODOS NUMRICOS
COMPUTACIONAIS - ABORDAGEM
GERAL
PROBLEMA

Modelo

Eqs.
Diferenciais
Parciais
Discreti
zao

SOLUO

Mtodos
Numrico
s

Sistemas
Eqs.
Lineares

A p e s a r d a n a t u re z a
diversa dos
p ro b l e m a s , s e m p re
desejvel uma
a b o rd a g e m a m p l a e
generalizada, com
a b s t r a e s e m
diversos nveis.
O p e r a e s
computacionais
convencionais:
E s c a l a re s , Ve t o re s ,
Matrizes.

Exemplo:
Problema
Fsico :
Disperso de
Calor

Modelo
Matemtico
: Eq. de
Laplace

Discretiza
o:
Diferenas
Finitas

Sistemas
Lineares:
Gradiente
Conjugado

Resolu
o
Numrica

RESOLUO PARALELA MULTIGRID

DISCRETIZAO DE DOMNIOS
PERSPECTIVA PARALELA
Pa rti o do dom ni os em subdo m ni os;
Subdom ni os di vi di dos e ntre proc essa dore s;
I ntera o entre a s frontei r as do subdom ni o c ondi es de
c o nti nui dade;
C ada subdom ni o pode apl i c a r tc ni c as di ferentes pa ra prc o ndi c i onam ento;
A c ombi na o apropri ada da s sol u e s no s subdom ni os gera r a
so l u o gl obal
.
Malha
Estruturada
Malha No Estruturada

DISCRETIZAO DE DOMNIOS
PERSPECTIVA PARALELA
Triangula es gradativas pa ra gerao
de malhas degeneradas.
A qualidade da malha determinante
a estabilidade e convergncia do
mtodo relao entre refi na mento e
condicionamento do sistema linear
posterior.
Boas pr ticas para o pa ralelismo de
dados:
distribuio de forma balanceada a carga ;
minimizar o tempo de sincronizao;
tempo de partio do domnio << tempo
de soluo do problema em si;
capacidade de tratar geometrias
irregulares;

Sequencia e Herarquia de ma lhas:

Suavizao de erros;

DISCRETIZAO DE DOMNIOS
PERSPECTIVA PARALELA
Pa rticionamento de Grafos e
balanceamento de carga
O PG um problema NP-difcil no se pode encontrar solues
t i m a s , a p e n a s a p rox i m a e s
a t r a v s d o e m p re g o d e m t o d o s
heursticos;

Grafo da aplicao

Grafo da arquitetura

PE

PE

PE

PE

PE

PE

PE

PE

PE

mapeamento

7
3

MALHADORES - ALTO
DESEMPENHO
Ferramentas para Gerao e Particionam ento de Malha s:
ParMETIS uso do MPI como recurso de colaborao entre processos.
Particionamento multinvel de grafos e malhas de grande porte, via
heursticas de construo e melhoramento.
AGRIF (Adaptive Grid Refi nement in Fortran) recursos de refi namento
de malhas adaptativas com modelos multidimensionais.

A oferta de pacotes
para a soluo
utilizando malhas
no estruturadas
ainda limitada, e
quando existem,
geralmente so
restritos a aplicao
especfica.

DISCRETIZAO DE DOMNIOS
Transferncia de calor em uma placa plana :

Simulao Hidrodinmica do Lago de Gua

Hierarquia de subdomnios:

SISTEMAS LINEARES
Existem diferentes mtodos pa ra a discretizao: MDF, MEF, MVF...
Mtodos semi-explcitos so mais efi cientes computacionalmente;

Discretizao da EDP no domnio gera um sistema matr icia l.

Comumente, sistemas lineares esparsos, simtricos e n-diagonais ;

x B

A discretizao afeta as ca racterstica do sistem a linear, podendo

a fetar de forma determina nte a efi cincia da solu o do problema
como um todo.

SISTEMAS LINEARES
Otimizao de altura diagonal:

Estrutura de da dos para

armazena mento efi ciente:
a rm a z e n a r s o m e n t e t e rm o s n o
n u l o s ( c o m p re s s o d e d a d o s ) .
-

Coordinate Storage (COO)

Compress Sparse Row (CSR)
Block Compress Sparse Row
(BCSR)
Compress Sparse Column (CSC)

Skyline (SKL) - aproveita simetria e

informao de altura diagonal)

SISTEMAS LINEARES MTODOS

DIRETOS X MTODOS
ITERATIVOS
- E fi c i n c i a d e s o l u o d o s i s t e m a l i n e a r d o m i n a a s s i n t o t i c a m e n t e a
c o m p l ex i d a d e c o m p u t a c i o n a l d o a l g o r i t m o.
A e s c o l h a e a p l i c a o d o m t o d o d e s o l u o p re p o n d e r a n t e !

QMR

Gauss

SISTEMAS LINEARES MTODOS

DIRETOS X MTODOS
ITERATIVOS
Mtodos Diretos: tr ansform am o SL em um sistema trivia l

De co mposi o de Ga uss;
De co mposi o de Cho l esky
De co mposi o de Ga uss c om Pi v otame nto ;
M todo de Gauss- J orda n
De co mposi o LU
...

Aumento de
complexidade
computacional

Ax=
Mtodos Iterativos Estacion rios: transforma m o SL em
B uma
Custo de operaes: ma ior que O(N)

expresso recursiva

Mtodo de Jacobi;
Mtodo de Gauss-Seidel;
M t o d o d e Re l a x a m e n t o S u c e s s i v o ( S O R ) ;
...

Complexidade
computacional
vs.
Convergncia de soluo

Custo de operaes: ma ior que O(N)/iterao

SISTEMAS LINEARES MTODOS

DIRETOS X MTODOS
ITERATIVOS
Qual escolher?
E xe m p l o : D e c o m p o s i o d e G a u s s = 2 N /3 o p e r a e s ;
G a u s s - S e i d e l = 2 N o p e r a e s /i t e r a o ;
Lo g o , s e n u m e ro d e i t e r a e s < N / 3 - m t o d o i t e r a t i v o m e l h o r.
Item

Mtodos Diretos

Mtodos Iterativos
Estacionrios

Esparsidade

Descontruda

Preservada

Convergncia

Se matriz no singular, a
soluo sempre obtida.
Mtodos mais robustos.

Garantia de soluo somente sob

certas condies.

Numero de
Operao

Finito.

Convergncia no possvel de ser

determinada, a priori.

Erros de
Arredondament
o

Ampliam-se durante soluo.

Existem tcnicas para
minimizao.

No afetam as solues a parciais,

somente a soluo final.

Aplicao

Sistemas de equaes densos

de pequeno e mdio porte.

Sistemas de equaes de grande

porte notadamente esparsos.

SISTEMAS LINEARES MTODOS

DIRETOS X MTODOS
ITERATIVOS
Mtodos Iterativos No Estacionrios: transformam o SL em um
problema de minimizao de resduo.

Mtodo do Gradiente Conjugado (GC);

Mtodo do Resduo Mnimo Generalizado (GMRES)

Mtodo do Resduo Quasi Mnimo (QMR)
...

..

c onv erge m e m m < < N i te ra es i ndependente do probl em a ( 1 D, 2 D ou

3 D) ;
m depe nde das c a rac ter sti c a s do probl e ma e no do por te do
probl e ma ;
no pree nc he m a m atri z ;
nmero de i te ra es no c onhec i do a pri o ri ;
M-1Ax=M-1b;
c onv erge m r api dame nte se a di agonal dom ina nte
( pr co ndi c i ona me nto) ;

SISTEMAS LINEARES - COMPUTAO

PARALELA
Muitos problemas e questes rela cionados a para lelizao n o
aparecem nos mesmos algoritm os em formato sequencial;
Alocao de tarefas sequenciamento e interdependncia
Comunicao e sincronizao
Efeitos da arquitetura

Anlise algortmica de operaes b sicas par alelizada s:

Adio de Escalares
Complexidade/Numero de Operaes:
Ts(n) = n-1
Tp(n) = log(n) para n/2 processadores;
Efi cincia:

SISTEMAS LINEARES - COMPUTAO

PARALELA
Algoritmo alternativo...
Tp(n) = 2log(n) para n/log(n)
processadores;
Diminuio da comunicao melhora a
efi cincia!
Produto Interno
Possvel utilizar o algoritmo anterior de adio.

Tp(n) = log(n+1) para n processadores;

Multiplicao de Matrizes (mxl e nxl)
Consiste em m*l produtos internos de vetores n-dimensionais.
Numero excessivo de processadores!
Ts(n) = O (n) (tipicamente)
possvel modificar:
Tp(n) = log(n+1) para n*m*l processadores;
Tp(n) = O(n) para n processadores;
Tp(n) = O(n) para n processadores;

SISTEMAS LINEARES - COMPUTAO

PARALELA
Exemplo de ganhos de performance para multiplica es de
matrizes.

SISTEMAS LINEARES - COMPUTAO

PARALELA
Paraleliz ao de mtodos iterativos para soluo de Sistema s
Lineares
Paralelizao do Algoritmo de Jacobi

Parcelas comuns a mais de um

processo podem ser calculadas de
forma colaborativa e transmitidas.

SISTEMAS LINEARES - COMPUTAO

PARALELA
Paralelizao do Algoritmo de Gauss-Seidel
Pode ser inteiramente no paralelizvel - as componentes da iterao depende
de outras componentes previamente calculadas;
Alternativa: decomposio de cores do domnio
Gauss-Seidel Rubro-Negra

Gauss-Seidel 5-cores
possvel desacoplar
incgnitas que
referenciam
interaes presentes
por processo!
Ao fim, realiza-se troca
de informaes entre
as bordas do domnio.

A colorao tima do domnio computacionalmente intratvel (NP-completo). Na

prtica, atribui-se colorao com poucas cores, por observao, em estruturas
simples.

SISTEMAS LINEARES - COMPUTAO

PARALELA
Paralelizao do Algoritmo GMRES

Comunicao
par-mpar

SISTEMAS LINEARES - COMPUTAO

PARALELA [9]
Exemplo GMRES:

Ganho de eficincia
satisfatrio, porm existe
overhead de comunicao
no processo de
transformao GramSchmidt.
- Processo de Givens
serial, pois o overhead
superaria o ganho de
desempenho

RESULTADOS DE SIMULAES
COMPUTACIONAIS GAUSS-SEIDEL
[4]
Resultados SpeedUp - Aplicao
no clculo de transferncia de
calor em uma placa plana:

RESULTADOS DE SIMULAES
COMPUTACIONAIS - MULTIGRID [6]

RESULTADOS DE SIMULAES
COMPUTACIONAIS - ESPALHAMENTO
ELETROMAGNTICO VIA FEM [8]

BIBLIOTECAS DE ALGEBRA
LINEAR ALTO DESEMPENHO
Recorrncia de operaes comuns - reutilizao de cdigo
Tempo de desenvolvimento dispendido no problema em si, e no
nas camadas de funes mais bsicas - otimiza o e
encapsulamento

E v ol u o de
bi bli o tec as
numr ic a s:

CONCLUSO
O uso de mtodos numricos construdos sob a tica de
sistemas de alto desempenho demonstram-se robustos e
efi cientes possibilitando a soluo de problemas de grande
complexidade e interesse prtico, com melhoria de
desempenho.
A escolha da arquitetura, modelo e paradigma
de programao na implementao de uma
soluo so determinantes ao sucesso das
solues. => Analise de granularidade, custo
da arquitetura, escalabilidade...
No existe no momento ferramentas com
possibilidade de abstraes em todos os
nveis, isentando o usurio fi nal de conhecer a
programao.
Muitas questes encontram-se em aberto,
principalmente em relao a padronizaes de
modo geral => Cenrio aberto de muitas
oportunidades

REFERNCIAS BIBLIOGRFICAS
[ 1 ] D . P. B e r t s e k a s , J . N . Ts i t s i k l i s . Pa r a l l e l a n d D i s t r i b u t e d C o m p u t a t i o n : N u m e r i c a l M e t h o d s ,
A t h e n a S c i e n t i fi c , 1 9 9 7 .
[ 2 ] C . S c h e p ke . B i b l i o t e c a s N u m r i c a s Pa r a l e l a s p a r a o C l c u l o N u m r i c o , U F R G , Po r t o
A l e g r e , 2 0 0 8 . [ Te s e d e M e s t r a d o ]
[ 3 ] J . A . T. Fe r r e i r a . N o t a s d e a u l a d a d i s c i p l i n a d e C a l c u l o N u m r i c o , U F O P , I n s t i t u t o d e
Ci n c i as Exa tas e Bi o l g i c a s, Ou ro Pre to, 2 0 09 .
[ 4 ] M . S . G u e r r e r o . Pa r a l l e l M u l t i g r i d A l g o r i t h m s f o r c o m p u t a t i o n a l fl u i d d y n a m i c s a n d H e a t
Tr a n s f e r , U n i v e r s i t a t Po l i t c n i c a d e C a t a l u n y a , D e p a r t m e n t d e M a q u i n e s i M o t o r s Te r m i c s ,
Te r a s s a , 2 0 0 0 . [ Te s e d e D o u t o r a d o ]
[ 5 ] J . A . M o n t e - M o r , C . R. L a r a e J . O. d e A l b u q u e r q u e . M t o d o Pa r a l e l o d e E l i m i n a o d e G a u s s
n o A m b i e n t e P V M , Re v i s t a E l e t r n i c a d e I n i c i a o C i e n t fi c a d a S o c i e d a d e B r a s i l e i r a d e
C o m p u t a o . I S S N 1 5 1 9 - 8 2 1 9 . A n o I I , Vo l . I I , N u m . I , S B C , m a r- 2 0 0 2 .
[ 6 ] A . G o l d m a n . A p o s t i l a t c n i c a M o d e l o s p a r a C o m p u t a o Pa r a l e l a , U S P , S o Pa u l o , 2 0 0 3 .
[ 7 ] G . G a l a n t e . M t o d o s M u l t i g r i d Pa r a l e l o s e m M a l h a s N o E s t r u t u r a d a s A p l i c a d o s a
S i m u l a o d e P r o b l e m a s d e D i n m i c a d e F l u i d o s C o m p u t a c i o n a l e Tr a n s f e r n c i a d e C a l o r ,
U F R G , Po r t o A l e g r e , 2 0 0 6 . [ Te s e d e M e s t r a d o ]
[ 8 ] C . Vo l l a i r e , L . N i c o l a s a n d A . N i c o l a s . Pa r a l l e l C o m p u t i n g f o r t h e Fi n i t e E l e m e n t M e t h o d ,
C E G E LY , E c o l e C e n t r a l e d e Ly o n , Fr a n c e , 2 0 0 7 .
[ 9 ] A . L . M a r t i n o t t o . Pa r a l e l i z a o d o M t o d o d o Re s d u o M n i m o G e n e r a l i z a d o ( G M R E S ) , ,
U F R G , Po r t o A l e g r e . [ O n - l i n e h t t p
: / / w w w. i n f. u f r g s . b r / g p p d / d i s c / c m p 1 3 4 / t r a b s / T 2 / 0 2 1 / g m r e s / g m r e s/]
[ 1 0 ] N . G o h a r i a n , A . J a i n , Q . S u n . C o m p a r a t i v e A n a l y s i s o f S p a r s e M a t r i x A l g o r i t h m s Fo r
I n f o r m a t i o n Re t r i e v a l , I n f o r m a t i o n Re t r i e v a l L a b o r a t o r y , I l l i n o i s I n s t i t u t e o f Te c h n o l o g y ,
Chicago.

PERGUNTAS ???