1

CHAPITRE 2:
MÉTRIQUES DE PERFORMANCE DES
ARCHITECTURES PARALLÈLES

Mastère SIDATA

2023-2024
CALCUL PARALLÈLE ET
DISTRIBUÉ
Sommaire
1. Introduction et motivation
2. Définition de la programmation parallèle
3. Métrique de mesures de performance d’un système
a) Accélération
b) Efficacité
4. La loi de Moore
5. La loi d’Amdahl
6. La Loi de Gustafon
7. Conclusion
1. Introduction et motivation
Architectures Parallèles Pourquoi?

On a fait recours à des architectures parallèles à cause:

A) Des besoins croissants en hautes performances

B) L’évolution de la technologie
C) L’évolution des applications

3
 1. Introduction et motivation A) Des besoins croissants en hautes performances
B) L’évolution de la technologie
Architectures Parallèles Pourquoi?
C) L’évolution des applications

- le besoin très évolué dans le calcul numérique complexe,

- une importante quantité de données.

4
 1. Introduction et motivation A) Des besoins croissants en hautes performances
Architectures Parallèles Pourquoi? B) L’évolution de la technologie
C) L’évolution des applications

-- La technologie classique : Les calculateurs avec une seule unité centrale de

traitement (central processing unit CPU) sont souvent incapables de répondre à
certains besoins.
--La technologie avancée :
® l’amélioration des performances des processeurs modernes.
® les architectures superscalaires : capable d'exécuter plusieurs instructions
simultanément.

5
 1. Introduction et motivation A) Des besoins croissants en hautes performances
Architectures Parallèles Pourquoi? B) L’évolution de la technologie
C) L’évolution des applications

-Approche classique :

--diminuer le temps de calcul

-- Matériels plus rapides: évolution des processeurs et des mémoires

6
 1. Introduction et motivation A) Des besoins croissants en hautes performances
Architectures Parallèles Pourquoi? B) L’évolution de la technologie
C) L’évolution des applications
-Approche parallèle :
--diminuer le temps de calcul en exécutant simultanément
plusieurs opérations (tâches)
--Meilleurs algorithmes
--Machines parallèles Processeur 1

… Instructions

NB: Processeur n

Les architectures parallèles sont caractérisées par :

Instructions

• Espace mémoire étendu.

• Plusieurs processeurs.
• Traitement partiel indépendant.
• Accélération des calculs complexes et coûteux en temps d'occupation CPU.
7
2. La programmation parallèle
Définition

-La programmation parallèle consiste à décomposer un seul

problème de taille N (en nombre d’instructions) en deux ou
plusieurs sous-problèmes de petites tailles qui ne présentent pas le
même degré de parallélisme.
-Division d’un programme en tâches pouvant être exécutées en
même temps sur des processeurs différents.

8
 3. Métriques de Performances

L’utilisateur cherche à minimiser :

® le temps de traitement,
® le coût d’une exécution : rapport entre performance et coût.
Nombres d’instructions exécutés en une unité de temps?
Nombres d’opérations nécessaires à la production du résultat?
En général deux termes sont mesurés dans les calculs parallèles:
® L’efficacité et
® L’accélération.

9
3. Métriques de Performances
3.1 L’accélération: Speed-up
 L’accélération (speed-up) détermine combien fois un programme
parallèle est plus rapide qu’un programme séquentiel.

 L’accélération d’un algorithme est donnée par l’équation suivante :

Tseq
où :
Sp 
T par
 Tseq : le temps séquentiel de l’algorithme ;
 T par = max( T par (i)), i[1 . . . N] où i est le ième processeur et Tpar(i) le
temps en parallèle du processeur i

10
3. Métriques de Performances
3.2 Efficacité

L’efficacité mesure le degré d’exploitation des processeurs

dans une programmation parallèle.
L’efficacité d’un algorithme est donnée par l’équation
suivante :

Sp Tseq
E 
N T par  N

11
 3. Métriques de Performances
Exemples
Algorithme A Algorithme B

Temps en 10 mn 10 mn La solution parallèle de

séquentiel Tseq: l’algorithme B est 2,5 fois
Temps en 2 mn 4 mn plus rapide qu’une
parallèle Tpar
solution purement
Nombre de 10 3 séquentielle
processeurs:
Accélération S=10/2 = 5 S=10/4 = 5/2 =2,5
Sp=Tseq/Tpar La solution B :
Efficacité E=5/10 = ½= 0.5 N=3 Sp=2,5
E=(5/2)/3 = 0.8
E=Sp/N Alors E=0,8 1

La solution parallèle de La solution A:

l’algorithme A est 5 fois plus N=10 > Sp=5
rapide qu’une solution Alors E=0,5
purement séquentielle 12
 3. Métriques de Performances

Remarques
 Étude de l’accélération

- Sp  N (N: nombre de processeur)

- Code séquentiel : Sp = 1
- Code « purement » parallèle : Sp = N

Sp
 Sachant que l’efficacité E
N
N
 Si Sp=N alors E  1
N
D’où
 L’efficacité maximale d’un algorithme purement parallèle est alors 1.
MÉTRIQUES DE PERFORMANCE DES ARCHITECTURES 13
4. Loi de Moore
-l’idée est de procédé à un doublement du nombre
de transistors présents sur une puce du microprocesseur tous
les deux ans.
-Cette idée en sort dix ans après l’essai réussit d’un doublement
de la complexité des semi-conducteurs tous les ans à coût
constant.
-Ces techniques d’évolution sont appelées plus tard « lois de
Moore » car elles sont prédites et testées par le docteur
Gordon E. Moore en 1965.
-L'Histoire lui a donné raison puisque entre 1971 et 2001 la
densité des transistors a effectivement doublé 1,96 fois par an.

14
4. Loi de Moore
Conséquences énergétiques de la loi de Moore
-L'application de la loi de Moore dans l'industrie informatique génère de nombreux
déchets.

--Sur le plan économique, la durée

d'amortissement des équipements
technologiques a beaucoup baissée.
-Un ordinateur devient passé
pratiquement le jour de sa première
ouverture.

-Le doublement de la densité de transistors génère une hausse de la consommation

15
d'électricité.
4. Loi de Moore
-Depuis 2014, on commence à voir le
ralentissement annoncé dans les ajustements de
la loi de Moore en 1997.
-Les évolutions n'arrivent plus à suivre la
même cadence, et sont désormais plus lentes.

-Certains chercheurs mettent désormais en doute la valeur des hypothèses levées en

loi de Moore.

-Intel ne tient plus la cadence, et repousse les puces en 10 nanomètres à 2017 et "La
16
loi de Moore est officiellement enterrée".
5. Loi d’Amdahl

- Tout programme contient nécessairement des parties

parallélisables et des parties séquentielles non parallélisables.
- La loi d'Amdahl affirme que la petite partie du programme qui ne
peut être parallélisée limite la vitesse globale du programme.

- On peut identifier deux parties distinctes dans un algorithme:

 Une partie purement séquentielle mesurée en pourcentage et noté par s

 Une partie parallèle noté par p ou encore (p=1-s) c’est-à-dire que s+p=1
 La partie purement séquentielle vérifie aussi l’égalité (s=1-p)
 Selon la loi d’Amdhal la performance d’un programme dépond du nombre de

processeur N utilisé et de la partie du programme non parallélisable.

17
5. Loi d’Amdahl

L’accélération Sp ou aussi la performance « Speedup » d’une architecture de N

processeurs est définit comme suit:
=

L’ efficacité d’une architecture de N processeurs respecte la formule suivante:

NB:
car le terme

18
 5. Loi d’Amdahl
1
𝑆𝑝 =
( 1− 𝑠)
𝑆+
Exercice d’application 𝑁
Soit un programme dont la partie séquentielle présente 5%.
Parallel portion
Étudier la performance des architectures avec un nombre N 50%
de processeurs 10, 100, 1000, 10000 et 100 000. 75%

Interpréter les résultats obtenus. 90%

95%

19
 5. Loi d’Amdahl

Exemple:
Calculer l’accélération Sp dans les différentes valeurs de N et s :

N s 50% 10% 1%
10
100
1000
10000

20
 5. Loi d’Amdahl : Critique

-La loi d’Amdahl suppose que l’objectif est de produire le résultat le

plus rapidement possible. Mais, souvent, l’objectif est plutôt de
traiter un problème de plus grande taille.
-L’effet Amdahl s’explique par le fait que lorsqu’on augmente la taille
du problème, la fraction du temps d’exécution de la partie
intrinsèquement séquentielle diminue et par conséquent l’accélération
augmente.
Y-a-il autre méthode pour résoudre des problèmes très gros plus
rapidement?

21
5. Loi d’Amdahl : Critique

On ajoute des processeurs :

⇒ On peut traiter des problèmes plus gros
⇒ La fraction parallélisable augmente
⇒ La fraction séquentielle diminue
⇒ L’accélération augmente

La loi de Gustafson

22
 6. Loi de Gustafson
Cette loi est énoncée par l'informaticien John L. Gustafson et
son collègue Edwin H. Barsis en 1988. Elle vient pour prédire
l'accélération théorique dans le calcul parallèle.

La loi d'Amdahl, suppose :

- Un nombre maximal et limité de
processeurs
- une quantité de données constante.

Le principe de la loi de Gustafson :

Un traitement parallèle plus accéléré

Augmentation de
Augmentation du volume
nombre de processeurs
des données à traiter 23
 6. Loi de Gustafson
- On peut identifier deux parties distinctes dans un algorithme:
 Une partie purement séquentielle mesurée en pourcentage et noté par s (s=1-p)
Une partieàparallèle

Contrairement la loi noté par p oula
d’Amdahl, encore
loi (p=1-s)
de Gustafson a montré qu’on peut
 Avec s+p=1 et N: nombre de processeurs
exploiter efficacement de plus grandes machines parallèles avec de plus grands
-l’accélération peut être définie en -l’accélérationpeut être définie en
problèmes
fonction denécessitant
s comme suitplus
: de calculs. fonction de p :

Sp = s+p*N Sp = s+p*N
= s+(1-s)*N = (1-p)+p*N
= s+N-s*N = 1-p+p*N
=(1-N)*s+N = (N-1)*p+1
NB:
𝐥𝐢𝐦 𝑺 𝒑 = ∞ 𝐥𝐢𝐦 𝑺 𝒑 = ∞
𝑵 →∞ 𝑵 →∞
Car N , p 1 s 0 24
 6. Loi de Gustafson

Accélération
selon Gustafson

Accélération
Accélération

Selon Amdahl

Fraction séquentielle
25
6. Loi de Gustafson
Exercice d’application

Un programme s’exécute en 220 secondes sur 64 processeurs. Des

mesures montrent que uniquement 11 secondes du temps d’exécution est
pour les parties séquentielles.
Quelle sera l’accélération (speedup) obtenue pour l’exécution de ce
programme?

26
6. Loi de Gustafson
Exercice d’application

On a le temps mis pour exécuter la partie séquentielle est 11s

tandisque le temps total est mesuré à 220 s.
Alors, s= 11/220=0,05=5%
uniquement 5% du temps du programme est séquentiel
l’accélération est: Sp=(1-N)*s+N= -63*0,05+64= -
3,15+64=60,85
Autre manière p=1-s=(220-11)/220=0,95
l’accélération est: Sp=s+N*p =0,05+64*0,95=60,85
Ou encore : Sp=(N-1)*p+1=63*0,95+1=60,85
27
 7. Conclusion
 La loi de Moore appelle à un doublement du nombre des transistors pour
augmenter la performance des processeurs chaque deux ans.
-Les évolutions n'arrivent plus à suivre la même cadence et sont
désormais plus lentes.
-Certains chercheurs mettent désormais en doute la valeur des hypothèses
levées en loi de Moore. La loi de Moore est officiellement enterrée.
 La loi d'Amdahl, suppose :
- Un nombre maximal et limité de processeurs
- Une quantité de données constante.
La loi de Gustafson augmentation de nombre de processeurs est possible
pour traiter des problèmes plus gros avec des algorithmes de calculs très
puissants avec: la partie parallèle La partie séquentielle
L’accélération augmente
28