Vous êtes sur la page 1sur 26

14/03/2018

Objectif PLAN
 Comprendre le concept et le  Introduction aux systèmes à large échelle
fonctionnement des systèmes distribués à (Définitions, caractéristiques, …)
grande échelle.  Calcul Intensif parallèle et distribué
 Prendre connaissances des nouvelles  Grilles de Calcul
évolutions liés aux architectures parallèles (Topologies , Architectures, Middlewares, …)
telles que:  Systèmes P2P
(Architectures, Applications, …)
Calcul sur les architectures
 Cloud Computing
multiprocesseurs.
(Définitions, Infrastructures, plateformes, …)
Grilles de calcul
 Grands projets d’applications des Grilles de
P2P (Pair à pair) calculs
Cloud computing
HADI NADIA HADI NADIA
2 2017/2018 3 2017/2018

Les systèmes Informatiques de nos


jours sont par essence distribués,
CHAPITRE I souvent ils sont composés de sites
(processeurs, capteurs, ordinateurs,
…) reliés en réseaux.
Introduction aux
Ces sites étant caractérisés par:
systèmes à large échelle
Distribution géographique étendue
Hétérogénéité et mobilité des
composants
(PC, capteurs, téléphones, …)
Volatilité et disponibilité partielle.
HADI NADIA HADI NADIA
4 2017/2018 5 2017/2018

Particularité des systèmes à grande


échelle: •Dans le domaine du calcul
 la quantité considérable d’informations scientifique et de haute
stockées, échangées et traitées. performance (biotechnologie,
Exemples typiques de systèmes à grande échelle : chimie, physique, traitement
d’images, etc.), les machines
 Dans le domaine des télécommunications
et des transmissions de données
massivement parallèles et
multimédia, le recours à des centralisées ont cédé la place
architectures décentralisées et à des configurations largement
distribuées pour éviter les problèmes de distribuées et hétérogènes.
congestion et de surcharge est de plus
enHADI
plus courant.
NADIA HADI NADIA
6 2017/2018 7 2017/2018

1
14/03/2018

•Dans le domaine des banques et


assurances où les systèmes
d’informations sont distribués et
hétérogènes tant sur le plan des Comment est mesurée la
architectures matérielles que dimension d’un SDGE ?
logicielles.

HADI NADIA HADI NADIA


8 2017/2018 9 2017/2018

La dimension d’un système distribué à


grande échelle est mesurée en fonction
de plusieurs facteurs : Dans l'informatique distribuée, de
•La taille du code, nouvelles formes de
•La quantité de données stockées, distribution ont vu le jour pour
accédées et manipulées, accueillir la dynamicité et
• Les connexions et interdépendances la grande échelle de ces
entre les composants du système, nouveaux systèmes.
•L’hétérogénéité et/ou l’interopérabilité
du ou des réseaux utilisés,
…ect
HADI NADIA HADI NADIA
10 2017/2018 11 2017/2018

Ces nouvelles formes de distribution Intérêt des systèmes distribués à


comprennent: large échelle
 Mise en commun d’un grand nombre de
ressources à faible coûts et avec une
 les technologies centralisées puissance globale supérieure à celle des gros
appelées Grille de calcul ou Grid calculateurs.
computing.  Disponibilité et flexibilité càd qu’un composant
les technologies décentralisées tels peut tomber en panne sans bloquer le
que pair-à-pair ou P2P. système et la distribution de la charge.
le Cloud Computing (Souvent appellé  Partage des ressources coûteuses entre
Informatique dans les nuages) plusieurs utilisateurs
HADI NADIA  Accès
HADI NADIAaux mêmes ressources depuis tous les
12 13
2017/2018
endroits
2017/2018
du système.

2
14/03/2018

Inconvénients des systèmes Caractéristiques des systèmes


distribués à large échelle distribués à large échelle:
 Les logiciels de gestion de tels
Un système distribué doit assurer
systèmes sont difficiles à concevoir.
plusieurs propriétés pour être considéré
 Problèmes inhérents aux
comme performant:
communications •Transparence
(Lenteur, Saturation, perte de message, • Passage à l’échelle
…) •Disponibilité
 Partage et distribution des données qui • Autonomie
14
imposent des mécanismes de sécurité.
HADI NADIA
2017/2018 15
HADI NADIA
2017/2018

Accès
1 -Transparence Cacher l’organisation logique des ressources
et les moyens d’accès à une ressource
•La transparence permet de cacher aux
 Localisation
utilisateurs les détails techniques et
L’emplacement d’une ressource du système
organisationnels d’un système distribué.
n’a pas à être connu
•L’objectif est de pouvoir faire bénéficier aux
Migration
applications d’une multitude de services sans
Une ressource peut changer d’emplacement
avoir besoin de connaître exactement la
sans que cela ne soit aperçu
localisation ou les détails techniques des
Réplication
ressources qui les fournissent.
les ressources sont dupliquées mais les
•Pour un système distribué la transparence a
utilisateurs n’ont aucune connaissance de cela
plusieurs niveaux :
HADI NADIA HADI NADIA
16 2017/2018 17 2017/2018

 Panne 2-Passage à l’échelle


Si un nœud est en panne, l’utilisateur ne doit
pas s’en rendre compte et encore moins de Le concept de passage à l’échelle désigne la
sa reprise après panne. capacité d’un système à continuer à délivrer
avec un temps de réponse constant un service
Concurrence même si le nombre de clients ou de données
Rendre invisible le fait qu’une ressource augmente de manière importante.
peut être partagée ou sollicitée
simultanément par plusieurs utilisateurs. Le passage à l’échelle peut être mesuré avec
au moins trois dimensions :

HADI NADIA HADI NADIA


18 2017/2018 19 2017/2018

3
14/03/2018

3-Disponibilité
•Le nombre d’utilisateurs et/ou de •Un système est dit disponible s’il est en
processus (passage à l’échelle en taille) ; mesure de délivrer correctement le ( les
services) de manière conforme à sa
• La distance maximale physique qui spécification.
sépare les nœuds ou ressources du •Pour rendre un système disponible, il faut
système (passage à l’échelle donc le rendre capable de faire face à tout
géographique) ; obstacle qui peut compromettre son bon
fonctionnement.
• Le nombre de domaines administratifs •Parmi les causes qui peuvent rendre un
(passage à l’échelle administrative). système indisponible nous pouvons citer:
HADI NADIA HADI NADIA
20 2017/2018 21 2017/2018

- Pannes
Pour faire face aux pannes, deux solutions
des conditions ou évènements accidentels
sont généralement utilisées:
empêchant le système, ou un de ses
1-La première consiste à détecter la panne et à la
composants, de fonctionner de manière résoudre (dans un délai très court).
conforme à sa spécification ; La détection des pannes nécessite des mécanismes
– Surcharges de surveillance qui s’appuient en général sur des
des sollicitations excessives d’une ressource timeouts ou des envois de messages périodiques
du système entraînant sa congestion et la entre ressources surveillées et ressources
dégradation des performances du système ; surveillantes.
2-La deuxième solution consiste à masquer les
– Attaques de sécurité
pannes en utilisant la réplication.
des tentatives délibérées pour perturber le Ainsi, quand une ressource est en panne, le traitement
fonctionnement du système, engendrant des qu’elle effectuait est déplacé sur une autre ressource
pertes de données et de cohérences ou l’arrêt disponible.
du système.
22
HADI NADIA
2017/2018 23
HADI NADIA
2017/2018

Solution à la surcharge d’un système: 4-Autonomie


•La réplication peut être utilisée pour faire •Un système ou un composant est dit
face à la seconde cause d’indisponibilité d’un autonome si son fonctionnement ou son
système qui est la surcharge . intégration dans un système existant ne
•Pour réduire la surcharge d’une ressource, nécessite aucune modification des
les tâches sont traitées parallèlement sur composants du système hôte.
plusieurs répliques ou sur les différentes • L’autonomie des composants d’un système
répliques disponibles à tour de rôle. favorise l’adaptabilité, l’extensibilité et la
•Une autre technique qui permet de réduire la réutilisation des ressources de ce système.
surcharge d’une ressource consiste à Exemple: une ressource autonome peut être
distribuer les services (ou les données) sur remplacée avec une autre ressource plus
plusieurs sites et donc de les solliciter de riche en termes de fonctionnalités, ce qui
manière
24 2017/2018 parallèle.
HADI NADIA
25
HADI NADIA
2017/2018 étend les services du système.

4
14/03/2018

Le calcul parallèle: qu'est ce que c'est?


CHAPITRE II Faire coopérer plusieurs processeurs pour réaliser un
calcul.
Avantages:
•Rapidité:
Calcul Intensif Pour N processeurs, temps de calcul divisé par N
parallèle et distribué •Taille mémoire:
Pour N processeurs, on dispose de N fois plus de
mémoire (en général)
Difficultés:
•Il faut gérer le partage des tâches.
•Il faut gérer l'échange d'information. (tâches non-
indépendantes)
HADI NADIA HADI NADIA
26 2017/2018 27 2017/2018

Modèles de parallélisme Messages Messages

Architecture matérielle: SISD SIMD MIMD CPU


CPU CPU CPU CPU CPU
Single Single Multiple

Ecriture
Instruction Instruction Instruction

Lecture
Ecriture
Lecture
Single Data Multiple Data Multiple Data
PC Architecture Architecture RAM RAM RAM
monoprocesse Vectorielle, parallèle Mémoire RAM
ur GPU… multiprocesseurs
Mémoire Partagé Mémoire distribuée

Tous les processeurs ont accès à Chaque processeur possède sa


Modèles de programmation: SPMD MPMD
l'ensemble de la mémoire. propre mémoire. Il n'a pas accès à
Single Program Multiple Program
celle des autres.
Le plus utilisé Multiple Data Multiple Data  Attention aux conflits.
Un seul programme Création dynamique de process Il faut gérer l'échange de messages
 Très peu de surcoût de
(n° processeur = Modèle maître-esclave (surcoût)
variable) parallélisation.  Architecture bon-marché.
Outils de  Le plus souvent nb proc < 64.  Il faut ajouter un réseau de commun
parallélisation: OpenMP MPI  Architecture coûteuse. performant.
HADI NADIA ordinateur à ordinateur à HADI NADIA  Nb de proc ~ illimité.
28 2017/2018 mémoire partagée mémoire distribuée 29 2017/2018

• Dans de nombreux domaines des sciences et de Ces nouveaux calculateurs ou ensembles de


l’industrie la maîtrise des technologies de modélisation et calculateurs (clusters) ont permis un développement
de simulation numérique est devenue indispensable. spectaculaire des performances des applications
• Pour faire face à l'accroissement considérable de la logicielles tout en ouvrant la voie à des applications
quantité d'informations numériques disponibles et nouvelles, dans de nombreux domaines, industriels, à
à la complexité croissante des systèmes à concevoir, forts enjeux économiques tel que l’aéronautique et
le calcul haute performance (HPC : "High Performance spatial, transports, énergie, chimie, médecine et
Computing") permet de calculer plus vite sur des biologie, matériaux, environnement, multimédia ou
données de tailles toujours plus importantes. finance…
Le calcul intensif désigne l’utilisation Exemple:
d'ordinateurs(calculateurs) puissants, munis de •compagnies pétrolières,
ressources considérables (nombre de processeurs, • compagnies de construction aéronautique … .
mémoire,
30
…) pour des applications de recherche ou de
HADI NADIA
31
HADI NADIA
2017/2018 2017/2018
l'industrie.

5
14/03/2018

 L’usage du calcul Intensif et de la simulation Donc partout dans le monde, le calcul intensif est
numérique constitues une opportunité d’amélioration considéré comme un enjeu stratégique.
de la compétitivité des entreprises, en leur permettant Il permet de développer des produits et des services
de diminuer les coûts et les durées de leurs ou de réaliser des recherches sans passer par les
applications et d’augmenter la qualité globale de leurs processus classiques d'expérimentation.
produits. On peut ainsi mettre au point des avions, des
 L’augmentation exponentielle des puissances de calcul voitures ou des médicaments, en moins de temps et à
permet des simulations toujours plus riches. un coût plus faible.
 L’usage des technologies du calcul intensif n’est pas Quels que soient les domaines d'utilisation, pour faire face à
réservé uniquement aux grands industriels, il est l'accroissement considérable de la quantité d'informations
désormais accessible aux petite entreprises grâce au numériques disponible et à la complexité croissante des
Cloud computing qui offre la possibilité d’achat de systèmes à concevoir, la maîtrise des technologies de
puissance de calcul à la demande sans l’acquisition de modélisation et de simulation, par le calcul haute
supercalculateur.
HADI NADIA
performance (HPC) , est devenue une des clefs du succès.
HADI NADIA
32 2017/2018 33 2017/2018

Impact du calcul intensif sur la calcul intensif


science (super-Computing)
Le Calcul intensif est déterminant pour les Définition :
recherches scientifiques internationales dans les Ensemble de techniques et de moyens destinés à
domaines suivants: traiter des applications complexes en faisant appel à
 Etude du cerveau humain et des maladies des ordinateurs spécialisés dans le traitement rapide
associées tel que Alzheimer et Parkinson. de gros volumes de données numériques.
 Optimisation et contrôle des réseaux électriques, Exemples d’applications: nous pouvons citer
informatiques et sociaux.
-la recherche de clés cryptographiques
 Evolution du climat et de prévision météorologique.
-les simulations de molécules
 Mise au point de nouveaux médicaments plus
-l’analyse du génome (étude des gènes des
efficaces.
cellules)…
 Recherche
HADI NADIA fondamentale en physique des HADI NADIA
34 2017/2018 35 2017/2018
particules et en astrophysique (étoiles, galaxies…)

Machines capables de répondre à ces besoins


1-Supercalculateurs:
L'architecture des ordinateurs dédiés au calcul
Les ordinateurs les plus puissants depuis plusieurs années sont
intensif a évoluée rapidement (d’après la loi de des machines massivement parallèles (plusieurs milliers de
Moore qui spécifie que les caractéristiques processeurs).
techniques des superordinateurs les plus Leur organisation est généralement centrée sur :
puissants doublent au moins tous les 18 mois •un réseau de communication à haut débit (de l'ordre de
depuis 1970). quelques Go/s à quelques dizaines de Go/s)
On peut distinguer trois grandes classes de •auquel sont connectés des nœuds de calcul constitués
d'ensembles de quelques processeurs(de 4 à 16) ,
machines adaptées à différents types
•partageant une mémoire commune.
d'applications : •Des dispositifs de stockage de masse sont connectés aussi bien
• Supercalculateurs ; aux nœuds de calcul que directement sur le réseau
• Grappes de stations de travail (ou clusters) ; d'interconnexion.
• Systèmes
HADI NADIA distribués, Grilles de calcul et Cloud HADI NADIA
36 37
computing;
2017/2018 2017/2018

6
14/03/2018

Leur puissance de calcul ne cesse d'augmenter pour 2-Grappes de stations de travail (CLUSTER):
•Ces clusters, sont des architectures apparues il y a une
dépasser la dizaine de Tflops.
vingtaine d'années et qui prennent de plus en plus
Ils sont utilisés pour des simulations de plus en plus d'importance.
ambitieuses. •La particularité de ces architectures est qu'elles sont
construites à partir de composants bon marché du
commerce.
•Elles consistent à regrouper un certain nombre de stations
de travail autour d'un réseau de communication.
Cette architecture ressemble beaucoup à celle des
supercalculateurs décrites précédemment avec
des différences significatives telles que:

HADI NADIA HADI NADIA


38 2017/2018 39 2017/2018

noeuds de calcul :
système d'exploitation :
les noeuds des clusters sont des ordinateurs à part entière
•Pour la majorité des clusters, c'est le système libre
alors que ceux des supercalculateurs ne sont pas autonomes,
GNU/Linux qui est utilisé en raison de la disponibilité d'outils,
ils sont directement conçus pour être connectés au réseau
de la possibilité de le modifier pour l'adapter à chaque système
d'interconnexion ; le nombre de processeurs (se partageant la
et de sa gratuité.
mémoire) par noeud est en général moins important dans les
• les supercalculateurs sont en général livrés avec le système du
clusters, un, deux ou quatre ;
constructeur, certes optimisé pour la machine mais moins
réseau d'interconnexion : flexible (et beaucoup plus cher).
ceux des clusters sont la plupart du temps des bus, certes à Donc les clusters permettent d'obtenir un rapport
haut débit mais supportant moins de charge que ceux des puissance/prix très avantageux .
supercalculateurs ; Par contre un cluster nécessite des outils logiciels (intergiciels)
le faisant apparaître comme un unique ordinateur vis-à-vis des
applications. Ces intergiciels permettent de programmer les
HADI NADIA clusters
HADI avec
NADIA les mêmes langages que les supercalculateurs.
40 2017/2018 41 2017/2018

Ces ordinateurs peuvent être


3-Systèmes distribués et grilles de calcul • des supercalculateurs,
Les systèmes distribués, a priori destinés à des applications •des clusters
mettant en relation des entités réparties ont évolués vers le
• des stations de travail ordinaires.
méta-calcul consistant à exécuter une unique application sur
un tel système. Deux façons assez répandues de considérer le
méta-calcul sont les grilles de calcul et les calculs distribués  Ils sont reliés par un réseau à très grande échelle, le
sur Internet. plus souvent internet.
Les grilles de calcul ont une architecture en plein
développement. Elles consistent en un réseau d'ordinateurs De ce fait, les grilles sont plus un ensemble de
faiblement couplés et ont pour but d'offrir une très grande logiciels permettant de répartir et d'exécuter des
puissance de calcul à leurs utilisateurs de la façon la plus
applications sur un parc de machines hétérogènes et
transparente possible.
placées sous des autorités administratives différentes.
HADI NADIA HADI NADIA
42 2017/2018 43 2017/2018

7
14/03/2018


Le support logiciel nécessaire à l'utilisation de Pour des applications encore plus faiblement couplées,
grilles de calcul est encore plus important que celui les systèmes de distribution de calculs sur l'internet
des clusters. sont devenus populaires (P2P).
Il faut en particulier gérer les transparences de •Il est fait ici appel à la bonne volonté du public
localisation, d'accès et d'architecture des diverses pour la mise à disposition de temps de calcul.
ressources composants la grille.

Ce genre d'architecture permet l'exécution


d'applications nécessitant une puissance de calcul
considérable

HADI NADIA HADI NADIA


44 2017/2018 45 2017/2018

•Chaque participant télécharge un logiciel client


Exemple de plateformes de calcul Intensif qui se charge de la communication avec un
•XTREMWEB-CH est une plateforme orientée calcul serveur centralisé chargé de lui envoyé une partie
intensif. du calcul.
• il est sensé permettre à des centres de recherche, des
universités et des industriels d’installer et d’utiliser leur •Les applications de ces systèmes sont, par
propre système de calcul P2P pour leurs travaux de
exemple, des simulations distribuées (astronomie,
recherches ou pour la production de calculs.
génome, chimie, etc) ou des calculs en
mathématiques (recherche de nombres premier,
problèmes de factorisation, etc).

HADI NADIA HADI NADIA


46 2017/2018 47 2017/2018

Unités de mesure pour le calcul Intensif:


Généralement pour le Calcul de Haute Performance (HPC) les
Ces applications nécessitent de telles quantités de
mesures suivantes sont utilisées :
calculs que l'utilisation d'un maximum de ressources ◦ Flop: opération flottante (double précision)
de calcul prime sur l'optimisation du code. ◦ Flop/s: opération flottante par seconde
◦ Bytes: taille des données (Octets)
Les problèmes de partitionnement et de Mega Mflop/s = 106 flop/sec Mbyte = 220 ~ 106 bytes
distribution des calculs, de tolérance aux pannes sont Giga Gflop/s = 109 flop/sec Gbyte = 230 ~ 109 bytes
centraux à leur développement. Tera Tflop/s = 1012 flop/sec Tbyte = 240 ~ 1012 bytes
Peta Pflop/s = 1015 flop/sec Pbyte = 250 ~ 1015 bytes
Exa Eflop/s = 1018 flop/sec Ebyte = 260 ~ 1018 bytes
Zetta Zflop/s = 1021 flop/sec Zbyte = 270 ~ 1021 bytes
Yotta Yflop/s = 1024 flop/sec Ybyte = 280 ~ 1024 bytes
La machine la plus puissante ~ 16 Pflop/s (Obtenu
48
HADI NADIA
2017/2018 49
HADI NADIA
2017/2018
avec1572864 coeurs) www.top500.org

8
14/03/2018

Exemple de Plate-forme
de calcul intensif (HPC) pour la modélisation: •Un superordinateur, ou supercalculateur, est
un ordinateur conçu pour atteindre les plus
Le cluster de calcul de l’OSU-Institut Pythéas hautes performances possibles avec les
est un ensemble de machines, sévèrement techniques connues lors de sa conception, en
« gonflées » en processeur et mémoire, particulier en ce qui concerne la vitesse de calcul.
connectées sur un réseau Infiniband, et dédiées
au calcul intensif. •La science des superordinateurs est appelée
Ce cluster a été financé à son origine (2008) « calcul haute performance » (en anglais : High-
par des fonds provenant du Centre Performance Computing ou HPC).
d’Océanologie de Marseille et de l’Université de
la Méditerranée.
 Ce cluster est mis à la disposition de chacune
des
50
unités
HADI NADIAde Pytheas moyennant une
51
HADI NADIA
2017/2018 2017/2018
participation éventuelle, selon l’importance des
ressources de calcul nécessaires

Les superordinateurs sont utilisés pour toutes les La Chine et les Etats Unis dominent le reste du monde
tâches qui nécessitent une très forte puissance de dans le domaine du supercalculateur,
calcul,telle que: selon le nouveau classement TOP500 publié récemment
 les prévisions météorologiques, l’étude du climat,
 la modélisation d'objets chimiques (calcul de La course à la puissance de calcul est mondiale
structures et de propriétés, modélisation Dans le classement mondial des 500 supercalculateurs les plus
moléculaire, etc.), puissants installés, la Chine occupe les deux premières places.
Le Japon (avec deux systèmes) les États-Unis (avec cinq) et la
 les simulations physiques
Suisse (avec un seul), monopolisant les 10 premières places de
(simulations aérodynamiques, calculs de résistance ce classement.
des matériaux, simulation d'explosion d'arme
nucléaire, étude de la fusion nucléaire, etc.),
 la cryptanalyse
 les
52
HADI simulations
NADIA
2017/2018
en finance et en assurance . 53
HADI NADIA
2017/2018

•Le nouveau supercalculateur chinois, Sunway TaihuLight, a


pris la tête, cette Année, du classement des 500 ordinateurs les
plus puissants du monde, selon le site du
projet TOP500 responsable de l'élaboration du classement.
•Le Sunway TaihuLight, qui a pris la première place au
détenteur du record précèdent, Tianhe-2 (également situé en
Chine), est trois fois plus puissant que ce dernier.
•Le nouveau numéro un est capable d'effectuer 93 quadrillions
de calculs par seconde (autrement connu comme pétaflops) et
est environ cinq fois plus puissant que le système le plus rapide
des États-Unis, qui est maintenant à la troisième place du
classement mondial.
•Avec ce supercalculateur, qui a pris la tête du classement
Le nouveau supercalculateur
mondial, la Chine compte actuellement plus de
54
HADI NADIA
superordinateurs
2017/2018 que les Etats-Unis. 55
HADI NADIA
2017/2018
chinois, Sunway TaihuLight

9
14/03/2018

Et la France dans l’histoire


•Sunway TaihuLight est le nouveau supercalculateur le plus •Parmi les 500 supercalculateurs les plus puissants au monde
puissant au monde. Il réalise plus de 93 millions de milliards de en Juin 2016, 18 sont français.
calculs à la seconde grâce à plus de 40 000 processeurs... chinois. •Pangea de la société pétrolière Total est celui le mieux classé,
•Le TaihuLight comprend 41.000 processeurs, chacun disposant 11ème au TOP500 avec 5,3 petaflops au compteur, suivi
de 260 cœurs, totalisant 10,65 millions de cœurs, par Prolix de Météo-France qui se classe 40ème et affiche 0,7
par rapport aux 560.000 cœurs du plus puissant ordinateur des petaflops.
Etats-Unis. •Le CEA (Commissariat à l’Energie Atomique) est
•Il est également économe en énergie, l’organisation française qui détient le plus de supercalculateurs
sa consommation électrique de six gigaflops/watt est qualifiée en France avec Tera-1000-1, Curie thin nodes, Cobalt, Tera-
d'"excellente" par le site top500.org, en tirant 100, Airain et Tera-1000-1-Hybrid, tous conçu par la société
seulement 15,3 mégawatts d'énergie, par rapport aux 17,8 Bull, qui est acquise par le groupe informatique français ATOS
mégawatts utilisés par le 33 pétaflops de Tianhe-2 son en 2014.
successeur dans le classement.
HADI NADIA HADI NADIA
56 2017/2018 57 2017/2018

La France est donc le 5ème pays au monde avec le plus


de supercalculateurs, devant l’Angleterre (12) mais •Cette puissance de calcul hors-norme est utilisée à la fois
derrière le Japon (29) et l’Allemagne (26). dans le domaine de la recherche scientifique fondamentale
Et elle se classe pareil en terme de capacité totale de et appliquée ainsi que dans un nombre croissant de secteurs
calcul et aussi en économie d’énergie. comme
Le supercalculateur Atos sera installé en 2018 •la météorologie,
Le futur ordinateur surpuissant d'Atos développera dans sa •l'exploration pétrolière,
configuration initiale, telle qu’elle sera installée début 2018, •la pharmacie,
une puissance de calcul de 9 pétaflops, soit 9 millions de •l'aéronautique ou l'énergie,
milliards d’opérations par seconde (l'équivalent de la •sans parler des domaines militaires.
puissance de plus de 75.000 PC de bureau connectés entre
eux). Il sera quatre fois et demie plus puissant que le système
Bull Curie en service. Le doublement de ses capacités de
calculHADI
à 20 pétaflops est prévu en 2019.
NADIA HADI NADIA
58 2017/2018 59 2017/2018

HADI NADIA HADI NADIA


60 2017/2018 61 2017/2018

10
14/03/2018

Exemples :
Roadrunner est le premier supercalculateur américain à avoir
officiellement dépassé la puissance de 1 pétaFLOPS (soit
1015 opérations flottantes par seconde).
Il appartient au département de l'Énergie des États-
Unis (DOE) et est construit au Laboratoire national de Los
Alamos, au Nouveau-Mexique.
IBM a été chargé de sa construction et Roadrunner est devenu
l'ordinateur le plus puissant du monde en juin 20081
mais a été détrôné en novembre 2009 par Jaguar - Cray XT5-
HE2.
Ce projet, annoncé en septembre 2006, lançait le
premier supercalculateur utilisant le processeur Cell de ce
constructeur.
HADI NADIA HADI NADIA
62 2017/2018 63 2017/2018

Cette machine se prête bien à la simulation de processus


massivement parallèles.
L'un de ses premiers emplois, dès la semaine suivant sa
sortie, a été la simulation partielle de processus visuels
humains3 au niveau des neurones mêmes.
Il sera aussi utilisé pour calculer les effets du changement
climatique .
Et, à des fins militaires, le vieillissement des stocks d'armes
nucléaires des États-Unis4.

Roadrunner premier supercalculateur


64
HADI NADIA
65
HADI NADIA américain
2017/2018 2017/2018

Supercalculateur IBM Blue Le supercalculateur IBM Blue Gene/P de l'Argonne National


Laboratory fonctionne avec 250 000 processeurs
Gene/Q de l'Argonne National utilisant un système de refroidissement standard par air, groupé
HADI NADIA
Laboratory (2013) dans 72 racks/cabinets et interconnectés par un réseau de fibre
HADI NADIA
66 67 2017/2018 à haute vitesse1(2007).
2017/2018 optique

11
14/03/2018

Le supercalculateur Jade installé par le GENCI au Centre informatique


Le supercalculateur Occigen installé par le GENCI au CINES, à
national de l'enseignement supérieur (CINES), à Montpellier (2015).
Montpellier, France (2010).
HADI NADIA HADI NADIA
68 2017/2018 69 2017/2018

Conclusion :
Aujourd’hui, il est difficile de dire jusqu’où la Chine peut encore Les Chinois, ont déjà inclus le développement de
préserver son avance par rapport aux Etats Unis. supercalculateur exa-Flops dans le 13ème plan quinquennal
Le DoE, United States Department of Energy, s’apprêtait à allouer (2016-2020) du pays.
plus de 258 millions de dollar US à six sociétés américaines pour Trois entités chinoises, le Sugon Information Industry
mettre au point le supercalculateur de demain de puissance Exa- soutenue par l’Académie chinoise des sciences (CAS), la
Flops, National University of Defense Technology (NUDT) ainsi
des machines 10 fois plus puissantes que le chinois Sunway que l’Institut 56 de l’État-major chinois, ont déjà reçu
TaihuLight d’aujourd’hui, à l’horizon 2021. l’autorisation et le financement pour lancer chacun leur
propre prototype.
La Chine depuis le mois Juillet a lancé les projets de L’objectif visé est de finaliser les premiers prototypes d’ici
développement de ses futurs supercalculateurs qui permettent 2018-2019, et les modèles opérationnels vers 2020-2021.
d'atteindre la vitesse ExaFLOPS.

HADI NADIA HADI NADIA


70 2017/2018 71 2017/2018

Problématique
CHAPITRE III Les temps de calcul: un problème majeur
Grilles de Calcul Dans tous les domaines l'homme est amené à faire mieux,
plus, et plus rapidement notamment dans le domaine de
l'informatique. Il se retrouve face à des défis colossaux,
•Introduction (prémisses, définition, nécessitant énormément d'unités de calcul et traitements de
caractéristiques ) très gros volumes de données.
•Fonctionnement des grilles de calcul. Les laboratoires de recherche, et certaines grandes sociétés
•Domaines d’application avec des centres de Recherches et Développement, ont un
•Middlewares (Intergiciels) besoin toujours grandissant de force de calcul.
•GLOBUS Middleware Standard Des applications "très gourmandes" en terme de puissance
nécessiteraient plusieurs dizaines d'années pour pouvoir être
menée à bien sur une machine standard, ou alors une autre
solution serait d'investir dans la construction d'un
72
HADI NADIA supercalculateur
73
HADI NADIA à coup de Millions d'euros, ce qui n'est pas à
2017/2018 2017/2018
la portée de tout le monde.

12
14/03/2018

Une solution: le calcul distribué Ce concept représenterait une alternative intéressante aux
Certaines personnes consciente du réel problème qui se pose clusters:
se sont posées plusieurs questions intéressantes. Ils en sont Les grilles de calcul
arrivés à un constat très simple:
Toute seconde de CPU inutilisée est PERDUE à jamais!
Alors, pourquoi ne pas les utiliser à bon escient? Pourquoi ne
pourrait-on pas créer un système dont chaque unité de calcul
serait indépendante, sans contrainte pour les utilisateurs des
postes?
De ce fait, l'idée de répartir un calcul imposant entre plusieurs
machines indépendantes commence à émerger.
Un ensemble de machines hétérogènes, toutes regroupées
pour une même cause, représente une puissance de calcul
exceptionnelle.
HADI NADIA HADI NADIA
74 2017/2018 75 2017/2018

1-Prémisses
Introduction  Avant l’apparition du réseau électrique chaque user devait
générer sa propre électricité et la consommer sur place. La vraie
Aujourd’hui, le calcul informatique prend de plus en plus
révolution n’était pas l’électricité, mais les réseaux de transport,
de place dans la vie des Scientifiques .
 Les besoins en terme de capacité de calcul, de stockage associés aux techniques de transmission et de distribution.
de données, de bande passante de réseau, augmentent de
jour en jour.  La génération et la distribution de l’électricité ont permis de
 C’est pour cela, que les laboratoires et les diminuer les coûts et de rendre ce service standard à chacun.
constructeurs en informatiques ont eu l’idée de fédérer
(regrouper) toutes ces ressources de calcul, disque et
 Par analogie, le terme « grille de calcul » a été adopté pour
réseaux, afin de faire du calcul distribué.
augmenter la puissance de calcul. Chaque utilisateur exécuter
 Une des méthodes pour faire du calcul distribué est
de faire partager le travail sur plusieurs machines réparties ses applications sur son propre processeur (PC).
sur Internet.
Nous parlerons alors de grille de calcul.
HADI NADIA HADI NADIA
76 2017/2018 77 2017/2018

 L’idée de grille est qu’un utilisateur puisse disposer de Nous parlons d’infrastructure car une grille
puissance de calcul distante c à d exécuter une ou devra fournir des ressources (calcul, stockage …)
plusieurs applications sur d’autres processeurs que le sien, à grande échelle.
il pourra le faire sans avoir à se préoccuper de l’endroit où
ses données sont traitées.
Cela nécessite une quantité significative de
 Donc par analogie à la grille d’électricité, la notion de
matériel qui constituera les ressources et assurera
grille de calcul est définie comme étant une
infrastructure matérielle et logicielle fournissant un accès leur interconnexion et une quantité importante de
fiable, cohérant et bon marché à de grandes capacités de logiciel pour contrôler et superviser cet ensemble
traitement et de stockage. de matériels.
 L’origine de la terminologie ‘Grid Computing’ provient du
réseau électrique ‘ Electric power Grid’.

HADI NADIA HADI NADIA


78 2017/2018 79 2017/2018

13
14/03/2018

2 -Définition
La grille de calcul est un concept conçu dans les
années 90 en USA. C’est une méthode pour faire
du calcul distribué et de partager le travail à
plusieurs machines sur le réseau internet.

C’ est un ensemble de ressources autonomes


,hétérogènes permettant le traitement
(supercalculateurs, pc,…) et le stockage
d’information (serveur de disque, de bande,…)
interconnectés au moyens d’un réseau à large échelle
(internet,…) gérés au moyen de logiciel (intergiciel
ou middleware) d’une telle manière que le système
puisse être utilisé aussi facilement qu’un simple
ordinateur. Principe d’une grille informatique
HADI NADIA HADI NADIA
80 2017/2018 81 2017/2018

Le principe de ce type d’architecture est de 3-Caractéristiques d’une grille de calcul


profiter de toute la puissance inexploitée des
ordinateurs d’un réseau pour la mettre à 3-1Différentes topologies de grilles de
disposition d’applications très lourdes calcul
(nécessitant un temps d’exécution important),
évitant ainsi l’achat de supercalculateurs (très Les grilles sont répertoriées d’un point de
couteux) et également de profiter de l’espace de vue topologique en trois types par ordre
stockage inutilisé des serveurs. croissant d’étendue géographique et de
complexité :
La principale caractéristique d’une grille de
calcul est qu’il y a un coordinateur qui est Intragrilles (Intragrids)
responsable du partage du travail sur les Extragrilles (Extragrids )
différentes ressources.
HADI NADIA
Intergrilles (Intergrids ).
HADI NADIA
82 2017/2018 83 2017/2018

Intragrille (en analogie avec Intranet)


C’est la plus simple des Grilles, elle est composée d’un
ensemble relativement simple de ressources et de
Exemple :
services appartenant à une organisation (groupe de
personnes ayant un objectif commun) unique. Une entreprise peut être amenée à
Les principales caractéristiques d’une telle grille sont : construire une intra-grille pour
 présence d’un réseau d’interconnexion performant et
augmenter la puissance de calcul de
haut-débit. ses équipes de recherche et de
 un domaine de sécurité unique et maîtrisé par les
développement.
administrateurs de l’organisation.
 un ensemble relativement statique et homogène de
ressources.
HADI NADIA HADI NADIA
84 2017/2018 85 2017/2018

14
14/03/2018

Intergrille (en analogie avec Internet)


Une intergrille consiste à agréger les grilles de
Extragrille (en analogie avec Extranet) multiples organisations, en une seule grille.
Les principales caractéristiques d’une telle grille sont :
Une Extra-grille étend le modèle en agrégeant
• la présence d’un réseau d’interconnexion très
(regroupant) plusieurs Intra-grilles.
hétérogène haut et bas débit (LAN/WAN)
Les principales caractéristiques d’une telle grille :
• plusieurs domaines de sécurité distincts ayant parfois
 la présence d’un réseau d’interconnexion des politiques de sécurité différentes et même
hétérogène haut et bas débit (LAN / WAN). contradictoires.
 plusieurs domaines de sécurité distincts. • un ensemble très dynamique de ressources.
 un ensemble plus ou moins dynamique de Les inter-grilles seront souvent mises en œuvre lors de
ressources grands projets .

HADI NADIA HADI NADIA


86 2017/2018 87 2017/2018

Exemples:
• Projet Industriel:
conception d’un avion par un consortium
aéronautique.
• Projet Scientifique :
Modélisation de protéines où plusieurs
organisations seront amenées à participer.

HADI NADIA HADI NADIA


88 2017/2018 89 2017/2018

Grille d’information
3-2 Classement des grilles de Calcul
 Partager la connaissance
L’usage des grilles de calcul peut être classer en Exemple: le Web
trois catégories : Grille de stockage
- Utilisation pour la diffusion d’information qui  Stocker à grande échelle (de grandes
permet un plus grand partage des informations. quantités de données)
- Utilisation pour l’augmentation des capacités de Exemples: DataGrid, Kaaza, Gnutella (partage
stockage. de fichiers pair à pair ou P2P)
- Utilisation pour le calcul ou l’augmentation de la
Grille de calcul
puissance des ordinateurs.
 Agréger la puissance de calcul
Exemples: Globus, Unicore,
91 Legion.
HADI NADIA HADI NADIA
90 2017/2018 2017/2018

15
14/03/2018

Trois type d’architectures : 2- Supercalculateur virtuel


1-Internet computing Caractéristiques :
Caractéristiques : *agréger la puissance de calcul de plusieurs clusters
*système distribué à grande échelle. et supercalculateur.
*de simples pcs connectés a Internet (des millions) *Connexion via un réseau spécialisé ou via internet.
*plusieurs problèmes : volatilité de machines, Pas *Collaboration entre Organisations virtuelles (VO)
d’identité, pas de confiance Exemple de Grille : Teragrid
Exemple d’application : (www.teragrid.org)
Recherche d’extraterrestres Seti@Home. -fournie une puissance de calcul de 13,6 Teraflops
-Utilise un réseau à 40 GB/S

HADI NADIA HADI NADIA


92 2017/2018 93 2017/2018

Définition : Regroupe plusieurs VO tel que:


NCSA : National center for supercomputing
Une OV est constituée d’un grand nombre applications (USA).
d’utilisateurs ( des scientifiques, des chercheurs, SDCC : Small device c compiler.
…), d’un très grand nombre de ressources (bases de
Caltech : California institute of technology.
données, CPU, mémoire, programme, services, …)
et elle est souvent dédiée à un domaine Argonne: Argonne national laboratory (laboratoire où
a été developpé GLOBUS)
d’application ( Biologie, Physique, Astrologie, …)
3- Meta- Ordinateur (meta-computing)
Extension du modèle client /serveur se qui donne
Client/agent(s)/serveur
HADI NADIA HADI NADIA
94 2017/2018 95 2017/2018

3-3Architecture d’une grille de calcul


• Bien que chaque projet de Grid-computing ait sa
propre architecture logique, une architecture
L’architecture d’une grille est la manière dont
générale en couches est cependant admise pour
elle est structurée.
expliquer certains concepts fondamentaux des
Une grille est organisée en « couches » ayant
grilles.
chacune une fonction spécifique.
Généralement, les couches supérieurs sont • Une telle architecture est représentée par la figure
orientées vers l’user, tandis que les couches suivante:
inférieures sont orientées vers le matériel
(Ordinateurs, réseaux…)
 Chaque couche fait appel aux services de
n’importe quelle couche inférieure.
HADI NADIA HADI NADIA
96 2017/2018 97 2017/2018

16
14/03/2018

Couche Infrastructure Matérielle


C’est la couche la plus basse elle correspond à
l’infrastructure matérielle :
• les ressources (interconnectées à travers les
réseaux ) composants la Grille.
• le réseau ( assure la connexion de ces ressources)
Ces ressources peuvent être :
 des processeurs (pc)
 des équipements de stockage.
 des stations de travail, …
 des Bases de données,
 des équipements spéciaux,..
Modèle en couches des grilles  des grappes de calcul (clusters), ...
HADI NADIA HADI NADIA
98 2017/2018 99 2017/2018

Couche Service Couche Intergiciel:


La troisième couche appelée Intergiciel, regroupe
La seconde couche appelée Service offre des
tous les outils qui peuvent aider les développeurs à
services de noyau tels que:
écrire des applications pouvant tourner sur la grille
 Contrôle de processus à distance,
de calcul.
 Co-allocation des ressources, On y trouve :
 Accès aux stockages et l’enregistrement de • des compilateurs, des librairies,
l’information, •des outils de conception d’applications,
 Mécanismes de sécurité, etc. •des services de gestion, de transfert et de calcul de
données sur la grille.
Elle est considérée comme le cerveau de la grille de
calcul.
HADI NADIA HADI NADIA
100 2017/2018 101 2017/2018

L’organisation virtuelle :
Couche Applications
•L’ organisation virtuelle ou Virtual Organization (VO) est
 Représente l’ensemble des différentes un groupe dynamique d’entités qui décident de partager
Applications qui ont été développées pour des ressources et de définir les conditions et les rôles de
interagir avec la grille. partage de celles-ci.
 C’est la couche que « voient » les users et •L’organisation virtuelle constitue l’essence même du
grid-computing et représente un élément clé de celle-ci.
avec laquelle ils interagissent souvent.
Elle permet de définir de façon précise qui fait quoi à quel
Exemple d’applications: moment et avec quelles ressources.
1. scientifiques •L’organisation virtuelle prend en charge les aspects
2. Techniques relatifs à la sécurité en définissant les conditions d’accès
et la politique d’utilisation des ressources disponibles sur
3. financières …. la grille telles que les cycles CPU, les capacités de
102
HADI NADIA stockage,
103
les logiciels accessibles, les périphériques, etc.
HADI NADIA
2017/2018 2017/2018

17
14/03/2018

FONCTIONNEMENT D’UNE GRILLE I-Caractéristiques d'une grille de calcul


DE CALCULS Les principales caractéristiques des grilles
de calcul dont certaines représentent des
 L’objectif d’une grille de calcul est de concevoir
avantages indiscutables alors que d'autres
une architecture informatique permettant de soulèvent quelques problèmes sont:
mettre à disposition des utilisateurs toutes les 1-Existence de plusieurs domaines
ressources dont ils ont besoin au moyen d’une administratifs :
interface simplifiée. les ressources sont géographiquement
 La complexité du réseau et des logiciels de distribuées et appartiennent à différentes
gestion du système doit être invisible à l’user qui organisations chacune ayant ses propres
doit accéder aux ressources de façon transparente. politiques de gestion et de sécurité. Il est
HADI NADIA
donc crucial de respecter les politiques de
HADI NADIA
104 105
2017/2018
chacune
2017/2018
de ces organisations.

2- Hétérogénéité des ressources : II-Les Composants d’une Grille de calcul


les ressources dans une grille sont de nature 1-Les Nœuds qui peuvent être de deux types:
hétérogène en terme de matériels et de logiciels.  Les terminaux :
3-Passage à l'échelle : Chaque participant utilise un logiciel client
spécifique (conçu par l’initiateur du projet), installé
une grille peut aussi bien contenir quelques sur son pc. Cette application va contacter le
dizaines de ressources que des millions voire des serveur, demander un paquet de données et
dizaines de millions. Cela pose de nouvelles commencer le traitement de ces données, en local,
contraintes sur les applications et les algorithmes de elle va ensuite recontacter le serveur pour lui
gestion des ressources. envoyer le résultat de sa recherche,
4-Nature dynamique des ressources : éventuellement télécharger un autre paquet de
dans les grilles, ce caractère dynamique génère données pour d’autres calculs.
certaines contraintes telles que:  Les clusters :
 l'adaptation au changement dynamique du nombre Plusieurs pc sont connectés ensemble, contrôlés
de HADI
ressources par un seul administrateur. Il nécessite la
106
NADIA
107
conception
HADI NADIA d’algorithmes spécifiques pour la
 la 2017/2018
tolérance aux fautes, ... 2017/2018
gestion et le contrôle des ressources.

3-Le système d’exploitation :


2- Le middleware :  Le système d’exploitation fournit
 Pour centraliser les données, un l’interface entre les applications du
middleware installé sur un serveur est réseau, les services du middleware et la
nécessaire. plate forme matérielle.
 Il permet une interaction avec les  La grille exige un système
utilisateurs, les applications et les complémentaire du système
ressources . Il doit être en mesure d’exploitation, capable d’offrir :
d’identifier et d’exploiter aux mieux les -Une architecture de sécurité puissante.
ressources disponibles. -Contrôle des performances.
 Analyse les requêtes des users et -Vérification des applications distribuées.
répartit automatiquement les tâches sur -Planification des ressources.
les différentes ressources en fonction
des disponibilités.
HADI NADIA HADI NADIA
108 2017/2018 109 2017/2018

18
14/03/2018

4- Les connexions : 3-Fonctionnement d’une grille de calcul


Elles s’effectuent par Internet, intranet ou réseau Voici une brève description des différents
privé. L’hétérogénéité et l’administration séparée éléments intervenant dans la prise en
sont les principaux problèmes à résoudre, charge d’un job sur la grille .
impliquant des conflits de sécurité et une gestion
difficile des ressources. Le Workload Management System (WMS)
5-Les protocoles: qui est constitué des éléments suivants :
Les applications de calculs distribués sont construites sur • User Interface (UI) : l’interface via laquelle
des protocoles comme: l’utilisateur accède à la grille.
- RTP(Real time Transport Protocol)
• Information System (IS) : ensemble
- XTP(Xpress Transfert Protocol)pour les applications
parallèles dans les clusters,
d’informations relatives aux ressources
- CORBA(Common Object Request Broker Architecture) précisant les caractéristiques et l’état des
- RSVP(Ressource reservation protocol) Computing Elements (CE) ainsi que des
HADI NADIA HADI NADIA
110
- RMI(Remode
2017/2018 Methode Invocation)… 111
Storage
2017/2018 Elements (SE).

•Resource Broker (RB) ou Workload


Manager(WM) : Fait correspondre les besoins Worker Nodes (WN) :
des utilisateurs avec les ressources disponibles • Groupe de machines sur lesquelles les
sur la grille. jobs vont être exécutés.
•Computing Element (CE) : •C’est également sur les worker nodes
Représente le point d’accès unifié à des que sont stockées les données transmises
ressources de calcul, des worker nodes qui par le Storage élément.
seront utilisés par la grille pour l’exécution des •Généralement il s’agit d’un cluster de
jobs. plusieurs PC ou serveurs.
Il se charge de la gestion des jobs qui lui sont
attribués. Il gère une liste de jobs à soumettre
(batch queue).
•Storage
HADI NADIAElement (SE) : HADI NADIA
112 113
Organe de gestion du stockage de l’information.
2017/2018 2017/2018

Schéma de prise en charge d’un job: 3. Le Computing Element envoie le job sur un ou plusieurs
Voici sous forme schématique, le cheminement d’un job Worker Nodes (WN) disponibles.
exécuté sur une grille de calcul : 4. Lorsque le job est terminé, les fichiers produits par celui-ci
1. l’utilisateur soumet le job au resource broker (RB) via sont disponibles sur le LRMS (Local Resource Management
l’interface (UI). System). Le Resource Broker est averti
Le ressource broker recherche le/les Computing Elément(s) que le job s’est terminé.
pouvant prendre en charge l’exécution du job en consultant 5. Le Resource Broker récupère les fichiers de sortie dans
l’Information System (SI). l’OutputSandBox.
L’utilisateur transmet ses fichiers d’entrée dans l’Input 6. Le Resource Broker envoie les résultats
SandBox. (l’OutputSandBox) à l’utilisateur via l’UI.
2. Le job ainsi que l’Input SandBox sont transférés au 7. L’utilisateur peut interroger à tout moment l’état de son
Computing Element qui prend en charge le job dans la job job par l’intermédiaire du Logging and Bookkeeping Service
queue. (L&BS) qui conserve une trace de l’exécution des jobs.
HADI NADIA HADI NADIA
114 2017/2018 115 2017/2018

19
14/03/2018

Application des Grilles de Calculs  Selon la nature et l’étendue de la grille, les


Les principales applications des grilles de calcul ressources agrégées pourront aller de toutes les
se font dans les domaines suivants : stations de travail d’une université à tous les
Supercalculateur réparti : (calcul distribué) supercalculateurs des organismes de
Une grille de calcul pourra agréger une recherche d’un pays.
importante quantité de ressources afin de  Comme exemples d’applications nous
fournir la puissance de calcul nécessaire pour pouvons citer:
de nombreuses applications et que même les -la simulation distribuée dans la météorologie,
supercalculateurs les plus modernes ne peuvent -la cosmologie
fournir. -l’aéronautique …

HADI NADIA HADI NADIA


116 2017/2018 117 2017/2018

Calcul haut-débit: (calcul intensif) Calcul sur demande:


 Une grille de calcul sera utilisée pour  Une grille de calcul pourra fournir les
ordonnancer en parallèle une importante ressources pour satisfaire les demandes à
quantité de tâches indépendantes les unes court terme d’une application et que les
des autres. ressources locales ne sont pas en mesure
 Comme exemples d’applications nous d’assurer (cycles processeur, espace de
pouvons citer stockage …).
- la recherche de clés cryptographiques  Le défi principal pour les concepteurs de
- les simulations de molécules telles grilles est la nature dynamique et
- l’analyse du génome … aléatoire des demandes faites par les
118
HADI NADIA
2017/2018 119 utilisateurs
HADI NADIA
2017/2018
qui peuvent constituer une large
population.

Génération, traitement et stockage Calcul Collaboratif (Collaborative


d’énormes quantités de données :( Data- Computing) :
intensive Computing) Cette classe d’applications inclut les
 Dans de telles applications, une grille de applications d’interaction entre humains
calcul pourra absorber et stocker en vue de partager des bases de
d’importantes quantités d’informations données ou des simulations.
générées. Exemples :
 production de nouvelles données à partir de -Conception et interaction avec un
données nouveau moteur d’avion.
géographiquement dispersées. -Conception d’un plan urbain .
 Comme exemple d’applications nous -Exploration conjointe de bases de
120
pouvons
HADI NADIA
2017/2018
mentionner: 121 données
HADI NADIA
2017/2018 géographiques.
- la production d’une carte de l’univers,

20
14/03/2018

La Couche Middleware:
MIDDLEWARES (intergiciels)  En partageant cette couche, différentes
 Le domaine de l'intergiciel (middleware), machines ont accès à des outils de
apparu dans les années 1990, a pris une place communication beaucoup plus évolués qu’avec
centrale dans le développement des les services réseaux de base.
applications informatiques reparties. Les middlewares utilisent en fait les services
 L'intergiciel joue aujourd'hui, pour celles-ci, réseaux de bases mais leur utilisation est faite de
un rôle analogue a celui d'un système façon transparente.
d'exploitation pour les applications Le développeur n’a pas à ce préoccuper de la
centralisées. complexité de leur fonctionnement et dispose de
 Il dissimule la complexité de l'infrastructure fonctions simples à mettre en place pour gérer la
sous-jacente, il présente une interface communication entre les machines.
122commode aux développeurs d'applications et
HADI NADIA HADI NADIA
2017/2018 123 2017/2018

fournit un ensemble de services communs.

L'intergiciel (middleware) est l'élément But et fonctionnalités d'un middleware:


essentiel qui permet d'agréger les diverses
ressources composant une grille.
• Gestion de l'hétérogénéité
Si deux machines ayant des systèmes (Langage de programmation, systèmes
d’exploitation différents, partagent le même d'exploitation utilisés ...)
middleware, la communication sera faite de
façon transparente c à d qu’il jouera le rôle •Offrir des abstractions de communication de
d’intermédiaire entre les deux systèmes plus haut niveau:
d’exploitations. -Appel d'une procédure à distance
- Communication via une mémoire partagée
-Diffusion d'événements …
HADI NADIA HADI NADIA
124 2017/2018 125 2017/2018

Définition
•Offrir des services de configuration et de Le middleware(intergiciel) est un ensemble de
gestion du système: logiciels qui servent d’intermédiaires entre les
- Service d'annuaire pour connaître les applications et les Ressources via le réseau.
éléments présents et leurs états. Il offre des services de haut niveau liés aux
-Services de sécurité, de temps, de besoins de communication des applications
transaction, de persistance... (sécurisation, transaction informatique, temps
réel,….)
•Gérer les différences d’implémentations des Donc c’est une couche logicielle intermédiaire
services entre les différents systèmes entre les applications et le réseau permettant le
d’exploitation. dialogue entre des applications hétérogènes.

HADI NADIA HADI NADIA


126 2017/2018 127 2017/2018

21
14/03/2018

 Un middleware (intergiciel) permet la Le domaine de l'intergiciel est en évolution


communication entre des clients et des serveurs permanente:
ayant des structures et des implémentations Plusieurs groupes de chercheurs et développeurs
différentes. travaillent à la création de divers middlewares.

certains cherchent à connecter des ressources de


taille conséquente (clusters).

 d'autres s'attachent plus particulièrement à la


récupération de cycles de calcul sur des machines
personnelles.

 Dans ce qui suit, on Appellera


• les premiers des intergiciels «globaux»
• les seconds des intergiciels «spécifiques»
HADI NADIA HADI NADIA
128 2017/2018 129 2017/2018

L'intergiciel globus toolkit:


Les Intergiciels «globaux» :
 Parmi les exemples les plus connus, on citera  C’est le plus répandu. Le projet est un
Globus Toolkit, NorduGrid, Glite, Unicore, . . . effort de recherche multi-institutionnel
 Ces intergiciels sont libres, ne fonctionnant que américain dont le but essentiel etait de
dans le monde Unix, ont été développés autour de construire des grilles de calcul.
Java et XML.  Le projet Globus a débuté en 1997 et a
 Ils offrent des interfaces permettant de dialoguer délivré sa première version en novembre
avec les ordonnanceurs locaux des divers clusters 1998.
de la grille et l'authentification des clients et des
noeuds de la grille s'effectue via des certificats SSL
(Secure Sockets Layer).
HADI NADIA HADI NADIA
130 2017/2018 131 2017/2018

• Ce toolkit (kit d’outils) est gratuit, open-source et


fournit un ensemble de services de base (noyau)
nécessaires à la construction de grille de calcul Les intergiciels NorduGrid (développé en
tels que Scandinavie) et Glite (développé au
-Authentification, CERN) :
- Localisation de ressources,  Ils sont basés sur Globus, chacun d'eux
-Allocation de ressources, comprend un choix de modules de Globus
- Réservation, associés à des modules spécifiques
- Configuration, adaptés en vue d'une forme d'utilisation
- Communication, Accès aux fichiers,…. particulière de la grille.
• Ces services ne sont pas tous nécessaires pour
une application, c'est le développeur  Il est à noter que Glite tend à devenir de
d'applications qui sélectionne les services dont il plus en plus indépendant de Globus.
a besoin.
HADI NADIA HADI NADIA
132 2017/2018 133 2017/2018

22
14/03/2018

L'intergiciel Unicore (uniform


Les services de GLite
interface to computing ressources)
 Démarré en 1997,c’est le concurrent européen open
source de Globus Toolkit. Il est supporté par un ensemble
d'industriels et par le gouvernement allemand.
 Il est entièrement écrit en Java et chaque module prend
la forme d'un plugin.
 Le client de la grille Unicore peut charger les plugins
souhaités à l'aide d'une interface graphique permettant
de soumettre des tâches et de les suivre.
 Il est un peu moins complet que Globus, mais son
installation est plus aisée.
 Notons de plus qu'Unicore est capable de dialoguer avec
Globus, mais que le contraire n'est pas encore possible
(l'implémentation d'une passerelle est toutefois prévue :
134
HADI NADIA
135
GridHADI
Interoperability
NADIA Project
2017/2018 2017/2018

Les Intergiciels «spécifiques» :


 Cependant, les applications parallèles
 Ces intergiciels ont pour but de récupérer
des cycles de calcul sur un parc de (avec communications) nécessitant
machines personnelles. beaucoup de processeurs ne sont pas très
adaptées à une grille de machines
 Certains ne permettent d'exécuter que des personnelles, cette dernière étant très
tâches parallèlement indépendantes, alors instable.
que d'autres sont plus flexibles et
autorisent des communications entre les  En effet, les machines n'entrent dans le
processeurs. groupe de noeuds disponibles que pour
quelques heures et ceci de manière
totalement imprévisible.
HADI NADIA HADI NADIA
136 2017/2018 137 2017/2018

 InnerGrid est une plateforme logicielle


développée et distribuée par la société
 Compte tenu de cette instabilité, les GridSystem, qui permet, au sein d’un réseau
intergiciels «spécifiques» sont généralement hétérogène d’équipements informatiques, de
dotés d'une fonctionnalité leur permettant de bénéficier de la puissance de calcul
réallouer des tâches qui auraient été disponible, et de manière plus générale, des
interrompues. ressources informatiques inutilisées.
 Condor, un logiciel libre, c’est un
 Les principaux intergiciels non libres pouvant ordonnanceur évolué permettant la migration
être déployés sur un parc de machines de tâches en cas de «disparition» d'un noeud
hétérogènes sont GridMP et InnerGrid. Ils (il peut également être vu comme un
permettent de soumettre des tâches intergiciel).
parallèles .  Un exemple d'intergiciel libre développé pour
des applications parallèles et indépendantes
est : Xtremweb-CH.
HADI NADIA HADI NADIA
138 2017/2018 139 2017/2018

23
14/03/2018

XTREMWEB-CH:
 C’est un environnement P2P développé à A la différence des projets SETI@HOME,
partir du prototype Xtremweb de l ’université XTREMWEB-CH n’est pas dédier à une
d’ORSAY(France) dont les concepts sont application particulière mais configurable
ceux de P2P càd décentralisation des pour toute application.
traitements et des prises de décisions.
 XTREMWEB-CH est une plateforme Le système est construit à partir de
orientée calculs intensifs. standards et de logiciels libres (open
 Il permet à des centres de recherches, des source) tel que C++, java, PERL,
universités et des industriels d’installer et MYSQL(SGBD), APACHE(serveur web)…
d’utiliser leur propre système de calcul P2P
pour leurs travaux de recherches ou pour la
production de calculs.
HADI NADIA HADI NADIA
140 2017/2018 141 2017/2018

GLOBUS TOOLKIT
Introduction
• C’est un projet open source visant à créer les
requête Accepter
logiciels et les outils nécessaires pour la conception
Pc client et la mise en œuvre de grilles de calcul.
Workers
• Globus a été principalement développé aux
Résultat
Master Etats-Unis dans l’Argonne National Laboratory
Application
Xtrem-web Résultat par l’équipe de Ian Foster.
client
• Le travail sur Globus a commencé en 1997 et le
Schéma de l’architecture de Xtremweb projet est toujours actif.

HADI NADIA HADI NADIA


142 2017/2018 143 2017/2018

Principales fonctionnalités (Services) offertes par


Globus
• Le « Globus Toolkit » (ou boite à outils )est
formé d’un ensemble de composants. Son Service Nom Description
architecture modulaire permet d’apporter les
modifications et les améliorations d’une manière Gestion de ressources GRAM Allocation des ressources
rapide et efficace. et gestion des processus.

Communications NEXUS Services de communication


• Globus est devenu le standard utilisé dans les unicast et multicast.
projets de grilles de calcul c à d que de
Sécurité GSI Authentification et autorisation.
nombreuses entreprises l’ont adopté pour servir
comme base de leurs produits commerciaux
pour grilles de calcul. Information MDS Informations sur la structure et
l’état de la grille.

HADI NADIA HADI NADIA


144 2017/2018 145 2017/2018

24
14/03/2018

2. Architecture de Globus  Nous retrouvons le système de


communication inter-processeurs par
 Globus est organisé en couches, chaque couche message, MPI. Pour Globus, il existe une
possédant des modules. Il permet de faire le lien version spécifique de MPI, appelée
entre tous ces modules. « MPICH-G».
 La structure de Globus est comme suit:
 L’outil «Globus-run» permettra d’exécuter
- Les applications( telles qu’elles ont été décrites des commandes sur les ressources de la
dans le chapitre précédent comme la physique ou grille.
la biologie).
-Les outils pour les applications :
 Il existe d’autres outils, comprenant par
exemple des compilateurs particuliers pour
des applications spécifiques.
HADI NADIA HADI NADIA
146 2017/2018 147 2017/2018

M D S: Service d’information
GRAM : Gestion des ressources MDS « Metacomputing Directory Service »
Les environnements de type grilles de calcul
dépendent de la disponibilité d’informations sur
GRAM : (« Globus Resource Allocation l’infrastructure utilisée.
Manager ») Ces information peuvent inclure :
 Configuration des ressources
 Est le nom du composant de Globus Quantité de mémoire, fréquence du processeur,
permettant la gestion et la supervision des nombre de processeurs, nombre et type des
ressources. interfaces réseau ect.
 Etat instantané d’une ressource
 Une grille de calcul construite avec Globus charge du processeur, mémoire disponible, bande
comprend une multitude de GRAM, chacun passante du réseau.
responsable d’un ensemble de ressources.  Informations sur les applications
besoins mémoire, en processeurs et en espace de
. 148 HADI NADIA
2017/2018 149
HADI NADIA
2017/2018
stockage.

Conclusion
G S I : Services de sécurité  Donc Globus, constitue une boîte à outils permettant
GSI « Grid Security Infrastructure » . la construction de grilles.
 Globus fournit une architecture de
sécurité complexe permettant de  Globus est un projet en constante évolution et
sécuriser le fonctionnement de la grille. la communauté, qu’elle soit académique ou
 Les composants de sécurité fournissent industrielle, y participe activement.
les mécanismes qui assurent
l’authentification, l’autorisation et la
confidentialité des échanges.  On y trouve des entreprises telles que IBM et
Platform Computing qui tentent de créer des
NB: Globus repose sur la cryptographie à clé produits commerciaux basés sur Globus plus
publique. complets et faciles à installer et à administrer.

HADI NADIA HADI NADIA


150 2017/2018 151 2017/2018

25
14/03/2018

HADI NADIA HADI NADIA


152 2017/2018 153 2017/2018

26