LRMN

Introduction aux clusters et aux grilles de calcul

une solution aux calculs lourds et au stockage de donnes

Sorina POP

29/01/2009

Sommaire
Introduction Les clusters
Introduction, exemples, utilisation

Les grilles
Introduction, exemples, utilisation

Projets en cours Conclusion

LRMN
Introduction aux clusters et aux grilles de calcul 2/20

Introduction
Pourquoi ce sminaire
Introduction aux clusters et aux grilles de calcul
Comprendre ce que cest Se rendre compte
Si et comment cela peut vous aider dans votre activit Que vous y avez accs

Prsentation d une partie de mon activit

Pourquoi les clusters/grilles?

Pour le calcul
Excuter le mme programme simultanment
Par ex tester diffrents paramtres

Excuter des programmes (trs) longs (1 plusieurs jours CPU)

Diviss ou parallliss

Pour les donnes

Stocker et partager d'importants volumes de donnes

LRMN

Introduction aux clusters et aux grilles de calcul

3/20

Sommaire
Introduction Les clusters
Introduction, exemples, utilisation

Les grilles
Introduction, exemples, utilisation

Projets en cours Conclusion

LRMN
Introduction aux clusters et aux grilles de calcul 4/20

Les clusters
Cluster grappe ou ferme de calcul Dfinition : un groupe dordinateurs indpendants mais relis en rseau et fonctionnant comme un seul et mme systme
Un client dialogue avec un cluster comme s'il s'agissait d'une machine unique.

Buts
Mutualisation des ressources Performance Disponibilit Transparence
PC client
Introduction aux clusters et aux grilles de calcul

Cluster
5/20

LRMN

Le cluster Creatis
Composition
Actuellement 39 cores En commande 112 cores

Outils et logiciels
OS : Fedora 9 Matlab 6 & 7 (sauf ALTIX350 IA64) Les packages logiciels du labo (vtk, itk, geant4, gdcm...) Batch manager PBS/TORQUE:
http://www.creatis.insa-lyon.fr/mywiki/Utilisation_du_Cluster http://www.creatis.insa-lyon.fr/ganglia

Contact : Fabrice Bellet

LRMN
Introduction aux clusters et aux grilles de calcul

Crdit Fabrice Bellet

6/20

Utilisation du cluster
Se connecter sur linux1.dg.creatis.insa-lyon.fr Crer un petit script pbs standard #!/bin/sh #PBS -l walltime=72:00:00 Soumettre script #PBS -N MonTestPbs
qsub MonTest.pbs
#PBS -l nodes=1:i386 #PBS -o MonTestPbs.out #PBS -e MonTestPbs.err #PBS -m ae #PBS -M 'camarasu@creatis.insa-lyon.fr' cd ~/test ./MonExecutableTest

Suivre statut
qstat
[camarasu@linux1 test]$ qstat Job id Name User Time Use S Queue ------------------- ---------------- --------------- -------- - ----48751.linux1 MonTestPbs camarasu 00:16:10 R batch 49553.linux1 interactive gueth 03:26:20 R batch

Plus dinfo
http://www.creatis.insa-lyon.fr/mywiki/Utilisation_du_Cluster

Formation ventuelle
LRMN
Introduction aux clusters et aux grilles de calcul 7/20

Sommaire
Introduction Les clusters
Introduction, exemples, utilisation

Les grilles
Introduction, exemples, utilisation

Projets en cours Conclusion

LRMN
Introduction aux clusters et aux grilles de calcul 8/20

Les grilles

Londres

Berlin Interface Utilisateur PC client

Paris

Lyon

Grille

LRMN

Introduction aux clusters et aux grilles de calcul

9/20

Les grilles
Grille
Infrastructure informatique destine au calcul distribu et au stockage des donnes Grand nombre de machines htrognes et dlocalises Homogne grce au middleware (intergiciel) de grille

Middleware de grille
Logiciel servant d'intermdiaire de communication entre plusieurs applications distribues sur un rseau informatique Exemples: Condor, Globus, gLite

Avantages
Puissance de calcul Stockage de donnes Partage de donnes et algorithmes

Exemples de grilles
Initiatives nationales (National grid initiatives)
IdG : Institut National des Grilles en France UK National Grid, German National Grid (D-Grid), HellasGrid Greek National Grid, INFN Italian National Grid, DutchGrid Netherlands National Grid, BalticGrid Regional Grid, NAREGI Japanese National Grid

Grille de production : EGEE, Teragrid, Open Science Grid LRMN

Introduction aux clusters et aux grilles de calcul 10/20

EGEE Exemple

300 sites dans 50 pays, 10000 utilisateurs ayant accs 80000 processeurs
LRMN
Introduction aux clusters et aux grilles de calcul 11/20

Utilisation de la grille
Obtenir un certificat Se connecter sur linterface utilisateur Crer son proxy partir du certificat Crer son script jdl Soumettre script Suivre statut Rcuprer rsultats
LRMN
Introduction aux clusters et aux grilles de calcul 12/20

Sommaire
Introduction Les clusters
Introduction, exemples, utilisation

Les grilles
Introduction, exemples, utilisation

Projets en cours Conclusion

LRMN
Introduction aux clusters et aux grilles de calcul 13/20

Simri
Simulateur IRM
Hugues Benoit-Cattin Excution parallle MPI (Message Passing Interface) Excution sur le cluster interne ou EGEE Interface graphique
https://simri.creatis.ins a-lyon.fr/
Introduction aux clusters et aux grilles de calcul

LRMN

14/20

ThIS
Therapeutic Irradiation Simulator
Traitement du cancer par irradiation du patient avec des particules

David Sarrut et Laurent Guigues Excution sur le cluster du CC de lIN2P3 et sur EGEE Projet informatique en cours pour une interface graphique
Introduction aux clusters et aux grilles de calcul

Simulation ThIS

LRMN

Soumission Grille optimise 15/20

VBrowser et Moteur
Virtual Browser
http://staff.science.uv a.nl/~silvia/vlemed/ Universit de Amsterdam Accs transparent aux fichiers en local et distance

Moteur
Tristan Glatard http://modalis.polytec h.unice.fr Moteur de workflow Excution locale ou sur grille Crdit Tristan Glatard
LRMN
Introduction aux clusters et aux grilles de calcul

16/20

Base de donnes
Projet qui dbute
Pour rpondre notre besoin d'une base d'images mdicales commune En collaboration avec le CC de lIN2P3

iRODS
Outil de gestion de donnes Dveloppement des micro-services pour la gestion des donnes et mtadonnes

VBrowser
Interface graphique

Base de donnes CREATIS-LRMN

Validation
Avec votre aide
Introduction aux clusters et aux grilles de calcul

LRMN

17/20

Sommaire
Introduction Les clusters
Introduction, exemples, utilisation

Les grilles
Introduction, exemples, utilisation

Projets en cours Conclusion

LRMN
Introduction aux clusters et aux grilles de calcul 18/20

Conclusion
Les clusters et les grilles peuvent vous aider dans votre travail Vous y avez accs Des projets sont en route pour vous faciliter laccs ce type de ressources

LRMN

Introduction aux clusters et aux grilles de calcul

19/20

Merci pour votre attention !

Des questions ?...