Centre de Calcul de l’Institut National de Physique Nucléaire et de Physique des Particules

Workflows scientifiques
Journée des expériences 2019
Qu’est-ce qu’un workflow scientifique ?

●
Composition de plusieurs calculs
consommant et générant des données
– Pipelines applicatifs
●
Niveau 0 du workflow → script
●
Souvent représentés par un graphe
– Noeuds : calculs
– Arêtes : dépendances
●
Pourquoi décrire un workflow ?
– Automatiser
– Passer à l’échelle
– Formaliser / visualiser

2
Pourquoi un script ne suffit-il pas ?

●
La liste des défauts est longue ...
– Lisibilité, maintenance, portabilité, évolution, partage, …
●
Et les problèmes nombreux …
– Gestion des données
●
distribution, réplication, ...
– Adaptation à l’infrastructure
●
Matériels et services disponibles
●
Modes d’accès
●
Hétérogénéité
– Surveiller, contrôler et débugguer l’exécution
– Optimiser les performances
●
Tout cela à la charge de l’utilisateur !!
– A moins d’utiliser un gestionnaire de workflow

3
Gestionnaires de workflows

AIRFLOW

4
Quel gestionnaire choisir ?

●
Ca dépend …
●
Important de distinguer deux aspects majeurs
– Expression du workflow
– Exécution du workflow
●
Expression
– Choix guidé par l’humain
– Langage, facilité de prise en main, cohérence avec les usages
●
Exécution
– Choix guidé par l’infrastructure et l’application
●
De calcul ET de stockage
– Un seul centre de calcul ou plusieurs ?
– Certains services sont-ils pris en charge par l’application ?

5
Quel(s) système(s) au CC-IN2P3

●
En production
– Actuellement aucun
●
En cours d’évaluation
– Parsl
– Fireworks
– Makeflow
●
A éventuellement tester
– Pegasus

●
Déploiement dépendant de l’expression des besoins