Guide Pratique Qualité Tableau de Bord SI (Diffusé)

Guide pratique qualité
Tableau de Bord DSI
Guide pratique issu de retours d’expériences

académiques et nationales à destination des DSIA
pour l’établissement et le maintien
d’un tableau de bord DSI
Avril 2018
Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 1 sur 26

OBJET DU DOCUMENT
Ce document est un recueil de conseils et de préconisations pour accompagner les DSI
académiques dans leur démarche de déploiement d’un tableau de bord pour la DSI.
Il est le résultat d’un groupe de travail regroupant des volontaires issus d’académie et qui ont
apporté le retour d’expérience de leur académie.
Le processus du groupe de travail a été basé sur le mode du « projet flash ». Démarré en juin
2017 et initialement cadré à trois journées de réflexion, le groupe s’est réuni une quatrième et
dernière fois le 18/01/2018.
Le projet a été piloté par Sylvaine Gobard, chargée de mission qualité de l’académie d’Aix
Marseille, par délégation du bureau DNE B2-3 avec l’assistance d’une prestation externe pour
l’animation des réunions et la production des livrables.
Les participants au groupe de travail sont des volontaires et respectent les engagements :
 Participer activement aux réunions
 Collecter de l’information pour les réunions
 Apporter des corrections à ce document
Les modifications se font librement. La seule condition est d’avoir copié le fichier
avant de le modifier. Les modifications sont faites en mode « Révision » pour faire
connaître qui est à l’origine.
Le calendrier du groupe est :

 J1 : 19/06/2017 à Paris, rue Dutot
 J2 : 06/07/2017 en classe virtuelle
Le groupe de travail a réuni :
• Patrick Benazet, DSI de l’académie de Bordeaux

• Philippe Bochut, correspondant qualité de l’académie de Créteil
• Mohamed Mezrag, correspondant qualité de l’académie de Lyon
• Eric Duret, correspondant qualité de l’académie de Nantes
• Nathalie Lhardy, correspondante qualité de l’académie de Paris
• Cheistine Leberre, correspondante qualité de l’académie d’Orléans-Tours
• Marie-Joseph Fabre, correspondante qualité de l’académie de Strasbourg.
Les préconisations et recommandations décrites dans ce document sont une

synthèse des principales recommandations proposées par ces académies.

SOMMAIRE
1. Avant-propos ................................................................................... 6
1.1. Convention de notation ............................................................................................................ 6
1.2. Structuration du document ...................................................................................................... 6
2. Enjeux du tableau de bord du DSI académique............................ 7
2.1. Définition ...................................................................................................................................... 7
2.2. Usage ............................................................................................................................................. 7
2.3. Destination................................................................................................................................ 10
2.4. Fréquence .................................................................................................................................. 10
2.5. Communication ....................................................................................................................... 10
2.6. Composition du tableau de bord ......................................................................................... 11
Définition d’un indicateur .............................................................................................................................. 11
Caractéristiques des indicateurs .................................................................................................................. 11
Qualités d’un indicateur ................................................................................................................................. 11
2.7. Risques en cas d’absence de tableau de bord ................................................................... 12
3. Retours d’expérience d’académies .............................................. 13
3.1. Positionnement du tableau de bord .................................................................................... 13
3.2. Quelques exemples ................................................................................................................. 15
3.3. Indicateurs candidats pour la composition d’un tableau de bord DSI ......................... 15
3.4. Conseils et bonnes pratiques................................................................................................ 18
4. Annexes .......................................................................................... 21
4.1. Indicateur de disponibilité (Versailles) ................................................................................ 21
4.2. Taux de rendement synthétique du Service Desk (Versailles) ..................................... 23
4.3. Qualité du code (Versailles) .................................................................................................. 25

TABLE DES FIGURES
Figure 1. Le processus opérationnel est gouverné par un processus de pilotage ..................... 7
Figure 2. L’indicateur facilite la prise de décision ...................................................................... 7
Figure 3. La construction de l'indicateur suppose le fait de maîtriser la collecte et le stockage
des données ............................................................................................................................... 8
Figure 4. Collecte et stockage des données ............................................................................... 8
Figure 5. Régulation de l'opérationnel par la gouvernance au moyen du tableau de bord ...... 9
TABLE DES PRECONISATIONS

Préconisation 2. Indicateurs types catégorie sécurité ............................................................. 15
Préconisation 3. Indicateurs types catégorie opération/production ...................................... 15
Préconisation 4. Indicateurs types catégorie projet ................................................................ 16
Préconisation 5. Indicateurs types catégorie support ............................................................. 16
Préconisation 6. Indicateurs types catégorie transverse (RH/budget) .................................... 17
Préconisation 7. Avoir un sponsoring fort ............................................................................... 18
Préconisation 8. Définir précisément l’objectif ....................................................................... 18
Préconisation 9. Voir grand mais faire simple ......................................................................... 18
Préconisation 10. S’assurer d’avoir les moyens de mesurer ................................................... 18
Préconisation 11. Se dire qu’après l’analyse, on doit mettre un plan d’action ....................... 19
Préconisation 12. Faire une revue du livrable « tableau de bord » ......................................... 19
Préconisation 13. Intégrer le plan de communication ............................................................. 19
Préconisation 14. Outiller et tester l’outillage ......................................................................... 19

TABLE DES BONNES PRATIQUES
Bonne pratique 1. Démarche GQ(I)M ...................................................................................... 10
Bonne pratique 2. Procédure d’analyse ................................................................................... 12
TABLE DES EXEMPLES

Exemple 1. Point de vue d’un DSI (Bordeaux).......................................................................... 13
Exemple 1. Point de vue de correspondant qualité (X) ........................................................... 14
Exemple 1. Disponibilité des environnements......................................................................... 15
Exemple 2. Taux de rendement synthétique ........................................................................... 15
Exemple 3. Qualité du code ..................................................................................................... 15

1. Avant-propos
1.1. Convention de notation

Dans ce document, il est fait la distinction entre les informations suivantes :
Bonne pratique 1 : Bonne pratique issue de référence méthodologique

Le texte est encadré sur trois côtés avec une marge gauche et le pictogramme
« manuel ».
Préconisation 1 : Préconisation issue du retour d’expérience des académies

Le texte est encadré sur trois côtés avec une marge gauche et le pictogramme
« poteau indicateur ».
Exemple 1 : Académie - Exemple de mise en œuvre dans une académie

Le texte est encadré sur trois côtés avec une marge gauche et le pictogramme « clé
anglaise ».
1.2. Structuration du document

Chapitre « Enjeux du tableau de bord du DSI académique »
Ce chapitre est une approche méthodologique du tableau destinée à fournir des points
clés pour mener un projet de définition et de maintien d’un tableau de bord.
Chapitre « Retour d’expérience »
Ce chapitre contient la synthèse des échanges du groupe de travail. On y trouvera une
liste d’indicateurs candidats pour l’établissement d’un tableau de bord et une liste de
conseils de mise en œuvre.
Chapitre « Annexes »

2. Enjeux du tableau de bord du DSI académique
2.1. Définition
Le tableau de bord est un outil de pilotage et d’aide à la décision regroupant une sélection
d’indicateurs.
Dans cette définition, on note qu’il y a de façon sous-jacente une notion de mesure « en vue
de pilotage et d’aide à la décision »
2.2. Usage
Le pilotage est un processus régulateur d’un ou éventuellement plusieurs processus
opérationnels
Figure 1. Le processus opérationnel est gouverné par un processus de pilotage

La notion d’indicateur est toujours associée avec celle de pilotage ou de gouvernance.
Ainsi, tout processus opérationnel est régulé par un processus de pilotage. Ce dernier, entre
autres attributions, effectue une régulation de l’opérationnel en prenant des décisions
d’actions correctives.
Figure 2. L’indicateur facilite la prise de décision

Cette prise de décision se fait au moyen d’une analyse supportée par un indicateur.
La nature de la décision est donc, vu par le processus de mesures un « besoin opérationnel »,
auquel on associe un « objectif de mesure » qui n’est autre que l’indicateur.

Figure 3. La construction de l'indicateur suppose le fait de maîtriser la collecte et le
stockage des données
L’indicateur est construit à partir de données qui sont soit des mesures directement issues
d’une base de mesures, soit des données obtenues par calcul à partir de ces mêmes mesures.
Dans tous les cas, la première action à respecter est un contrôle qualité opéré sur les mesures
pour vérifier qu’elles sont bien cohérentes et qu’elles remplissent les prérequis avant de
construire l’indicateur. Par exemple, les données d’un stock de tickets non à jour ne peuvent
être utilisées pour construire un indicateur de suivi des tickets.
Figure 4. Collecte et stockage des données

Enfin, les mesures auront été au préalable elles-mêmes collectées à partir du processus
opérationnel et dûment stockées.

Figure 5. Régulation de l'opérationnel par la gouvernance au moyen du tableau de bord
On voit que le montage d’un tableau de bord participe au cycle de régulation d’un processus
opérationnel,
Notion
En vue de répondre à des objectifs de Besoins opérationnels
pilotage. Objectifs de mesure
De ces objectifs de pilotage, on en déduit Procédure d’analyse
des procédures d’analyse
Des règles de construction d’indicateurs Définition des indicateurs
Ces indicateurs sont construits à partir Identification des mesures collectées :
de bases de mesures origine, nature, collecte, stockage
Ces mesures font l’objet de contrôles Règles de cohérence
qualité

Bonne pratique 1. Démarche GQ(I)M
La démarche consiste à définir les indicateurs selon les étapes suivantes :
 Identification des objectifs
Les objectifs sont à définir sous l’angle de vue du besoin de régulation de
l’opérationnel par la gouvernance.
Ces objectifs se déclinent ensuite en objectifs de mesure.
 Questionnement
À partir des objectifs opérationnels, on prépare le questionnement qui permet de
réguler, c’est-à-dire identifier l’écart et conduire vers la prise de décision.
Le questionnement permet de spécifier la procédure d’analyse.
 (Indicateur)
Cette étape est souvent ajoutée à la démarche et consiste à mettre en forme
l’indicateur.
 Métriques
Chaque indicateur se construit à partir de métriques issues du processus
opérationnel directement ou indirectement.
Chaque métrique fait l’objet d’une procédure de collecte et stockage.
Des règles de cohérence permettent de spécifier le contrôle qualité des données.
2.3. Destination
Le tableau de bord est destiné en premier lieu aux membres de l’instance de gouvernance où
il sera utilisé.
Ensuite, il peut faire l’objet d’une communication inscrit dans le cadre du plan de
communication de la DSI.
De façon alternative, certains indicateurs peuvent être communiqués isolément en fonction
des besoins.
2.4. Fréquence
La fréquence de mise à jour du tableau de bord est au moins égale à celle des instances de
gouvernance ou de la communication auxquelles il est destiné. Bien sûr, on peut le mettre à
jour plus souvent ou pour le moins mettre à jour les indicateurs au fur et à mesure de
l’arrivée de leurs données d’entrée. Cette façon de faire a l’avantage de disposer d’un tableau
de bord à jour à volonté.
2.5. Communication
Une question légitime concernant le tableau de bord est « à quoi sert-il ? ».
Selon la finalité choisie par la DSI, les réponses peuvent être une ou plusieurs parmi celles-
ci :
 Pour la gouvernance interne,
 Pour remonter des informations appelant la hiérarchie à prendre des décisions
impactantes, comme par exemple l’engagement de travaux ou la mobilisation de
ressources ou encore tout arbitrage de quelque nature que ce soit,

 Pour communiquer de l’information synthétique à des parties prenantes, et
lesquelles,
 Pour servir d’élément de comparaison pour la DSI dans le temps (les progrès
accomplis) ou entre DSI au même moment (comparaison concurrente),
 Ou autre usage car cette liste ne prétend pas être exhaustive.
Il fait sens pour la DSI de balayer cette question et d’identifier les réponses qui sont les mieux
adaptées. Selon la ou les réponses, le Tableau de Bord de la DSI ou éventuellement une partie
de ce Tableau de Bord peuvent faire l’objet d’une communication.
Dans ce cas, les bonnes pratiques consistent à traiter la communication du Tableau de Bord
dans les plans ou les procédures qui régissent la DSI comme par exemple un Plan de
Communication ou autre document faisant fonction.
On trouvera alors des informations de cadrage comme :
 Finalité
 Destinataire
 Format de communication
 Démarche de construction et de validation
 Parties prenantes
 Fréquence
 Etc.
2.6. Composition du tableau de bord

Le tableau de bord est composé d’indicateurs.
Il est donc nécessaire de définir les caractéristiques d’un indicateur.
Définition d’un indicateur

Un indicateur est une information choisie, associée à un phénomène, destinée à en observer
périodiquement les évolutions au regard d’objectifs périodiquement définis. (Réf. ISO 8402)
Un indicateur est une information choisie, associée à un critère, destinée à en observer les
évolutions à intervalles définis. (Réf. Norme FDX 50-171)
Caractéristiques des indicateurs

Les indicateurs doivent être :
 Simples et acceptables
 Représentatifs et/ou significatifs
 Mesurables et durables
 Choisis collectivement
 Cohérents, utiles et pertinents
 Ils ont un objectif
 Les résultats sont présentés de façon claire
 Ils sont en nombre limité
Qualités d’un indicateur

Les chiffres ne parlent pas d’eux-mêmes. Ce n’est pas seulement le résultat qui est important,
c’est ce que l’on en fait.

Un indicateur n’a de sens qu’accompagné de ses éléments d’interprétation, notamment les
critères précis de sa définition et le contexte de sa mise en œuvre.
Les informations produites doivent être stabilisées et reproductibles au cours du temps.
Bonne pratique 2. Procédure d’analyse

La procédure d’analyse d’un indicateur doit être définie.
2.7. Risques en cas d’absence de tableau de bord

L’absence d’un tableau de bord peut avoir pour conséquences :
 Prises de décision effectuées au cas par cas et selon les informations présentes
 Comparaison malaisée ou impossible entre deux situations (comparaison temporelle)
ou avec d'autres organisations (comparaison "concurrentielle")

3. Retours d’expérience d’académies
3.1. Positionnement du tableau de bord
Exemple 1. Point de vue d’un DSI (Bordeaux)

Le tableau de bord de la DSI doit permettre de répondre aux objectifs managériaux
(ITSM, démarche qualité) communicationnels (reporting vers la hiérarchie
académique) et marketing (communication sur l'activité). Il doit certainement
s'inscrire dans une logique visant la région académique.
Les axes d'observation et de progression semblent correspondre aux préoccupations
fondamentales d'un centre de service : disponibilité, performance et satisfaction
Les secteurs à observer pour lesquels les mesures d'amélioration sont à attendre
correspondent aux 5 secteurs d'activité majeurs de la DSI académique :
opérations/production, réalisation, support, sécurité et relation partenaires
Le tableau de bord n'est pas un rapport d'activité, il intègre les indicateurs destinés à
informer voire alerter le management IT. Il a vocation à argumenter le rapport
d'activité mais sa fonction première est de permettre la prise de décision. Sa
structure est granulaire, avec des niveaux de pertinence des indicateurs qui
s'incorporent au regard des niveaux de préoccupation des acteurs (forme
hiérarchique vs matricielle)
Le tableau de bord doit permettre le benchmarking interacadémique. Pour cela, sa
structure doit être partagée. Les indicateurs font l'objet d'une agrégation sous forme
d'un indice synthétique
La mise en place du tableau de bord ne peut pas se concevoir intrinsèquement, elle
est fortement liée à la démarche d'ITSM et donc en totale adhérence avec le
catalogue de service et les accords de niveaux de service qui constituent le
référentiel pour la production des indicateurs. La démarche mérite un sponsoring au
niveau du STSI pour réellement prendre corps dans les académies, sous la forme d'un
kit comprenant des éléments de communication en direction des secrétaires
généraux d'académie.

Exemple 2. Point de vue de correspondant qualité (Nantes)
En tant que membre du groupe, et n'ayant pas d'expérience dans la production d'un
tableau de bord pour le DSI, je peux simplement faire état des échanges que j'ai eu
avec mon directeur des SI qui commente la contribution de Patrick Benazet.
Si globalement les préoccupations sont partagées, certains points de détail sont à
noter :
 Les secteurs à observer mentionnent les "relations avec les partenaires" ce qui
ne semble pas être du domaine du pilotage par des indicateurs évoluant sur un
rythme rapide (quotidien, hebdomadaire, mensuel, ...). Ce secteur serait plutôt à
rapprocher d'indicateurs RH ou budgétaire à suivre sur un rythme annuel.
 Le sponsoring du STSI : si la démarche est académique, il n'est pas besoin d'avoir
un sponsor au niveau supérieur, sauf éventuellement pour fédérer des initiatives
(groupes de travail, mutualisation par exemple).
La possibilité de benchmarking interacadémique, qui existe déjà dans d'autres
domaines, n'est pas choquante en soi car elle permet de valoriser le travail accompli.
En revanche sa mise en œuvre risque de retarder la sortie d'un tableau de bord
académique.

3.2. Quelques exemples
L’académie de Versailles a fait remonter quelques exemples d’indicateurs.
Exemple 3. Disponibilité des environnements

Cf. document en annexe p21.
Exemple 4. Taux de rendement synthétique

Exemple 5. Qualité du code

3.3. Indicateurs candidats pour la composition d’un
tableau de bord DSI
Tableau 1. Indicateurs candidats pour la composition d'un tableau de bord
Préconisation 1. Indicateurs types catégorie sécurité

Indicateur Commentaire
Nombre d’audits de sécurité
Nombre d’incidents de sécurité
remontés
Taux de conformité à la PSSI
Indicateur lié à la cartographie des
risques
Préconisation 2. Indicateurs types catégorie opération/production

En regard du calendrier métier
Disponibilité des applications
Implique aussi les services

Disponibilité de la messagerie
associés :intranet au sens large
A fusionner avec le taux d’occupation de
Disponibilité de l’accès internet
la bande passante
A répartir entre typologie de machines :
Obsolescence du parc
informatique serveur, postes bureautiques, postes de
développement, etc.
Préconisation 3. Indicateurs types catégorie projet

Au nveau du traitement des dossiers de
Pourcentage de demandes en
attente, en pré-étude, à l’étude, demandes
satisfaites A rapprocher du pourcentage d’applications
locales mutualisées
Respect du calendrier de mise
en production
A rapprocher du suivi des coûts :
Avancement
consommations, ressources, acteurs, etc.
En tant qu’indicateur de qualité
Nombre d’incidents dans le 1er
mois
Préconisation 4. Indicateurs types catégorie support

A répartir entre
Délais de temps de réponse
 Délai de prise en compte
 Délai de résolution
 Délai moyen
Charge à chaque académie de préciser si
la mesure est moyennée, minimale ou
maximale.
Taux de résolution N1
En cas de plate-forme de téléphonie
Taux d’appels satisfaits

Plusieurs dimensions à prendre en
Répartition de l’effort
compte :
 Par application
 Par profil appelant
 Dans le temps
Plusieurs dimensions à prendre en
Satisfaction
compte :
 Par application
 Par profil appelant
 Dans le temps
Préconisation 5. Indicateurs types catégorie transverse (RH/budget)
Applicable à tous les services inscrits au
Respect des SLA
catalogue
Applicable à tous les services inscrits au
Incidents majeurs
catalogue, exemple problème de paie
Avec en perspective la décision sur
Taux de consommation (ou de
sollicitation) des services du certains services peu ou pas sollicités
catalogue
Taux global ou analysé par famille de
Taux de satisfaction des services
du catalogue service
Indicateur universel
Répartition des budgets et des
coûts par domaine
Indicateur universel
Répartition des effectifs par
domaine
A rapprocher avec la cartographie des
Etat des ressources (âge,
évolution, répartition) ressources
Indicateur nécessaire pour
Nombre de jours de formation par
agent communication hors de la DSI
Effort (ou charge) de maintien du

parc applicatif
Turn-over
Nombre de demandes de
mutation
Avec ventilation selon besoin : thème,
Etat des dépenses
projets, domaines, etc.
Cf. ITIL
Maturité du processus
A définir
Indicateur représentatif du
fonctionnement de chaque service
3.4. Conseils et bonnes pratiques
Préconisation 6. Avoir un sponsoring fort

Le sponsoring est un classique des projets de transformation. Le sponsoring permet
d’allouer de la ressource, d’apporter le support et l’appui de la hiérarchie lorsque
cela s’avère utile ou nécessaire. Tout cela contribue à assurer la pérennité du projet
Préconisation 7. Définir précisément l’objectif

Le point de départ est l’ensemble des activités de la DSI qui doit se retrouver dans
son catalogue de services. Cela donne des éléments structurants pour la définition
des indicateurs.
Si ce n’est pas le cas, alors il faut se fixer des objectifs en termes de périmètre
impacté, à défaut, clarifier la demande du DSI. Un arbitrage sur les indicateurs les
plus pertinents peut donner des éléments de jalonnement du projet.
Préconisation 8. Voir grand mais faire simple

La meilleure tactique est d’itérer sur quelques indicateurs et ensuite augmenter le
périmètre.
On évitera le piège qui consiste à suivre une démarche en phases successives : bien
définir le cahier des charges, puis bien spécifier les indicateurs, puis bien faire la
conception, ensuite bien définir les procédures de collecte puis fabriquer le tableau
de bord.
Ces phases doivent être suivies mais par cycles itératifs successifs. Cela permet au
projet de valider sa propre démarche complètement à chaque itération et à prendre
en compte les remarques des utilisateurs (c’est-à-dire ici le DSI !!) à chaque itération.
En outre, cela permet d’avoir un tableau de bord certes incomplet mais utilisable.
Préconisation 9. S’assurer d’avoir les moyens de mesurer

La collecte des données peut s’avérer fastidieuse (cas des données nombreuses ou
saisies à la main) ou impossible. Il est important de définir les procédures de collecte

et stockage. En outre, il faut s’assurer de la qualité des données avant de construire
l’indicateur afin d’éviter un biais dans son interprétation et en conséquence une
erreur de décision.
Préconisation 10. Se dire qu’après l’analyse, on doit mettre un plan d’action

Le tableau de bord sert à orienter et guider les décisions du DSI. En soi, l’indicateur
donne une information mais la qualification de cette information est du ressort de
l’analyste. D’une façon générale, la procédure d’analyse doit être documentée afin
d’éviter les biais de décision (l’interprétation de l’indicateur ne doit pas être fonction
de l’analyste).
Une bonne pratique consiste à documenter l’analyse et l’explication de la décision.
Au minimum, si l’on doit revenir sur les éléments qui ont mené à la décision, cette
information sera alors précieuse.
Préconisation 11. Faire une revue du livrable « tableau de bord »

La revue permet d’améliorer la qualité du produit. Ici, la revue peut être menée en
interne ou avec d’autres académies. D’autres académies ayant mis en place un
tableau de bord, autant profiter de leur expérience.
Préconisation 12. Intégrer le plan de communication

Le tableau de bord est composé d’indicateurs potentiellement utilisables pour une
communication. Il faut intégrer le plan de communication dans la conception du
tableau de bord. Une bonne pratique peut consister à identifier des indicateurs
destinés à être communiqués et à leur associer d’autres indicateurs permettant
d’affiner ou de compléter l’analyse afin de servir la communication.
Préconisation 13. Outiller et tester l’outillage

L’analyse des indicateurs suppose que les données soient collectées et de bonne
qualité. Dans certains cas, le contrôle peut être fastidieux en raison du nombre de
données collectées. D’une façon générale, on a intérêt à automatiser la chaine de
collecte de données.

Attention toutefois à bien se concentrer sur les données pertinentes. Par exemple,
certaines données sont à temporalité lente (cas des paramètres liées aux ressources
humaines) et dans ce cas, l’automatisation apporte peu de bénéfice. En revanche,
les données issues des demandes liées au catalogue de service gagneront à être
automatisées.
Le test de la chaine : outils participant à la chaine, procédures, compétences, doit
figurer dans les activités du projet. Un sous-indicateur de qualité des données sera le
bienvenu.

4. Annexes
4.1. Indicateur de disponibilité (Versailles)

Indicateur de Disponibilité n°2
« Disponibilité des environnements »
Mesurer le taux de disponibilité des environnements, obtenu en divisant la
Description de durée durant laquelle l’environnement est opérationnel par la durée totale
l’indicateur durant laquelle on a exprimé un souhait qu'il le soit. (hors plage de
maintenance convenue au préalable)
Unité de mesure Pourcentage
Objectif principal : Atteindre 100% de taux de disponibilité des environnements.
Objectifs secondaires :
- Améliorer le MTBF (Mean Time Between Failures)  Indice de fiabilité
MTBF = Somme des temps de bon fonctionnement / nombre de
défaillance
MTBF désigne le temps moyen entre défaillances consécutives.
- Diminuer le MTTR(Mean Time To Repair)  Indice de maintenabilité
MTTR = Temps d’arrêt Total / nombres d’arrêts
MTTR Temps moyen pour réparer.
Objectif à
atteindre
Par Christophe Dang Ngoc Chan (Cdang (talk)) — Travail personnel, CC0,
https://commons.wikimedia.org/w/index.php?curid=30629070
2 préalables :
Collecte des - définir le périmètre : les types d’environnement sur lesquels la mesure est à
données porter Dév, Recette, Preprod, Prod…
nécessaires et - définir les ressources sur ces environnements : base de données, serveur
construction de d’application (Tomcat, jboss, websphere…), frontal (Apache)…
- convenir des plages de disponibilité des ressources (hors plage de
la mesure
maintenance convenue) pour chaque environnement

Indicateur de Disponibilité n°2
« Disponibilité des environnements »
NB : l’environnement de travail du développement est à inclure (postes de
travail des développeurs mais surtout forges du Dev (PIC, serveur de gestion
de configuration SVN-GIT et les outils de gestion de projet et travaux du type
Redmine etc.).
Il est conseillé de définir également des points de pondération par type
d’environnement.
Etape n°1 : Identifier les données à collecter.
- Identifier les ressources par environnement
- Collecter les temps de bon fonctionnement des ressources
- Collecter les temps d’arrêt des ressources (MTTR)
Ces données sont généralement extraites des outils de supervision
d’infrastructure (Nagios par exemple) qui collecte de manière automatique ces
informations.
Etape n° 2 : Réaliser les mesures.
Taux total des arrêts = durée totale des arrêts de chaque ressource/
durée totale apportée par chaque ressource sur la plage de disponibilité
convenue
Taux de disponibilité = 100 – taux total d’arrêt de fonctionnement
Etape n°3 : Publier l’indicateur.
Représentation
graphique
Périodicité de Mensuelle
mesure
Mode de
validation de la Mesure validée par le chargé de mesure en concertation avec les demandeurs.
mesure
Voir si existe un Module d’Analyse BAM (Business Activity Monitoring) en lien
Chargé de avec les outils de supervision pour une production et une publication
collecte / automatique de cet indicateur ?
mesure https://labs.nagios.com/tag/business-activity-monitoring/

4.2. Taux de rendement synthétique du Service Desk
(Versailles)
Taux de Rendement Synthétique (TRS)
du Service Desk
Description de
l’indicateur
Unité de mesure taux
Calcul de la disponibilité : (taux des appels décrochés + taux de disponibilité

des infrastructures de l’outil de Help Desk + taux de disponibilité de
l’infrastructure de téléphonie) / 3
Performance = Taux de traitement des demandes dans les délais (respect des
Calcul de la
SLA)
mesure
Qualité = Taux d’incidents résolus en niveau 1
TRS = disponibilité * performance * qualité
Observer la tendance de la courbe du TRS par rapport aux mois précédents,

Identifier les gaspillages sur les courbes descendantes de chaque critère
Qualité, Disponibilité, Performance
Mettre en place les axes de progression.
Objectif
Cause des gaspillages possibles : ressources RH, Planning de prise d’appel,
infrastructure, gestion de la connaissance, formation
Comparer la perception des utilisateurs (enquête de satisfaction à froid et à

chaud à la clôture du ticket avec le TRS

Taux de Rendement Synthétique (TRS)
du Service Desk
Etape n°1 : automatisation mensuelle des indicateurs de téléphonie sur le taux

des appels aboutis sur la base des appels reçus, des appels aboutis en 1er
instance, des appels pris en mode dégradé (appels présentés plusieurs fois
Collecte des
sur les files d’attentes)
données
nécessaires et
Etape n°2 : analytics mensuel sur la disponibilité de l’infrastructure EasyVista
construction de
la mesure
Etape n°3 : semi automatisation du calcul du TRS depuis un fichier Excel avec
récupération manuelle des étapes 1 et 2 et récupération automatique du taux
de tickets résolus en niveau
Représentation
graphique
mesure
Mise à Mise en ligne sur une APPS du portail EasyVista accès restreint :
disposition de - Direction
l’indicateur - Delivery Manager
Chargé de
collecte / La responsable du Service Relation clients, relation partenaires de la DSI
mesure

4.3. Qualité du code (Versailles)
Indicateur de Qualité n°1
« Qualité du code »
Description de Evaluer la qualité du code pour mesurer la dette technique (le non-respect de la
l’indicateur conception induit des coûts supplémentaires dans le futur)
Unité de mesure Pourcentage
Objectif à
100% - dette technique cible
atteindre
Etape 1 : Définir les métriques de mesure du respect des exigences non
fonctionnelles liées au codage (tests, documentation…)
Celles définies dans la méthode SQALE et mesurées avec des outils d’analyse
de code comme SONARQUBE (ex SONAR) sont :
● Maintenabilité : documentation et lisibilité du code, présence d’ambigüités ou d’éléments
redondants, etc.
● Fiabilité : respect de règles et conventions garantissant un certain niveau de fiabilité du
code et une diminution du risque d’erreurs
● Testabilité : taux de couverture des lignes de codes par les tests unitaires, et respect de
conventions pour la réalisation de tests dans de bonnes conditions
● Changeabilité : capacité de l’application et de ses composants à évoluer, en particulier au
niveau de son architecture
Collecte des ● Sécurité : prise en compte de certaines règles limitant les failles de sécurité potentielles
(validation de formulaires et de sessions, gestion des erreurs, prévention contre certains
données
types d’attaques, etc.)
nécessaires et ● Réutilisabilité : capacité des composants de l’application à être réutilisables
construction de ● Portabilité : capacité de l’application à être portée d’une plateforme (logicielle ou matérielle)
la mesure à une autre
● Utilisabilité : respect des normes d’accessibilité et d’ergonomie
● Efficacité »: règles limitant les problèmes de performance de l’application (temps
processeur, consommation mémoire, utilisation du réseau, etc.).
Source : https://fr.wikipedia.org/wiki/SQALE
Etape 2 : Agréger les valeurs normalisées en indices pour calculer le ratio de la
dette technique. (Dans la méthode SQALE l'agrégation des indices se fait par
addition). Le ratio de dette technique se calcule en divisant le nombre de jours de
dette technique par le coût de développement. Ce dernier est une estimation,
proportionnelle au nombre de lignes de code de l’application analysée. (Cf.
http://docs.sonarqube.org/display/SONAR/Technical+Debt)
Etape 3 : Publier le résultat.
Représentation
graphique

http://nemo.sonarqube.org/dashboard?id=org.apache%3Atomcat&did=19
mesure
Mode de
validation de la Mesure validée par le chargé de mesure en concertation avec les demandeurs
mesure
Chargé de
collecte / Responsable de la plate-forme d’intégration continue ou chef de projet MOE dév
mesure
---fin du document ---
Ministère de l’éducation nationale et de l’enseignement supérieur et de la recherche

Direction du numérique pour l’éducation
Services des technologies et des systèmes d’information
Bureau de la qualité, des méthodes et des outils – DNE B2-3
qualite@education.gouv.fr

Guide Pratique Qualité Tableau de Bord SI (Diffusé)

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Guide Pratique Qualité Tableau de Bord SI (Diffusé)

Transféré par

Droits d'auteur :

Formats disponibles

Guide pratique qualité

Tableau de Bord DSI

Guide pratique issu de retours d’expériences

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 1 sur 26

Le calendrier du groupe est :

Le groupe de travail a réuni :

• Patrick Benazet, DSI de l’académie de Bordeaux

Les préconisations et recommandations décrites dans ce document sont une

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 2 sur 26

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 3 sur 26

TABLE DES PRECONISATIONS

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 4 sur 26

TABLE DES EXEMPLES

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 5 sur 26

1.1. Convention de notation

Bonne pratique 1 : Bonne pratique issue de référence méthodologique

Préconisation 1 : Préconisation issue du retour d’expérience des académies

Exemple 1 : Académie - Exemple de mise en œuvre dans une académie

1.2. Structuration du document

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 6 sur 26

Figure 1. Le processus opérationnel est gouverné par un processus de pilotage

Figure 2. L’indicateur facilite la prise de décision

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 7 sur 26

Figure 4. Collecte et stockage des données

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 8 sur 26

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 9 sur 26

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 10 sur 26

2.6. Composition du tableau de bord

Définition d’un indicateur

Caractéristiques des indicateurs

Qualités d’un indicateur

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 11 sur 26

Bonne pratique 2. Procédure d’analyse

2.7. Risques en cas d’absence de tableau de bord

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 12 sur 26

3.1. Positionnement du tableau de bord

Exemple 1. Point de vue d’un DSI (Bordeaux)

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 13 sur 26

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 14 sur 26

Exemple 3. Disponibilité des environnements

Exemple 4. Taux de rendement synthétique

Exemple 5. Qualité du code

Préconisation 1. Indicateurs types catégorie sécurité

Préconisation 2. Indicateurs types catégorie opération/production

Implique aussi les services

Préconisation 3. Indicateurs types catégorie projet

Préconisation 4. Indicateurs types catégorie support

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 16 sur 26

Préconisation 5. Indicateurs types catégorie transverse (RH/budget)

Effort (ou charge) de maintien du

Préconisation 6. Avoir un sponsoring fort

Préconisation 7. Définir précisément l’objectif

Préconisation 8. Voir grand mais faire simple

Préconisation 9. S’assurer d’avoir les moyens de mesurer

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 18 sur 26

Préconisation 10. Se dire qu’après l’analyse, on doit mettre un plan d’action

Préconisation 11. Faire une revue du livrable « tableau de bord »

Préconisation 12. Intégrer le plan de communication

Préconisation 13. Outiller et tester l’outillage

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 19 sur 26

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 20 sur 26

4.1. Indicateur de disponibilité (Versailles)

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 21 sur 26

Guide Pratique Qualité Tableau de bord SI (diffusé).docx Page 22 sur 26