Vous êtes sur la page 1sur 28

Agence pour les Technologies de l'Information

et de la Communication dans l'Administration

GUIDE MÉTHODOLOGIQUE POUR LES MAÎTRES


D'OUVRAGE DE SERVICES EN LIGNE

Thème "QUALITE DE SERVICE"

Edition du 19/04/2002
ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
SOMMAIRE

INTRODUCTION.............................................................................................................................3
Q1 : PRINCIPES D'ASSURANCE QUALITÉ.................................................................................4
RAPPEL .....................................................................................................................................................4
L'ASSURANCE QUALITÉ...................................................................................................................................4
LES OBJECTIFS À ATTEINDRE...........................................................................................................................5
PRINCIPALES RÈGLES À RESPECTER..................................................................................................................5
CE QU'IL EST DÉCONSEILLÉ DE FAIRE …............................................................................................................6
Q2 : DISPOSITIONS D'ASSURANCE QUALITÉ DU PRODUIT...................................................7
LE PROCESSUS D'EXPRESSION DU BESOIN :.........................................................................................................7
LES PROCESSUS DE CONCEPTION (CONCEPTION PRÉLIMINAIRE ET CONCEPTION DÉTAILLÉE ) :.............................................8
LE PROCESSUS DE RÉALISATION :.....................................................................................................................9
Q3 : DISPOSITIONS D'ASSURANCE QUALITÉ DU PROJET...................................................10
L'APPLICATION DE LA RÈGLE DU TRIANGLE AU MANAGEMENT DE PROJET....................................................................10
LES EXIGENCES POUR LE MANAGEMENT D'UN PROJET...........................................................................................11
Q4 : LES ASPECTS CONTRACTUELS DE LA QUALITÉ..........................................................15
RAPPELS DE QUELQUES PRINCIPES DE BASE ......................................................................................................15

LE CONTENU TYPIQUE D'UN CONTRAT :.............................................................................................................16


Q5 : SATISFACTION DU CLIENT ET QUALITÉ DE SERVICE..................................................17
Q6 : LA MESURE DE LA SATISFACTION DU CLIENT..............................................................18
POURQUOI MESURER LA SATISFACTION DU CLIENT ?............................................................................................18
COMMENT MESURER LA SATISFACTION DU CLIENT ?.............................................................................................18
Q7 : LA MESURE DE LA QUALITÉ DE SERVICE......................................................................21
POURQUOI MESURER LA QUALITÉ DE SERVICE ?.................................................................................................21
COMMENT MESURER LA QUALITÉ DE SERVICE ?..................................................................................................21
CARACTÉRISTIQUES GÉNÉRALES D'UN INDICATEUR :.............................................................................................21
LES DIFFÉRENTS TYPES D'INDICATEURS............................................................................................................22
LA DÉFINITION D'UN INDICATEUR :...................................................................................................................24
LA PUBLICATION D'UN INDICATEUR : LES TABLEAUX DE BORD..................................................................................25
Q8 : EXEMPLES D'INDICATEURS.............................................................................................26
EXEMPLES D'INDICATEURS FONCTIONNELS .........................................................................................................26

EXEMPLES D'INDICATEURS TECHNIQUES ............................................................................................................27

EXEMPLES D'INDICATEURS ÉCONOMIQUES ..........................................................................................................28

Sommaire page 2
ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Introduction

Déjà, dès 1984, J.M. JURAN, le célèbre qualiticien américain écrivait :


" … de tous les concepts de qualité, aucun n'est d'une aussi grande portée et aussi vital que
l'aptitude à l'emploi. L'aptitude à l'emploi est le concept populairement appelé "qualité", c'est
le concept universel, applicable à tous les produits et services"
Cette vision s'est finalement traduite, une dizaine d'années plus tard par une définition
"officielle" de la qualité donnée par l'ISO : "ensemble des caractéristiques d'une entité qui lui
confèrent l'aptitude à satisfaire des besoins exprimés et implicites" …

L'obtention de la qualité implique la mise en place d'une chaîne organisée de processus et


d'activités plaçant cette qualité tout au long du cycle de vie de cette "entité" …
Cette chaîne se retrouve dans chacune des phases d'un projet :
• l'expression du besoin
Le besoin d'un utilisateur est intrinsèque : lui seul le perçoit. Son expression et sa
formalisation doivent être fidèles et exhaustives.
• la conception
Une fois le besoin exprimé, il doit être exhaustivement pris en compte dans la solution
technique qui sera choisie pour le réaliser.
• la réalisation
Les moyens techniques, organisationnels et humains mis en œuvre par le fournisseur
doivent garantir la conformité de la réalisation par rapport à la conception.
• l'utilisation
Il faut non seulement que les performances offertes satisfassent le besoin des utilisateurs
lors de la mise en service, mais que celles-ci puissent durer dans le temps. S'ajoute à cet
aspect la nécessité de faire évoluer les fonctionnalités offertes pour s'adapter aux
évolutions pouvant survenir dans le contexte.

Toutes ces considérations montrent que l'obtention et le maintien de la qualité passent par la
mise en œuvre de dispositions spécifiques.
Ces dispositions portent généralement le nom d'assurance qualité.
Dans certaines entreprises ou organismes, la prise en compte de la qualité est effectuée de
manière encore plus globale au travers du management total de la qualité.

Le guide méthodologique propose deux approches complémentaires de la qualité :


• l'assurance qualité visant à s'assurer que le service en ligne répond bien aux attentes
qui sont formulées à son égard
• la satisfaction du client, ou la qualité de service, qui visent à mesurer et à maintenir
cette satisfaction dans le temps

Enfin, le guide méthodologique propose quelques exemples d'indicateurs pouvant être mis en
œuvre pour supporter ces approches.

Introduction page 3
ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q1 : Principes d'assurance qualité

Rappel

La notion de qualité recouvre plusieurs notions quand on la situe dans les différentes étapes
d'un projet de développement d'un service en ligne.
• avant le lancement du projet :
la qualité souhaitée, représentée par les besoins explicites et implicites des clients
• lors de l'expression du besoin :
la qualité exprimée, représentée par ce qui a été capté des besoins des clients
• lors de la conception préliminaire :
la qualité définie, résultant de ce qui a été retenu dans le cadre du projet
• lors de la conception détaillée :
la qualité conçue, tenant compte des contraintes apparues lors de la conception
• lors de la réalisation :
la qualité fournie, prenant en compte des contraintes technologiques rencontrées
• lors de la mise en service et de l'exploitation :
la qualité perçue par le client et qu'il mettra en regard de la qualité souhaitée
en espérant que la qualité souhaitée n'ait pas changé pendant la durée du projet !

Ces notions mettent également en évidence la notion de non-qualité, représentée par le


cumul de tous les écarts qui pourraient se creuser tout au long du projet.

L'objectif de ces précisions n'est pas de décourager le maître d'ouvrage, mais de lui
montrer que des solutions existent pour réduire ces écarts !
L'assurance qualité

L'assurance qualité a deux objectifs :


• Permettre la satisfaction des exigences des clients,
• Apporter la garantie que les besoins des clients sont satisfaits.

Elle repose sur les principes suivants :


• la définition des besoins et des objectifs à atteindre,
• la mise en œuvre des actions et moyens appropriés permettant :
- de prévoir comment faire pour satisfaire les besoins et atteindre les objectifs
- d’agir conformément à ce qui a été prévu
- de fournir la preuve que les actions planifiées ont été respectées
- d'évaluer régulièrement l’efficacité des actions et moyens mis en œuvre

Q1 : Principes d'assurance qualité page 4


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Les objectifs à atteindre

Dans le cadre du développement d'un service en ligne, le maître d'ouvrage se trouve placé
devant deux objectifs de nature différente :
• garantir l'adéquation du résultat aux besoins exprimés
A ce titre il doit organiser la convergence des travaux consistant à passer successivement
d'une expression fonctionnelle du besoin à une définition technique de la solution puis à la
réalisation et à la vérification de la conformité du résultat obtenu.
Les dispositions à prendre relèvent de ce qui est appelé l'assurance qualité du produit
• garantir le bon aboutissement du projet
Pour ce faire, il faut définir un contrôle efficace du déroulement du projet, via des
procédures d'organisation et de maîtrise du flux des informations échangées au cours du
projet, au sein de la maîtrise d'ouvrage et avec la maîtrise d'œuvre.
Les dispositions à prendre relèvent de ce qui est appelé l'assurance qualité du projet
La mise en exploitation du service en ligne ne constitue pas le terme des travaux en matière
d'assurance de la qualité.
Elle matérialise, dans la plupart des cas, la fin des relations avec la maîtrise d'œuvre.
Par contre, elle marque le début des relations avec l'utilisateur, celui dont il est nécessaire de
satisfaire les besoins.
Des dispositions doivent dont être prises pour mesurer cette satisfaction.
Celle-ci se mesure principalement au travers de la qualité de service.
Principales règles à respecter

Dans un projet de service en ligne :


• L'obtention de la qualité nécessite que des tâches spécifiques soient définies et
systématiquement menées à leur terme sous peine de risque de dérive.
• Il est fondamental de bien définir les rôles et les responsabilités des différents acteurs
en présence et de respecter les obligations qui s'y attachent,
Ces principes résultent de ce qui est parfois appelé la "règle du triangle".
Sa représentation graphique est la suivante :

OBJECTIF RESULTAT

VERIFICATION

La règle du triangle

Sa signification pratique est la suivante :


• un objectif est défini comme point de départ
• un résultat est obtenu suite à des travaux visant à atteindre l’objectif
• la vérification de la conformité est effectuée par rapport aux objectifs
Le sens des flèches indique le cheminement logique. En particulier, il signifie que les arguments permettant de
vérifier la conformité doivent être fournis avec le résultat.

Q1 : Principes d'assurance qualité page 5


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Même si cette règle peut paraître simpliste, elle recouvre les points fondamentaux suivants :
• pour toute action entreprise, un objectif doit être défini
sans objectif, comment définir ce qui doit être fait ? …
• l'action doit mener à un résultat pouvant au moins être constaté, sinon mesuré
qu'est-ce qu'une action sans résultat visible ? …
• la conformité de ce résultat à l'objectif défini doit être atteinte
sinon, à quoi aura servi l'action ? …
• l'assurance de cette conformité doit être argumentée
le demandeur doit pouvoir juger du résultat et décider en connaissance de cause ? …
• les arguments doivent être fournis par l'émetteur de la réponse
le demandeur n'est pas toujours le mieux placé pour comprendre le travail du fournisseur …
• la décision de conformité appartient toujours au demandeur
ceci est d'autant plus vrai si l'action est menée dans un cadre contractuel …

Le mécanisme de production d'arguments pour permettre de juger de la conformité du résultat


par rapport à l'objectif porte le nom générique de justification.

Cette notion de "justification" doit être soigneusement expliquée à tous les acteurs d'un projet.
Elle est parfois comprise à tort comme la demande de "se justifier", traduisant un mécanisme de méfiance, alors
qu'elle doit participer, bien au contraire, à la construction de relations de confiance, basées sur une bonne
compréhension mutuelle.

Ce qu'il est déconseillé de faire …

Une application rapide et sommaire de cette règle du triangle au développement d'un service
en ligne conduirait à la formuler de la manière suivante :

Besoin perçu Service en Ligne


par l’utilisateur réalisé

Heure de vérité...

Une application dangereuse de la règle du triangle …

Un tel raisonnement conduit à entreprendre un projet dont on perd totalement le contrôle et


dont on constate en général l'inadéquation du résultat obtenu en fin de projet.
Pour éviter de tels dysfonctionnements, il suffit de se souvenir du second principe de la
méthode de Descartes :
"Diviser chacune des difficultés que j'examinerais en autant de parcelles qu'il se
pourrait, et qu'il serait requis pour les mieux résoudre"

Les chapitres suivants montrent l'application de ce principe et les différentes manières de


mettre cette règle du triangle en œuvre …

Q1 : Principes d'assurance qualité page 6


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q2 : Dispositions d'assurance qualité du produit

Le passage de l'expression du besoin au service en ligne opérationnel nécessite de mettre en


œuvre les processus suivants :
Le processus d'expression du besoin :

Données d'entrée : les besoins perçus auprès des utilisateurs


Données de sortie : les besoins exprimés sous forme fonctionnelle dans le cahier des charges
fonctionnel (CdCF)
La démarche permettant d'élaborer le CdCF est décrite dans le thème "Analyse de la valeur" du guide.

Processus d'assurance qualité à mettre en œuvre :


La règle du triangle se formule de la manière suivante :

Besoins Besoins
perçus exprimés

Justification
des exigences

La règle du triangle appliquée à l'expression du besoin

Pour pouvoir vérifier que les besoins exprimés sont bien le reflet des besoins perçus, il est
nécessaire de rechercher une justification des exigences formulées dans le CdCF.
Cette justification consiste à consigner, pour chaque exigence fonctionnelle du CdCF, les
informations suivantes :
- les hypothèses prises en compte pour formuler l'exigence
- les critères de choix retenus et le pourquoi de ceux-ci
- la référence des études menées ayant permis de fonder ces choix
Ce travail permet de s'assurer de l'aspect "juste nécessaire" des exigences exprimées.
Il permet de mémoriser les raisonnements tenus ayant conduit aux fonctions identifiées et aux
niveaux de performance choisis.
Il doit être mené en parallèle avec l'expression du besoin, de manière à permettre une
mémorisation "instantanée" des informations sans risque d'oubli ou de recherche a posteriori.

Responsabilités :
Comme la démarche d'expression du besoin, la justification des exigences qui en découlent
sont de la responsabilité de la maîtrise d'ouvrage.

Q2 : Dispositions d'assurance qualité du produit page 7


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Les processus de conception (conception préliminaire et conception détaillée) :

Données d'entrée : les besoins exprimés sous forme fonctionnelle dans le cahier des charges
fonctionnel (CdCF)
Données de sortie : le service en ligne défini sous forme d'une spécification technique du
besoin (conception préliminaire), puis d'un dossier de conception
(conception détaillée) représentant le service en ligne qui va être réalisé.
La démarche permettant d'élaborer la STB est décrite dans le thème "analyse de la valeur" du guide.

Processus d'assurance qualité à mettre en œuvre :


La règle du triangle se formule de la manière suivante :

Besoins Solution
exprimés définie

Justification
de la définition

La règle du triangle appliquée à la conception

Pour pouvoir vérifier que la solution spécifiée permettra de répondre aux exigences du cahier
des charges fonctionnel, il est nécessaire de fournir une justification de la définition du
service en ligne décrit dans la spécification technique de besoin.
Cette justification consiste à consigner, pour chaque exigence de la STB, les informations
suivantes :
- la justification des choix techniques effectués, et de ceux non retenus
- pour chaque exigence exprimée, l'ensemble des éléments de justification permettant de
garantir l'adéquation de la solution au besoin exprimé (maquettages réalisés, référence à
des développements similaires vérifiables, calculs, …)
- une synthèse globale des justifications apportées précisant :
- les exigences non respectées
- les justifications restant à apporter
- les risques à surveiller
Ce travail doit être mené en parallèle avec les travaux de conception préliminaire et détaillée,
de manière à permettre une mémorisation "instantanée" des informations sans risque d'oubli
ou de recherche a posteriori.

Responsabilités :
La justification de la définition doit être menée par le maître d'œuvre.
Le maître d'ouvrage s'appuiera sur cette justification pour décider du bien-fondé de la
conception effectuée.

Q2 : Dispositions d'assurance qualité du produit page 8


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Le processus de réalisation :

Données d'entrée : le service en ligne défini au terme de la conception


Données de sortie : le service en ligne réalisé et prêt à être mis en exploitation.
Processus d'assurance qualité à mettre en œuvre :
La règle du triangle se formule de la manière suivante :

Solution Solution
définie réalisée

Vérifications

La règle du triangle appliquée à la réalisation


Pour pouvoir vérifier que le service en ligne réalisé est totalement conforme à la solution qui
avait été définie et qu'il est, en définitive, apte à satisfaire les besoins exprimés, plusieurs
actions doivent être menées :
- la première consiste à vérifier que le service en ligne répond en tous points à ce qui avait
été défini dans la spécification technique de besoin et dans son dossier de conception.
L'étape du projet correspondante est la vérification d'aptitude au bon fonctionnement
(ou "VABF").
Cette VABF s'effectue habituellement en effectuant un certain nombre de tests sur le service en ligne, de
manière à pouvoir vérifier le respect des exigences décrites dans la spécification technique de besoin.
A l'issue de cette VABF, il est décidé de mettre le service en ligne en exploitation. Selon
les cas, cette mise en exploitation peut être faite dans un cadre d'utilisation restreint (notion
d'utilisateurs "pilotes") ou généralisé.
Le choix est généralement motivé par un compromis entre les enjeux du service en ligne et
le niveau estimé de risques résiduels.
- la seconde consiste à vérifier que cette aptitude au bon fonctionnement peut être
considérée comme stable dans le temps, et se maintient dans la variété des cas se
présentant dans la réalité.
L'étape du projet correspondante est la vérification en service régulier (ou "VSR").
Cette VSR consiste habituellement à effectuer une surveillance du fonctionnement du service en ligne rendu
opérationnel de manière restreinte ou généralisée.
A l'issue de cette VSR, le projet du service en ligne est considéré comme terminé.
L'ensemble des opérations à mener pour conduire à terme ces vérifications est décrit dans un
plan de validation, généralement proposé par la maîtrise d'œuvre et validé par la maîtrise
d'ouvrage.
L'attention est attirée sur le fait que le fonctionnement nominal d'un service en ligne peut nécessiter des
fournitures spécifiques ou des prestations à effectuer : les dispositions organisationnelles et techniques pour que
ces prestations puissent être également vérifiées devront être prises en temps et en heure pour pouvoir être
prêtes en même temps que les fournitures attendues de la maîtrise d'œuvre.
Responsabilités :
La responsabilité d'ensemble des vérifications incombe à la maîtrise d'ouvrage, qui
prononcera in fine la décision de réception du service en ligne vis à vis de son maître
d'œuvre. Les essais seront menés, soit par des représentants de la maîtrise d'ouvrage, soit
de la maîtrise d'œuvre, en se conformant aux dispositions du plan de validation.

Q2 : Dispositions d'assurance qualité du produit page 9


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q3 : Dispositions d'assurance qualité du projet

Les dispositions décrites au chapitre précédent pour permettre au maître d'ouvrage d'acquérir
progressivement une confiance justifiée dans le fait que le service en ligne en cours de
développement aura la qualité souhaitée peuvent être transposées au déroulement du
projet qu'il conduit.

En reprenant la définition de la qualité et en l'appliquant à la conduite d'un projet, on peut


formuler la définition suivante :
"Un projet de qualité est celui qui est apte à satisfaire les besoins de son maître
d'ouvrage, c'est à dire d'aboutir au service en ligne attendu dans le respect des délais et
des coûts prévus."
L'application de la règle du triangle au management de projet

La règle du triangle se formule de la manière suivante :

Exigences de Dispositions de
management management

Vérifications
& Audits

La règle du triangle appliquée au management de projet

Les exigences de management sont formulées par le maître d'ouvrage.


Le document formalisant ces exigences se nomme "spécification de management".
Il est élaboré lors de l'appel d'offres ou de la consultation.
Les dispositions de management sont décrites par le maître d'œuvre
Le document décrivant ces dispositions se nomme "plan de management".
Le maître d'œuvre fournit une première description de ces dispositions dans son offre.
Il s'engage ensuite à fournir une description complète de ces dispositions en tant que
fourniture contractuelle.
La conformité de la mise en œuvre des dispositions aux exigences est vérifiée au long du
contrat par deux types d'actions :
• la fourniture périodique de documents représentant le résultat de la mise en œuvre de
ces dispositions (exemple : plannings mis à jour, états documentaires, …),
• des vérifications effectuées par le maître d'ouvrage (ou l'un de ses représentants
mandaté) chez le maître d'œuvre pour s'assurer de la bonne mise en œuvre des
dispositions prévues, pour celles ne donnant pas lieu à fourniture.
En résumé :
• le maître d’ouvrage exprime ses exigences dans la spécification de management
• le maître d'œuvre décrit les dispositions qu’il appliquera dans le plan de management
• la conformité se vérifie par analyse des fournitures prévues ou par audit

Q3 : Dispositions d'assurance qualité du projet page 10


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Les exigences pour le management d'un projet

Dans la mesure où un projet met en présence de nombreux acteurs :


-venant d'horizons divers, aux intérêts non nécessairement convergents,
-amenés à effectuer un grand nombre de tâches,
-allant échanger un grand nombre d'informations,
il apparaît une nécessité de définir un certain nombre de "règles du jeu" destinées à régir les
activités à mener et à codifier les rapports entre les différents acteurs.
Le fascicule de documentation FD X50-410 "Recommandations pour la spécification de
management de programme" donne les indications pour définir et formaliser ces exigences.
Ce document a initialement été établi dans le cadre des projets aéronautiques et spatiaux. Les formulations
employées dans ce document sont par conséquent très spécifiques des projets menés dans ce domaine.
Néanmoins, les principes décrits dans ce document sont applicables à toute relation de type contractuel,
moyennant une adaptation au contexte et à la nature du projet.
La spécification de management est le document qui décrit les exigences exprimées par le
maître d'ouvrage (ou plus généralement le client), vis à vis de maître d'œuvre (ou de son
fournisseur).
Ces exigences peuvent être organisées en quatre volets principaux :
Les exigences d'organisation
Après avoir rappelé les objectifs poursuivis par le projet concerné et les modalités générales
d'application de ces exigences, il s'agit de définir ce que le maître d'ouvrage demande au
maître d'œuvre sur les points suivants :
• l'organisation du projet
Après avoir précisé l'organisation qui sera mise en place pour le projet par le maître
d'ouvrage, il est demandé au maître d'œuvre de définir l'organisation qu'il mettra en place
pour mener à bien les travaux du projet. Il est également très utile de définir les canaux de
communication pour échanger les informations entre ces différents acteurs en précisant
quels acteurs échangeront tel type d'information (contractuelle, administrative, financière,
technique, …).
• l'organisation des travaux
Il est demandé au maître d'œuvre de décrire la manière dont il procèdera pour définir les
travaux à mener et pour les organiser de manière logique et cohérente.
Dés l'offre, une décomposition structurée des travaux peut être demandée pour établir un
devis analytique basé sur le chiffrage des travaux à mener pour justifier les budgets.
• la logique de déroulement du projet
Le découpage temporel du projet en phases sera explicité par le maître d'œuvre. Il
précisera également les modalités proposées pour sanctionner la fin de chaque phase en
vérifiant le bon achèvement des travaux de celle-ci.
• la maîtrise des risques
Le maître d'œuvre décrira les dispositions qu'il mettra en œuvre pour assurer la maîtrise
des risques du projet et la manière dont il en communiquera les résultats à la maîtrise
d'ouvrage.
• la gestion de la configuration
Sous ce terme, on recouvre deux notions : la gestion des modifications effectuées pendant
le déroulement du projet et la connaissance de "l'état technique" du service en ligne
(identification des versions logicielles de l'ensemble de ses constituants).
Le maître d'œuvre devra préciser les dispositions qui seront prises dans le projet.

Q3 : Dispositions d'assurance qualité du projet page 11


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
• la gestion de la documentation
Le maître d'œuvre décrira les dispositions de gestion documentaire qui seront mises en
œuvre durant le projet : identification des documents, circuits de validation, mise à
disposition, archivage, …
Les exigences de maîtrise des performances
Ce volet traite de toutes les dispositions qui devront être mises en œuvre par le maître
d'œuvre pour garantir la maîtrise des performances du service en ligne, c'est à dire du respect
des exigences de la spécification technique de besoin.
Parmi ces dispositions, citons :
-l'intégration des processus liés à l'assurance produit (voir le chapitre précédent)
-la prise en compte des activités liées à la maintenance ultérieure du produit lors de la
conception
-…
Les exigences de maîtrise des coûts et des délais
Le maître d'œuvre devra préciser les dispositions qu'il mettra en œuvre pour assurer la
maîtrise des coûts et des délais du le projet :
-établissement d'une référence initiale
-règles de remise à jour périodique
-nature des informations transmises à la maîtrise d'ouvrage
-analyses menées et tableaux de bord élaborés
-procédure en cas de dérive constatée
Les exigences d'assurance de la qualité
Le maître d'œuvre précisera les dispositions d'assurance de la qualité qui seront mises en
œuvre pour garantir que l'ensemble des mesures décrites pour satisfaire les exigences de
management seront effectivement appliquées.
Il précisera également comment le maître d'ouvrage en sera tenu informé.

L'ensemble de ces exigences peut sembler à premier abord bien contraignant et lourd à
exiger, puis à mettre en œuvre.
Il ne faut jamais perdre de vue que :
-Ce qui n'a pas été exigé d'un fournisseur et traduit en conséquence dans le contrat, ne peut
lui être demandé au titre de celui-ci. Toute "exigence complémentaire" doit en toute rigueur
conduire à un avenant …
-Si le fournisseur est un professionnel du domaine, il met obligatoirement en œuvre des
dispositions pour répondre à de telles exigences. Lui demander d'expliciter ces dispositions
et de les mettre effectivement en œuvre ne doit pas, en toute rigueur, constituer une source
de surcoûts …
-Il est généralement préférable de demander au fournisseur de s'engager à mettre en œuvre
les dispositions qu'il utilise habituellement (sauf à pouvoir démontrer que celles-ci seront
inefficaces pour le projet à mener …), que de lui imposer de mettre en œuvre des
méthodes et des outils spécifiques. Ces demandes sont non seulement génératrices de
surcoûts, mais conduisent en général à augmenter le niveau de risque du projet.

Q3 : Dispositions d'assurance qualité du projet page 12


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Canevas de règles de management de projet
Ce canevas s’applique aussi bien pour élaborer une spécification de management (formulation des exigences)
qu’un plan de management (description des dispositions en réponse aux exigences).

Introduction
Rappel des objectifs du projet
Modalités d’application des exigences (pour la spécification de management) ou d’applicabilité des dispositions
décrites (pour le plan de management)

Volet "Organisation"
• Organisation du projet
Spécification de management:
Description de l'organisation de la maîtrise d'ouvrage
Demande de description de l'organisation de la maîtrise d'œuvre
Canaux de communication entre maîtrise d'ouvrage et maîtrise d'œuvre
Plan de management:
Description de l'organisation de la maîtrise d'œuvre
Canaux de communication entre maîtrise d'ouvrage et maîtrise d'œuvre
• Organisation des travaux
Spécification de management:
Exigences sur l'élaboration et le suivi de l'organigramme des tâches
Plan de management:
Dispositions prévues pour l'élaboration et le suivi de l'organigramme des tâches
• Logique de déroulement du projet
Spécification de management:
Exigences sur le découpage temporel du projet en phases et la conduite de revues de projet
Plan de management:
Dispositions prévues pour le découpage temporel du projet la conduite de revues de projet
• Maîtrise des risques
Spécification de management:
Exigences sur la maîtrise des risques du projet
Plan de management:
Dispositions prévues pour la maîtrise des risques du projet
• Gestion de la configuration
Spécification de management:
Exigences sur la gestion de configuration (gestion des modifications et circuits de décision)
Plan de management:
Dispositions prévues pour la gestion de configuration
• Gestion de la documentation
Spécification de management:
Exigences sur la gestion de la documentation (identification des documents, circuits de validation,
mise à disposition archivage et conservation,…)
Plan de management:
Dispositions prévues pour la gestion de la documentation

Q3 : Dispositions d'assurance qualité du projet page 13


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"

Volet "Maîtrise des performances"


Spécification de management:
Exigences pour la garantie de la maîtrise des performances du service en ligne (intégration des processus
d'assurance produit, prise en compte des activités liées à la maintenance ultérieure du produit lors de la
conception,…)
Plan de management:
Dispositions prévues pour répondre aux exigences exprimées par la maîtrise d'ouvrage

Volet "Maîtrise des coûts et des délais"


Spécification de management:
Exigences pour la garantie de la maîtrise des coûts et des délais:
- établissement d'une référence initiale et modalités de remise à jour périodique
- nature des informations transmises à la maîtrise d'ouvrage (dont tableaux de bord)
- procédure en cas de dérive constatée
Plan de management:
Dispositions prévues pour répondre aux exigences exprimées par la maîtrise d'ouvrage

Volet "Assurance de la qualité"


Spécification de management:
Exigences pour l'assurance qualité permettant de garantir que l'ensemble des mesures décrites pour
satisfaire les exigences de management seront effectivement appliquées.
Plan de management:
Dispositions prévues pour répondre aux exigences d'assurance qualité
Ce dispositions font souvent l'objet d'un plan qualité présenté dans un document séparé.

Q3 : Dispositions d'assurance qualité du projet page 14


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q4 : Les aspects contractuels de la qualité

Rappels de quelques principes de base

Un Contrat constitue une référence légale définissant les relations entre :


• une entité “client” également appelée "donneur d'ordres"
• une entité “fournisseur” également appelée "contractant"

Chacune des entités en relation dans le cadre d'un contrat a vis à vis de l'autre des droits et
devoirs: le Contrat formalise les obligations réciproques des parties contractantes.

Un marché est un contrat passé par la personne publique.


Dans l'absolu, l'article 26 du Code des Marchés Publics impose que les marchés publics
soient passés sur appel d'offres.
Toutefois, dans les cas particuliers applicables, d'autres procédures peuvent s'appliquer:
-mise en concurrence simplifiée
-procédures négociées
-appels d'offres sur performances
-marchés de conception-réalisation
-…

Présentée en termes volontairement schématique, voire caricaturaux, un contrat est un


compromis entre deux “objectifs” :
-l'objectif du client, qui recherche une satisfaction maximale de son besoin au moindre coût
-celui du fournisseur, recherchant une satisfaction minimale de ce besoin au coût maximum

Le contrat doit minimiser les risques de non respect du compromis entre ces 2 objectifs.

La tendance actuelle est de privilégier, voire d'imposer, la passation de contrats à prix


forfaitaires (ou "au forfait"),
Cette règle se justifie par un souci de maîtrise des coûts.
Elle ne doit cependant pas faire perdre de vue que la justification d'un coût forfaitaire passe
généralement par l'analyse détaillée des prestations prévues et des coûts élémentaires qui y
sont associés, dont les charges de travail.
Il n'est donc pas contraire au Code des Marchés Publics de demander aux fournisseurs
potentiels de fournir des devis détaillés faisant apparaître des charges de travail et les coûts
unitaires correspondants.

Q4 : Les aspects contractuels de la qualité page 15


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Le contenu typique d'un contrat :

D'un point de vue fonctionnel, un contrat doit couvrir trois aspects :


La formalisation de l'accord
Elle est représentée par l'acte d'engagement ou l'acte de notification décrivant :
- l'objet du contrat
- l'énumération des pièces constitutives du contrat
- un rappel succinct de la composition de la fourniture et le lotissement éventuel
- le prix et/ou ses modalités de détermination
- l'échéancier des livraisons et les dates-clé
C'est ce document qui recueille les signatures des représentants légaux des 2 parties, le
titulaire signant en premier, avant le client.
Les aspects administratifs
Ils constituent le corps du contrat et décrivent l'ensemble des clauses administratives,
juridiques et financières applicables entre le client et le fournisseur, également appelées
cahier des clauses administratives particulières (CCAP).
Les clauses de même nature sont regroupées par article :
- Objet du contrat, documents contractuels, applicables, …
- Référence des clauses techniques applicables
- Modalités et délais d'exécution des prestations
- Prix (montant, type, modalités de détermination, …)
- Conditions de livraison, réception, suivi, contrôle du coût de revient
- Conditions de paiement (acomptes, solde)
- Conditions de garantie, clauses de caution, …
- Clauses de propriété industrielle et intellectuelle et redevance
- Clauses de confidentialité
- Conditions de résiliation du contrat
- Droits applicable et résolution des litiges
- Prérogatives du client et du fournisseur
- etc ….
Les aspects techniques
Ils sont traités dans les clauses techniques (ou cahier des clauses techniques particulières)
et regroupent 3 types d'exigences :
- les exigences de résultats techniques, représentées par :
- la spécification technique de besoin dans le cas d'un contrat de développement
- un descriptif des travaux à réaliser dans le cas d'un contrat de prestations
- les exigences de moyens techniques
elles représentent les impositions demandées en matière de moyens techniques, de
compétences, de méthodes, …
- les exigences de management de projet
elles sont représentées par les spécifications de management (SM)
.

Q4 : Les aspects contractuels de la qualité page 16


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q5 : Satisfaction du client et qualité de service

La notion de qualité de service naît du rapprochement des définitions des deux termes qui la
composent :

La qualité de service est l'ensemble des caractéristiques du résultat généré par les
activités du service en ligne :
- soit situées à l'interface entre le fournisseur du service et son utilisateur,
- soit exercées en interne au fournisseur du service,
qui lui confèrent l'aptitude à satisfaire des besoins exprimés et implicites.

L'un des points-clé de la qualité de service dans le cas d'un service en ligne est que l'utilisateur lui-même est
intégré au fonctionnement des processus de fonctionnement au même titre que les ressources matérielles,
logicielles et humaines mises en place en interne.

Il importe de bien distinguer :


• la comparaison entre ce qui est souhaité et ce qui est perçu
Pour un service en ligne donné, cette comparaison a un caractère relativement stable dans
le temps : elle donne la mesure de la manière dont le service en ligne offert à répondu à ce
que les utilisateurs en attendaient.
Cette comparaison ne pourra réellement évoluer que :
- si des évolutions fonctionnelles sont apportées au service en ligne,
- si le fonctionnement du service en ligne s'améliore ou se dégrade dans le temps.
Elle présente en outre une certaine caractéristique de rémanence (ou de "persistance"), liée à la notion d'image
de marque communiquée lors des premiers jugements portés.
Cette comparaison est généralement effectuée par une mesure à caractère "instantané", dont on analyse les
résultats.
Dans ce contexte, on parle de mesure de la satisfaction client, généralement effectuée
par des mécanismes d'enquête ou de recueil d'information.

• la comparaison entre ce qui est défini et ce qui est fourni


Cette comparaison est, dans un premier stade, effectuée lors du développement du service
en ligne, au moment de la vérification de la conformité du résultat fourni par le maître
d'œuvre aux exigences définies par le maître d'ouvrage.
Elle doit normalement conduire à un constat de conformité, se traduisant par la réception
du service en ligne et marquant la fin des relations contractuelles entre les deux parties.
Dans le pire des cas, elle permet de consigner les non-conformités constatées entre le prévu et le réalisé : si la
décision est prise d'entériner ces non-conformités par un mécanisme de dérogation.
Cette décision conduira à prendre les performances constatées comme nouvelles valeurs nominales ou "de
référence".
Dans un second stade, cette comparaison permet, à un moment donné, de mesurer l'écart
entre la situation réelle et la valeur nominale.
A ce stade, cette comparaison se traduit par des mesures à caractère répétitif, dont on analyse l'évolution dans
le temps et dont on cherche à déduire les actions à mener en cas de dérive constatée.
C'est dans ce contexte que l'on parle de qualité de service, exprimée par le moyen
d'indicateurs.

Q5 : Satisfaction du client et qualité de service page 17


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q6 : La mesure de la satisfaction du client

Pourquoi mesurer la satisfaction du client ?

Les raisons de cette mesure sont multiples :


• améliorer le degré de satisfaction des utilisateurs
• identifier les écarts entre ce qui est perçu et ce qui est souhaité
• identifier les évolutions des attentes des utilisateurs
• décider des éventuelles évolutions à apporter au service en ligne

Comment mesurer la satisfaction du client ?

Même si la remarque semble être une lapalissade, il est indispensable de rappeler que la
mesure de la satisfaction du client doit être réalisée à partir d'informations directement
fournies par ce dernier !
Plusieurs méthodes peuvent être employées pour effectuer cette mesure. Elles peuvent être
classées en deux catégories principales :

Les méthodes "indépendantes" du service en ligne


Le moyens envisageables reposent tous sur le contact "direct" avec l'utilisateur (ce que l'on
appelle couramment "enquête" ou "sondage"). Le recueil des informations peut se faire de
deux manières :
-un mode dit "administré", le recueil d'information étant effectué, soit en "face à face", soit par
téléphone, par une personne ("enquêteur") questionnant l'utilisateur en suivant un guide
d'entretien,
-un mode dit "auto-administré", dans lequel l'utilisateur reçoit un questionnaire qu'il remplit lui-
même avant de le renvoyer.
Pour mémoire, on mentionnera les possibilités de procéder par "observation" de l'utilisateur, de manière à noter
ses actions, ses réactions et ses comportements vis à vis. Ces méthodes s'avèrent inadaptées à un service en
ligne, en tous cas pour la mesure de la satisfaction du client …
Dans le deux cas, les points-clé de ces méthodes sont les suivants :
-L'obtention des résultats résulte du dépouillement des guides d'entretien ou des
questionnaires. Ce travail est largement facilité si le recueil d'informations est effectué à
partir de questions proposant des réponses-type ("questions fermées") plutôt que des
questions "ouvertes" pour lesquelles les réponses seront sous forme de texte libre qu'il sera
nécessaire d'analyser.
-Dans les informations à recueillir doivent impérativement figurer des informations permettant
de segmenter les réponses, car les attentes peuvent considérablement varier en fonction
des "caractéristiques" de l'utilisateur (catégorie socio-professionnelle, tranche d'âge, …,
mais également : possession d'un micro-ordinateur, usage personnel et/ou professionnel,
types d'accès à internet, …).
-Le "rendement" de ces méthodes est en général relativement faible, car il ne permet pas de
cibler directement l'échantillon enquêté vers les réels utilisateurs du service. Elles
permettent par contre de mesurer des informations telles que la notoriété du service en
ligne (ce qui en ont entendu parler ou non, …).
-Ce rendement s'améliore nettement si les utilisateurs du service en ligne peuvent être
identifiés (par exemple, si le service nécessite une inscription nominative ou un
abonnement) : les contacts peuvent alors être organisés pour se focaliser sur eux.
-Les taux de réponse à un questionnaire "auto-administré" varient de moins de un pour mille
(envois non ciblés) à quelques pour cent (envois ciblés), même si une enveloppe prépayée
est fournie pour le retour du questionnaire.

Q6 : La mesure de la satisfaction du client page 18


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
-Un questionnaire "auto-administré" ne permet pas de tirer la moindre information sur les
raisons qui poussent les personnes à ne pas répondre : il doit être accompagné d'un recueil
en mode "administré" pour apporter un éclairage sur ces raisons, tout en apportant un
complément d'information sur les réponses.
Ces méthodes sont celles qu'il est recommandé de mettre en œuvre lors de la phase
d'expression du besoin pour le développement d'un service en ligne.
Leur mise en œuvre relève de l'organisation du projet de service en ligne.

Les méthodes "intégrées" au service en ligne


Dans la mesure où le service en ligne repose sur un "contact virtuel" avec l'utilisateur, il ouvre
la possibilité de recueillir des informations à l'occasion de celui-ci.
Diverses possibilités peuvent être envisagées, parmi lesquelles :
• le formulaire d'expression :
Un formulaire est proposé à l'utilisateur pour lui permettre d'exprimer toute opinion qu'il
souhaiterait exprimer. Ce formulaire doit comprendre une zone de texte libre lui permettant
d'exposer son avis sous la forme qu'il souhaite.
Ce type de formulaire d'expression est essentiellement utilisé dans deux cas : l'utilisateur souhaite avoir une
réponse à une question à laquelle il ne trouve pas réponse sur le service en ligne ou souhaite exprimer son
mécontentement (et plus rarement sa satisfaction …).
Le recours à ces moyens ne permettra le plus souvent qu'une mesure des causes d'insatisfaction …
Des champs additionnels peuvent être proposés de manière à mieux caractériser le
contexte de cette expression et éventuellement de recueillir des informations sur l'utilisateur
à des fins de segmentation.
Ce formulaire peut également permettre à l'utilisateur de s'identifier, notamment par son
adresse de courrier électronique, lui permettant ainsi d'obtenir une réponse directe.
Dans ce dernier cas, le délai d'envoi d'une réponse, et la pertinence de celle-ci, doivent être considérés comme
des paramètres extrêmement importants et influant directement sur la satisfaction du client.
Les moyens appropriés devront être mis en place pour traiter efficacement ces demandes.
• le questionnaire en ligne :
De temps à autres, il est proposé aux utilisateurs d'exprimer leur opinion sur le service en
ligne en leur donnant accès à un questionnaire spécifique. Celui-ci est généralement
proposé sous la forme d'un formulaire permettant d'exprimer son opinion :
- à l'aide de "questions fermées" pour lesquels des réponses-type lui sont proposées (et
pouvant être des mesures sur une échelle du type "très satisfait" / "assez satisfait" / "peu
satisfait" / "très insatisfait", …)
- à l'aide de "questions ouvertes" lui permettant d'exprimer plus librement son opinion
Ces questionnaires sont proposés aux utilisateurs par "campagnes" périodiques dont la
durée et la fréquence devront être adaptées à la fréquentation du service en ligne.
Les réponses sont recueillies par un mécanisme intégré au service en ligne sous forme de
formulaires et pouvant être traités par des logiciels spécifiques, hormis les réponses aux
questions ouvertes.
On veillera donc à limiter le nombre de questions ouvertes par questionnaire au juste nécessaire pour trouver le
compromis entre l'impression donnée à l'utilisateur d'avoir pu exprimer son opinion le plus précisément possible
et la charge de travail nécessitée par le dépouillement des réponses.
• le sondage ponctuel :
Cette méthode est très proche du questionnaire en ligne : elle consiste à poser un nombre
très restreint de questions aux utilisateurs souhaitant se prêter à l'exercice.
Le sondage ponctuel a l'avantage de moins solliciter de temps pour l'utilisateur, et favorise ainsi le nombre de
réponses.
Ils pourront être proposés à fréquence plus élevée que les questionnaires en ligne à
condition de clairement annoncer le renouvellement des questions aux utilisateurs de
manière à les inciter à y participer.

Q6 : La mesure de la satisfaction du client page 19


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
• le forum d'expression :
Le forum est un moyen d'expression "ouvert" sur lequel les utilisateurs peuvent faire part de
leurs opinions, prendre connaissance de celles exprimées par les autres et éventuellement
d'apporter des avis et commentaires sur celles-ci.
Des représentants du service en ligne interviennent pour apporter des réponses aux
question posées ou des commentaires aux avis exprimés.
Le forum est incontestablement le moyen le plus transparent et le plus large de dialogue
entre utilisateurs et avec le service en ligne.
Une charte de participation doit impérativement être définie et clairement affichée pour
préciser :
- les sujets pouvant être abordés sur le forum et ceux qui en sont exclus
- les modalités de publication des contributions et l'existence ou non d'un modérateur
Le recours à un forum est une décision délicate : l'intégration d'un forum à un service en ligne est encore
relativement rare et conduit souvent à des résultats assez décevants. Ces forums sont souvent l'occasion pour
les utilisateurs de "se défouler" et il faut donc veiller à ce que les interventions restent dans une limite
acceptable : les forums sont dans la quasi totalité des cas gérés par un modérateur
Il faut également savoir mesurer le compromis entre le forum intégré, dont il faut accepter les conséquences en
termes de contenu, et le risque de voir un forum se mettre en place de manière indépendante par des
utilisateurs mécontents, et sur lequel on perd tout moyen de contrôle …

D'autres méthodes permettent également d'effectuer une mesure indirecte de la


satisfaction du client : elles consistent à mesurer l'activité du service en ligne.
Les mesures pouvant être effectuées sont :
- des comptages de fréquentation du service en ligne, pouvant être détaillées au niveau
de chaque page présentée, et qui permettent de mesurer les services les plus utilisés,
- des analyses de navigation, permettant de mieux comprendre la manière dont les
utilisateurs accèdent aux données du service en ligne et qui permettent de vérifier si les
informations les plus fréquemment demandées sont bien les plus facilement accessibles,
- le suivi du nombre de messages adressés au service en ligne, qu'ils soient destinés à
obtenir des informations complémentaires, ou à exprimer une réclamation.
Il est également possible d'avoir recours à des témoins de connexion (également appelés
"cookies"), qui consistent à envoyer, de manière "transparente", à chaque utilisateur
connecté des informations qui seront conservées sur son ordinateur. Ces informations
permettent par exemple de mémoriser :
- la date et heure de l'utilisation du service en ligne,
- des informations saisies lors d'une demande particulière,
pour faciliter une mesure de la fréquence des visites et en déduire des habitudes de
consultation du service en ligne.
L'utilisation de ces témoins de connexion devra faire l'objet d'une analyse détaillée, et notamment en ce qui
concerne les aspects juridiques de la question. Rappelons l'article 1 de la loi du 6 janvier 1978, dite
"Informatique et Libertés", qui dispose que "l'informatique ne doit porter atteinte ni à l'identité humaine, ni aux
droits de l'homme ni à sa vie privée, ni aux libertés individuelles ou publiques" …

Ces méthodes sont celles qu'il est recommandé de prévoir lors de la définition du service
en ligne, pour être intégrées aux fonctionnalités à développer.
Leur mise en œuvre relève de la définition du service en ligne lui-même.

Q6 : La mesure de la satisfaction du client page 20


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q7 : La mesure de la qualité de service

Pourquoi mesurer la qualité de service ?

Les raisons de cette mesure sont multiples :


• comparer les performances offertes par le service en ligne avec les valeurs nominales
• identifier les écarts entre ce qui est fourni et ce qui est défini
• décider des actions à entreprendre en cas de dérive anormale

Comment mesurer la qualité de service ?

Quelques points importants doivent être rappelés en préambule :


-un service en ligne résulte de la mise en œuvre de moyens techniques, mais également de
moyens humains,
-ces moyens humains sont généralement internes (ceux de l'entité gestionnaire du service en
ligne), mais peuvent être ceux de prestataires extérieurs (que ce soit pour assurer le
fonctionnement en interne du service, ou pour assurer des prestations en interface, comme
par exemple l'expédition de courriers aux utilisateurs …),
-l'utilisateur du service en ligne lui-même est impliqué dans son fonctionnement : le
résultat en terme de service fourni dépend dans une grande mesure des informations qu'il
aura fournies
-le bon fonctionnement d'un service en ligne repose sur la définition de processus de
fonctionnement qui doivent être définis et formalisés avec la pus grande rigueur.
Le moyen universellement utilisé pour mesurer la qualité de service est l'indicateur.
Caractéristiques générales d'un indicateur :

Si l'on veut obtenir l'efficacité attendue d'un indicateur, il est nécessaire de considérer les
critères suivants pour sa définition :
• un indicateur doit être pertinent :
Ce que mesure l'indicateur doit pouvoir être directement relié à des objectifs jugés
importants pour la qualité de service.
Un défaut souvent constaté est que l'on mesure tout ce qui est mesurable sans toujours se préoccuper de ce
que ces mesures vont permettre de juger en termes de qualité de service …
On s'assurera en particulier que des indicateurs sont bien définis pour les fonctions jugées "Primordiales" ou
"Importantes" du cahier des charges fonctionnel.
• un indicateur doit être mesurable :
Un indicateur ne pourra être opérationnel que si les moyens permettant de recueillir les
informations permettant de l'élaborer sont disponibles.
Dans la mesure où la faisabilité des moyens est établie, ces moyens devront être développés dans le cadre du
projet de service en ligne, faute de quoi l'indicateur restera au rang des "vœux pieux" ou des bonnes intentions.
• un indicateur doit être rapide à élaborer :
Le temps d'élaboration de l'indicateur doit permettre de le publier dans un délai
suffisamment court pour que l'information qu'il représente ait encore un sens. On parle
couramment de "fraîcheur de l'information".
Ce temps d'élaboration doit en particulier être adapté aux besoins de réaction que l'indicateur peut entraîner en
cas de dérive, sous peine de ne servir que de rétroviseur.

Q7 : La mesure de la qualité de service page 21


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
• un indicateur doit être "sensible" :
L'information fournie par l'indicateur doit permettre de mesurer des variations permettant de
mettre en évidence "au plus tôt" les risques de dérive.
Cette sensibilité doit être étudiée pour pouvoir anticiper des mesures efficaces. Elle ne doit pas non plus
générer l'effet contraire en provoquant des "fausses alarmes" inutiles.
Il faut également s'assurer que ce que l'on mesure est susceptible de subir des variations dans le temps qui
soient autres que binaires ("conforme / non conforme").
• un indicateur doit être compréhensible :
La définition de l'indicateur doit clairement exposer ce pour quoi il est prévu et
éventuellement ce qu'il ne mesure pas …
L'interprétation de l'indicateur doit pouvoir être partagée sans ambiguïté, pour éviter les malentendus.
• un indicateur doit être utilisable :
L'indicateur doit permettre de déclencher les actions appropriées en cas de dérive.
La définition des actions à mettre en œuvre doit faire partie des informations attachées à l'indicateur.
• un indicateur doit être "abordable" :
La mise en place d'un indicateur implique des coûts de recueil, de traitement et de
publication. Ceux-ci doivent être proportionnés à l'importance de l'indicateur.
Cet aspect économique doit toujours être pris en compte dans la définition d'un indicateur. Il participe à la
constitution du coût global de possession du service en ligne.

Les différents types d'indicateurs

Lors de la définition du service en ligne, les différentes démarches d'analyse fonctionnelle


qu'il est possible de mettre en œuvre permettent successivement :
-d'identifier les fonctions qui doivent être assurées par le service en ligne et d'en caractériser
les performances attendues
-de définir les fonctions techniques à mettre en œuvre pour que la solution retenue
permettre de répondre à ces performances
-d'optimiser le service en ligne en recherchant le meilleur compromis entre performances
et coûts
Différents types d'indicateurs peuvent être définis :
Les indicateurs fonctionnels
Ces indicateurs traduisent directement les performances définies pour le service en ligne et
décrites dans le cahier des charges fonctionnel.
Ils traduisent la qualité de service avec une vision "utilisateur".
Certains d'entre eux peuvent être élaborés à partir de mesures pouvant être effectuées en
interne (par exemple : la disponibilité du service en ligne, le délai de réponse à une
question posée par un utilisateur, …).
Par contre, d'autres indicateurs nécessitent d'avoir des informations en provenance de
l'utilisateur (exemple : durée typique de formulation d'une demande, ergonomie, …).
Dans ce dernier cas, les mesures permettant l'élaboration de l'indicateur nécessiteront des
moyens spécifiques :
- Il sera dans certains cas possible de remplacer l'utilisateur réel par un "échantillon
représentatif" permettant de se livrer à des mesures jugées suffisamment objectives.
La constitution de cet échantillon devra mettre l'accent sur sa représentativité : il pourra le plus souvent
être recruté en interne, à condition de bien choisir des participants jugés "neutres" par rapport aux enjeux du
service en ligne.
- Dans les autres cas, les méthodes à mettre en œuvre seront celles utilisées pour la
mesure de la satisfaction client précédemment décrites (enquêtes, sondages, …)
Il sera alors nécessaire de bien effectuer le traitement des résultats par comparaison entre le "fourni" et le
"défini", et non le "souhaité" par l'utilisateur.

Q7 : La mesure de la qualité de service page 22


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"

Les indicateurs techniques


Dans de nombreux cas, la mesure directe d'indicateurs fonctionnels peut s'avérer
compliquée à mettre en œuvre. Il se peut également que les performances attendues d'une
fonction ne reposent pas totalement sur les ressources internes.
On a alors recours, en mesure de substitution, à l'analyse des fonctions techniques définies
pour assurer la fonction de service.
Ils traduisent la qualité de service avec une vision "exploitant".
La définition de ces indicateurs techniques sera effectuée en reprenant les analyses
effectuées lors de l'analyse fonctionnelle produit menée pour le service en ligne.
La démarche peut être schématisée comme suit :
- choix de la fonction et de la performance dont on veut mesurer la qualité de service
- si la mesure ne peut être effectué directement par un indicateur fonctionnel, examen des
fonctions techniques qui contribuent à assurer la performance à mesurer
- choix des fonctions techniques dont la mesure permettra de représenter
significativement la performance à suivre
- définition des indicateurs techniques nécessaires sur la base de critères représentatifs
de chaque fonction technique retenue

exemple illustratif :
Si le service en ligne comporte la fourniture d'informations par courrier, le délai total vu par l'utilisateur inclut les
délais d'acheminement postaux, qui ne peuvent qu'être constatés.
On mesurera alors la "qualité de service interne" en suivant les temps de traitement de l'information entre la
réception de la demande et la remise aux services postaux, en tenant bien entendu compte des heures limites
de remise existantes.

Les indicateurs économiques


Ce troisième type d'indicateur est destiné à mesurer la conformité du service en ligne avec
les objectifs économiques fixés.
Ils traduisent la qualité de service avec une vision "maître d'ouvrage".
Ces indicateurs économiques mesurent des paramètres liés au fonctionnement du service
en ligne tels que :
- les coûts liés à des traitements internes
- les coûts liés à des prestations externes
- les ressources nécessaires au fonctionnement interne
La signification de ces indicateurs devra être reliée aux niveaux d'activité correspondants.

exemples illustratifs :
- les avantages financiers liés à des tarifs postaux d'expédition en nombre n'ont de validité que si les volumes
à traiter restent dans les fourchettes prévues …
- les coûts de personnels (ou plus directement les effectifs alloués) n'ont de réelle signification que par
rapport au volume d'activité à traiter : ils permettent ainsi de mesurer le niveau d'adaptation des effectifs et
d'anticiper les aménagements à y apporter …

Q7 : La mesure de la qualité de service page 23


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
La définition d'un indicateur :

La définition d'un indicateur doit permettre de répondre aux questions suivantes :

Caractéristiques fonctionnelles :
quelle est la fonction de service concernée par l'indicateur ?
quelle est l'importance de cette fonction ?
quelle est la performance correspondante mesurée par l'indicateur ?
quelles sont les valeurs cible souhaitées ?
quelles sont les valeurs extrêmes acceptables ?

Caractéristiques techniques :
de quelles informations a-t-on besoin pour élaborer l'indicateur ?
comment seront-elles recueillies, et à quelle fréquence ?
quels sont les calculs ou traitements à effectuer pour élaborer l'indicateur ?
sous quelle forme l'indicateur est-il représenté ?
quelles sont les limites de validité et de représentativité connues ?

Caractéristiques organisationnelles :
qui va recueillir les informations ?
qui va vérifier leur validité et comment ?
qui va effectuer les traitements nécessaires ?
qui va mettre en forme l'indicateur ?
qui va être destinataire de l'indicateur ?
qui va communiquer l'indicateur aux destinataires ?

Caractéristiques opérationnelles :
quels sont les seuils d'alerte de l'indicateur ?
quels sont les mécanismes d'alerte en cas de dérive ?
qui va décider en cas de dérive?
quelles sont les actions envisageables en cas de dérive ?

Caractéristiques économiques :
quel est le coût de l'indicateur ?
comment mesurer ce coût ?
le coût est-il en adéquation avec l'importance de ce qui est mesuré ?

Q7 : La mesure de la qualité de service page 24


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
La publication d'un indicateur : les tableaux de bord

Les progrès de l'informatique, et en particulier des progiciels bureautiques, ont grandement


facilité l'élaboration et la publications d'indicateurs de toutes sortes.
On assiste ainsi à une prolifération de courbes, d'histogrammes, de diagrammes circulaires
(ou "camemberts") assortis d'éditions en couleurs flamboyantes.
En posant en axiome la véracité du proverbe chinois disant "un dessin vaut mieux que dix
mille mots", on imagine sans peine ce à quoi on a échappé grâce à la bureautique moderne !

Un indicateur n'a de sens que si les informations qu'il véhicule sont communiquées aux
intéressés, soit pour information, soit pour action.
Ces mécanismes de diffusion doivent dont être définis tant sur le fond que sur la forme :
• qui doit être destinataire des informations ?
• sous quelle forme doivent-elles être communiquées ?

Compte tenu de la croissance constatée du nombre d'informations échangées


quotidiennement, deux règles de bon sens doivent être respectées :
• des mécanismes de diffusion doivent être définis et respectés
La notion d'indicateur n'a de sens que dans la durée.
Il importe donc que ceux-ci puissent être régulièrement communiqués à ceux qui pourront
en tirer profit en en suivant les évolutions.
• les contenus doivent être adaptés aux destinataires
La diffusion systématique d'un ensemble d'informations non ciblées vers leurs destinataires
cause fréquemment un sentiment de lassitude : "trop d'information tue l'information" …
Chaque destinataire devra donc recevoir un extrait des indicateurs existants, extrait
sélectionné selon les principes suivants :
- les informations présentées doivent être pertinentes pour l'utilisateur
Elles doivent représenter les domaines d'action de leur destinataire.
- ces informations doivent être en nombre limité "au juste nécessaire"
On dit souvent qu'elles devraient pouvoir tenir sur une ou deux pages au format A4 …
- leur présentation doit permettre d'identifier aisément les dérives potentielles
On privilégiera les présentations graphiques sobres mettant en valeur les variations et les limites.
L'utilisation de la couleur peut permettre de mieux visualiser les alertes.
Cet avantage incontestable doit être tempéré par le fait que tous les destinataires n'ont pas nécessairement
une imprimante adaptée et que cet avantage disparaît lors d'une photocopie en noir et blanc …

Ce procédé de présentation est communément appelé "tableau de bord".


Par analogie avec celui d'une automobile, on veillera à ce qu'il puisse bien remplir ses
fonctions de service primordiales :
• permettre d'avoir aisément accès à l'information souhaitée
c'est le rôle dévolu aux différents indicateurs présents, qui doivent être visibles, lisibles
et compréhensibles …
• pouvoir être alerté en cas de besoin
cette fonction est assurée par différents "voyants" qui présentent une information
hiérarchisée : couleur verte ou bleue pour des informations "non urgentes", couleur
orange pour les "alarmes" ne nécessitant pas réaction immédiate et couleur rouge
réservée aux "alertes" nécessitant action immédiate et urgente …

Q7 : La mesure de la qualité de service page 25


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Q8 : Exemples d'indicateurs

Les exemples présentés dans ce chapitre sont essentiellement des indicateurs de mesure de
qualité de service. Il sont donnés à titre illustratif.

Chaque service en ligne devra définir ses indicateurs en fonction :


• des caractéristiques fonctionnelles qui lui sont propres
• des objectifs définis en termes de qualité de service
• des solutions techniques mises en œuvre pour le réaliser

Exemples d'indicateurs fonctionnels

Ces indicateurs sont le reflet de la performance atteinte pour une ou des fonctions de service.
Ils sont directement perceptibles par les utilisateurs.

• la disponibilité du service en ligne


Cet indicateur représente le pourcentage du temps pendant lequel le service a été
effectivement disponible aux utilisateurs rapporté au temps pendant lequel il aurait du l'être.
Cet indicateur pourra être affiné en segmentant cette disponibilité en fonction de tranche
horaires .

• le délai de traitement des informations


Cet indicateur représente le temps moyen de traitement d'une demande entre le moment
où la demande est reçue par le service en ligne et celui où elle est mise à la disposition de
l'utilisateur.
Cet indicateur devra tenir compte (ou exclure) les délais non directement maîtrisés.

• la rapidité de mise à jour des informations proposées


Cet indicateur représente la durée moyenne entre le moment où une information présentée
devient caduque et celui où elle est mise à jour sur le service en ligne.

• le délai de réponse à des demandes d'informations complémentaires


Cet indicateur représente le délai moyen écoulé entre la réception d'un message
demandant une information complémentaire et le moment où la réponse est transmise à
l'utilisateur.

• le taux de réclamations
Cet indicateur représente le quotient du nombre de demandes ayant conduit à une
fourniture inadaptée à un utilisateur par le nombre total de demandes traitées sur une
période donnée.
Un tel indicateur devra être affiné pour tenir compte des causes d'erreur pouvant être
identifiées.

Q8 : Exemples d'indicateurs page 26


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Exemples d'indicateurs techniques

Ces indicateurs sont le reflet des fonctions techniques mises en œuvre pour assurer le
fonctionnement du service en ligne. Ils ont une influence indirecte sur les performances
fonctionnelles du service en ligne.

• le temps d'accès aux informations


Cet indicateur représente le temps que met le service en ligne pour traiter une requête
générée par un utilisateur, entre le moment où elle est reçue et celui où le résultat est
envoyé à l'utilisateur.
Il ne prend pas en compte les temps de transmission sur les réseaux non maîtrisés par le
service en ligne.

• la facilité d'accès aux informations


Cet indicateur prend en compte deux types de mesures :
- la fréquentation du service en ligne pour chacune de ses pages
- le nombre de pages ayant été consultées avant d'accéder à une page donnée
Il permet de mesurer l'adéquation de l'architecture du service en ligne aux informations
consultées par les utilisateurs : en toute logique, les pages les plus fréquentées devraient
être celles auxquelles on peut accéder le plus rapidement …

• le temps de remise en service du service en ligne


Cet indicateur mesure le temps écoulé entre une interruption de service et le moment où le
service en ligne est de nouveau opérationnel.
Cet indicateur pourra être affiné en distinguant les causes d'interruption de service et
notamment celles dépendant ou non du service en ligne.

• le taux d'interruptions de service


Cet indicateur mesure le nombre d'interruptions de service constatées rapporté à une
période de temps donnée.
Cet indicateur pourra être affiné en distinguant les tranches horaires d'ouverture ou de
fermeture du service ou les causes d'interruption.
Il pourra être corrélé avec l'indicateur précédent pour mettre en évidence l'efficacité des
procédures de traitement des incidents

• le taux d'anomalies du service


Cet indicateur mesure le nombre d'anomalies (ou "bogues") répertoriées lors du
fonctionnement du service pour une période de temps donnée.
Il devra être complété d'un suivi des corrections apportées à ces anomalies et du temps mis
à les corriger.
Ce type d'indicateur est essentiel dans les étapes de mise en service et notamment lors de
la vérification en service régulier.
Ces anomalies sont de diverses natures, allant des liens erronés (la célèbre erreur "http 404 : fichier non
trouvé") à la faille de sécurité, en passant par les problèmes d'affichage en fonction des différents navigateurs
utilisés …

Q8 : Exemples d'indicateurs page 27


ATICA Guide méthodologique pour les maîtres d'ouvrage de services en ligne
Thème "Qualité de service"
Exemples d'indicateurs économiques

Ces indicateurs permettent d'apprécier l'adéquation entre coûts supportés et performances


offertes.

• le coût moyen de traitement d'une demande


Cet indicateur représente le quotient de la totalité des coûts supportés par le service en
ligne par le nombre de demandes traitées.
Cet indicateur pourra être affiné en distinguant les coûts par catégories (répartition par
fonctions techniques, par nature de prestataires, …).

• l'efficacité d'une fonction technique du service en ligne


Cet indicateur représente le quotient des coûts engendrés par la fonction technique par le
nombre de demandes traitées.
Cet indicateur pourra être affiné, en particulier pour tenir compte des tranches horaires.

• le coût d'une fonction de service particulière


Cet indicateur représente le pourcentage des coûts spécifiques à la fourniture d'une
fonction de service aux utilisateurs rapporté au coût global du service en ligne.
La mise en œuvre d'un tel indicateur ne pourra se faire que pour une évaluation marginale
d'une fonction, et à condition de bien pouvoir isoler les coûts qui lui sont réellement
spécifiques.

• le niveau d'économies réalisées


Cet indicateur représente les économies réalisées lors de la mise en place du service en
ligne, par rapport aux coûts du service "traditionnel" antérieur.
La mise en œuvre d'un tel indicateur nécessite d'avoir pu effectuer une analyse précise et
fiable des coûts engendrés par le service rendu avant la mise en place du service en ligne.
La base de comparaison devra pouvoir être adaptée pour tenir compte du volume d'activité
constaté sur le service en ligne.

Q8 : Exemples d'indicateurs page 28

Vous aimerez peut-être aussi