Vous êtes sur la page 1sur 109

Partie 3

LES OUTILS DVALUATION


Introduction
Les outils de planification de projet
Les outils de planification de lvaluation
Les outils de mise en uvre de lvaluation
Lapplication des rsultats de lvaluation
Planification du projet
Houp !
Objectif
global
Planification
Problme
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
66
Nous avons vu, dans la premire partie, quoi pouvait servir une valuation son objectif ainsi que le
contexte dans lequel elle se droule. Dans la deuxime partie, nous avons examin le processus
dvaluation lui-mme, en montrant plus particulirement comment il sapplique aux projets, produits et
services dinformation. Les discussions ont port sur les quatre phases majeures du processus
dvaluation : la prparation des termes de rfrence, la conception de lvaluation, sa mise en uvre et
son suivi.
Cette troisime partie est consacre la description des diffrents outils spcifiquement adapts
lvaluation de projets, produits et services dinformation. Dans la mesure o les professionnels de
linformation souhaitent de plus en plus assumer eux-mmes le processus dvaluation, plutt que davoir
recours des valuations externes, les outils slectionns ici sont galement adapts aux procdures
dauto-valuation et contribuent promouvoir lapprentissage et la participation des parties prenantes.
Le terme outils sapplique aux diffrentes approches ayant dj fait leurs preuves que vous pourrez
utiliser afin dvaluer votre produit/service. La plupart de ces outils peuvent tre utiliss chaque tape
du processus dvaluation. Nous les avons rpartis de la manire suivante :
T Les outils de planification de projet (cadres de planification, benchmarking et indicateurs) : ainsi
que leur nom lindique, ils servent planifier un projet. Bien utiliss, ces outils peuvent se rvler une
source dinformation trs prcieuse et servir de rfrence lors de lvaluation dun projet.
T Les outils de planification de lvaluation (termes de rfrence et modle logique) : ces outils
combins aux cadres de planification de projet contribueront fournir une base solide partir de
laquelle il sera possible de choisir les outils ncessaires la mise en uvre de lvaluation.
T Les outils de mise en uvre de lvaluation (collecte de donnes, analyse FFOM questionnaires,
discussions de focus group, diagrammes de flux, tudes de cas, entretiens, outils cratifs, analyses
aprs-action et analyse des donnes) : les diffrents outils dvaluation seront choisis en fonction de
plusieurs facteurs, savoir lobjectif de lvaluation, le temps imparti, les ressources financires et les
comptences disponibles, etc.
T Lapplication des rsultats de lvaluation (rdaction du rapport, canaux de diffusion, approches
promotionnelles, analyse des forces en prsence et brainstorming pour la ralisation dun plan
daction) : il nous parat intressant de souligner limportance de ces outils car, trop souvent, laccent
est plutt mis sur la planification et la mise en uvre du processus dvaluation, la production de
rsultats et de recommandations, alors que peu est fait pour la valorisation et la promotion des
rsultats.
Dans la quatrime partie, nous dcrirons plus en dtail tous ces outils et proposerons un guide
dvaluation pour les produits/services dinformation slectionns.
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
67
Les outils de planification dcrits dans cette section comprennent les cadres de planification, la mthode
de benchmarking et les indicateurs.
Les deux cadres de planification de projet les plus communment utiliss sont :
T le cadre logique,
T la gestion axe sur les rsultats.
Dans cette section, nous examinerons en dtail ces deux cadres de planification. tant donn que les
agences de dveloppement utilisent lune ou lautre de ces approches, il serait intressant de se
familiariser avec ces outils. En 1992, par exemple, la Commission europenne (CE) a adopt la
Gestion du cycle de projet (GCP) comme outil de conception et de gestion de projets bas sur
lapproche du cadre logique. Dautres organisations, comme lAgence canadienne de dveloppement
international (ACDI), la Banque mondiale et lUSAID, ont recours la gestion axe sur les rsultats.
Un autre cadre utilis principalement pour planifier une valuation est le modle logique (voir
pages 103-105).
Le tableau 3.1 prsente les principales composantes de ces trois cadres de planification, les diffrents
termes utiliss et les critres gnraux dvaluation (voir deuxime partie, pages 33-34).
La mthode de benchmarking (ou analyse comparative) vous aide fixer des objectifs de progression
atteindre pour valuer la performance de votre projet. En comparant les activits de votre
organisation celles dorganisations comparables, vous pouvez tirer les leons de leur exprience et les
appliquer pour amliorer votre performance.
Dans le cadre de la planification de votre projet, il convient galement de choisir des indicateurs qui
vous permettront de mesurer le degr de russite du projet.
Tableau 3.1
Principales composantes des cadres de planification du projet et de lvaluation
Objectif gnral
Objectif(s) spcifique(s)
Rsultats escompts
Activits
Apports
Rsultats ( long terme)
Rsultats ( court et moyen terme)
Rsultats
Processus
Ressources/contributions
Impact long terme
Rsultats ( court et moyen terme)
Rsultats
Activits
Contributions
CADRE GESTION AXE SUR MODLE CRITRES
LOGIQUE LES RSULTATS LOGIQUE DVALUATION
Impact
Pertinence
Durabilit
Utilit
Efficacit
Pertinence
Convivialit
Efficacit
Accessibilit
Convivialit
Efficience
Efficience
LES OUTILS DE PLANIFICATION DE PROJET
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
68
Le cadre logique
Le cadre logique, qui est apparu la fin des annes 1960, reste loutil de gestion et de planification de
projet le plus couramment utilis par les agences de dveloppement.
Les agences de financement ont tendance utiliser le cadre logique pour valuer et assurer le suivi des
projets. Les organismes chargs de lexcution lutilisent pour planifier, mettre en uvre et assurer le
suivi des projets.
POURQUOI ?
Le cadre logique peut tre utilis chaque tape des processus de planification, de mise en uvre et
dvaluation de votre projet. Cette approche intgre vise sassurer que les mmes critres seront
utiliss tout au long du cycle de projet et que chacune des phases du cycle de projet est gre partir
du mme cadre de rfrence.
COMMENT ?
Jusque dans les annes 1990, la planification de projet tait gnralement assure par des consultants
externes. Depuis, lapproche a chang : un nombre croissant dorganisations adoptent lide dune
approche participative interne.
Lapproche du cadre logique se rfre deux phases :
T la phase danalyse,
T la phase de planification.
Nous examinerons ces deux phases en dtail et prsenterons des exemples dutilisation du cadre logique
dans le processus dvaluation.
Phase danalyse
La phase danalyse dun projet est une tche essentielle du processus de planification. Il conviendra dy
impliquer lensemble des parties prenantes cls potentielles pour veiller ce que les besoins, les
proccupations, les points de vue et les perspectives des diffrentes catgories de parties prenantes
soient reprsents et compris.
Parmi les techniques susceptibles dtre utilises au cours de cette phase, citons notamment lanalyse
FFOM (voir pages 115-119), les diagrammes de Venn (voir pages 152-154) et les images-contexte (voir
pages 150-152).
Nous examinerons quatre types danalyse correspondant cette premire phase :
T lanalyse des parties prenantes,
T lanalyse du problme,
T lanalyse des objectifs,
T lanalyse de la stratgie.
Tous ces schmas danalyse serviront laborer le cadre logique
Lanalyse des parties prenantes
Les parties prenantes sont des groupes dindividus concerns par un projet et le problme quil cherche
aborder. Elles peuvent avoir des intrts directement ou indirectement lis au dveloppement du
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
69
projet et tre touches, aussi bien positivement que ngativement, par ce projet. Les parties
prenantes cls comprennent gnralement les responsables politiques, les fournisseurs dintrants,
les partenaires et, bien sr, les utilisateurs eux-mmes. La deuxime partie prsente quelques
exemples dindividus ou de groupes susceptibles de devenir des parties prenantes du projet
(figure 2.2, page 35).
Cette dmarche vise :
T identifier qui sont exactement les parties prenantes ;
T clarifier leur perception du problme aborder dans le cadre du projet ;
T identifier les ressources (politiques, humaines, financires et de lgitimation) affectes au projet ;
T dfinir le rle attendu des parties prenantes dans le processus de rsolution du problme ;
T analyser leur potentiel dinfluence sur le processus dvaluation ;
T dterminer les sources possibles de conflit ;
T dterminer leurs besoins en termes daccessibilit et de convivialit du produit/service.
Le tableau 3.2 montre comment structurer une analyse des parties prenantes. Il rsume (a) dans quelle
mesure diffrents groupes de parties prenantes peuvent tre affects par le problme auquel le projet
cherche rpondre et (b) comment les interventions proposes peuvent affecter ces groupes. Il est
possible dadapter ces deux exemples pour inclure des informations supplmentaires concernant les
parties prenantes, en fonction des priorits et du cadre des questions abordes.
Parties prenantes Dans quelle mesure sont-elles Motivation / capacit aider Relations avec les autres
affectes par le problme ? rsoudre le problme parties prenantes
Tableau 3.2
Analyse des parties prenantes pour valuer a) leur relation avec le problme abord et
b) et dans quelle mesure elles sont affectes par le projet
(a)
Parties prenantes Niveau dimplication Impact positif Impact ngatif Impact
dans le projet escompt et bnfices escompt et cots net
(b)
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
70
Lanalyse de genre parmi les parties prenantes est un aspect important de lanalyse des parties
prenantes. Le tableau 3.3 montre comment intgrer lapproche selon le genre dans cette analyse.
Une fois termine, lanalyse des parties prenantes devra tre revue en consquence. Le cas chant, elle
devra tre actualise tout au long de la phase de planification, au fur et mesure de lavance du projet
et que de nouvelles informations seront communiques.
Lanalyse des parties prenantes, en tant que telle et dans le contexte du cadre logique, constitue une
source importante dinformations pour lvaluation dun projet.
laboration des Qui est charg de ce travail ? Frquence de lactivit
produits/services Femmes Hommes
Tableau 3.3
Analyse de genre parmi les parties prenantes cls
Ressources Qui a accs ? Qui contrle ?
Femmes Hommes Femmes Hommes Autres*
Tches mnagres
Tches communautaires
Benefits Qui a accs ? Qui contrle ?
Femmes Hommes Femmes Hommes Autres*
1
2
3
1
2
3
1
2
3
1
2
3
1
2
3
* Pouvoirs publics, organisation prive, etc.
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
71
Lanalyse du problme
Lanalyse du problme contribue fortement influencer llaboration dun projet. Sans une analyse
approfondie du problme auquel le projet doit rpondre, la phase de planification ne permettra pas de
construire les bases solides dont dpend la russite du projet.Trop souvent, les projets sont mis en uvre
avec des solutions prdfinies aux problmes poss, dont on ne connat pas suffisamment la nature.
Sur la base dune analyse FFOM (voir pages 115-119), le brainstorming est une mthode efficace pour
lanalyse des problmes. Sil est difficile pour certaines parties prenantes de participer en personne une
sance de remue-mninges (brainstorming), vous pourriez envisager de lancer un forum de
discussion en ligne.
La ralisation dun arbre problmes peut tre un moyen efficace dillustrer lanalyse du problme.
Il convient avant tout didentifier les causes du problme ainsi que ses effets intermdiaires et ultimes.
Larbre problmes claire les relations entre les causes et les effets. Il contribue amliorer le
processus dlaboration du projet, son suivi et son valuation.
Lencadr 3.1 prsente une tude de cas qui passe en revue les consquences potentielles dune analyse
de problme inadquate.
Dclin de la productivit agricole
nationale
Recherche mal
cible
Remarque : Cet arbre problmes suppose quil existe des liens
de causalit linaires entre les causes et les effets. Il est important
de noter, toutefois, que les liens de cause effet dans votre projet
peuvent ne pas apparatre de manire aussi vidente et claire.
Figure 3.1
Exemple darbre problmes
Faibles rsultats
de la recherche
Conseils insuffisants
aux agriculteurs
Financement externe
limit en raison de
propositions
insuffisantes
Promotion
inapproprie du SQR
parmi les parties
prenantes cls
Faible sensibilisation
aux informations
existantes sur la
recherche
CAUSES
CAUSES
Lanalyse des objectifs
Faire lanalyse des objectifs dun projet revient globalement cartographier une vision du futur. Un
moyen utile dillustrer cette analyse consiste laborer un arbre objectifs , ce qui suppose de :
T transformer chaque nonc ngatif (problme) de larbre problmes en dclarations positives
(objectifs) ;
T tester la logique de la hirarchie des objectifs.
La partie suprieure de larbre correspond lobjectif gnral alors que les niveaux infrieurs
reprsentent les moyens mettre en uvre pour parvenir cet objectif. Tous les objectifs seront
utiliss pour valuer la performance du projet. La figure 3.2 prsente un exemple darbre des objectifs.
Par consquent, larbre problmes indique les relations de cause effet entre les problmes, alors que
larbre des objectifs permet de visualiser les relations moyens-fins entre les objectifs.
Il faudra ensuite tester la logique de larbre objectifs. Le moyen le plus simple dy parvenir est de
commencer au sommet de la hirarchie et de se poser la question de savoir comment passer dun
niveau lautre. Partir ensuite de la base de la hirarchie et se demander pourquoi, chaque niveau, un
tel objectif a t dfini.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
72
En 1995, un service dinformation panafricain bas en Afrique australe a commenc dcentraliser ses activits et mis
en place un service rgional de questions-rponses en Afrique de lEst, en plus de celui qui couvrait lAfrique australe.
La rgion du Kolomari tait jusqualors desservie par le service tabli en Afrique australe. Intgre lAfrique de lEst
depuis 1998, cette rgion continua toutefois dtre desservie par le service bas en Afrique australe. Elle avait t
oublie lors du changement. De ce fait, les services fournis ne rpondaient plus aux besoins spcifiques des agriculteurs
du Kolomari. Il sest galement avr que le manque dinformations en temps opportun a entran une baisse de
lutilisation de ce service. Tout cela a affect les activits des instituts de recherche de la rgion la mobilisation de
ressources de financement externe devenant encore plus difficile et a eu des effets ngatifs sur la production agricole
lchelon national.
Cette situation aurait pu tre vite travers une analyse approfondie du problme, au moment de la dcentralisation et
lorsque la rgion du Kolomari a t intgre lAfrique de lEst.
Encadr 3.1
tude de cas sur les consquences potentielles dune analyse de problme inadquate
Augmentation de la productivit
agricole nationale
Recherche mieux
cible
Figure 3.2
Exemple darbre objectifs
Amlioration des rsultats
de la recherche
Conseils de meilleure qualit
aux agriculteurs
50 employs se
sont forms en
gestion de cycle
de projet
Parties prenantes
mieux sensibilises
aux avantages
du SQR
Chercheurs
conscients du besoin
dinformations sur
la recherche
CAUSES
CAUSES
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
73
Lanalyse de la stratgie
Cette analyse permettra de prendre des dcisions concernant les moyens mettre en uvre pour
rsoudre le(s) problme(s) identifi(s). Il sera ncessaire de regrouper les objectifs et dexaminer la
faisabilit des options proposes, en tenant compte des ressources disponibles. Cette analyse permettra
dalimenter un choix dactions prioritaires qui contribueront atteindre lobjectif gnral du projet. En
bref, il sagit dun exercice de priorisation.
Le choix dune stratgie est guid par les critres suivants :
T sa contribution potentielle lobjectif gnral du projet ;
T lavantage que pourraient en tirer les parties prenantes cls ;
T sa complmentarit avec les objectifs des projets/programmes actuels ou venir de votre
organisation ;
T ses implications en termes de capital et de cots, et les ressources (humaines et financires)
disponibles au niveau local ;
T sa contribution ventuelle au renforcement des capacits ;
T sa faisabilit technique.
Augmentation de la productivit
agricole nationale
Recherche mieux
cible
Figure 3.3
Exemple darbre danalyse de stratgie
Amlioration des rsultats
de la recherche
Conseils de meilleure qualit
aux agriculteurs
50 employs se
sont forms en
gestion de cycle
de projet
Parties prenantes
mieux sensibilises
aux avantages
du SQR
Chercheurs
conscients du besoin
dinformations sur
la recherche
CAUSES
CAUSES
DEDANS
DEHORS
La phase de planification
Cette tape consiste crer la matrice du cadre logique, formuler le plan de mise en uvre et
prparer le budget.
Il y a galement lieu de mentionner le systme appel projets en cascade, li une situation dans
laquelle un ensemble dexigences complexes caractrise lobjectif dun projet.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
74
Llaboration dun cadre logique
Un cadre logique est une matrice constitue de quatre colonnes verticales et de cinq lignes
horizontales, comme indiqu dans le tableau 3.4. Bien que la matrice implique un processus linaire, sa
construction est un processus itratif.
Examinons prsent chacun des lments constitutifs de la matrice du cadre logique.
Logique dintervention. Ce terme dcrit les diffrents niveaux dobjectifs, des contributions aux
activits, buts et rsultats escompts. Ces objectifs doivent tre lis de manire cohrente et logique
de telle sorte que le but final recherch ait le maximum de chances dtre atteint. Le terme logique
dintervention est parfois remplac par rsum narratif ou hirarchie des objectifs .
Objectif gnral du projet. Lobjectif gnral du projet est formul de faon gnrale et embrasse
une srie dinitiatives envisages sur le long terme. Par exemple, si lon se rfre lencadr 3.1,
lobjectif gnral est le suivant : Amliorer la productivit agricole en Afrique de lEst . Cela ne
signifie pas que le service de questions-rponses nest pas suffisant lui seul pour atteindre lobjectif
poursuivi ; dautres initiatives lchelon international, national, rgional et local seront
ncessaires pour amliorer la situation.
Objectif spcifique. Lobjectif spcifique du projet dcrit le rsultat auquel aspire le projet pour les
groupes cibles et dans une priode donne. Il doit de prfrence tre formul en une seule phrase.
Si les rsultats sont atteints et les hypothses associes ces rsultats se concrtisent, alors lobjectif
spcifique sera atteint.
Rsultats attendus (Outputs). Les produits des activits mises en place sont les rsultats du projet.
Lintgralit de ces produits constitue les rsultats auxquels aspirent les parties prenantes cls et
assure la ralisation de lobjectif spcifique du projet. Un cadre logique pourra spcifier les rsultats
attendus au fil du temps (la premire anne, la deuxime anne, etc.). Ainsi, de nouveaux rsultats
(y compris des rsultats imprvus) pourront tre ajouts au fur et mesure.
Objectif
gnral
Objectif
spcifique
Rsultats
escompts
Activits
Apports
LOGIQUE INDICATEURS OBJECTIVEMENT MOYENS DE HYPOTHSES
DINTERVENTION VRIFIABLES VRIFICATION
Tableau 3.4
La matrice du cadre logique
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
75
Activits. Les activits inhrentes au projet devront spcifier les moyens (actions) et les cots ncessaires
la ralisation du projet. chaque objectif devra tre associe une activit (ou un groupe dactivits).
Intrants (Inputs). Il sagit des fonds, des ressources, des comptences et des matriels ncessaires
lexcution du projet. Alors quils sont un facteur de succs essentiel tout projet, les intrants ne sont
pas assez souvent pris en compte au moment de dterminer les objectifs et activits du projet.
Indicateurs. Les indicateurs du projet permettent de mesurer ltat davancement des activits vers la
ralisation des objectifs. Objectivement vrifiable signifie que vous devez tre capable de vrifier
si les objectifs ont t atteints ou, le cas chant, le degr de ralisation des objectifs qui ont t
fixs. Comme nous lavions not dans la deuxime partie, les indicateurs doivent tre SMART
(spcifiques, mesurables, ralistes, ralisables dans le temps ) et reposer sur des donnes fiables et
reprsentatives (voir encadr 3.2). Le processus didentification des indicateurs lorsquils
comportent des lments qualitatifs fondamentaux devra notamment impliquer les parties
prenantes cls. La dmarche damlioration de la qualit des indicateurs peut tre perue
diffremment par les membres de la communaut et les observateurs extrieurs. Il peut tre
nanmoins utile de considrer les diffrences de points de vue entre les hommes et les femmes.
Moyens de vrification. Il conviendra dtablir un rpertoire de sources de donnes pour chaque
indicateur et pour chaque niveau objectif gnral, objectifs spcifiques, rsultats et activits. Cela
permettra de savoir si oui ou non les indicateurs peuvent tre mesurs de manire raliste.
Hypothses. Un projet nest jamais tenu lcart des vnements extrieurs. Il est toujours soumis
linfluence de facteurs externes au processus de contrle direct de la gestion de projet, tels que les
environnements instables. Afin de prparer au mieux la phase dlaboration du projet, il est essentiel
de tester le ralisme des hypothses sur lenvironnement dans lequel le projet doit sinsrer. Labsence
dhypothses ralistes est une cause majeure de risque dans un projet.
Pour comprendre limportance du choix initial des hypothses, il convient de mettre en lumire le lien
existant entre ces hypothses et la logique dintervention, comme indiqu dans le tableau 3.5. Afin
Tableau 3.5
Mettre en vidence le lien existant entre lintervention et lhypothse
Objectif gnral
alors
Objectif spcifique
si
alors
Rsultats
si
alors
Activits
si
LOGIQUE INDICATEURS OBJECTIVEMENT MOYENS DE HYPOTHSES
DINTERVENTION VRIFIABLES VRIFICATION
Hypothses pour la durabilit
et
Hypothses pour la contribution
lobjectif global
et
Hypothses pour la ralisation de
lobjectif spcifique
et
Hypothses pour la ralisation des
rsultats
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
76
dvaluer le degr de risque pour chaque hypothse, nous pouvons utiliser une construction logique
du type si alors . Lorsque vous compltez les colonnes de la matrice, posez-vous les questions
cls suivantes :
T Si les activits ont t mises en uvre, quels autres facteurs faut-il prendre en compte pour
parvenir aux rsultats escompts ?
T Si les rsultats sont atteints, quels autres facteurs faut-il prendre en compte pour atteindre
lobjectif spcifique ?
T Si lobjectif spcifique est atteint, quels autres facteurs faut-il prendre en compte pour que le
projet contribue la ralisation de lobjectif gnral ?
En outre, il est important de savoir qui contrle les hypothses et si une hypothse parat essentielle la
russite du projet. Si tel est le cas et dans la mesure o vous ne pouvez exercer une quelconque
influence sur cette hypothse il vous faudra reconsidrer ce quil est alors possible denvisager.
Vous ne pouvez enregistrer les changements apports par un projet sans disposer dun point de dpart par rapport auquel sont mesurs
ces changements. Autrement dit, il est important de comprendre la situation pralable au dmarrage du projet. Les informations
recueillies constitueront les donnes de base de lvaluation.
En rgle gnrale, la collecte des donnes de base a lieu au dbut du projet. Si vous ne disposez daucune de ces bases de donnes,
il vous faudra alors procder leur collecte. Assurez-vous que les donnes sont compatibles avec les indicateurs qui ont t identifis.
vitez de perdre du temps recueillir dautres informations que celles dont vous avez besoin dans la mesure o vous ne les utiliserez
probablement pas.
Lorsque vous identifiez des sources de donnes, posez-vous les questions suivantes :
T Les sources de donnes sont-elles accessibles ou disponibles sur une base rgulire et de faon opportune et fiable ?
T Ces sources permettent-elles de recueillir des donnes de qualit ?
T Le processus de collecte des donnes partir des sources identifies est-il possible et rentable ?
T Comment collecter les donnes ? (enqutes par chantillonnage, documents administratifs, groupes de discussion).
T Qui sera charg de collecter les donnes ? (agents de terrain, chargs de projet, parties prenantes).
T quel moment (et selon quelle frquence) faut-il procder la collecte, lanalyse et la diffusion des donnes ? (mensuellement,
annuellement).
T Quel format faut-il utiliser pour stocker les donnes collectes ?
T Qui sera charg danalyser ces donnes ?
Encadr 3.2
Collecte de donnes de base
Les projets en cascade
Ce qui doit caractriser en premier lieu le projet, cest son objectif unique. Si lanalyse du problme
rvle une situation qui parat trop complexe aborder en un seul projet, que pouvez-vous faire ? La
rponse est la suivante : adopter le systme appel projets en cascade , cest--dire dvelopper une
srie de projets parallles en vous assignant le mme objectif gnral mais des objectifs spcifiques
diffrents. Il conviendra alors de modifier le cadre logique, comme indiqu dans lexemple du tableau 3.6.
Les projets en cascade prsentent les avantages suivants :
T ils permettent dviter de se lancer dans des projets trs complexes ;
T chaque projet et sous-projet doit rpondre un objectif clairement dfini ;
T des responsabilits clairement dfinies sont assignes chaque objectif spcifique ;
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
77
T chaque projet doit reposer sur une logique dintervention clairement dfinie ;
T chaque projet doit dfinir ses propres indicateurs de suivi-valuation ;
T chaque projet et sous-projet doivent tenir compte de leur propre environnement externe.
La mise en uvre du projet
Le diagramme de Gantt est un outil qui permet de modliser la planification de tches ncessaires la
ralisation dun projet. Il est li aux rsultats du projet spcifis dans le cadre logique.
OG
OS1
R1.1
R1.2
R1.3
Objectif
gnral
Objectif
spcifique
Rsultats
escompts
Activits Moyens Cot
LI IOV MV H
Tableau 3.6
Matrice du cadre logique pour les projets en cascade
OS1
R1.1
Z1
Z2
Objectif
gnral
Objectif
spcifique
Rsultats
escompts
Activits Moyens Cot
LI IOV MV H
Projet 1
Projet 2
LI : logique dintervention
IOV : indicateurs objectivement vrifiables
MV : moyens de vrification
H : hypothses Source : Schiefer et al. (2001)
Objectif
gnral
Objectif
spcifique
Rsultats
escompts
Activits Moyens Cot
LI IOV MV H
OS1
R1.2
X1
X2
X3
Objectif
gnral
Objectif
spcifique
Rsultats
escompts
Activit Moyens Cot
LI IOV MV H
OS1
R1.3
Y1
Y2
Objectif
gnral
Objectif
spcifique
Rsultats
escompts
Activits Moyens
Cot
LI IOV MV H
OG : objectif gnral
OS : objectif spcifique
R : rsultats
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
78
Les parties prenantes sont
mieux sensibilises aux
avantages que prsente un
SQR
Activits
Prparation des activits de
sensibilisation
Prparer des brochures sur
les prestations offertes par
les centres SQR et les
distribuer via les journaux
locaux
Annonce dune journe
portes ouvertes dans les
journaux locaux et sur les
radios locales aux heures
de grande coute
Organisation de deux
sessions portes ouvertes
pour sensibiliser les parties
prenantes (de prfrence le
samedi pendant leur temps
libre)
Prparer et distribuer des
formulaires permettant de
recueillir leurs commentaires
sur ces deux sessions
1.1
1.1.1
1.1.2
1.1.3
1.1.4
1.1.5
Prestataire :
Tango & Co.
Rf. n Rsultats et activits Personne Commentaires
2009-2010
indicatives responsable N D J F M A M J J A S O
Tableau 3.7
Exemple de diagramme de Gantt pour planifier (a) la mise en uvre dun projet et (b) les ressources
1.1 Activits Jours Prix unitaire Quantit Total (en euros)
1.1.1
1.1.2
1.1.3
1.1.4
1.1.5
Prparation des activits de sensibilisation
Prparer des brochures sur les prestations
offertes par les centres SQR et les distribuer
via les journaux locaux
Annonce dune journe portes ouvertes dans
les journaux locaux et sur les radios locales
aux heures de grande coute
Organisation de deux sessions portes ouvertes
pour sensibiliser les parties prenantes (de
prfrence le samedi pendant leur temps libre)
Prparer et distribuer des formulaires
permettant de recueillir leurs commentaires
sur ces deux sessions
(a)
(b)
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
79
Le diagramme de Gantt rpertorie toutes les tches accomplir pour mener le projet bien et indique
la date laquelle ces tches doivent tre effectues. Pour chaque activit, il indique une date de dbut
et de fin au plus tt et au plus tard, ainsi que le nom de la personne responsable de son excution et
les tches qui lui incombent. Il fait apparatre les liens entre les diffrentes activits (savoir, par exemple,
si la tche B peut dbuter lorsque la tche A nest pas termine). Le tableau 3.7 prsente un diagramme
de Gantt type.
Le budget du projet
Les ressources physiques et non physiques du projet sont les moyens ncessaires pour excuter les
activits planifies et grer votre projet. Ces ressources comprennent les intrants humains et matriels,
le temps et les fonds. Elles constituent la base du budget global de votre projet, qui permet de dfinir le
cadre financier de sa mise en uvre. La liste de contrle prsente dans lencadr 3.3 vous aidera
dterminer les lments prendre en compte dans llaboration de votre budget.
T Identifiez les principales rubriques budgtaires du projet en fonction de leur rpartition au sein de lensemble du budget. Est-il
acceptable pour le projet (et sur la base des standards existants) que ces lignes budgtaires constituent la principale rubrique du
budget du projet ?
T Le budget concide-t-il avec les rubriques budgtaires retenues par lorganisme de financement ?
T Existe-t-il une politique dencadrement des cots financer par chaque organisme de financement (par exemple, les cots de
fonctionnement, la rmunration du personnel local) ? Cette politique reflte-t-elle vraiment les cots associs au projet ?
T Avez-vous intgr les cots fixes dans le budget ? Si tel est le cas, cela a-t-il t convenu lavance avec lorganisme de
financement ?
T Certaines des activits intermdiaires sont-elles coteuses ? Pourquoi le sont-elles ? Existe-t-il des moyens plus rentables de parvenir
aux mmes rsultats ?
T Est-il possible de solliciter la contribution des parties prenantes cls afin de rduire les besoins en fonds allous par lorganisme
de financement ?
T Le projet gnre-t-il des revenus qui lui seront ensuite restitus ?
T valuez la rentabilit du projet. Quel est le cot par bnficiaire ? Ce cot est-il acceptable par rapport aux projets similaires
de mme envergure raliss dans la rgion ou dans le secteur ?
T Le budget prvu est-il viable ? (par exemple, peut-on atteindre les objectifs fixs avec un minimum de ressources, et ce au cot
le plus bas possible ?)
Encadr 3.3
Liste de contrle permettant dtablir le budget dun projet
Cadre logique et valuation
Lvaluation remet en cause les hypothses initiales qui fondent le processus dlaboration du projet et
permet de dterminer si les objectifs spcifiques du projet ont t atteints. La mthode du cadre logique
utilise pour concevoir un nouveau projet est diffrente de celle qui est utilise pour valuer un projet en
cours ou termin. En effet, au cours de la phase danalyse de lvaluation, vous utiliserez les informations
utiles la conduite du projet plutt que les sources de donnes primaires.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
80
La figure 3.4 met en vidence les principaux liens existant entre critres dvaluation et lments cls du
cadre logique.
Lorsque vous tablissez des liens entre les critres dvaluation et les lments du cadre logique, posez-
vous la question suivante : Tout sest-il pass comme prvu ? . Pour rpondre cette question, il
convient de mettre en exergue les points suivants :
T la qualit de la gestion au quotidien,
T la rentabilit,
T le niveau de contribution des parties prenantes,
T la qualit du suivi,
T le caractre appropri des indicateurs.
Impact
Pertinence
Durabilit
Utilit
Figure 3.4
Liens existant entre les critres dvaluation et les lments du cadre logique
Efficacit
Pertinence
Convivialit
Efficacit
Accessibilit
Convivialit
Efficience
Objectif gnral
Objectif spcifique
Rsultats escompts
Activits
Apports
CRITRES DVALUATION LMENTS DU CADRE LOGIQUE
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
81
La description des principaux critres dvaluation ci-aprs a pour but de mettre en vidence leurs liens
avec les diffrents lments cls du cadre logique.
La pertinence. Elle repose sur lanalyse des objectifs du projet au regard des enjeux identifis. Les
principaux facteurs prendre en considration sont les suivants :
T ladquation du produit/service par rapport aux priorits des parties prenantes cls ;
T la complmentarit et la cohrence avec les autres activits ou projets mis en uvre dans la
rgion ;
T la conception globale du projet (avantages et limites).
Laccessibilit. Cest la possibilit quont les parties prenantes cls daccder votre projet. Autrement
dit, leur facilit daccs au produit/service dinformation en termes de diffusion, de disponibilit et
dopportunit.
La convivialit. Il sagit de la facilit dutilisation par les parties prenantes cls de votre produit/service.
Celle-ci repose sur plusieurs facteurs :
T lexhaustivit du produit/service par rapport au contexte dans lequel il sera utilis ;
T le niveau de langue accessible (la langue par elle-mme, son niveau et son style, si elle est
prsente sous forme crite) ;
T sa pertinence par rapport aux conditions de vie des parties prenantes, la clart des diagrammes et
des illustrations ainsi que la prcision des informations sur le plan technique.
Lefficacit. Cela renvoie la conformit des rsultats obtenus par le projet avec les objectifs du projet.
Les principaux facteurs prendre en considration sont les suivants :
T dans quelle mesure les objectifs viss ont t atteints ;
T dans quelle mesure les bnfices escompts sont perceptibles ;
T la pertinence des indicateurs au regard des bnfices ;
T si les rsultats sappuient sur des hypothses inadquates ou non valides ;
T comment des rsultats non planifis auraient pu affecter les bnfices apports.
Limpact. Il dsigne les relations entre le but (ou lobjectif spcifique) et lobjectif gnral du projet.
Lanalyse de limpact doit tre considre sous un angle tant quantitatif que qualitatif. Les principaux
facteurs prendre en considration sont les suivants :
T dans quelle mesure les objectifs viss ont t atteints ;
T la pertinence des indicateurs du cadre logique ce niveau ;
T le caractre appropri des impacts spcifiques (ceux lis au genre, par exemple).
La durabilit. Elle permet de dterminer si les rsultats positifs du projet sont susceptibles de perdurer
aprs que les financements ont pris fin. Les principaux facteurs prendre en considration sont les
suivants :
T lappropriation des objectifs et des ralisations ;
T lappui politique et les responsabilits des institutions bnficiaires ;
T la capacit institutionnelle ;
T ladquation du budget ;
T les facteurs socioculturels ;
T la durabilit financire.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
82
Lutilit. Cest la possibilit de voir votre projet reproduit avec succs ailleurs ou auprs dautres
groupes de parties prenantes. Il convient de prendre en compte les facteurs suivants :
T lutilisation possible du produit dinformation par dautres groupes de personnes similaires ;
T les conditions de succs du produit et le fait de savoir sil fait recette ailleurs ou auprs dautres
groupes de personnes ;
T ce quil convient de faire pour sassurer que le produit pourra tre utilis par dautres personnes
dans dautres rgions (par exemple, traduction dans une autre langue et utilisation des illustrations
dans un autre contexte) ;
T les enseignements tirs du projet dans la mesure o ceux-ci pourraient tre appliqus utilement
dautres projets.
Lefficience. Il sagit du rapport cot-efficacit de votre projet, produit ou service dinformation en
termes de rsultats (quantit, qualit et respect des dlais) par rapport aux intrants engags. Les
principaux facteurs prendre en considration sont les suivants :
T le projet a-t-il mobilis plus de ressources que ncessaire ;
T la qualit de la gestion au quotidien ;
T le niveau de contribution (financire et humaine) des partenaires ;
T la qualit du suivi ;
T le caractre appropri des indicateurs.
Dans votre valuation, certains critres peuvent tre plus importants que dautres, en fonction du projet
valuer.
T Soyez clair et convaincant propos des spcifications concernant limpact du projet envisag.
T Fixez des objectifs ralistes sappuyant sur un ensemble dactivits clairement dfinies.
T tablissez des liens entre les ressources (intrants), les activits, les impacts et les objectifs oprationnels.
T Veillez prendre en compte les facteurs externes qui peuvent avoir une influence sur la russite du projet.
T Les indicateurs et les sources de vrification doivent tre constamment suivis et valus. Adaptez le cadre logique,
si ncessaire.
T Ne partez pas du principe selon lequel un cadre logique bien conu est forcment la cl du succs de votre projet.
T Lorsque toutes les cases concernes de la matrice du cadre logique auront t remplies, ne relguez pas celle-ci aux
oubliettes ; on doit sy rfrer en permanence pour pouvoir vrifier si les objectifs (gnraux et spcifiques) sont en voie
dtre atteints.
Encadr 3.4
Construction dun cadre logique Points cls retenir
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
83
La gestion axe sur les rsultats
La gestion axe sur les rsultats parfois appele gestion des performances ou mesure des
rsultats est un modle de planification de projet qui vise rpondre une demande croissante
quant la preuve que les activits finances obtiennent des rsultats long terme. Cette demande mane
en particulier des organisations bnficiant dun financement public.
Ce systme de gestion reflte le passage dun mode dvaluation ax sur les intrants du projet (par
exemple, lefficacit financire, lutilisation des ressources humaines) un mode dvaluation ax sur les
extrants du projet (les rsultats attendus). Cette approche donne une comprhension plus raliste de la
manire dont le projet influe sur les conditions de vie de ses principales parties prenantes.
Les plus fervents partisans de la gestion axe sur les rsultats sont la Banque mondiale, lAgence des
tats-Unis pour le dveloppement international (USAID) et lAgence sudoise de coopration
internationale pour le dveloppement (SIDA). Les responsables de projet ont recours cet outil pour
grer leurs projets et en assurer le suivi. Pour les bnficiaires, cest un indicateur de ce quils peuvent
vraiment attendre dun projet. Pour les valuateurs, cest le moyen le plus simple de mesurer les rsultats
dun projet.
LIMITES
T La ralisation (tout comme lapplication) du cadre logique
peut exiger un temps considrable.
T Risque de simplifier outre mesure les objectifs.
T Sil nest pas formul de manire participative, il risque de
ne pas reflter prcisment les solutions convenues.
T Peut minimiser les objectifs moins quantifis et les effets
imprvus.
T Cette approche repose sur la dtermination lavance
des rsultats du projet, alors que les contextes du
dveloppement tendent tre complexes et plein
dincertitudes.
Encadr 3.5
Lapproche du cadre logique Avantages et limites
AVANTAGES
T Montre clairement le lien logique de moyens fins
par lequel laccomplissement des objectifs spcifiques
permet la ralisation de lobjectif gnral.
T Fait apparatre clairement les objectifs, les responsabilits,
la mesurabilit et les sources de vrification.
T Spcifie les intrants mis disposition et les cots inhrents
aux activits du projet.
T Permet didentifier les hypothses et les risques majeurs
lis au projet.
T Met laccent sur la collecte systmatique et efficace des
informations accessibles.
T Contribue lamlioration des processus dcisionnels.
T Joue un rle important dans toutes les tapes du cycle de
projet (y compris dans les processus de planification et de
mise en uvre de lvaluation).
T Formul de manire participative, le cadre permet de
reflter les multiples perspectives des parties prenantes.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
84
POURQUOI ?
La gestion axe sur les rsultats est le meilleur moyen dtablir un lien entre les mesures de performance
et les rsultats attendus dun projet. Llaboration de rsultats spcifiques attendus durant la phase de
planification facilite non seulement les phases ultrieures de gestion et de suivi, mais aussi la mise en
uvre de lvaluation.
COMMENT ?
Mme si le mode de mise en uvre de la gestion axe sur les rsultats varie selon les organisations, dans
tous les cas, elle se focalise sur les rsultats et les moyens de les atteindre, travers notamment :
T une analyse de la situation existante ;
T lidentification dobjectifs spcifiques ;
T le choix dune stratgie permettant datteindre les objectifs fixs ;
T llaboration de critres de russite ;
T lanalyse des hypothses et des obstacles potentiels la russite du projet.
La gestion axe sur les rsultats est perue comme tant un lien essentiel entre la phase dvaluation et
la phase de planification. Lorsquune valuation est mene pendant la mise en uvre du projet, les
rsultats peuvent permettre dalimenter le processus de planification en cours. Lorsquune valuation est
mene une fois le projet termin, les rsultats peuvent servir alimenter tout processus ultrieur de
planification stratgique et de diffusion des rsultats.
Nous examinerons tout dabord le cadre de rfrence pour la mise en uvre de la gestion axe sur les
rsultats et vous en prsenterons, travers un exemple pratique, une application. Notre rflexion portera
ensuite sur la gestion axe sur les rsultats dans le contexte du suivi-valuation.
Le cadre de rfrence
La gestion axe sur les rsultats repose sur la faon dont une organisation exploite ses capacits, renforce
sa motivation, matrise ses processus et mobilise ses ressources pour atteindre les rsultats viss.
Ce mode de gestion est gnralement fond sur des rsultats concrets montrant des effets bnfiques
pour la communaut. Il ne faut surtout pas confondre rsultats avec activits . Bon nombre de
personnes, lorsquon leur demande ce quelles produisent, dcrivent leurs activits plutt que les rsultats
escompts qui dcoulent de ces activits (les produits).
Les critres essentiels dune application efficace de gestion axe sur les rsultats sont les suivants :
T des rsultats spcifis qui sont mesurables, pertinents et valuables ;
T des ressources adquates pour atteindre les rsultats viss ;
T des dispositions organisationnelles pour sassurer que les responsabilits sont alignes sur les rsultats
et les ressources disponibles ;
T des processus de planification, de suivi, de communication et de mobilisation de ressources qui
permettent une organisation dutiliser efficacement ses ressources pour parvenir aux rsultats
souhaits.
Les hypothses qui sous-tendent le cadre de gestion axe sur les rsultats sont exactement les mmes
que celles qui ont t formules pour le cadre logique. Un projet est troitement li lenvironnement
dans lequel il sinscrit et le responsable de projet ne peut exercer aucun contrle sur ce qui pourrait se
produire. La comprhension et lvaluation des hypothses prises en compte dans lenvironnement dun
projet font partie intgrante de son processus dlaboration. Afin dviter lchec dun projet, il
conviendra non seulement didentifier les hypothses de manire raliste, mais aussi den tenir compte et
den assurer constamment le suivi.
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
85
Lencadr 3.6 propose un exemple dapplication pratique dune approche de gestion axe sur
les rsultats. Celui-ci met en exergue deux composantes importantes de la gestion axe sur les
rsultats :
T Cette approche fait la distinction entre les ralisations (rsultats), dune part, et les
activits et la mise en uvre, dautre part. Dans lexemple propos, les activits comprennent la
conduite dune analyse primaire pour avoir un aperu des points de vue et valuer les niveaux de
connaissances des personnes, prparer les moyens matriels affects au projet et enfin sensibiliser au
projet ces activits ne doivent en aucun cas tre considres comme des rsultats atteints.
T Cette approche souligne la ncessit de dterminer lavance les rsultats attendus
du projet. Dans lexemple propos, si lobjectif consiste uniquement susciter davantage
lattention sur limportance dutiliser de leau potable, alors le projet ne peut tre tenu responsable
si les fermiers utilisent encore leau dirrigation pour faire la cuisine. Si lobjectif est de changer leur
comportement, le rsultat qui importe ici est le nombre de fermiers ayant commenc utiliser leau
potable.
Impact
Figure 3.5
Cadre de la gestion axe sur les rsultats
Rduire la mortalit due aux maladies
hydriques lchelon national
R

S
U
L
T
A
T
S
A
T
T
E
N
D
U
S
P
O
U
R
Q
U
O
I
?
O
b
j
e
c
t
i
f
s
d
e
l
a
g
e
s
t
i
o
n
b
a
s

e
s
u
r
l
e
s
r

s
u
l
t
a
t
s
Ralisations
100 agriculteurs connaissent le programme radio
50 agriculteurs ont chang leurs habitudes et
pensent dsormais quil vaut mieux utiliser leau
du robinet pour faire la cuisine
50 agriculteurs convertis
Sensibilisation gnrale sur lintrt
dutiliser leau potable pour faire la cuisine
Ralisation de 10 campagnes mdiatiques
Lancement dune campagne radiophonique
Conversion des matriels en pisodes
radiodiffuss
Commission dexperts
Experts
Personnel
Ressources financires
Rsultats
Activits
Apports
C
O
M
M
E
N
T
?
M
i
s
e
e
n

u
v
r
e
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
86
Le tableau 3.8 numre huit questions que vous pourriez utiliser pour dcrire votre projet selon une
approche de gestion axe sur les rsultats. Cet exercice est particulirement utile pour apprendre tre
clair, concis et prcis sur les rsultats attendus de votre projet.
Dans cet exemple, le projet vise lancer un programme radiophonique dans le but de sensibiliser les agriculteurs dune rgion donne
sur la ncessit dutiliser leau potable du robinet (et non pas leau dirrigation) des fins domestiques.
Lobjectif du projet serait de :
T sensibiliser un nombre x dagriculteurs, travers la diffusion dun programme radio, sur lintrt dutiliser leau potable du robinet
plutt que leau dirrigation pour faire la cuisine, boire et faire la lessive.
La stratgie du projet consisterait :
T lancer un programme radiophonique en langue locale qui serait diffus un moment o les agriculteurs coutent la radio un
moment opportun pour leur faire passer une information sur les avantages de lutilisation domestique de leau potable et les risques
potentiels lis lutilisation de leau dirrigation ces fins.
Exemples dactivits proposes :
T mener une enqute pour connatre le nombre dagriculteurs qui ont accs leau potable mais ne lutilisent pas ;
T identifier et dresser la liste des raisons pour lesquelles ils nutilisent pas leau potable ;
T constituer une quipe dexperts charge de prparer une documentation scientifique pour le programme ; ils pourront par ailleurs
sen inspirer pour laborer une srie dpisodes susceptibles dintresser les agriculteurs ;
T dterminer le moment opportun pour promouvoir et diffuser le programme radiophonique.
Exemples de rsultats possibles diffrents niveaux :
T Niveau 1 : un nombre x dagriculteurs connaissent le programme radio et ont dj commenc lcouter.
T Niveau 2 : un nombre x dagriculteurs le comprennent et savent dsormais pourquoi il faut utiliser leau du robinet.
T Niveau 3 : un nombre x dagriculteurs ont chang leurs habitudes et pensent dsormais quil vaut mieux utiliser leau potable du
robinet pour faire la cuisine, boire et faire la lessive.
T Niveau 4 : un nombre x dagriculteurs ont chang leurs habitudes et nutilisent plus leau dirrigation pour faire la cuisine, boire et
faire la lessive ; ils utilisent dsormais leau propre du robinet.
Encadr 3.6
Exemple dapplication dune approche de gestion axe sur les rsultats
Quel problme cherchez-vous rsoudre dans le cadre de ce projet ?
Qui peut en tirer avantage ?
Quelles sont les principales activits lies au projet ?
Quelles sont les ralisations attendues de ces activits ?
Quels sont les rsultats escompts partir de ces ralisations ?
Quel impact aura votre projet ?
Quels peuvent tre les obstacles majeurs au succs du projet ?
Quels indicateurs utiliserez-vous pour mesurer ltat davancement du
projet en matire de ralisations et de rsultats ?
Problme
Qui ?
Activits
Ralisations
Rsultats
Impact
Obstacles
Indicateurs
QUESTION MOT-CL VOTRE RPONSE
Tableau 3.8
Exercice visant dcrire un projet selon lapproche de la gestion axe sur les rsultats
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
87
Le suivi-valuation
La possibilit davoir une gestion vritablement axe sur les rsultats implique la mise en adquation des
objectifs de suivi-valuation avec les plans annuels et les autres plans de travail de lorganisme
dexcution. Cette approche aide lorganisation se concentrer sur la ralisation des objectifs, en mettant
laccent sur une utilisation effective et pas seulement efficace des ressources.
Le suivi
Le suivi, tel quon le dcrit gnralement, consiste en la collecte systmatique de donnes (voir
la deuxime partie). Il aide identifier les problmes courants lis la mise en uvre des activits.
Il fournit en outre aux gestionnaires dun projet en cours des renseignements sur le degr de
ralisation des objectifs viss et, le cas chant, dtermine les actions correctives ncessaires avant
lvaluation.
La gestion axe sur les rsultats met surtout laccent sur le suivi. Dans cette approche, on utilise
lacronyme CREAM pour dcrire un bon indicateur : Clear (clair), Relevant (pertinent),
Economic (conomique), Adequate (adquat) et Monitorable (valuable). Les points suivants sont
essentiels :
T satisfaire les besoins dinformation sur les rsultats au niveau du projet, du programme et de la
politique ;
T identifier la demande dinformation sur les rsultats chaque niveau ;
T linformation sur les rsultats doit tre dissmine la fois horizontalement et verticalement au sein
de lorganisation ;
T dfinir clairement les responsabilits chaque niveau pour la collecte de donnes.
Lvaluation
Dans le cadre de lapproche de gestion axe sur les rsultats, les questions cls de lvaluation sont les
suivantes :
T Stratgie : Ce qui est fait est-il juste sur le plan stratgique ? Cela renvoie une analyse raisonne et
une thorie de laction qui soit claire.
T Activits : Les choses sont-elles faites correctement ? Il sagit ici de lefficacit dans la ralisation
des rsultats attendus, de lefficience dans loptimisation des ressources et de la satisfaction des
utilisateurs.
T Apprentissage : Peut-on amliorer la faon de faire les choses ? Il sagit denvisager des
solutions alternatives et de mettre en avant les meilleures pratiques et les leons tires de
lexprience.
La mthode de gestion axe sur les rsultats prvoit quatre cas qui justifient la collecte des donnes
dvaluation pour appuyer le processus de prise de dcision en matire de gestion :
T diffrence entre performance planifie et performance relle ;
T ncessit de faire la distinction entre la phase dlaboration et la phase de mise en uvre pour savoir
laquelle de ces deux phases contribue latteinte des rsultats ;
T ncessit de dterminer ce qui marche (ou pas) de manire efficace et effective ;
T interprtations divergentes des rsultats.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
88
Le benchmarking
Le benchmarking, ou analyse comparative, est un outil de planification de projet qui consiste comparer
un produit/service par rapport dautres produits/services ayant des fonctions similaires et destins aux
mmes parties prenantes. Il est important de savoir comment ce produit/service a t valu et si les
parties prenantes cls ont t consultes. Autrement dit, il vous faut comparer ce qui est comparable, en
utilisant les mmes paramtres.
Le benchmarking est une dmarche qui vise identifier les meilleures pratiques lies aux procdures,
produits et services dune organisation. Avant de se lancer dans ce type dexercice, il conviendra de tirer
profit des expriences russies dans ce domaine.
Initialement dveloppe aux tats-Unis dans les annes 1970, la mthode de benchmarking a t utilise
principalement par des socits oprant dans le secteur industriel. Elle est aujourdhui de plus en plus
utilise par les organisations du secteur public, les universits et les agences de dveloppement.
Encadr 3.7
Construire un cadre de gestion axe sur les rsultats Points cls retenir
T Clarifiez les paramtres du projet.
T Rappelez-vous que lenvironnement dans lequel sinscrit votre projet est compos de multiples facteurs dincertitude susceptibles
daffecter votre projet. Il vous faudra par consquent actualiser ce cadre en permanence.
T Ne concevez pas votre projet pour ensuite essayer didentifier les causes du problme .
T Montrez clairement dans quelle mesure les personnes impliques dans les activits du projet contribuent aux amliorations attendues
long terme.
T Ne dcrivez pas lobjectif du projet en fonction de ce qui doit tre fait mais plutt en termes de rsultats tangibles.
LIMITES
T Cette approche peut paratre confuse dans la mesure o
on la dsigne parfois sous diffrentes appellations.
T Les termes utiliss ne sont pas les mmes que ceux utiliss
pour le cadre logique, ce qui peut prter confusion.
Encadr 3.8
Approche de gestion axe sur les rsultats Avantages et limites
AVANTAGES
T Requiert la participation des parties prenantes cls et des
acteurs impliqus dans la mise en uvre du plan.
T Approche objective et axe sur les rsultats qui met
laccent sur les objectifs fixs et les moyens dy parvenir.
T Elle est base sur la squence logique
intrants/activits/rsultats court terme/objectifs moyen
et long termes.
T Flexible.
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
89
POURQUOI ?
Le benchmarking vise amliorer lefficacit et lefficience de votre projet et contribue ainsi renforcer
son niveau de performance. Il vous aide identifier et adopter des normes plus strictes et des pratiques
optimales.
COMMENT ?
Le processus de benchmarking se droule en plusieurs tapes. Sil doit tre excut de faon squentielle,
comme lindique la figure 3.6, le benchmarking ne doit pas tre considr comme un processus linaire.
Il est possible que vous soyez amen revisiter des activits intervenant au cours des tapes prcdentes
(revenir sur le droulement de vos propres oprations, par exemple) et enchaner simultanment
diffrentes activits en plusieurs tapes conscutives.
Quel que soit le type de squence utilis, il faut toutefois sassurer que chacune des tapes a t
suivie.
Les types de benchmarking
Il existe diffrents types de benchmarking, comme indiqu dans le tableau 3.9.
Le processus de benchmarking
Le processus de benchmarking est illustr la figure 3.6, qui rend compte des huit tapes du processus.
Ltape 8 est particulirement importante. Spore, le magazine phare du CTA destin toutes les
personnes impliques dans des projets de dveloppement agricole et rural dans les pays ACP , est utilis
Interne
Concurrentiel
Fonctionnel
Gnrique
Il sagit de comparer ses activits dautres
activits similaires lintrieur de sa propre
organisation
Il sagit de se comparer au meilleur des
concurrents sur le march
Il sagit de comparer des mthodes similaires au
sein dorganisations oprant dans diffrents
secteurs dactivit afin damliorer les fonctions et
processus de travail
Il sagit de comparer ses pratiques avec celles
dun secteur diffrent (pratiques innovantes et
exemplaires, par exemple)
TYPE DESCRIPTION EXEMPLE
Tableau 3.9
Typologie du benchmarking
Entre les diffrents services au sein dune mme
organisation. Principal avantage : facilit daccs
aux donnes et informations sensibles.
Inconvnient : manque dinnovation
Un centre de formation bas au RU a compar ses
activits avec celles de lOpen University, rpute
pour son enseignement distance de qualit
Souvent utilis lorsquil ny a aucun homologue (par
exemple, une agence de dveloppement ayant une
approche unique pour la mise en ?uvre de projets
dinformation dans les pays ACP devra explorer
dautres horizons que le secteur de linformation lie
au dveloppement pour comparer ses activits)
Une agence de dveloppement pourrait se comparer
une agence de lobbying afin dexaminer
comment elle utilise son rseau pour influencer le
processus dcisionnel sur le plan politique
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
90
comme exemple. Ce magazine se distingue plusieurs titres : son utilit, son rapport cot-efficacit, ses
analyses systmatiques et rigoureuses, la qualit de son contenu, sa ractivit (Spore parat en formats
imprim et lectronique).
TAPE 1
Identifier le
produit/service
comparer
Votre bulletin
dinformation
Figure 3.6
Les tapes du processus de benchmarking
TAPE 2
Que souhaitez-vous
valuer et qui
propose un
exemple de
rfrence ?
Le magazine Spore
TAPE 3
Slectionner un
processus et
lorganisation
proposant la
meilleure pratique
Au moment de
lanalyse des
donnes, prparer
les questions
poser
TAPE 4
Questions
(exemples) :
Q : Quel tait le taux
de distribution initial
du bulletin
dinformation (par
rapport au magazine
Spore) ?
R : 20 %
Q : O en sommes-
nous prsent ?
R : 40 %
Q : Taux de
distribution attendu
pour tre comparable
Spore ?
R : en 1 an 60 %
en 2 ans 80 %
en 3 ans 100 %
TAPE 5
Q : Quels sont les
moyens pour y
parvenir ?
R : Amliorer la
formation du personnel
en charge de la
publication ; amliorer
la prsentation ;
proposer davantage
de questions
transversales ; inviter
les experts apporter
leur contribution
Q : Comment savoir
si nous y sommes
parvenus ?
R : Enqutes auprs
des lecteurs ;
augmentation des
chiffres de diffusion
du bulletin
Analysez votre bulletin dinformation et comparez vos rsultats avec ceux du
magazine Spore en termes dutilit, de rentabilit, de qualit du contenu,
dopportunit et de diffusion
TAPE 6
laide des
rponses aux
questions de
ltape 5, vrifier
les rsultats obtenus
et tablir les
indicateurs de
performance
TAPE 7
Formuler un plan
daction (pour la
mise en uvre des
changements).
Prsenter les rsultats
de votre exercice de
benchmarking aux
membres du
personnel afin
dobtenir leur
adhsion aux
changements
TAPE 8
Mise en uvre des
changements.
Assurer le suivi des
changements sur
une base rgulire
pour vrifier que les
choses avancent
dans la bonne
direction
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
91
Lidentification des indicateurs
Cet outil de planification de projet vous aidera identifier les indicateurs appropris pour mesurer ltat
davancement de ce quoi vous souhaitez parvenir.
Les indicateurs sont des mesures quantitatives ou qualitatives qui vous permettent dvaluer le degr
de ralisation des rsultats et de limpact de votre projet. Ils vous aident galement mettre laccent sur
ce que vous essayez vraiment de raliser, et pourquoi. Ils refltent les aspects que vous jugez les plus
importants de la qualit de votre produit/service. Ils peuvent tre quantitatifs (par exemple, combien de
personnes ont cout tel programme radiophonique ?) ou qualitatifs (quont-elles pens du contenu de
ce programme ?). Certaines choses sont relativement faciles mesurer (par exemple, le nombre de
Encadr 3.9
Mener bien un exercice de benchmarking Points cls retenir
T Assurez-vous dobtenir laval de la direction avant de vous lancer dans ce type dexercice.
T Entourez-vous de personnes dotes de comptences largies afin de renforcer votre quipe de benchmarking interne.
T Ne vous basez pas sur des points de comparaison prexistants.
T Nessayez pas dtudier un systme dans son intgralit ; scindez votre systme en plusieurs parties, plus faciles grer.
T Ne vous lancez pas dans un exercice de benchmarking uniquement pour le plaisir.
T Choisissez des sujets tangibles qui ne sont pas trop difficiles valuer.
LIMITES
T Peut ncessiter du temps et un socle commun de
comptences et de connaissances.
T Il est parfois difficile, pour des raisons de confidentialit,
de convaincre les partenaires de partager leurs
informations.
T Il peut y avoir des problmes de communication entre les
partenaires.
T La direction nappuie pas toujours cette dmarche dans
la mesure o elle risque dexposer les faiblesses de
lorganisation.
T Il peut savrer difficile de transfrer les meilleures
pratiques vers dautres organisations en raison
notamment de facteurs culturels et environnementaux.
T Il faut un certain temps avant daboutir des rsultats
quantifiables, en fonction de la porte et de la nature des
changements apports.
Encadr 3.10
Lexercice de benchmarking Avantages et limites
AVANTAGES
T Offre lopportunit de sappuyer sur le travail des autres,
pour viter de rinventer la roue et faciliter une utilisation
optimale des ressources.
T Aide identifier ce qui doit tre amlior, et comment
(normes plus strictes, qualit).
T Aide identifier les zones dombre et les moyens daction
ncessaires pour les clarifier.
T Permet didentifier les meilleures pratiques institutionnelles.
T Men de manire participative, ce processus permet aux
employs de visualiser les amliorations apportes, ce qui
peut tre un catalyseur pour le changement.
T Encourage les organisations trouver les moyens
dvaluer leurs produits/services en termes dintrants et de
rsultats afin de promouvoir les aspects les plus
bnfiques dun projet.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
92
personnes qui utilisent votre produit/service), dautres le sont moins (par exemple, comment les
utilisateurs ont-ils tir parti de ce produit/service ?). En raison dune adquation imparfaite entre certains
indicateurs et ce quils sont censs mesurer, il est souvent prfrable dutiliser plusieurs indicateurs pour
rendre compte de diffrentes dimensions.
Afin den valuer la performance, identifiez tout dabord votre produit/service dinformation, puis
demandez-vous qui il sadresse et comment il est fourni. Cela vous donnera des orientations sur ce que
peuvent tre des indicateurs defficacit ou defficience. Des mesures rptes au fil du temps montreront
si les changements vont dans la direction souhaite. Au besoin, il conviendra de prendre certaines
mesures afin dapporter de nouveaux changements.
La procdure est la mme pour valuer limpact de votre produit/service. Ici, les indicateurs sont lis aux
rsultats, aux effets bnfiques pour les parties prenantes cls et leur impact sur lenvironnement socio-
conomique. Par exemple, limpact des missions radiophoniques hebdomadaires sur les agriculteurs peut
se rvler au travers dune meilleure connaissance des prix pratiqus sur le march ; lindicateur ici
pourrait tre le changement de prix la production sur le march local par rapport ceux pratiqus
dans les agglomrations urbaines. Cette meilleure connaissance pourrait orienter les agriculteurs vers des
productions mieux rmunres ; un indicateur utile pourrait ici tre le pourcentage de changement dans
la production de certaines cultures au cours dune priode donne.
POURQUOI ?
Les indicateurs constituent un moyen de rendre mesurables les questions que vous jugez importantes. Ils
vous permettent de rpondre des questions telles que :
T Offrons-nous un produit/service utile rpondant la demande/au besoin des principales parties
prenantes ?
T Les utilisateurs en ont-ils pour leur argent ?
T Son utilisation est-elle optimale par rapport aux ressources engages ?
T Devrions-nous procder diffremment ?
Vous devrez par consquent tablir pourquoi vous souhaitez valuer certaines questions et quelles
dimensions vous semblent importantes.Vous choisirez votre mthode de collecte de donnes en fonction
des indicateurs identifis. Ces indicateurs vous guideront par ailleurs dans lanalyse, linterprtation et la
diffusion des donnes.
COMMENT ?
Tout dabord, ayez une ide prcise de ce que vous voulez connatre. Rflchissez ensuite au meilleur
moyen de recueillir ces informations et identifiez-en les dimensions qui peuvent tre mesures. Par
exemple, si vous vous intressez au niveau de satisfaction des auditeurs , vous pouvez conduire une
analyse daudience au cours de laquelle vous poserez notamment la question : Avez-vous aim le
programme X ? .Vous devrez ensuite mesurer le pourcentage dauditeurs ayant rpondu oui .Vous
pourriez galement souhaiter connatre quelles parties du programme les auditeurs ont le plus apprcies
; dans ce cas, un entretien individuel vaut mieux quun questionnaire pour obtenir ce type dinformations.
Llaboration des indicateurs
Le processus se droule en cinq tapes :
T tape 1 : Vrifier que les objectifs du projet sont mesurables.
T tape 2 : Choisir les indicateurs.
T tape 3 : Spcifier le type dindicateurs
T tape 4 : Dterminer les points de rfrence
T tape 5 : valuer la qualit des indicateurs
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
93
tape 1 : Vrifier que les objectifs du projet sont mesurables
Certaines questions sont des indicateurs vidents (par exemple, le nombre dutilisateurs dun service
dinformation). Dautres sont plus abstraites (par exemple, des termes comme la qualit du service
dinformation, ou l apprentissage qui rsulte du service offert). Ainsi, vous devrez dfinir en des
termes concrets la question et les activits affrentes. Lencadr 3.11 montre comment rendre mesurable
une question abstraite.
Pour mesurer la qualit dun service dinformation, il faudra tenir compte des critres suivants :
T Laccessibilit (la distance depuis le point de service, le temps ncessaire pour rpondre aux diffrentes demandes, les moyens
techniques requis pour pouvoir accder au service).
T La convivialit (disponibilit des informations ncessaires laccomplissement de certaines tches, documentation pertinente dans
une langue comprhensible, images et diagrammes comprhensibles par tous, etc.).
T La pertinence (met laccent sur les problmes rels auxquels les parties prenantes cls sont confrontes, offre des choix et de
nouvelles perspectives, indique dautres sources dassistance disponibles et intervient en complmentarit).
T Lefficience (lenchanement logique, lutilisation de matriel didactique et illustratif).
Les aspects lis la mesure de lapprentissage leffet bnfique direct dun service dinformation sont les suivants :
T lamlioration des connaissances (aptitude identifier et rsoudre les problmes) ;
T ladoption dun comportement plus assur (plus mme de fournir le service) ;
T lutilisation rgulire des comptences (nombre de fois o de nouvelles connaissances sont appliques).
Encadr 3.11
Rendre une question abstraite mesurable
Afin dvaluer le concept abstrait, identifiez les aspects spcifiques mesurer. Chaque aspect peut devenir
un indicateur. Leur nombre dpendra du temps et des ressources disponibles.
Les diffrents aspects mesurer devront reflter les points de vue des parties prenantes. Lutilit dun
produit dinformation dpend par ailleurs des valeurs de la communaut desservie. Pour assurer une
reprsentation approprie des questions, il sera donc utile dexplorer les points de vue des parties
prenantes. Lutilisation dune approche participative peut galement reprsenter un gain de temps
significatif dans la dure.
tape 2 : Choisir les indicateurs
Ltape 1 offre de nombreuses possibilits pour formuler les questions dvaluation. Ltape 2 consiste
slectionner une batterie dindicateurs pour lvaluation.Vous devrez passer en revue tous les points de
rfrence ncessaires afin de dterminer quelles sont les questions essentielles valuer. Lvaluation de
la performance dun produit/service comprendra des indicateurs sur la qualit des services offerts, les
bnfices attendus et le groupe cibl par le projet. Lvaluation de limpact dun produit/service inclura
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
94
des indicateurs relatifs aux rsultats, aux bnficiaires immdiats et aux changements apports au sein de
la communaut.
Le nombre dindicateurs sera choisi en fonction des ressources disponibles pour lvaluation. Il ne faut pas
plus de 10 15 indicateurs maximum, sauf pour les tudes de plus grande envergure. En rgle gnrale, il
vaut mieux se limiter un petit nombre dindicateurs fondamentaux.
Les indicateurs doivent galement tre choisis sur la base de critres mthodologiques (voir encadr
3.12). Pour dterminer, parmi les questions identifies ltape 1, celles qui sont susceptibles de se
traduire par un indicateur, consultez la liste ci-aprs. vitez tout chevauchement ou double emploi dans la
liste des indicateurs dfinitifs.
Les critres communment utiliss pour dfinir de bons indicateurs sont les suivants :
VALIDIT Lindicateur mesure-t-il la situation/le rsultat ?
FIABILIT Cette mesure sera-t-elle fiable dans le temps ?
SENSIBILIT Cette mesure est-elle sensible aux changements de situation ?
SIMPLICIT La collecte et lanalyse des donnes seront-elles simples mettre en uvre ? Les informations recueillies seront-elles utiles
pour la prise de dcision et lapprentissage ?
ABORDABILIT Dispose-t-on des ressources suffisantes pour collecter ces informations ?
Encadr 3.12
Exigences mthodologiques respecter dans le choix des indicateurs
tape 3 : Spcifier le type dindicateurs
Dans ltape 3, vous dciderez si un indicateur doit tre qualitatif ou quantitatif :
T Les indicateurs qualitatifs prsentent des informations descriptives. Ils ont pour but de mettre en
vidence des processus et des diffrences qualitatives plutt que de compter des lments.
Linformation pour ces indicateurs est souvent issue dobservations individuelles ou de groupe et de
jugements. Les indicateurs qualitatifs peuvent tre transforms en informations quantitatives (dans une
enqute, par exemple, aprs avoir demand aux rpondants si un bulletin dinformation tait facile
lire, intressant et attractif, vous pourriez utiliser les informations obtenues pour quantifier le nombre
de rponses positives cette question).
T Les indicateurs quantitatifs sont principalement utiliss pour les lments qui peuvent tre compts.
Les donnes sont relativement simples obtenir. Elles sont souvent gnres lors du processus de
mise en uvre dun projet et devront faire lobjet dune simple analyse (par exemple, le nombre de
tlchargements sur un site Web). Dautres types de donnes devront en revanche faire lobjet dune
analyse explicite, sur la base des statistiques disponibles et de questionnaires formels.
Comme le dcrit lencadr 3.13, il est possible daffiner vos indicateurs qualitatifs et quantitatifs
en ajoutant lunit danalyse en termes de niveau du systme social (qui individus, communauts,
organisations, rseaux, etc.), de priode de mesure (quand) et, le cas chant, de couverture
gographique (o).
Si les indicateurs quantitatifs sont plus prcis, les indicateurs qualitatifs ont le mrite de fournir une image
plus riche de la ralit et permettent de mieux comprendre les raisons du changement. Chacun de ces
deux types dindicateurs est objectif sa faon. Les donnes quantitatives sont moins susceptibles
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
95
dtre remises en cause. Les donnes qualitatives, en revanche, aident montrer la pertinence des faits
quon ne peut ignorer . Dans le contexte dun processus dapprentissage ouvert et dynamique, les
donnes qualitatives sont souvent plus utiles pour convaincre les gens de la valeur dun projet. Il est
galement possible dutiliser une combinaison dindicateurs qualitatifs et quantitatifs ; cette approche
savre souvent la plus approprie.
noter quil nest souvent pas possible dobtenir les donnes dtailles qui idalement vous
conviendraient. Dans lexemple de lencadr 3.11, il serait plus raliste dutiliser un indicateur qualitatif qui
se penche sur la perception globale et le degr de satisfaction quont les utilisateurs vis--vis de votre
service dinformation plutt que danalyser les critres qui dterminent la qualit du service
dinformation (accessibilit, convivialit, pertinence, efficience).
tape 4 : Dterminer les points de rfrence
Quil sagisse dun indicateur qualitatif ou quantitatif, il est ncessaire de dfinir un point de rfrence
partir duquel il sera possible de comparer des mesures entre elles. Les donnes de base, qui se rfrent
exactement aux critres associs lindicateur, constitueraient un point de rfrence idal.
Pour les donnes de base quantitatives lexception de quelques mesures simples (par exemple, les
chiffres relatifs la diffusion dun bulletin dinformation) on ne dispose gnralement pas de telles
informations. Il est beaucoup plus facile de trouver des donnes de base qualitatives. Les projets de
dveloppement disposent gnralement dune documentation concernant les problmes auxquels ils sont
censs rpondre et de plusieurs sources de donnes de base.
Hormis les donnes de base, il existe des points de rfrence alternatifs partir desquels il est possible
de comparer plusieurs mesures entre elles, comme indiqu dans lencadr 3.14.
tape 5 : valuer la qualit des indicateurs
Ltape suivante consiste valuer la qualit des indicateurs slectionns. Une technique communment
utilise cet effet est appliquer les critres SMART et SPICED aux indicateurs (voir deuxime partie,
page 50).
Indicateurs quantitatifs relatifs l accessibilit dun service dinformation :
T Distance qui spare les communauts rurales dun tlcentre offrant des services dassistance un cot relativement bas.
T Changement en pourcentage du nombre de visiteurs du tlcentre sur une priode dfinie.
Indicateurs qualitatifs relatifs l amlioration des connaissances induite par un service dinformation :
T Un certain nombre communauts vivent proximit du tlcentre, ce qui leur permet dutiliser ses services lorsquelles en ont besoin.
T Les expriences positives et ngatives des utilisateurs du service dinformation dans la rsolution des problmes pour lesquels ce
service a t mis en place.
T Aptitude des utilisateurs dbattre du problme pos.
Encadr 3.13
Exemples dindicateurs qualitatifs et quantitatifs
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
96
Ces critres sont utiliss pour une vrification finale des indicateurs. Il nest pas facile de rpondre tous
les critres la fois. Pour que votre valuation soit rentable, il faut viter de dfinir des indicateurs trop
ambitieux ou financirement coteux mesurer.
La cration dindicateurs est un processus itratif. partir de ltape 5, il pourra savrer utile de revenir
sur certaines tapes prcdentes. Souvent, la mise au point dindicateurs fait dj partie du processus
dvaluation, notamment lorsque vous travaillez en troite collaboration avec les parties prenantes.
T Les tendances (par exemple, une augmentation ou une baisse constante des demandes de subvention, une augmentation du
nombre de commentaires et suggestions de la part des lecteurs dune publication).
T Les seuils (par exemple, au moins trois districts couverts dans une base de donnes, le nombre minimum dtudiants participant
un cours).
T Les cibles (par exemple, le nombre de documents distribus une date convenue, les actes dune confrence disponibles en format
papier une date convenue).
Encadr 3.14
Points de rfrence pour comparaison
Vrifiez que vos indicateurs sont bien SMART :
Spcifiques et simples S
Mesurables M
Ralisables (Applicables) A
Ralistes R
Temporellement opportuns T
Exemple dindicateur SMART :
Si lobjectif du projet est de promouvoir lutilisation de varits amliores de semences et les pratiques agricoles au sein dune
rgion donne, la proportion dagriculteurs ayant utilis long terme ces varits amliores ainsi que les techniques agricoles
recommandes serait un bon indicateur. Ces informations sont spcifiques, mesurables, disponibles, ralistes et temporellement
opportunes.
Vrifiez que vos indicateurs sont bien SPICED :
Subjectifs S
Participatifs P
Interprts et communicables I
Croiss et compars C
Donnant du pouvoir E
Divers et dsagrgs D
Exemple dindicateur SPICED :
Si lobjectif du projet est de promouvoir lutilisation de varits amliores de semences et les pratiques agricoles au sein dune rgion
donne, la question de savoir pourquoi les agriculteurs ont utilis (ou non) ces nouvelles varits et pratiques et qui taient ces
agriculteurs (ge, genre, sant, niveau de pauvret, etc.) seraient de bons indicateurs.
Encadr 3.15
Critres SMART et SPICED permettant de mesurer la qualit des indicateurs
Partie 3: LES OUTILS DVALUATION : Les outils de planification de projet
97
Lapplication des indicateurs
Une fois les indicateurs mis au point, utilisez les donnes collectes pour valuer la performance de votre
produit/service dinformation.Vous devez tre mme de comprendre la signification des donnes
fournies par les indicateurs de manire les rendre plus pertinentes.
Les autres donnes recueillies au cours du processus dvaluation hormis celles issues des indicateurs
peuvent savrer trs prcieuses pour comprendre les rsultats. Les indicateurs qualitatifs offrent
davantage de possibilits cet gard.
Encadr 3.16
Sources dinformations supplmentaires sur les indicateurs
Les agences et associations professionnelles ont dress des listes dindicateurs cls de performance et de codes de conduite.
Parmi les exemples, citons le Systme dvaluation de la performance et de gestion de la qualit pour les bibliothques lectroniques
(http://equinox.dcu.ie), ainsi que lIFLA (Fdration internationale des associations et institutions de bibliothques) qui travaille sur
lvaluation des performances (http://www.ifla.org/VII/s22/annual/sp22.htm). Un autre exemple est celui du standard thique de la
Fdration internationale des journalistes (http://ifj.org/).
Il est galement utile de sintresser aux guides spcifiques dvaluation, notamment ceux fournis par le Centre de recherches pour le
dveloppement international (CRDI) sur lvaluation des tlcentres (Whyte, 1999 a, b).
Encadr 3.17
Crer et appliquer des indicateurs Points cls retenir
T Les indicateurs doivent tre dfinis au stade de la planification dune activit.
T Rappelez-vous que vous avez besoin dindicateurs qualitatifs pour expliquer ce qui se passe et pourquoi.
T Ayez lesprit que tous les indicateurs doivent tre utiliss de faon critique.
T Assurez-vous que les parties prenantes saccordent sur le choix des indicateurs. La valeur dune valuation peut tre mise en cause si
les indicateurs ne sont pas perus comme le critre adquat. Chaque indicateur peut tre contest (par exemple, un indicateur montre
que 80 % des lecteurs dune publication donne la trouvent utile ; nanmoins, ces lecteurs sont-ils capables dappliquer ces
connaissances nouvellement apprises ?).
T Il est important de donner des lments dexplication concernant les indicateurs quantitatifs. La signification des nombres gnrs
devra tre clarifie en dcrivant en termes qualitatifs ce quun chiffre particulier signifie dans un contexte donn.
T Lutilisation dindicateurs standards ou manant de prcdentes tudes permet dconomiser du temps, mais utilisez-les avec
prcaution et assurez-vous quils sont bien compris de tous et quils correspondent votre objectif.
T vitez de passer trop vite de lanalyse la mesure des questions poses. Il vaut parfois mieux formuler des questions que des
indicateurs, notamment dans le contexte de lapprentissage social, qui est caractris par des changements graduels, des points de
vue divergents et par la dimension culturelle du changement social.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
98
LIMITES
T En mesurant les changements sans tenir compte du
contexte dans lequel est effectue la collecte des
donnes, il est possible daboutir des conclusions
inappropries.
Encadr 3.18
Utilisation des indicateurs Avantages et limites
AVANTAGES
T Bien formuls, les indicateurs constituent un lment cl de
lvaluation et de lvaluation dimpact.
T La cration des indicateurs peut amener les participants
lvaluation (y compris les parties prenantes cls et
les membres de lquipe de projet) rflchir sur les
objectifs du projet et rvler leurs attentes concernant le
projet.
Partie 3: LES OUTILS DVALUATION : Les outils de planification de lvaluation
99
LES OUTILS DE PLANIFICATION DE LVALUATION
prsent, vous tes prt planifier votre valuation. Avant toute chose, posez-vous la question de savoir
pourquoi vous souhaitez conduire un processus dvaluation afin de ne pas prjuger de lventualit de
dcisions ultrieures. Par consquent, prenez le temps de bien clarifier vos objectifs.
Vous devrez ensuite rflchir la faon de procder, tape par tape, cette valuation. Il vous faudra
notamment choisir les personnes qui y participeront. Qui sera impliqu dans le processus ? Leurs points
de vue peuvent-ils influencer les dcisions lies aux objectifs de lvaluation ? Quels indicateurs faudra-t-il
mesurer, et comment ? Si certaines ou lensemble des dcisions doivent tre prises en commun avec vos
collgues, voire avec les parties prenantes cls ? La prise de dcision seul ou en petit groupe permet un
gain de temps prcieux mais se fait parfois au dtriment de la qualit des informations fournies et du
renforcement des capacits organisationnelles.
Si vous dcidez dimpliquer les parties prenantes cls, vous avez disposition une gamme complte
doutils (jeux de rle, reprsentations graphiques, vidos) pour encourager leur participation et runir
des informations utiles lvaluation. Dans la mesure du possible, celle-ci devra reposer sur une
dmarche participative (qui demande galement du temps). La dmarche participative apparat dautant
plus pertinente quelle nous permet dapprendre beaucoup plus de choses.
Les outils utiliser pour planifier votre valuation comprennent :
T les termes de rfrence,
T le modle logique.
Dans cette section, nous allons dcrire chacun de ces outils et comment les utiliser avant de dtailler
ceux dont vous avez rellement besoin pour mettre en uvre votre valuation.
Les termes de rfrence
Les termes de rfrence (TDR) dfinissent les modalits et les chances qui devront tre prises en
compte par lquipe dvaluation. Ils prcisent notamment :
T le contexte du projet valuer ;
T les principales raisons de lvaluation ;
T les objectifs et les rsultats attendus de lvaluation ;
T les questions cls et la porte de lvaluation ;
T la mthode dvaluation ;
T les rles et responsabilits des participants lvaluation ;
T le plan de travail et le budget de lvaluation ;
T les processus de communication et de diffusion des rsultats ;
T les principaux documents consultables pendant lvaluation.
Initialement tablis pour les tches de suivi-valuation, les TDR peuvent tre utiliss dautres fins,
notamment pour laborer des plans daffaires ou proposer des tudes de recherche.
POURQUOI ?
Il est trs important de prparer soigneusement les termes de rfrence, qui fixent les critres
permettant de juger les performances de lquipe dvaluation. Lquipe doit sassurer que le rapport final
aborde tous les points soulevs dans les termes de rfrence. Dans le cas contraire, notamment en raison
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
100
de circonstances indpendantes de votre volont, vous devez en informer le plus tt possible la direction
et les autres parties prenantes cls.
COMMENT ?
Le contenu des TDR peut varier en fonction de la porte du projet et des questions cls aborder dans
le cadre de lvaluation. Nanmoins, il existe un format gnralement accept et un rfrentiel standard
pour tablir ces termes de rfrence.
La prparation des termes de rfrence
La prparation des TDR se fait en neuf tapes, dcrites ci-aprs.
tape 1 : Contexte de lvaluation
Prparez un profil du produit/service dinformation valuer : son contexte historique, son volution
et son lien ventuel avec lobjectif du projet et avec votre institution. Identifiez clairement les parties
prenantes cls, leurs problmes, leurs rles respectifs dans le processus dvaluation ainsi que les besoins
qui ont abouti llaboration de ce produit/service.
tape 2 : Raisons de lvaluation
Vous devrez indiquer les raisons qui justifient la mise en uvre dun processus dvaluation, autrement
dit les facteurs qui ont motiv cette demande dvaluation (par exemple lapprentissage, lamlioration du
produit/service, la redevabilit vis--vis des agences de financement). Sil existe dautres raisons,
ajoutez-les ici.
tape 3 : Objectifs de lvaluation et rsultats escompts
Dcrire clairement les objectifs, et notamment :
T dterminer si le projet est en voie daboutir ;
T collecter des donnes de base qui serviront dintrants (inputs) dans dautres activits similaires ;
T fournir lorganisme de financement suffisamment dinformations pour lui permettre de porter un
jugement clair sur la performance du projet.
Dcrire clairement les rsultats escompts, travers notamment :
T une analyse des rsultats en termes de critres dvaluation (voir deuxime partie, pages 33-34) ;
T lidentification des points forts et faiblesses des recommandations sur le projet afin de dterminer les
stratgies futures de projets similaires.
tape 4 : Questions cls et porte de lvaluation
Dans la mesure o les objectifs dtermineront les questions cls de lvaluation, cette tape devra
reposer sur les lments de ltape prcdente. Par exemple, vous pourriez tre amen vous poser les
questions suivantes :
Partie 3: LES OUTILS DVALUATION : Les outils de planification de lvaluation
101
T Les informations appropries sont-elles transmises aux bonnes personnes ? (Il faudra sattacher
rpondre aux critres de pertinence et daccessibilit.)
T Comment les parties prenantes cls utilisent-elles le produit/service et en sont-elles satisfaites ?
(Critre considr : la convivialit.)
T Quelles seront les consquences long terme (positives et ngatives, souhaites ou non) en relation
avec le produit/service ? (Critre considr : limpact.)
T Le projet continuera-t-il une fois la priode de financement termine ? (Critre considr : la
durabilit.)
T En quoi le produit/service dinformation rpond-il aux objectifs que vous aviez fixs au dpart ?
(Critres considrs : lefficacit et lefficience.)
T Ce produit/service peut-il tre diffus le plus largement possible auprs dautres communauts
similaires au sein de la rgion ? (Critre considr : lutilit.)
La porte de lvaluation reprsente lampleur et lintensit des activits mises en place dans le cadre de
ltude ce que lvaluation est cense couvrir et comment elle sera pilote. Elle peut tre dfinie en
fonction de critres thmatiques (autour de questions transversales telles que le genre ou la jeunesse),
gographiques (zone de couverture) et/ou en termes de dlais (la priode pendant laquelle lvaluation
sera ralise).
tape 5 : Mthode dvaluation
Afin dassurer la qualit de lexercice, il est ncessaire de convenir de la mthode dvaluation utiliser.
cet effet, les TDR devront prciser :
T le type de donnes collecter ;
T la mthode de collecte des donnes ;
T le lieu de collecte des donnes ;
T les personnes charges de collecter les donnes.
tape 6 : Rles et responsabilits
Lharmonisation fonctionnelle de lquipe implique de dfinir clairement les rles et responsabilits de
chacun. Aucun membre ne peut se prvaloir de disposer de toutes les comptences requises. Il vous
faudra rechercher les comptences de chacun et btir une quipe dont les comptences sont
complmentaires (par exemple, vous pourriez chercher quelquun ayant des aptitudes la rsolution de
problmes, quelquun qui travaille dune manire rationnelle, quelquun ayant de solides connaissances en
mathmatiques, quelquun qui soit capable de sexprimer oralement dans certaines langues locales).
Dans les termes de rfrence, il est important de prciser que :
T les membres de lquipe disposent des comptences ncessaires pour cette valuation ;
T les aspects importants (comme le genre) ont t pris en compte dans la composition de lquipe ;
T lquipe est constitue de membres externes, afin de renforcer lappropriation du processus
dvaluation ;
T les rles et responsabilits de chacun des membres de lquipe sont clairement dfinis ;
T le responsable du groupe possde les comptences ncessaires (exprience en gestion de projet,
techniques de communication).
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
102
tape 7 : Plan de travail et budget
Les TDR doivent contenir un plan de travail dtaill indiquant : la liste des activits planifies jusquau
terme de lvaluation, les dates de dbut et de fin des activits ainsi que le nom des personnes charges
de mettre en uvre chacune de ces activits. Le diagramme de Gantt dcrit la section planification
de projet peut galement tre utilis pour planifier lvaluation.Voici quelques points dont il faudra se
rappeler au moment de prparer le plan de travail :
T veiller ce que le plan de travail soit raliste ;
T ne pas se fixer des objectifs trop ambitieux ;
T vrifier la disponibilit de chacun (par exemple, les jours de congs ou les missions prvus) et tablir
un calendrier des vnements importants ;
T prendre en compte le temps consacr aux runions prparatoires, aux runions bilans, la rdaction
de rapports, etc.
Les TDR doivent fournir un budget dtaill. Les cots devront tre maintenus aussi bas que possible ;
certaines personnes suggrent mme cet effet que les cots dvaluation ne doivent pas excder 5 %
du budget total du projet en cours dvaluation.
tape 8 : Communication et diffusion des rsultats
Le format, le style, la langue, la prsentation, le public vis et la date limite de soumission du rapport
dvaluation doivent tre dfinis dans les termes de rfrence. Il faudra galement spcifier le nombre
dexemplaires requis. Le rapport dvaluation sarticule gnralement autour de trois grandes sections :
un rsum analytique, le rapport principal (mthodologie, rsultats, conclusions et recommandations) et
les annexes (plan de travail, liste des intervenants, liste des documents consults).
Lencadr 3.19 prsente un exemple dinformations concernant la communication et la diffusion des
rsultats qui devront apparatre dans les termes de rfrence. noter quil faudra encore dcider de la
faon dont sera prsent le rapport, en fonction notamment des besoins exprims par les diffrents
groupes de parties prenantes.
Termes de rfrence pour lvaluation de la performance de sminaires organiss au sige du CTA. Lobjectif de lvaluation tait
damliorer la performance du programme.
Le document tait divis en plusieurs parties : contexte et enjeux de lvaluation ; objectifs et porte de lvaluation (y compris les
indicateurs) ; rsultats escompts ; questions aborder ; mthode dvaluation ; expertise requise ; prsentation des rsultats ;
calendrier de mise en uvre ; coordination ; documents de rfrence.
La section prsentation des rsultats se dcompose comme suit :
T Recherches documentaires (essentiellement au sige du CTA) : un rapport.
T Rapports rgionaux (bass sur des tudes menes dans la rgion ACP) : six rapports.
T Tableau rcapitulatif dcrivant les recherches documentaires et les tudes menes lchelon rgional : un rapport (les principaux
rsultats, les conclusions et recommandations seront rsums dans un rapport (maximum 20 pages) ; cette tche sera mene
conjointement par le personnel du CTA et un ou deux consultants externes).
T Pour faciliter le suivi des recommandations, les rapports devront clairement distinguer les diffrentes composantes du programme.
Dans la section calendrier de mise en uvre , une date a t fixe pour la soumission du rapport.
Encadr 3.19
Exemple de section prsentation des rsultats pouvant figurer dans un document visant
dfinir les TDR
Partie 3: LES OUTILS DVALUATION : Les outils de planification de lvaluation
103
tape 9 : Documentation
Les principaux documents consultables lors de lvaluation, ainsi que les sources de vrification, devront
tre prciss dans les termes de rfrence. Cette documentation comprend notamment :
T le cadre logique du projet ;
T les programmes de travail annuels ;
T les documents relatifs la gestion financire et la gestion du projet ;
T les rapports de suivi ;
T les rapports des visites de terrain ;
T les rapports dvaluation antrieurs ;
T les rapports annuels ;
T les matriels et les rapports de formation.
T Commencez rdiger les TDR en temps opportun. Cela prend gnralement un peu plus de temps que prvu pour aboutir un
consensus entre les parties prenantes sur les diffrents aspects de llaboration des TDR.
T Accordez une juste importance lactualisation du cadre logique : celui-ci constitue la base des termes de rfrence de
lvaluation.
T Nessayez pas de rpondre tous les critres dvaluation dans un seul document ; lors de lanalyse post-projet, tenez-vous-en aux
critres retenus pour ce type dvaluation ; faites-en de mme pour lvaluation mi-parcours.
T Mettez vos collgues contribution lorsque vous prparez les TDR : ils reprsentent une source potentielle dides prcieuses.
Encadr 3.20
Formuler les termes de rfrence Points cls retenir
LIMITES
T Des termes de rfrence mal dfinis peuvent tre
lorigine dun mauvais rapport dvaluation, ce qui
reprsente une perte de ressources.
Encadr 3.21
Termes de rfrence Avantages et limites
AVANTAGES
T Les TDR dfinissent clairement le rle des quipes
dvaluation et leurs activits.
T La rdaction des TDR permet de prendre du recul par
rapport votre projet et damorcer des pistes de
rflexion.
Le modle logique
Le modle logique est un schma qui montre les relations entre les activits et les rsultats attendus
de lutilisation dun produit/service. Il dcrit de faon concise le fonctionnement de lvaluation,
les activits dmarrer avant dautres, de mme que les rsultats viss. Le modle logique constitue
un lment essentiel de planification de lvaluation. De par sa flexibilit, il peut tre utilis
nimporte quelle phase du projet (par exemple, si vous ne disposez daucun document de planification,
le modle logique peut vous aider restructurer le projet avant damorcer le processus
dvaluation).
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
104
Un modle logique peut tre illustr de plusieurs manires diffrentes :
T sous une forme descriptive, laide de mots ;
T un diagramme en ligne ;
T un tableau ;
T une hirarchie dobjectifs ;
T un diagramme de flux.
POURQUOI ?
Le modle logique vous guidera du dbut la fin du processus dvaluation.Vous pouvez utiliser une
construction du type si alors pour chaque hypothse. Le modle logique sert non seulement
dcrire la chronologie de lvaluation, mais aussi faire le point sur le processus dvaluation par rapport
au plan initial.
COMMENT ?
La cration dun modle logique pour guider votre valuation implique ladoption dune approche causale,
qui peut se rsumer comme suit : si nous ralisons A, alors nous pouvons accomplir B ; si nous ralisons
B, alors il en est de mme pour C ; si nous ralisons C, alors nous pouvons raliser D ; et ainsi de suite.
La cration dun modle logique
Une approche dite de cause effet peut tre illustre de la manire suivante :
T Intrants (Inputs) : Quelles sont les ressources utilises ? Do proviennent-elles ? Quels ont t les
types dactivits gnrs par ces ressources ?
T Activits : Quelles activits ont t ralises ? Pour quels rsultats ? Qui ont t les principaux
bnficiaires ?
T Rsultats (Outputs) : Quels sont les rsultats lis chaque activit ? Dans quelle mesure les
rsultats obtenus font suite chaque objectif spcifique ?
T Objectifs : Quels sont les objectifs dcoulant de ces rsultats ? Quel est lobjectif ou limpact long
terme de ce programme ?
La figure 3.7 prsente un exemple de modle logique appliqu un cours de formation sur la gestion de
projet.
T Il doit tre vu comme un modle de causalit.
T Plus utile pour les projets en cours que les projets ad hoc.
T De par sa flexibilit, il peut tre utilis nimporte quelle phase du projet.
T Sen tenir aux rubriques gnriques, comme indiqu la figure 3.7.
Encadr 3.22
Crer un modle logique Points cls retenir
Partie 3: LES OUTILS DVALUATION : Les outils de planification de lvaluation
105
RESSOURCES /
APPORTS
Investissements
Personnel
Ressources
financires
Matriels
pdagogiques
quipements
Technologie
Partenaires
Figure 3.7
Modle logique pour lvaluation dun cours de formation sur la gestion de projet
REALISATIONS
A B C D E F
ENVIRONNEMENT
Facteurs influents :
Nouvelles politiques des organismes donateurs
Politiques gouvernementales de coopration
bilatrale
Environnement de travail propice
S
I
T
U
A
T
I
O
N
Description
tablir un contrat
avec lorganisation
partenaire
Convenir dun
programme de
cours
Identifier et inviter
les participants
Dsigner les
formateurs
Prendre les dis-
positions logistiques
ncessaires (vols,
visas,
hbergement)
Public vis
50 chercheurs et
vulgarisateurs
par rgion
RSULTATS / IMPACT
Les rsultats
court terme
Apprentissage
Nouvelles
comptences
Partage
dexprience
avec les
autres
participants
Les rsultats
moyen terme
Action
Personnel
motiv
Projet mieux
gr et
rentable
Amlioration
du suivi
Financement
accru des
donateurs
Limpact final
Conditions
Organisation
renforce
Pays ACP
mieux
quips pour
relever les
dfis du
Millnaire
HYPOTHSES
Infrastructures appropries la conduite du cours
Pertinence dans le choix des participants
Participants disposs partager leurs nouveaux
savoirs
Activits Particpation Court terme Moyen terme Long terme
LIMITES
T La logique peut tre difficile comprendre si lon ne
rend pas compte de la chane causale existante.
T Ne permet pas didentifier lutilisation des ressources.
T Ne spcifie pas la porte dune valuation ; montre
uniquement ce qui va se passer ensuite.
T Ne permet pas de dfinir laide qui pourrait savrer
ncessaire.
Encadr 3.23
Le modle logique Avantages et limites
AVANTAGES
T Met en vidence des interrelations entre les diffrents lments dun
projet.
T Dcrit les lments dun projet pour dvelopper des synergies entre
diffrents projets.
T Peut tre un outil efficace pour communiquer limpact dun projet.
T Traduit lobjectif fondamental dun projet.
T Montre pourquoi le projet est important.
T Montre les rsultats escompts/anticips dun projet.
T Dcrit les actions/causes attendues pour aboutir aux rsultats
escompts.
T Aide dterminer si les actions planifies aboutiront aux rsultats
attendus.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
106
LES OUTILS DE MISE EN UVRE DE LVALUATION
Dans cette section, nous vous prsenterons les mthodes de collecte et danalyse de donnes, ainsi que
les outils utilisables dans le cadre de cette dmarche. Les outils les plus communment utiliss y sont
dcrits, en montrant pourquoi ils sont utiles et comment les mettre en uvre. Ces outils sont les
suivants :
T La collecte de donnes.
T Lanalyse FFOM.
T Le questionnaire.
T Les discussions de focus group.
T Le diagramme de flux de processus.
T Les tudes de cas.
T Les entretiens individuels.
T Les outils participatifs et cratifs.
T Lanalyse aprs-action.
T Lanalyse des donnes.
Avant de dcrire plus en dtail ces outils, il est important de pouvoir examiner le processus de collecte
de donnes lui-mme, en relation avec le choix du type de donnes collecter et les mthodes
utilisables pour la collecte, et de sassurer que les informations seront fiables. Nous examinerons enfin le
processus danalyse des donnes, qui suppose la mise en place dun cadre rigoureux danalyse et
dinterprtation des donnes.
La collecte de donnes
Il est important que vous puissiez dcider en toute connaissance de cause du type de donnes collecter
et des mthodes utilisables pour la collecte.Vous devrez par ailleurs vous assurer de la bonne qualit des
donnes recueillies. Ces premiers lments, qui servent en partie dintroduction lanalyse des outils de
mise en uvre de lvaluation, seront complts la fin de cette section par des informations sur
lanalyse des donnes.
Choisir le type de donnes collecter
Toute valuation requiert une collecte de donnes afin de faciliter la prise de dcisions claires et de
promouvoir lapprentissage. Comme nous lavions soulign dans la deuxime partie, en prsentant un
aperu du processus, les donnes collecter pour une valuation peuvent tre divises en deux groupes
distincts : les donnes primaires et les donnes secondaires. Les donnes primaires sont collectes
directement et aux fins de lvaluation. Les donnes secondaires, en revanche, ont dj t collectes
dautres fins que celle de lvaluation en cours.
Il nexiste pas de rgle absolue en matire de collecte de donnes. En tant quvaluateur, posez-vous avant
tout la question de savoir pourquoi vous souhaitez amorcer un processus dvaluation et quelles sont les
questions auxquelles vous cherchez rpondre. Cela vous aidera choisir le type de donnes dont vous
avez besoin et la mthode de collecte utiliser quil sagisse de donnes qualitatives ou quantitatives, ou
les deux la fois.
Les donnes quantitatives
Les mthodes quantitatives, comme les enqutes constitues de questions fermes (rponse par oui ou
non), gnrent des donnes quantitatives. Les donnes quantitatives, ou numriques, sont faciles analyser
statistiquement, comparer et gnraliser. La mthode quantitative prsente lavantage de produire des
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
107
donnes pouvant tre gnralises dautres groupes de personnes dans la population globale. partir
dun petit chantillon reprsentatif de 50 personnes en gnral (voir pages 109-112), vous pouvez
gnraliser vos rsultats lensemble dune population cible (environ 1 000 personnes). Cette mthode
sest avre trs efficace au sein des communauts les plus pauvres.
Linconvnient majeur de cette mthode est quelle ne nous permet pas de mieux comprendre le sens et
le contexte des actions et des comportements. Il faut savoir reconnatre ses limites et interprter les
rsultats avec prudence.
Les donnes qualitatives
Les mthodes qualitatives, comme lanalyse FFOM et les discussions de groupe, privilgient le traitement
des donnes non numriques (mots, images, jeux de rle). Cette mthode a lavantage de fournir une
information riche et dtaille sur les perspectives des parties prenantes dans lvaluation, y compris un
contexte et des explications concernant ces perspectives. Ces mthodes peuvent aussi tre utilises pour
expliciter les analyses de donnes quantitatives.
Les activits de collecte et danalyse de donnes prennent beaucoup de temps et ncessitent une
main-duvre importante et la gnralisation des rsultats nest souvent pas possible. Ce sont l les
inconvnients majeurs de lapproche qualitative.
Combiner les approches quantitative et qualitative
Le recours une combinaison de mthodes de collecte des donnes quantitatives et qualitatives vous
permettra de mieux comprendre les rsultats et damliorer leur fiabilit. Le choix dutiliser tel type de
donnes repose principalement sur les raisons qui justifient la ncessit dune valuation. Les lments
prendre en considration sont les suivants :
T au niveau local, il est sans doute prfrable dutiliser des informations qualitatives dtailles plutt que
des statistiques gnrales si vous souhaitez apprendre amliorer la performance et limpact de votre
projet ;
T les organismes de financement actuels et potentiels pourraient exiger des donnes statistiques valides
au niveau national ou rgional ;
T largent, le temps et les ressources disponibles dtermineront ce quil est thoriquement possible de
faire un moment donn ;
T limportance du temps (si vous souhaitez prendre une pleine mesure des changements induits, le temps
est bien videmment un facteur important ; en revanche, si vous souhaitez uniquement savoir ce qui se
passe actuellement, vous naccorderez que peu dimportance cette composante bien quelle puisse
savrer plus pertinente lorsque vous comparerez vos rsultats avec ceux de lanne prcdente).
Le tableau 3.10 prsente des exemples concernant les principaux types de donnes et leurs caractristiques.
Choisir les mthodes de collecte de donnes
Une fois que vous avez dtermin le type de donnes dont vous avez besoin, il faudra choisir les
mthodes de collecte les plus appropries.
Quelle que soit la mthode utilise, la collecte des donnes doit tre effectue selon une approche
participative, qui facilite la prise en compte des intrts de toutes les parties prenantes et permet
dchanger les points de vue.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
108
Tableau 3.10
Types de donnes et caractristiques
Analyse aprs-action, groupes
focaux, analyse FFOM
Techniques cratives
Observation directe
Questionnaires auto-administrs
(mini-enqutes)
Entretiens individuels
Questionnaires administrs par
tlphone
Articles de journaux ; carnets de
bord, albums, rsultats et recomm-
andations dvaluations antrieures
(dorganisations similaires) ;
discussions lors des repas ; journes
de planification-valuation ;
informations communautaires ;
vnements de sensibilisation du
public ; registres de prsence ;
documents pertinents de projet, etc.
Perspectives multiples, nouveaux
aperus ; le facilitateur peut
sinspirer des questions prcdentes
Outil assez peu structur qui permet
nanmoins de comprendre la
situation actuelle
Observation directe au cours de
certaines activits
Questions prdfinies ;
questionnaires structurs ; nombre
limit de questions fermes
Utilisateurs reprsentatifs
Questions prdfinies ;
questionnaires structurs ; nombre
limit de questions fermes
Permet de couvrir un champ trs
large ; bon aperu du thme
abord
Large ventail de points de vue
diffrents
Aide clarifier les objectifs et le
rle des diffrents participants
Exercice utile
Collecte et analyse des donnes en
quelques jours seulement
Permet de collecter et danalyser
rapidement les donnes, dobtenir
une raction immdiate des
participants et un large ventail de
donnes, dtails et informations
nouvelles
Peu coteux ; particulirement
adapts pour des sujets succincts et
peu sensibles
Rdig selon diffrentes
perspectives
TYPE DE DONNES CARACTRISTIQUES FORCES FAIBLESSES
DONNES PRIMAIRES
Qualitatives
Quantitatives
DONNES SECONDAIRES
Certains participants sont peu
enclins parler
Informations pertinentes plus
difficiles obtenir
Certains participants sont parfois
embarrasss par la prsence dun
observateur
Ne permet pas de dtecter les
questions mal comprises, les
donnes manquantes ou les
rponses mensongres
Coteux sur le plan logistique
(temps, lieu, intimit, accs, etc.) ;
collecte de donnes sur une
priode plus longue
Ne concerne que les personnes
disposant dun tlphone ; il peut y
avoir mauvaise comprhension lie
un problme de communication ;
constitue une intrusion dans lintimit
des personnes
On peut sinterroger sur la fiabilit
des diffrentes sources
La dmarche participative repose sur :
T lutilisation de techniques visuelles plutt que verbales lorsque ncessaire ;
T des activits de groupe.
La dmarche participative est aussi loccasion de mettre en uvre le modle de l apprentissage invers ,
dans lequel les parties prenantes cls deviennent les experts et les experts deviennent les facilitateurs.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
109
Cette approche prsente les avantages suivants :
T meilleure flexibilit en matire de collecte de donnes ;
T meilleure rceptivit aux ides nouvelles et inopines ;
T libre circulation de linformation et des ides ;
T responsabilisation des personnes impliques ;
T validation facilite des informations collectes.
Pour que lvaluation soit vraiment bnfique, les parties prenantes doivent tre impliques chaque
tape du processus : des tudes de contexte pralables la collecte et lanalyse des donnes, en passant
par la phase de prparation de lvaluation. Elles sont galement un point de rfrence primordial pour
valider les donnes utilises au cours de lvaluation.
Mthodes de collecte des donnes primaires
Voici une description succincte des mthodes prsentes la page 106, suivie de quelques notes utiles
sur la collecte des donnes secondaires (consultation des statistiques quotidiennes dactivits, etc.) et
lchantillonnage.
T Lanalyse FFOM. Elle sert rassembler et analyser des donnes concernant lenvironnement dans
lequel sinscrit le projet.Vous pouvez y avoir recours pour analyser le processus de dcision sur le
produit ou service en question et formuler des recommandations prcises sur lvaluation. Il convient
en outre de fournir les informations indispensables la bonne interprtation de la matrice danalyse
FFOM et de faire participer un large ventail de parties prenantes (reprsentant diverses opinions)
lanalyse commune de ces informations. (Voir pages 115-119)
T Le questionnaire. Il est utilis principalement pour recueillir des donnes quantitatives mais aussi
pour obtenir des rponses qui peuvent sajouter aux donnes qualitatives. Les questionnaires sont des
instruments trs utiliss dans les valuations, notamment pour obtenir de linformation dtaille sur
les opinions et attitudes des parties prenantes cls. On ralise gnralement une analyse quantitative
des rsultats. Les enqutes concises, simples et auto-administres sont les moins coteuses. Labsence
de rponse un questionnaire constitue un obstacle majeur personnes absentes lors de la
distribution des questionnaires ou qui ne souhaitent pas participer lenqute. La conception dun bon
questionnaire requiert de relles connaissances et comptences ; la formulation et la squence des
questions sont particulirement importantes pour obtenir des rsultats pertinents. (Voir pages 120-126)
T Les focus group. Cest un outil dentretien de groupe pour vous aider dterminer ce que les
utilisateurs pensent de votre projet et comment ils le peroivent. Cest un moyen rapide de gnrer
des donnes qualitatives utiles. Les focus group sont constitus dun petit groupe de personnes
enquter et/ou interroger afin dobtenir des informations pertinentes pour lvaluation. Leur utilit
repose la fois sur les comptences des animateurs de groupe et la mthode utilise pour choisir les
membres du groupe. Les focus group sont populaires parce quils ne sont pas coteux et quils sont
simples mettre en place. (Voir pages 127-132)
T Les tudes de cas. La dmarche de ltude de cas consiste identifier et examiner les leons tires
dexpriences russies et dchecs de projets. Elle vise galement sassurer que lactivit
dapprentissage est utile et pertinente. Dans une tude de cas (qui peut sappuyer sur des anecdotes
et des histoires), on a recours lanalyse qualitative dun produit/service pour dcrire comment ce
produit/service a t dvelopp et savoir comment il est utilis et peru par les utilisateurs. Lobjectif
vis par lvaluation dterminera lampleur des tudes de cas mener et leur nombre exact. Les
tudes de cas reposent gnralement sur des mthodes multiples de recherche (entretiens,
discussions de groupe, questionnaires, recherche documentaire sur Internet, etc.) et impliquent
lutilisation de sources multiples dinformation (personnes directement impliques, reprsentants des
parties prenantes cls, autres parties prenantes, etc.). Les histoires et les anecdotes qui ponctuent le
processus de collecte des informations peuvent tre prises en compte pour aider votre analyse, mais
aussi pour tayer un rapport et rendre les statistiques plus humaines. (Voir pages 136-140)
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
110
T Les entretiens. Les techniques dentretien sont utilises pour tablir la liste des personnes
interroger et sassurer que les informations que vous obtiendrez seront vraiment utiles. Il existe
diffrents moyens de poser des questions : vous pouvez mener des entretiens (individuels ou en
groupe) en face--face ou par tlphone, ou encore de manire asynchrone par courrier lectronique,
via Internet ou par voie postale. Ces entretiens peuvent tre non structurs, semi-structurs avec liste
de contrle ou encore bass sur des questionnaires. Un excellent point de dpart pour collecter des
donnes peut consister interviewer vos collgues. Ils auront souvent des ides sur le type de
questions poser et qui. (Voir pages 141-144)
T Les outils participatifs et cratifs. Utilises pour encourager la participation active des parties
prenantes dans le processus dvaluation, les mthodes participatives comprennent les dessins, les jeux
de rle, la vido participative, les images-contexte et les diagrammes de Venn et visent favoriser la
confrontation des points de vue des utilisateurs sur le projet.Vous devrez possder les comptences
requises pour aider les gens se sentir laise avec les autres et manifester ce quils prouvent ou
ce quils ressentent. Ces techniques sont faciles mettre en uvre et relativement peu coteuses, mais il
vous faudra du temps et de lnergie pour amener les participants cooprer. (Voir pages 144-154)
T Lanalyse aprs-action. Elle est utilise pour obtenir des donnes sur la performance et les
rsultats de votre projet, que ce soit pendant ou la fin du projet. Elle fournit des indications
intressantes sur ce qui sest pass et pourquoi, ce qui a march, les pistes damlioration envisager
et les leons tires de lexprience. Simple utiliser, cet outil permet aux diffrentes parties prenantes
de confronter leurs points de vue et leurs ides. (Voir pages 155-157)
Collecte de donnes secondaires
Les statistiques quotidiennes dactivits lies votre projet constituent une source rentable et prcieuse
de donnes secondaires pour mener bien votre valuation. Il peut sagir de donnes manant de carnets
de bord, registres, listes du personnel, livres de quittance, bases de donnes de comptes et de contacts,
etc. Ces donnes fournissent des informations sur le nombre et lorigine sociale des personnes qui
utilisent votre produit/service, le type dinformations consultes, quand ces personnes utilisent le service,
les commentaires et suggestions, etc.
Si vous navez pas encore trait ce type de donnes pour en tirer les statistiques utiles votre projet,
commencez ds prsent ; les membres du personnel doivent tre forms pour maintenir des
informations prcises, dtailles et actualises. Quoi quil en soit, vous devrez prsenter rgulirement les
informations collectes sous forme de prsentations tabulaires ou de comptes rendus analytiques.Vous
pouvez, cet effet, construire des tableaux dans lesquels vous compterez et rsumerez les donnes
pertinentes, et peut-tre les prsenter sous forme de tableau ou de graphique.
Ces statistiques peuvent tre utilises pour dceler les tendances, identifier les groupes de personnes qui
utilisent (ou non) votre produit/service et dterminer la rentabilit relative des diffrentes activits.
Lchantillonnage
Il nest pas ncessaire de considrer un groupe cible dans sa globalit pour obtenir des rponses vos
questions. Il est en gnral bien plus facile dexaminer un chantillon reprsentatif du groupe.
Lchantillon doit naturellement tre reprsentatif dune population vise. La technique de
lchantillonnage alatoire est gnralement le meilleur moyen dy parvenir. Pour slectionner
lchantillon, on peut recourir aux listes (par exemple, une base de donnes des utilisateurs du produit)
cette mthode est utile pour autant que les listes soient compltes et actualises et aux cartes pour
choisir de manire alatoire des lieux et les personnes qui y vivent, afin de constituer votre chantillon.
Si lchantillon alatoire est choisi de manire adquate, il est alors possible de gnraliser les rsultats.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
111
Bon nombre dtudes dans la plupart des cas, probablement celles qui ont t menes auprs de
personnes vivant dans la pauvret nutilisent pas la mthode de lchantillonnage alatoire du fait de son
cot. Il faut savoir quun chantillon par quotas est plus coteux quun chantillon alatoire en termes
danalyse. La mthode de lchantillonnage par quotas, moins coteuse, consiste diviser un groupe
en sous-groupes puis, en fonction des informations dont vous disposez sur le groupe et sur le projet,
prlever un nombre suffisant dchantillons dans chaque sous-groupe (par exemple, demander
lenquteur dinterroger 40 femmes et 60 hommes gs entre 50 et 60 ans). On a alors recours un
chantillonnage non alatoire.
Si vous optez pour la mthode de lchantillonnage par quotas, vous devrez tenir compte des erreurs
parfois commises dans lutilisation de cette approche, notamment :
T lutilisation dune base de sondage fausse partir de laquelle sera slectionn un chantillon ;
T la slection de personnes ayant des caractristiques similaires, ce qui entrane une sous-estimation de
la variabilit lintrieur de la population ;
T le fait que certains groupes soient surreprsents et dautres sous-reprsents.
Il ne faut pas tre trop confiant lorsquon extrapole les rsultats dun chantillon par quotas lensemble
du groupe cible. Nanmoins, un chantillon choisi selon cette mthode vaut mieux que rien du tout ou
quun chantillon obtenu un cot exorbitant. Lencadr 3.24 prsente un exemple dchantillonnage par
quotas.
Pour valuer lutilisation dun bulletin dinformation destin des enfants gs de moins de 18 ans, lquipe a constitu trois chantillons
homologues de 20 enfants selon la mthode des quotas. Ces chantillons sont les suivants :
T 20 enfants nayant pas reu une ducation formelle ;
T 20 enfants ayant termin leur cycle primaire ;
T 20 enfants ayant termin leur cycle secondaire.
Sur le nombre total denfants dans le village :
1. 60 % nont pas reu une ducation formelle.
2. 30 % ont termin leur cycle primaire.
3. 10 % ont termin leur cycle secondaire.
Les rsultats rvlent que :
T la plus forte proportion de lecteurs (10 sur 20) se concentre dans la catgorie 3 (prvision) ;
T la deuxime plus forte proportion (3 sur 20) se concentre dans la catgorie 2 (prvision) ;
T la plus faible proportion (1 sur 20) a t enregistre dans la catgorie 1 (prvision).
En additionnant ces nombres, on obtient un lectorat total de 14 enfants, soit 23 % des 60 enfants chantillonns par quotas. Cela donne
une vue fausse de lensemble du lectorat. Pour en avoir une image exacte, les donnes de lchantillon doivent tre rapportes aux
pourcentages denfants dans chaque catgorie, comme indiqu ci-dessous, et recalcules :
1. 1 sur 20 pour 60 % du nombre total denfants.
2. 3 sur 20 pour 30 % du nombre total denfants.
3. 10 sur 20 pour 10 % du nombre total denfants.
Une fois recalcule, laudience globale nest en fait que de 13 %.
Lorsque lon additionne le nombre de lecteurs dans chacun des trois groupes et que lon fait la moyenne, on obtient de faon peu
raliste une forte proportion de lecteurs. Lorsque la distribution relle des enfants dans le village a t prise en compte, ltude a montr
un cart de 10 % entre le rsultat initial (23 %) et le rsultat recalcul (13 %). Le tableau 3.11 montre comment les informations ont t
prsentes afin dillustrer cette ralit.
Encadr 3.24
Enqute auprs des lecteurs mene dans un village sur la base dun chantillon par quotas
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
112
Autre type dchantillonnage utilis pour recueillir des donnes qualitatives : lchantillonnage
thorique. On est alors amen se poser les questions suivantes :
T Quel groupe (ou vnement) faudra-t-il ensuite examiner pour explorer plus avant ces questions ?
T Y a-t-il des exemples qui contredisent ce qui, selon nous, risque de se produire ?
Vous devrez dtecter les occurrences peu frquentes, ainsi que les occurrences typiques, et les comparer
entre elles pour tenter de dgager les raisons susceptibles de justifier cette diffrence.
Quelle que soit la mthode dchantillonnage choisie, il faut toutefois tre conscient de ses limites
lorsque vous interprterez les rsultats et tirerez des conclusions. Le tableau 3.12 prsente les erreurs
les plus frquentes et leurs remdes.
Aucune ducation formelle
Cycle primaire termin
Cycle secondaire termin
Nombre moyen (pourcentage) pour les
moins de 18 ans
1 sur 20
3 sur 20
10 sur 20
14 sur un total de 60 = 23 %
DONNES COLLECTES : NOMBRE DE MOYENNE
LECTEURS PAR CHANTILLON RELLE
Tableau 3.11
Rsultats dune enqute de lectorat mene dans un village sur la base dun chantillon par quotas
1 sur 20 pour 60 % de la population
3 sur 20 pour 30 % de la population
10 sur 20 pour 10 % de la population
Lectorat total = 13 %
Erreur dchantillonnage
Biais dchantillonnage
Biais de rponse
Utilisation de lchantillon et non de la population
Les participants slectionns nont pas rpondu ou
nont pas fourni dinformations appropries
Les rponses ne refltent pas forcment la ralit
(les questions ont sans doute t mal comprises)
TYPE DERREUR CAUSE REMDE
Tableau 3.12
chantillonnage : les erreurs les plus frquentes et leurs remdes
Lutilisation dun chantillon plus large permet de
diminuer le problme, mais pas de lliminer
Essayer dinterroger les personnes qui nont pas
rpondu
Effectuer un pr-test minutieux pour rexaminer les
questions, le cas chant
Adapt de Westat (2002)
Veiller la qualit des donnes
Vous devrez veiller ce que les donnes dont seront tires diverses conclusions soient de bonne qualit.
cet effet, il vous faudra valuer leur fiabilit et leur validit, puis les soumettre une analyse approprie.
Fiabilit
Fiabilit signifie que la mthode de collecte de donnes utilise doit donner des rsultats
comparables si elle est excute de faon rptitive. Par exemple, la manire dont vous posez les
questions dun questionnaire vous aide-t-elle recueillir des donnes fiables ? Afin didentifier les
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
113
ressources documentaires qui ont t empruntes auprs dune bibliothque, vous pourriez poser la
question suivante : Combien de livres avez-vous emprunts la dernire fois que vous vous tes rendu
la bibliothque ? . Toutefois, la personne aura pu emprunter des brochures ou des magazines, voire
dautres ouvrages. Le tableau 3.13 prsente un exemple de question plus pertinente que vous pourriez
tre amen poser.
Livres
Brochures
Rapports
Magazines
Autres veuillez spcifier
RESSOURCES DOCUMENTAIRES EMPRUNTES QUANTIT
Tableau 3.13
Exemple de question pour dterminer comment est utilis un centre de ressources
Parmi les ressources documentaires suivantes, combien en avez-vous emprunt ? Cochez les cases correspondantes puis
indiquez-en le nombre (si > 1)
How satisfied are you with the newsletter?
Tableau 3.14
Exemple de question pouvant prter confusion
Les moticnes sont placs dans le mauvais ordre. Il est possible que la personne interroge hsite sur le choix de la case cocher
Dans quelle mesure tes-vous satisfait du bulletin dinformation
x
Sagissant du manque de fiabilit des donnes, une autre raison tient la manire dont le questionnaire a
t conu, suite une erreur dimpression par exemple.Voyez comment lexemple prsent dans le
tableau 3.14 pourrait prter confusion.
Un bon moyen de sassurer de la fiabilit de loutil de collecte de donnes consiste tester celui-ci sur
un petit groupe de personnes (ayant de prfrence des caractristiques similaires aux personnes qui
seront impliques dans votre valuation) afin didentifier les difficults ventuelles, et dy remdier, avant
dutiliser cet outil.
Validit
Vos rsultats se rvleront utiles uniquement sils sont bass sur des donnes prcises. Les mthodes
valides de collecte de donnes visent non seulement sassurer que les variables utilises sont des
mesures adquates de concepts, mais aussi vrifier lexactitude des rsultats obtenus. Lencadr 3.25
prsente deux exemples de moyens pour obtenir des donnes valides et fiables.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
114
Expertise
Disposer de donnes fiables et valides ne vous sera pas dune grande utilit si les outils danalyse et
dinterprtation qui leur sont appliqus ne sont pas utiliss avec beaucoup de prcaution et dhabilet.
T Analyse statistique. Veillez ce que vos donnes ne contiennent pas derreurs. Si possible, faites appel
un statisticien ds le dbut de la conception de ltude ( moins que ce domaine ne vous soit
suffisamment familier). En gnral, vous aurez une bonne ide de ce qui se passe en faisant les totaux par
groupe. Les tableurs comme Excel sont capables de calculer les frquences, les pourcentages, les mesures
de tendance centrale (la moyenne, la mdiane et le mode) et de crer des tableaux double entre.
Pour analyser les donnes de manire approfondie, vous devrez procder des tests statistiques plus
complexes, tels que le t-test, lANOVA, la mthode des corrlations et la mthode multi-varie. Ces
tests peuvent tre raliss laide de progiciels statistiques.Toutefois, une connaissance plus approfondie
de lanalyse statistique est ncessaire dans la mesure o une analyse errone ( laide dun logiciel) est
toujours possible. Heureusement, la plupart des valuations nont pas recours ce niveau danalyse.
T Analyse des donnes qualitatives. Il existe plusieurs manires danalyser les rapports qualitatifs, les
prises de notes et les transcriptions. Les donnes devront tre structures dans le but de faciliter leur
analyse selon le niveau de dtail requis pour raliser une valuation rpondant vos besoins.Vous devrez
ensuite procder au codage et la classification des donnes (une tche exigeante en main-duvre)
afin didentifier des thmes et des modles de liaison. Lanalyse des donnes qualitatives requiert de
solides comptences analytiques.
T Interprtation des donnes. Elle nest pas sans soulever un certain nombre de problmes. Lun
dentre eux est li une confusion possible quant linterprtation des rsultats dun test de
signification, qui pourraient tre perus comme une chelle continue (plutt que discontinue) de
probabilit quune affirmation peut tre vraie. Autre difficult : le mot significatif utilis au sens
statistique est diffrent de significatif au sens pratique du terme. Il faut savoir quune diffrence
significative au sens statistique du terme peut navoir aucun intrt pratique. Un autre problme est li
la prcision et l exactitude . Ces deux termes prtent souvent confusion. Des estimations
peuvent tre prcises sans toutefois tre exactes, une vidence que lon feint souvent dignorer dans
la mesure o les rsultats fournis par la machine donnent des chiffres quatre ou six dcimales. Un
troisime problme est li la causalit . La question est dlicate car la causalit est la raison relle
pour laquelle la plupart des corrlations statistiques sont tablies. Celles-ci, cependant, aussi fortes
soient-elles, nont quune valeur indicative. Il peut exister des variables associes qui sont la cause
relle, mais on ne sait rien delles.
Le processus danalyse de donnes est expliqu plus en dtail la fin de cette section consacre aux outils
de mise en uvre de lvaluation.
Encadr 3.25
Exemples de moyens pour obtenir des donnes valides et fiables
EXEMPLE 1. Afin de vrifier la popularit dun programme radio spcifique, vous pourriez poser la question suivante : Aimez-vous ce
programme radio ? . Par mesure de politesse, la personne interroge pourrait rpondre oui . Il et t prfrable de demander :
coutez-vous la radio ? . Si la rponse est oui , la question suivante serait : Que prfrez-vous couter la radio ? . Cela
signifiera, peut-tre, que le programme cibl est mentionn plus souvent que les autres. Si cela est confirm par une tude indpendante,
les rsultats seront ensuite valids.
EXEMPLE 2. Daprs les donnes recueillies, la plupart des personnes qui utilisent votre produit sont des hommes instruits. Est-ce en
ralit parce que votre produit est essentiellement utilis par des hommes ou parce que votre tude na pas cibl les femmes susceptibles
de lutiliser ? Afin dvaluer la validit de vos donnes, vous serez appel examiner de prs la conception de votre tude, les
mthodes dchantillonnage et de collecte de donnes utilises pour vous assurer quelles ne sont pas, involontairement, lorigine de
la sous-reprsentation des femmes quelles quen soient les raisons.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
115
Lanalyse FFOM
Le sigle FFOM correspond aux termes forces, faiblesses, opportunits et menaces . Lanalyse
FFOM est un outil de rfrence pratique et polyvalent pour lanalyse organisationnelle et la prise de
dcisions stratgiques.
Lanalyse FFOM vise identifier les stratgies qui maximisent le potentiel de forces et de possibilits dun
produit, dun service ou dun processus et qui minimisent limpact des faiblesses et des menaces. Elle
prend gnralement en considration des facteurs internes, tels que les ressources humaines, la gestion,
limplication des membres du personnel et les obstacles (forces et faiblesses) ainsi que des facteurs
externes, comme un changement de politique gouvernementale, la rsistance des parties prenantes, les
exigences complexes imposes par les organismes de financement et une rduction du budget
(opportunits et menaces).
POURQUOI ?
Lanalyse FFOM permet non seulement dvaluer lenvironnement externe au sein duquel le produit/
service dinformation est diffus, mais aussi dexaminer de faon simple et prcise si lvaluation a t
planifie de manire optimale et quels sont les facteurs susceptibles dinfluencer la russite de lvaluation.
Mener une analyse FFOM pour valuer un produit/service dinformation vous aide en particulier :
T comprendre lenvironnement dans lequel vous oprez ;
T examiner de faon critique comment traduire vos rsultats en actions ;
T identifier o les ressources doivent tre alloues ( la fois au sein de lorganisation et lextrieur) ;
T identifier les parties prenantes susceptibles de participer pleinement lexercice dvaluation ;
T constituer une base solide pour valuer les potentialits et comptences cls ;
T mettre en place une plate-forme dchange dides entre les diffrents groupes ;
T tirer les leons de nombreuses expriences pour sassurer que les points principaux du projet sont
pris en compte ;
T fournir de linformation adquate pour mener une analyse ultrieure et assurer une base solide au
processus dcisionnel ;
T mettre au point un dispositif cohrent dintervention pour lvaluation.
Une analyse FFOM peut tre mene lorsque vous procdez lvaluation du potentiel dapprentissage
organisationnel. Les participants pourront alors engager une rflexion commune sur lorganisation et
lvolution des activits. Sachez nanmoins que lanalyse FFOM peut galement tre perue comme une
menace.
T Dterminez prcisment le type de donnes (primaires et secondaires) dont vous avez besoin.
T Avant de choisir le type de donnes dont vous avez besoin, posez-vous la question de savoir pourquoi vous souhaitez amorcer un
processus dvaluation et quelles sont les questions auxquelles vous souhaitez rpondre.
T Il est souvent utile de combiner les mthodes de collecte de donnes quantitatives et qualitatives.
T Quelles que soient les mthodes de collecte choisies, essayez de collecter des donnes de manire participative.
T Veillez, dans la mesure du possible, ce que les informations dont seront tires diverses conclusions soient de bonne qualit.
Encadr 3.26
Collecte de donnes Points cls retenir
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
116
COMMENT ?
Une analyse FFOM est un bilan stratgique dans lequel les forces pourraient tre considres comme des
lments dactif (ressources) et les faiblesses comme des lments de passif. Pour leur part, les
opportunits et les menaces pourraient devenir des lments dactif ou des lments de passif,
respectivement. Elle ncessite une prparation minutieuse pour faire en sorte que chacun y participe de
manire constructive.
En rgle gnrale, une analyse FFOM est labore sous forme de matrice, comme indiqu dans le
tableau 3.15.
Cette tude de cas montre comment le Centre de dveloppement de Gabrima (GDC) a t amen raliser une analyse FFOM de
linstitution pour mettre en lumire et amliorer le fonctionnement de ses activits.
Institut de formation spcialis en gestion, le GDC a fortement revu ses effectifs la baisse, entranant ainsi des pertes de revenus.
Deux autres centres de formation similaires, localiss dans les environs, ont pour leur part ralis des bnfices et quadrupl leurs
effectifs au cours des trois dernires annes. Ces centres taient dots des toutes dernires technologies et de bibliothques dignes de
ce nom.
En 2004, un nouveau directeur considr comme dynamique a t nomm la tte du GDC. Son objectif immdiat a t de rendre
viable en deux ans linstitution. Il a consult un expert en planification stratgique qui lui a conseill de mener une analyse FFOM de
linstitution.
Lune de ses premires actions a t dencourager les membres du personnel entreprendre un exercice dauto-valuation afin
didentifier les forces et les faiblesses de linstitut, ainsi que les possibilits et les menaces auxquelles il faut sattendre. Une sance de
brainstorming a t organise et un facilitateur recrut cet effet.
Les discussions ont permis de dresser une liste des forces, faiblesses, possibilits et menaces. Celle-ci a ensuite t saisie dans la matrice
danalyse FFOM, comme indiqu dans le tableau 3.16. Le GDC a utilis les rsultats de lanalyse FFOM comme base pour la
planification dune valuation mi-parcours dans le but de fournir chacun des membres de lquipe dvaluation les informations
gnrales ncessaires la prparation des termes de rfrence.
Encadr 3.27
tude de cas dmontrant lutilit dune analyse FFOM
Caractristiques positives et avantages du produit/service
dinformation
Factors which can benefit, enhance or improve the information
product/service
Forces potentielles Faiblesses potentielles
Tableau 3.15
Matrice danalyse FFOM
Caractristiques ngatives et inconvnients du produit/service
dinformation
Facteurs qui peuvent constituer un obstacle au dveloppement du
produit/service dinformation
POSITIF NGATIF
Opportunits potentielles Menaces potentielles
E
x
t
e
r
n
e
I
n
t
e
r
n
e
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
117
Conduire une analyse FFOM
La mthode se dcline en quatre grandes tapes et son application implique la participation des acteurs
une sance de brainstorming pour mener bien lanalyse.
tape 1 : Mettre en place des conditions propices
Dfinir lobjectif de lanalyse. Envisagez-vous de proposer ce produit/service un nouveau groupe
dindividus ? Souhaitez-vous lancer un produit/service unique ou plusieurs ?
Slectionner des participants qui refltent une diversit de comptences appropries. Ils devront
connatre le thme abord dans le cadre des objectifs qui ont t fixs. Lintervention dun grand nombre
de parties prenantes permettra daller plus loin dans la finesse de lanalyse.Vous devrez toutefois tenir
compte des frais inhrents dventuels participants supplmentaires.
Recueillir suffisamment de donnes sur le sujet et fournir en temps voulu les informations adquates
aux participants pour quils aient le temps dy rflchir.
tape 2 : Prparer latelier
Si vous ne disposez pas en interne dun bon facilitateur, essayez de trouver quelquun qui puisse remplir
ce rle de manire efficace. Un bon facilitateur cre une atmosphre favorable la discussion, coute
attentivement et avec respect, et sait comment interrompre un participant avant que celui-ci ne scarte
du sujet de la discussion.
La taille des groupes pourra tre dcide en fonction du nombre total de participants (les grands
groupes pourront tre subdiviss en petits groupes denviron 10 personnes de manire optimiser les
rsultats).
Mobiliser les ressources ncessaires lorganisation de la runion : un tableau feuilles mobiles et des
marqueurs, ainsi que le matriel ncessaire lenregistrement audio des discussions pour permettre aux
participants de rappeler ou de dvelopper certains points voqus auparavant.
tape 3 : Informer les participants
Vous devrez fournir aux participants des informations concernant lobjectif de latelier et les
questions aborder, le type et lobjectif de lvaluation, les parties prenantes qui participeront
latelier, la porte de lvaluation, le calendrier et la couverture gographique ainsi que les ressources
disponibles. Les participants doivent galement savoir comment les rsultats de lvaluation seront
dissmins et comment les leons tires de lexprience seront effectivement exploites.
tape 4 : Analyser les rsultats de latelier
Une sance de brainstorming permet de gnrer une multitude dinformations de tous types. Afin den
garantir lutilit, fixez des priorits en :
T rduisant la liste des forces et faiblesses (pas plus de cinq forces distinctives et faiblesses dbilitantes) ;
T rduisant la liste des menaces et des opportunits aux cinq considrations les plus importantes.
Le tableau 3.16 prsente un exemple danalyse FFOM avant une rduction finale.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
118
Dans ce type danalyse, la tche la plus ardue consiste formuler un jugement correct qui servira par la
suite les intrts de lorganisme dexcution et de la communaut. ce titre, il convient de clarifier et
dvaluer les menaces et les opportunits. Elles ne sont pas absolues. Considre par rapport aux
ressources de lorganisation ou aux attentes de la communaut, une opportunit nest pas toujours aussi
vidente quelle peut paratre premire vue.
Les aspects positifs internes que contrle l'organisation, et sur
lesquels on peut btir dans le futur
Nombre dannes dexprience confirme dans le domaine de
la formation
quipements et infrastructures de formation
Possibilit dactivits hors programme
Proximit gare et commerces
Bonne structure de gestion
Systmes et procdures bien tablis
Programme de contrle des cots efficace
Exprience de collaboration avec dautres organisations
Nouveau leader dynamique et visionnaire
Les conditions extrieures positives que vous ne contrlez pas,
mais dont vous pouvez ventuellement tirer parti
Nouvelles politiques gouvernementales favorables aux
organismes de formation
Le gouvernement encourage lenseignement distance
Nouvelles opportunits de coopration
Nouveaux groupes cibles
Forte demande de cours innovants et spcialiss (GDC)
Rduction des taxes dimportation sur les matriels
pdagogiques
Augmentation du quota dexpatris dans les instituts de
formation
Mise disposition des toutes dernires technologies
Diversification des sources de revenus travers une meilleure
exploitation des missions de conseil
Alliances et partenariats stratgiques avec des institutions de
renom international
Promotion du multilinguisme pour devenir un centre rgional
Forces Faiblesses
Tableau 3.16
Exemple de matrice danalyse FFOM
Les aspects ngatifs internes galement contrls par l'organisation,
et pour lesquels des marges d'amlioration importantes existent
Connaissances techniques dpasses
Taux dabsentisme lev du personnel
Forte dpendance vis--vis des enseignants temps partiel
Aucune procdure de suivi des succs et des checs
Manque de comptitivit
Frais de scolarit exorbitants
Personnel non motiv
Manque de planification
Fonds insuffisants pour investir dans les nouvelles technologies
Cours trop longs (3 mois)
Manque daccs aux ordinateurs
Stratgie marketing et de relations publiques inadquate
Manque dinstallations pour les activits sportives et autres sur le
campus
Faibles capacits dhbergement sur le campus
Les conditions extrieures ngatives que vous ne contrlez pas, mais
dont vous pouvez rduire les effets sur le projet
Tendances ngatives dans le secteur de la formation
Contexte dinstabilit politique
Prix peu propices limportation dordinateurs
Environnement conomique peu favorable
Taux de criminalit lev dans la rgion
Concurrence des autres centres de formation au management
Cours de gestion dispenss gratuitement par le ministre de
lEducation pour son personnel
Prolifration des centres de formation au management
Absence dun cadre rglementaire efficace lchelon national pour
les centres de formation au management
Manque dinfrastructures de transports publics
POSITIF NGATIF
Opportunits Menaces
E
x
t
e
r
n
e
I
n
t
e
r
n
e
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
119
T Slectionnez les participants qui rpondent le mieux la diversit de comptences requise.
T Choisissez un bon facilitateur.
T Assurez-vous quil ny a aucune intention cache.
T Assurez-vous que tous les participants formulent des exemples concrets pour appuyer leurs points de vue.
T Ne vous contentez pas de dresser une liste des erreurs et des fautes.
T Ne perdez pas de vue les influences et les tendances extrieures.
T Ne tentez pas de voiler les points faibles.
T Ne laissez pas lanalyse FFOM devenir un exercice permettant de rejeter la faute sur quelquun.
T Rdigez le procs-verbal de latelier et distribuez-le aux participants.
T Examinez en priorit les questions souleves lors de lidentification des options stratgiques.
T Utilisez les rsultats de lanalyse FFOM tout au long du processus dvaluation.
Encadr 3.28
Organiser un atelier sur les FFOM Points cls retenir
Encadr 3.29
La matrice FFOM Avantages et limites
AVANTAGES
T Offre un cadre structur et concis pour vous aider
planifier votre valuation.
T Permet de stocker une multitude dinformations dans un
espace restreint.
T Constitue une bonne base pour valuer les principales
capacits et comptences.
T Encourage la participation des parties prenantes
T Prend en compte de multiples paramtres.
T Facile utiliser pour faire un compte rendu.
LIMITES
T Peut tre utilise mauvais escient pour justifier une ligne de
conduite prcdemment tablie plutt que pour ouvrir la voie de
nouvelles possibilits.
T Peut susciter des dsaccords et une tendance faire porter la
responsabilit aux autres.
T Discuter des menaces et des opportunits ventuelles revient
sensibiliser lorganisation aux tendances et volutions de son
environnement extrieur.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
120
Le questionnaire
Les questionnaires sont utiliss pour rassembler les donnes recueillies auprs dun large ventail de
rpondants. Ils sont souvent le seul moyen fiable de sassurer que le nombre de rpondants est
suffisamment important pour envisager une analyse statistique des rsultats. Un questionnaire permet
chacun de rpondre aux mmes questions sur des thmes identiques. Un questionnaire bien conu
permet de recueillir des informations sur la performance globale dun produit/service et de composantes
spcifiques. Si des questions dmographiques concernant les participants figurent dans le questionnaire,
vous pouvez mettre en corrlation la performance et la satisfaction parmi les diffrents groupes
dutilisateurs.
POURQUOI ?
Les questionnaires sont utiliss pour regrouper dans une structure uniforme les informations recueillies
partir de diffrentes sources. Ces informations sont ensuite modlises laide dun tableur comme
Excel (ou dun logiciel danalyse statistique comme le Statistical Package for the Social Sciences, ou SPSS
des fins danalyse. Lorsque laccs aux ressources informatiques est limit et que le nombre de
donnes collectes nest pas suffisant, les rponses aux questionnaires peuvent tre compiles la main
sur une feuille de papier.
COMMENT ?
Llaboration dun questionnaire seffectue en plusieurs tapes. Il convient tout dabord de dterminer ce
que vous voulez savoir (et pourquoi) et comment vous utiliserez vos rsultats. Cela vous permettra de
bien assimiler les informations ncessaires et de dfinir le niveau de dtail prconis pour lanalyse.Vous
serez alors en mesure de poser les bonnes questions et dinterprter correctement les rsultats.Veillez
ce que tous les membres de lquipe soient impliqus dans le processus dlaboration et concentrez-vous
sur les questions cls pertinentes, de sorte que votre questionnaire ne soit pas indfiniment extensible.
En outre, si ladministration dun questionnaire est un processus relativement peu coteux par rapport
aux autres mthodes de collecte de donnes, la technique dentretien par questionnaire peut tre
relativement chre en termes de temps consacr son laboration.
Llaboration dun questionnaire
Llaboration dun questionnaire sarticule autour de cinq tapes successives : dfinir les objectifs et
identifier les rpondants ; laborer le questionnaire ; le tester et le finaliser, administrer le questionnaire ;
analyser les questionnaires remplis.
tape 1 : Dfinir les objectifs et identifier les rpondants
Il faudra tout dabord se demander pourquoi procdons-nous une valuation et quesprons-nous
accomplir travers cette dmarche ? . Il conviendra ensuite darticuler clairement comment vous
comptez utiliser les rponses au questionnaire pour savoir ds le dbut le type dinformations dont vous
avez besoin, le type de questions que vous allez poser et qui fournira les rponses ces questions. Pour
voir un exemple de questionnaire, reportez-vous les pages 124-126.
Vous pourriez faire le choix de regrouper les rpondants (en fonction de leur rle ou de leur ge,
par exemple) dans la mesure o, selon vous, chaque groupe dutilisateurs est amen utiliser le
produit/service de manire diffrente. tant donn quun groupe ne rpondra pas forcment aux mmes
questions quun autre groupe, il convient de structurer le questionnaire de sorte que chaque groupe
puisse rpondre des questions qui lui sont pertinentes. Dans certains cas, il peut savrer ncessaire
dlaborer plusieurs questionnaires afin de rpondre aux attentes de diffrents groupes.
Lorsque vous laborez un questionnaire, ayez lesprit les pratiques et croyances culturelles des
rpondants, choisissez un vocabulaire appropri, identifiez les personnes contacter pour obtenir
lautorisation de poser des questions (et celles que vous devriez informer au sujet de lenqute),
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
121
posez-vous la question de savoir si le genre (ou dautres facteurs) peut affecter laccessibilit des
rpondants et si une formation aux techniques dentretien savre ncessaire.
tape 2 : laborer le questionnaire
Rpondre un questionnaire doit tre une exprience intressante et non contraignante. Si les
rpondants sennuient, sils sont dsorients ou irrits, leurs rponses pourraient navoir aucune utilit. Ils
seront plus mme de cooprer si vous leur dites pourquoi vous posez ce type de questions et si vous
leur assurez que leurs rponses seront traites avec la plus stricte confidentialit.
Points auxquels il faut veiller lors de llaboration dun questionnaire :
T Mise en page et agencement. Structurez le questionnaire comme si vous deviez y rpondre vous
mme. Sil sagit dun questionnaire auto-administr, est-il attrayant et professionnel ? Est-il facile lire ?
Vous pourrez rdiger un court paragraphe introductif pour expliquer lobjectif de votre valuation et
faire savoir aux rpondants que leurs rponses nauront aucune incidence ngative et seront traites
en toute confidentialit.
T Ton et contenu. Les questions sont-elles intressantes ? La plupart de ces questions portent-elles
sur le mme sujet ou sur des sujets diffrents ? Certaines questions sont-elles poses plus dune fois ?
Certaines questions manquent-elles de pertinence ? Y a-t-il des questions qui mritent dtre poses
mais qui ne le sont pas ? Chaque question devra porter sur un sujet unique. Prenez soin dviter les
questions sensibles concernant les informations personnelles (les revenus, par exemple).
T Vocabulaire. Est-il adapt lge et au niveau dtudes des rpondants ? Un choix de mots diffrents
ne rendrait-il pas les questions plus comprhensibles ?
T Questions ouvertes et fermes. Connaissez-vous suffisamment lventail des rponses possibles
aux questions fermes que vous souhaitez poser ? (par exemple, lorsque les rponses possibles sont
spcifies lavance). Lencadr 3.30 prsente un exemple de question ferme : Comment recevez-
vous linformation ? . Toutes les questions fermes peuvent tre converties en donnes quantitatives
et produire des rsultats trs faciles rsumer, comparer et gnraliser. Si les questions ouvertes
sont particulirement utiles pour inciter les gens parler et explorer plus en dtail leurs points de
vue, il faut mobiliser plus de temps et defforts pour analyser les rponses faites ce type de question.
Par ailleurs, il est souvent intressant de terminer le questionnaire par une question ouverte du type :
Souhaitez-vous ajouter un commentaire ? .
T Nombre de questions. Le nombre de questions poses nest pas uniquement fonction de ce que
vous voulez savoir. Les rpondants seront plus enclins remplir un questionnaire qui semble pouvoir
ltre rapidement et facilement. Il faudra tenir compte des frais inhrents lanalyse dune grande
quantit de questions, en particulier sil sagit de questions ouvertes. La mise lessai prliminaire vous
permettra de mesurer le temps ncessaire pour remplir le questionnaire et de savoir si les rpondants
acceptent dy consacrer ce temps.
T Questionnaires auto-administrs / en face--face. Pour pouvoir remplir un questionnaire auto-
administr, la personne enqute doit se montrer intresse et en avoir les capacits. Une lettre
daccompagnement expliquant comment les rsultats du questionnaire seront exploits et pourquoi la
personne en question a t contacte devra tre rdige de manire persuasive. Une personne
participera plus volontiers une enqute si elle estime que le questionnaire peut contribuer
valoriser lexpression de ses opinions. Les questionnaires en face--face doivent tre faciles lire
haute voix par lenquteur et doivent inclure des instructions visant rduire le risque derreur de la
part de lenquteur. Les enquteurs doivent tre forms et devront adopter une attitude de neutralit
et de respect vis--vis des personnes interroges. vitez, dans la mesure du possible, les questions qui
pourraient embarrasser lenqut ou lenquteur, ou les deux la fois.
T Catgories de rponses. Il y a lieu daccorder une importance particulire la dfinition des
catgories de rponses. Lencadr 3.30 prsente quelques exemples.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
122
Remarque : certaines questions peuvent conduire des sauts logiques . Un saut logique prsuppose
que toutes les questions ne sont pas pertinentes pour lensemble des rpondants. Ceux qui rpondent
dune certaine faon passeront la question suivante ; ceux qui rpondent diffremment pourront sauter
un groupe de questions inappropries. Par exemple, si la rponse la question Avez-vous lu ce bulletin
dinformation ? est non , alors le rpondant devra sauter les questions suivantes. Le questionnaire
doit tre clair et non ambigu, en particulier sil est auto-administr.
tape 3 : Tester et finaliser le questionnaire
Testez le projet de questionnaire auprs dun petit groupe de personnes ayant les mmes caractristiques
que vos futurs rpondants. Cet essai prliminaire vous rvlera les difficults auxquelles se heurtent les
rpondants pour remplir le questionnaire et permettra didentifier les questions qui ne produisent pas les
donnes ncessaires.
Cela vous aidera modifier le projet avant de raliser le questionnaire dfinitif et contribuera galement
prvenir les difficults dordre pratique et rpondre aux besoins des membres chargs de mener
lenqute.
Assurez-vous que les diffrentes catgories de rponses ne prtent pas confusion, par exemple :
Combien dannes denseignement avez-vous reues ?
Schma 1 Schma 2
a. Moins de 5 ans a. 0 4 ans
b. 5 10 ans b. 5 10 ans
c. 10 15 ans c. Plus de 10 ans
Dans le schma 1, une personne ayant reu exactement 10 annes denseignement ou plus de 15 annes denseignement ne saurait pas
quelle rponse choisir. Le schma 2 est plus cohrent. Cela tant, les deux schmas ne font aucune distinction entre les personnes nayant
jamais reu denseignement et celles qui ont tudi quelques annes seulement.
Assurez-vous que les catgories du questionnaire couvrent le plus grand nombre de rponses possible, y compris une catgorie finale :
Comment recevez-vous linformation ? a. Radio/TV ; b. Journal ; c. Bibliothque ;
d. Bouche oreille ; e. Internet ; f. Autre (veuillez prciser).
Assurez-vous dinclure des instructions dtailles sur la manire de procder : il conviendra, par exemple, dindiquer si les rpondants
doivent cocher plus dune rponse.
Lorsque vous prparez vos catgories de rponses, aucune rgle ne vous oblige proposer aux rpondants un nombre pair de
rponses possibles (qui force linterview se prononcer dun ct ou de lautre) plutt quun nombre impair (pas de prise de position),
par exemple :
a. Trs bon a. Bon
b. Bon b. Passable
c. Mdiocre c. Mdiocre
d. Mauvais
Encadr 3.30
Dfinir les catgories de rponses dun questionnaire
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
123
tape 4 : Administrer le questionnaire
Sil sagit dun questionnaire en face--face, les enquteurs devront tre forms la faon de remplir ce
type de questionnaire (notamment au cours de la phase dessai prliminaire). Il est important que les
enqutes soient menes au moment et dans le lieu qui conviennent le mieux aux rpondants.
Il conviendra de donner aux rpondants :
T une ide du temps quils devront consacrer lenqute ;
T une explication succincte de lobjectif du questionnaire ;
T lassurance que leurs rponses seront traites en toute confidentialit ;
T des instructions pour savoir comment remplir les questionnaires (auto-administrs) et ce quils
doivent en faire une fois remplis ; et noubliez pas de les remercier la fin de lenqute.
Si les rpondants souhaitent tre tenus au courant des rsultats de lenqute, prenez leurs coordonnes
pour leur envoyer personnellement ces informations.
tape 5 : Vrifier les questionnaires remplis
Chaque questionnaire devra tre vrifi le plus tt possible aprs lenqute pour sassurer quil a t
rempli de manire approprie. Lidal serait dentreprendre cette vrification lorsque lvaluateur se
trouve encore sur le lieu de lenqute pour pouvoir claircir certains points, le cas chant.
T Commencez par des questions faciles dordre gnral pour mettre laise le rpondant, susciter son intrt et forger la relation.
T Privilgiez la simplicit. Les questions complexes risquent de dsorienter les rpondants et sont susceptibles de produire des rsultats
inexacts. En gnral, plus il y a de mots dans une question, plus il y a de chances que lnonc influence la rponse. Essayez de
fractionner une longue question en deux questions plus courtes. Utilisez un vocabulaire comprhensible pour tous.
T Les rponses par oui ou non ne permettent pas toujours danalyser de manire adquate les points de vue exprims.
vitez-les dans la mesure du possible. Par exemple, plutt que de demander tes-vous satisfait du bulletin dinformation ? ,
demandez Dans quelle mesure tes-vous satisfait du bulletin dinformation ? : trs satisfait, relativement satisfait, pas trs
satisfait, pas satisfait du tout ?
T Prenez soin, jusqu la fin, dviter les questions sensibles (par exemple, certaines personnes sont quelque peu embarrasses lide
de rpondre des questions concernant leurs revenus ou leur niveau dinstruction).
T Ne surestimez pas les connaissances de lenqut (par exemple, si vous posez une question technique, certaines personnes se
sentiront obliges de rpondre sans vraiment comprendre de quoi il sagit).
T vitez les mots dargot, les termes culturels ou techniques sauf pour aider le rpondant comprendre la question.
T vitez de poser des questions tendancieuses (par exemple, demandez Que pensez-vous des services ? plutt que Les services
sont-ils bons ? ).
T vitez lutilisation de termes impliquant un jugement de valeur qui pourraient influencer leur rponse (par exemple, un gouvernement
trs efficace ).
T Ne posez quune seule question la fois. Dans votre question, la conjonction et peut signifier que vous essayez de poser
plusieurs questions la fois.
Encadr 3.31
laboration dun questionnaire Points cls retenir
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
124
LIMITES
T La conception dun questionnaire requiert du temps et des
ressources.
T Concevoir un bon questionnaire est beaucoup plus difficile
quon ne pense. Si les questions sont mal formules, alors les
donnes recueillies seront de mauvaise qualit et peu fiables.
T Les questionnaires ne peuvent pas tre utiliss lorsque les
enquteurs ne connaissent pas prcisment le type de
questions quils envisagent dexplorer.
T Les questionnaires doivent tre administrs par des personnes
comptentes.
Encadr 3.32
Le questionnaire Avantages et limites
AVANTAGES
T Llaboration dun questionnaire est un processus
relativement peu coteux.
T Cest la meilleure option pour recueillir les opinions dun
grand nombre de personnes.
T Il garantit que les rponses de diffrentes personnes seront
recueillies puis compares.
T Bien conu, il est simple utiliser.
T Un mme questionnaire peut tre utilis plusieurs
reprises pour btir une image des tendances en cours.
T Les questionnaires peuvent tre diffuss grande chelle
par e-mail et analyss rapidement laide dun logiciel
dj disponible.
EXEMPLE DE QUESTIONNAIRE DVALUATION
(pour les participants un cours de formation)
Merci de bien vouloir remplir le questionnaire ci-dessous dans son intgralit
1. Nom de famille :
2. Autres noms :
3. Profession :
4. Nom de lorganisation :
5. Poste occup :
6. Nombre dannes ce poste :
7. Adresse officielle :
Pays :
Tlphone :
Tlcopie :
Adresse lectronique :
8. Sexe : Homme . Femme .
9. Classe dge : a) 16-25 ans b) 26-35 ans c) 36-45 ans d) 46-55 ans e) Plus de 55 ans
10. Niveau dtudes (diplme le plus lev obtenu) :
Certificat/Diplme technique Diplme de premier cycle Matrise Doctorat
11. Langue de travail : Autres langues :
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
125
12. Dans quelle mesure les objectifs viss travers ce cours de formation ont-ils t clarifis avant la
sance ? Cochez lune des options suivantes :
13. Dans quelle mesure tes-vous satisfait de la manire dont le cours a t organis ? Cochez lune des
options suivantes :
14. Veuillez relater un aspect positif de lorganisation du cours :
.
.
15. Veuillez relater un aspect ngatif de lorganisation du cours :
.
.
16. Dans quelle mesure les objectifs viss travers ce cours sont-ils conformes vos attentes ? Cochez
lune des options suivantes :
17. Dans quelle mesure ce cours de formation vous a-t-il offert lopportunit de nouer des contacts avec
les autres participants ?
18. Dans quelle mesure avez-vous tir parti de lexprience de chacun pendant la formation ?
19. Quels avantages tirez-vous de ce cours de formation ? Cochez la/les case(s) approprie(s) :
20. Donnez deux exemples dinformations et de comptences significatives acquises pendant ce cours
.
.
.
Pas clair du tout Partiellement clair Clair Trs clair
1 2 3 4
Insatisfait Partiellement satisfait Satisfait Trs satisfait
1 2 3 4
Non conformes Partiellement conformes Conformes Trs conformes
1 2 3 4
Aucune Opportunit Opportunit Excellente
opportunit relative intressante opportunit
1 2 3 4
Pas du tout En partie Beaucoup Considrablement
1 2 3 4
Jai obtenu une multitude de nouvelles informations sur le sujet
Jai acquis de nouvelles techniques/comptences
Nous sommes parvenus un consensus sur les stratgies/politiques
appropries relatives au contenu du cours
Jai nou de nouveaux contacts qui me seront trs utiles
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
126
21. Indiquez deux moyens qui vous ont permis dappliquer les acquis de la formation
.
.
22. Avez-vous partag lexprience acquise au cours de la formation avec dautres personnes ?
Oui/Non
23. Si oui, quelles sont parmi ces mthodes celles que vous avez utilises ? Cochez la/les case(s)
approprie(s).
24. Selon vous, les efforts dploys pour appliquer et/ou partager les leons apprises au cours de la
formation ont-ils contribu lamlioration des performances au sein de votre organisation ?
Oui/Non
25. Si oui, veuillez donner un exemple damlioration concrte
.
.
26. Avez-vous bnfici dautres services offerts par notre institution depuis que vous avez particip ce
cours de formation ?
Oui/Non
27. Si oui, veuillez indiquer le(s) type(s) de service(s)
.
.
28. Laccs nos services vous a-t-il aid faire un meilleur usage des informations/comptences acquises
au cours de la formation ?
Oui/Non
29. Depuis cette formation, avez-vous particip dautres cours portant sur le mme sujet ?
Oui/Non
30. Si oui, veuillez indiquer lintitul, la date et le lieu du/des cours de formation dont il est question la
ligne 29.
.
.
31. Qui a financ votre participation au(x) cours de formation mentionn(s) la question 30 ?
.
.
32. Dans quelle mesure pensez-vous que les informations/comptences acquises lors du/des cours de
formation mentionn(s) la question 30 vous ont permis de consolider celles que vous avez acquises au
cours de cette formation ? Cochez lune des options suivantes.
Veuillez nous faire part de toute autre observation que vous jugeriez pertinente dans le cadre de cet
exercice dvaluation.
.
.
Merci davoir pris le temps de remplir ce questionnaire.
Rapport Discussions Enseignement Article E-mail Sites Autre
de fin de en face--face Web (prcisez)
mission
Pas du tout En partie Beaucoup Considrablement
1 2 3 4
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
127
Les discussions de focus group
Les discussions de focus group sont des entretiens en groupe mens de manire systmatique avec les membres
slectionns dun groupe cible sur un sujet particulier. On peut y avoir recours chaque tape du processus, de la
planification lvaluation du projet.
Les informations recueillies lors des sances de discussions de groupe sont qualitatives. Ces sances visent
explorer les connaissances, les croyances, les proccupations et les attitudes plutt qu collecter des faits
statistiques. Lobjectif est de rassembler le plus grand nombre de points de vue possible. Les discussions de focus
group sont particulirement utiles pour comprendre les croyances, les perceptions et les questions dun groupe
cible.
Un focus group est en gnral compos de quatre huit participants. Il est difficile de grer des groupes plus
importants dans la mesure o il faut rdiger un compte rendu des propos tenus par chaque personne. Mme si la
sance est enregistre, il peut tre difficile de saisir ce que chacun dit lorsque deux personnes parlent en mme
temps.
La discussion est mene par un facilitateur sur la base de questions rigoureusement slectionnes. Linteraction
entre le facilitateur et le groupe, et parmi les participants, est llment moteur dun focus group. Avec plusieurs
groupes de discussion (deux quatre) sur un thme donn, il sera possible de dresser un panorama plus complet du
produit/service.
POURQUOI ?
Vous pouvez constituer des focus group si vous souhaitez connatre :
T les diffrents points de vue des utilisateurs sur votre produit/service ;
T des perceptions et des ides, plutt que des chiffres ou des pourcentages dutilisateurs exprimant ces opinions ;
T les moyens damliorer votre produit/service ;
T des informations de base sur des donnes quantitatives dj recueillies ;
T divers points de vue concernant lexactitude ou la pertinence de donnes gnres par dautres mthodes (par
exemple, une enqute par questionnaire a rvl que 70 % des villageois possdent une radio quils coutent
quotidiennement ; un focus group pourrait confirmer ce rsultat, un autre le relativiserait en prcisant que les
femmes travaillent gnralement lintrieur de la maison tandis que la radio se trouve lextrieur) ;
T les aspects importants prendre en considration dans llaboration dun nouveau questionnaire denqute pour
valuer votre produit/service (avoir notamment une ide du choix des mots utiliss par les utilisateurs du
produit/service afin de formuler des questions facilement comprhensibles).
COMMENT ?
La constitution de focus group sopre en trois tapes : prparation, mise en uvre et analyse. Chaque tape
comprend plusieurs phases, de lbauche du plan lanalyse des rsultats, en passant par llaboration des questions,
lidentification des participants et la tenue des discussions.
Mettre en place des focus group
tape 1 : laborer un plan et prendre des dispositions logistiques
laborez un plan de discussions de focus group tenant compte de spcifications et de critres pour la slection des
participants. Ce plan devra indiquer les dates et heures qui conviennent le mieux aux participants. Identifiez un lieu
de rencontre confortable et pratique, o les participants pourront de prfrence sinstaller en cercle. Cet espace de
rencontre doit tre un lieu totalement neutre qui encouragera les participants exprimer librement et ouvertement
leurs opinions.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
128
tape 2 : laborer un script
laborez un script qui, selon vous, amnera les gens parler de telle sorte quils puissent rpondre
toutes vos attentes. Un script de discussion de focus group comprend gnralement 10 12 questions
ouvertes clairement formules, allant des questions les plus gnrales aux plus spcifiques.
Les diffrents types de questions possibles sont les suivantes :
T des questions ouvertes pour faire parler linterview (par exemple, Parlez-nous de vous. Par
exemple, quaimez-vous faire de votre temps libre ? ).
T des questions introductives pour prsenter le thme et le lien qui existe entre celui-ci et les
participants (par exemple, Quelle est la premire chose laquelle vous pensez lorsque vous
entendez [nom du produit/service en cours dvaluation] ? ).
T des questions de transition qui permettent de relier entre elles les questions cls (par exemple,
Quelles ont t vos premires impressions lorsque vous avez dcouvert [nom du produit/service
en cours dvaluation] ? ).
T des questions cls (gnralement entre 2 et 5), les plus importantes pour obtenir les donnes dont
vous avez besoin (par exemple, Votre organisation a-t-elle tir parti de lutilisation [nom du
produit/service en cours dvaluation] ? Si oui, dans quelle mesure ? ).
T des questions de conclusion, pour recueillir lavis des participants et leur demander si quelque
chose a t oublie dans les discussions (par exemple, Si vous deviez donner un seul conseil au
responsable du projet, quel serait-il ? ).
Rappelez-vous quune discussion de groupe nest ni un interrogatoire, ni un jeu de questions-rponses
(quiz) il sagit bel et bien dune discussion. Les questions sont poses pour amener les participants
rpondre et communiquer entre eux. Pour chaque question, prparez des messages-guides afin de
pousser plus avant la discussion, le cas chant.
De plus, assurez-vous que les questions ne sous-entendent pas quelque chose dautre. Par exemple, la
question Quel est le service le plus utile offert par le centre de ressources ? suppose que le centre
propose des services utiles. Ce type de questions vous permettrait de recueillir des informations sans
faire la moindre hypothse : Avez-vous eu recours aux services du centre de ressources ? Si oui, dans
quel but ? Le trouvez-vous utile ? .
lappui des questions poses, une technique simple pour encourager chacun sexprimer consiste
utiliser un tableau feuilles mobiles sur lequel vous aurez pralablement dessin un diagramme ou un
schma.
tape 3 : Slectionner les participants
Un groupe de quatre huit participants est plus facile grer et donne lieu un change plus productif.
Certains estiment que le travail en petit groupe (moins de six personnes) favorise des discussions plus
approfondies. Nhsitez pas inviter un ou deux participants supplmentaires afin danticiper la dfaillance
ventuelle de lun dentre eux.
Au moment de slectionner les participants, il est important de prendre en compte les points suivants :
T Le nombre de groupes. Il dpend des moyens allous (temps et budget), mais il faudra constituer
au minimum deux groupes. Si vous navez quun seul groupe, vous ne pouvez exclure la possibilit
dtre confront aux problmes suivants : manque dimplication des participants, certaines questions
peuvent ne pas tre souleves, convergence des points de vue des participants, etc. Avec plusieurs
groupes, vous pourrez inviter plusieurs types de participants pour chaque groupe (groupes dges
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
129
diffrents, par exemple). Il est prfrable davoir deux groupes de femmes (dun ct les jeunes filles,
de lautre les femmes plus ges) plutt quun seul, sil savre que les jeunes filles restent
gnralement silencieuses en prsence de leurs anes.
T Lhomognit des groupes. Il est conseill de former des groupes homognes o tous les
membres ont le mme niveau. Ils pourront de ce fait parler librement et changer leurs expriences
sils se dcouvrent un certain nombre de points communs avec les autres membres. Ils devront tre
reprsentatifs des groupes cibles lis votre produit/service. La slection elle-mme se fait sur la base
de critres tels que la profession, lutilisation du produit/service, lge et le genre. Lidal serait que les
membres ne se connaissent pas.
T Lexploitation des listes existantes. On pourra oprer le recrutement des participants partir
dune liste (par exemple, les abonns un bulletin dinformation, les membres inscrits sur un site
Web). Envoyez-leur une invitation personnelle puis appelez-les pour obtenir la confirmation de leur
prsence. Expliquez-leur en quoi consiste la runion (et demandez leur avis concernant lutilisation
ventuelle dun magntophone au cours des discussions). Demandez-leur sils souhaitent exprimer des
exigences particulires et dites-leur combien de temps la runion est cense durer. Dans la mesure o
elles consacrent bnvolement une partie de leur temps, il faudra penser montrer votre satisfaction
dune manire culturellement approprie.
T Les dispositions logistiques. Proposez des rafrachissements et, sil y a lieu, essayez de prendre les
dispositions ncessaires pour le transport ou la garde denfants. Sil nest pas ncessaire doffrir de
largent pour participer une discussion de groupe les gens aiment quon leur demande leur avis il
sera toutefois utile de prvoir des boissons et une petite collation, et de prendre en charge les frais de
voyage le cas chant.
tape 4 : Choisir un facilitateur, un preneur de notes et un observateur
Le facilitateur est charg de guider les participants la runion. Il doit aider la dynamique du groupe et
sassurer que tous les participants prennent part la discussion. Il doit en outre :
T tre objectif, comprhensif, explicite, respectueux et savoir couter ;
T tre expriment dans la conduite de ce type dexercice en gnral et dans ce domaine en particulier ;
T ne pas tre impliqu dans la diffusion de ce produit/service dinformation.
Avantages et inconvnients de faire appel un facilitateur externe :
T Avantages. Faciliter des discussions de focus group constitue un dfi de taille. Il est donc important
de pouvoir compter sur un bon facilitateur, et les facilitateurs externes sont gnralement qualifis et
expriments. Qui plus est, ils nappartiennent pas votre organisation ; les participants font part plus
volontiers de leurs critiques un consultant externe plutt qu un reprsentant de votre organisation.
Pour alimenter les discussions, ils peuvent galement tre amens faire des digressions sur des sujets
intressants auxquels vous nauriez peut-tre jamais pens. Enfin, faire appel un facilitateur externe
vous permettra dintervenir en tant quobservateur et de tirer le meilleur parti des discussions.
T Inconvnients. Cela entrane des cots supplmentaires. Nombre de facilitateurs externes travaillent
dans le secteur priv et ne sont pas forcment mme dassumer ce rle dans dautres secteurs. Par
consquent, prenez soin de vrifier leur niveau de comptence dans votre secteur. Il peut tre difficile
dexpliquer une personne extrieure en quoi consiste exactement votre groupe de discussion : vous
passeriez trop de temps essayer dexpliquer le script. De plus, les facilitateurs externes ne sont pas
tenus de rdiger un rapport sur les groupes de discussion ; si vous en rdigez un, assurez-vous dy
inclure leurs propres commentaires.
Il est indispensable de recruter quelquun pour prendre des notes ainsi quune personne pour soccuper
du magntophone et de la logistique. La prise de notes consiste consigner ce qui est dit et exprim (de
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
130
manire verbale ou non verbale), et par qui, ainsi que le ton des discussions (notamment pour des
questions sensibles ou controverses), qui a particip activement (ou non) et les facteurs qui pourraient
expliquer les ractions et les attitudes des uns et des autres. Le preneur de notes devra galement
documenter la composition et la dynamique du groupe.
Si le groupe est plus important et si les ressources le permettent une autre personne pourra tre
recrute pour enregistrer les observations des participants. La prsence dun ou deux (deux au plus)
observateurs de votre organisation peut savrer utile afin danalyser les rsultats aprs la discussion.
Ceux-ci ne pourront intervenir qu la demande expresse du facilitateur. En fonction du lieu de la
runion, les observateurs devront se tenir hors du cercle des participants.
Si vous tes la seule personne disponible pour mener ce type de discussion, nhsitez pas vous lancer
dans la mesure o vous faites preuve dune grande capacit dcoute et possdez de bonnes aptitudes
pour faciliter les discussions au sein dun groupe.
tape 5 : Faciliter la discussion
Ces sances en groupe durent gnralement entre une heure et demie et deux heures. Il vous faudra
prvoir des chaises, une table, un tableau feuilles mobiles, un magntophone ainsi que des boissons et
des collations.Vrifiez le fonctionnement du magntophone avant larrive des participants.Voici quelques
trucs supplmentaires pour assurer la russite de votre discussion :
T Accueillez les participants ds leur arrive et offrez-leur des rafrachissements pour quils se sentent
laise.
T Ouvrez la sance par quelques mots de bienvenue, prsentez-vous et expliquez brivement le thme et
lobjectif de la discussion. Expliquez galement comment sera enregistre la sance (prise de notes et/ou
magntophone) ; assurez-vous que chacun a bien donn son accord avant de dmarrer la sance. Indiquez
qui aura accs aux informations et expliquez comment lanonymat et la confidentialit seront garantis.
T Il conviendra de rappeler quelques rgles de base avant damorcer la discussion (par exemple : une
seule personne parle la fois ; respecter lavis des autres mme en cas de dsaccord ; si le facilitateur
interrompt lorateur, celui-ci pourra terminer sa phrase avant de se taire ; interdiction de fumer ; les
tlphones portables doivent tre teints ou en mode silencieux).
T Expliquez aux participants limportance de leurs contributions et indiquez que vous tes dispos
explorer les diffrences de sensibilit au sein du groupe. Insistez sur le fait quil nexiste pas de
rponses correctes .
T Nayez pas peur des silences, cela fait souvent partie de la stratgie. Une pause encouragera les
participants parler (notamment ceux qui parlent moins en groupe) ou dvelopper une ide.
T Dressez un petit tableau rcapitulatif avant de passer un autre sujet. La meilleure solution est de
dire : Si je comprends bien votre point de vue, vous dites que . Il ne vous appartient pas de
juger, ni de donner votre opinion.
T Rappelez-vous que le facilitateur coute et enregistre la fois. Il ne doit pas prendre part activement
la discussion, sauf pour la guider et veiller ce quelle ne dvie pas.
T Faites en sorte que les participants ne posent pas de questions au dbut de la discussion. En revanche,
encouragez-les poser des questions la fin. Attachez-vous expliquer les malentendus qui ont
maill la discussion.
T Remerciez les participants pour leurs contributions et recherchez des solutions aux problmes
logistiques quils pourraient rencontrer. Ils devront repartir avec une impression positive de cette
exprience.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
131
tape 6 : Analyser les rsultats
Immdiatement aprs la sance, lorsque tous les participants auront quitt les lieux, le facilitateur, le
preneur de notes, les observateurs et toutes les autres personnes impliques devront analyser la
discussion et les rsultats. Des interprtations diffrentes peuvent rsulter de cette analyse. Assurez-vous
que le magntophone a fonctionn correctement et que les notes crites couvrent lintgralit de la
discussion. Mettez par crit les points qui nauront pas t abords.
En fonction du temps et des ressources alloues, lanalyse pourra reposer sur la transcription complte
des discussions du focus group, un rsum de la transcription enregistre ou encore les notes prises
pendant la sance. Un bon moyen deffectuer cette analyse consiste revoir les notes et couter les
enregistrements.
Coupez puis collez la transcription ou les notes soit sur papier, soit sur ordinateur, dans lordre des
questions. Conservez prcieusement la source. Laissez de ct les commentaires qui ne permettent pas
de rpondre aux questions et regroupez les commentaires analogues. Rdigez un rsum pour chaque
question, en prenant soin de sparer les sources si vous avez utilis diffrentes catgories de participants.
tape 7 : Prparer le rapport
Le rapport se compose de plusieurs parties : un rsum, lobjectif et les rgles de procdure du groupe
de discussion, les rsultats, les conclusions et les recommandations. La section relative aux rsultats doit
contenir un rsum pour chaque question ainsi quun verbatim (citations) des dbats, en tant que
donnes.
Vous pourriez envisager de remettre un rapport crit avec des supports visuels et de prparer une
prsentation orale pour vos collgues et/ou dautres personnes concernes.
T Prparez minutieusement le script et les questions (seuls des facilitateurs trs expriments peuvent improviser le script au cours dune
sance). Cela ne veut pas dire quil ne faut pas tre conciliant pendant la sance.
T Adressez-vous de la mme manire tous les participants et ne laissez aucun dentre eux dominer les dbats ; toutefois, dans la
mesure o certains ont davantage accs linformation que dautres, il serait bon de les laisser parler un peu plus que les autres.
T Respectez les dlais impartis pour rpondre aux questions poses et estimez le temps ncessaire pour chaque question.
T Expliquez trs clairement aux participants comment les rsultats seront exploits et indiquez-leur si vous comptez leur prsenter le
rapport final. Savoir quils ont associ leur nom des recherches importantes les encouragera. Personne ne souhaitera partager ses
opinions si les objectifs de la discussion ne sont pas clairement dfinis.
T vitez de porter un jugement ou dexprimer vos opinions. Les participants ont tendance considrer les facilitateurs comme des
experts et pourraient tre tents de partager leurs opinions.
T Ne rpondez pas des questions ayant trait au produit/service. Cela perturbe le processus. Essayez dvaluer au pralable le
niveau de connaissances des participants et utilisez lintroduction pour apporter les explications ncessaires. Sil y a lieu, en fin de
sance, prenez le temps de rpondre aux requtes adresses par certains participants.
T Ne laissez pas trop de temps scouler avant danalyser et de communiquer les rsultats de la discussion du focus group. Ds que la
sance est termine, commencez couper-coller les notes ou les transcriptions et rdigez une synthse concise des principaux
rsultats. Vrifiez les rsultats et compilez les citations laide du magntophone.
T Avant de finaliser les conclusions et les recommandations, demandez aux autres personnes impliques de les lire et faites part de
leurs commentaires dans le rapport. Songez organiser une runion pour prsenter les rsultats et discuter du suivi de lvaluation.
Encadr 3.33
Mettre en place un focus group Points cls retenir
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
132
Le diagramme de flux de processus
Cet outil met en lumire les squences dactivits lies la mise en uvre dun projet dinformation.
Presque toutes les activits dinformation peuvent tre considres comme des processus. Par exemple :
T produire une brochure ;
T dvelopper un site Web ;
T concevoir un programme de radio rurale ;
T organiser un cours de formation ;
T publier un bulletin dinformation ;
T offrir un service de documentation.
POURQUOI ?
Lutilisation du diagramme de flux peut vous aider dcrire des activits dinformation relativement
complexes de manire clarifier les liens entre les composantes et les diffrentes tapes du processus. Il
vous aide galement :
T identifier les problmes lis la squence dactivits, y compris les retards ventuels, les facteurs de
blocage et les failles apparentes dans la chane de responsabilit ;
T identifier les moyens damliorer le processus ;
T dterminer dans quelles circonstances certains malentendus peuvent se produire entre les parties
prenantes et les diffrentes units ;
T expliquer le processus (aux membres de lquipe dvaluation et autres acteurs concerns, par
exemple) pour donner une bonne reprsentation de la manire dont le projet est conduit ;
T comprendre comment les tches incombant aux parties prenantes et aux diffrentes units interagissent.
COMMENT ?
Pour dcrire le processus des activits dinformation, le diagramme de flux utilise des symboles
permettant de reprsenter les diffrentes activits au cours du processus. Celui-ci se droule en cinq
tapes. Nous dcrirons en dtail chaque tape et vous prsenterons un exemple de diagramme de flux
utilis pour un service de questions-rponses.
LIMITES
T Les focus group donnent une indication des diffrents points
de vue exprims au sein dune communaut mais ne doivent
pas servir de base pour des gnralisations car ils ne
constituent pas un chantillon reprsentatif.
T Certains participants pourraient tre intimids par leurs
homologues ou par lexprience. Autrement dit, soit ils ne
participent pas, soit ils apportent des rponses socialement
acceptables.
T Contrairement aux entretiens individuels, les opinions
exprimes sont influences par les autres.
T Avec seulement huit participants (ou moins) par groupe, les
rponses obtenues ne sont pas aussi fiables et valides que
celles recueillies au cours des enqutes structures. Il
conviendrait pour cela dorganiser plusieurs focus group sur
le mme sujet.
Encadr 3.34
Discussions de focus group Avantages et limites
AVANTAGES
T Les discussions de focus group peuvent aider identifier les
croyances/convictions sur un produit/service. Celles-ci pourront
tre utilises au moment de llaboration du questionnaire.
T Elles encouragent les participants non seulement laborer et
explorer leurs propres questions, mais aussi analyser leurs
propres expriences.
T Mettre en place un focus group est gnralement plus
rentable que de mener des entretiens individuels.
T Les focus group permettent dobtenir des informations
manant de personnes peu alphabtises.
T Ils permettent de rvler des opinions et des attitudes qui
nmergeraient pas dans un questionnaire formel.
T Les focus group sont gnralement bien accueillis au sein de
la communaut, puisquil sagit dune forme de
communication naturelle.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
133
laborer un diagramme de flux de processus
tape 1 : Dfinir le processus
Identifiez le processus que vous souhaitez analyser. Pensez dterminer votre base de dpart et les
rsultats attendus pour chaque tape.
tape 2 : Dcrire le processus
Dcrivez les processus laide des symboles indiqus dans le tableau 3.17.
Point de dpart et rsultat
Diviser le processus en 5-10 activits ayant sensiblement le mme niveau dimportance. Ne pas mlanger les
activits et leurs sous-activits
Identifier les points de dcision importants. Dcrire ces points de dcision sous forme de questions oui/non.
Sassurer que ces deux types de questions oui/non et non/oui dbouchent sur une activit de suivi, par exemple :
Demande accepte ?
Oui = Inviter le client
Non = Informer le client
Pour chaque activit, identifier la personne et/ou le service responsable
Toutes les activits et tous les points de dcision qui suivent le symbole incombent la personne et/ou au service
mentionn(e)
Identifier les flux dinformation (entrants et sortants) associs au processus. Les flches (voir ci-dessous) indiquent le
sens du flux dinformation
Raccorder la flche aux symboles indiquant la squence des tapes et inclure les boucles pour montrer quune
activit prcdente doit tre rpte
SYMBOLE EXPLICATION
Tableau 3.17
Symboles utiliss pour chaque tape du diagramme de flux de processus
M
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
134
tape 3 : Identifier les facteurs (potentiels) de blocage
Pour chaque activit et chaque point de dcision, posez-vous les questions suivantes :
T Pourquoi mettre en uvre cette activit ?
T Pourquoi cette activit intervient-elle ce point prcis de la squence dactivits ?
T Quel est le volume de travail fournir ?
T Combien de temps faut-il consacrer ce travail ? Et pourquoi ?
T Lactivit est-elle difficile mettre en uvre ? Si oui, pourquoi ?
T Pourquoi cette personne en particulier est-elle charge de mettre en uvre cette activit ?
T Quels sont les risques lis cette activit ? Quest-ce qui pourrait aller mal ?
tape 4 : Identifier les amliorations
Sur la base des rponses recueillies dans ltape prcdente, posez-vous les questions suivantes :
T Pourrait-on laisser de ct certaines activits, certains points de dcision ou certaines informations ?
T Pourrait-on combiner ou modifier/remplacer certaines activits, certains points de dcision ou
certaines informations ?
T Pourrait-on simplifier certaines activits, certains points de dcision ou certaines informations ?
T Certaines responsabilits pourraient-elles tre modifies ?
tape 5 : valuer les amliorations potentielles
valuez vos ides damlioration en vous posant la question de savoir si elles peuvent dboucher sur des
propositions concrtes pour :
T rduire les efforts et le temps ncessaires la ralisation de certaines activits ;
T amliorer la qualit du projet dinformation ;
T rduire les besoins en ressources ncessaires la ralisation des objectifs ;
T amliorer les conditions de travail.
La figure 3.8 montre quil peut exister un temps de dcalage entre :
T la rception et lenregistrement ;
T lenregistrement et lvaluation ;
T lvaluation et lanalyse des rponses ;
T lanalyse des rponses et leur diffusion.
T Utilisez un diagramme de flux lorsquun processus parat complexe ou lorsque de nombreuses personnes sont impliques dans
lactivit.
T Impliquez les parties prenantes dans llaboration et la vrification du diagramme.
T Nessayez pas de tout regrouper dans un seul diagramme ; sil y a lieu, laborez plusieurs diagrammes pour les diffrentes activits.
T Ne faites pas un diagramme tout propos ; si un processus est assez clair pour lensemble des parties prenantes, il nest pas utile de
lexpliciter davantage.
T Ce type de diagramme ne doit pas tre utilis comme seul moyen de communication ; certains groupes de parties prenantes
pourraient ne pas savoir le lire de manire adquate.
Encadr 3.35
laborer un diagramme de flux de processus Points cls retenir
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
135
Figure 3.8
Exemple de diagramme de flux de processus pour un service questions-rponses
Requte du client
Secrtariat
SQR
Prise en compte
de la requte
Simple
routine ?
Non
Oui
Responsable
SQR
Autre
expertise ?
Responsable
SQR
Recueillir et
enregistrer la
rponse
Activits de
suivi
Question transmise
un autre expert
Information provenant
de lautre expert
Rponse envoye
au client
Requte traite avec
succs
Requte
traite
Traitement de la
requte
Secrtariat
SQR
Rponse/publication
standard
Lettre, appel
tlphonique ou
courriel
Expert
SQR
Oui
Non
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
136
Les tudes de cas
Une tude de cas permet dvaluer votre produit/service dinformation. Il sagit dune dmarche fonde
sur lanalyse qualitative dun produit, dun vnement ou dune organisation dans son contexte au sens
large. Ltude de cas est particulirement utile lorsque vous souhaitez procder une valuation de
processus et dimpact. Le nombre et lampleur des tudes de cas raliser au cours dune valuation
dpendent des objectifs de lvaluation.
Les tudes de cas sont tayes par toute une panoplie doutils (entretiens individuels, focus group,
questionnaires et recherche sur le Web) et utilisent galement des sources de donnes, comme les
archives. Elles donnent un aperu du pass qui est particulirement prcieux lorsque des mouvements de
personnel saccompagnent dune perte de mmoire institutionnelle.
POURQUOI ?
Les tudes de cas collectent et prsentent des informations qualitatives sur un sujet donn. Elles sont
souvent le seul moyen efficace de mettre en vidence lutilisation, les rsultats et limpact. Une valuation
base sur un plan exprimental (spcifiant les units de test, les procdures dchantillonnage, les
variables indpendantes, les variables dpendantes et comment contrler les variables externes) est
possible ou rentable uniquement dans le cadre de la recherche. Une tude de cas fournit des
enseignements prcieux condition que les personnes concernes, ainsi que les rapports, soient
accessibles.
Les tudes de cas peuvent faire apparatre les contradictions et la complexit. Elles font parfois suite
une tude plus large pour approfondir des questions importantes abordes dans cette tude. Produire
LIMITES
T Il est souvent difficile dtablir une distinction entre les
diffrents niveaux dactivits (activits et sous-activits).
T Certaines activits sont cycliques, sans dbut ni fin clairement
identifiables.
T Sil nest pas utilis de manire approprie, de simples
activits peuvent tre dcrites comme un processus.
T Si le diagramme de flux est labor dans le cadre dune
dmarche participative, les participants risquent de confondre
la situation actuelle avec le rsultat attendu.
T Sil nest pas expliqu correctement, le diagramme de flux de
processus peut facilement tre mal interprt.
Encadr 3.36
Le diagramme de flux de processus Avantages et limites
AVANTAGES
T Le diagramme de flux de processus est un outil
relativement simple qui peut tre appliqu une varit
de produits/services dinformation.
T Il donne un aperu de lensemble du processus et vous
aide identifier les facteurs potentiels de blocage ainsi
que les amliorations ncessaires.
T Vous pouvez laborer ce type de diagramme seul ou en
groupe (20 personnes maximum), de manire
participative ; si certains collaborateurs cls nont pas
particip activement son laboration, invitez les autres
parties prenantes au processus faire part de leurs
commentaires.
T Particulirement utile des fins de prsentation, cet outil
montre quoi pourraient ressembler les procdures.
T En fonction de la complexit de lactivit, il faut
gnralement peu de temps pour laborer un diagramme
de flux de processus.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
137
une tude de cas fonde sur des preuves est souvent plus convaincant que de prsenter un rsum
thorique des avantages et inconvnients sans exemples concrets.
COMMENT ?
Une tude de cas se droule en plusieurs tapes. La dure globale dune tude de cas peut varier de
quelques heures plusieurs mois, en fonction de ce que vous voulez savoir. titre dexemple, une
tude de cas qui produit un rapport de 5 10 pages sorganise comme suit : activits prparatoires
(tapes 1 et 2 environ 5 jours) ; conduite de ltude (tape 3 2 3 jours) ; analyse des donnes et
rdaction du rapport (2 3 jours) ; diffusion (tapes 4 et 5 1 2 jours).
Dans le cadre dune tude de cas multiples (conduire plus dune tude de cas), les tapes 1, 2 et 5
prennent moins de temps mais il faudra prvoir un temps supplmentaire pour la rdaction du rapport
de synthse. De plus, il est important de bien apprhender le sujet et le contexte dans lequel sinscrit
cette tude. De trs bonnes capacits analytiques et rdactionnelles sont galement ncessaires afin de
pouvoir tirer des conclusions gnrales partir des observations ralises.
Organiser une tude de cas
tape 1 : Prparer les grandes lignes du projet et identifier les personnes-ressources
Il sagit dun plan succinct prsentant les raisons spcifiques de ltude. Pensez clarifier vos objectifs.
Cela est dautant plus important que les thmes retenus dcoulent directement des objectifs de ltude.
Les grandes lignes dfinissent les mthodes utiliser pour collecter les donnes (par exemple, les
entretiens et les rapports danalyse) et les sources de donnes (les rprsentants communautaires, un
bulletin dinformation).Vous devrez en outre dcider si vous souhaitez conduire une seule tude de cas
(pour le moment) ou plusieurs. Conduire plusieurs tudes de cas prsente lavantage de produire des
donnes comparatives et de rendre possible leur gnralisation.
Vous devrez ensuite tablir une liste de personnes-ressources et dterminer le moment opportun pour
les rencontrer. Il peut tre utile dimpliquer les parties prenantes cls dans ce processus : elles vous
aideront explorer des pistes de recherche et surmonter les obstacles ventuels.
tape 2 : Concevoir les questions et slectionner le(s) cas
Il sagit ici de concevoir une srie de questions se rapportant chaque thme pralablement dfini dans
les grandes lignes. Une tude de cas commence gnralement par une section descriptive o sont poses
des questions Comment ? : ces questions vous aident obtenir une vue densemble de la situation et
mieux comprendre les diffrents aspects du produit/service tudi. Celle-ci est gnralement suivie
dune section explicative o sont poses des questions Pourquoi ? .
Une fois dfinis les thmes et les questions, vous dterminerez les critres de slection du cas, tels que le
type de donnes disponibles et laccessibilit des sources de donnes. Si vous envisagez plusieurs tudes
de cas, il sera possible dinclure les critres suivants : distribution gographique, diversit des cas, tapes
de mise en uvre et montant du financement. Si vous ne connaissez pas trs bien la rgion ou le thme
de ltude, demandez un expert local de vous aider slectionner les cas.
Lorsque vous rencontrerez les personnes-ressources pour un cas que vous avez slectionn, il sera
ncessaire de clarifier les points suivants : lobjectif de ltude, le type de personnes avec lesquelles vous
souhaitez vous entretenir, le type de donnes que vous souhaitez analyser, le temps que vous souhaiteriez
consacrer ce cas ainsi que les mthodes de communication et de diffusion des rsultats utiliser.
Montrez-leur galement les avantages quelles pourront en tirer. Si lon ne peut les encourager
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
138
financirement parlant, les personnes-ressources apprcient gnralement de voir quune tude de cas a
t publie et dissmine.
ce stade, vous pourriez vous poser la question de savoir comment vous ragiriez si ltude ne couvrait
pas certains aspects quelles ne souhaiteraient pas voir divulgus.
La bibliothque a t cre pour fournir aux vulgarisateurs et aux journalistes des informations dans les domaines de lagriculture et de
lenvironnement. Ltude de cas avait pour but de dterminer si les groupes cibles avaient facilement accs une information pertinente.
Il aura fallu trois jours pour terminer cette tude de cas (sur une priode initiale de deux semaines). Lanalyse des bases de registres de
tous les utilisateurs et des emprunts concernant des livres ou de la documentation a permis de raliser un graphique qui montre
lvolution constante du nombre dutilisateurs, avec un pic record certains jours du mois. Cette tude a galement permis didentifier les
utilisateurs rguliers et occasionnels du centre. Les donnes recueillies ont servi slectionner les participants une discussion de focus
group (deux utilisateurs rguliers et quatre utilisateurs occasionnels).
Il ressort de cette discussion les points suivants : les deux utilisateurs rguliers ont estim que, sur lensemble des produits et services
dinformation proposs dans la bibliothque, les bulletins dinformation sur des sujets lis la sant taient particulirement utiles pour
llaboration de supports pdagogiques de formation et auraient souhait trouver de plus amples informations traitant dautres enjeux lis
la sant.
Concernant les utilisateurs occasionnels, lun deux trouve les horaires douverture peu commodes (cette personne est maman de jeunes
enfants), un autre a indiqu que la documentation propose ntait pas suffisamment scientifique et quelle ne rpondait donc pas ses
besoins. Les deux derniers ont indiqu, pour leur part, quils ntaient pas au courant des multiples services proposs par le centre, quils
comptaient dsormais les utiliser plus rgulirement et allaient encourager dautres personnes en faire de mme.
Aucun dentre eux na en revanche pu expliquer les raisons des pics daffluence. Il a t convenu dlaborer un questionnaire succinct
soumettre aux utilisateurs du centre. Parmi les questions poses, on trouve notamment celle-ci : Y a-t-il une raison particulire qui
explique votre prsence ici aujourdhui ? .
Suite cette tude, les horaires douverture ont t modifis certains jours, des contacts ont t tablis avec une universit locale pour
accrotre laccs la littrature scientifique ( la demande) et des efforts supplmentaires ont t consentis pour promouvoir ces services
travers les mdias locaux. La bibliothque sest par ailleurs abonne un bulletin dinformation consacr aux questions de sant et a
inclus les enseignants, les journalistes et autres personnels de sant dans ses groupes cibles pour publicit ultrieure.
Encadr 3.37
tude de cas dune bibliothque urbaine
tape 3 : Conduire ltude de cas
Ltude de cas repose gnralement sur une srie dentretiens (individuels et de groupe) tays par une
analyse de documents annexes sur le projet (brochures, rapports dvaluation antrieurs, recherche Web).
Pour obtenir une vue densemble de la situation, il conviendra dinterviewer les personnes-ressources
elles-mmes ainsi que les bnficiaires potentiels.
Il pourrait savrer utile dtablir une liste des parties prenantes afin de sappuyer sur les points de vue et
les expriences de chacun : les membres du personnel de lorganisation (par exemple, les responsables
ou coordinateurs) ; les agents de terrain qui sont en contact direct avec les groupes cibles ; les
personnes concernes au sein des organismes gouvernementaux et des organisations partenaires au
niveau local/national ; les utilisateurs finals. Le nombre et la diversit des personnes impliquer dans
ltude dpendront de ses objectifs, du temps qui y sera consacr et des ressources disponibles.
Les questions serviront de guide plutt que de liste de contrle. Des faits ou sujets inattendus rvlent
souvent des rsultats intressants. Lorsque vous conduisez une tude dans un contexte (gographique ou
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
139
thmatique) qui ne vous est pas familier, travailler avec une personne locale (non implique dans le cas)
prsente un intrt supplmentaire.
Lenregistrement dun entretien permet ultrieurement de retravailler le contenu et de retranscrire de
belles citations. Les images et la vido sont des outils qui permettent de visualiser ltude et constituent
un moyen pratique et convivial de diffuser un rapport final. Toutefois, juste avant de commencer un
entretien, demandez lenqut sil vous autorise enregistrer et ce qui pourra ensuite tre utilis, qui
pourra tre cit, etc.
tape 4 : Analyser les donnes recueillies
Pensez tout dabord revenir sur les objectifs et les thmes dfinis dans les grandes lignes de
ltude de cas.Vous utiliserez les donnes recueillies comme base de dpart et les structurerez
selon le thme choisi.Vous procderez diffremment selon la complexit et la quantit de donnes.
Si vos notes sont manuscrites, les donnes peuvent tre codes laide de couleurs ou de lettres
afin dassocier ou regrouper les diffrents objectifs et thmes. Si vos notes sont tapes, vous pouvez
utiliser un ordinateur afin de les rorganiser. Si vous avez enregistr les entretiens mais nen avez
pas fait la transcription, rcoutez lenregistrement pour complter vos rsultats et identifier des
citations.
Une fois les donnes structures en fonction du thme choisi, indiquez par crit les rsultats
pour chaque thme. Cela servira de base votre rapport dtude de cas. Le fait dexaminer
suffisamment lavance le projet de rapport avec vos informateurs et les autres parties prenantes vous
permettra de tirer parti de la richesse qualitative des donnes et didentifier dventuelles erreurs
factuelles.
Si vous ralisez plus dune tude de cas et que vous devez mener une analyse transversale des cas, les
donnes que vous utiliserez maneront probablement des rapports dfinitifs de chaque cas. Collectez
toutes les donnes en fonction du/des thmes(s) choisis puis analysez les diffrents aspects des cas
tudis (afin didentifier des similitudes et des diffrences). Cela pourrait servir de base un rapport de
synthse, afin de rsumer les rsultats des diffrentes tudes de cas.
tape 5 : Rdiger et diffuser le rapport
Il y a diffrentes faons de rdiger un rapport dtude de cas, notamment en fonction du public vis et
des objectifs initiaux de ltude. des fins dvaluation, le rapport devra avant tout tre factuel. Les
donnes recueillies pour chaque thme constitueront les sections descriptive et analytique, soit une
grande partie du rapport. Un rsum et une conclusion rendront le rapport attractif pour un plus large
public.
Pensez envoyer une copie du rapport final (tout au moins une partie) aux personnes interviewes pour
quelles puissent formuler des observations, le cas chant. Les observations sur des faits prcis ou sur
votre analyse de ces faits sont gnralement prises trs au srieux. Le rapport de synthse de plusieurs
tudes de cas devra mettre en lumire des schmas communs aux cas tudis sur des thmes cls, tout
en soulignant les similitudes et les diffrences.
Il est prfrable de combiner plusieurs canaux de communication pour diffuser le rapport (par e-mail,
via Internet ou sous forme imprime, par exemple). Si vous utilisez des supports multimdias (par
exemple, des clips vido ou des photos), pensez diffuser votre rapport sur un support de type cdrom.
Prsenter votre rapport loccasion dvnements spciaux vous permettra, par ailleurs, de partager avec
dautres les leons tires de votre exprience.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
140
T Prenez le temps de bien dfinir les objectifs et les thmes de ltude de cas, et soyez prt adapter les thmes des faits
quelquefois inattendus.
T La gestion des aspects pratiques doit tre soigneusement prpare et anticipe. Pour les visites et les entretiens, il est conseill de
prendre rendez-vous par tlphone (plus rapide et plus efficace).
T Soyez dot dun esprit critique ; identifiez et mettez en vidence les problmes et checs ventuels, ainsi que les rsultats positifs.
Une tude de cas dvoilant uniquement des rsultats positifs manque de crdibilit. Par ailleurs, analyser les faiblesses dun projet est
aussi important quidentifier ses succs.
T Assurez-vous que les informations de base sont correctes (orthographe correcte des noms de personnes, rsums succincts et prcis
dun projet, par exemple) pour viter de fausser ltude.
T Sil y a lieu, prvoyez plusieurs tudes de cas pour viter que ltude de cas slectionne ne fournisse une mauvaise base danalyse
par manque dinformations et pour avoir des rsultats plus reprsentatifs ainsi que des donnes comparatives.
T Impliquez dautres personnes afin de raliser lanalyse critique de votre tude. Analyser les donnes et tirer des conclusions comptent
parmi les phases les plus dlicates dune tude de cas, dans la mesure o celles-ci sont largement influences par le point de vue des
observateurs.
T Faites mention de vos sources, y compris les personnes interviewes, les sites Web, les bulletins dinformation et autres documents
consults pour permettre dautres personnes de poursuivre vos travaux ultrieurement.
T Modifiez volontiers les questions et thmes cls se rapportant ltude de cas, si de nouvelles informations vous le
suggrent.
T Rdigez de manire succincte la partie descriptive de votre rapport. Dans les rapports dvaluation, les lecteurs ont souvent tendance
privilgier la section explicative, lanalyse et les conclusions. Prenez le temps de dterminer votre public cible et songez produire
votre rapport en diffrents formats pour satisfaire des publics diffrents.
T Prcisez comment et quand vous comptez diffuser les rsultats de ltude, et respectez vos engagements si possible.
Encadr 3.38
Conduire une tude de cas Points cls retenir
LIMITES
T Les tudes de cas ne sont pas reprsentatives ; la conduite
dtudes de cas multiples rend possible la gnralisation
analytique (mais pas statistique).
T Les rsultats sont subjectifs ils reposent sur linterprtation.
T Les personnes impliques dans une tude de cas doivent
parfois y consacrer beaucoup de temps.
Encadr 3.39
tudes de cas Avantages et limites
AVANTAGES
T Ltude de cas est un outil efficace qui permet de recueillir
des informations qualitatives approfondies.
T Elle permet de mettre en vidence et dillustrer un aspect
particulier dun produit/service.
T Le travail de recherche est relativement flexible et permet
au fil du temps dexplorer de nouvelles questions.
T Elle permet dexploiter les diffrentes expriences
subjectives dun aspect en cours dtude.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
141
Les entretiens individuels
Pour savoir ce que les gens pensent dun produit/service, ou comment ils lutilisent, demandez-le leur
directement. Les entretiens individuels peuvent tre mens en face--face, par tlphone ou en ligne.Vous
pouvez utiliser un questionnaire structur pour enregistrer systmatiquement les informations ncessaires
ou adopter une approche semi-structure, plus informelle, sappuyant sur une liste de questions qui
permettent de guider lentretien. Un entretien semi-structur, qui prend gnralement la forme dune
conversation informelle, a recours une srie de questions gnrales pour guider les conversations mais
en laissant la possibilit dajouter dautres questions qui pourraient surgir de la discussion.
Pour viter tout parti pris, veillez constituer un groupe reprsentatif dune communaut cible selon des
critres dge, de sexe, dorigine sociale et de profession. Les participants peuvent tre choisis de faon
alatoire ou il est possible quun groupe choisisse un chantillon de ses membres sur la base de critres
fournis par les valuateurs. Sil y a auto-slection par les participants eux-mmes, il y a un risque que seuls
les membres les plus influents dun groupe, ainsi que ceux qui sexpriment plus facilement que les autres,
se fassent connatre.
tablissez les bases dune valuation honnte en expliquant clairement la personne interviewe que
vous souhaitez apprendre ce quelle pense vraiment et que vous attendez delle un point de vue
spcifique et critique. Lenquteur doit au pralable connatre et comprendre les raisons de lvaluation
afin de pouvoir lancer de nouvelles questions en fonction des rponses de la personne interroge. Cela
est particulirement important dans le cadre dentretiens semi-structurs, qui sont relativement flexibles.
POURQUOI ?
Lentretien individuel vous permet de collecter des informations pour savoir comment les utilisateurs
peroivent et utilisent rellement un produit ou un service. Les informations recueillies permettent entre
autres de rpondre aux interrogations suivantes :
T Le produit/service est-il adapt leurs besoins ?
T Comment les utilisateurs peroivent-ils le produit/service ?
T La manire dont ils peroivent ce produit/service est-elle conforme lobjectif pour lequel celui-ci
a t labor ?
T Que pensent-ils de la manire dont ce produit/service est offert ?
T Que souhaiteraient-ils voir ajout ce produit/service ?
T Comment utilisent-ils ce produit/service
COMMENT ?
Le nombre exact de personnes interroges varie en fonction de ce que vous souhaitez connatre, du type
de personnes pralablement slectionnes, du temps et des autres ressources dont vous disposez. Leur
nombre varie entre 5 et 15 en moyenne. Mme un groupe de personnes relativement moins nombreuses
vous permettra dobtenir une masse dinformations utiles. En rgle gnrale, vous en savez suffisamment
lorsquun modle de rponse a t dfini, notamment si vous comparez ce modle aux donnes du suivi
journalier des activits.
Les entretiens individuels sont souvent dcomposs en plusieurs tapes (prparation, mise en uvre et
analyse).
Organiser un entretien individuel
tape 1 : Dterminer les objectifs et les ressources
Dterminez les objectifs de lentretien et rpertoriez les ressources disponibles. Les dpenses inhrentes
la mise en uvre dun entretien peuvent se rsumer comme suit :
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
142
T le temps consacr llaboration des questions, la prparation des matriels, au recrutement des
participants, la conduite des entretiens, ainsi qu lanalyse et linterprtation des rsultats ;
T le remboursement des frais de dplacement des rpondants ;
T les frais de location dune salle de runion (une dpense qui peut gnralement tre vite).
tape 2 : Choisir une mthode dentretien
Lentretien est gnralement conduit en prsence de la personne, en particulier sil sagit dobserver
certaines ractions (vous pouvez voir les expressions de la personne lorsquelle rpond). Toutefois, si
linterviewer connat la personne qui doit tre interroge, lentretien pourra se faire par tlphone ou via
un lieu de rencontre virtuel, accessible partir dun site Web. Pour les entretiens en face--face, trouvez
dans la mesure du possible un environnement de travail calme et confortable.
tape 3 : Prparer lentretien
En fonction des rsultats attendus de cet change, vous choisirez dadopter une approche formelle
structure ou une approche plus informelle et semi-structure. Un entretien formel repose sur une srie
de questions fermes et ouvertes (tout comme le questionnaire).Vous devrez par ailleurs dterminer la
quantit dinformations recueillir chez la personne interroge. Parfois, une personne anonyme se sent
beaucoup plus libre dans ses choix de rponses.
Dans le cas dun entretien semi-structur, notez pralablement par crit les questions, tout en tant prt,
si ncessaire, de faire face des questions diffrentes. Cela signifie que vous devrez comprendre
clairement quelles sont les informations ncessaires et pourquoi elles le sont. Le caractre relativement
informel de cette approche peut encourager les personnes interroges souvrir et vous amener
explorer des sujets inattendus.
La premire partie est parfois plus structure que la suite de lentretien, qui repose gnralement sur une
approche plus informelle. Cela peut permettre aux personnes quelque peu intimides de gagner en
confiance ds le dbut de lentretien.
Une question ferme est celle o la personne interroge choisit la rponse la plus approprie dans
une liste (par exemple, Quel est celui que vous prfrez : le site x ou y ? ). vitez dans la mesure
du possible les questions dont les rponses sont oui ou non . Les gens rpondent souvent
oui pour vous faire plaisir. Il est gnralement possible de reformuler les questions afin dviter
une rponse par oui ou non . Les questions ouvertes vous permettent dobserver le
niveau de comprhension (par exemple, vous pouvez demander la personne interroge dexpliquer
dans ses propres termes comment elle utilise tel service, ou comment elle dcrirait ce service
un ami).
Une question ouverte doit tre formule de telle sorte quelle appelle une rponse approfondie, dans ses
propres termes, de la personne interroge (par exemple, Que pensez-vous de la mise en page de ce
bulletin dinformation ? ).
tape 4 : Identifier les personnes susceptibles dtre interroges
En rgle gnrale, les personnes interroges sont volontaires.Vous effectuerez votre choix en fonction
des objectifs recherchs, mais aussi de leur disponibilit et de leur bonne volont. Dans la plupart des cas,
vous slectionnerez ces personnes lavance. Parfois, vous les choisirez de manire plus alatoire (par
exemple, en interpellant les gens leur sortie du centre de ressources que vous valuez). Dans la mesure
du possible, organisez un rendez-vous avec celles qui acceptent dtre interroges.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
143
tape 5 : Conduire lentretien
Clarifiez tout dabord les objectifs de lentretien et prcisez sa dure. Assurez-vous que tous les
participants comprennent ce que vous attendez deux : rpondre honntement et en nomettant
rien. Dites-leur galement quun quelconque jugement critique de leur part ne vous offusquerait
pas. Expliquez pourquoi il sera ncessaire de prendre des notes et/ou denregistrer les conversations.
Rassurez-les sur le fait que les informations collectes resteront absolument confidentielles et
anonymes. Sils refusent dtre enregistrs au cours de lentretien, demandez-leur si la prise de
notes ne les embarrasse pas outre mesure. Sils refusent de nouveau mais souhaitent tout de
mme tre interviews, notez tout ce dont vous vous rappelez ds que possible aprs
lentretien.
Chaque entretien avec des personnes prslectionnes dure en moyenne 20 60 minutes (essayez de
ne pas dpasser une heure). Un entretien alatoire informel (par exemple, arrter quelquun pour lui
poser des questions) ne doit pas durer plus de 5 minutes. La dure dun entretien tlphonique doit
tre la plus courte possible. la fin de lentretien, demandez la personne interroge si vous pouvez
la recontacter ultrieurement, si ncessaire.
Dans le cadre dun entretien, veillez :
T prparer du papier et des stylos ;
T poser clairement les questions ;
T couter attentivement ;
T tirer parti des opportunits intressantes qui peuvent surgir ;
T prendre des notes exploitables et/ou enregistrer les conversations, si possible ;
T expliquer les diffrences ventuelles de procdure si les conversations sont enregistres ;
T recueillir toutes les informations ncessaires avant la fin ; au besoin, rviser vos notes avec la
personne qui a t interroge ;
T remercier cette personne pour le temps quelle y aura consacr.
tape 6 : Analyser et enregistrer lentretien
En fonction du temps et des ressources alloues, votre analyse peut reposer sur une transcription
complte des entretiens. Copiez et collez des copies de la transcription originale ou de vos notes en
fonction des rponses aux questions poses et prenez soin de coder chaque fragment de rponse
(par exemple, vous pouvez utiliser les initiales de la personne ayant rpondu aux questions) pour viter
de perdre la source.
Analysez les commentaires qui ne rpondent pas des questions spcifiques et regroupez les
commentaires analogues. Pour chaque question, vous rdigerez un rsum, en sparant les rponses
si vous avez eu recours diffrents types de participants (vous pouvez par exemple rpartir les
personnes interroges en plusieurs catgories : utilisateurs et membres du personnel, ou hommes
et femmes).
tape 7 : Communiquer les rsultats
Votre rapport prsentera tout dabord des informations gnrales concernant lvaluation le
produit/service en cours dvaluation, lobjectif de lvaluation, les outils utiliss pour conduire
lvaluation et aboutir aux conclusions. Les rsultats, qui sont fournis sous forme de rsums des
rponses aux questions poses, constituent le cur du rapport. La prsence de citations
anonymes permet non seulement de conforter vos rsultats, mais aussi de rendre votre rapport plus
persuasif et plus agrable lire.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
144
Les outils participatifs et cratifs
Cette section est consacre aux mthodes participatives et cratives susceptibles dtre utilises pour la
collecte dinformations. Ces mthodes sont particulirement utiles dans des environnements o les
participants prouvent des difficults sexprimer ou hsitent parfois partager leurs opinions en public.
Tous les outils slectionns contribuent stimuler lapprentissage, non seulement pour lvaluateur mais
aussi pour les participants eux-mmes, ce qui favorise limplication des parties prenantes dans le
processus dvaluation.
Nous dcrirons ici cinq mthodes participatives et cratives, savoir :
T les dessins,
T les jeux de rle,
T la vido participative,
T les images-contexte,
T les diagrammes de Venn.
T Expliquez aux participants lobjectif et le processus de lentretien.
T Faites en sorte quils comprennent ce que vous attendez deux : rpondre honntement, de manire complte et critique.
T Expliquez les raisons justifiant la prise de notes et/ou lenregistrement des conversations.
T Rassurez-les sur le fait que leurs rponses resteront confidentielles.
T Ne les interrompez pas moins de devoir recadrer la question pose.
T Ne communiquez pas spontanment des informations sauf si vous souhaitez poursuivre lentretien, si vous devez recentrer lentretien
sur un point qui a t soulev ou sur les objectifs qui ont t assigns.
Encadr 3.40
Conduire un entretien individuel Points cls retenir
LIMITES
T Les entretiens individuels exigent plus de temps et demandent
plus de personnel.
T Certaines personnes stendent sur des sujets peu pertinents.
T Certaines personnes hsitent parfois se montrer ouvertement
critiques en situation de face--face.
T Les transcriptions dentretiens peuvent dcourager toute
analyse.
Encadr 3.41
Lentretien individuel Avantages et limites
AVANTAGES
T Les entretiens individuels (notamment semi-structurs) sont
un bon moyen de sonder un petit groupe de personnes
reprsentant votre groupe cible.
T La plupart des gens aiment parler deux-mmes, de leur
travail et de leurs intrts.
T Les entretiens individuels sont flexibles et apportent une
masse dinformations intressantes.
T Certaines personnes trouvent les entretiens individuels
moins intimidants que les entretiens de groupe.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
145
Les dessins et les jeux de rle sont prsents ensemble dans la mesure o ils sont troitement lis sur le
plan de la mise en uvre. La vido participative, les images-contexte et les diagrammes de Venn sont ici
prsents sparment.
Dessins et jeux de rle
POURQUOI ?
Les participants peuvent tre encourags sexprimer par le dessin. Il sagit pour eux de reprsenter
quelque chose de leur choix pour les aider exprimer leurs opinions et illustrer leurs penses sur
lesquelles il nest pas souvent facile de mettre des mots. Les dessins vous aident comprendre comment
les gens peroivent leur propre situation. Mme raliss inconsciemment, les dessins sont porteurs de
sens et permettent parfois de mettre en lumire certaines questions cls ou didentifier des problmes
qui devront tre abords.
Dans un jeu de rle, il est demand aux participants de jouer une scne sur un thme dintrt.Vous
pouvez ainsi recueillir des informations auxquelles vous ne pourriez accder par le biais dautres
mthodes de collecte. Les jeux de rle sont un moyen intressant dvaluer le niveau de perception dun
produit/service par son utilisateur.
COMMENT ?
Un aspect commun toutes les tapes lies lutilisation des dessins et jeux de rle est de veiller ce
que la communaut cible comprenne non seulement la porte de lvaluation, mais aussi pourquoi ces
informations sont ncessaires et comment procder leur collecte. Tout cela dans le but dencourager les
participants exprimer leurs opinions travers les dessins et/ou les jeux de rle. Les valuateurs et les
participants engageront ensuite des discussions afin danalyser les rsultats.
Organiser des sances de dessins et de jeux de rle
tape 1 : Sensibiliser sur lintrt de lvaluation
Rencontrez les leaders communautaires, les autorits locales et autres parties prenantes cls pour leur
parler de lvaluation et de ce que vous comptez faire. Cherchez un lieu pour tenir vos runions avec le
groupe cible dont vous souhaitez dcouvrir les diffrentes opinions et points de vue.
tape 2 : Concevoir la sance
Prparez les questions cls auxquelles vous souhaiteriez avoir une rponse. Assurez-vous que vous
disposez du papier, de marqueurs et autres matriels ncessaires pour dessiner. Faites preuve de
crativit en utilisant de la terre, du sable, des brindilles et des cailloux. Les participants pourraient
galement tre amens faire des collages ; dans ce cas, prvoyez de vieux magazines, de la colle et du
ruban adhsif. Pour les jeux de rle, vous pourriez distribuer des costumes et des accessoires de scne
pour permettre aux participants de jouer leur rle.
Pensez la manire dont le groupe sera rparti. Cette rpartition est importante dans la mesure o elle
aura une influence sur linteraction et la faon de sexprimer au sein du groupe (par exemple, dans un
environnement o les femmes ne prennent pas la parole en prsence des hommes, vous pourriez tre
amen sparer les femmes et les hommes ; ou alors, dans une organisation hirarchique marque, o
un(e) participant(e) nest pas autoris(e) sentretenir avec son/sa responsable, vous pourriez diviser
le groupe en sous-groupes, cest--dire les responsables locaux et les directeurs du centre de ressources
dans un groupe, le personnel du centre de ressources et les utilisateurs dans lautre groupe).
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
146
tape 3 : Prparer la sance
Proposez aux participants deux ou trois questions cls quils pourront utiliser et dvelopper de manire
crative. Parmi les exemples de questions concernant un service dinformation, citons notamment :
Quelles prestations de services utilisez-vous ? Comment les utilisez-vous ? Procderiez-vous
diffremment pour les fournir ? Si oui, dans quelle mesure ? Demandez ensuite aux participants de
rflchir la manire dont ils comptent sy prendre pour illustrer leurs rponses par le dessin ou par
le jeu.
tape 4 : Mettre en uvre la sance
Rappelez aux participants le temps imparti la prparation des dessins et des jeux de rle.Vous
profiterez de ce moment pour dambuler au gr des conversations. Ne posez aucune question, coutez
simplement ; vous tomberez sans doute sur des informations fort intressantes.Vous pourrez nanmoins
rpondre des questions dordre pratique pour permettre au groupe de prparer au mieux sa
prestation. Si vous estimez quils ont eu suffisamment de temps pour se prparer, demandez-leur de
commencer.
tape 5 : Analyser les rsultats
lissue de sa prestation, chaque groupe devra expliquer son dessin ou son jeu de rle. Runissez ensuite
le groupe interprte et les autres groupes ( observateurs , en loccurrence) afin didentifier
ensemble les thmes qui ont t dpeints.Vous demanderez aux participants de commenter ou dindiquer
par crit les principaux thmes abords pour illustrer leurs rponses. Cela leur donnera lopportunit
dtre impliqus plus activement dans le processus dvaluation et de prendre part ventuellement
lanalyse des donnes. Indiquez ensuite par crit les objectifs du projet et comparez-les avec lensemble
des thmes abords par les diffrents groupes. Cela vous permettra didentifier dventuels points
critiques.
T Rencontrez les leaders communautaires et les autorits locales pour vous assurer quils soutiennent cette initiative.
T Utilisez des accessoires simples ; les participants se sentiront ainsi plus laise.
T Un badge pourra tre remis chaque participant, pour lidentifier en quelque sorte (selon sa profession, par exemple) ; un excellent
moyen de promouvoir linteraction.
T Runissez-vous en petits groupes ; une technique qui permet dencourager la participation de chacun.
T Il faut savoir que le thtre est une forme de communication diversement apprcie dans certaines cultures.
T Ne spcifiez pas outre mesure le contenu des dessins ou des jeux de rle ; ces activits visent dvelopper la crativit,
encouragez donc les participants laisser sexprimer leur propre crativit.
T Ne donnez pas limpression dtre un expert. Adaptez-vous au niveau de connaissances des participants et tentez de comprendre
leurs besoins ainsi que leur environnement.
Encadr 3.42
Dessins et jeux de rle Points cls retenir
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
147
La vido participative
POURQUOI ?
La vido participative (VP) est une activit qui dveloppe les capacits des groupes, des communauts et
des organisations en les impliquant dans lutilisation du matriel vido afin de produire leurs propres
films. Cette technique vise responsabiliser les individus pour rsoudre des problmes et communiquer
leurs besoins et leurs ides aux dcideurs et/ou aux autres parties prenantes.
La vido est un excellent support pour la collecte et la diffusion dinformations au sein des groupes, du
fait notamment de son impact visuel et de sa capacit atteindre un large public. Les avances
technologiques ont permis de rendre la production vido plus accessible que jamais, tant sur le plan
technique que sur le plan financier (en tmoigne, par exemple, le boom des sites de partage de vidos en
ligne, comme YouTube et BlipTV).
Bien quil soit principalement question ici de lutilisation de la VP comme outil de collecte et de
documentation des donnes dans le cadre dune valuation, cette technique peut galement tre utilise
dautres fins, notamment dans les domaines suivants : sensibilisation, plaidoyer, rsolution des conflits,
prise de dcision, ducation et formation.
COMMENT ?
Dans le cadre du processus dlaboration, on sattachera notamment :
T utiliser des jeux et des exercices pour comprendre rapidement comment produire une vido
participative ;
T demander des facilitateurs de guider le processus, sur la base de lapproche APRA (apprentissage
participatif et recherche-action) ;
T demander aux participants de raliser et filmer de courts messages vidos ;
T diffuser les squences vidos aux membres de la communaut / parties prenantes ;
T utiliser un processus dynamique dapprentissage orient vers les besoins des participants impliquant
partage et change .
Des exemples de vidos participatives peuvent tre visionns sur le site
http://www.insightshare.org/video.html.
LIMITES
T Lutilisation de ces outils dpend de la coopration des
leaders et des membres communautaires.
T On peut observer des diffrences de point de vue entre les
personnes qui se sentent trop intimides pour prendre part
ces activits et celles qui y participent rellement.
T Certaines personnes ont tendance ne pas prendre au
srieux ces outils.
Encadr 3.43
Dessins et jeux de rle Avantages et limites
AVANTAGES
T Les dessins et les jeux de rle sont des outils simples et
faciles utiliser.
T Ils ne requirent pas beaucoup de matriel ni de
ressources.
T Ils sont particulirement adapts aux groupes multilingues.
T Ils permettent dexploiter diffrents styles de
communication.
T Ils peuvent susciter des ides et des solutions cratives.
Production
T viter les mouvements de camra (au besoin, utilisez un trpied).
T viter les prises de vue panoramiques (suivre une personne en mouvement, par exemple).
T viter de zoomer dans la mesure du possible (il est prfrable de se dplacer).
T viter de filmer contre-jour.
T Faire des plans de 10 15 secondes lors du montage.
T Laisser tourner la bande (amorce) pendant 20 secondes au dbut et la fin du film.
T Sassurer que les bruits ambiants sont rduits au minimum ; le micro de la camra captera tous
les sons.
Post-production
Rien ne doit tre laiss au hasard :
T Montage. Veiller ce que les parties prenantes cls participent dans une certaine mesure au montage
du film et quelles aient le dernier mot pour ce qui est du contenu et des messages faire passer
(pour le montage, vous pouvez ventuellement utiliser Windows Movie Maker, disponible sur Microsoft
Windows XP).
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
148
Produire des films vido
Avant de raliser un film vido, passez en revue quelques trucs qui vous aideront mieux matriser
les diffrentes tapes du processus de production (pr-production, production et post-production) avec
les principaux acteurs impliqus (le scnariste, le ralisateur, le monteur et les techniciens, par exemple).
Pr-production
T Dvelopper un concept (une ide) pour votre histoire, manant de prfrence des parties prenantes
cls.
T Pour dvelopper ce concept, posez-vous tout dabord la question de savoir ce que vous souhaitez
montrer, puis posez les questions suivantes : pourquoi ? o ? comment ? qui ? quand ?
T Crer un storyboard (un scnario illustr) afin de prvoir lensemble des plans qui constitueront
le film. On y dcrit lintrigue et les principaux vnements travers une srie de dessins.
T Si vous prparez une vido pour le Web, celle-ci ne devra pas durer plus de trois minutes.
Figure 3.9
Types de cadrage (de plan) utiliser
Les diffrents types de plan utiliss sont les suivants : le gros plan (particulirement adapt au Web), le plan moyen, le plan large (pour donner un
maximum dinformations sur lenvironnement, peu adapt au Web) et le plan de coupe (remplissage visuel avec quelque chose qui ne concerne
pas laction en cours)
Photos reproduites avec lautorisation de K. Batjes-Sinclair
Gros plan Plan moyen Plan large Plan de coupe
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
149
T Son. Veiller rduire tous les bruits de fond ambiants.
T Voix. Sassurer que le dialogue est clair.
T Titres. Utiliser des titres pour faire le lien lintrieur de lhistoire.
En dehors du fait de prsenter vos vidos lors de runions auxquelles participent les parties prenantes
cls, vous pouvez galement les publier sur le Web (par exemple, blip.tv http://blip.tv,YouTube
http://uk.youtube.com/ ou OneWorldTV http://tv.oneworld.net/).
Figure 3.10
La rgle des 180 degrs
La rgle des 180 degrs est une des rgles de base pour le montage dun film, qui veut que deux personnages (ou autres lments
dune mme scne) doivent avoir la mme relation gauche/droite, comme illustr sur la figure. Celle-ci indique laxe entre deux
personnages et larc de 180 sur lequel les camras peuvent tre positionnes (ct droit). Si lon franchit laxe du ct droit vers le
ct gauche), la position des personnages sera inverse sur lcran.
Source: http://en.wikipedia.org/wiki/180_degree_rule
Encadr 3.44
Produire une vido participative Points cls retenir
T Rencontrez les leaders communautaires, les autorits locales ainsi que dautres parties prenantes cls pour vous assurer
quils soutiennent cette initiative.
T Veillez ce que les parties prenantes cls puissent exprimer leurs points de vue au cours du processus et puissent
constater que le contenu et les messages de la vido refltent ces points de vue.
T Faites en sorte que le processus soit dynamique et divertissant ; cela favorisera la participation et rendra la vido plus
attrayante.
T Laissez au processus une once de spontanit ; nessayez pas de tout planifier lavance ou dattribuer des rles
spcifiques aux participants. La VP va de pair avec la crativit.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
150
Les images-contexte
POURQUOI ?
Les images-contexte sont des outils dvelopps pour explorer des situations complexes. Elles sont
particulirement utiles pour illustrer la richesse et la complexit dune situation dans laquelle
sinscrit un projet dinformation. Elles permettent de vous faire une ide des influences, interactions
et autres liens existant entre les diffrentes parties prenantes pour veiller ce que rien ne soit laiss
au hasard.
Les images-contexte font habituellement appel aux bandes dessines et dessins pour reprsenter des
ides, des liens, des influences et des situations de causalit. Elles mettent galement en vidence des
lments subjectifs, tels que des caractristiques, des points de vue et des prjugs. Plutt que de vous
fier votre propre interprtation de la situation, pensez exploiter les informations fournies par les
parties prenantes cls.
Les images-contexte sont un excellent outil pour dvelopper le travail en groupe. Elles permettent au
groupe de mieux comprendre et apprhender une situation.
COMMENT ?
Les images-contexte sont gnralement mieux exploites dans un groupe compos de quatre sept
personnes. Images, texte, symboles et icnes devront tre utiliss pour dcrire graphiquement une
situation.
laborer des images-contexte
Pour laborer une image-contexte, vous devrez notamment :
T prparer un tableau feuilles mobiles ou une grande feuille de papier gris (format de papier A1, 594 x
841 mm) ; plus la situation est complexe, plus la feuille doit tre grande, assemblez plusieurs feuilles si
ncessaire ;
LIMITES
T Mal exploite, elle peut vhiculer des messages faux.
Encadr 3.45
Vido participative Avantages et limites
AVANTAGES
T La VP peut tre utilise et comprise par chacun, y compris
les personnes sans instruction.
T Le matriel requis est plus facilement accessible et moins
coteux.
T La VP favorise une large participation au processus
dvaluation et peut servir de base un consensus
durable au sein dune communaut.
T Elle permet toutes celles et ceux qui, habituellement, ne
se font ni voir ni entendre dtre sous le feu des
projecteurs.
T Les vidos sont transportables, facilement duplicables et
changeables, et ont donc un large effet dentranement.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
151
F
i
g
u
r
e
3
.
1
1
E
x
e
m
p
l
e
d

i
m
a
g
e
-
c
o
n
t
e
x
t
e
C
o
m
m
e
n
c
e
z
p
a
r
l
e
s

m
e
n
t
s
p
h
y
s
i
q
u
e
s
d
e
l
a
s
i
t
u
a
t
i
o
n
e
t
l
e
s
p
r
i
n
c
i
p
a
l
e
s
p
a
r
t
i
e
s
p
r
e
n
a
n
t
e
s
q
u
i
s
e
m
b
l
e
n
t
l
e
s
p
l
u
s
p
e
r
t
i
n
e
n
t
s
d
a
n
s
l
a
s
i
t
u
a
t
i
o
n

t
u
d
i

e
.
E
n
d

a
u
t
r
e
s
t
e
r
m
e
s
,
i
d
e
n
t
i
f
i
e
z
l
e
s
a
c
t
e
u
r
s
,
l
e
s
o
r
g
a
n
i
s
a
t
i
o
n
s
e
t
l
e
s
d
i
f
f

r
e
n
t
s
a
s
p
e
c
t
s
d
u
p
r
o
j
e
t
q
u
i
s
o
n
t
i
m
p
o
r
t
a
n
t
s
.
I
n
d
i
q
u
e
z
e
n
s
u
i
t
e
t
o
u
t
e
s
l
e
s
r
e
l
a
t
i
o
n
s
e
n
t
r
e
c
e
s

m
e
n
t
s
.
U
n
e
f
o
i
s
l

i
m
a
g
e
d
e
s
s
i
n

e
,
d
e
m
a
n
d
e
z
a
u
g
r
o
u
p
e
d

c
r
i
r
e
(
o
u
d
e
r
a
c
o
n
t
e
r
,
l
e
c
a
s

c
h

a
n
t
)
u
n
e
h
i
s
t
o
i
r
e
a
y
a
n
t
t
r
a
i
t

c
e
t
t
e
i
m
a
g
e
,
e
n
a
t
t
r
i
b
u
a
n
t
d
e
s
c
h
i
f
f
r
e
s
a
u
x
r
e
l
a
t
i
o
n
s
e
n
t
r
e
l
e
s
d
i
f
f

r
e
n
t
s
a
s
p
e
c
t
s
d
e
l

i
m
a
g
e
e
t
l
e
s
e
x
p
l
i
c
a
t
i
o
n
s
a
p
p
o
r
t

e
s
.
S
o
u
r
c
e
:
i
m
a
g
e
r
e
p
r
o
d
u
i
t
e
a
v
e
c
l

a
u
t
o
r
i
s
a
t
i
o
n
d
e
l

U
n
i
v
e
r
s
i
t

d
e
W
a
g
e
n
i
n
g
e
n
(
W
U
R
)
,
W
a
g
e
n
i
n
g
e
n
I
n
t
e
r
n
a
t
i
o
n
a
l
Les diagrammes de Venn
POURQUOI ?
galement connu sous le nom de diagramme de Chapati, le diagramme de Venn montre une srie de
cercles de diffrentes tailles reprsentant une sorte de carte des institutions cls et des individus ainsi
que leur importance et les relations quils entretiennent au sein dune communaut. Le diagramme de
Venn aide comprendre les relations existant entre un projet dinformation et les organisations avec
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
152
T disposer le papier sur une table ou sur un plan de travail pour pouvoir dessiner ; veillez ce que
chaque participant ait un marqueur (utiliser des couleurs diffrentes) ;
T slectionner un thme ou un domaine thmatique en rapport avec le projet dinformation valu ;
T mettre tout le monde contribution ; rassurez les participants quils nauront pas rvler leurs
talents de dessinateur.
La liste de contrle ci-aprs vous servira de guide pour laborer limage-contexte :
T parties prenantes,
T problmes et questions,
T vision et opportunits,
T profil biophysique,
T organisations, institutions, paradigmes,
T infrastructures,
T institutions juridiques et politiques,
T questions conomiques,
T aspects sociaux et culturels.
Encadr 3.46
Images-contexte Points cls retenir
T Rencontrez les leaders communautaires, les autorits locales ainsi que dautres parties prenantes cls pour vous assurer quils
soutiennent cette initiative.
T Ne vous prsentez pas comme un expert. Faites en sorte que les parties prenantes prennent part activement lexercice et acceptent
de partager leurs points de vue sur la question.
LIMITES
T Lutilisation de cet outil dpend de la coopration des leaders
et des membres communautaires.
T Les personnes qui ne participent pas facilement ce type
dexercice peuvent avoir des points de vue diffrents et
valables qui ne seront pas pris en compte.
Encadr 3.47
Images-contexte Avantages et limites
AVANTAGES
T Trs peu de ressources sont ncessaires pour dvelopper
une image-contexte.
T Cette technique permet de trouver des ides et des
solutions cratives.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
153
Figure 3.12
Exemple de diagramme de Venn montrant les relations entre les diffrentes parties
prenantes dans un projet dinformation
Ministre de lAgriculture /
Services de vulgarisation
Donateur
Donateur
Instituts de
recherche
Projet
dinformation
Principal
groupe cible
(agriculteurs)
ONG
Ce diagramme de Venn montre que les relations entre le projet dinformation, dune part, et les institutions de recherche et les donateurs, dautre
part, doivent tre amliores.
lesquelles vous travaillez. Il peut tre utilis pour identifier les parties prenantes cls et assurer le
suivi-valuation des relations au fil du temps entre les projets, les parties prenantes et les organisations
impliques.
COMMENT ?
Vous pouvez dessiner un diagramme de Venn sur une grande feuille de papier ou un tableau. Utilisez des
feuilles (de plusieurs couleurs, de prfrence) dcoupes selon des formes diffrentes pour reprsenter
les diffrentes organisations et les individus au sein dune communaut. Ces feuilles seront ensuite colles
sur le diagramme. Si vous ne disposez pas de feuilles de papier de diffrentes couleurs, dessinez laide
dun marqueur les diffrents groupes et individus sur une simple feuille de papier.Vous pourrez le cas
chant esquisser un croquis sur le sol laide de cailloux ou de pierres de diffrentes tailles. Dans ce
cas, il vous faudra reproduire ce croquis sur papier pour pouvoir y faire rfrence ultrieurement.
Construire un diagramme de Venn
Vous demanderez aux personnes qui prennent part cet exercice non seulement didentifier les
institutions cls et les individus impliqus dans le projet dinformation, mais aussi de dcrire la situation
avant ou pendant le projet. En fonction de la situation, vous pourrez collecter des informations sur :
T le leadership,
T les relations entre institutions,
T la comprhension des processus de dcision,
T les situations conflictuelles.
Dans un diagramme de Venn, la taille des cercles reflte le pouvoir/linfluence relative du projet, des
parties prenantes ou des diverses organisations plus le cercle est grand, plus lentit est importante. La
distance entre chaque cercle indique les forces et faiblesses relatives des relations de travail entre le
projet, les parties prenantes et les diverses organisations plus les cercles sont rapprochs, plus
linteraction est forte. Les cercles qui se chevauchent reprsentent des entits qui interagissent les unes
avec les autres et un petit cercle au beau milieu dun grand cercle correspond une composante dune
entit.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
154
Figure 3.13
Exemple de diagramme de Venn montrant comment on utilise des morceaux de papier de diffrentes
formes pour reprsenter les diverses organisations et individus au sein de la communaut
Encadr 3.48
Diagramme de Venn Points cls retenir
T Efforcez-vous de rendre ce processus le plus participatif possible ; cela facilitera l appropriation du processus par les parties
prenantes. Vous serez ainsi mieux en mesure de le modifier, le cas chant.
T Assurez-vous que les discussions sont encourages pour viter que les informations recueillies ne soient biaises.
T Ne laissez pas des participants influencer le processus dcisionnel au sein du groupe.
LIMITES
T La taille et la proximit des cercles peuvent prter confusion.
T Les alliances stratgiques peuvent influencer les considrations
des membres du groupe.
T Un diagramme mal conu pourrait mettre en avant les points de
vue des membres dominants du groupe.
Encadr 3.49
Diagramme de Venn Avantages et limites
AVANTAGES
T Les diagrammes de Venn vous permettent de voir dun
seul coup dil qui sont les parties prenantes cls et
secondaires.
T Ils fournissent gnralement plus dinformations sur les
relations existant entre les diverses organisations que
celles que vous pouvez obtenir en lisant de la
documentation sur ces mmes organisations.
T Ils vous aident identifier et analyser les conflits au
sein des groupes de parties prenantes.
T Ils vous donnent un aperu des relations passes et
actuelles et vous montrent comment aller de lavant.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
155
Lanalyse aprs-action
Lanalyse aprs-action est un outil simple qui vous permet dapprhender les leons apprises des succs
et checs lis aux activits dun projet dans le but damliorer leurs performances futures et de
contribuer au succs du produit/service dinformation auquel sont lies ces activits. Elle permet en outre
damliorer le processus dvaluation, dans la mesure o elle offre aux responsables, aux membres du
personnel, aux parties prenantes cls (y compris vous-mme) un excellent moyen de rflchir sur la
performance du produit/service.
Cette analyse sera mene en fonction de la disponibilit des parties prenantes (et condition que les
discussions soient encore fraches dans les mmoires). De prfrence, faites appel un facilitateur qui
vous aidera tayer la discussion et tirer les conclusions qui simposent. Cette analyse peut tre mene
nimporte o et sa dure est variable (par exemple, une analyse de 15 minutes immdiatement aprs un
atelier dune journe pour rflchir sur lvnement et son impact).
POURQUOI ?
Lanalyse aprs-action est un excellent outil pour amliorer lapprentissage et susciter la confiance entre
les parties prenantes cls. Elle vous permet de poser des questions directement sur les activits qui ont
t mises en place.
COMMENT ?
Il convient dorganiser une runion des parties prenantes cls pour discuter des activits lies au projet
et examiner diffrents scnarios dans le but damliorer ces activits. Pour mener bien cette analyse, il
pourrait galement savrer ncessaire de mettre en place des focus group.
Conduire une analyse aprs-action (AAA)
Une fois lactivit en question termine, runissez le plus de parties prenantes cls possible. Au cours de
cette runion, vous devrez instaurer un climat social serein, propice la confiance, la transparence et
lapprentissage.
Vous devrez, cette occasion, clarifier les points suivants :
T cette analyse nest pas une critique sur la performance de certains individus en particulier, il sagit
plutt dun vnement dapprentissage ;
T chaque participant sera plac sur un pied dgalit et pourra commenter librement les
interventions des autres participants la runion ;
T lunique objectif de cette runion est didentifier les moyens damliorer lactivit en question.
De prfrence, faites appel un facilitateur moins quil ne sagisse dune runion trs informelle. Cela
dans le but de vous aider instaurer un climat social serein, de permettre chacun dapporter librement
sa contribution et de tirer les conclusions les plus pertinentes possibles.
Les discussions devront sarticuler autour de trois sries de questions cls :
T Quest-ce qui tait cens se passer ? Que sest-il pass rellement ? Sil existe des diffrences
significatives, quelles en sont les raisons ? Ces questions permettent de mieux comprendre les
objectifs initiaux de lvaluation et de dterminer sils ont t atteints.
T Quest-ce qui a march ? Quest-ce qui na pas march ? Pourquoi ? Ces questions permettent
dalimenter la discussion concernant lactivit dans ses moindres dtails.
Une fois lanalyse termine, rdigez un compte rendu des rsultats que vous distribuerez ensuite aux
participants pour leur permettre de vous faire part de leurs commentaires et suggestions. Le tableau 3.18
prsente un modle de compte rendu.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
156
T Procderiez-vous diffremment lavenir ? Cette question vous aide dgager des recommandations
spcifiques axes sur laction (voir encadr 3.50). Le facilitateur demande aux participants de formuler
des recommandations claires et ralisables. Demandez lavance quelquun de prendre note des
recommandations et des suggestions appeles servir de base ces recommandations.
Encadr 3.50
Exemples de recommandations spcifiques axes sur laction
Un commentaire fait par le responsable de projet, enregistr pendant lAAA : Avec une formation approprie, nous serions en mesure
doffrir un meilleur produit/service .
Une recommandation discutable ce propos serait : Il faut davantage de temps pour mieux prparer les personnes charges de
diffuser ce produit/service dinformation .
Une bonne recommandation serait : Assurer ds que possible la formation du personnel .
Nom du produit/service dinformation
Nom de lactivit spcifique tudie
Date de ltude
Contexte de lactivit
Nom de la (des) personne(s) ayant commandit ltude
Noms et rles des diffrents participants ltude
Nom du facilitateur
Mots cls (10 au maximum) donnant une ide des enseignements tirs
de ltude
Recommandations spcifiques orientes vers laction
Estimations sur lesquelles sont fondes les recommandations
Tableau 3.18
Exemple de modle danalyse aprs-action
Encadr 3.51
Mener une analyse aprs-action Points cls retenir
T Dmarrez lanalyse ds que possible lissue de lactivit, pendant quelle est encore dans les mmoires et que les participants sont
disponibles.
T Essayez dimpliquer lensemble des parties prenantes concernes.
T Crez un environnement propice et ouvert lapprentissage.
T Avant daborder les questions, crivez-les sur un tableau feuilles mobiles (ou un autre tableau).
T vitez dincriminer htivement qui que ce soit si la mise en uvre de lactivit a chou.
T La runion doit rester simple, avec des objectifs et un calendrier clairement dfinis.
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
157
Lanalyse des donnes
Chaque fois que vous observez et enregistrez une situation (une activit, un vnement, un
comportement ou une attitude, un point de vue, par exemple), vous collectez des donnes. vitez den
collecter plus quil nen faut.Vous devrez nanmoins vous assurer quelles sont suffisantes pour rpondre
lobjectif de votre valuation. Ces donnes devront ensuite tre analyses. Les mthodes danalyse
varient en fonction du type de donnes collectes (quantitatives ou qualitatives) et des questions
auxquelles il vous faudra rpondre.
Si vous souhaitez tablir des relations claires entre les variables, pour ensuite les gnraliser, il vous faut
des donnes quantitatives. Pensez aux tables qui vous aideront clairer vos dcisions. tablir des
relations entre les variables peut requrir certaines mthodes statistiques, mais, le plus souvent, une
analyse statistique complexe nest pas ncessaire pour y parvenir. Si vous souhaitez comprendre le
point de vue dune personne et savoir pourquoi elle fait ce quelle fait, il vous faut alors des donnes
qualitatives. Nombre dvaluations sappuient sur la combinaison des donnes quantitatives et
qualitatives.
POURQUOI ?
Vos donnes auront t collectes laide dune batterie doutils (focus groups, entretiens et
questionnaires, entre autres). Pour pouvoir les exploiter de manire optimale, vous devrez les analyser
pour ensuite tirer des conclusions qui serviront de base une valuation appele clairer et orienter
vos dcisions. Dfinir clairement les limites de votre valuation vous aidera concentrer vos efforts sur
les processus de collecte et danalyse des donnes. Les tapes du processus danalyse des donnes
quantitatives et qualitatives sont dcrites ci-aprs.
COMMENT ?
Le travail danalyse des donnes quantitatives et qualitatives seffectue en plusieurs tapes, qui se dclinent
comme suit : analyse, saisie, vrification des donnes et analyses statistiques.
LIMITES
T Ne sous-estimez pas la nature politique dune AAA.
T Certains considrent lanalyse aprs-action comme une
pratique rituelle et une perte de temps.
Encadr 3.52
Lanalyse aprs-action Avantages et limites
AVANTAGES
T Lanalyse aprs-action peut tre mene dans le cadre
dune multitude dactivits dinformation : par exemple,
deux personnes peuvent tre amenes conduire une
analyse de 15 minutes lissue dun atelier ou un
groupe de parties prenantes cls peut passer une
matine analyser un module de formation.
T Elle fournit des indications intressantes sur les forces et
faiblesses dune activit.
T Elle permet de formuler des recommandations axes sur
laction sans pour autant valuer la performance des
individus.
En prsence dune faible quantit de variables pour un nombre peu important de cas, il est tout aussi
facile de saisir ces donnes la main. Lorsque le volume de donnes est important et que vous souhaitez
notamment effectuer une analyse statistique, vous pouvez les saisir directement dans un tableur. La
plupart des logiciels statistiques proposent un tableur. Si vous utilisez un tableur gnrique comme Excel,
il est relativement facile dimporter les donnes dans un programme de statistiques.
Lorsque vous utilisez un tableur, commencez en haut de la feuille et saisissez vos donnes au cas par
cas, en utilisant une range par cas. Chaque colonne correspond une variable de rponse (par
exemple, raisons de leur prsence, homme ou femme, trouv ou non ce quils/elles cherchaient). Les cellules
de la range suprieure doivent contenir un titre dcrivant les variables de rponses. La figure 3.14
prsente une feuille danalyse de donnes issues dun questionnaire administr par tlphone qui a t
soumis dans le cadre de lvaluation dun bulletin dinformation. Si vous utilisez Excel (ou un programme
similaire) pour saisir vos donnes, fermez les sous-fentres pour que les titres de colonnes soient
toujours visibles.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
158
Lanalyse des donnes quantitatives
tape 1 : Analyser les donnes brutes
Cette analyse vous donnera un aperu des informations pralablement collectes. Certains points
particuliers mritent votre attention. Par exemple, les questionnaires devront tre vrifis immdiatement
pour sassurer quils ont t remplis correctement. Le cas chant, essayez de rcuprer les informations
manquantes.Vous pourrez galement organiser une sance de perfectionnement lintention de
lenquteur pour amliorer la collecte dans le futur. Effectuez des comptages frquents des donnes et
identifiez les combinaisons ou les rptitions inappropries qui peuvent introduire des biais, ainsi que les
valeurs extrmes (donnes qui scartent de lensemble des observations).
tape 2 : Saisir les donnes
Lanalyse des donnes quantitatives est souvent ralise laide dun ordinateur et dun progiciel
statistique. Il sagit en fait de coder les rponses aux questionnaires/entretiens en vous aidant dune liste
de codes pralablement tablie, puis de les saisir sur ordinateur. Lencadr 3.53 prsente un exemple de
codage des rponses.
Votre questionnaire contient la question ouverte suivante : Pourquoi vous tes-vous rendu au centre de ressources aujourdhui ? .
Lisez les questionnaires remplis dun bout lautre pour visualiser les rponses cette question et attribuez un code pour chaque type de
rponse. crivez les codes sur une feuille de papier (liste de codes).
Une premire rponse Je souhaitais obtenir des informations sur les systmes dlevage de chvres peut tre un code
1 = chercher des informations sur llevage de chvres (vous avez sans doute remarqu quun certain nombre de personnes
cherchaient des informations sur ce sujet). Une deuxime rponse Jen ai entendu parler peut tre un code 2 = recommand par
quelquun . Une troisime rponse Jattendais un ami peut tre un code 3 = autre(s) raison(s) , si on ne peut linscrire dans une
autre catgorie.
Autre moyen de codage possible : mettre un point bleu en face des rponses concernant la recherche dinformations sur les systmes
dlevage de chvres et un point rouge en face des rponses qui ne justifient daucune raison particulire.
Encadr 3.53
Exemple de codage des rponses
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
159
Il nest pas ncessairement utile deffectuer une analyse statistique complexe pour les donnes
quantitatives. Il conviendra de lire attentivement toutes les rponses et den fournir un rsum sous
forme de tableau, graphique circulaire (forme camembert) ou diagramme barres montrant la frquence
relative des variables qui vous intressent. Les figures 3.15 et 3.16 prsentent respectivement un exemple
de graphique circulaire et de diagramme barres.
tape 3 : Importer les donnes dans un logiciel statistique
Si vous devez effectuer une analyse statistique des donnes, vous pouvez utiliser un logiciel danalyse
statistique. De nouveaux logiciels apparaissent rgulirement sur le march. Par exemple, un logiciel trs
rpandu au moment de la publication de cette compilation doutils tait le logiciel Statistical Package for
the Social Sciences (SPSS). Si vous utilisez un progiciel, il vous faudra au pralable dfinir les variables de
sorte que le programme comprenne et classe les donnes par catgorie.
tape 4 : Vrifier les donnes
Des erreurs auront pu se glisser, malgr toutes les prcautions observes, dans la collecte et la saisie des
donnes. Pour y remdier, vous devrez :
T vrifier que toutes les valeurs codes respectent les codes spcifis ;
T reprer les valeurs extrmes ;
T dterminer les valeurs minimales et maximales raisonnables pour une plage de donnes (par exemple,
aucun enfant scolaris avant 1 an, ou des personnes de 50 ans).
Figure 3.14
Exemple de rponses codes dans un tableur
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
160
Figure 3.15
Exemple de graphique circulaire
Lundi
Mardi
Mercredi
Jeudi
Vendredi
NOMBRE DE VISITEURS AU CENTRE DE RESSOURCES
Figure 3.16
Exemple de diagramme barres
20
15
10
5
0
Lundi Mardi Mercredi Jeudi Vendredi
NOMBRE DE VISITEURS AU CENTRE DE RESSOURCES
Partie 3: LES OUTILS DVALUATION : Les outils de mise en uvre de lvaluation
161
tape 5 : Conduire une analyse statistique
Lobjectif principal de cette analyse consiste non seulement dterminer des frquences (le niveau de
frquence de chaque rponse) et des moyennes, mais aussi concevoir des diagrammes (graphiques
circulaires et diagrammes barres, par exemple). Les tableaux double entre sont galement trs utiles
en fonction des informations requises. Ces outils statistiques de base vous fourniront suffisamment
dinformations pour la plupart des valuations mener.
Les analyses plus complexes ncessitent au pralable une bonne formation en thorie statistique. Les
personnes qui se lancent dans des analyses statistiques complexes, sans vraiment en connatre les piges,
risquent de tirer des conclusions errones. Si vous devez raliser une analyse complexe, consultez un
statisticien au moment de planifier votre valuation.
Lanalyse des donnes qualitatives
tape 1 : Analyser les donnes brutes
Cette analyse vous donnera un aperu des donnes qui ont dj t collectes et vous permettra de
dresser une liste de thmes initiaux aborder. Lanalyse des donnes qualitatives est un processus itratif
lorsque vous collectez des donnes, vous commencez galement les analyser et les premiers rsultats
qui se dgagent influencent la suite du processus de collecte. Autrement dit, lanalyse des donnes
concide partiellement avec la saisie des donnes (par exemple, la retranscription des notes dentretien
laisse apparatre des imprcisions et des ambiguts qui devront faire lobjet dun suivi).
tape 2 : Saisir les donnes
La saisie des rponses aux questions poses dpendra du niveau de dtail fourni pour lanalyse.
Souhaitez-vous conserver une trace des mots exacts employs par les personnes interroges ou suffit-il
de rdiger un rsum succinct ? Rappelez-vous : les donnes et non pas les notes ni les transcriptions
constituent la source originale. Quelle quen soit linterprtation, il faudra tenir compte des donnes qui
peuvent se perdre au moment de la transcription.
Prvoyez galement la manire dont vous utiliserez vos donnes. Si vous souhaitez uniquement savoir ce
que les gens pensent et font, il sera utile de saisir chaque jour des notes dclines sous des titres qui
dcrivent lobjet de votre recherche.
tape 3 : Vrifier les donnes
Avant de finaliser, analysez si possible les transcriptions avec les personnes que vous avez interroges.
Dans la mesure o une personne peut vous refuser la permission dutiliser les donnes, vous devrez
dcider de ce qui est conforme lthique, mais aussi comment cela est faisable.
tape 4 : Explorer des thmes pertinents
De nombreux progiciels facilitent lanalyse des donnes qualitatives, rendant le processus plus transparent
et plus propice lvaluation. Ils facilitent galement la rcupration/le traitement des donnes
qualitatives.
Les transcriptions dentretiens ou de runions enregistrs ou films et les notes tires dobservations ou
de documents sont saisies et stockes dans le logiciel, pour ensuite tre codes (comme pour une
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
162
analyse quantitative). Ces codes permettent de classer les donnes par catgories, lesquelles seront
examines afin de dtecter les relations et les modles susceptibles de gnrer des hypothses qui seront
leur tour vrifies par rapport au reste des donnes. Pour vrifier leur pertinence, il convient
dexaminer le contexte original des fragments cods. Le logiciel permettra de recombiner ces fragments.
Vous pouvez rechercher des phrases ou des concepts cls au fur et mesure de lanalyse. Les notes
concernant les dcisions de codage et les hypothses doivent tre dates.
En prsence de quantits relativement faibles, il semblerait plus opportun de trier ces donnes
qualitatives par thmes et sous-thmes, par exemple. Une fois tries, vous remarquerez entre autres que
la plupart des rclamations portent sur la manire dont les services sont fournis plutt que sur les
services eux-mmes.Vous pourriez alors vous poser la question de savoir o, quand, comment et par qui
ces services ont t fournis et vous apercevoir que la plupart de ces services sont concentrs dans un
certain lieu, certaines heures et en impliquant un certain personnel. Cela semble indiquer la ncessit
dune supervision et/ou dune formation plus attentive.
La vrification des rsultats
Une fois les donnes quantitatives et qualitatives collectes puis analyses, il vous faudra vrifier si les
rsultats sont crdibles. La crdibilit a une incidence non seulement sur la qualit, mais aussi sur
lapprobation dfinitive du rapport dvaluation. Il sera ncessaire de sentretenir avec les personnes qui
connaissent le produit/service dinformation pour sassurer de la justesse des rsultats.
Encadr 3.54
Lanalyse des donnes Points cls retenir
T Vrifiez que vous disposez de suffisamment de ressources pour mener bien une analyse des donnes. Beaucoup de temps et
defforts sont parfois consacrs la collecte de donnes qui ne seront jamais analyses faute de ressources suffisantes.
T Consacrez du temps lanalyse des donnes qualitatives. Lutilisation des logiciels ne doit pas dispenser de leffort humain
ncessaire pour bien connatre et comprendre les donnes qui ont t collectes.
T Continuez rechercher des donnes qui contredisent vos hypothses pour les tester de manire optimale. Proposez et testez des
explications alternatives pour les modles issus des donnes.
T Concentrez-vous sur les objectifs de lvaluation.
T Le cas chant, faites appel un statisticien qui pourra vous aider.
T Ne vous lancez pas dans une analyse statistique complexe moins que vous ne soyez averti en la matire.
T vitez les analyses inutiles.
Partie 3: LES OUTILS DVALUATION : Lapplication des rsultats de lvaluation
163
LAPPLICATION DES RSULTATS DE LVALUATION
Lobjectif principal dune valuation est dapprendre. Dans la plupart des cas, cet apprentissage devra tre
partag avec un public plus large (collgues, partenaires, donateurs et autres parties prenantes cls),
notamment si vous souhaitez voir apparatre des changements dans la gestion et la promotion de votre
produit/service dinformation et/ou au sein de lorganisme dexcution.
La structure de lvaluation devra tenir compte de votre stratgie de communication. La rdaction
du rapport dvaluation est une composante essentielle de cette stratgie.Vous devrez dj avoir dcid
comment atteindre les diffrents publics pour que vos rsultats soient utiliss de faon significative.
Par exemple, produire un rapport dvaluation dtaill pour votre organisation, vos partenaires et
autres donateurs, et un rapport plus court et plus succinct pour les autres publics. Quelle que soit
votre stratgie, si le rapport est pris au srieux et que des mesures ont t mises en place, vous
obtiendrez sans doute les ressources ncessaires pour grer au mieux votre produit/service
dinformation.
Cette section vous aidera mieux apprhender ces questions. Elle vous montre comment : prsenter
les rsultats de lvaluation, diffuser les rsultats auprs des diffrentes parties prenantes et utiliser ces
rsultats pour prendre des dcisions claires et grer au mieux vos produits/services dinformation
actuels et futurs. Elle couvre notamment les points suivants :
T la rdaction et la diffusion du rapport dvaluation (comment structurer et rdiger le rapport) ;
T lutilisation des rsultats de lvaluation (comment promouvoir lutilisation des rsultats) ;
T la traduction des rsultats en actions concrtes (comment appliquer les leons tires de lvaluation
votre projet et votre organisation).
Produire et diffuser un rapport dvaluation
Vous trouverez ici quelques pistes de rflexion pour vous aider rdiger et diffuser votre rapport
dvaluation. Le rapport doit prsenter les lments cls de lvaluation, en tenant compte :
T des diffrents publics viss ;
T du contenu (potentiellement) sensible de certaines informations ;
T des langues et des diffrents niveaux de comprhension des publics viss ;
T de la ncessit de traduire les recommandations en actions.
POURQUOI ?
Le rapport dvaluation vise principalement promouvoir lutilisation (en temps opportun) des rsultats,
enrichir les ressources documentaires ncessaires dautres valuations, mais aussi promouvoir
lapprentissage, le renforcement des capacits, la durabilit et la redevabilit.
COMMENT ?
La prparation du rapport doit faire lobjet dune attention particulire : il doit tre clair et structur,
rdig de faon plus ou moins dtaille en fonction du public vis et publi dans un format adapt. Une
fois rdig, demandez vos collgues ou autres parties prenantes de vous faire part de leurs suggestions
avant de le diffuser auprs de vos publics cibles.
Le contenu du rapport
Le contenu du rapport est dict par vos dcisions, notamment : qui est-il destin et que doit-il rvler ?
Vous accorderez une attention toute particulire aux sections les plus susceptibles dtre lues, savoir :
le rsum analytique, les leons apprises, les conclusions et les recommandations.
Le rsum analytique (2 3 pages maximum) devra contenir les principales raisons qui vous ont conduit
la rdaction du rapport, ainsi que les principaux rsultats, conclusions et recommandations (voir
encadr 3.58). Leur prsentation sous forme dnumration avec des tirets peut tre une bonne solution
pour faciliter la lecture et le travail dassimilation. La plupart du temps, seule cette partie du rapport sera
lue par les dcideurs cls. Soignez donc la prsentation.
Quelques conseils pratiques pour la rdaction du rapport :
T Pensez au principal message que vous dsirez faire passer.
T Prsentez les faits objectivement, et non pas dans le but de guider la pense du public vis.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
164
La rdaction du rapport
Il y a lieu de souligner quelques points prendre en considration au moment de la rdaction du rapport
dvaluation :
T le rapport doit tre cohrent, cohsif, concis et objectif. Il est galement important de bien connatre
votre public cible (voir encadr 3.55) ;
T il doit tre bien structur et avoir une progression logique du rsum introductif aux conclusions et
recommandations ; veillez particulirement au style et la mise en page de votre rapport : elle doit
permettre au lecteur de sy retrouver plus facilement (voir encadr 3.56) ;
T il doit tre conforme la porte et aux termes de rfrence de lvaluation ; les donnes collectes
ne seront pas toutes utilises dans le rapport (voir encadr 3.57) ;
T les points soulevs dans les TDR devront tre repris dans le rapport. La quantit, la qualit et la
diversit des informations disponibles viendront appuyer les recommandations qui ont t formules.
Il est possible que le rapport ne rvle pas certaines informations caractre sensible (pour des raisons
thiques, commerciales ou politiques, par exemple) ; vous veillerez toutefois ce quil y en ait
suffisamment pour appuyer les recommandations.
Encadr 3.55
Utilisateurs potentiels dun rapport dvaluation
T Direction de lorganisme dexcution (dcideurs)
T Responsables et membres de lquipe du projet
T Utilisateurs du produit/service dinformation
T Partenaires et autres organisations concerns
T Agences de financement
T Organisations de recherche-dveloppement
T Organismes gouvernementaux
T ONG
Partie 3: LES OUTILS DVALUATION : Lapplication des rsultats de lvaluation
165
Encadr 3.56
Structure dun rapport dvaluation
Page titre (indiquer le nom des auteurs, la date et le nom de lditeur)
Remerciements
Table des matires
Rsum analytique
Rapport principal
T Introduction (objectif et contexte de lvaluation)
T Mthode dvaluation
T Rsultats de lvaluation
T Principales conclusions et recommandations (renvoyant aux annexes, le cas chant)
T Leons apprises
Annexes (elles doivent contenir des informations gnrales pertinentes, savoir : une description succincte du produit/service
dinformation en question, les termes de rfrence de lvaluation, le nom des membres de lquipe et le calendrier de mise en uvre,
le nom des personnes interviewes, la liste des documents/organisations consults, ainsi que les rsultats dtaills qui renvoient aux
conclusions et recommandations du rapport principal)
Sigles et abrviations
Parfois, il peut tre demand aux personnes qui participent un exercice dvaluation de prsenter leurs rsultats ou de faire part de
leurs points de vue ; certaines informations, prcieuses au demeurant, ne sinscrivent pas dans le cadre de lvaluation. Un aide-mmoire
ou un rapport de fin de mission permettra nanmoins de les conserver.
Dautres informations ne peuvent figurer dans le rapport en raison de leur caractre sensible (des informations concernant un
comportement rprhensible par exemple, comme lutilisation abusive des ressources). Une solution alternative consiste en informer
directement votre responsable ou consigner ces sujets de proccupation dans un rapport de fin de mission.
Encadr 3.57
Utiliser des informations qui ne figurent pas dans le rapport dvaluation
T Un ou deux paragraphes introductifs sur les raisons de lvaluation
T Un paragraphe sur les principaux objectifs de lvaluation
T Deux ou trois paragraphes sur les mthodes utilises pour conduire lvaluation
T Un ou deux paragraphes sur les problmes rencontrs au cours de lvaluation
T Une liste des principaux rsultats de lvaluation
T Une liste des principales conclusions et recommandations
T Une liste des leons apprises
T Un paragraphe de conclusion
Encadr 3.58
Structure du rsum analytique
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
166
T Choisissez un ton adapt au public vis et aux objectifs de lvaluation (par exemple, lvaluation
a-t-elle t mene des fins dapprentissage ou dans une logique de redevabilit ?).
T Soyez sensible aux attentes de votre public ; les lecteurs sattendent trouver des analyses
approfondies appuyes par des donnes et/ou des observations qualitatives.
T Utilisez des diagrammes, des figures ou des tableaux afin dillustrer certains points plus clairement ;
utilisez galement les commentaires et tmoignages des parties prenantes pour appuyer les
observations qui ont t formules.
T noncez clairement les rsultats obtenus et reliez-les aux objectifs attendus de lvaluation.
T Si certains TDR de lvaluation ont t modifis au cours de lexercice, prcisez-en les raisons.
T Prsentez les principales conclusions et recommandations dune manire aussi attrayante et facile
lire que possible (par exemple, en utilisant des listes puces ou numrotes, des sous-titres).
T Le rapport principal doit tre aussi concis que possible ; les donnes auxiliaires seront prsentes en
annexe.
T Veillez terminer le rapport dans les dlais impartis pour que les recommandations soient prises en
compte dans llaboration des plans daction.
La diffusion du rapport
Une fois le projet de rapport rdig, envoyez-en un exemplaire certaines parties prenantes cls (par
exemple, au responsable et aux membres de lquipe du projet ainsi quaux organisations partenaires)
pour vrifier lexactitude des informations apportes et spcifiez-leur une date limite pour le retour de
leurs commentaires. Ayez lesprit que certaines personnes qui vous envoyez le projet de rapport
peuvent penser que celui-ci leur est dfavorable ; tenez-en compte lorsque vous recevrez leurs
remarques.
Rapport publi
Runion
Note confidentielle
Aide-mmoire
Rapport de fin de mission
Prsentation
Rapport annuel
Bulletin dinformation
Brochure
Communiqu de presse
Pice de thtre / mise en rcit
FORMAT DCIDEURS GESTIONNAIRES AUTRES PARTIES PRENANTES*
Tableau 3.19
Prsentation des rsultats de lvaluation aux diffrentes parties prenantes
* Par exemple, les reprsentants des parties prenantes cls et les organismes dexcution de projets similaires.
Partie 3: LES OUTILS DVALUATION : Lapplication des rsultats de lvaluation
167
Les rsultats doivent tre prsents et communiqus toutes les personnes concernes (voir encadr
3.55).Vous devrez choisir une forme de communication approprie et efficace (crite, orale ou visuelle)
pour prsenter vos rsultats chaque type de public (voir tableau 3.19).
Compte tenu du caractre ventuellement sensible de certaines informations et des intrts des parties
prenantes, diffrentes parties du rapport seront envoyes en fonction des publics viss. Un rsum de
synthse peut nanmoins tre diffus grande chelle.
T Ds le dpart, noubliez pas dallouer les ressources ncessaires pour la rdaction et la diffusion du rapport.
T Veillez ce que votre rapport couvre uniquement les aspects lis la porte et aux termes de rfrence de lvaluation.
T Soyez aussi cohrent, concis, clair et objectif que possible.
T La prparation et la rdaction du rapport ncessitent souvent plus de temps que la collecte et lanalyse des donnes.
T Le projet de rapport doit faire lobjet dune diffusion restreinte pour permettre aux parties prenantes cls dy apporter leurs
commentaires et de corriger certaines imprcisions.
T Assurez-vous quil porte la mention projet sur chaque page et indiquez quil ne peut tre ni reproduit ni diffus.
T vitez dintroduire un biais dans les rsultats de lvaluation.
T Ne divulguez aucune information sensible ; ce type dinformations doit figurer uniquement dans un rapport confidentiel ou dans une
note destine votre responsable.
Encadr 3.59
Produire et diffuser un rapport dvaluation Points cls retenir
Promouvoir lutilisation des rsultats de lvaluation
Les rsultats de lvaluation devront indiquer les changements ncessaires lamlioration de votre
produit/service dinformation. Apporter ces changements implique non seulement une collaboration entre
la direction, les membres du personnel et dautres parties prenantes cls, mais aussi des capacits de
ngociation.
Il est essentiel de mettre au point une stratgie dutilisation des rsultats. En tant que telle, lvaluation
ne permet pas de rpondre aux objectifs si les rsultats ne sont pas exploits. Qui plus est, les parties
prenantes considreront lexercice dans son ensemble comme une perte de temps et dargent (avec
une incidence certaine sur leur participation future) et le projet lui-mme risque dtre affect. Il est
relativement frquent de prsenter les rsultats et les recommandations dune valuation et puis de les
mettre de ct et les oublier.
Nous allons vous montrer, dune part, comment promouvoir lutilisation des rsultats de lvaluation
parmi les diffrentes parties prenantes et, dautre part, comment solliciter leur appui afin de traduire ces
rsultats en actions. Cela entre dans une dmarche dutilisation des rsultats.
POURQUOI ?
Lutilisation des rsultats dune valuation prsente un certain nombre davantages : nouvelles
connaissances, nouvelles comptences, nouvelles orientations et changements dattitude positifs chez les
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
168
individus. La mise en uvre dactions opportunes peut aider une organisation optimiser limpact de ses
activits et lutilisation des ressources.Votre stratgie dutilisation des rsultats contribue notamment :
T sassurer que les rsultats sont utiliss de manire opportune et organise, sans duplication ;
T montrer aux parties prenantes que le processus est crdible, transparent et accessible ;
T encourager la redevabilit vis--vis des parties prenantes ;
T renforcer lapprentissage qui devrait en dcouler ;
T dcider des priorits et des actions de suivi mettre en place.
COMMENT ?
Il faut tout dabord souligner limportance dutiliser les rsultats de votre valuation.Vous devez aussi
vous assurer que vous disposez des ressources suffisantes pour mettre en uvre les recommandations
dcoulant des rsultats de lvaluation et encourager lorganisation intgrer lensemble des
connaissances gnres dans le processus global de suivi.
laborer la stratgie
Les principaux axes de la stratgie seront les suivants : promouvoir lacceptation des rsultats de
lvaluation, ragir aux rsultats lorsquils se prsentent, diffuser les rsultats, proposer des actions de
suivi et les soumettre pour approbation.
Promouvoir lacceptation des rsultats de lvaluation
Dans la mesure o elles sont tenues informes depuis le dbut de lvaluation, les parties prenantes
seront plus sensibles ses conclusions. Suscitez leur engagement participer pleinement au processus.
Elles devront comprendre comment lvaluation a t mene pour ne pas douter des rsultats obtenus.
Il faudra en outre sassurer de la pertinence du rapport. Celui-ci doit prendre en compte les besoins
actuels du produit/service dinformation et du public vis. Posez-vous la question de savoir quelles sont
les attentes de ce public vis--vis des valuations, comment il utilisera linformation et quels sont les
systmes de remonte dinformation susceptibles de rpondre le mieux ses besoins.
Ragir aux rsultats de lvaluation
Vous devrez ragir certains rsultats ds quils apparaissent. Par exemple, si la plupart des personnes
inscrites sur une liste dabonnement un bulletin dinformation ne font plus partie de lorganisation qui
reoit ce bulletin, il ny a aucune raison dattendre la fin de lexercice dvaluation pour rpondre cette
situation. Dans le mme temps, vitez de ragir de faon excessive certains rsultats intermdiaires du
rapport.
Diffuser les rsultats de lvaluation
Vous veillerez ce que les rsultats, ainsi que les principales conclusions et recommandations tires de
lvaluation, soient communiqus au bon public.
Le respect des dlais est aussi un facteur essentiel. Il est probable que des rsultats notifis longtemps
aprs la fin dun exercice dvaluation trouveront peu dcho, et ne feront lobjet daucun suivi.
Il conviendra de rendre les rsultats rapidement disponibles pour les parties prenantes cls, en
leur envoyant par exemple un rsum synthtique des principaux rsultats connus (2 3 pages
maximum).
Partie 3: LES OUTILS DVALUATION : Lapplication des rsultats de lvaluation
169
Prparer une note de discussion
Vous devrez prparer une note de discussion proposant des ides dactions raliser. Cette note
devra porter sur un certain nombre de questions qui ont t souleves dans le rapport.Vous pourriez
galement identifier et classer les principales actions de suivi.
Si, au moment de rdiger votre rapport dvaluation, certains rsultats vous paraissent errons ou
discutables, soulevez la question dans la note de discussion pour tenter de clarifier les choses.
Approuver les actions de suivi
valuez les parties prenantes en fonction de ce quelles pensent de lvaluation et de ses rsultats. En cas
de vive contestation des rsultats, il y a peu de chances que les recommandations telles que formules
dans le rapport soient adoptes. Toutefois, en fonction de vos discussions (et de vos capacits de
ngociation), il sera possible de proposer des recommandations modifies.
Les parties prenantes cls se runiront pour examiner la note de discussion et dbattre dun certain
nombre de questions dans le but dlaborer un plan daction. Ce plan, au demeurant raliste, devra
inclure les lments suivants : un calendrier des priorits, des projets dactions, le nom des
personnes charges de leur mise en uvre, des dates limites ainsi que des dcisions complmentaires
aux fins dtudier dventuelles actions ultrieures (par exemple, lanalyse de certains aspects spcifiques
du projet).
T Veillez ce que chaque personne implique comprenne les objectifs de lvaluation.
T Le rapport dvaluation, tel quil a t rdig, et les messages, tels quils ont t vhiculs, peuvent tre mal interprts.
T Impliquez lensemble des parties prenantes cls dans le processus afin de promouvoir lacceptation et le suivi des rsultats.
T Identifiez les questions traiter en priorit.
T Essayez dinstaurer un cadre de dialogue ouvert pour faciliter la confrontation des points de vue concernant les rsultats.
T Ne perdez pas votre temps vouloir rafistoler le rapport lorsque certains rsultats sont litigieux et ne peuvent tre vrifis ;
entendez-vous sur ce qui doit tre fait concernant ces questions en particulier.
Encadr 3.60
Promouvoir lutilisation des rsultats de lvaluation Points cls retenir
Traduire les rsultats de lvaluation en actions
Le but est ici de vous aider mettre en uvre les recommandations dcoulant des rsultats de
lvaluation. Les ides changes avec vos collgues et dautres parties prenantes cls fournissent un
cadre systmatique qui permet de passer en revue les sujets lgitimes de proccupation et de mettre
profit les domaines dexpertise. Nous chercherons plus particulirement savoir comment intgrer les
rsultats de lvaluation dans des activits futures.
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
170
Le suivi des rsultats a pour but danalyser les problmes identifis au cours de lvaluation. Il sagira
dexaminer dans quelle mesure votre stratgie et votre plan daction peuvent tre modifis afin
damliorer limpact du produit/service dinformation valu.
POURQUOI ?
Plusieurs raisons justifient cette dmarche :
T mettre en place un systme de suivi des rsultats de lvaluation ;
T veiller promouvoir lapprentissage au sein de lorganisation ;
T mettre en place un mcanisme impliquant les membres du personnel et les autres parties prenantes
cls dans le processus dapprentissage.
COMMENT ?
Deux outils sont votre disposition pour traduire les rsultats de lvaluation en actions concrtes :
l analyse des forces en prsence et le brainstorming . Lanalyse des forces en prsence a t
mise au point par Kurt Lewin en 1943. Selon lui, une situation donne est maintenue en quilibre grce
linteraction de deux ensembles de forces en opposition. Lorsquun problme survient, il est ncessaire
de modifier cet quilibre pour que le changement se produise dans la bonne direction.
Selon Alex Osborn (1953), le brainstorming est une technique de confrence par laquelle un groupe
tente de trouver une solution un problme spcifique en recueillant toutes les ides spontanes de ses
membres, sur la base dun ensemble de rgles . Lors des sances de brainstorming, les groupes doivent
observer des rgles simples, notamment : pas de critique des ides proposes, construire sur les ides
des autres, les ides saugrenues sont les bienvenues.
Lanalyse des forces en prsence
Lanalyse des forces en prsence vous aide dfinir clairement les problmes pour vous permettre
dlaborer des plans daction et dtre plus productif. Posez-vous la question de savoir si lvaluation :
T vous encourage changer la direction vers laquelle vous souhaitez vous orienter
(forces productives) ;
T vous empche de changer de direction (forces contradictoires).
Runissez-vous avec vos collgues et dautres parties prenantes cls (le cas chant) pour identifier et
dresser une liste des forces productives et des forces contradictoires.Vous devrez pour cela :
T prparer un nonc du problme complet, mais succinct ;
T dfinir votre solution (ce quoi vous souhaitez parvenir) ;
T identifier toutes les forces susceptibles daffecter le problme (par exemple, lapathie, le manque
dquipements ou dinfrastructures) ;
T choisir celles qui, selon vous, correspondent le plus votre produit/service.
Une bonne ide consiste dplacer ces forces, comme le montre la figure 3.17. Utilisez des flches pour
indiquer lintensit des diffrentes forces et classez-les par catgories : forces productives et forces
contradictoires.
Comment envisageriez-vous de modifier les forces contradictoires ? Vous pourriez, par exemple,
regonfler le moral de lquipe en lui offrant de nouvelles opportunits de formation. Il conviendra ensuite
de mettre en place un plan daction et dassigner chacun ses tches en vue de modifier ces forces
contradictoires.
Partie 3: LES OUTILS DVALUATION : Lapplication des rsultats de lvaluation
171
Le brainstorming
Si lanalyse des forces en prsence vous aide dfinir clairement les problmes pour vous permettre de
mettre en place des plans daction dans lobjectif de dynamiser votre stratgie et dtre plus productif, le
brainstorming consiste mettre spontanment des ides. Dans une sance de brainstorming, lanimateur
prsente une situation ou un problme et encourage les membres du groupe trouver eux-mmes le
plus de solutions possible, sans valuer leur qualit. Une bonne sance de brainstorming vise
encourager les ides, aussi farfelues quelles peuvent paratre.
Pendant la sance de brainstorming, vous devrez :
T mettre en lumire les problmes aborder ainsi que les atouts de votre produit/service dinformation
et de lorganisme dexcution ;
T viter de porter un jugement ;
T tre aussi imaginatif que possible ;
T indiquer par crit toutes les ides qui ont t avances.
Une fois toutes les ides recenses, le groupe pourra commencer les trier. En fonction de la situation,
elles seront classes selon leur domaine et compte tenu des priorits, ou testes en posant des questions
sur des points dj voqus et en les explorant plus avant (par exemple, Pourquoi le bulletin
dinformation na-t-il pas t conu selon le plan tabli ? ).
Appliquer les outils danalyse des forces en prsence et de brainstorming
Vous avez termin lvaluation de votre produit/service dinformation et souhaitez en modifier certains
aspects. Notez trois cinq aspects essentiels examiner en vous aidant du tableau 3.20.
Figure 3.17
Illustration de lanalyse du champ de force
FORCES
PRODUCTIVES
FORCES
CONTRADICTOIRES
Changer la situation au sein du projet
dinformation
Source : adapt de Open
University (2000)
Smart Toolkit Des outils pour levaluation des projets, produits et services dinformation
172
laide du tableau 3.21, dterminez prsent ce qui vous aidera ou ce qui vous empchera doprer ces
changements.
1
2
3
4
5
Tableau 3.20
Aspects du produit/service dinformation ncessitant des changements
Tableau 3.21
Forces productives ou contradictoires du produit/service dinformation
FORCES PRODUCTIVES (+) FORCES CONTRADICTOIRES ()
Tableau 3.22
Identifier les forces prendre en compte
FORCES PRODUCTIVES (+) FORCES CONTRADICTOIRES () CE QUI PEUT TRE FAIT
prsent, rflchissez ce qui peut tre fait et par qui cela peut tre fait (par exemple, votre
organisation ? Ou bien avez-vous besoin dun financement, ou dun renforcement des comptences ?).
Posez-vous maintenant la question de savoir comment vous allez entreprendre ce qui doit tre fait et
laborez un plan daction. Attribuez chacun son rle dans la mise en uvre des activits dcoulant du
plan daction.
Partie 3: LES OUTILS DVALUATION : Lapplication des rsultats de lvaluation
173
Tableau 3.23
Modle de plan daction
CE QUI DOIT TRE FAIT PERSONNE RESPONSABLE
T Dsignez un responsable de groupe ou faites appel un bon facilitateur.
T Assurez-vous dinstaurer un cadre de discussion ouvert et convivial.
T Veillez ce que la discussion soit axe sur la rsolution des problmes et non sur la critique.
T Nutilisez pas cet exercice pour rpartir les fautes et les responsabilits.
T Posez par crit toutes les ides qui vous viennent lesprit au cours de la sance de brainstorming.
Encadr 3.61
Traduire les rsultats dvaluation en actions Points cls retenir
Encadr 3.62
Analyse des forces en prsence et brainstorming Avantages et limites
LIMITES
T Il peut y avoir de srieuses contraintes lutilisation de
ces outils, comme le manque de moral (ou tout simplement
de motivation).
T On a tendance faire un peu trop confiance aux
impressions subjectives des personnes qui identifient les
forces productives et contradictoires, et pas assez aux
facteurs objectifs.
T Des facteurs dexclusion sur lesquels les participants une
sance de brainstorming ne peuvent exercer aucun
contrle pourraient aboutir lacceptation de quelque
chose qui serait lorigine dun ou plusieurs problmes.
T On a parfois tendance y consacrer trop peu de temps
et ne pas les exploiter de faon optimale.
AVANTAGES
T Lanalyse des forces en prsence offre un cadre pour
comprendre et rsoudre des situations complexes.
T Le brainstorming est une technique rpandue et bien
tablie.
T Le brainstorming favorise lmergence dides radicales
et innovantes.
T Cest une technique facile mettre en uvre et qui
ncessite peu de ressources.