Vous êtes sur la page 1sur 24

Notes sur lvaluation dimpact

No 2, avril 2012

FAIRE LE LIEN ENTRE LE SUIVI-VALUATION


ET LVALUATION DIMPACT

de Burt Perrin

Ceci est la seconde dune srie de quatre notes sur lvaluation dimpact, labores par InterAction
avec lappui financier de la Fondation Rockefeller. Les autres notes de cette srie sont : Introduction
lvaluation dimpact ; Introduction aux mthodes mixtes dans lvaluation dimpact et Utilisation des
rsultats dvaluations dimpact. On peut trouver la srie complte sur le site Internet dInterAction :
www.interaction.org/impact-evaluation-notes.
Photo: Manuel Meszarovits
Table des matires

Introduction 1

1. Comment le suivi et dautres formes dvaluation peuvent-ils appuyer lvaluation dimpact? 2

1.1. Principales caractristiques du suivi, de lvaluation et de lvaluation dimpact 2


1.2. Comment le S&E peut contribuer lvaluation dimpact 7

2. Comment intgrer lvaluation dans la rflexion et les pratiques de S&E 8

2.1. Formuler la thorie du changement 8


2.2. Identifier les priorits pour entreprendre une valuation dimpact 11
2.3. Identifier les besoins dinformations/ de donnes 11
2.4. Commencer avec ce que lon a 14
2.5. Concevoir et mettre en uvre lvaluation dimpact, analyser et interprter les rsultats 15
2.6. Utiliser les rsultats 17
2.7. Revoir, rflchir et mettre jour 17

3. Impliquer toutes les parties de lorganisation 17

3.1. S&E: Une fonction centrale de gestion qui a besoin du leadership et de lappui de la direction 18
3.2. Le personnel des programmes doit avoir un rle actif 18

Rsum 19

Rfrences et autres ressources utiles 20

Annexe 1 Analyse de la contribution 21

| Faire le lien entre le suivi-valuation et lvaluation dimpact |


Introduction
Lobjectif des organisations non gouvernementales (ONG) et autres
acteurs du dveloppement est daider les populations amliorer
leur vie, leur communaut, leur socit et leur environnement. Les
ONG veulent gnralement contribuer un changement social, par
exemple, lamlioration de la justice ou de la scurit conomique et
sociale, tout en reconnaissant que ce sont des effets long terme qui
dpassent la ralisation de rsultats court terme.

Comme lindique la premire Note dorientation, Cette note dorientation illustrera la relation entre
cest de cela quil sagit dans limpact et dans le S&E de routine et lvaluation dimpact. Elle va
lvaluation dimpact: identifier de manire sys- en particulier indiquer comment les activits de
tmatique et empirique les effets rsultant dune suivi et les activits dvaluation peuvent participer
intervention, quils soient prvus ou imprvus, une valuation dimpact valide et significative et
directs ou indirects. Il est gnralement admis que mme la rendre possible. Les valuations dimpact
les impacts se manifestent plus tard que les effets sont gnralement externes et faites, entirement
directs, et sont des rsultats de ceux-ci. De plus en ou en partie, par un expert indpendant extrieur
1
plus, on se rend compte que les bonnes intentions lagence. Cependant, le S&E a un rle crucial
ne suffisent pas. Dans lvaluation dimpact, on ne jouer, comme:
se contente pas de voir ce que les agences font,
mais aussi ce qui se passe du fait de ces activits et Identifier quand, et dans quelles circonstances
dans quelle mesure ces interventions font relle- il serait possible et appropri dentreprendre
ment une diffrence dans la vie des personnes et une valuation dimpact.
dans leurs conditions de vie. Fournir des donnes essentielles pour faire
une valuation dimpact, comme diffrents
La plupart des ONG font diverses activits de sui- types de donnes de base et des informations
vi-valuation (S&E). Limportance de ces activits sur la nature de lintervention.
peut tre trs variable. Trs souvent, ce que lon Fournir les informations ncessaires pour
appelle S&E est compos principalement de suivi interprter et appliquer les rsultats de lva-
et des comptes rendus, mme si certaines orga- luation dimpact. Il sagit dinformations sur
nisations simpliquent de plus en plus dans toute
une gamme dactivits dvaluation, examinant
1 Par exemple, cf. valuation Policy de lUSAID (janvier 2011). Les
divers aspects de leur performance. Par contre, valuations dimpact peuvent cependant tre faites linterne ou
beaucoup moins sintressent lvaluation avec une combinaison des deux, et cela se fait parfois. La Note
dorientation 1 en dit plus sur qui devrait faire une valuation
dimpact. dimpact.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 1 |


le contexte et de donnes telles que la qualit Le personnel des programme peut et doit jouer
de la mise en uvre, qui sont ncessaires un rle trs actif dans la collecte des donnes et
pour comprendre pourquoi des changements lenregistrement de ses observations et de son
particuliers se sont passs ou pas et ce que exprience, ce qui peut participer garantir que les
nous pouvons faire pour rendre nos efforts valuations dimpact sintresseront aux questions
plus efficaces lavenir. quil faut et reflteront correctement ce que font
les programmes.
La Section 1 de cette note dorientation prsente
quelques-unes des caractristiques de lvaluation 1. Comment le suivi et dautres formes dvaluation
dimpact et montre en quoi elle est diffrente du peuvent-ils appuyer lvaluation dimpact?
suivi et dautres formes dvaluation et plus prci-
sment, comment ces approches diffrentes mais Le suivi et lvaluation peuvent apporter des
complmentaires peuvent tre mises en lien pour contributions essentielles lvaluation dimpact.
2
aider faire une valuation dimpact significative. En effet, une valuation dimpact significative
nest pas possible si les activits habituelles de
La Section 2 donne des directives et des ides sur S&E de lorganisation ne lui donnent pas un bon
les diverses tapes et les approches qui peuvent appui. Cette note a un contenu trop pointu pour
tre utilises pour maximiser la contribution dun pouvoir parler de la nature et de la diversit du
S&E de routine lvaluation dimpact. suivi-valuation, mais il est important de recon-
natre certaines des diffrentes significatives entre
Lun des principaux publics de cette note dorienta- le suivi et lvaluation qui contribuent de
tion est le personnel de S&E des ONG, pour laider manire diffrente lvaluation dimpact. Il est
identifier les tapes quil peut suivre pour mieux donc utile dtudier quelques caractristiques de
lier les activits de S&E lvaluation dimpact. base, comme les diffrences et les possibilits
Cette note peut aussi tre intressante pour le de complmentarit avant de dterminer plus
personnel dautres types dorganisations, comme prcisment comme le S&E peut contribuer
des fondations. lvaluation dimpact.

De plus, cette note sera aussi intressante pour 1.1. Principales caractristiques du suivi, de
la direction des ONG ainsi que pour le personnel lvaluation et de lvaluation dimpact
des programmes. Pourquoi? Dabord, comme Le tableau qui suit rsume certaines des carac-
cela est not dans la Section 3, faire une valua- tristiques les plus courantes et gnralement
tion dimpact ne sert pas grand-chose si toute acceptes du suivi, de lvaluation et de lvalua-
lorganisation ne pense pas en termes dimpact et tion dimpact. Ce tableau devrait tre regard avec
damlioration continue, en se demandant com- prudence. Comme le suggrent certains des mots
ment amliorer ce que lon fait. Lorganisation doit (par ex. habituel , peut, gnralement)
tre prte agir sur les implications de lvaluation
dimpact et dautres formes dvaluation.
2 Une valuation dimpact qui est significative reprsenterait
de faon approprie lintervention en question et son contexte,
elle est valide dans tous les domaines (par ex. elle permet la fois
Ensuite, le S&E nest pas quelque chose qui doit une validit interne et une validit externe) et, par dessus tout, elle
tre laiss aux seuls spcialistes de lvaluation. fournit des informations utiles qui pourront servir de bases des
directions futures.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 2 |


Suivi, valuation et valuation dimpact : quelques caractristiques de base

Suivi valuation valuation dimpact

Priodique, utilise des donnes Gnralement pisodique, Une forme dvaluation


collectes systmatiquement souvent externe. particulire.
ou faciles trouver, gnrale- Va plus loin que les produits Sporadique, peu frquente.
ment linterne, sintresse pour valuer les effets.
habituellement aux activits Le plus souvent externe.
et aux produits, mme si des Peut mettre en doute la jus- Cest gnralement une tude
indicateurs deffet/impact sont tification et la pertinence du spare.
aussi parfois utiliss. programme, des objectifs et
des activits. Sintresse spcifiquement
Part du principe que le pro- lattribution (causalit) dune
gramme, les activits, les Peut identifier la fois les manire ou dune autre, le
objectifs et les indicateurs sont effets imprvus et les effets plus souvent avec un scnario
appropris. planifis. contrefactuel.
Suit gnralement les progrs Peut rpondre aux questions Sintresse gnralement aux
par rapport un petit nombre comment et pourquoi . changements long terme,
de cibles ou dindicateurs Peut conseiller des directions comme la qualit de vie des
prtablis. pour lavenir. bnficiaires prvus.
Gnralement quantitatif. Peut utiliser des donnes ve- Doit prendre en compte ce
Ne peut pas indiquer de nant de sources diffrentes et qui a vraiment t fait (par ex.
causalit. obtenues avec des mthodes grce au S&E) et aussi identi-
trs diverses. fier les impacts.
Peut difficilement permettre
lui seul dvaluer limpact.

ainsi que le texte en dessous, il y a souvent des Une utilisation interne par les gestionnaires
variations dans la manire dont ces concepts sont et le personnel des projets pour mieux
vus et appliqus. comprendre et surveiller la manire dont les
choses se passent, en particulier pour dtermi-
Le suivi implique gnralement de surveiller les ner si un projet est sur la bonne voie ou non.
progrs par rapport des plans ou objectifs iden- Il sagit de suivre les donnes sur les services
tifis auparavant, en utilisant de manire continue qui sont rellement fournis, la qualit des
des donnes facilement saisies et mesures. Le services fournis et des questions de ce genre.
suivi utilise le plus souvent des donnes quan- Le suivi des donnes peut aussi souvent servir
titatives, mais le suivi de donnes qualitatives de systme dalerte prcoce et, dans le cas de
est aussi possible et certaines agences le font constatations ngatives ou inattendues, peut
rgulirement. suggrer quil est ncessaire de changer dap-
proche alors que le projet ou le programme
Le suivi est fait pour des raisons diverses et est toujours en cours.
varies, qui nont gnralement pas grand-chose Utilisation interne lorganisation au niveau
voir avec lvaluation dimpact. Certaines des rgional, national et/ou international, au
raisons les plus frquentes du suivi sont: sige, pour que lagence puisse suivre ltat
dun projet ou dune activit par rapport aux

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 3 |


plans et aux attentes; pour la planification rendent difficiles utiliser pour une valuation.
et la gestion; pour rpondre aux besoins de Comme le suggre lencadr droite, on doit faire
comptes-rendus au conseil dadministration des plans lavance pour que les donnes du suivi
de lagence, aux financeurs et au public. soient utiles pour lvaluation dimpact. Dans des
Rpondre des exigences externes de respect circonstances idales, les personnes faisant une
des rgles et de contrle, par exemple les valuation dimpact peuvent aider concevoir et
rapports et comptes-rendus demands par les structurer le systme de suivi dune intervention.
bailleurs de fonds.
En mme temps, il est important de reconnatre
Le suivi peut aussi prendre dautres formes. Plutt les limites du suivi. Le suivi sintresse gnrale-
que de se concentrer particulirement sur ce que ment au progrs par rapport des objectifs et des
fait lorganisation, par exemple, le suivi pourrait indicateurs prdfinis et suppose que ceux-ci sont
comprendre des notes donns par les citoyens aux appropris. Mais le suivi ne suffit pas lui seul
3
services publics, dans de nombreuses organisa- pour tirer des conclusions dattribution ni pour
tions, des services de plaidoyer faisant un suivi des identifier les raisons pour lesquelles des change-
pratiques corrompues, des approches environne- ments se sont produits ou pas (par exemple, dans
mentales, du travail des enfants dans les entre- quelle mesure ces changements sont un rsultat
prises locales, etc. de lintervention ou dus dautres causes). Il ne
peut gnralement pas identifier les effets impr-
Quelques dfinitions du suivi: vus, les besoins non satisfaits dans les services,
etc. Pour cela, on a gnralement besoin de
Processus continu de collecte systmatique lvaluation.
dinformations, selon des indicateurs choisis,
pour fournir aux gestionnaires et aux parties
prenantes dune action de dveloppement en
Un scnario bien trop courant: Une valua-
cours, des lments sur les progrs raliss,
tion dimpact prvue pour la fin dun projet
les objectifs atteints et lutilisation des fonds
dcouvre que les informations de rfrence
allous. (OCDE/Comit dassistance au dve-
et autres donnes intressantes nont pas t
loppement [CAD] Glossaire.
collectes ou nont pas t dsagrges de
La surveillance des produits et des effets du manire pouvoir montrer les changements
projet en tant quindicateurs de lefficacit du qui se sont produits ou mme fournir des
projet ou la mesure dans laquelle le projet informations ncessaires sur les activits du
ralise ses objectifs dclars. (USAID). programme, qui a t servi et dautres infor-
mations essentielles. Il est donc impossible
de dterminer quel a t limpact ou de lattri-
buer en aucune manire au programme.
Il sagit l de raisons lgitimes et importantes pour
faire un suivi, mais aucune dentre elles ne vise
contribuer lvaluation dimpact. Par consquent, Lvaluation suppose une investigation systma-
les types de donnes collectes et la manire tique, base sur des indices, qui peut dcrire et
dont on les garde et dont en en rend compte les estimer nimporte quel aspect dune politique, dun
programme ou dun projet. Lvaluation utilise une
3 Lecture supplmentaire : Samuel Paul. Holding the State to
grande varit de mthodes, quantitatives aussi
Account : Citizen Monitoring in Action. Bangalore : Public Affairs bien que qualitatives, fournissant des informations
Centre, 2002.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 4 |


plus compltes sur ce qui se passe, pourquoi, et si comme point de dpart des questions venant
cest appropri ou non et aussi pour informer les du suivi.
futures directions.
Les programmes doivent frquemment chan-
Lvaluation peut tre mene dans diffrents ger, parfois de faon importante, en rponse
objectifs et prendre des formes varies. Certains aux informations venant des valuations des
besoins et dautres formes de feedback du
des types dutilisation suivants (la liste nest pas
suivi-valuation. Par exemple, un programme
exhaustive, il y a aussi de nombreuses autres ap- ciblant des orphelins et enfants vulnrables a
proches dvaluation) peuvent contribuer lva- commenc avec lhypothse que les enfants
luation dimpact dans certaines circonstances.
4 vivant seuls seraient les plus vulnrables mais
sest rapidement rendu compte quil y avait
des mnages dont le chef tait un adulte et
Lvaluation des besoins consiste en une o les enfants taient encore plus vulnrables.
estimation ou une valuation des besoins ou
de la situation problmatique, souvent avant
llaboration initiale du projet. Ce type dva- Si on ne comprend pas ce quest rellement le
luation identifie frquemment des manires de programme, mme lvaluation dimpact
rpondre ces besoins. la plus sophistique et la plus rigoureuse
Les valuations du processus (ou de la mise dans ses statistiques naura que peu de
en uvre) dcrivent la nature de lintervention signification. Les valuations qui reprsentent
telle quelle est rellement mise en uvre en clairement le programme, avec les raisons qui
pratique. Dans une certaine mesure, le suivi expliquent les divergences par rapport ce
pourra peut-tre fournir des donnes sur les qui tait prvu lorigine, peuvent donner des
activits du projet qui seront utiles pour lva- informations inestimables pour comprendre
luation dimpact. Cependant, les interventions comment les interventions du programme
sont rarement mises en uvre exactement pourraient avoir eu un impact (ou peut-tre
comme il tait prvu lorigine et changent pour indiquer des difficults dans la mise en
frquemment avec le temps, souvent pour uvre dun programme ou certaines de ses
des raisons valables. Il peut tre tonnam- hypothses de base qui ont pu lempcher
ment difficile de dterminer ce qui se passe davoir un impact). Par exemple, si limpact
vraiment, qui est servi, de quelles manires dun programme a t limit, les donnes
ou dans quelle mesure, et ce quil se passe de lvaluation de processus peuvent aider
dautre. Lvaluation de processus peut rentrer tablir si cela tait d un problme de thorie
plus dans les dtails que ce nest possible de la manire dont le programme tait cens
avec le suivi, en utilisant souvent explicitement fonctionn ou des limites dans la manire
dont il a t mis en uvre.
4 Le Glossaire des principaux termes relatifs lvaluation
et la gestion axe sur les rsultats http://www.oecd.org/da-
taoecd/29/21/2754804.pdf du Comit dassistance au dvelop-
pement de lOCDE est une mine de renseignements pour la
dfinition des termes cls utiliss dans le dveloppement pour
lvaluation, comme ceux qui sont utiliss dans la prsente note.
Cf. aussi: Michael Scriven. Evaluation Thesaurus. 4me dition.
Sage Publications, 1991. La politique dvaluation de lUSAID
groupe toutes les formes dvaluation autres que lvaluation
dimpact dans la catgorie valuation de la performance.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 5 |


De plus, le Comit dassistance au dveloppement
Quelques dfinitions de lvaluation: (CAD) de lOCDE, lun des organismes les plus
influents pour lvaluation du dveloppement,
Apprciation systmatique et objective dun a identifi cinq critres (ou questions) de base
projet, dun programme ou dune politique,
en cours ou termin, de sa conception, de sa pour lvaluation: pertinence, efficacit, efficience,
6
mise en uvre et de ses rsultats. (Glossaire impact et durabilit. Notez que lvaluation de
OCDE/CAD) limpact ne reprsente que lun de ces critres.
La collecte et lanalyse systmatiques dinfor- Il est rarement possible de faire une valuation
mations sur les caractristiques et les effets dimpact se concentrant sur lattribution sans avoir
de programmes et de projets pour servir de fait aussi dautres formes dvaluation pour mieux
base pour des jugements, pour amliorer comprendre ce qui sest pass. Il ne sert pas
lefficacit et/ou clairer des dcisions sur des
programmes actuels et futurs. (USAID) grand chose de documenter quune intervention
a un impact sil nest plus pertinent ou sil peut y
avoir des manires plus efficaces ou moins on-
Lvaluation formative, mene mi-chemin reuses de rpondre au besoin de base ou si linter-
de la mise en uvre, doit amliorer la perfor- vention et/ou ses rsultats ont peu de chances de
7
mance durant les tapes suivantes du pro- continuer ou dtre durables. La Note dorienta-
gramme ou du projet. Elle peut participer tion 1 prsente les circonstances dans lesquelles
identifier les effets immdiats, quel moment lvaluation dimpact pourrait tre utile.
il semble probable (ou non) que lintervention
aura un impact et ce quil faudra peut-tre Lvaluation dimpact a gnralement les mmes
faire dautre pour en amliorer lefficacit. Cela caractristiques de base que dautres formes dva-
peut donc rendre plus significative lvaluation luation et devrait tre lune des approches dva-
5
dimpact ou lvaluation rcapitulative faite luation dune ONG. Cependant, comme le suggre
plus tard. le tableau de la page 3, il y a habituellement des
Lvaluation organisationnelle sintresse diffrences importantes, et cest pourquoi il est
lefficacit de lensemble dune organisation, ncessaire dutiliser dautres formes de S&E pour
ou peut-tre dune unit de lorganisation. Des quune valuation dimpact soit significative.
facteurs organisationnels (par ex. la gouver-
nance, la gestion, les ressources humaines, les La Note dorientation 1 observe que limpact et
finances, les relations intra et inter organisa- lvaluation dimpact ont parfois des dfinitions
tionnelles, etc.) sont souvent plus importantes diffrentes. Cependant, un aspect important
pour la russite dune intervention que sa
conception ces facteurs sont des informa- 6 Les Critres du CAD pour lvaluation de laide au dveloppement
tions essentielles qui doivent tre prises en sont lune des nombreuses sources contenant plus dinformations
sur ces critres. On peut les trouver, avec de nombreuses autres
compte durant la conception et la mise en ressources du CAD pour lvaluation sur http://www.oecd.org/do
uvre de lvaluation dimpact. cument/35/0,3746,en_21571361_34047972_31779555_1_1_1_1,00.
html.

7 Souvent, les interventions soumises des valuations dimpact


5 Lvaluation rcapitulative, souvent assimile lvaluation ou dautres recherches intensives, ont des ressources tellement
dimpact, consiste valuer dans quelle mesure les effets anticips plus leves quun travail normal que ce nest pas durable ou
ont t produits la fin de lintervention prvue et de porter un quelles ne peuvent pas facilement tre portes une plus grande
jugement sur la valeur de celle-ci. chelle ou appliques dans dautres contextes.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 6 |


de lvaluation dimpact est lattribution, le fait peut tre trs diffrente de ce qui a rellement t
de monter un lien de cause effet entre une mis en uvre, soit en raction au feedback du
intervention et des impacts qui peuvent tre S&E soit cause de changements de situation. La
documents. Il ne suffit pas cependant de savoir population cible peut aussi changer sur la dure
que des impacts se sont produits cause dune du programme, au fur et mesure que les organi-
intervention. Pour pouvoir appliquer les rsultats sations savent mieux qui devrait tre ligible pour
dune valuation dimpact dautres situations un programme ou russissent mieux atteindre
et/ou dautres groupes de bnficiaires, on doit ces populations. Si lon ne prend pas cela en
savoir pourquoi et comment les rsultats donns compte, les rsultats de lvaluation dimpact
se sont produits et les caractristiques de ceux nauront aucun sens.
qui en ont bnfici (ou pas).
Une grande partie de ces donnes est de nature
Cest l quun S&E srieux peut tre utile, condi- quantitative et peut venir du suivi, avec des des-
tion que lon dtermine lavance, aussi prcis- criptions qualitatives de la nature du programme
ment que possible, les types dinformations dont ou du projet. Lvaluation de processus, en
on aura besoin et comment les diverses formes de particulier, peut souvent fournir des informations
S&E peuvent les procurer. plus approfondies montrant dans quelle mesure
les services (ou mes messages, dans le cas dun
1.2. Comment le S&E peut contribuer lvaluation programme de plaidoyer) atteignent rellement les
dimpact publics prvus, comment ils sont vus et com-
Comme lindique la prsentation ci-dessus, il y a ment ils varient selon les diffrents groupes de
de nombreux types de donnes que le S&E peut, et personnes.
mme doit apporter pour permettre une valuation
dimpact. Le S&E peut apporter quatre catgories 2. Informations sur le contexte de lintervention.
dinformations lvaluation dimpact. Quelles autres interventions et quels autres fac-
teurs peuvent avoir une influence sur le fait quune
1. Des informations sur la nature de linterven- intervention fonctionne ou pas? Est-ce que dif-
tion qui sont essentielles pour que lvaluation frents groupes de personnes peuvent tre affects
dimpact tablisse un lien causal entre ce qui a de faon diffrente? (par ex. laide fournie aprs
t fait et dventuels effets documents. On a une catastrophe qui est distribue de faon dispro-
besoin dinformations de bases venant du S&E portionne ceux qui peuvent plus facilement y
systmatique sur: la nature relle des services avoir accs; les services et autres formes dassis-
fournis; les donnes de dpart ainsi que les tance pour lesquels les gens doivent aller sur un
changements dans le temps, par rapport qui site, ce qui fait que ceux qui ont des problmes de
est servi (ou qui on sadresse, comme dans les mobilit ne sont pas servis.) Ce genre de choses
initiatives de plaidoyer); le nombre et les caract- doit tre pris en compte dans la conception des
ristiques des bnficiaires servis, avec les sous- valuations dimpact.
groupes concerns; les produits du programme
et comment lintervention a progress. Ce sera De la mme faon, quels facteurs peuvent tre
peut-tre diffrent de ce qui tait prvu lorigine. spciaux dans le contexte de cette intervention?
Comme on la dj not, lintervention prvue Par exemple, la bonne distribution de laide

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 7 |


alimentaire et les vies qui sont sauves grce des priorits pour les valuations dimpact.
elle dpendent souvent de choses qui sont tout
fait en dehors du contrle du programme, 2. Comment intgrer lvaluation dans la rflexion
comme la logistique, le temps quil fait, lappui et les pratiques de S&E
(ou linterfrence) du gouvernement ou dorga-
nisation terroristes, etc. Ce type dinformations Comme cela a t montr plus haut, le S&E est
est essentiel pour bien interprter les donnes vital pour lvaluation dimpact, mais ses contri-
de lvaluation dimpact et pour identifier les im- butions ne sont pas automatiques. Cette section
plications des rsultats pour dautres contextes donne des directives et des ides sur la manire
ou situations. Les donnes de ce type sont de planifier et de mener le S&E pour quil puisse
gnralement (mais pas forcment) qualitatives. appuyer une valuation dimpact significative.
Elles viennent parfois du suivi, mais souvent Elles sont organises autour des tapes prsen-
il faut que lvaluation permette une explora- tes dans le diagramme ci-dessous et discutes
tion plus approfondie. La Note dorientation 3 dans le texte qui le suit.
donne plus dinformations sur les mthodes qui
peuvent tre utilises pour collecter ces donnes 2.1. Formuler la thorie du changement
et dautres formes de donnes. Comme lindique la Note dorientation 1, une
thorie du changement est un modle qui
3. Ce que nous savons dj (ou au moins explique comment une intervention est cen-
ce que nous suspectons) sur limpact. se conduire aux impacts prvus ou observs.
Quelquefois, le suivi et/ou lvaluation donnent Souvent appele thorie du programme, chaine
dj des indices, ou au moins de forts soup- des rsultats, modle logique du programme ou
ons, que des changements se produisent. logique dattribution, la thorie du changement
Dans ces cas, une valuation dimpact pourrait illustre la srie dhypothses et de liens qui
documenter et confirmer ce qui se passe relle- montrent les relations prsumes entre:
ment et dans quelle mesure ces changements
sont le rsultat des activits du programme. Les intrants (par ex. le financement, le person-
Par contre, le S&E pourrait soulever des ques- nel, les volontaires, un appui tangible ou en
tions sur la viabilit dune valuation dimpact, nature venant dautres personnes, etc.);
au moins actuellement, en indiquant quil est Les activits et leurs produits immdiats (ce
peut-tre prmatur de chercher un impact. Une qui est fait, comme les sessions de formations
fois quune valuation dimpact est en route, les qui sont menes);
donnes du suivi et autres formes dvaluation Les effets intermdiaires diffrents niveaux
devront bien sr tre prises en compte avec (par ex. les enseignants forms, les ensei-
toutes les autres donnes collectes. gnants appliquant dans leur classe ce quils
ont appris); et
4. Quels autres indices pourraient influer sur Limpact prvu (comme la rduction du travail
la dcision de faire une valuation dimpact. des enfants, des familles et des communauts
Comme cela a t montr ci-dessus, les informa- devenues auto-suffisantes financirement,
tions que donne lvaluation sur la pertinence, lamlioration de ltat de sant, moins de
lefficience et la durabilit dune intervention morts dans les situations durgence, etc.).
devraient tre prises en compte avant de fixer

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 8 |


La Note dorientation 1 a identifi les lments cls intermdiaires et autres facteurs qui peuvent aussi
dune thorie du changement et les diffrentes influer sur limpact (par exemple lintervention
manires dont elle peut amliorer lvaluation dautres allis, des variables contextuelles, etc.). Le
dimpact. Celui-ci a, lui, pour le S&E des implica- S&E pourra peut-tre rendre compte des progrs
tions trs directes qui peuvent tre rsumes par pour ce qui est des activits, produits et effets
les principales catgories ci-dessous. initiaux, ce qui indiquera quand il serait possible
denvisager une valuation dimpact. Ceci pourrait
1. Identifier la phase dans la trajectoire dune viter la situation bien trop courante o lon essaie
intervention o il serait appropri dentreprendre prmaturment de mesurer limpact, parfois
diverses formes dvaluation y compris lvalua- mme avant que le programme nait eu la possibi-
tion dimpact en identifiant les diverses tapes lit de bien stablir.

1. Formuler la thorie
du changement

7. Revoir, rflchir et 2. Identifier les priorits


pour entreprendre une
mettre jour
valuation dimpact

6. Utiliser les rsultats 3. Identifier les besoins


(par exemple pour am- dinformations / de
liorer les politiques/ les
programmes) donnes

5. Concevoir et mettre 4. Commencer avec


en uvre lvaluation
dimpact, analyser et ce que lon a
interprter les rsultats

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 9 |


elle a volu dans la pratique. La thorie du chan-
Une thorie du changement pour le travail de gement peut indiquer quels sont les aspects de la
plaidoyer, similaire celles qui sont labores mise en uvre dont on doit vrifier la qualit pour
pour les projets de services, devrait dterminer la
permettre de distinguer un chec de mise en uvre
succession des tapes intermdiaires (par ex. une
dun chec de thorie. Elle donne aussi une base
prise de conscience, dautres partenaires acceptent
de mener des actions complmentaires, la com- pour voir quel endroit sur le chemin vers limpact
munaut est mobilise, un dialogue avec les (ou la chaine causale) une intervention peut cesser
fonctionnaires gouvernementaux est mis en route) de fonctionner. Ce type dinformation est essentiel
et dautres facteurs qui pourraient aussi intervenir pour dterminer un lien de causalit entre linter-
(par ex. les activits dautres personnes) grce aux- vention et dventuels effets ou impacts documen-
quels on devrait arriver des changements dans
ts. Il est aussi essentiel pour expliquer et interpr-
les politiques et pratiques du gouvernement ou
peut-tre dans les pratiques communautaires. ter la signification et les implications des rsultats
de lvaluation dimpact.

Michael Woodcock de la Banque Mondiale a 3. Parvenir une comprhension commune


insist sur le fait quil est important de dterminer de lintervention en impliquant le personnel et
le calendrier et les trajectoires dimpact auxquels dautres parties prenantes cls dans llaboration
on peut raisonnablement sattendre. Il est crucial de la thorie du changement. Si une thorie du
de reconnatre que des projets diffrents peuvent changement nest labore que par un spcialiste
suivre des trajectoires trs diffrentes. Comme du S&E en se basant surtout sur des documents,
il le fait remarquer, Certains projets peuvent, il risque de ne pas y avoir dappropriation du
de par leur nature, produire des impacts initiaux modle. Celui-ci peut aussi ne pas reflter ce qui
importants tandis que dautres peuvent prendre se passe rellement. Il est conseill, partout o
naturellement beaucoup plus longtemps, parfois cest possible, dimpliquer le personnel des pro-
mme des dcennies, pour montrer des rsul- grammes, les employs sur le terrain et dautres
tats, non pas parce quils ne fonctionnent pas parties prenantes cls dans llaboration de la
aprs trois ans, mais simplement parce que cest thorie du changement. Le spcialiste de S&E
le temps que a prend (Woodcock, 2011). Il est a un rle crucial dans ce processus, en tant que
aussi important de ne pas oublier que le personnel facilitateur actif et pour tablir le modle propre-
dune organisation peut tre trop optimiste par ment dit. Parfois, il peut y avoir des points de vue
rapport au temps quil faut pour mettre en place diffrents sur la manire dont on peut prvoir que
un nouveau programme ou pour quil obtienne le programme fonctionnera, ce qui rsultera en
des rsultats. Essayer dvaluer les rsultats pr- des thories du changement alternatives. Cela peut
maturment, cest programmer lchec. suggrer des questions qui devront tre explores
par le S&E, peut-tre avant de mettre en route
2. Dcrire la manire dont lintervention est lvaluation dimpact elle-mme.
cense fonctionner en utilisant une thorie du
changement. Souvent appele le chemin vers les De plus, si lon adopte une approche participative,
rsultats (ou limpact), elle peut aider suggrer llaboration de la thorie du changement peut
les types de donnes de S&E ncessaires pour aider tous les participants penser en termes def-
documenter la nature de lintervention et comment fets. Cela peut permettre une appropriation et une

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 10 |


comprhension commune du but du programme sur la valeur de lintervention auxquelles on ne
et de ce qui est ncessaire pour quil soit efficace. peut pas rpondre par dautres moyens.

2.2. Identifier les priorits pour entreprendre une 2.3. Identifier les besoins dinformations/ de donnes
valuation dimpact Quels types de donnes de S&E seront ncessaires
De nombreux facteurs aident tablir des priori- pour aider lvaluation dimpact? La rponse
ts pour entreprendre des valuations dimpact, simple est: a dpend. Il ny a pas de prescrip-
comme les intrts des parties prenantes cls ou tion universelle. Ce serait aller droit des donnes
des bailleurs de fonds, le financement disponible manquant de pertinence. Cest pourquoi cette note
ou les possibilits de collaborer avec dautres. dorientation a soulign limportance de formuler
Mais une considration cl est de savoir quand la thorie du changement, de prfrence en impli-
lvaluation dimpact aurait plus de chance quant le personnel des programmes et dautres
dapporter des informations utiles qui ne peuvent parties prenantes dans le processus et en utilisant
pas tre obtenues par des moyens plus simples des techniques telles quune attitude raliste par
et moins coteux et qui peuvent servir guider rapport lvaluation et une approche danalyse
les futures stratgies ou les futures approches de de la contribution telles quelle est dcrite ci-des-
programmes. sous. Ces techniques permettront didentifier les
questions pour lvaluation qui pourront aider
Le S&E joue un rle important dans ce processus. dterminer quel sont les types de donnes nces-
La thorie du changement peut indiquer quelles saires et les techniques et mthodes de S&E pour
questions il est bon daborder quel moment obtenir ces donnes.
dans un programme. Les donnes de suivi-va-
luation peuvent permettre dindiquer jusquo les La Note dorientation 1 donne une liste dexemples
interventions ont progress, quelle phase elles de questions cls pour lvaluation dimpact. La
sont prtes pour une valuation dimpact et Section 1 de cette note identifiait diverses manires
quand il y a suffisamment de documentation de dont les donnes de S&E peuvent contribuer
S&E pour que ce soit possible. Commencez par lvaluation dimpact. Mais il ny a pas de formule
identifier les besoins dinformation, puis voyez magique. Il faut identifier, trs spcifiquement,
quelle quantit dinformations est dj disponible quels types de donnes seront rellement nces-
grce au S&E rgulier avant de dcider dentre- saires pour lvaluation dimpact et dans quelle
prendre une valuation dimpact. cette tape, mesure les procdures de suivi et les pratiques
on peut prparer une histoire de la performance dvaluation qui existent devront peut-tre tre
pour voir ce quon connat dj, dterminer quels modifies pour fournir ces informations (ou pour
sont les manques dinformations et les questions indiquer que ce nest pas possible). Le tableau ci-
auxquelles on ne peut pas rpondre et dterminer dessous peut servir de liste de vrification rcapi-
quel moment une valuation dimpact serait plus tulant les types dinformations ncessaires que les
valable. Cela peut tre pour fournir des indices approches de S&E devraient pouvoir fournir dans
solides pour confirmer ce qui est suspect ou, la plupart des situations.
dans des situations o il y a de relles questions

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 11 |


Donnes de rfrence
Identifiez ltat initial dans les dimensions intressantes pour limpact prvu du programme (la thorie du changement devrait pouvoir
aider identifier ces dimensions)
Dans les situations o lon na pas tabli de donnes de rfrence, y a-t-il des moyens de les recrer rtrospectivement? *

Nature du programme/ de lintervention telle quils sont rellement mis en uvre


Identifiez les changements par rapport la manire dont lintervention devait lorigine tre faite et, autant que possible, les raisons de
ces modifications.
Identifiez les diverses modifications et les changements en cours de route (et sil ny en a pas eu, le concept initial tait-il rellement
parfait tous points de vue ou le programme na-t-il pas russi ragir aux changements de situations?).
Identifiez dautres informations descriptives sur le processus de mise en uvre, comme lchelonnement des diverses activits ou des
variations selon les sites ou les types de bnficiaires.

Qui le programme a-t-il servi?


Dsagrger autant que possible les caractristiques des bnficiaires, et surtout selon les caractristiques identifies pendant
llaboration de la thorie du changement et de lhistoire de la performance.
Il y a souvent des diffrences suivre (par ex. le genre, lge, les diffrents groupes tribaux, culturels ou socioconomiques) qui
peuvent tre vidents mais il y en a souvent dautres qui peuvent tre trs pertinents pour une situation donne (par ex. les enfants
ayant des parents en vie ou non, vivant avec de la famille ou seuls).
Que sest-il produit dautre qui pourrait affecter limpact du projet, dans un sens positif ou non, par ex.:
Comment le programme a-t-il travaill conjointement avec dautres agences ou dautre programmes, y compris les partenaires
identifis?
Y a-t-il eu dautres facteurs, comme lintervention dautres acteurs, des politiques gouvernementales, des initiatives du secteur priv
(comme la cration de possibilits demploi ou peut-tre la fermeture dun important employeur de la zone), des catastrophes
naturelles ou causes par lhomme, etc., qui ont affect positivement ou ngativement la capacit du programme progresser ou qui
peuvent avoir demand une approche un peu diffrente de ce qui tait prvu lorigine?
Dans quelle mesure les facteurs ci-dessus ont-ils aid ou perturb le programme?
Quels effets ou impacts peuvent tre documents, court, moyen et long terme?
Ils devraient tre en lien avec la thorie du changement, en tenant compte des types deffets qui taient prvus des moments donns.
Ceux-ci sont-ils prvus ou non? Y a-t-il des donnes, ou mme des valuations subjectives, qui pourraient les expliquer?
Les impacts ont-ils des chances dtre durables? Quest-ce qui le montre?
Quelle est la solidit des donnes? Que faut-il dautre pour monter de manire plus convaincante que limpact coule dune manire ou
dune autre de lintervention du programme.
Que sest-il produit dautre (effets imprvus/inattendus)?
Dans quelle mesure ceux-ci taient-ils positifs ou ngatifs?
Dans quelle mesure ceux-ci taient-ils potentiellement sous contrle du programme?
La conception du programme et la thorie du changement devraient-elles tre rvises pour les prendre en compte pour lavenir?
Dans quelle mesure le programme tel quil tait conu et tel quil a t mis en uvre tait-il appropri et pertinent?
Par exemple, dans quelle mesure le programme a-t-il rpondu aux demandes des bnficiaires, aux besoins de la communaut ou du
pays ou dautres priorits locales ou mondiales identifies?
Y a-t-il eu des changements dans les besoins et les considrations de contexte qui suggreraient que le programme devrait tre modifi
dune manire ou dune autre?
De quoi peut-on encore avoir besoin ?
Y a-t-il dautres besoins auxquels le programme lui-mme devrait rpondre?
Y a-t-il dautres besoins auxquels il vaudrait mieux que dautres rpondent (par ex. implications pour le plaidoyer)?
Autres considrations
telles quelles ont t identifies initialement dans la thorie du changement
qui pourraient apparatre plus tard, par exemple en rponse des constatations prliminaires, par des runions de rflexion, etc.
qui rpondent aux proccupations ou aux perspectives dautres parties prenantes, y compris des critiques du programme.
* Lectures supplmentaires : RealWorld Evaluation techniques, dcrites dans Bamberger et al. 2012..

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 12 |


Les suggestions dans le tableau ci-dessus apparai- la poudre canon ne senflammera que si elle
tront peut-tre comme une liste impressionnante est allume dune certaine manire. Une implica-
de choses suivre. Mais tous les programmes tion majeure est donc que lvaluation dimpact
ne doivent pas collecter toutes les formes de doit dterminer ce qui fonctionne pour qui, dans
donnes. Les questions ne doivent pas toutes quelles circonstances et par quels mcanismes.
tre poses en mme temps ou elles peuvent
tre chelonnes tout au long du cycle de vie du
programme. Il y a de nombreux exemples dapproches
(par ex. La mobilisation communautaire)
qui doivent tre adaptes selon les moyens
Il est aussi important de donner des priorits aux dexistence du groupe cible, par exemple le-
besoins dinformations et de se concentrer sur veurs ou populations sdentaires (comme les
les informations vraiment ncessaires. Quand on paysans). De la mme faon, une approche
pour amliorer la sant reproductive des
labore un plan de suivi, il faut savoir ds le dbut jeunes peut fonctionner avec certains groupes
comment chaque information peut tre utilise. Si culturels mais pas avec dautres, ou dpendre
lon essaie dobtenir trop dinformations, cela peut dautres facteurs.
avoir des consquences imprvues. Par exemple,
le personnel qui doit collecter les donnes peut
tre dbord et se trouver forc faire des raccour- Les principes dvaluation raliste ont des impli-
cis qui peuvent affecter la qualit des informations cations importantes pour la conception de sys-
fournies et les rendre moins facile utiliser. tmes de S&E, en particulier pour les types de
donnes qui doivent tre collectes et maintenues
valuation raliste. Quand on dtermine quelles dsagrges. Par exemple, certaines approches
sont les donnes ncessaires pour permettre une de programme qui sont efficace pour les garons
valuation dimpact significative, il est utile de peuvent, dans certaines situations, tre nuisibles
8
penser au principe dvaluation raliste, qui part pour les filles. Certains programmes qui fonc-
du principe que dire quun programme fonc- tionnent dans les zones urbaines peuvent ne pas
tionne ou non est trop simplificateur et quune fonctionner dans les zones rurales. La pertinence
diffrence statistiquement significative entre deux de certaines dimensions (par exemple le genre,
9
groupes peut masquer des variations consid- lge ou le niveau de pauvret) peut tre vidente
rables. Il y a toujours des personnes qui y gagnent (mais pas forcment toujours suivie) tandis que
et dautres non, et presque tous les programmes dautres seront peut-tre moins videntes. Ainsi,
peuvent fonctionner pour certaines personnes une approche ducative qui peut aider certains
dans certaines situations, mais pas pour dautres. enfants peut ne pas le faire pour dautres, par
Lvaluation raliste dclare que les effets sur- exemple des enfants qui ont subi un traumatisme,
viennent par lintermdiaire de combinaisons va- quel quil soit. En plus des caractristiques des
ries de contexte et de mcanismes. Par exemple, communauts et des bnficiaires, il est aussi
important de tenir compte du contexte ou, dans ce
cas, quels services ont t fournis et dans quelles
8 Lecture complmentaire: Pawson et Tilley, Realistic Evaluation circonstances.
(1997).

9 Qui, statistiquement est bas sur la comparaison des rsultats Les employs des ONG, tant donn leur
moyens de chaque groupe.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 13 |


proche connexion avec le terrain et les bnfi- En substance, il sagit dutiliser les indices venant
ciaires, sont souvent bien placs pour pouvoir du S&E ralis pour voir ce quils peuvent rvler
observer, ou mme suspecter, les facteurs sur les effets ou mme sur limpact dune inter-
qui peuvent faire que des approches fonc- vention, tout en voyant aussi ce qui, en dehors
tionnent pour certains mais pas pour dautres. de lintervention, pourrait galement avoir caus
Documenter ce type dinformations grce au les effets trouvs. partir de l, on peut prparer
S&E continu peut tre une contribution impor- une histoire provisoire de la performance pour
tante lvaluation dimpact. Il est essentiel, voir dans quelle mesure il est raisonnable de
non seulement de comprendre ce qui sest faire lhypothse que les actions du programme
rellement produit dans un programme parti- pourraient avoir contribu aux effets observs et
culier, mais aussi de tirer des leons de cette pour identifier les faiblesses et l o on pourrait
exprience et dtre capable dappliquer ces avoir besoin de donnes additionnelles. Cest une
informations dans des situations diffrentes. manire efficace dutiliser les donnes existantes
pour dterminer ce que lon sait et o on a besoin
2.4. Commencer avec ce que lon a de donnes venant dautres formes de S&E ou, si
Avant de mettre en route une valuation dim- ncessaire, dune valuation dimpact pour obtenir
pact coteuse et complexe, commencez avec une image plus convaincante.
les informations dj disponibles, venant du
S&E et dautres sources. Peut-tre quil existe Discussions de rflexion. Une approche dana-
dj suffisamment dindices et quil ne vaut pas lyse de la contribution nest pas forcment un
la peine de faire une valuation dimpact. Au gros travail, surtout pour de petits projets ou des
minimum, cela peut aider concentrer lvalua- projets contrls. Des discussions de rflexion sys-
tion dimpact sur les questions et les problmes tmatiques (ou des runions de revue ou de
auxquels on ne peut pas trouver de rponse suivi) sont un bon exemple de cette approche.
autrement. Cela peut suggrer dautres formes Elles pourraient faire partie des runions rgulires
dvaluation quil vaudrait peut-tre mieux es- du personnel ou pourraient tre le point principal
sayer dabord. Voici quelques ides dapproches de runions spciales organises priodiquement.
systmatiques. Elles peuvent comporter une discussion informelle
de ce qui semble fonctionner ou pas, de la base
Lanalyse de la contribution comporte les six sur laquelle on base ces conclusions, en tenant
tapes ci-dessous, qui seront expliques plus en compte dexplications concurrentes des effets
dtail dans lAnnexe 1: observs ou prouvs (autrement dit, une version
simplifie de lhistoire de performance), puis iden-
1. laborer une thorie du changement. tifier quelles autres formes dindices seront nces-
2. valuer les indices qui existent sur les saires lavenir pour prouver de manire plus
rsultats. convaincante limpact du programme. Dans cer-
3. valuer des explications alternatives. tains cas, par exemple quand des employs et des
4. Prparer lhistoire de la performance. parties prenantes venant de diffrentes zones sont
5. Chercher des indices supplmentaires. runis, il peut tre bon dutiliser une approche plus
6. Rviser et renforcer lhistoire de la formelle et un facilitateur externe. Ce type de suivi
performance. quantitatif peut tre inestimable pour comprendre

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 14 |


ce qui peut avoir men aux effets ou aux impact (et comment limpact a t produit, en dehors de
si ces mmes rsultats se seraient produits quand lintervention du programme ou du projet, puis
mme en labsence du projet), ce qui est essentiel fournissez les indices ncessaires pour montrer
comme informations pour appliquer les rsultats que ces explications alternatives ne sont pas
des valuations dimpact. probables. Il suffit de sintresser dautres expli-
cations plausibles. On peut supposer sans trop
de risques que les changements dans les chiffres
AWARD, un programme de bourses de
demploi des jeunes dans un district nont pas t
recherche pour les femmes scientifiques dans
la recherche et le dveloppement agricoles causs par le fantme dElvis! Mais louverture
en Afrique, utilise des sessions priodique ou la fermeture dune nouvelle entreprise, ou des
de rflexion pour donner aux boursires et changements dans les politiques dune entreprise
leurs mentors dans diffrents pays une
existante, peuvent tre pertinents dans certaines
possibilit de rflchir aux progrs, aux rali-
sations jusqu prsent et ce qui a, ou non, situations. Il est important cependant de se rendre
bien march. Cela sajoute aux donnes de compte que les parties prenantes peuvent avoir
suivi de lquipe de gestion ainsi qu leur une vision diffrente de ce qui est plausible ou non
propre rflexion continue sur la performance.
et quil faut en tenir compte quand on conoit une
Cela donne des occasions de tester la tho-
rie du changement du programme et aide approche de S&E.
aussi lquipe de gestion travailler en mode
damlioration continue en dterminant
quelles sont les mesures correctives ou les Quelques approches pour exclure des expli-
changements de direction ncessaires. cations rivales plausibles
Anticiper des questions potentielles du/des
public(s) de lvaluation.
liminer les explications plausibles rivales. La 3me Abordez les menaces la validit interne et
tape de lapproche danalyse de la contribution externe.
consiste apprcier des explications alternatives Utilisez une approche base sur la thorie.
possibles. Il sagit l dun concept simple mais Dterminez quels types dindices seraient
puissant, bien ancr dans la littrature de lva- convaincants.
luation. Il a t exprim en premier par Donald T. Fournissez plusieurs lignes dindices.
10
Campbell, qui a aussi dit quon devrait utiliser les Assurez-vous de la validit daspect.*
approches les plus simples et les moins coteuses * Il sagit de prsenter les rsultats de manire ce que les
personnes qui ne sont pas des chercheurs aient limpres-
qui peuvent permettre davoir la confiance nces- sion de prime abord quils sont logiques.
saire dans les constatations.

Commencez par voir ce quil y a comme autres


explications possibles qui pourraient expliquer 2.5. Concevoir et mettre en uvre lvaluation
dimpact, analyser et interprter les rsultats
Comme cela a t indiqu auparavant, le S&E a
10 Par exemple: Campbell, D. T. et J. C. Stanley. 1963. Experimen- un rle important jouer pour quune valuation
tal and Quasi-Experimental Designs for Research. Boston: Hough-
ton-Mifflin. Campbell est peut-tre mieux connu comme le pre dimpact pose les bonne questions et que sa
de lvaluation moderne des programmes et comme un partisan
des mthodes exprimentales et quasi exprimentales. Il a t le
conception tienne compte de manire raliste des
premier identifier ce dernier concept, ainsi que les concepts de donnes intressantes de S&E qui peuvent dj
validit interne et externe.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 15 |


exister ou pourraient tre fournies pratiquement. Les spcialistes du S&E (et par leur interm-
Il faudra peut-tre des activits complmentaires diaire, dautres personnels de lorganisation et
dvaluation, comprenant des approches quali- dautres parties prenantes) devraient jouer un rle
tatives ainsi que qualitatives, ce qui contribuera important dans linterprtation des rsultats de
une approche de mthodes mixtes (prsente lvaluation dimpact. Il est utile de demander si
dans la Note dorientation 3) qui pourrait per- les rsultats ont un sens, et sils sont cohrents
mettre une triangulation des rsultats de lvalua- avec dautres informations. Si ce nest pas le cas,
tion dimpact et plus tard aider linterprtation. il serait bon de demander ce que cela peut signi-
Des spcialistes de S&E devront sans aucun doute fier et ce qui pourrait expliquer les contradictions
tre impliqus, au moins certains moments du apparentes.
processus dvaluation dimpact, pour faciliter la
collecte de donnes additionnelles. Les spcialistes Comme le soulignait la Section 1, on a besoin du
de S&E doivent aussi tre parfaitement au courant S&E pour fournir des informations sur les facteurs
des problmes et des compromis quil faut faire contextuels pertinents et sur la nature des inter-
11
pour pouvoir tablir une validit quelconque. ventions. Ces interventions seront essentielles
pour montrer des relations de cause effet. En
particulier, on a besoin du M&E pour fournir des
Une hypothse courante et quune fois que la explications des constatations, pour indiquer les
conception de lvaluation dimpact est faite, pourquoi et les comment, des informa-
tout doit rester statique, souvent pendant des
annes. Mais en ralit, les programmes vo- tions qui sont essentielles pour agir sur la base des
luent et changent avec le temps, et ils doivent rsultats de lvaluation dimpact. Les hypothses
le faire pour rpondre aux changements de faites sur lintervention sont-elles encore va-
situation, au feedback et aux nouvelles infor- lides? Les conceptions avec des scnarios contre-
mations. Les conceptions dvaluations dim-
pact doivent pouvoir reflter les changements factuels ont souvent beaucoup de mal expliquer
dans la nature de lintervention et sy adapter, les diffrences entre le groupe exprimental et le
faute de quoi les constatations risquent de groupe de contrle. Mme sil ny a pas de diff-
navoir quune signification limite. Comme rence entre les scores moyens du groupe expri-
lindique la Note dorientation 3, certaines
approches de lvaluation dimpact peuvent mental et du groupe de contrle, il est probable
tre plus souples et adaptables que dautres. que certaines personnes ont quand mme pro-
Nanmoins, il est important de garder les- gress et il est toujours possible quune majorit
prit que lvaluation dimpact a besoin dune des gens pourraient faire mieux. Des informations
coopration du programme pour russir et
quautant que possible, les changements im- de S&E complmentaires peuvent aider entrer
portants devraient tre discuts avec lquipe dans le bote noire pour pouvoir comprendre
dvaluation. et interprter les diffrences, et ce quelles signi-
12
fient pour les directions lavenir. Ces rflexions

12 Par exemple, les valuations dimpact sont souvent entreprises


dans lobjectif dindiquer si une approche donne devrait tre
continue et/ou rplique dans une situation diffrente (possibilit
11 Une ressource trs utile: Huey T. Chen, Stewart I. Donaldson, de gnraliser, ou validit externe). Mais sans savoir comment
et Melvin M. Mark (ds.). Advancing Validity in Outcome valua- ni pourquoi limpact sest produit (ou non), il est impossible de
tion: Theory and Practice. New Directions for Evaluation. Jossey- prendre des dcisions en connaissance de cause pour ce type de
Bass et American Evaluation Association. 2011. choix.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 16 |


pourraient suggrer dautres analyses de sous- dimpact pourra peut-tre encore les prendre en
groupes qui seraient encore possibles ou au moins compte. Il faudrait choisir de bonnes mthodo-
une aide pour bien interprter constatations. logies dvaluation dimpact qui soient suffisam-
ment souples pour sadapter aux changements de
2.6. Utiliser les rsultats direction du programme qui sont, dans la plupart
Lutilisation de lvaluation dimpact fait lobjet de des cas, presque invitables.
la Note dorientation 4 et dborde largement du
sujet de la prsente note. Il est nanmoins intres- Il est intressant de faire des revues intermdiaires
sant de noter que le S&E peut avoir un rle impor- (qui peuvent tre aussi simple quune runion
tant jouer dans ce processus. Dautres informa- cible du personnel) pour tudier tous les change-
tions de S&E peuvent aider identifier dans quelle ments importants dans le programme et rexa-
mesure les rsultats dune valuation dimpact miner la thorie du changement pour voir si les
peuvent tre gnraliss ou peuvent tre appli- hypothses dorigine sont toujours valables ou sil
cables dautres situations ou dautres popula- faut les mettre jour. Comme cela a t suggr
tions ou mme au mme endroit, tait donn les plus haut, cette revue peut tre une occasion de
changements invitables dans le contexte, dans la prparer ou de mettre jour une histoire de la
nature de lintervention et dans le groupe cible, au performance et didentifier les informations man-
cours dune valuation dimpact pluriannuelle. Les quantes quil faudra se procurer dune manire
spcialistes de S&E peuvent aider animer des ou dune autre. Les revues intermdiaires peuvent
sessions impliquant le personnel et la direction tre une occasion de rflchir la manire dont le
pour voir quelles sont les implications des rsul- programme semble progresser mais aussi servir
tats de lvaluation dimpact la lumire dautres revoir, et si ncessaire mettre jour, le plan de
informations. S&E lui-mme.

2.7. Revoir, rflchir et mettre jour Cette note insiste sur le rle que peut jouer le S&E
Quels que soient les efforts fait pour la formula- pour aider faire une valuation dimpact signi-
tion initiale de la thorie du changement, pour ficative. Mais linverse est vrai aussi. Lvaluation
llaboration du plan et la conception de lvalua- dimpact peut toujours suggrer les types de don-
tion et pour la mise en place des mcanismes de nes qui devront tre suivies lavenir et poser des
collecte des donnes, cela ne signifie pas quon questions qui pourront tre tudies par dautres
puisse, ni quon doive ensuite ne plus y penser. Il formes dvaluation. Il est intressant, la conclu-
est utile de voir rgulirement si les hypothses sion dune valuation dimpact, de considrer les
qui sous-tendent lapproche de lvaluation implications pour les priorits futures du S&E.
dimpact sont toujours valables ou sil faut y faire
des changements. Les programmes ractifs sont 3. Impliquer toutes les parties de
rarement statiques ils adaptent leurs approches lorganisation
aux changements de contexte, pour rpondre de
nouveaux besoins ou de nouvelles opportunits Dans le S&E et lvaluation dimpact, les sp-
et en rponse au feedback de leurs bnficiaires, cialistes du S&E doivent videmment jouer un
dautres parties prenantes et du S&E. Si ceux- rle actif pour mettre en place des conceptions
ci sont identifis suffisamment tt, lvaluation dvaluation appropries et pour garantir que tous

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 17 |


les aspects du processus sont faits de manire en particulier aura un rle cl jouer pour que ce
maximiser la validit et lutilit des donnes. Mais ne soit pas seulement un travail sur le papier qui
le personnel de gestion et des programmes peut risquerait dentrainer un cynisme et une obis-
aussi jouer des rles importants qui ne sont pas sance passive, mais pour montrer au contraire
toujours bien apprcis. leur engagement agir et utiliser toutes formes
dinformations tires des rsultats. Faire une va-
3.1. S&E: Une fonction centrale de gestion qui luation dimpact, mme si un budget y est consa-
a besoin du leadership et de lappui de la cr, aura aussi des implications pour la charge
direction de travail et peut-tre aussi des implications de
Faire le S&E et rflchir et agir en termes dimpact, ressources pour le personnel des programmes
sont des choses bien trop importantes pour et les spcialistes du S&E. La direction devrait
tre laisses aux seuls spcialistes du S&E. Tout tre au courant de ces implications lorsquelle
dabord, le S&E reprsente un outil de gestion dcide dentreprendre une valuation dimpact. La
qui peut aider fixer les directions, valuer pertinence et la russite de lvaluation dimpact
les progrs, en apprendre plus sur les types et la capacit du S&E habituel contribuer cette
dapproches qui semblent fonctionner ou non russite dpendent en grande partie de lattitude et
dans des circonstances changeantes, prendre de lappui de la direction.
des dcisions, et beaucoup dautres choses.
Cela signifie que la direction des ONG doit se 3.2. Le personnel des programmes doit avoir un
lapproprier, fournir un leadership et encourager rle actif
tous les membres de lorganisation rflchir en Pour une valuation dimpact significative, ainsi
termes deffets ou de rsultats en se demandant que pour le S&E habituel, il faut que le personnel
comment ils peuvent savoir que leur travail fait des programmes soit activement impliqu. Dans
une diffrence et ce qui peut tre fait pour lam- la plupart des cas, cest le personnel des pro-
liorer. Lapprentissage et le changement supposent grammes qui aura la responsabilit de collecter
dtre prts reconnatre et accepter le fait que, la plupart des donnes, de les enregistrer et den
quelquefois, certaines approches nont pas bien rendre compte. Il est important de reconnatre ce
fonctionn et doivent tre modifies. Mais pour rle cl et ce quil implique. Si lon impose des
cela, il faut que la direction encourage et aide les exigences des gestionnaires et des employs
employs innover et ne les punisse pas si tout de programme dj trs occups, cela sera dans
ne se passe pas comme prvu condition quils la pratique souvent considr comme une tche
soient prts tirer des leons de lexprience et administrative supplmentaire, dune valeur incer-
de lvaluation. Il est essentiel davoir cet appui taine et il y aura une rsistance. Par consquent il
pour que lvaluation dimpact, avec le S&E, ait un risquera dy avoir des problmes, avec des don-
impact rel sur la manire dont les programmes nes de moindre qualit ou incompltes.
sont mis en uvre.

Les gestionnaires tous les niveaux dune agence


devront fournir lappui, les ressources et le lea-
dership ncessaires pour permettre un S&E, et
une valuation dimpact, intressants. La direction,

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 18 |


certains des rapports initiaux dvaluation leur
Faire que le S&E et lvaluation dimpact soient ont t communiqus.
utiles pour les employs des programmes et
ne soient pas considrs comme une corve
Autant que possible, lapproche de S&E ou dva-
Les impliquer dans le processus. luation dimpact devrait inclure des rflexions sur
Sintresser aux questions quils consi- le rle et lappui du personnel des programmes.
drent comme importantes et qui
Les employs des programmes qui devront col-
peuvent les aider.
Fournir des occasion de participer lecter les donnes sont souvent les mieux placs
linterprtation des donnes du S&E / de pour identifier les informations qui seront faciles
lvaluation dimpact. obtenir et celles qui peuvent tre plus probl-
Donner un feedback quand les donnes matiques ainsi que les demandes de donnes
sont soumises (mme un simple accus qui sont ambigus et peuvent tre interprtes
de rception ou un merci ).
de manires diffrentes ou risquent mme dtre
Fliciter les employs qui aident lva-
luation dimpact. tellement peu fiables quelles seront inutilisables.
Faire savoir comment les donnes ont t Grce leur implication dans le processus, ils ont
utilises. plus de chances de considrer le S&E comme un
appui plutt que comme une corve inutile ou
quelque chose quon leur fait et qui na pas de
Comme cela a t suggr plus haut, la direction valeur visible.
dune organisation doit apporter un leadership
convenable afin de prparer le terrain pour une Rsum
bonne collecte des donnes. Pour que les em-
ploys des programmes cooprent, comme cela Lvaluation dimpact est parfois vue, par des
est ncessaire, la collecte des donnes, il faudra chercheurs comme par de nombreux gestionnaires
leur donner des incitations et les ressources et employs des programmes, comme une activit
ncessaires (temps, personnel et financement) trs technique qui ne peut tre ralise que par des
pour permettre la collecte et lenregistrement de experts externes travaillant une certaine distance
donnes de qualit ainsi que des mcanismes du programme, de son personnel et de ses parties
appropris pour le contrle de la qualit. Pour prenantes. Et dans certaines situations, cest
que la collecte des donnes soit pertinente et comme a quelle est aborde.
significative, il faudra que le personnel des pro-
grammes soit impliqu dans lidentification des Mais comme lindique cette note, lvaluation
questions et des problmes dont il pense quils dimpact ne reprsente quune forme dvalua-
sont importants et pertinents pour lui et pour tion. Il narrive que rarement quune valuation
les communauts o il travaille. Lencadr qui dimpact significative puisse tre mene sans se
suit donne quelques ides pour rendre le S&E et baser sur des donnes venant dautres activits
lvaluation dimpact significatifs. Par exemple, continues de S&E. Mais la valeur et lutilisation
les employs dun projet dducation pour tous du S&E pour lvaluation dimpact ne sont pas
en Ouganda ont commenc apprcier limpor- automatiques. Il faut planifier lavance pour
tance des donnes de suivi quon leur demandait identifier les types de donnes dont on aura besoin
de fournir et amliorer leur qualit une fois que pour pouvoir dterminer limpact de politiques,

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 19 |


de programmes et de projets et prvoir la manire OCDE/CAD. (2011). Evaluating Impacts: An
dont on peut se procurer ces donnes. Et, comme Overview. http://www.oecd.org/document/17/0,3
le souligne cette note, quand tout le monde dans 746,en_21571361_34047972_46179985_1_1_1_1,00.
une agence pense en termes dimpact ou de rsul- html
tats, cela peut suffire amliorer lefficacit des
oprations de lagence et aider amliorer la vie OCDE/CAD. (2002). Glossaire des principaux
de populations partout dans le monde. termes relatifs lvaluation et la gestion axe
sur les rsultats. http://www.oecd.org/da-
Rfrences et autres ressources utiles taoecd/29/21/2754804.pdf

Bamberger, M., Rugh, J. et, L. (2012). RealWorld Malhotra, A. (2010). Connecting Routine
Evaluation: Working Under Budget, Time, Data, M&E with Impact Evaluation, International
and Political Constraints (2me d.). Sage Center for Research on Women. Prsentation
Publications. InterAction/3ie Impact Evaluation Design
Clinic, Washington, D.C., avril 2010. http://
Chen, H., Donaldson, S., Mark, M. (ds.) (2011). www.interaction.org/sites/default/files/18/
Advancing Validity in Outcome valuation: Anju_Malhotra_-_Connecting_Routine_M&E_
Theory and Practice. New Directions for with_Impact_Evaluation.pdf
Evaluation. No130. Jossey-Bass et American
Evaluation Association. Paul, S. (2002). Holding the State to Account:
Citizen Monitoring in Action. Bangalore: Public
Funnell, S. et Rogers, P (2011). Purposeful Program Affairs Centre.
Theory: Effective Use of Theories of Change and
Logic Models. Jossey-Bass Publications. Pawson, R. et Tilley, N. (1997). Realistic Evaluation.
Sage Publications.
Jones, H. (2011). A guide to monitoring and
evaluating policy influence. Londres: Overseas Scriven, M. (1991). Evaluation Thesaurus (4me
Development Institute. http://www.odi.org.uk/ d). Sage Publications.
resources/docs/6453.pdf
Woolcock, M. (2011). Guest Post on The
Mayne, J. (2001). Addressing attribution through Importance of Time and Trajectories in
contribution analysis: Using performance mea- Understanding Project Effectiveness.
sures sensibly, Canadian Journal of Program Development Impact. Blogs.worldbank.org.
Evaluation, 16(1), 1-24. http://blogs.worldbank.org/impactevaluations/
guest-post-michael-woolcock-on-the-importance-
Mayne, J. (2011). Contribution Analysis: of-time-and-trajectories-in-understanding-pro-
Advancing Cause and Effect. In Evaluating the ject-effe.
Complex: Attribution, Contribution, and Beyond,
dit par Robert Schwartz, Mita Mara, et Kim
Forss. Londres: Transaction Publishing.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 20 |


Annexe 1 Analyse de la contribution

John Mayne, qui travaillait lpoque pour le limpact. Il a rsum cette approche comme suit.
Bureau du Vrificateur gnral du Canada, a sug- On trouvera des informations plus dtailles sur
gr dutiliser lanalyse de la contribution comme une approche de lanalyse de la contribution dans
une approche grce laquelle on peut faire le meil- Mayne (2001), o ce tableau a t copi mot pour
leur usage des donnes existantes sur les effets et mot, ou dans Mayne (2011).

tape 1 : laborer la laborer le modle de thorie du programme/ la logique du programme/ la chaine des
chaine des rsultats rsultats dcrivant comment le programme est cens fonctionner. Identifier aussi les
principaux facteurs extrieurs en jeu qui peuvent expliquer les effets observs. Cette thorie
de programme devrait mener une association plausible entre les activits du programme et
les effets recherchs. Certains maillons de la chaine des rsultats seront assez bien compris
ou accepts. Dautres seront moins bien compris ou il faudra explications autres que le fait
que le programme tait la cause. De cette manire, vous reconnaissez que lattribution
est bien un problme.

tape 2 : valuer les La chaine des rsultats devrait donner une bonne ide des rsultats attendus (produits,
indices qui existent effets immdiats et finaux) qui ont pu tre mesurs. Quels indices (informations tires des
sur les rsultats mesures de performance et des valuations) sont actuellement disponibles pour montrer
que ces divers rsultats se sont produits ? Les maillons de la chaine des rsultats doivent
aussi tre estims. Lesquels sont solides (existence dindices clairs, logique solide ou
largement accepts) et lesquels sont faibles (peu dindices, logique faible ou peu daccord
parmi les parties prenantes).

tape 3 : valuer Les effets sont, par dfinition, influencs non seulement par laction du programme
des explications mais aussi par des facteurs externes dautres programmes ou des facteurs sociaux et
alternatives conomiques. En plus dune estimation des indices qui existent sur les rsultats, il est
ncessaire de prendre explicitement en copte linfluence que peuvent avoir ces facteurs
externes. Des indices ou une argumentation logique peuvent suggrer que certains nont
quune petite influence et que dautres peuvent avoir une influence plus importante sur les
rsultats prvus.

tape 4 : Prparer Avec ces informations, vous pourrez dmarrer votre histoire de la performance, expliquant
lhistoire de la pourquoi il est raisonnable de penser que les actions du programme ont contribu (dune
performance manire que vous pourrez essayer de caractriser) aux effets observs. quel point cette
histoire est-elle crdible ? Des personnes raisonnables sont-elles daccord avec elle ? Le
schma des rsultats observs valide-t-il la chaine des rsultats ? Quelles sont les principales
faiblesses de lhistoire ? Il y aura toujours des faiblesses. Celles-ci montrent o il serait utile
davoir des donnes ou des informations supplmentaires.
Sil nest pas possible (du moins pour linstant) de se procurer des indices supplmentaires,
cest tout ce que vous pouvez dire sur le degr o le programme a fait une diffrence.

tape 5 : Chercher Pour amliorer votre histoire de la performance, vous aurez besoin dindices
des indices supplmentaires. Il pourra sagir dinformations la fois sur la mesure dans laquelle
supplmentaires des rsultats spcifiques apparaissent dans les chaines de rsultats et sur la force de
certains maillons de la chaine. Ce document prsente un certain nombre de techniques de
renforcement que vous pourriez adopter.

tape 6 : Rviser et Avec les nouveaux indices, vous devriez pouvoir construire une histoire plus crdible, une
renforcer lhistoire de histoire quune personne raisonnable aura plus de chance daccepter. Elle ne sera sans doute
la performance pas infaillible, mais elle sera plus solide et plus crdible.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 21 |