Notes sur lvaluation dimpact

No 2, avril 2012

FAIRE LE LIEN ENTRE LE SUIVI-VALUATION

ET LVALUATION DIMPACT

de Burt Perrin

Ceci est la seconde dune srie de quatre notes sur lvaluation dimpact, labores par InterAction
avec lappui financier de la Fondation Rockefeller. Les autres notes de cette srie sont : Introduction
lvaluation dimpact ; Introduction aux mthodes mixtes dans lvaluation dimpact et Utilisation des
rsultats dvaluations dimpact. On peut trouver la srie complte sur le site Internet dInterAction :
www.interaction.org/impact-evaluation-notes.
Photo: Manuel Meszarovits
 Table des matires

Introduction 1

1. Comment le suivi et dautres formes dvaluation peuvent-ils appuyer lvaluation dimpact? 2

1.1. Principales caractristiques du suivi, de lvaluation et de lvaluation dimpact 2

1.2. Comment le S&E peut contribuer lvaluation dimpact 7

2. Comment intgrer lvaluation dans la rflexion et les pratiques de S&E 8

2.1. Formuler la thorie du changement 8

2.2. Identifier les priorits pour entreprendre une valuation dimpact 11
2.3. Identifier les besoins dinformations/ de donnes 11
2.4. Commencer avec ce que lon a 14
2.5. Concevoir et mettre en uvre lvaluation dimpact, analyser et interprter les rsultats 15
2.6. Utiliser les rsultats 17
2.7. Revoir, rflchir et mettre jour 17

3. Impliquer toutes les parties de lorganisation 17

3.1. S&E: Une fonction centrale de gestion qui a besoin du leadership et de lappui de la direction 18
3.2. Le personnel des programmes doit avoir un rle actif 18

Rsum 19

Rfrences et autres ressources utiles 20

Annexe 1 Analyse de la contribution 21

| Faire le lien entre le suivi-valuation et lvaluation dimpact |

Introduction
Lobjectif des organisations non gouvernementales (ONG) et autres
acteurs du dveloppement est daider les populations amliorer
leur vie, leur communaut, leur socit et leur environnement. Les
ONG veulent gnralement contribuer un changement social, par
exemple, lamlioration de la justice ou de la scurit conomique et
sociale, tout en reconnaissant que ce sont des effets long terme qui
dpassent la ralisation de rsultats court terme.
Comme lindique la premire Note dorientation,
cest de cela quil sagit dans limpact et dans
lvaluation dimpact: identifier de manire sys-
tmatique et empirique les effets rsultant dune
intervention, quils soient prvus ou imprvus,
directs ou indirects. Il est gnralement admis que
les impacts se manifestent plus tard que les effets
directs, et sont des rsultats de ceux-ci. De plus en
plus, on se rend compte que les bonnes intentions
ne suffisent pas. Dans lvaluation dimpact, on ne
se contente pas de voir ce que les agences font,
mais aussi ce qui se passe du fait de ces activits et
dans quelle mesure ces interventions font relle-
ment une diffrence dans la vie des personnes et
dans leurs conditions de vie.
La plupart des ONG font diverses activits de sui-
vi-valuation (S&E). Limportance de ces activits
peut tre trs variable. Trs souvent, ce que lon
appelle S&E est compos principalement de suivi
et des comptes rendus, mme si certaines orga-
nisations simpliquent de plus en plus dans toute
une gamme dactivits dvaluation, examinant
divers aspects de leur performance. Par contre,
beaucoup moins sintressent lvaluation
dimpact.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 1 |
Cette note dorientation illustrera la relation entre
le S&E de routine et lvaluation dimpact. Elle va
en particulier indiquer comment les activits de
suivi et les activits dvaluation peuvent participer
une valuation dimpact valide et significative et
mme la rendre possible. Les valuations dimpact
sont gnralement externes et faites, entirement
ou en partie, par un expert indpendant extrieur
1
lagence. Cependant, le S&E a un rle crucial
jouer, comme:
Identifier quand, et dans quelles circonstances
il serait possible et appropri dentreprendre
une valuation dimpact.
Fournir des donnes essentielles pour faire
une valuation dimpact, comme diffrents
types de donnes de base et des informations
sur la nature de lintervention.
Fournir les informations ncessaires pour
interprter et appliquer les rsultats de lva-
luation dimpact. Il sagit dinformations sur
1 Par exemple, cf. valuation Policy de lUSAID (janvier 2011). Les
valuations dimpact peuvent cependant tre faites linterne ou
avec une combinaison des deux, et cela se fait parfois. La Note
dorientation 1 en dit plus sur qui devrait faire une valuation
dimpact.
 le contexte et de donnes telles que la qualit
de la mise en uvre, qui sont ncessaires
pour comprendre pourquoi des changements
particuliers se sont passs ou pas et ce que
nous pouvons faire pour rendre nos efforts
plus efficaces lavenir.
La Section 1 de cette note dorientation prsente
quelques-unes des caractristiques de lvaluation
dimpact et montre en quoi elle est diffrente du
suivi et dautres formes dvaluation et plus prci-
sment, comment ces approches diffrentes mais
complmentaires peuvent tre mises en lien pour
aider faire une valuation dimpact significative.
La Section 2 donne des directives et des ides sur
les diverses tapes et les approches qui peuvent
tre utilises pour maximiser la contribution dun
S&E de routine lvaluation dimpact.
Lun des principaux publics de cette note dorienta-
tion est le personnel de S&E des ONG, pour laider
identifier les tapes quil peut suivre pour mieux
lier les activits de S&E lvaluation dimpact.
Cette note peut aussi tre intressante pour le
personnel dautres types dorganisations, comme
des fondations.
De plus, cette note sera aussi intressante pour
la direction des ONG ainsi que pour le personnel
des programmes. Pourquoi? Dabord, comme
cela est not dans la Section 3, faire une valua-
tion dimpact ne sert pas grand-chose si toute
lorganisation ne pense pas en termes dimpact et
damlioration continue, en se demandant com-
ment amliorer ce que lon fait. Lorganisation doit
tre prte agir sur les implications de lvaluation
dimpact et dautres formes dvaluation.
Ensuite, le S&E nest pas quelque chose qui doit
tre laiss aux seuls spcialistes de lvaluation.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 2 |
Le personnel des programme peut et doit jouer
un rle trs actif dans la collecte des donnes et
lenregistrement de ses observations et de son
exprience, ce qui peut participer garantir que les
valuations dimpact sintresseront aux questions
quil faut et reflteront correctement ce que font
les programmes.
1. Comment le suivi et dautres formes dvaluation
peuvent-ils appuyer lvaluation dimpact?
Le suivi et lvaluation peuvent apporter des
contributions essentielles lvaluation dimpact.
2
En effet, une valuation dimpact significative
nest pas possible si les activits habituelles de
S&E de lorganisation ne lui donnent pas un bon
appui. Cette note a un contenu trop pointu pour
pouvoir parler de la nature et de la diversit du
suivi-valuation, mais il est important de recon-
natre certaines des diffrentes significatives entre
le suivi et lvaluation qui contribuent de
manire diffrente lvaluation dimpact. Il est
donc utile dtudier quelques caractristiques de
base, comme les diffrences et les possibilits
de complmentarit avant de dterminer plus
prcisment comme le S&E peut contribuer
lvaluation dimpact.
1.1. Principales caractristiques du suivi, de
lvaluation et de lvaluation dimpact
Le tableau qui suit rsume certaines des carac-
tristiques les plus courantes et gnralement
acceptes du suivi, de lvaluation et de lvalua-
tion dimpact. Ce tableau devrait tre regard avec
prudence. Comme le suggrent certains des mots
(par ex. habituel , peut, gnralement)
2 Une valuation dimpact qui est significative reprsenterait
de faon approprie lintervention en question et son contexte,
elle est valide dans tous les domaines (par ex. elle permet la fois
une validit interne et une validit externe) et, par dessus tout, elle
fournit des informations utiles qui pourront servir de bases des
directions futures.
 Suivi, valuation et valuation dimpact : quelques caractristiques de base

Suivi valuation valuation dimpact

Priodique, utilise des donnes Gnralement pisodique, Une forme dvaluation

collectes systmatiquement
ou faciles trouver, gnrale-
ment linterne, sintresse
habituellement aux activits
et aux produits, mme si des
indicateurs deffet/impact sont
aussi parfois utiliss.
Part du principe que le pro-
gramme, les activits, les
objectifs et les indicateurs sont
appropris.
Suit gnralement les progrs
par rapport un petit nombre
de cibles ou dindicateurs
prtablis.
Gnralement quantitatif.
Ne peut pas indiquer de
causalit.
Peut difficilement permettre
lui seul dvaluer limpact.
souvent externe.
Va plus loin que les produits
pour valuer les effets.
Peut mettre en doute la jus-
tification et la pertinence du
programme, des objectifs et
des activits.
Peut identifier la fois les
effets imprvus et les effets
planifis.
Peut rpondre aux questions
comment et pourquoi .
Peut conseiller des directions
pour lavenir.
Peut utiliser des donnes ve-
nant de sources diffrentes et
obtenues avec des mthodes
trs diverses.
particulire.
Sporadique, peu frquente.
Le plus souvent externe.
Cest gnralement une tude
spare.
Sintresse spcifiquement
lattribution (causalit) dune
manire ou dune autre, le
plus souvent avec un scnario
contrefactuel.
Sintresse gnralement aux
changements long terme,
comme la qualit de vie des
bnficiaires prvus.
Doit prendre en compte ce
qui a vraiment t fait (par ex.
grce au S&E) et aussi identi-
fier les impacts.

ainsi que le texte en dessous, il y a souvent des
variations dans la manire dont ces concepts sont
vus et appliqus.
Le suivi implique gnralement de surveiller les
progrs par rapport des plans ou objectifs iden-
tifis auparavant, en utilisant de manire continue
des donnes facilement saisies et mesures. Le
suivi utilise le plus souvent des donnes quan-
titatives, mais le suivi de donnes qualitatives
est aussi possible et certaines agences le font
rgulirement.
Le suivi est fait pour des raisons diverses et
varies, qui nont gnralement pas grand-chose
voir avec lvaluation dimpact. Certaines des
raisons les plus frquentes du suivi sont:
Une utilisation interne par les gestionnaires
et le personnel des projets pour mieux
comprendre et surveiller la manire dont les
choses se passent, en particulier pour dtermi-
ner si un projet est sur la bonne voie ou non.
Il sagit de suivre les donnes sur les services
qui sont rellement fournis, la qualit des
services fournis et des questions de ce genre.
Le suivi des donnes peut aussi souvent servir
de systme dalerte prcoce et, dans le cas de
constatations ngatives ou inattendues, peut
suggrer quil est ncessaire de changer dap-
proche alors que le projet ou le programme
est toujours en cours.
Utilisation interne lorganisation au niveau
rgional, national et/ou international, au
sige, pour que lagence puisse suivre ltat
dun projet ou dune activit par rapport aux

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 3 |

 plans et aux attentes; pour la planification
et la gestion; pour rpondre aux besoins de
comptes-rendus au conseil dadministration
de lagence, aux financeurs et au public.
Rpondre des exigences externes de respect
des rgles et de contrle, par exemple les
rapports et comptes-rendus demands par les
bailleurs de fonds.
Le suivi peut aussi prendre dautres formes. Plutt
que de se concentrer particulirement sur ce que
fait lorganisation, par exemple, le suivi pourrait
comprendre des notes donns par les citoyens aux
3
services publics, dans de nombreuses organisa-
tions, des services de plaidoyer faisant un suivi des
pratiques corrompues, des approches environne-
mentales, du travail des enfants dans les entre-
prises locales, etc.
Quelques dfinitions du suivi:
Processus continu de collecte systmatique
dinformations, selon des indicateurs choisis,
pour fournir aux gestionnaires et aux parties
prenantes dune action de dveloppement en
cours, des lments sur les progrs raliss,
les objectifs atteints et lutilisation des fonds
allous. (OCDE/Comit dassistance au dve-
loppement [CAD] Glossaire.
La surveillance des produits et des effets du
projet en tant quindicateurs de lefficacit du
projet ou la mesure dans laquelle le projet
ralise ses objectifs dclars. (USAID).
Il sagit l de raisons lgitimes et importantes pour
faire un suivi, mais aucune dentre elles ne vise
contribuer lvaluation dimpact. Par consquent,
les types de donnes collectes et la manire
dont on les garde et dont en en rend compte les
3 Lecture supplmentaire : Samuel Paul. Holding the State to
Account : Citizen Monitoring in Action. Bangalore : Public Affairs
Centre, 2002.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 4 |
rendent difficiles utiliser pour une valuation.
Comme le suggre lencadr droite, on doit faire
des plans lavance pour que les donnes du suivi
soient utiles pour lvaluation dimpact. Dans des
circonstances idales, les personnes faisant une
valuation dimpact peuvent aider concevoir et
structurer le systme de suivi dune intervention.
En mme temps, il est important de reconnatre
les limites du suivi. Le suivi sintresse gnrale-
ment au progrs par rapport des objectifs et des
indicateurs prdfinis et suppose que ceux-ci sont
appropris. Mais le suivi ne suffit pas lui seul
pour tirer des conclusions dattribution ni pour
identifier les raisons pour lesquelles des change-
ments se sont produits ou pas (par exemple, dans
quelle mesure ces changements sont un rsultat
de lintervention ou dus dautres causes). Il ne
peut gnralement pas identifier les effets impr-
vus, les besoins non satisfaits dans les services,
etc. Pour cela, on a gnralement besoin de
lvaluation.
Un scnario bien trop courant: Une valua-
tion dimpact prvue pour la fin dun projet
dcouvre que les informations de rfrence
et autres donnes intressantes nont pas t
collectes ou nont pas t dsagrges de
manire pouvoir montrer les changements
qui se sont produits ou mme fournir des
informations ncessaires sur les activits du
programme, qui a t servi et dautres infor-
mations essentielles. Il est donc impossible
de dterminer quel a t limpact ou de lattri-
buer en aucune manire au programme.
Lvaluation suppose une investigation systma-
tique, base sur des indices, qui peut dcrire et
estimer nimporte quel aspect dune politique, dun
programme ou dun projet. Lvaluation utilise une
grande varit de mthodes, quantitatives aussi
bien que qualitatives, fournissant des informations
plus compltes sur ce qui se passe, pourquoi, et si
cest appropri ou non et aussi pour informer les
futures directions.
Lvaluation peut tre mene dans diffrents
objectifs et prendre des formes varies. Certains
des types dutilisation suivants (la liste nest pas
exhaustive, il y a aussi de nombreuses autres ap-
proches dvaluation) peuvent contribuer lva-
luation dimpact dans certaines circonstances.
4 vivant seuls seraient les plus vulnrables mais
Lvaluation des besoins consiste en une
estimation ou une valuation des besoins ou
de la situation problmatique, souvent avant
llaboration initiale du projet. Ce type dva-
luation identifie frquemment des manires de
rpondre ces besoins.
Les valuations du processus (ou de la mise
en uvre) dcrivent la nature de lintervention
telle quelle est rellement mise en uvre en
pratique. Dans une certaine mesure, le suivi
pourra peut-tre fournir des donnes sur les
activits du projet qui seront utiles pour lva-
luation dimpact. Cependant, les interventions
sont rarement mises en uvre exactement
comme il tait prvu lorigine et changent
frquemment avec le temps, souvent pour
des raisons valables. Il peut tre tonnam-
ment difficile de dterminer ce qui se passe
vraiment, qui est servi, de quelles manires
ou dans quelle mesure, et ce quil se passe
dautre. Lvaluation de processus peut rentrer
plus dans les dtails que ce nest possible
avec le suivi, en utilisant souvent explicitement
4 Le Glossaire des principaux termes relatifs lvaluation
et la gestion axe sur les rsultats http://www.oecd.org/da-
taoecd/29/21/2754804.pdf du Comit dassistance au dvelop-
pement de lOCDE est une mine de renseignements pour la
dfinition des termes cls utiliss dans le dveloppement pour
lvaluation, comme ceux qui sont utiliss dans la prsente note.
Cf. aussi: Michael Scriven. Evaluation Thesaurus. 4me dition.
Sage Publications, 1991. La politique dvaluation de lUSAID
groupe toutes les formes dvaluation autres que lvaluation
dimpact dans la catgorie valuation de la performance.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 5 |
comme point de dpart des questions venant
du suivi.
Les programmes doivent frquemment chan-
ger, parfois de faon importante, en rponse
aux informations venant des valuations des
besoins et dautres formes de feedback du
suivi-valuation. Par exemple, un programme
ciblant des orphelins et enfants vulnrables a
commenc avec lhypothse que les enfants
sest rapidement rendu compte quil y avait
des mnages dont le chef tait un adulte et
o les enfants taient encore plus vulnrables.
Si on ne comprend pas ce quest rellement le
programme, mme lvaluation dimpact
la plus sophistique et la plus rigoureuse
dans ses statistiques naura que peu de
signification. Les valuations qui reprsentent
clairement le programme, avec les raisons qui
expliquent les divergences par rapport ce
qui tait prvu lorigine, peuvent donner des
informations inestimables pour comprendre
comment les interventions du programme
pourraient avoir eu un impact (ou peut-tre
pour indiquer des difficults dans la mise en
uvre dun programme ou certaines de ses
hypothses de base qui ont pu lempcher
davoir un impact). Par exemple, si limpact
dun programme a t limit, les donnes
de lvaluation de processus peuvent aider
tablir si cela tait d un problme de thorie
de la manire dont le programme tait cens
fonctionn ou des limites dans la manire
dont il a t mis en uvre.

Quelques dfinitions de lvaluation:
Apprciation systmatique et objective dun
projet, dun programme ou dune politique,
en cours ou termin, de sa conception, de sa
mise en uvre et de ses rsultats. (Glossaire
OCDE/CAD)
La collecte et lanalyse systmatiques dinfor-
mations sur les caractristiques et les effets
de programmes et de projets pour servir de
base pour des jugements, pour amliorer
lefficacit et/ou clairer des dcisions sur des
programmes actuels et futurs. (USAID)
Lvaluation formative, mene mi-chemin
de la mise en uvre, doit amliorer la perfor-
mance durant les tapes suivantes du pro-
gramme ou du projet. Elle peut participer
identifier les effets immdiats, quel moment
il semble probable (ou non) que lintervention
aura un impact et ce quil faudra peut-tre
faire dautre pour en amliorer lefficacit. Cela
peut donc rendre plus significative lvaluation
5
dimpact ou lvaluation rcapitulative faite
plus tard.
Lvaluation organisationnelle sintresse
lefficacit de lensemble dune organisation,
ou peut-tre dune unit de lorganisation. Des
facteurs organisationnels (par ex. la gouver-
nance, la gestion, les ressources humaines, les
finances, les relations intra et inter organisa-
tionnelles, etc.) sont souvent plus importantes
pour la russite dune intervention que sa
conception ces facteurs sont des informa-
tions essentielles qui doivent tre prises en
compte durant la conception et la mise en
uvre de lvaluation dimpact.
5 Lvaluation rcapitulative, souvent assimile lvaluation
dimpact, consiste valuer dans quelle mesure les effets anticips
ont t produits la fin de lintervention prvue et de porter un
jugement sur la valeur de celle-ci.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 6 |
De plus, le Comit dassistance au dveloppement
(CAD) de lOCDE, lun des organismes les plus
influents pour lvaluation du dveloppement,
a identifi cinq critres (ou questions) de base
pour lvaluation: pertinence, efficacit, efficience,
6
impact et durabilit. Notez que lvaluation de
limpact ne reprsente que lun de ces critres.
Il est rarement possible de faire une valuation
dimpact se concentrant sur lattribution sans avoir
fait aussi dautres formes dvaluation pour mieux
comprendre ce qui sest pass. Il ne sert pas
grand chose de documenter quune intervention
a un impact sil nest plus pertinent ou sil peut y
avoir des manires plus efficaces ou moins on-
reuses de rpondre au besoin de base ou si linter-
vention et/ou ses rsultats ont peu de chances de
7
continuer ou dtre durables. La Note dorienta-
tion 1 prsente les circonstances dans lesquelles
lvaluation dimpact pourrait tre utile.
Lvaluation dimpact a gnralement les mmes
caractristiques de base que dautres formes dva-
luation et devrait tre lune des approches dva-
luation dune ONG. Cependant, comme le suggre
le tableau de la page 3, il y a habituellement des
diffrences importantes, et cest pourquoi il est
ncessaire dutiliser dautres formes de S&E pour
quune valuation dimpact soit significative.
La Note dorientation 1 observe que limpact et
lvaluation dimpact ont parfois des dfinitions
diffrentes. Cependant, un aspect important
6 Les Critres du CAD pour lvaluation de laide au dveloppement
sont lune des nombreuses sources contenant plus dinformations
sur ces critres. On peut les trouver, avec de nombreuses autres
ressources du CAD pour lvaluation sur http://www.oecd.org/do
cument/35/0,3746,en_21571361_34047972_31779555_1_1_1_1,00.
html.
7 Souvent, les interventions soumises des valuations dimpact
ou dautres recherches intensives, ont des ressources tellement
plus leves quun travail normal que ce nest pas durable ou
quelles ne peuvent pas facilement tre portes une plus grande
chelle ou appliques dans dautres contextes.
de lvaluation dimpact est lattribution, le fait
de monter un lien de cause effet entre une
intervention et des impacts qui peuvent tre
documents. Il ne suffit pas cependant de savoir
que des impacts se sont produits cause dune
intervention. Pour pouvoir appliquer les rsultats
dune valuation dimpact dautres situations
et/ou dautres groupes de bnficiaires, on doit
savoir pourquoi et comment les rsultats donns
se sont produits et les caractristiques de ceux
qui en ont bnfici (ou pas).
Cest l quun S&E srieux peut tre utile, condi-
tion que lon dtermine lavance, aussi prcis-
ment que possible, les types dinformations dont
on aura besoin et comment les diverses formes de
S&E peuvent les procurer.
1.2. Comment le S&E peut contribuer lvaluation
dimpact
Comme lindique la prsentation ci-dessus, il y a
de nombreux types de donnes que le S&E peut, et
mme doit apporter pour permettre une valuation
dimpact. Le S&E peut apporter quatre catgories
dinformations lvaluation dimpact.
1. Des informations sur la nature de linterven-
tion qui sont essentielles pour que lvaluation
dimpact tablisse un lien causal entre ce qui a
t fait et dventuels effets documents. On a
besoin dinformations de bases venant du S&E
systmatique sur: la nature relle des services
fournis; les donnes de dpart ainsi que les
changements dans le temps, par rapport qui
est servi (ou qui on sadresse, comme dans les
initiatives de plaidoyer); le nombre et les caract-
ristiques des bnficiaires servis, avec les sous-
groupes concerns; les produits du programme
et comment lintervention a progress. Ce sera
peut-tre diffrent de ce qui tait prvu lorigine.
Comme on la dj not, lintervention prvue
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 7 |
peut tre trs diffrente de ce qui a rellement t
mis en uvre, soit en raction au feedback du
S&E soit cause de changements de situation. La
population cible peut aussi changer sur la dure
du programme, au fur et mesure que les organi-
sations savent mieux qui devrait tre ligible pour
un programme ou russissent mieux atteindre
ces populations. Si lon ne prend pas cela en
compte, les rsultats de lvaluation dimpact
nauront aucun sens.
Une grande partie de ces donnes est de nature
quantitative et peut venir du suivi, avec des des-
criptions qualitatives de la nature du programme
ou du projet. Lvaluation de processus, en
particulier, peut souvent fournir des informations
plus approfondies montrant dans quelle mesure
les services (ou mes messages, dans le cas dun
programme de plaidoyer) atteignent rellement les
publics prvus, comment ils sont vus et com-
ment ils varient selon les diffrents groupes de
personnes.
2. Informations sur le contexte de lintervention.
Quelles autres interventions et quels autres fac-
teurs peuvent avoir une influence sur le fait quune
intervention fonctionne ou pas? Est-ce que dif-
frents groupes de personnes peuvent tre affects
de faon diffrente? (par ex. laide fournie aprs
une catastrophe qui est distribue de faon dispro-
portionne ceux qui peuvent plus facilement y
avoir accs; les services et autres formes dassis-
tance pour lesquels les gens doivent aller sur un
site, ce qui fait que ceux qui ont des problmes de
mobilit ne sont pas servis.) Ce genre de choses
doit tre pris en compte dans la conception des
valuations dimpact.
De la mme faon, quels facteurs peuvent tre
spciaux dans le contexte de cette intervention?
Par exemple, la bonne distribution de laide
alimentaire et les vies qui sont sauves grce
elle dpendent souvent de choses qui sont tout
fait en dehors du contrle du programme,
comme la logistique, le temps quil fait, lappui
(ou linterfrence) du gouvernement ou dorga-
nisation terroristes, etc. Ce type dinformations
est essentiel pour bien interprter les donnes
de lvaluation dimpact et pour identifier les im-
plications des rsultats pour dautres contextes
ou situations. Les donnes de ce type sont
gnralement (mais pas forcment) qualitatives.
Elles viennent parfois du suivi, mais souvent
il faut que lvaluation permette une explora-
tion plus approfondie. La Note dorientation 3
donne plus dinformations sur les mthodes qui
peuvent tre utilises pour collecter ces donnes
et dautres formes de donnes.
3. Ce que nous savons dj (ou au moins
ce que nous suspectons) sur limpact.
Quelquefois, le suivi et/ou lvaluation donnent
dj des indices, ou au moins de forts soup-
ons, que des changements se produisent.
Dans ces cas, une valuation dimpact pourrait
documenter et confirmer ce qui se passe relle-
ment et dans quelle mesure ces changements
sont le rsultat des activits du programme.
Par contre, le S&E pourrait soulever des ques-
tions sur la viabilit dune valuation dimpact,
au moins actuellement, en indiquant quil est
peut-tre prmatur de chercher un impact. Une
fois quune valuation dimpact est en route, les
donnes du suivi et autres formes dvaluation
devront bien sr tre prises en compte avec
toutes les autres donnes collectes.
4. Quels autres indices pourraient influer sur
la dcision de faire une valuation dimpact.
Comme cela a t montr ci-dessus, les informa-
tions que donne lvaluation sur la pertinence,
lefficience et la durabilit dune intervention
devraient tre prises en compte avant de fixer
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 8 |
des priorits pour les valuations dimpact.
2. Comment intgrer lvaluation dans la rflexion
et les pratiques de S&E
Comme cela a t montr plus haut, le S&E est
vital pour lvaluation dimpact, mais ses contri-
butions ne sont pas automatiques. Cette section
donne des directives et des ides sur la manire
de planifier et de mener le S&E pour quil puisse
appuyer une valuation dimpact significative.
Elles sont organises autour des tapes prsen-
tes dans le diagramme ci-dessous et discutes
dans le texte qui le suit.
2.1. Formuler la thorie du changement
Comme lindique la Note dorientation 1, une
thorie du changement est un modle qui
explique comment une intervention est cen-
se conduire aux impacts prvus ou observs.
Souvent appele thorie du programme, chaine
des rsultats, modle logique du programme ou
logique dattribution, la thorie du changement
illustre la srie dhypothses et de liens qui
montrent les relations prsumes entre:
Les intrants (par ex. le financement, le person-
nel, les volontaires, un appui tangible ou en
nature venant dautres personnes, etc.);
Les activits et leurs produits immdiats (ce
qui est fait, comme les sessions de formations
qui sont menes);
Les effets intermdiaires diffrents niveaux
(par ex. les enseignants forms, les ensei-
gnants appliquant dans leur classe ce quils
ont appris); et
Limpact prvu (comme la rduction du travail
des enfants, des familles et des communauts
devenues auto-suffisantes financirement,
lamlioration de ltat de sant, moins de
morts dans les situations durgence, etc.).
La Note dorientation 1 a identifi les lments cls
dune thorie du changement et les diffrentes
manires dont elle peut amliorer lvaluation
dimpact. Celui-ci a, lui, pour le S&E des implica-
tions trs directes qui peuvent tre rsumes par
les principales catgories ci-dessous.
1. Identifier la phase dans la trajectoire dune
intervention o il serait appropri dentreprendre
diverses formes dvaluation y compris lvalua-
tion dimpact en identifiant les diverses tapes
intermdiaires et autres facteurs qui peuvent aussi
influer sur limpact (par exemple lintervention
dautres allis, des variables contextuelles, etc.). Le
S&E pourra peut-tre rendre compte des progrs
pour ce qui est des activits, produits et effets
initiaux, ce qui indiquera quand il serait possible
denvisager une valuation dimpact. Ceci pourrait
viter la situation bien trop courante o lon essaie
prmaturment de mesurer limpact, parfois
mme avant que le programme nait eu la possibi-
lit de bien stablir.

1. Formuler la thorie
du changement

7. Revoir, rflchir et 2. Identifier les priorits

pour entreprendre une
mettre jour
valuation dimpact

6. Utiliser les rsultats 3. Identifier les besoins

(par exemple pour am- dinformations / de
liorer les politiques/ les
programmes) donnes

5. Concevoir et mettre 4. Commencer avec

en uvre lvaluation
dimpact, analyser et ce que lon a
interprter les rsultats

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 9 |


Une thorie du changement pour le travail de
plaidoyer, similaire celles qui sont labores
pour les projets de services, devrait dterminer la
succession des tapes intermdiaires (par ex. une
prise de conscience, dautres partenaires acceptent
de mener des actions complmentaires, la com-
munaut est mobilise, un dialogue avec les
fonctionnaires gouvernementaux est mis en route)
et dautres facteurs qui pourraient aussi intervenir
(par ex. les activits dautres personnes) grce aux-
quels on devrait arriver des changements dans
les politiques et pratiques du gouvernement ou
peut-tre dans les pratiques communautaires.
Michael Woodcock de la Banque Mondiale a
insist sur le fait quil est important de dterminer
le calendrier et les trajectoires dimpact auxquels
on peut raisonnablement sattendre. Il est crucial
de reconnatre que des projets diffrents peuvent
suivre des trajectoires trs diffrentes. Comme
il le fait remarquer, Certains projets peuvent,
de par leur nature, produire des impacts initiaux
importants tandis que dautres peuvent prendre
naturellement beaucoup plus longtemps, parfois
mme des dcennies, pour montrer des rsul-
tats, non pas parce quils ne fonctionnent pas
aprs trois ans, mais simplement parce que cest
le temps que a prend (Woodcock, 2011). Il est
aussi important de ne pas oublier que le personnel
dune organisation peut tre trop optimiste par
rapport au temps quil faut pour mettre en place
un nouveau programme ou pour quil obtienne
des rsultats. Essayer dvaluer les rsultats pr-
maturment, cest programmer lchec.
2. Dcrire la manire dont lintervention est
cense fonctionner en utilisant une thorie du
changement. Souvent appele le chemin vers les
rsultats (ou limpact), elle peut aider suggrer
les types de donnes de S&E ncessaires pour
documenter la nature de lintervention et comment
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 10 |
elle a volu dans la pratique. La thorie du chan-
gement peut indiquer quels sont les aspects de la
mise en uvre dont on doit vrifier la qualit pour
permettre de distinguer un chec de mise en uvre
dun chec de thorie. Elle donne aussi une base
pour voir quel endroit sur le chemin vers limpact
(ou la chaine causale) une intervention peut cesser
de fonctionner. Ce type dinformation est essentiel
pour dterminer un lien de causalit entre linter-
vention et dventuels effets ou impacts documen-
ts. Il est aussi essentiel pour expliquer et interpr-
ter la signification et les implications des rsultats
de lvaluation dimpact.
3. Parvenir une comprhension commune
de lintervention en impliquant le personnel et
dautres parties prenantes cls dans llaboration
de la thorie du changement. Si une thorie du
changement nest labore que par un spcialiste
du S&E en se basant surtout sur des documents,
il risque de ne pas y avoir dappropriation du
modle. Celui-ci peut aussi ne pas reflter ce qui
se passe rellement. Il est conseill, partout o
cest possible, dimpliquer le personnel des pro-
grammes, les employs sur le terrain et dautres
parties prenantes cls dans llaboration de la
thorie du changement. Le spcialiste de S&E
a un rle crucial dans ce processus, en tant que
facilitateur actif et pour tablir le modle propre-
ment dit. Parfois, il peut y avoir des points de vue
diffrents sur la manire dont on peut prvoir que
le programme fonctionnera, ce qui rsultera en
des thories du changement alternatives. Cela peut
suggrer des questions qui devront tre explores
par le S&E, peut-tre avant de mettre en route
lvaluation dimpact elle-mme.
De plus, si lon adopte une approche participative,
llaboration de la thorie du changement peut
aider tous les participants penser en termes def-
fets. Cela peut permettre une appropriation et une
comprhension commune du but du programme
et de ce qui est ncessaire pour quil soit efficace.
2.2. Identifier les priorits pour entreprendre une
valuation dimpact
De nombreux facteurs aident tablir des priori-
ts pour entreprendre des valuations dimpact,
comme les intrts des parties prenantes cls ou
des bailleurs de fonds, le financement disponible
ou les possibilits de collaborer avec dautres.
Mais une considration cl est de savoir quand
lvaluation dimpact aurait plus de chance
dapporter des informations utiles qui ne peuvent
pas tre obtenues par des moyens plus simples
et moins coteux et qui peuvent servir guider
les futures stratgies ou les futures approches de
programmes.
Le S&E joue un rle important dans ce processus.
La thorie du changement peut indiquer quelles
questions il est bon daborder quel moment
dans un programme. Les donnes de suivi-va-
luation peuvent permettre dindiquer jusquo les
interventions ont progress, quelle phase elles
sont prtes pour une valuation dimpact et
quand il y a suffisamment de documentation de
S&E pour que ce soit possible. Commencez par
identifier les besoins dinformation, puis voyez
quelle quantit dinformations est dj disponible
grce au S&E rgulier avant de dcider dentre-
prendre une valuation dimpact. cette tape,
on peut prparer une histoire de la performance
pour voir ce quon connat dj, dterminer quels
sont les manques dinformations et les questions
auxquelles on ne peut pas rpondre et dterminer
quel moment une valuation dimpact serait plus
valable. Cela peut tre pour fournir des indices
solides pour confirmer ce qui est suspect ou,
dans des situations o il y a de relles questions
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 11 |
sur la valeur de lintervention auxquelles on ne
peut pas rpondre par dautres moyens.
2.3. Identifier les besoins dinformations/ de donnes
Quels types de donnes de S&E seront ncessaires
pour aider lvaluation dimpact? La rponse
simple est: a dpend. Il ny a pas de prescrip-
tion universelle. Ce serait aller droit des donnes
manquant de pertinence. Cest pourquoi cette note
dorientation a soulign limportance de formuler
la thorie du changement, de prfrence en impli-
quant le personnel des programmes et dautres
parties prenantes dans le processus et en utilisant
des techniques telles quune attitude raliste par
rapport lvaluation et une approche danalyse
de la contribution telles quelle est dcrite ci-des-
sous. Ces techniques permettront didentifier les
questions pour lvaluation qui pourront aider
dterminer quel sont les types de donnes nces-
saires et les techniques et mthodes de S&E pour
obtenir ces donnes.
La Note dorientation 1 donne une liste dexemples
de questions cls pour lvaluation dimpact. La
Section 1 de cette note identifiait diverses manires
dont les donnes de S&E peuvent contribuer
lvaluation dimpact. Mais il ny a pas de formule
magique. Il faut identifier, trs spcifiquement,
quels types de donnes seront rellement nces-
saires pour lvaluation dimpact et dans quelle
mesure les procdures de suivi et les pratiques
dvaluation qui existent devront peut-tre tre
modifies pour fournir ces informations (ou pour
indiquer que ce nest pas possible). Le tableau ci-
dessous peut servir de liste de vrification rcapi-
tulant les types dinformations ncessaires que les
approches de S&E devraient pouvoir fournir dans
la plupart des situations.
Donnes de rfrence
Identifiez ltat initial dans les dimensions intressantes pour limpact prvu du programme (la thorie du changement devrait pouvoir
aider identifier ces dimensions)
Dans les situations o lon na pas tabli de donnes de rfrence, y a-t-il des moyens de les recrer rtrospectivement? *

Nature du programme/ de lintervention telle quils sont rellement mis en uvre

Identifiez les changements par rapport la manire dont lintervention devait lorigine tre faite et, autant que possible, les raisons de
ces modifications.
Identifiez les diverses modifications et les changements en cours de route (et sil ny en a pas eu, le concept initial tait-il rellement
parfait tous points de vue ou le programme na-t-il pas russi ragir aux changements de situations?).
Identifiez dautres informations descriptives sur le processus de mise en uvre, comme lchelonnement des diverses activits ou des
variations selon les sites ou les types de bnficiaires.

Qui le programme a-t-il servi?

Dsagrger autant que possible les caractristiques des bnficiaires, et surtout selon les caractristiques identifies pendant
llaboration de la thorie du changement et de lhistoire de la performance.
Il y a souvent des diffrences suivre (par ex. le genre, lge, les diffrents groupes tribaux, culturels ou socioconomiques) qui
peuvent tre vidents mais il y en a souvent dautres qui peuvent tre trs pertinents pour une situation donne (par ex. les enfants
ayant des parents en vie ou non, vivant avec de la famille ou seuls).
Que sest-il produit dautre qui pourrait affecter limpact du projet, dans un sens positif ou non, par ex.:
Comment le programme a-t-il travaill conjointement avec dautres agences ou dautre programmes, y compris les partenaires
identifis?
Y a-t-il eu dautres facteurs, comme lintervention dautres acteurs, des politiques gouvernementales, des initiatives du secteur priv
(comme la cration de possibilits demploi ou peut-tre la fermeture dun important employeur de la zone), des catastrophes
naturelles ou causes par lhomme, etc., qui ont affect positivement ou ngativement la capacit du programme progresser ou qui
peuvent avoir demand une approche un peu diffrente de ce qui tait prvu lorigine?
Dans quelle mesure les facteurs ci-dessus ont-ils aid ou perturb le programme?
Quels effets ou impacts peuvent tre documents, court, moyen et long terme?
Ils devraient tre en lien avec la thorie du changement, en tenant compte des types deffets qui taient prvus des moments donns.
Ceux-ci sont-ils prvus ou non? Y a-t-il des donnes, ou mme des valuations subjectives, qui pourraient les expliquer?
Les impacts ont-ils des chances dtre durables? Quest-ce qui le montre?
Quelle est la solidit des donnes? Que faut-il dautre pour monter de manire plus convaincante que limpact coule dune manire ou
dune autre de lintervention du programme.
Que sest-il produit dautre (effets imprvus/inattendus)?
Dans quelle mesure ceux-ci taient-ils positifs ou ngatifs?
Dans quelle mesure ceux-ci taient-ils potentiellement sous contrle du programme?
La conception du programme et la thorie du changement devraient-elles tre rvises pour les prendre en compte pour lavenir?
Dans quelle mesure le programme tel quil tait conu et tel quil a t mis en uvre tait-il appropri et pertinent?
Par exemple, dans quelle mesure le programme a-t-il rpondu aux demandes des bnficiaires, aux besoins de la communaut ou du
pays ou dautres priorits locales ou mondiales identifies?
Y a-t-il eu des changements dans les besoins et les considrations de contexte qui suggreraient que le programme devrait tre modifi
dune manire ou dune autre?
De quoi peut-on encore avoir besoin ?
Y a-t-il dautres besoins auxquels le programme lui-mme devrait rpondre?
Y a-t-il dautres besoins auxquels il vaudrait mieux que dautres rpondent (par ex. implications pour le plaidoyer)?
Autres considrations
telles quelles ont t identifies initialement dans la thorie du changement
qui pourraient apparatre plus tard, par exemple en rponse des constatations prliminaires, par des runions de rflexion, etc.
qui rpondent aux proccupations ou aux perspectives dautres parties prenantes, y compris des critiques du programme.
* Lectures supplmentaires : RealWorld Evaluation techniques, dcrites dans Bamberger et al. 2012..

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 12 |

Les suggestions dans le tableau ci-dessus apparai-
tront peut-tre comme une liste impressionnante
de choses suivre. Mais tous les programmes
ne doivent pas collecter toutes les formes de
donnes. Les questions ne doivent pas toutes
tre poses en mme temps ou elles peuvent
tre chelonnes tout au long du cycle de vie du
programme.
Il est aussi important de donner des priorits aux
besoins dinformations et de se concentrer sur
les informations vraiment ncessaires. Quand on
labore un plan de suivi, il faut savoir ds le dbut
comment chaque information peut tre utilise. Si
lon essaie dobtenir trop dinformations, cela peut
avoir des consquences imprvues. Par exemple,
le personnel qui doit collecter les donnes peut
tre dbord et se trouver forc faire des raccour-
cis qui peuvent affecter la qualit des informations
fournies et les rendre moins facile utiliser.
valuation raliste. Quand on dtermine quelles
sont les donnes ncessaires pour permettre une
valuation dimpact significative, il est utile de
8
penser au principe dvaluation raliste, qui part
du principe que dire quun programme fonc-
tionne ou non est trop simplificateur et quune
diffrence statistiquement significative entre deux
9
groupes peut masquer des variations consid-
rables. Il y a toujours des personnes qui y gagnent
et dautres non, et presque tous les programmes
peuvent fonctionner pour certaines personnes
dans certaines situations, mais pas pour dautres.
Lvaluation raliste dclare que les effets sur-
viennent par lintermdiaire de combinaisons va-
ries de contexte et de mcanismes. Par exemple,
8 Lecture complmentaire: Pawson et Tilley, Realistic Evaluation
(1997).
9 Qui, statistiquement est bas sur la comparaison des rsultats
moyens de chaque groupe.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 13 |
la poudre canon ne senflammera que si elle
est allume dune certaine manire. Une implica-
tion majeure est donc que lvaluation dimpact
doit dterminer ce qui fonctionne pour qui, dans
quelles circonstances et par quels mcanismes.
Il y a de nombreux exemples dapproches
(par ex. La mobilisation communautaire)
qui doivent tre adaptes selon les moyens
dexistence du groupe cible, par exemple le-
veurs ou populations sdentaires (comme les
paysans). De la mme faon, une approche
pour amliorer la sant reproductive des
jeunes peut fonctionner avec certains groupes
culturels mais pas avec dautres, ou dpendre
dautres facteurs.
Les principes dvaluation raliste ont des impli-
cations importantes pour la conception de sys-
tmes de S&E, en particulier pour les types de
donnes qui doivent tre collectes et maintenues
dsagrges. Par exemple, certaines approches
de programme qui sont efficace pour les garons
peuvent, dans certaines situations, tre nuisibles
pour les filles. Certains programmes qui fonc-
tionnent dans les zones urbaines peuvent ne pas
fonctionner dans les zones rurales. La pertinence
de certaines dimensions (par exemple le genre,
lge ou le niveau de pauvret) peut tre vidente
(mais pas forcment toujours suivie) tandis que
dautres seront peut-tre moins videntes. Ainsi,
une approche ducative qui peut aider certains
enfants peut ne pas le faire pour dautres, par
exemple des enfants qui ont subi un traumatisme,
quel quil soit. En plus des caractristiques des
communauts et des bnficiaires, il est aussi
important de tenir compte du contexte ou, dans ce
cas, quels services ont t fournis et dans quelles
circonstances.
Les employs des ONG, tant donn leur
proche connexion avec le terrain et les bnfi-
ciaires, sont souvent bien placs pour pouvoir
observer, ou mme suspecter, les facteurs
qui peuvent faire que des approches fonc-
tionnent pour certains mais pas pour dautres.
Documenter ce type dinformations grce au
S&E continu peut tre une contribution impor-
tante lvaluation dimpact. Il est essentiel,
non seulement de comprendre ce qui sest
rellement produit dans un programme parti-
culier, mais aussi de tirer des leons de cette
exprience et dtre capable dappliquer ces
informations dans des situations diffrentes.
2.4. Commencer avec ce que lon a
Avant de mettre en route une valuation dim-
pact coteuse et complexe, commencez avec
les informations dj disponibles, venant du
S&E et dautres sources. Peut-tre quil existe
dj suffisamment dindices et quil ne vaut pas
la peine de faire une valuation dimpact. Au
minimum, cela peut aider concentrer lvalua-
tion dimpact sur les questions et les problmes
auxquels on ne peut pas trouver de rponse
autrement. Cela peut suggrer dautres formes
dvaluation quil vaudrait peut-tre mieux es-
sayer dabord. Voici quelques ides dapproches
systmatiques.
Lanalyse de la contribution comporte les six
tapes ci-dessous, qui seront expliques plus en
dtail dans lAnnexe 1:
1. laborer une thorie du changement.
2. valuer les indices qui existent sur les
rsultats.
3. valuer des explications alternatives.
4. Prparer lhistoire de la performance.
5. Chercher des indices supplmentaires.
6. Rviser et renforcer lhistoire de la
performance.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 14 |
En substance, il sagit dutiliser les indices venant
du S&E ralis pour voir ce quils peuvent rvler
sur les effets ou mme sur limpact dune inter-
vention, tout en voyant aussi ce qui, en dehors
de lintervention, pourrait galement avoir caus
les effets trouvs. partir de l, on peut prparer
une histoire provisoire de la performance pour
voir dans quelle mesure il est raisonnable de
faire lhypothse que les actions du programme
pourraient avoir contribu aux effets observs et
pour identifier les faiblesses et l o on pourrait
avoir besoin de donnes additionnelles. Cest une
manire efficace dutiliser les donnes existantes
pour dterminer ce que lon sait et o on a besoin
de donnes venant dautres formes de S&E ou, si
ncessaire, dune valuation dimpact pour obtenir
une image plus convaincante.
Discussions de rflexion. Une approche dana-
lyse de la contribution nest pas forcment un
gros travail, surtout pour de petits projets ou des
projets contrls. Des discussions de rflexion sys-
tmatiques (ou des runions de revue ou de
suivi) sont un bon exemple de cette approche.
Elles pourraient faire partie des runions rgulires
du personnel ou pourraient tre le point principal
de runions spciales organises priodiquement.
Elles peuvent comporter une discussion informelle
de ce qui semble fonctionner ou pas, de la base
sur laquelle on base ces conclusions, en tenant
compte dexplications concurrentes des effets
observs ou prouvs (autrement dit, une version
simplifie de lhistoire de performance), puis iden-
tifier quelles autres formes dindices seront nces-
saires lavenir pour prouver de manire plus
convaincante limpact du programme. Dans cer-
tains cas, par exemple quand des employs et des
parties prenantes venant de diffrentes zones sont
runis, il peut tre bon dutiliser une approche plus
formelle et un facilitateur externe. Ce type de suivi
quantitatif peut tre inestimable pour comprendre
ce qui peut avoir men aux effets ou aux impact (et
si ces mmes rsultats se seraient produits quand
mme en labsence du projet), ce qui est essentiel
comme informations pour appliquer les rsultats
des valuations dimpact.
AWARD, un programme de bourses de
recherche pour les femmes scientifiques dans
la recherche et le dveloppement agricoles
en Afrique, utilise des sessions priodique
de rflexion pour donner aux boursires et
leurs mentors dans diffrents pays une
possibilit de rflchir aux progrs, aux rali-
sations jusqu prsent et ce qui a, ou non,
bien march. Cela sajoute aux donnes de
suivi de lquipe de gestion ainsi qu leur
propre rflexion continue sur la performance.
Cela donne des occasions de tester la tho-
rie du changement du programme et aide
aussi lquipe de gestion travailler en mode
damlioration continue en dterminant
quelles sont les mesures correctives ou les
changements de direction ncessaires.
liminer les explications plausibles rivales. La 3me
tape de lapproche danalyse de la contribution
consiste apprcier des explications alternatives
possibles. Il sagit l dun concept simple mais
puissant, bien ancr dans la littrature de lva-
luation. Il a t exprim en premier par Donald T.
10
Campbell, qui a aussi dit quon devrait utiliser les
approches les plus simples et les moins coteuses
qui peuvent permettre davoir la confiance nces-
saire dans les constatations.
Commencez par voir ce quil y a comme autres
explications possibles qui pourraient expliquer
10 Par exemple: Campbell, D. T. et J. C. Stanley. 1963. Experimen-
tal and Quasi-Experimental Designs for Research. Boston: Hough-
ton-Mifflin. Campbell est peut-tre mieux connu comme le pre
de lvaluation moderne des programmes et comme un partisan
des mthodes exprimentales et quasi exprimentales. Il a t le
premier identifier ce dernier concept, ainsi que les concepts de
validit interne et externe.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 15 |
comment limpact a t produit, en dehors de
lintervention du programme ou du projet, puis
fournissez les indices ncessaires pour montrer
que ces explications alternatives ne sont pas
probables. Il suffit de sintresser dautres expli-
cations plausibles. On peut supposer sans trop
de risques que les changements dans les chiffres
demploi des jeunes dans un district nont pas t
causs par le fantme dElvis! Mais louverture
ou la fermeture dune nouvelle entreprise, ou des
changements dans les politiques dune entreprise
existante, peuvent tre pertinents dans certaines
situations. Il est important cependant de se rendre
compte que les parties prenantes peuvent avoir
une vision diffrente de ce qui est plausible ou non
et quil faut en tenir compte quand on conoit une
approche de S&E.
Quelques approches pour exclure des expli-
cations rivales plausibles
Anticiper des questions potentielles du/des
public(s) de lvaluation.
Abordez les menaces la validit interne et
externe.
Utilisez une approche base sur la thorie.
Dterminez quels types dindices seraient
convaincants.
Fournissez plusieurs lignes dindices.
Assurez-vous de la validit daspect.*
* Il sagit de prsenter les rsultats de manire ce que les
personnes qui ne sont pas des chercheurs aient limpres-
sion de prime abord quils sont logiques.
2.5. Concevoir et mettre en uvre lvaluation
dimpact, analyser et interprter les rsultats
Comme cela a t indiqu auparavant, le S&E a
un rle important jouer pour quune valuation
dimpact pose les bonne questions et que sa
conception tienne compte de manire raliste des
donnes intressantes de S&E qui peuvent dj
exister ou pourraient tre fournies pratiquement.
Il faudra peut-tre des activits complmentaires
dvaluation, comprenant des approches quali-
tatives ainsi que qualitatives, ce qui contribuera
une approche de mthodes mixtes (prsente
dans la Note dorientation 3) qui pourrait per-
mettre une triangulation des rsultats de lvalua-
tion dimpact et plus tard aider linterprtation.
Des spcialistes de S&E devront sans aucun doute
tre impliqus, au moins certains moments du
processus dvaluation dimpact, pour faciliter la
collecte de donnes additionnelles. Les spcialistes
de S&E doivent aussi tre parfaitement au courant
des problmes et des compromis quil faut faire
11
pour pouvoir tablir une validit quelconque.
Une hypothse courante et quune fois que la
conception de lvaluation dimpact est faite,
tout doit rester statique, souvent pendant des
annes. Mais en ralit, les programmes vo-
luent et changent avec le temps, et ils doivent
le faire pour rpondre aux changements de
situation, au feedback et aux nouvelles infor-
mations. Les conceptions dvaluations dim-
pact doivent pouvoir reflter les changements
dans la nature de lintervention et sy adapter,
faute de quoi les constatations risquent de
navoir quune signification limite. Comme
lindique la Note dorientation 3, certaines
approches de lvaluation dimpact peuvent
tre plus souples et adaptables que dautres.
Nanmoins, il est important de garder les-
prit que lvaluation dimpact a besoin dune
coopration du programme pour russir et
quautant que possible, les changements im-
portants devraient tre discuts avec lquipe
dvaluation.
11 Une ressource trs utile: Huey T. Chen, Stewart I. Donaldson,
et Melvin M. Mark (ds.). Advancing Validity in Outcome valua-
tion: Theory and Practice. New Directions for Evaluation. Jossey-
Bass et American Evaluation Association. 2011.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 16 |
Les spcialistes du S&E (et par leur interm-
diaire, dautres personnels de lorganisation et
dautres parties prenantes) devraient jouer un rle
important dans linterprtation des rsultats de
lvaluation dimpact. Il est utile de demander si
les rsultats ont un sens, et sils sont cohrents
avec dautres informations. Si ce nest pas le cas,
il serait bon de demander ce que cela peut signi-
fier et ce qui pourrait expliquer les contradictions
apparentes.
Comme le soulignait la Section 1, on a besoin du
S&E pour fournir des informations sur les facteurs
contextuels pertinents et sur la nature des inter-
ventions. Ces interventions seront essentielles
pour montrer des relations de cause effet. En
particulier, on a besoin du M&E pour fournir des
explications des constatations, pour indiquer les
pourquoi et les comment, des informa-
tions qui sont essentielles pour agir sur la base des
rsultats de lvaluation dimpact. Les hypothses
faites sur lintervention sont-elles encore va-
lides? Les conceptions avec des scnarios contre-
factuels ont souvent beaucoup de mal expliquer
les diffrences entre le groupe exprimental et le
groupe de contrle. Mme sil ny a pas de diff-
rence entre les scores moyens du groupe expri-
mental et du groupe de contrle, il est probable
que certaines personnes ont quand mme pro-
gress et il est toujours possible quune majorit
des gens pourraient faire mieux. Des informations
de S&E complmentaires peuvent aider entrer
dans le bote noire pour pouvoir comprendre
et interprter les diffrences, et ce quelles signi-
12
fient pour les directions lavenir. Ces rflexions
12 Par exemple, les valuations dimpact sont souvent entreprises
dans lobjectif dindiquer si une approche donne devrait tre
continue et/ou rplique dans une situation diffrente (possibilit
de gnraliser, ou validit externe). Mais sans savoir comment
ni pourquoi limpact sest produit (ou non), il est impossible de
prendre des dcisions en connaissance de cause pour ce type de
choix.
pourraient suggrer dautres analyses de sous-
groupes qui seraient encore possibles ou au moins
une aide pour bien interprter constatations.
2.6. Utiliser les rsultats
Lutilisation de lvaluation dimpact fait lobjet de
la Note dorientation 4 et dborde largement du
sujet de la prsente note. Il est nanmoins intres-
sant de noter que le S&E peut avoir un rle impor-
tant jouer dans ce processus. Dautres informa-
tions de S&E peuvent aider identifier dans quelle
mesure les rsultats dune valuation dimpact
peuvent tre gnraliss ou peuvent tre appli-
cables dautres situations ou dautres popula-
tions ou mme au mme endroit, tait donn les
changements invitables dans le contexte, dans la
nature de lintervention et dans le groupe cible, au
cours dune valuation dimpact pluriannuelle. Les
spcialistes de S&E peuvent aider animer des
sessions impliquant le personnel et la direction
pour voir quelles sont les implications des rsul-
tats de lvaluation dimpact la lumire dautres
informations.
2.7. Revoir, rflchir et mettre jour
Quels que soient les efforts fait pour la formula-
tion initiale de la thorie du changement, pour
llaboration du plan et la conception de lvalua-
tion et pour la mise en place des mcanismes de
collecte des donnes, cela ne signifie pas quon
puisse, ni quon doive ensuite ne plus y penser. Il
est utile de voir rgulirement si les hypothses
qui sous-tendent lapproche de lvaluation
dimpact sont toujours valables ou sil faut y faire
des changements. Les programmes ractifs sont
rarement statiques ils adaptent leurs approches
aux changements de contexte, pour rpondre de
nouveaux besoins ou de nouvelles opportunits
et en rponse au feedback de leurs bnficiaires,
dautres parties prenantes et du S&E. Si ceux-
ci sont identifis suffisamment tt, lvaluation
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 17 |
dimpact pourra peut-tre encore les prendre en
compte. Il faudrait choisir de bonnes mthodo-
logies dvaluation dimpact qui soient suffisam-
ment souples pour sadapter aux changements de
direction du programme qui sont, dans la plupart
des cas, presque invitables.
Il est intressant de faire des revues intermdiaires
(qui peuvent tre aussi simple quune runion
cible du personnel) pour tudier tous les change-
ments importants dans le programme et rexa-
miner la thorie du changement pour voir si les
hypothses dorigine sont toujours valables ou sil
faut les mettre jour. Comme cela a t suggr
plus haut, cette revue peut tre une occasion de
prparer ou de mettre jour une histoire de la
performance et didentifier les informations man-
quantes quil faudra se procurer dune manire
ou dune autre. Les revues intermdiaires peuvent
tre une occasion de rflchir la manire dont le
programme semble progresser mais aussi servir
revoir, et si ncessaire mettre jour, le plan de
S&E lui-mme.
Cette note insiste sur le rle que peut jouer le S&E
pour aider faire une valuation dimpact signi-
ficative. Mais linverse est vrai aussi. Lvaluation
dimpact peut toujours suggrer les types de don-
nes qui devront tre suivies lavenir et poser des
questions qui pourront tre tudies par dautres
formes dvaluation. Il est intressant, la conclu-
sion dune valuation dimpact, de considrer les
implications pour les priorits futures du S&E.
3. Impliquer toutes les parties de
lorganisation
Dans le S&E et lvaluation dimpact, les sp-
cialistes du S&E doivent videmment jouer un
rle actif pour mettre en place des conceptions
dvaluation appropries et pour garantir que tous
les aspects du processus sont faits de manire
maximiser la validit et lutilit des donnes. Mais
le personnel de gestion et des programmes peut
aussi jouer des rles importants qui ne sont pas
toujours bien apprcis.
3.1. S&E: Une fonction centrale de gestion qui
a besoin du leadership et de lappui de la
direction
Faire le S&E et rflchir et agir en termes dimpact,
sont des choses bien trop importantes pour
tre laisses aux seuls spcialistes du S&E. Tout
dabord, le S&E reprsente un outil de gestion
qui peut aider fixer les directions, valuer
les progrs, en apprendre plus sur les types
dapproches qui semblent fonctionner ou non
dans des circonstances changeantes, prendre
des dcisions, et beaucoup dautres choses.
Cela signifie que la direction des ONG doit se
lapproprier, fournir un leadership et encourager
tous les membres de lorganisation rflchir en
termes deffets ou de rsultats en se demandant
comment ils peuvent savoir que leur travail fait
une diffrence et ce qui peut tre fait pour lam-
liorer. Lapprentissage et le changement supposent
dtre prts reconnatre et accepter le fait que,
quelquefois, certaines approches nont pas bien
fonctionn et doivent tre modifies. Mais pour
cela, il faut que la direction encourage et aide les
employs innover et ne les punisse pas si tout
ne se passe pas comme prvu condition quils
soient prts tirer des leons de lexprience et
de lvaluation. Il est essentiel davoir cet appui
pour que lvaluation dimpact, avec le S&E, ait un
impact rel sur la manire dont les programmes
sont mis en uvre.
Les gestionnaires tous les niveaux dune agence
devront fournir lappui, les ressources et le lea-
dership ncessaires pour permettre un S&E, et
une valuation dimpact, intressants. La direction,
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 18 |
en particulier aura un rle cl jouer pour que ce
ne soit pas seulement un travail sur le papier qui
risquerait dentrainer un cynisme et une obis-
sance passive, mais pour montrer au contraire
leur engagement agir et utiliser toutes formes
dinformations tires des rsultats. Faire une va-
luation dimpact, mme si un budget y est consa-
cr, aura aussi des implications pour la charge
de travail et peut-tre aussi des implications de
ressources pour le personnel des programmes
et les spcialistes du S&E. La direction devrait
tre au courant de ces implications lorsquelle
dcide dentreprendre une valuation dimpact. La
pertinence et la russite de lvaluation dimpact
et la capacit du S&E habituel contribuer cette
russite dpendent en grande partie de lattitude et
de lappui de la direction.
3.2. Le personnel des programmes doit avoir un
rle actif
Pour une valuation dimpact significative, ainsi
que pour le S&E habituel, il faut que le personnel
des programmes soit activement impliqu. Dans
la plupart des cas, cest le personnel des pro-
grammes qui aura la responsabilit de collecter
la plupart des donnes, de les enregistrer et den
rendre compte. Il est important de reconnatre ce
rle cl et ce quil implique. Si lon impose des
exigences des gestionnaires et des employs
de programme dj trs occups, cela sera dans
la pratique souvent considr comme une tche
administrative supplmentaire, dune valeur incer-
taine et il y aura une rsistance. Par consquent il
risquera dy avoir des problmes, avec des don-
nes de moindre qualit ou incompltes.

Faire que le S&E et lvaluation dimpact soient
utiles pour les employs des programmes et
ne soient pas considrs comme une corve
Les impliquer dans le processus.
Sintresser aux questions quils consi-
drent comme importantes et qui
peuvent les aider.
Fournir des occasion de participer
linterprtation des donnes du S&E / de
lvaluation dimpact.
Donner un feedback quand les donnes
sont soumises (mme un simple accus
de rception ou un merci ).
Fliciter les employs qui aident lva-
luation dimpact.
Faire savoir comment les donnes ont t
utilises.
Comme cela a t suggr plus haut, la direction
dune organisation doit apporter un leadership
convenable afin de prparer le terrain pour une
bonne collecte des donnes. Pour que les em-
ploys des programmes cooprent, comme cela
est ncessaire, la collecte des donnes, il faudra
leur donner des incitations et les ressources
ncessaires (temps, personnel et financement)
pour permettre la collecte et lenregistrement de
donnes de qualit ainsi que des mcanismes
appropris pour le contrle de la qualit. Pour
que la collecte des donnes soit pertinente et
significative, il faudra que le personnel des pro-
grammes soit impliqu dans lidentification des
questions et des problmes dont il pense quils
sont importants et pertinents pour lui et pour
les communauts o il travaille. Lencadr qui
suit donne quelques ides pour rendre le S&E et
lvaluation dimpact significatifs. Par exemple,
les employs dun projet dducation pour tous
en Ouganda ont commenc apprcier limpor-
tance des donnes de suivi quon leur demandait
de fournir et amliorer leur qualit une fois que
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 19 |
certains des rapports initiaux dvaluation leur
ont t communiqus.
Autant que possible, lapproche de S&E ou dva-
luation dimpact devrait inclure des rflexions sur
le rle et lappui du personnel des programmes.
Les employs des programmes qui devront col-
lecter les donnes sont souvent les mieux placs
pour identifier les informations qui seront faciles
obtenir et celles qui peuvent tre plus probl-
matiques ainsi que les demandes de donnes
qui sont ambigus et peuvent tre interprtes
de manires diffrentes ou risquent mme dtre
tellement peu fiables quelles seront inutilisables.
Grce leur implication dans le processus, ils ont
plus de chances de considrer le S&E comme un
appui plutt que comme une corve inutile ou
quelque chose quon leur fait et qui na pas de
valeur visible.
Rsum
Lvaluation dimpact est parfois vue, par des
chercheurs comme par de nombreux gestionnaires
et employs des programmes, comme une activit
trs technique qui ne peut tre ralise que par des
experts externes travaillant une certaine distance
du programme, de son personnel et de ses parties
prenantes. Et dans certaines situations, cest
comme a quelle est aborde.
Mais comme lindique cette note, lvaluation
dimpact ne reprsente quune forme dvalua-
tion. Il narrive que rarement quune valuation
dimpact significative puisse tre mene sans se
baser sur des donnes venant dautres activits
continues de S&E. Mais la valeur et lutilisation
du S&E pour lvaluation dimpact ne sont pas
automatiques. Il faut planifier lavance pour
identifier les types de donnes dont on aura besoin
pour pouvoir dterminer limpact de politiques,
de programmes et de projets et prvoir la manire
dont on peut se procurer ces donnes. Et, comme
le souligne cette note, quand tout le monde dans
une agence pense en termes dimpact ou de rsul-
tats, cela peut suffire amliorer lefficacit des
oprations de lagence et aider amliorer la vie
de populations partout dans le monde.
Rfrences et autres ressources utiles
Bamberger, M., Rugh, J. et, L. (2012). RealWorld
Evaluation: Working Under Budget, Time, Data,
and Political Constraints (2me d.). Sage
Publications.
Chen, H., Donaldson, S., Mark, M. (ds.) (2011).
Advancing Validity in Outcome valuation:
Theory and Practice. New Directions for
Evaluation. No130. Jossey-Bass et American
Evaluation Association.
Funnell, S. et Rogers, P (2011). Purposeful Program
Theory: Effective Use of Theories of Change and
Logic Models. Jossey-Bass Publications.
Jones, H. (2011). A guide to monitoring and
evaluating policy influence. Londres: Overseas
Development Institute. http://www.odi.org.uk/
resources/docs/6453.pdf
Mayne, J. (2001). Addressing attribution through
contribution analysis: Using performance mea-
sures sensibly, Canadian Journal of Program
Evaluation, 16(1), 1-24.
Mayne, J. (2011). Contribution Analysis:
Advancing Cause and Effect. In Evaluating the
Complex: Attribution, Contribution, and Beyond,
dit par Robert Schwartz, Mita Mara, et Kim
Forss. Londres: Transaction Publishing.
| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 20 |
OCDE/CAD. (2011). Evaluating Impacts: An
Overview. http://www.oecd.org/document/17/0,3
746,en_21571361_34047972_46179985_1_1_1_1,00.
html
OCDE/CAD. (2002). Glossaire des principaux
termes relatifs lvaluation et la gestion axe
sur les rsultats. http://www.oecd.org/da-
taoecd/29/21/2754804.pdf
Malhotra, A. (2010). Connecting Routine
M&E with Impact Evaluation, International
Center for Research on Women. Prsentation
InterAction/3ie Impact Evaluation Design
Clinic, Washington, D.C., avril 2010. http://
www.interaction.org/sites/default/files/18/
Anju_Malhotra_-_Connecting_Routine_M&E_
with_Impact_Evaluation.pdf
Paul, S. (2002). Holding the State to Account:
Citizen Monitoring in Action. Bangalore: Public
Affairs Centre.
Pawson, R. et Tilley, N. (1997). Realistic Evaluation.
Sage Publications.
Scriven, M. (1991). Evaluation Thesaurus (4me
d). Sage Publications.
Woolcock, M. (2011). Guest Post on The
Importance of Time and Trajectories in
Understanding Project Effectiveness.
Development Impact. Blogs.worldbank.org.
http://blogs.worldbank.org/impactevaluations/
guest-post-michael-woolcock-on-the-importance-
of-time-and-trajectories-in-understanding-pro-
ject-effe.
 Annexe 1 Analyse de la contribution

John Mayne, qui travaillait lpoque pour le
Bureau du Vrificateur gnral du Canada, a sug-
gr dutiliser lanalyse de la contribution comme
une approche grce laquelle on peut faire le meil-
leur usage des donnes existantes sur les effets et
limpact. Il a rsum cette approche comme suit.
On trouvera des informations plus dtailles sur
une approche de lanalyse de la contribution dans
Mayne (2001), o ce tableau a t copi mot pour
mot, ou dans Mayne (2011).

tape 1 : laborer la laborer le modle de thorie du programme/ la logique du programme/ la chaine des
chaine des rsultats rsultats dcrivant comment le programme est cens fonctionner. Identifier aussi les
principaux facteurs extrieurs en jeu qui peuvent expliquer les effets observs. Cette thorie
de programme devrait mener une association plausible entre les activits du programme et
les effets recherchs. Certains maillons de la chaine des rsultats seront assez bien compris
ou accepts. Dautres seront moins bien compris ou il faudra explications autres que le fait
que le programme tait la cause. De cette manire, vous reconnaissez que lattribution
est bien un problme.

tape 2 : valuer les La chaine des rsultats devrait donner une bonne ide des rsultats attendus (produits,
indices qui existent effets immdiats et finaux) qui ont pu tre mesurs. Quels indices (informations tires des
sur les rsultats mesures de performance et des valuations) sont actuellement disponibles pour montrer
que ces divers rsultats se sont produits ? Les maillons de la chaine des rsultats doivent
aussi tre estims. Lesquels sont solides (existence dindices clairs, logique solide ou
largement accepts) et lesquels sont faibles (peu dindices, logique faible ou peu daccord
parmi les parties prenantes).

tape 3 : valuer Les effets sont, par dfinition, influencs non seulement par laction du programme
des explications mais aussi par des facteurs externes dautres programmes ou des facteurs sociaux et
alternatives conomiques. En plus dune estimation des indices qui existent sur les rsultats, il est
ncessaire de prendre explicitement en copte linfluence que peuvent avoir ces facteurs
externes. Des indices ou une argumentation logique peuvent suggrer que certains nont
quune petite influence et que dautres peuvent avoir une influence plus importante sur les
rsultats prvus.

tape 4 : Prparer Avec ces informations, vous pourrez dmarrer votre histoire de la performance, expliquant
lhistoire de la pourquoi il est raisonnable de penser que les actions du programme ont contribu (dune
performance manire que vous pourrez essayer de caractriser) aux effets observs. quel point cette
histoire est-elle crdible ? Des personnes raisonnables sont-elles daccord avec elle ? Le
schma des rsultats observs valide-t-il la chaine des rsultats ? Quelles sont les principales
faiblesses de lhistoire ? Il y aura toujours des faiblesses. Celles-ci montrent o il serait utile
davoir des donnes ou des informations supplmentaires.
Sil nest pas possible (du moins pour linstant) de se procurer des indices supplmentaires,
cest tout ce que vous pouvez dire sur le degr o le programme a fait une diffrence.

tape 5 : Chercher Pour amliorer votre histoire de la performance, vous aurez besoin dindices
des indices supplmentaires. Il pourra sagir dinformations la fois sur la mesure dans laquelle
supplmentaires des rsultats spcifiques apparaissent dans les chaines de rsultats et sur la force de
certains maillons de la chaine. Ce document prsente un certain nombre de techniques de
renforcement que vous pourriez adopter.

tape 6 : Rviser et Avec les nouveaux indices, vous devriez pouvoir construire une histoire plus crdible, une
renforcer lhistoire de histoire quune personne raisonnable aura plus de chance daccepter. Elle ne sera sans doute
la performance pas infaillible, mais elle sera plus solide et plus crdible.

| Faire le lien entre le suivi-valuation et lvaluation dimpact | | 21 |