Académique Documents
Professionnel Documents
Culture Documents
Introduction À L'evaluation de L'impact PDF
Introduction À L'evaluation de L'impact PDF
No 1, mars 2012
De Patricia J. Rogers
RMIT University (Australie) et BetterEvaluation
Ceci est la première d’une série de quatre notes sur l’évaluation d’impact, élaborées par InterAction avec
l’appui financier de la Fondation Rockefeller. Les autres notes de cette série sont : Faire le lien entre le
suivi-évaluation et l’évaluation d’impact ; Introduction aux méthodes mixtes dans l’évaluation d’impact et
Utilisation des résultats d’évaluations d’impact. On peut trouver la série complète sur les site Internet
d’InterAction : http://www.interaction.org/impact-evaluation-notes.
EMERCIEMENTS
Cette note d’orientation a bénéficié du feedback du Groupe de travail d’InterAction sur l’évaluation et
l’efficacité des programmes. Les informations sur les méthodes d’évaluation dans la Note d’orientation 1
ont été tirées de BetterEvaluation, une collaboration internationale pour le partage d’informations visant
à améliorer l’évaluation. On trouvera plus d’informations sur chacune des méthodes sur le site internet :
www.betterevaluation.org.
7. Élaborer une théorie ou un modèle de la manière dont l’intervention est censée fonctionner 7
9. Expliquer dans quelle mesure les résultats observés ont été produits par l’intervention 10
13. Qu’est-ce qui est nécessaire pour une évaluation d’impact de qualité ? 16
Résumé 19
InterAction a produit une série de notes d’orien- approches et conceptions pouvant être utilisées
tation dédiées à ces questions pour aider le pour les différents aspects de l’évaluation d’im-
personnel de la gestion, des programmes et du pact : préciser quelles sont les valeurs pour l’éva-
S&E dans les ONG internationales à planifier, luation, élaborer une théorie de la manière dont
concevoir, gérer, mener et utiliser des évaluations l’intervention est censée fonctionner, mesurer
d’impact. Ces notes peuvent aussi leur fournir ou décrire les impacts et autres variables impor-
des informations qui leur serviront dans des tantes, expliquer pourquoi des impacts se sont
discussions avec des évaluateurs externes, des produits, synthétiser les résultats, rendre compte
partenaires et de financeurs. et appuyer l’utilisation. Cette note examine ce
qui est considéré comme une bonne évaluation
Cette première note d’orientation, Introduction d’impact, une évaluation qui maintient un équi-
à l’évaluation d’impact, est une présentation libre entre des impératifs concurrents : être utile,
générale de l’évaluation d’impact. Elle explique en rigoureux, éthique et pratique, et décrit la manière
quoi l’évaluation d’impact est différente d’autres d’y arriver. Tout au long du document, des notes
types d’évaluation, et les complète, pourquoi de bas de page donnent les références de lectures
une évaluation d’impact devrait être faite, quand complémentaires dans des domaines particuliers.
et par qui. Elle décrit différentes méthodes,
2. Pourquoi faudrait-il faire une évaluation Une évaluation d’impact devrait essayer de
d’impact ? répondre seulement à un petit nombre (cinq à
sept) de questions clés. L’évaluation s’intéresse à
La meilleure manière de faire une évaluation des questions de haut niveau, pas à des questions
d’impact particulière dépend en partie de son particulières qui pourraient être posées dans un
objectif et de qui sont ses principaux utilisateurs entretien ou un questionnaire. Il vaut mieux se
prévus. Voici quelques raisons courantes de faire limiter à un petit nombre de questions en lien
une évaluation d’impact : direct avec le but plutôt que d’émietter les res-
sources de l’évaluation, et l’intérêt des utilisateurs,
• Pour décider s’il faut financer une interven- sur un grand nombre de questions.
tion – une « évaluation à priori » est faite
avant la mise en œuvre d’une intervention, pour 4. Qui devrait mener une évaluation d’impact ?
estimer ses impacts probables et orienter les
décisions de financement. Une évaluation d’impact peut être menée par :
• Pour décider s’il faut ou non continuer ou un évaluateur externe ou une équipe d’évalua-
développer une intervention. tion externe ; une unité interne mais séparée de
• Pour apprendre comment répliquer ou aug- l’organisation de mise en œuvre ; les personnes
menter une intervention pilote. impliquées dans l’intervention (y compris les
• Pour apprendre comment réussir à adap- membres de la communauté) ; ou une équipe
ter une intervention réussie à une autre combinée comprenant des évaluateurs internes
situation. ou externes.
• Pour réassurer les financeurs, y compris
les bailleurs de fonds et les contribuables Un évaluateur externe peut offrir une expertise
(rendre des comptes en amont) que l’argent et une expérience qui n’existent peut-être pas à
l’intérieur de l’organisation. Il peut aussi être plus En particulier, les pratiques suivantes peuvent
indépendant et crédible qu’un évaluateur interne. souvent donner les meilleures évaluations : établir
Par exemple, la politique d’évaluation de l’USAID une équipe d’évaluateurs avec des perspectives
exige que la plupart des évaluations soient faites externes et internes ; garantir la transparence pour
par un évaluateur externe. les données qui sont utilisées dans l’évaluation
et la manière dont elles sont utilisées ; la trian-
Cependant, les évaluateurs externes ne semblent gulation, en utilisant plusieurs sources de don-
pas toujours impartiaux à certaines parties pre- nées probantes (qui se complètent) et plusieurs
nantes, car leur collecte et leur interprétation des perspectives pour l’analyse et l’interprétation. Il
données peuvent être affectées par leur manque est particulièrement utile d’avoir dans l’équipe
de familiarité avec la situation. Dans certains cas, des experts locaux en évaluation qui connaissent
l’implication de parties prenantes du programme la situation, l’histoire et des interventions compa-
et/ou de membres de la communauté peut ajou- rables d’autres agences.
ter rigueur et crédibilité en permettant un meil-
leur accès aux données (surtout aux informateurs Une évaluation peut être gérée par un groupe
clés) et une interprétation plus appropriée des interne (peut-être un comité de pilotage interne,
données. informé par un groupe consultatif ayant des
La première étape est de préciser les valeurs qui Exploration positive – des parties pre-
sous-tendront l’évaluation. Une évaluation d’im- nantes clés (dont les employés du
pact tire des conclusions sur le niveau de réussite programme) se souviennent de moments
(ou d’échec) d’une intervention et il est donc où le programme fonctionnait particulière-
important de préciser ce que serait la réussite en ment bien puis identifient les valeurs qu’il
3
termes de : exemplifiait à ces moments-là.
devraient être utilisées dans une évaluation. 4 Lecture complémentaire : Most Significant Change (MSC),
http://mande.co.uk/special-issues/most-significant-change-msc/.
5 Lecture complémentaire : Delphi Method, http://www.unido.
Quelques méthodes pour préciser les valeurs pour org/fileadmin/import/16959_DelphiMethod.pdf; The Delphi
Method: Techniques and Applications, http://is.njit.edu/pubs/
une évaluation d’impact : delphibook/; Delphi Survey – Europa, http://ec.europa.eu/regio-
nal_policy/sources/docgener/evaluation/evalsed/downloads/
sb2_delphi_survey.doc.
24 Lectures complémentaires : Propensity Scores: What Do They Le troisième élément pour comprendre les liens
Do, How Should I Use Them, and Why Should I Care?, http://
www.chrp.org/love/ASACleveland2003Propensity.pdf ; A Practical causaux est d’étudier et d’exclure des explications
Guide to Propensity Score Models, http://www.academyhealth. alternatives. Des impacts apparents (ou leur absence)
org/files/2009/monday/HebertP.pdf.
peuvent refléter des problèmes méthodologiques,
25 Lectures complémentaires : Using Randomization in Deve-
lopment Economics Research : A Toolkit, http://www.povertyac- comme des biais dans la sélection (quand les parti-
tionlab.org/sites/default/files/documents/Using%20Randomiza- cipants sont systématiquement différents des non
tion%20in%20Development%20Economics.pdf.
26 Lectures complémentaires : Impact Evauation: Regression
participants) et des effets de contamination (quand
Discontinuity, http://www.urban.org/toolkit/data-methods/regres- les non participants bénéficient aussi de l’intervention,
sion.cfm.
Les rapports d’évaluation d’impact sont plus La Note d’orientation 4 parle de la nécessité de
accessibles quand ils sont organisés autour des bien communiquer les constations aux publics
questions clés de l’évaluation plutôt que s’ils prévus.
rendent compte séparément des données sur les
34
différents éléments de la collecte des données. 12. Quand faudrait-il faire une évaluation
d’impact ?
La qualité des rapports d’évaluation peut être
améliorée en impliquant de façon adéquate les Les évaluations d’impact devraient être faites
parties prenantes. Même quand l’évaluation quand il y a un vrai besoin et une vraie intention
est faite par un évaluateur externe indépendant, d’utiliser les constatations. Si l’on exigeait une
on peut impliquer les parties prenantes en leur évaluation d’impact pour toutes les interventions,
demandant de réagir de manière formelle aux les évaluateurs risqueraient, soit d’avoir besoin
constatations et de faire des commentaires sur de trop de ressources, soit de les disperser telle-
les données et la manière dont elles ont été ment que les évaluations seraient superficielles.
interprétées. Une stratégie plus efficace est de diriger les res-
sources destinées aux évaluations d’impact vers
Quand les rapports d’évaluation comprennent les interventions où elles ont plus de chances
des recommandations, celles-ci doivent être d’être utiles :
justifiées par des données probantes tirés des
constatations de l’évaluation et des données pro- • Des interventions novatrices et des pro-
bantes sur la faisabilité et l’à-propos des recom- grammes pilotes qui, s’ils s’avèrent réussis,
mandations. En impliquant les parties prenantes peuvent être étendus ou répliqués.
concernées dans l’élaboration des recommanda- • Des interventions dont on ne comprend pas
tions, on n’améliore pas seulement la faisabilité bien l’impact et où on a besoin de meil-
des recommandations. Cela peut aussi conduire leures informations pour décider s’il faut
les parties prenantes à se les approprier et à continuer à les financer ou s’il vaut mieux
s’engager à les mettre en pratique. utiliser leur financement pour d’autres
interventions.
L’utilisation de rapports d’évaluation d’impact • Des évaluations périodiques de l’impact
peut être améliorée si l’on utilise des formats d’un portefeuille d’interventions dans un
créatifs pour rendre compte, des présentations secteur ou une région pour guider la poli-
orales, des possibilités de discuter avec d’autres tique, la conception d’interventions futures
des implications des évaluations d’impact, et si et les décisions de financement.
• Des interventions avec un profil plus ris-
qué, comme un investissement important
34 E. Jane Davidson, « Improving Evaluation Questions and
Answers : Getting Actionable Answers for Real-World Decision (actuellement et à l’avenir), un fort potentiel
Makers » (session de démonstration de la Conférence 2009 de
l’Association américaine d’évaluation 18 novembre 2009, Orlando,
d’impacts négatifs significatifs ou des ques-
Floride). http://comm.eval.org/resources/viewdocument/?Docum tions politiques sensibles.
entKey=e5bac388-f1e6-45ab-9e78-10e60cea0666.
37 Lectures complémentaires : Michael Woolcock on The Alton-Lee, A. (2003) « Quality Teaching for
Importance of Time and Trajectories in Understanding Project
Effectiveness, http://blogs.worldbank.org/impactevaluations/
Diverse Students in Schooling : Best Evidence
guest-post-michael-woolcock-on-the-importance-of-time-and-trajec- Synthesis. » Wellington, Nouvelle Zélance :
tories-in-understanding-project-effe.
Davidson, E. J. (2006) « Causal Inference Nuts Paz R., Dorward A., Douthwaite B. (2006).
and Bolts. » Session de démonstration à la « Methodological Guide for Evaluation of
Conférence de 2006 de l’Ameican Evaluation Pro-Poor Impact of Small-Scale Agricultural
Association, Portland, Oregon, nov. 2006 Projects. » Centre for Development and Poverty
http://realevaluation.com/pres/causation-an- Reduction. Imperial College, Londres. http://
zea09.pdf. boru.pbworks.com/f/modulosjan07.pdf Décrit
22 méthodes et toutils qui peuvent être utilisés
Davidson, E. J. (2009) « Improving Evaluation pour évaluer les impacts directs et indirects de
Questions and Answers : Getting Actionable l’adoption d’innovations.
Answers for Real-World Decision Makers. »
Session de démonstration à la Conférence de Roche, C. (1999) Impact Assessment for
2000 de l’American Evaluation Association, Development Agencies: Learning to Value
Orlando, Floride, nov. 2009. http://comm.eval. Change Oxford : OXFAM, Novib
org/resources/viewdocument/?DocumentKey=
e5bac388-f1e6-45ab-9e78-10e60cea0666. Rogers, Patricia J. (2009) « Matching
Impact Evaluation Design to the Nature
Funnell S. et Rogers, P. (2011) Purposeful Program of the Intervention and the Purpose of
Theory : Effective Use of Theories of Change the Évaluation », Journal of Development
and Logic Models. San Francisco : Jossey-Bass/ Effectiveness, 1(3): 217-226.
Wiley.
Document de travail disponible sur : http://
Guijt, I. (1999) Participatory Monitoring and www.3ieimpact.org/admin/pdfs_papers/50.pdf.
Evaluation for Natural Resource Management