Techniques

d’évaluation d’impact

Année universitaire
Pr. Mounir ELATRACHI / mounirelatrachi@gmail.com
Objectif du cours

Au terme de ce cours, les étudiants devez pouvoir évaluer l’impact d'un projet, d'un
programme ou d'une politique publique :
- Concevoir puis opérer le suivi de l’évaluation ;

- Distinguer résultats, effets, impact ;

- Maitriser les techniques d’évaluation d’impact (Assignation aléatoire, régression sur
discontinuité, matching, double différence….) ;
- Connaître les « bonnes pratiques »
 Méthodologie de travail et d’évaluation

Le déroulement du cours passe par trois phases :

 Au cours de la séance :
 Suivre les explications
 Prendre des notes non projetées sur la présentation.
 Poser des questions en cas d’ambiguïté ou de mécompréhension
 Après la séance :
 Recourir au support de cours (polycopié) ;
 Reformuler et compléter les idées ;
 Revoir les exemples traités au niveau du cours (chercher d’autres) ;
 Examen de fin de semestre :
 Un examen écrit qui porte que sur les éléments traités au niveau du cours ;
 Généralement est composé en deux parties : la première contient des questions de
cours directes ou de réflexion. La deuxième traite des exercices.
 Plan du cours

Partie I
Chapitre I : Evaluation d’impact : Histoire, concepts et objectifs
1. Une brève histoire de l’évaluation des politiques publiques
2. Qu’entend-on par évaluation d’impact ?
3. Objectifs d’évaluation
Chapitre II : Evaluation d’impact : concepts de base
1. Qu’entend-on par évaluation d’impact ?
2. Les raisons pour mener une évaluation d’impact ?
3. Problèmes de l’évaluation d’impact
Chapitre III : Evaluation des politiques publiques : Types et critères
4. Types d’évaluation
5. Critères d’évaluation
6. Principes de l’évaluation
7. Les étapes du processus de l’évaluation
 Plan du cours

Partie II
Chapitre IV : Méthodes de l’évaluation d’impact
1. Les méthodes expérimentales (Randomized Controlled Trials)
2. Double différence
3. Appariement
4. Variables instrumentales
5. Régressions sur discontinuités
Chapitre V : Intégrité, transparence et reproductibilité de l’évaluation
1. Intégrité de l’évaluation d’impact
2. Protocole éthique
3. Reproductibilité de l'évaluation
L'évaluation d'impact est une méthode rigoureuse et scientifique qui permet de mesurer l'effet
d'une intervention sur un ou plusieurs résultats.

Elle vise à déterminer si une intervention a eu un impact réel et significatif, et à identifier les
facteurs qui ont contribué à cet impact.

L'évaluation d'impact peut être utilisée pour évaluer divers types d'interventions, comme les
programmes publics, les interventions sociales, les politiques économiques, etc.
 Une brève histoire de l’évaluation des politiques publiques

Le concept de l'évaluation d’impact est un outil souvent utilisé dans l'économie de

développement.

… Il reste une pratique très jeune et récente puisqu'elle ne date que des années 1910.

A cet époque, l'évaluation a suscité l'intérêt des chercheurs en sciences sociales et qui avait
portait principalement sur l'évaluation de l'éducation et du secteur éducatif.

Après les années 2000, elle a commencé à s'établir dans le monde entier en attirant l'attention des
décideurs politiques des pays développés que ceux des pays en voie de développement.
 Une brève histoire de l’évaluation des politiques publiques

Le domaine de l'évaluation a évolué de façon très significative au cours des 20 dernières années.

Avant la Première Guerre Mondiale, des efforts énormes ont été déployés visant à évaluer le
secteur social en particulier les programmes d'alphabétisation, de formation professionnelle et
les programmes qui visent à réduire la mortalité due aux maladies infectieuses et les
programmes de lutte contre la pauvreté et la précarité.

Quelques années plus tard plus précisément au début des années 1970, la pratique de l'évaluation
d’impact a progressé en tant que discipline avec de nouvelles définitions, méthodes, approches et
applications pour divers sujets et contextes.
Exemples d’évaluation d’impact

Le gouvernement de Ghana souhaite améliorer les résultats scolaires des élèves du primaire.
Objectif : Évaluer l'impact d'un programme de formation des enseignants sur les résultats scolaires
des élèves.
Résultats : Le programme a eu un impact positif sur les résultats scolaires des élèves, en particulier en
mathématiques et en lecture.

Une ONG souhaite améliorer la santé maternelle et infantile en Éthiopie.

Objectif : Évaluer l'impact d'un programme de sensibilisation à la santé sur les pratiques et les
comportements des femmes enceintes et des mères.
Résultats : Le programme a eu un impact positif sur les connaissances et les pratiques des femmes
enceintes et des mères, en particulier en matière d'hygiène et de nutrition.
Exemples d’évaluation d’impact

Le gouvernement de Malawi souhaite augmenter la production agricole et les revenus des petits
exploitants agricoles.
Objectif : Évaluer l'impact d'un programme de subventions aux intrants agricoles sur la production et
les revenus des petits exploitants.
Résultats : Le programme a eu un impact positif sur la production et les revenus des petits exploitants
agricoles.

Le Conseil de la ville de Bordeaux souhaite réduire la congestion routière et améliorer la qualité de

l'air.
Objectif : Évaluer l'impact d'une nouvelle ligne de tramway sur la congestion routière et la qualité de
l'air.
Résultats : Le tramway a eu un impact positif sur la congestion routière et la qualité de l'air. La
circulation automobile a diminué dans les zones desservies par le tramway, et la pollution
atmosphérique a également diminué.
Exemples d’évaluation d’impact

L'évaluation d'impact est un outil précieux pour la prise de décision et l'amélioration des
politiques publiques et des programmes d'intervention.

Ces exemples illustrent la diversité des applications de l'évaluation d'impact dans différents
secteurs.
 En quoi consiste une évaluation d’impact ?

L’évaluation d’impact (positif ou négatif, intentionnel ou non) a pour but d’analyser l’impact
d’un projet, d’un programme ou d’une politique sur le groupe cible et de mesurer l’ampleur de
cet impact. Une telle évaluation permet d’établir un lien de cause à effet entre un projet, un
programme ou une politique et un ou plusieurs résultats.

… Cela implique de reconstituer une situation contrefactuelle.

 Pour évaluer l’impact d’un programme de

développement visant à améliorer la santé des
enfants en construisant des pompes à eau
communes, on analysera la réduction de
l’incidence de la diarrhée par rapport à
l’incidence attendue si aucune pompe n’avait été
installée.
 En quoi consiste une évaluation d’impact ?

L’évaluation d’impact indique si des changements mesurables dans la vie des personnes
concernées peuvent être attribués à un projet ou programme de développement spécifique.

Lorsqu’on parle d’évaluation d’impact, il est ici question spécifiquement d’un lien de cause à
effet direct entre d’une part un projet, un programme ou une politique et d’autre part un
outcome spécifique (comme la réduction de l’incidence de la diarrhée).
 Pourquoi est-il si crucial de mesurer l'impact des politiques publiques ?

Il est indispensable de mesurer l’impact des politiques publiques pour plusieurs raisons
importantes :

• Évaluation de l’efficacité
La mesure de l’impact des politiques publiques permet d’évaluer leur efficacité. Les politiques
sont mises en place dans le but de résoudre des problèmes, d’atteindre des objectifs spécifiques
ou d’améliorer la situation dans un domaine donné. En mesurant leur impact, on peut déterminer
si elles ont atteint les résultats escomptés, si elles ont eu l’effet souhaité sur la société et si elles
ont été efficaces dans la résolution des problèmes identifiés.
 Pourquoi est-il si crucial de mesurer l'impact des politiques publiques ?

Il est indispensable de mesurer l’impact des politiques publiques pour plusieurs raisons
importantes :

• Justification de l’allocation des ressources

Les politiques publiques impliquent souvent des dépenses publiques considérables. Mesurer leur
impact permet de justifier l’allocation des ressources limitées. En démontrant que les politiques
ont un impact positif et bénéfique, on peut justifier les investissements publics et convaincre les
parties prenantes, les décideurs politiques et le public de continuer à financer ces politiques.
 Pourquoi est-il si crucial de mesurer l'impact des politiques publiques ?

Il est indispensable de mesurer l’impact des politiques publiques pour plusieurs raisons
importantes :

• Identification des ajustements nécessaires

Mesurer l’impact des politiques permet d’identifier les ajustements nécessaires pour les
améliorer. En examinant les résultats et les effets de la politique, on peut déterminer les aspects
qui fonctionnent bien et ceux qui nécessitent des modifications ou des améliorations. Cela
permet d’adapter et de réorienter les politiques pour les rendre plus efficaces, plus efficientes et
plus bénéfiques pour la société.
 Pourquoi est-il si crucial de mesurer l'impact des politiques publiques ?

Il est indispensable de mesurer l’impact des politiques publiques pour plusieurs raisons
importantes :

• Responsabilité et transparence
La mesure de l’impact des politiques publiques contribue à la responsabilité et à la transparence
du gouvernement. En rendant compte des résultats et des effets des politiques, les décideurs
politiques et les gouvernements sont tenus responsables de leurs actions et de l’utilisation des
ressources publiques. Cela renforce la confiance du public dans le processus décisionnel et
permet d’assurer une utilisation efficace et responsable des fonds publics.
 Pourquoi est-il si crucial de mesurer l'impact ?

Il est indispensable de mesurer l’impact des politiques publiques pour plusieurs raisons
importantes :

• Amélioration des politiques futures

La mesure de l’impact des politiques aide à apprendre et à améliorer les politiques futures. En
recueillant des données et des informations sur les résultats des politiques, on peut tirer des
leçons pour orienter les politiques futures. Cela permet d’identifier les meilleures pratiques,
d’éviter les erreurs passées et de prendre des décisions plus éclairées pour le développement et la
mise en œuvre de politiques efficaces.

Cette évaluation méthodique des politiques publiques contribue donc à une gouvernance
plus efficace, à des décisions politiques mieux informées et à une utilisation plus
responsable des ressources publiques.
 Quelle est la différence entre une évaluation d’impact et une évaluation de projet ?

Alors que la plupart des évaluations de projet ou de programme analysent en priorité le succès
des opérations réalisées ou des services fournis …

… les évaluations d’impact tentent d’établir s’il existe un lien de cause à effet entre le projet ou
programme et un changement dans la vie des personnes concernées, et d’expliquer la présence
ou l’absence d’effet.

Dans l’exemple la réduction de l’incidence de la diarrhée, une évaluation de projet ou

programme chercherait à savoir si les pompes ont bien été construites et combien de personnes
les utilisent.

Par contre, l’évaluation d’impact chercherait à constater si la construction de pompes a eu un

effet bénéfique sur la santé de la population cible.
 Quelle est la différence entre une évaluation d’impact et une évaluation de projet ?

De nombreuses évaluations de projets et de programmes ont recours à des données de suivi pour
mesurer, par exemple, le nombre de personnes utilisant une pompe.

Certaines évaluations recueilleront même des données de suivi sur la prévalence de la diarrhée.

Toutefois, les données de suivi et les comparaisons avant-après sont souvent insuffisantes pour
établir un lien de cause à effet entre un projet ou programme de développement et le outcome
observé, parce que les facteurs externes ne sont pas pris en compte.
Quelle est la différence entre une évaluation d’impact et une évaluation de projet ?
 Quelles sont les défis liés à une évaluation d’impact ?

L’idéal serait de juger de l’efficacité d’un projet ou programme de développement en comparant

les outcomes pour les individus ayant participé au projet ou programme à ceux auxquels ces
mêmes individus seraient parvenus s’ils n’avaient pas participé, et ce au même instant.

Cet outcome hypothétique est appelé le contrefactuel.

Dans le monde réel, il est rarement observable.

 Quelles sont les défis liés à une évaluation d’impact ?

Dans l’exemple évoqué, où il s’agit d’établir la part de réduction de l’incidence de la diarrhée

attribuable à la pompe (en comparaison avec une situation sans pompe), nous sommes
confrontés au défi suivant :

Mesurer l’incidence de la diarrhée chez les personnes ayant utilisé une pompe (groupe de
traitement) est faisable,
… mais il est difficile de mesurer simultanément cet impact dans un monde où ce même groupe
n'aurait pas utilisé de pompe à ce moment-là (scénario contrefactuel).

Un défi majeur des évaluations d'impact consiste donc à trouver un groupe similaire à
celui en traitement, mais n'ayant pas utilisé de pompe, pour se rapprocher du scénario
contrefactuel.
 Quelles sont les défis liés à une évaluation d’impact ?

L’un des principaux enjeux des évaluations d’impact est donc de se rapprocher du contrefactuel
en trouvant un groupe d’individus, aussi proche que possible des individus qui y participent,
n’ayant pas participé au programme (groupe de comparaison, ou groupe témoin).

Les outcomes mesurés dans le groupe de comparaison servent d’indicateur sur ce qu’aurait été la
situation des participants en l’absence du programme.

… Le groupe de comparaison est déterminant pour la qualité d’une évaluation d’impact.

Quel est l’impact de ce programme
Quel est l’impact de ce programme
Quel est l’impact de ce programme
Quel est l’impact de ce programme
EXEMPLE

 Un gouvernement souhaite améliorer la

fréquentation scolaire dans les écoles primaires,
quelles interventions recommanderiez-vous ?

A. Manuels scolaires
B. Déjeuner gratuit
C. Uniformes scolaires gratuits
D. Traiter les vers intestinaux
E. Bourses de mérite
F. Améliorer le programme et l'enseignement
G. Fournir de meilleurs matériaux
H. Sensibiliser davantage aux bénéfices de
l’éducation
EXEMPLE
CINQ composantes de l’évaluation du programme

Evaluation des besoins

Needs Assessment

Théorie du changement
Theory of change

Evaluation du processus
Process evaluation

Evaluation d’impact
Impact Evaluation

Analyse Coût-Efficacité
Cost-Effectiveness Analysis
Exemple

EAU, ASSAINISSEMENT & SANTÉ

Selon vous, quelle est la manière la plus rentable de
réduire l’incidence de la diarrhée ?

A. Développer les infrastructures d’adduction d’eau

B. Améliorer les sources d’eau existantes

C. Augmenter l’offre et la demande de chlore

D. Améliorer l’éducation à l’assainissement et à la santé

E. Equiper les ménages d’outils pour faire bouillir l’eau

F. Améliorer les infrastructures d’assainissement

Identification du problème

NEEDS ASSESSMENT
Needs Assessment

Le problème que nous proposons de résoudre existe-t-il réellement ?

- Quelle est la source probable du problème ?

- Parmi les solutions proposées et essayées, pourquoi échouent-elles ?

- Qui en a le plus besoin ?

Needs Assessment

Le problème que nous proposons de résoudre existe-t-il réellement ?

- Les maladies diarrhéiques ont tué environ 2,6 millions de personnes

par an entre 1990 et 2000.

- 20% de tous les décès d'enfants (de moins de 5 ans) sont dus à la
diarrhée.

…..quelle est la source probable ?

La source du problème ?

J -PAL | WHAT IS 28
EVALUATION
Plan du changement

Theory of change
Théorie du changement
Questions auxquelles répond une théorie du changement

Comment le programme répondra-t-il aux besoins exprimés dans votre

évaluation des besoins ?

- Quels sont les prérequis pour répondre aux besoins ?

- Comment et pourquoi ces exigences font-elles actuellement défaut ou

échouent-elles ?

- Comment le programme entend-il cibler ou contourner les lacunes ?

- Quels services seront proposés ?

Quelle est la solution potentielle à ce
problème ?
Quelles sont les solutions alternatives?
Quelle est la vraie source du problème ?

• La qualité de l’eau n’aide pas à grand chose sans hygiène (Esrey, 1996)
– 42% vivent sans toilettes à la maison

• Près de 2,6 milliards de personnes ne disposent pas d’installations sanitaires

améliorées (OMS)
• La quantité d'eau est un meilleur déterminant de la santé que la qualité de
l'eau (Curtis et al, 2000)
• Les gens sont plus disposés à payer pour de l’eau potable que pour de l’eau
propre.
• Le chlore est très bon marché,
– En Zambie, 0,18 $ par mois pour une famille de six personnes
– Au Kenya, 0,30 $ par mois
Pourtant, moins de 10 % des ménages achètent un traitement

Kremer, Michael, Amrita Ahuja and Alex Peterson Zwane. “Providing Safe Water: Evidence from Randomized Evaluations”
Discussion Paper 2010--23, Cambridge, Mass.: Harvard Environmental Economics Program, September, 2010.
Theory of
Change Moins de
diarrhée

L'eau Boire de l’eau

contaminée est la propre
principale source
de maladie
Choisissez de
boire Avoir accès à de
uniquement de l’eau potable à
l’eau propre la maison

Comprendre les Identifier Accès à l’eau

C hoose to
avantages de quelle eau potable à la c ollect only
l’eau propre est propre source c lean water

Pas de
contamination

Méthode propre P ra t i q ue s
d’extraction de d ' hy g iè ne
l’eau

Suffisamment
d'eau
Mesurer à quel point cela a fonctionné

Impact Evaluation
Quel a été l’impact ?

- Réduction de 66% de la concentration d'E coli (bactérie) dans l'eau de

source
- Réduction de 24% de la concentration d'E coli dans les ménages
- Réduction de 25% de l'incidence de la diarrhée
Élaborer une politique à partir de données
probantes
Intervention
Protection de ressort (Kenya)
Distributeurs de chlore à la
source (Kenya)
Distribution de chlore
domestique (Kenya)
Lavage des mains (Pakistan)
Eau courante (Maroc)
Impact sur la Diarrhea
Réduction de 25% de
l’incidence de la diarrhée pour
les enfants de 0 à 3 ans
Réduction de 20 à 40% de
l’incidence de la diarrhée
Réduction de 20 à 40% de
l’incidence de la diarrhée
Baisse de 53 % de l’incidence
de la diarrhée chez les enfants
de moins de 15 ans
0,27 jours de diarrhée en
moins par enfant et par
semaine
Décisions basées sur les preuves

Cost-Effectiveness Analysis
Diagramme coût-efficacité