Semaine 1 – L’évaluation des politiques publiques

Bonjour. Dans cette séquence, je vais vous présenter quelques éléments de cadrage de
l'évaluation d'impact des politiques publiques. Pour cela, nous allons tout d'abord situer
l'évaluation d'impact dans le champ de la science économique, portant sur l'analyse des
politiques publiques. Dans un deuxième temps, nous allons indiquer l'usage qui est fait de ce
terme par les décideurs politiques et les acteurs en charge de la mise en œuvre des politiques
publiques. Enfin, nous allons présenter comment l'évaluation d'impact s'insère dans ce que
l'on peut appeler "l'ingénierie de l'évaluation de projet". Première question de cadrage, donc,
comment se situe l'évaluation d'impact dans le champ de la science économique qui porte sur
l'analyse des politiques publiques ? Pour les économistes, l'analyse des politiques publiques
a pour objectif de répondre à deux types de questions. Premier type de question : comment
les politiques publiques affectent l'économie et les individus ? C'est une question positive dont
l'analyse mobilise principalement des approches empiriques. Second type de question :
comment concevoir les politiques publiques pour maximiser le bien-être des individus ? C'est
une question normative qui mobilise principalement des outils théoriques. Autour de ces deux
questions se sont développées des approches méthodologiques assez différentes qui
recouvrent, d'un côté des méthodes empiriques d'évaluation ex-post, de l'autre des méthodes
dites structuralistes d'évaluation ex-ante. Les méthodes structuralistes consistent à expliciter
un modèle théorique, plus ou moins complet, du comportement des agents économiques.
Ensuite, sur la base de ce modèle, il est possible de simuler la politique dont on cherche à
évaluer les effets. Ces méthodes que l'on qualifie souvent de ex-ante, sont utiles pour anticiper
l'impact d'une politique qui n'a pas encore été appliquée et pour simuler et analyser des
scénarios alternatifs. La limite principale de ce type d'approche, c'est de reposer sur un corpus
d'hypothèses théoriques qui sont souvent difficiles à valider empiriquement. La seconde
approche dite d'évaluation ex-post est plus empirique et consiste à mesurer l'effet d'une
intervention effective à partir de données d'observation ou de données expérimentales. Dans
cette approche, il ne s'agit pas d'expliciter les mécanismes à l'œuvre, mais plutôt de mettre à
jour de manière empirique l'impact causal d'une politique sur des variables d'intérêt, en faisant
appel aux outils de la statistique et de l'économétrie. Ces deux approches sont en principe
assez complémentaires. Pour calibrer un modèle théorique, c'est-à-dire pour donner des
valeurs numériques aux paramètres clés du modèle, il est nécessaire de recourir à des
estimations empiriques. Inversement, pour comprendre ou pour généraliser les résultats d'une
étude empirique, il est souvent nécessaire de passer par une explicitation théorique des
comportements économiques des agents concernés. Dans ce cours, nous allons nous
concentrer sur la présentation des méthodes empiriques de l'évaluation ex-post, c'est-à-dire
des méthodes qui cherchent à mesurer statistiquement l'impact causal d'une politique sur des
variables d'intérêt. Deuxième élément de cadrage : quel est l'usage qui est fait du terme
"évaluation d'impact" par les décideurs politiques et par les acteurs en charge de la mise en
œuvre des politiques publiques ? En France, selon le décret du 18 novembre 1998, l'évaluation
d'une politique publique a pour objectif d'apprécier l'efficacité de cette politique, en comparant
ses résultats aux objectifs assignés et aux moyens mis en œuvre. Le concept peut apparaître
simple, mais sa mise en œuvre est en réalité complexe. D'une part, car les objectifs de l'action
publique peuvent être flous et contradictoires. D'autre part, parce qu'il est difficile de mesurer
les résultats d'une politique. Nous avons déjà commencé à aborder cette difficulté dans la
première séquence de ce module. Enfin, parce que les opérateurs et les bailleurs des
politiques sont parfois réticents à se soumettre à une forme de jugement. Pour de nombreuses
organisations, l'expression "évaluation des politiques" est employée de manière assez large.
Ainsi, une évaluation d'impact peut-être n'importe quelle évaluation qui étudie de manière
systématique et empirique, de manière qualitative ou quantitative, les effets produits par une
intervention. D'autres organisations utilisent en revanche une définition plus restreinte et plus
exigeante. C'est le cas l'USAID qui utilise la définition suivante : les évaluations d'impact
mesurent le changement dans un résultat de développement qui est attribuable à une
intervention définie. Les évaluations d'impact sont basées sur des modèles de causes et
d'effets et demandent un scénario contrefactuel crédible et rigoureusement défini, pour
contrôler les facteurs autres que l'intervention qui pourraient expliquer les changements
observés. Ces différentes définitions sont importantes, quand on décide de quelles méthodes
ou types de recherches seront considérés comme crédible par les utilisateurs ou les
commanditaires de l'évaluation. Troisième et dernière question de cadrage : comment
l'évaluation d'impact s'insère dans l'ingénierie de l'évaluation de projets ? Dans le cadre
proposé par Rossi, Freeman et Lipsey, l'évaluation d'impact est un des éléments constitutifs
de l'évaluation, élément qui s'articule la façon suivante. Premier élément : estimation des
besoins, permet d'identifier les besoins que l'intervention cherche à combler. Deuxième
élément : la théorie du programme décrit les étapes nécessaires pour combler les besoins
identifiés à l'étape précédente. Troisième élément : les évaluations de processus, nécessaires
pour déterminer si les étapes clés et les objectifs atteints respectent le calendrier prévu.
Quatrième élément : les évaluations d'impact, qui sont conçues pour examiner si l'intervention
remplit ses objectifs. Enfin dernier élément : les analyses coût-bénéfice, coût-efficacité qui
mettent en relation les bénéfices et les coûts des interventions à des fins de comparaison. Ce
cours porte plus précisément sur l'étape quatre, à savoir les méthodes permettant de mesurer
l'impact d'une intervention. Dans la terminologie de l'évaluation de projet, il est courant de
distinguer d'un côté les inputs et les processus, et de l'autre, l'impact, les outcomes et les
outputs. Les impacts sont généralement considérés comme se produisant plus tard que les
outcomes. Ceux-ci résultant des outputs immédiats du projet. Prenons un exemple pour
illustrer ces différents concepts. L'intervention à laquelle on s'intéresse a pour objectif de
diminuer la prévalence des maladies diarrhéiques qui sont provoquées par de l'eau
contaminée par des déchets humains, ou animaux. L'intervention, mise en œuvre par une
ONG, consiste à distribuer aux ménages des pastilles de chlore, en vue de désinfecter et de
rendre potable l'eau qu'ils consomment. On peut découper l'intervention en différentes étapes
correspondant aux différents concepts que je viens de présenter. Les inputs et les processus
font référence aux achats et aux procédures que l'ONG met en place afin de distribuer des
pastilles de chlore. L'output direct de cette mise en œuvre, si elle a fonctionné, c'est que les
ménages reçoivent des pastilles de chlore. On peut ensuite définir l'outcome résultant de cet
output, comme le fait que les individus cessent de boire de l'eau contaminée et commencent
à boire de l'eau traitée. Enfin l'impact recherché est que l'incidence des maladies diarrhéiques
diminue dans la population. On peut également replacer ce projet dans un cadre d'objectifs à
long terme, tels que les objectifs du développement durable, qui est la diminution de la
mortalité infantile. La distinction entre les outputs, les outcomes et les impacts peut être relatif
et dépend des objectifs fixés pour une intervention. Dans la pratique il est souvent utile
d'inclure dans l'évaluation aussi bien les outputs, les outcomes que les impacts, afin de
disposer d'éléments permettant de déterminer pourquoi une intervention fonctionne ou ne
fonctionne pas. Résumons. Dans ce MOOC, nous allons présenter les méthodes d'évaluation
d'impact ex-post, c'est-à-dire des méthodes qui cherchent à mesurer, de manière empirique,
l'impact causal d'une intervention, politique ou projet, sur des variables d'intérêt. La demande
d'évaluation d'impact s'insère dans le cadre plus large de la demande d'évaluation des
politiques publiques, qui émane des bailleurs et des opérateurs. Ces bailleurs et ces
opérateurs n'expriment pas tous le même niveau d'exigence méthodologique quant à
l'identification de l'impact causal d'une intervention. Enfin, nous avons vu comment l'évaluation
d'impact s'insère dans les étapes telles que définies dans l'ingénierie de l'évaluation de projet.