PRESENTATION

Thème : LES DIX LIMITES DE LA METHODE DUFLO

EXPOSANTS:

 NIANG Chérif A.M

 OUSALHI Thami
Introduction

I. Esther DUFLO

II. La méthode DUFLO

III. Les 10 limites de la méthode DUFLO

1) La méthode n'est pas si nouvelle en sciences sociales

2) La rigueur des données en question

3) Quand les processus causaux deviennent des boîtes noires

4) Quanti sans quali est ruine de l’explication causale

5) Les résultats des expérimentations dépendent du contexte et sont difficilement

transposables

6) Une rigueur moindre que dans les essais cliniques

7) Du macro au micro, les expérimentations sont muettes sur des questions cruciales

8) Une méthode pertinente seulement pour des mesures simples

9) Une méthode coûteuse

10) Un paternalisme newlook

Conclusion

1
Introduction

En économie du développement, l’une des plus grandes innovations de ce XXIe

siècle consiste en l’introduction d’une méthode qui permet d’optimiser les
politiques d’aide et de développement mises en place par l’Etat, en les réajustant
par moment, de sorte à maximiser au mieux leurs effets. Cette méthode appelée
méthode DUFLO, du nom de son auteure, a révolutionné les politiques
économiques en faveur du développement. Cependant, bien qu’étant très
prometteuse, elle n’est pas « absolue ». C’est ce qu’ont voulu montrer Arthur
Jatteau de l’Université de Lille et Agnès Labrousse de l’Institut d'études
politiques de Lyon dans leur article scientifique intitulé Les 10 limites de la
méthode Duflo paru le 18 Octobre 2019 dans le magazine Alternatives
Economiques. La problématique est donc naturellement : Quelles sont les limites
de la méthode DUFLO ? Avant d’y répondre, nous allons, dans la suite, d’abord
présenter l’auteure de cette méthode, Esther DUFLO, puis sa méthode, avant de
présenter et d’analyser les 10 limites dont il est question dans cet article
scientifique.

I. Esther DUFLO

Née le 25 Octobre 1972 à Paris, Esther Duflo est une économiste française,
actuellement professeure Abdul Latif Jameel de lutte contre la pauvreté et
d'économie du développement au Massachusetts Institute of Technology.

Elle a d'abord étudié à l'École normale supérieure française, où elle est diplômée
en histoire et en économie. En 1999, elle a été embauchée comme professeure
adjointe par le département d'économie du MIT, rejoignant le département
immédiatement après avoir terminé son doctorat, également au MIT. Elle a été
promue professeure agrégée (titulaire) en 2002, à l'âge de 29 ans, ce qui en fait
l'une des plus jeunes professeures de l'Institut à être titularisée.

Ses recherches portent principalement sur l'économie du développement, en

mettant l'accent sur la santé, l'éducation et l'octroi de crédit. Avec Michael
Kremer, Jeff Carpenter, John List et Sendhil Mullainathan, elle a joué un rôle
moteur dans la promotion des expériences sur le terrain en tant que
méthodologie importante pour découvrir les relations causales en économie.

Elle a reçu le prix Elaine Bennet pour la recherche de l'American Economic

Association en 2003. Ce prix rend hommage à une femme économiste de moins de

2
quarante ans qui a apporté des contributions exceptionnelles dans n'importe quel
domaine de la recherche économique. En 2005, Le Monde lui décerne le prix de la
meilleure jeune économiste française. Elle obtient le prix Nobel d’économie en
2019, conjointement avec son époux Abhijit Banerjee et Michael Kremer.

II. La méthode DUFLO

Du nom de son auteure, la méthode DUFLO consiste en l'étude d'une question

limitée et précise, avec comparaison entre un groupe témoin et un groupe
d'expérience, tirés au hasard. Cette méthodologie cherche à répondre à une
difficulté propre aux évaluations des politiques sociales : distinguer clairement,
dans les effets constatés, ce qui relève du processus et ce qui relève de l'impact
des mesures prises (évaluation des causalités). La méthode alternative
d'«évaluation aléatoire» ou d'«expérimentation par assignation aléatoire»
s'avère beaucoup plus efficace pour évaluer l'impact réel des mesures prises.
Elle s'inspire des expériences in vivo en recherche médicale ou pharmaceutique,
les essais cliniques randomisés. Elle consiste à réaliser des expériences de
terrain sur différents groupes en introduisant le hasard. Pour évaluer une action
publique, un programme social, on compare les résultats d'un «groupe traité» pris
au hasard (une région, un village, une école... qui a bénéficié de cette action) à
ceux d'un «groupe témoin» (un autre qui n'en a pas bénéficié). Avec ces
expérimentations aléatoires, il est possible de comparer les effets d'un
programme à ce qu'il se serait passé s'il n'avait pas été introduit.

III. Les 10 limites de la méthode DUFLO

Pour en revenir au texte, qui répond directement à notre problématique, il faut

savoir que dans leur article scientifique, Arthur Jatteau et Agnès Labrousse
présentent les dix principales limites de la méthode DUFLO énumérées ci-après.

1) La méthode n'est pas si nouvelle en sciences sociales

Ils commencent par nous expliquer que la méthode n’est pas la première en
économie à se construire sur des expérimentations aléatoires. La randomisation a
en effet été pratiquée dès les années 1920 en sciences sociales avant
qu’intervienne sa justification statistique ou que les essais cliniques lui confèrent
un surcroît de légitimité scientifique. Ce n’est cependant qu’en 1968 que les
expérimentations aléatoires font une entrée remarquée dans l’économie avec le
lancement du New Jersey Income Maintenance Experiment sous l’impulsion de

3
Heather Ross, une doctorante au MIT. De nombreuses autres suivront, avec des
budgets conséquents, à un tel point que certains parlent là d’un « âge d’or de
l’évaluation aléatoire ». Esther DUFLO n’a donc fait que les remettre sur le
devant de la scène.

2) La rigueur des données en question

La deuxième limite repose sur la rigueur même des données utilisées. En effet,
mises à l’épreuve, les expérimentations rencontrent de nombreux problèmes qui
sont omis dans les publications académiques qui mettent en avant la rigueur de la
méthode : absence de tirage aléatoire, problèmes de perméabilité entre groupes
test et témoin, problèmes d’attrition qui affectent souvent différemment les
deux groupes, « pollution » par une autre intervention réalisée par une ONG dans
un domaine proche etc. Quand les données sont réanalysées par d’autres équipes,
celles-ci aboutissent parfois à des résultats différents.

3) Les processus causaux deviennent des boîtes noires pour les expérimentateurs

Ici, les auteurs expliquent que les expérimentations aléatoires permettent de

montrer si un programme marche ou non, mais ne permettent pas de montrer
pourquoi et comment il marche. Ils prennent l’exemple d’une expérimentation
aléatoire visant à distribuer des manuels scolaires gratuitement à des écoliers,
expérience qui n’a pas marché : le groupe test (celui à qui on a distribué les
manuels) n’a pas obtenu de résultats significativement meilleurs que le groupe
témoin. Mais pourquoi ? Aucun moyen de savoir si l’échec est dû au fait que les
manuels n’étaient pas adaptés aux élèves ou alors les enseignants n’ont pas été
formés à leur usage ou encore est-ce parce que les élèves ne savaient pas
comment s’en servir ? La méthode des expérimentations aléatoires, dans la
manière dont elle est pratiquée aujourd’hui par Esther Duflo et son équipe, ne
permet pas d’en rendre compte.

4) Quanti sans quali est ruine de l’explication causale

Ici le problème est qu’aux yeux d’Esther Duflo et de ses collègues, le caractère
scientifique de l’économie passe par l’utilisation de chiffres rigoureux issus des
expérimentations alors que pour saisir ce qui se déroule réellement lors d’une
expérimentation aléatoire, il faut considérer le terrain comme pourvoyeur de
connaissances en lui-même, et non comme simple « terrain de jeu statistique »,
en procédant par exemple par l’observation et l’entretien. En l’absence d’étude

4
qualitative, les expérimentations peuvent donner lieu à des interprétations très
discutables.

5) Les résultats des expérimentations dépendent du contexte et sont difficilement

transposables

Ici on comprend que les expérimentations aléatoires portent nécessairement sur

un nombre relativement réduit d’individus, dans un territoire donné, à une époque
donnée, etc. Comme pour toutes les sciences sociales, la question de la
généralisation des résultats se pose donc. Ces résultats sont-ils transposables
dans toutes les situations similaires ? Se pose dès lors la question de l’intérêt
même de ce type de méthodes et de ce qu’elles peuvent nous apprendre.

6) Une rigueur moindre que dans les essais cliniques

Une autre limite à la méthode DUFLO est encore une question de rigueur. A titre
de comparaison avec les essais cliniques randomisés pratiqués en médecine, qui
impliquent dans la grande majorité des cas la distribution d’un placebo au groupe
témoin, c’est plus délicat avec les expérimentations aléatoires pratiquées en
économie parce qu’on ne peut pas fabriquer des manuels scolaires factices, ni
distribuer de faux prêts ! L’absence quasi-systématique de placebo dans le cadre
des expérimentations aléatoires peut nuancer la validité même de la méthode.
Les auteurs poursuivent en prenant l’exemple de la médecine : lorsque l’on teste
un médicament en médecine, on distribue un placebo car on sait que, bien
souvent, le simple fait de distribuer un médicament, indépendamment de ses
propriétés, a un effet sur les malades. Il est possible que de la même manière en
économie le simple fait que des individus soient inclus dans une expérimentation
aboutisse à modifier leur comportement. Le problème, c’est qu’il est délicat
d’essayer d’évaluer le poids de cet effet dans les expérimentations aléatoires.

7) De la macro au micro, les expérimentations sont muettes sur des questions

cruciales

La plupart des expérimentations sont muettes sur des questions cruciales en

macroéconomie ou en microéconomie Ainsi, les questions relatives aux politiques
et flux macro-économiques sont absentes, de même que celles touchant à
l’environnement, aux inégalités et aux rapports Nord-Sud, questions pourtant
brûlantes et cruciales ; ces sujets ne peuvent faire l’objet d’expérimentations
aléatoires : on ne peut pas évaluer aléatoirement une politique d’ajustement
structurel. Il en est de même des questions méso-économiques (chaînes de

5
valeur, développement sectoriel et territorial etc.). La méthode DUFLO ne peut
donc pas s’appliquer à tous les domaines.

8) Une méthode pertinente seulement pour des mesures simples

Un autre problème est que la méthode ne peut entreprendre que des mesures
simples et non de véritables programmes d’action sociale. En effet, quand ce sont
des programmes un peu plus complexes qui sont testés (comme dans le cas d’un
dispositif de microcrédit en zone rurale au Maroc), les expérimentations sont de
peu de secours. Il devient difficile de savoir ce qui a été véritablement testé
dans l’expérimentation, sur quelles populations cible et d’en tirer des conclusions
robustes, comme : Qu’est-ce qui joue dans l’échec du programme ? La pertinence
des expérimentations aléatoires est donc limitée à des petits programmes, des «
programmes tunnels ».

9) Une méthode coûteuse

Les expérimentations aléatoires ont des coûts assez variables. Ils peuvent aller
de quelques dizaines de milliers d’euros pour les moins coûteuses, à plusieurs
millions pour les plus onéreuses, les plus chères. En effet, en intégrant le coût de
toutes les personnes impliquées dans le dispositif d’évaluation, les dépenses
peuvent astronomiques. Cela peut aboutir à des situations parfois absurdes où
l’évaluation coûte plus cher que le « traitement », si bien qu’il y aurait
suffisamment d’argent pour distribuer plus largement le traitement. On peut
donc s’interroger sur l’utilité d’une méthode qui reviendrait de plus en plus chère
priverait sciemment une partie de la population du traitement. Cette contrainte
de coût a une autre conséquence de taille : les expérimentations se déroulent
souvent sur une durée réduite (de 6 mois à trois ans) alors même que l’impact de
certains dispositifs demande du temps pour se faire sentir.

10) Un paternalisme newlook

Le dernier problème est qu’enfin les expérimentations se concentrent sur des

objectifs intermédiaires. Or, il n’existe pas de lien mécanique entre la réalisation
de l’objectif intermédiaire et celle de l’objectif final. En se focalisant sur la
réalisation de ces objectifs intermédiaires, les politiques ont tendance à choisir
pour les populations, en estimant ce qui est mieux pour eux, alors que dans la
réalité, les choses peuvent différer. Les auteurs expliquent que cela s’inscrit
dans un paternalisme nudge où les experts sauraient mieux que les acteurs

6
concernés ce qui est bon pour ces derniers. Les méga-fondations accordent une
confiance sans bornes aux solutions technologiques, à l’emploi d’engrais ou d’OGM
en Afrique sans envisager d’alternatives.

Conclusion

En conclusion, nous pouvons dire que la méthode DUFLO reste sans aucun doute
l’une des plus grandes avancées en économie du développement, et son application
reste très utile dans ce domaine, car elle permet de cerner au mieux les réels
problèmes liés au développement, elle doit néanmoins être prise avec des
pincettes, et ne pas être considérée comme la solution « ultime », parce qu’elle
comporte de nombreuses limites à ne pas négliger.