LES AUTRES MÉTHODES DE MESURE

D’IMPACT CAUSAL

1
 • Les méthodes de mesure d’impact causal déjà évoquées en cours ?
• Les expérimentations aléatoires
• La méthode des variables instrumentales
• Présentation de trois autres méthodes
• Les doubles différences
• L’estimation par discontinuité
• Les appariements

2
LES DOUBLES DIFFÉRENCES OU
DIFFÉRENCES DE DIFFÉRENCES

3
 Plan
I. Principe
II. Les tests usuels
III. Cas pratique

4
 I. Principes

• On a vu que les comparaisons avant/après ou bénéficiaires/ non

bénéficiaires ne permettaient pas d’identifier un contrefactuel satisfaisant.
• Dans la DD:
• On admet que les groupes des bénéficiaires et des non bénéficiaires
peuvent être différents
• Mais on suppose que
• ces différences sont constantes dans le temps
• Conséquence:
• Si l’évolution temporelle est identique pour les deux groupes en
l’absence de la PP.
• La PP aura un impact si les tendances commencent à différer à partir de
son introduction

5
I. Principes

• Soient deux groupes

• Observés avant et après la politique publique
• La réforme concerne uniquement un groupe
• Estimateur compare l’évolution de l’outcome des bénéficiaires avant
et après le traitement à celui des non bénéficiaires
ÞDifférence entre les deux groupes des évolutions respectives (différences
temporelles) de leur outcome sur la période
- Une des différence élimine différences entre bénéficiaires et non bénéficiaires
- L’autre élimine l’évolution temporelle (supposée identique en l’absence de
mesure
• Sous l’hypothèse d’évolution de l’outcome identique en l’absence de
mesure.
6
 On calculera l’es9mateur de DD de l’impact de la PP à par9r du calcul
I. Principe suivant :
• ∆=E(y1 −y0|Traitement =1)−E(y1 −y0|Traitement =0)

Ce qui revient à estimer

Y 𝑌!" = 𝛽# + 𝛽$ 𝑡$ + 𝛽% 𝑇𝑟𝑎𝑖𝑡𝑒𝑚𝑒𝑛𝑡 + 𝛽& 𝑡$ . 𝑇𝑟𝑎𝑖𝑡𝑒𝑚𝑒𝑛𝑡+ 𝑢!"
E(Y1 / T=1)
Effet Avec
Evolu9on moyenne traitement • 𝛽$ :Mesure les changements dans le temps lié à la conjoncture
des • 𝛽% : Mesure les différences systéma9ques entre les deux groupes
bénéficiaires Spécificité • 𝛽& : Mesure l’impact de la PP (∆ATT)
groupe
E(Y1 / T=0)

E(Y0 / T=1) Effet

temporel

Evolu9on moyenne
E(Y0 / T=0) des non bénéficiaires

7 t0 t1 Temps
 I. Principes
• Point de vigilance : une hypothèse est nécessaire pour pouvoir mesurer
un effet causal
• L’évolution temporelle est identique pour les deux groupes en l’absence de la PP
ÞHypothèse de séparabilité entre l’effet tendance et l’effet groupe
• On parlera aussi d’hypothèse identifiante, permettant de mesurer l’effet causal
• Condition suffisante: L’exposition au traitement doit dépendre d’une variable
exogène (corr(Ti, uit)=0)

8
II. Les tests usuels
• Il faut réussir à trouver un groupe de contrôle pour lequel l’hypothèse de séparabilité
semble crédible.
• L’hypothèse de séparabilité ne tient que si:
• Les groupes sont stables dans le temps
• La conjoncture impacte de la même façon les deux groupes
• Le contrefactuel peut être
• Un groupe semblable au groupe de traitement mais n’ayant pas bénéficié de la PP
• Un groupe « synthétique », composées de sous-groupes pondérés en fonction de leur ressemblance au
groupe de traitement
• Un groupe construit artificiellement à partir de méthode de matching (cf section suivante), présentant des
caractéristiques observables identiques
!! L’hypothèse de séparabilité est impossible à tester mais on peut tester sa vraisemblance
avec:
1. Une comparaison des évolutions passées de la variable de résultat.
• On teste si avant la mise en place de la PP, les deux groupes connaissaient effectivement la même évolution
Þ Graphique des évolutions des variables de résultats
2. Des tests “Placebo”
• On effectue une estimation DD autour d’une date où il ne s’est rien passé.
• Si le coefficient 𝛽! est significativement différent de 0 => Problème
9
3. Une comparaison de différentes estimations DD si plusieurs plusieurs groupes de contrôle
existent
 II. Cas pratique
• Abadie A., Diamond A. & Hainmueller J. (2010) Synthetic Control Methods for Comparative Case Studies:
Estimating the Effect of California’s Tobacco Control Program, Journal of the American Statistical Association,
105(490): 493-505.

• Population d’analyse:
• Les californiens en 1988
• Objectif:
• Évaluer l’impact de la “proposition 99”, une loi anti-tabac mise en
place en Californie en 1988
• La proposition 99:
• Augmentation des taxes sur le tabac de 25% par paquet,
• Réservation des revenus de ces taxes pour les dépenses de santé, les
programmes éducatifs et de promotion de l’arrêt du tabac,
• Incitation à la création d’espaces non fumeur
10
 II. Cas pratique
• Abadie A., Diamond A. & Hainmueller J. (2010) Synthetic Control Methods for Comparative Case
Studies: Estimating the Effect of California’s Tobacco Control Program, Journal of the American
Statistical Association, 105(490): 493-505.

• Modèle estimé:
• Consommation de tabac = f(proposition 99)
• Problèmes rencontrés si on mesure cet effet naïvement ?
ÞLa consommation de tabac en Californie a pu évoluer dans le temps
pour d’autres raisons que la mise en œuvre de la loi anti-tabac
ÞSolution utilisation d’une estimation DD
• Mais la Californie connaissait déjà une évolution très différente de
celles des autres États américains
ÞProblème pour trouver un contrefactuel crédible

11
 II. Cas pratique

12
 II. Cas pratique
• Solution:
• Estimation par DD avec un contrefactuel construit à partir d’une
moyenne pondérée des consommations par tête dans d’autres États.
• Les pondérations sont inversement proportionnelles aux écarts observés entre
l’État considéré pour
• Les consommations passées de tabac,
• Les déterminants de ces consommations
• Revenu moyen,
• Proportion de jeunes,
• Prix du paquet avant la réforme,
• Consommation de bière par tête.

13
 II. Cas pratique

14
 II. Cas pratique

15
 Conclusion sur la méthode des DD
• La méthode des DD:
• Une approche possible pour mesurer un effet causal lorsque l’on a des données de
panels
• Limites des DD:
• L’hypothèse de séparabilité entre l’effet tendance et l’effet groupe doit être
vérifiée
• Il n’existe pas toujours de contrefactuel crédible vérifiant l’hypothèse
d’évolu;on temporelle iden;que
Þ Ne se prête pas à toutes les PP
• On travaille souvent sur des sous-popula;ons restreintes
• Remise en ques;on possible de la validité externe de la mesure d’impact
de la PP
• La période de temps considérée doit être rela;vement courte pour ne pas
16
capter d’évolu;ons qui ne seraient pas liées à la mesure.
ESTIMATION PAR DISCONTINUITÉ

17
I. Principes
• Certaines PP utilisent une variable continue décrivant la
population de bénéficiaires potentiels pour définir les personnes
éligibles
• Exemple:
• Revenu,
• Indice de pauvreté,
• Note à un examen,
• Âge.
• Ces seuils sont en général utilisés pour :
• Classer ces participants par ordre de priorité
• Établir un seuil déclenchant le statut de bénéficiaires
18 Þ Discontinuité dans l’éligibilité à la PP
I. Principes
• Pons, V. and Tricaud, C. (2018), Expressive Voting and Its Cost: Evidence From Runoffs With
Two or Three Candidates. Econometrica, 86: 1621-1649. https://doi.org/10.3982/ECTA15373
• Règle de qualification pour le second tour pour les élections
législatives et départementales françaises :
• Les candidats arrivés en première et deuxième position au premier tour sont
éligibles d’office
• Un troisième candidat se qualifie uniquement s’il obtient un nombre de voix
supérieur à 12,5 % des inscrits.
• Objectif de l’étude: Mesurer l’impact de la présence d’un troisième
candidat sur les résultats d’une élection
• Stratégie d’identification
• Comparaison des résultats dans les circonscriptions ou cantons dans
lesquels le troisième candidat a obtenu un score entre 12,4 % et 12,6 %
• Données:
• Résultats des élections législatives et départementales françaises selon que
19 deux ou trois candidats sont en lice au second tour.
I. Principes
• Pons, V. and Tricaud, C. (2018), Expressive Voting and Its Cost: Evidence From Runoffs
With Two or Three Candidates. Econometrica, 86: 1621-1649.
• Résultats :
1. La présence d’un troisième candidat au second tour augmente la
participation électorale

Figure 1 : Impact sur la propor3on d’inscrits

votant pour un candidat

20
I. Principes
• Pons, V. and Tricaud, C. (2018), Expressive Voting and Its Cost: Evidence From Runoffs
With Two or Three Candidates. Econometrica, 86: 1621-1649.
• Résultats :
2. La présence d’un troisième candidat au second tour diminue le
nombre de voix obtenues par les deux premiers candidats de 6,9
points de pourcentage

Figure 2 : Impact sur la part des voix des deux

premiers candidats

21
I. Principes
• Pons, V. and Tricaud, C. (2018), Expressive Voting and Its Cost: Evidence From Runoffs
With Two or Three Candidates. Econometrica, 86: 1621-1649.
• Résultats :
3. La présence du troisième candidat affaiblit principalement le
candidat à l’idéologie la plus proche de la sienne et entraîne sa
défaite dans 19,2 % des élections

Figure 3 : Impact sur la probabilité de victoire

du candidat dont l’idéologie est la plus proche
du troisième candidat

22
I. Principes
• La méthode d’estimation par discontinuité exploite la discontinuité
dans le fait de bénéficier de la PP
Þ les personnes bénéficiaires et non bénéficiaires au voisinage de ce seuil
sont très similaires.
Þ Il est crédible de penser qu’au voisinage du seuil : l’hypothèse CIA est
vérifiée dans cette sous-population
• Estimation :
Þ Effectuée sur un sous-échantillon localisé autour du seuil
Þ 𝑌! = 𝛽" + 𝛽# 𝑇! + ∑&$%# 𝛽$'# 𝑋$'# + 𝑢!
• AHen;on:
• 𝛽# ≠ Δ())
• 𝛽# = Δ*()+
Þ Mesure la différence entre les par;cipants et les non-par;cipants localisés
au voisinage du seuil d’éligibilité.
23
24
Graphique 9ré de Josselin et al. (2018. Page 513
I. Principes

• Remarques :
1. L’estimation par discontinuité ne peut être utilisée que si
• La PP évaluée u<lise un indice con<nue pour iden<fier ses bénéficiaires,
auquel on applique un seuil d’éligibilité
• Le seuil d’éligibilité ne doit pas être u<lisé pour une autre PP
Þ Sinon on n’évalue pas seulement les effets de la PP qui nous intéresse

25
I. Principes

• Remarques :
2. La mesure de la causalité est valide si et seulement si
l’indice ne peut pas être manipulé (exogène)

26
Graphique 9ré de Gertler, P.J. et al. 2016. p.120
I. Principes
• Remarques :
3. Il y a deux types d’estimation par discontinuité: franche versus floue
• La régression par discon<nuité franche (« sharp »)
Þ Toutes les personnes éligibles bénéficient de la PP et les non-éligibles
n’en bénéficient pas
• La régression par discon<nuité floue (« fuzzy »)
Þ Une par<e des personnes éligibles ne bénéficient pas de la PP et/ou une
par<e des personnes non éligibles en bénéficient
Þ Traitement sta<s<que différent car la discon<nuité est dans la
probabilité d’être traité
• Pour les es<ma<ons, u<lisa<on de la méthode des variables
instrumentales avec le seuil comme instrument
• Inconvénient: l’es<mateur de l’impact est encore plus localisé car il
est autour du seuil et pour les compliers de l’instrument
27
II. Exemple
Guthmuller S. et Wittwer J., « L’effet de la Couverture maladie universelle complémentaire (CMU-C) sur le nombre de visites chez
le médecin : une analyse par régression sur discontinuités », économie publique/Public economics.
• Population d’analyse:
• Les ménages modestes français
• La CMUC:
• Non obligatoire
• Peuvent y souscrire les ménages dont le revenu est inférieur à 8 951€
• Permet de compléter le remboursement de l’AMO
• Objectif:
• Déterminer si les ménages modestes qui ne sont pas éligibles à la CMU-C recourent moins aux soins que les ménages
bénéficiant de cette couverture gratuite.
• Modèle estimé:
• Nombre de visites chez le médecins = f(CMUC)
• Problèmes rencontrés pour mesurer cet effet ?
• Solution?
• Ne comparer que les individus autour autour du seuil d’éligibilité
=> Sélection des personnes dont le revenu familial par Unité de consommation l’année précédent est compris dans l’intervalle défini par le plafond de la CMU-C + ou – 20%

28
29
30
Conclusion
• L’estimation par discontinuité est possible
• Uniquement pour les PP avec un seuil déclenchant le statut de bénéficiaire
• En cas de grands échantillons
• Car u&lisa&on d’un sous-échan&llon d’individus autour du seuil d’éligilité
Þ Problème fréquent de puissance sta&s&que
Þ Arbitrage entre l’éloignement du seuil d’éligibilité et la crédibilité de l’hypothèse CIA
pour la sélec&on de la sous-popula&on d’analyse
• Faire des analyses de sensibilité pour tester différents choix méthodologiques
• Attention à l’interprétation :
Þ Effet local de la PP: les résultats ne sont valables que pour les individus
à proximité du seuil !
• Problème important si l’objectif de la PP est de déterminer si une PP doit être
mise en place dans la population cible
Þ Validité externe limitée
31 • Aucun problème si l’objectif est de contribuer à une réflexion autour de la valeur
du seuil
LES TECHNIQUES D’APPARIEMENT
Pauline Chauvin
University of Paris Descartes
pauline.chauvin@parisdescartes.fr

32
I. Principes

Les techniques d’appariement

• Méthode utilisée quand il n’y a a priori aucun critère exogène pour
identifier les bénéficiaires d’une PP
Þ Pas de règle d’assignation claire au traitement
• Solution proposée par cette méthode pour obtenir un groupe contrefactuel
crédible ?
• Tentative d’imiter le résultat d’échantillonnage obtenu à partir d’une
assignation aléatoire
ÞIdentification de non-bénéficiaires ayant des caractéristiques similaires aux
bénéficiaires

33
I. Principes

• Différentes étapes de la mise en œuvre:

1. Détermination des variables observables expliquant la participation à
la PP

34
I. Principes

• Différentes étapes de la mise en œuvre:

1. Détermination des variables observables expliquant la participation à
la PP
2. Constitution d’un sous-échantillon de bénéficiaires et de non-
bénéficiaires à partir de ces variables observables
• Il existe différentes méthodes d’appariement:
ÞSélection de paire d’individus (bénéficiaire / non béneficiaire) ayant
• Les mêmes caractéristiques ou ayant la même probabilité de bénéficier de la PP.

35
I. Principes

36
Table 9ré de Gertler et al. (2016). Page 108.
I. Principes
• Différentes étapes de la mise en œuvre:
1. Détermination des variables observables expliquant la participation à
la PP
2. Constitution d’un sous-échantillon de bénéficiaires et de non-
bénéficiaires à partir de ces variables observables
• Il existe différentes méthodes d’appariement:
ÞSélection de paire d’individus (bénéficiaire / non béneficiaire) ayant
• Les mêmes caractéristiques ou ayant la même probabilité de bénéficier de la PP
ÞSi les variables sont nombreuses, estimation de la probabilité de bénéficier du
traitement (Rosenbaum et Rubin 1983).
ÞOn parlera de méthode d’appariement par le score de propension
• Des probabilités proches de bénéficier de la PP.
ÞPlusieurs méthodes existent:
• Méthode du plus proche voisin
• Méthode « caliper matching ».
37 • Défini:on d’une distance maximum pour que le matching soit acceptable
Graphique 9ré de Josselin et al. (2018). Page .
38
 Unité jaune= unité bénéficiaire
Unité bleue = unité non bénéficiaire

Graphique 9ré de Josselin et al. (2018). Page 501.

39
 Remarque: il est possible de sélec:onner plusieurs fois la même personne.

Unité jaune= unité bénéficiaire

Unité bleue = unité non bénéficiaire

40
Graphique +ré de Josselin et al. (2018). Page 502.
I. Principe

41
Table 9ré de Gertler et al. (2016). Page 111.
I. Principes

• Différentes étapes de la mise en œuvre:

1. Détermination des variables observables expliquant la participation à
la PP
2. Constitution d’un sous-échantillon de bénéficiaires et de non-
bénéficiaires à partir de ces variables observables
• Remarque: on fait des tests de différence de moyenne pour s’assurer qu’on a
en moyenne des individus avec les mêmes caractéristiques après matching
3. Mesure de l’effet traitement à partir de ce nouvel échantillon

42
II. Limites

Les techniques d’appariement

• Nécessitent un grand nombre d’observations et de variables
• Sont basées sur une hypothèse très forte:
• Les variables observables sont suffisantes pour contrôler le biais de sélection
Þ Conditional Independence Assumption (CIA) : 𝑌!# , 𝑌!$ ⊥ 𝑇! /𝑋!
• L’utilisation conjointe avec la méthode des doubles differences permet de limiter
l’importance de ce problème (cf. Geniaux et al. 2011)
• Peuvent se baser sur un support commun entre bénéficiaires et non bénéficiaires très
étroit

43
II. Limites

Les techniques d’appariement

• Nécessitent un grand nombre d’observations et de variables
• Sont basées sur une hypothèse très forte:
• Les variables observables sont suffisantes pour contrôler le biais de sélection
Þ Conditional Independence Assumption (CIA) : 𝑌!# , 𝑌!$ ⊥ 𝑇! /𝑋!
• L’utilisation conjointe avec la méthode des doubles differences permet de limiter
l’importance de ce problème (cf. Geniaux et al. 2011)
• Peuvent se baser sur un support commun entre bénéficiaires et non bénéficiaires très
étroit
ÞUne proportion significative des individus aux extrémités de la distribution des
scores de propension ne seront pas appareillés.
ÞMesure d’impact potentiellement locale
ÞPeut remettre en question la validité externe de l’étude

44
III. Exemple
• Karl Even, Tristan Klein, Denis Fougère, Valentine Henrard, Cyril Nouveau (2007). Les contrats et stages aidés : un
profit à moyen terme pour les participants ? Les exemples du CIE, du CES et du Sife. Economie et Statistique Année
2007 408-409: 3-43.

• Objectif de l’étude: mesurer l’efficacité de deux politiques publiques

de l’emploi de la fin des années 90.
• Contrat emploi solidarité (CES),
• Contrat initiative emploi (CIE), ou
• Stage d’insertion et de formation à l’emploi (Sife « collectif »)
• Méthodes
• Comparaison du retour à l’emploi d’anciens bénéficiaires de ces dispositifs à
celui d’une population contrôle de demandeurs d’emploi éligibles.
• Problème pour mesurer une causalité en cas de comparaison « naive » ?
• Biais de sélection
• Solution proposée par les auteurs:
• Appariement de populations de bénéficiaires et de contrôles
45
III. Exemple
• Karl Even, Tristan Klein, Denis Fougère, Valentine Henrard, Cyril Nouveau (2007). Les contrats et stages aidés :
un profit à moyen terme pour les participants ? Les exemples du CIE, du CES et du Sife. Economie et
Statistique Année 2007 408-409: 3-43.

• Méthodes
• Etape 1:
• une régression logistique pour estimer la probabilité de participer à l’un des
dispositifs (= score de propension)
• Variables explicatives
• Démographiques (sexe - âge) ;
• tenant à la situation antérieure à la date d’entrée dans un des dispositifs (objectif
avant l’entrée en dispositif (au début de l’inscription à l’ANPE pour les demandeurs
d’emploi) - parcours professionnel - catégorie d’emploi - ancienneté au chômage -
démarches de recherche d’emploi - niveau de formation - situation familiale - niveau
de vie - être propriétaire) ;
• liées à des difficultés particulières (handicap physique - discrimination sur l’origine -
problèmes de transport).
46
 III. Exemple

Cons9tu9on de l’échan9llon qui

servira pour es9mer l’efficacité
des programmes en éliminant
les individus aux premiers et
derniers cen9les des
distribu9ons des scores de
propension dans chaque
groupes

47
III. Exemple
• Karl Even, Tristan Klein, Denis Fougère, Valentine Henrard, Cyril Nouveau (2007). Les contrats et stages aidés :
un profit à moyen terme pour les participants ? Les exemples du CIE, du CES et du Sife. Economie et
Statistique Année 2007 408-409: 3-43.

• Méthodes
• Etape 2: estimation de l’efficacité des programmes, à partir de deux méthodes
pondérant le poids des individus du groupe de contrôle en fonction de leur score de
propension
• L’estimateur à noyau développé par Heckman et al. (1997)
• Chaque individu du groupe de contrôle participe à la construction du contrefactuel
d’un bénéficiaire avec une importance qui varie selon la distance entre son score et
celui de l’individu considéré
• L’estimateur pondéré proposé dans Dehejia et Wahba (2002)
• Pondère la situation de chaque témoin selon son score calculé dans l’étape
précédente

48
III. Exemple
• Karl Even, Tristan Klein, Denis Fougère, Valentine Henrard, Cyril Nouveau (2007). Les contrats et stages aidés :
un profit à moyen terme pour les participants ? Les exemples du CIE, du CES et du Sife. Economie et
Statistique Année 2007 408-409: 3-43.

• Résultats :
• En moyenne le CIE est efficace du point de vue du retour à
l’emploi et de l’améliora9on du niveau de vie
• Le CES et les Sife collec9fs n’améliorent pas significa9vement les
trajectoires des bénéficiaires par rapport à celles des témoins.

49
III. Exemple

50
III. Exemple

51
III. Exemple

52
III. Exemple

53
III. Exemple

54
III. Exemple

55