Chapitre 1 : Modèle dichotomique

Idrissa Diagne
ENSAE 2023-2024

3 novembre 2023

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Introduction
Objectif : modéliser une variable qualitative y à partir d’un
ensemble de K variables (co-variables) x
Dans ce chapitre, y prend deux valeurs. Elle renvoie à un
choix dichotomique ou à la simple survenance ou non d’un
évenement donné.
Codage de la variable binaire ( par commodité, arbitraire)

 1 si l’évenement est observé pour i


yi =


 0 sinon

E (yi ) = P(yi = 1) = pi l’esperence de yi est la proba de

survenance de l’évenement ⇒ intérêt de ce codage
Modélisation pour expliquer/prédire la probabilité d’occurence
d’un évenement donné
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Types de specification

plusieurs types de specification du modèle possible, dont :

Specification linéaire (non adéquat !)
Modèle Logit
Modèle Probit
Specification avec variables latentes

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Types de specification
Specification linéaire (non adéquat !)
Essayons d’appliquer le modèle linéaire classique

yi = xi′ β + εi (E 1)

où β = (β1 , ..., βK )′ ∈ R k désigne un vecteur de K paramètres

inconnus. Les perturbations εi sont supposées iid
une telle specification pose plusieurs problèmes dont :

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Types de specification
Specification linéaire (non adéquat !)
Essayons d’appliquer le modèle linéaire classique

yi = xi′ β + εi (E 1)

où β = (β1 , ..., βK )′ ∈ R k désigne un vecteur de K paramètres

inconnus. Les perturbations εi sont supposées iid
une telle specification pose plusieurs problèmes dont :
Pb1 : Natures des termes de gauche et de droite de (E1)
differentes ⇒ β n’est pas interprétable (car la valeur dépend
de la codification).

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Types de specification
Specification linéaire (non adéquat !)
Essayons d’appliquer le modèle linéaire classique

yi = xi′ β + εi (E 1)

où β = (β1 , ..., βK )′ ∈ R k désigne un vecteur de K paramètres

inconnus. Les perturbations εi sont supposées iid
une telle specification pose plusieurs problèmes dont :
Pb1 : Natures des termes de gauche et de droite de (E1)
differentes ⇒ β n’est pas interprétable (car la valeur dépend
de la codification).
Pb2 : Prenons le cas K=1 et representons le nuage de points
(xi , yi ). Ce nuage de points reparti entre deux droites ne peut
s’ajuster linéairement de façon satisfaisante.
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Types de specification

Specification linéaire
Pb3 : (E 1) ⇒ εi = yi − xi β

′
 1 − xi β avec une proba pi


εi =

 −x′ β avec une proba 1 − p

i i

E (εi ) = 0 ⇒ pi = xi′ β . Or à priori xi′ β peut-être négatif ou

plus grand que 1
Pb4 : Hétéroscédasticité des erreurs V (εi ) = xi′ β(1 − xi′ β)
ce problème peut-être surmonté avec l’utilisation des moindres
carrées quasi généralisés.

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Types de specification
Modèle logit et Modèle Probit
Rappel de l’objectif : expliquer la probabilité d’occurence de
l’evenement notée pi

pi = P(yi = 1/xi ) = E (yi /xi ) = F (xi′ β) (E 2)

où F() désigne une fonction de répartition.

Choix souvent porté sur la loi logistique ou la loi normale
Exercice : réviser les fonctions de répartition et les propriétés
de ces deux lois !
Modèle Logit : pi = Λ(xi′ β) = 1
−x ′ β
1+e i
Z x ′β
i 1 z2
Modèle Probit : pi = Φ(xi′ β) = √ e − 2 dz
−∞ 2π
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Types de specification
Variable lattente Amemiya (1981)
Variable non observée ou partiellement observée et qui est
supposée determiner la survenance ou non de l’évenement
Exemple 1 : Pour tuer des moustiques, ils sont exposés à une
pulverisation d’un insecticide. yi = 1 si le moustique i survit
suite à la pulverision et 0 sinon. Les moustiques sont supposés
exposer à la même quantité d’insecticide γ. un moustique va
survivre ou pas selon son degrés de résistence yi∗ (la variable
lattente). Ce dernier depend de certaines de ses
caractéristiques xi .

 1

 si yi∗ > γ
yi =


 0 sinon
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Types de specification
Variable lattente Amemiya (1981)
Variable non observée ou partiellement observée et qui est
supposée determiner la survenance ou non de l’évenement
Exemple 1 : Pour tuer des moustiques, ils sont exposés à une
pulverisation d’un insecticide. yi = 1 si le moustique i survit
suite à la pulverision et 0 sinon. Les moustiques sont supposés
exposer à la même quantité d’insecticide γ. un moustique va
survivre ou pas selon son degrés de résistence yi∗ (la variable
lattente). Ce dernier depend de certaines de ses
caractéristiques xi .

 1

 si yi∗ > γ
yi = yi∗ = xi′ β + εi


 0 sinon
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Types de specification

Variable lattente Amemiya (1981)

Exemple 2 : un individu décide de travailler si son utilité avec
le travail U(1, xi ) est plus grande que son utilité s’il ne
travaille pas U(0, xi )

∗
 1 si yi = U(1, xi ) − U(0, xi ) > 0


yi =


 0 sinon

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Types de specification
Variable lattente Amemiya (1981)
Rque : si la combinaison linéaire xi′ β comporte un terme
constant alors γ n’est pas identifiable.
Dans ce cas, sans perte de généralité, on peut normaliser γ à
0.
pi = P(yi = 1/xi ) = P(yi∗ > 0/xi ) = P(−εi < xi′ β) = F (xi′ β)
où F est la fonction de répartion de −εi . Elle sera egalement
la fonction de répartition de εi pour une loi symetrique autour
de 0.
D’où pi = F (xi′ β)
on retrouve donc les modèles Logit ou probit selon la fonction
F() choisie
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Estimation
Effets marginaux
On part de notre modèle pi = P(yi = 1/xi ) = F (xi′ β)
Variation de la probalitié conditionnelle de l’occurence de
l’evenement suite à une variation marginale d’un regresseur.
L’effet marginal est :
∂P(yi = 1/xi )
= F ′ (xi′ β)βj ̸= βj
∂xij
où F’() est la dévirée de F.
Rque 1 : l’effet margianl depend de l’individu i considéré (c’est
le cas des modèles non linéaires). Il depend aussi du choix de
F()
Rque 2 : l’effet marginal est différent de βj mais les deux sont
de même signe.
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Estimation

Effets marginaux
Plusieurs façon d’éstimer l’effet marginal moyen
1 P ′ ′b b
le meilleur estimateur semble être F (xi β)βj
N i

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Effets marginaux
Plusieurs façon d’éstimer l’effet marginal moyen
1 P ′ ′b b
le meilleur estimateur semble être F (xi β)βj l’effet
N i
partiel moyen (EPM).

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Effets marginaux
Plusieurs façon d’éstimer l’effet marginal moyen
1 P ′ ′b b
le meilleur estimateur semble être F (xi β)βj l’effet
N i
partiel moyen (EPM).
Expression gourmande en temps de calcul avant les
developpements recents de l’informatique
Pour cette raison pratique, il était préféré à F ′ (x ′ β)
b βbj

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Effets marginaux
Plusieurs façon d’éstimer l’effet marginal moyen
1 P ′ ′b b
le meilleur estimateur semble être F (xi β)βj l’effet
N i
partiel moyen (EPM).
Expression gourmande en temps de calcul avant les
developpements recents de l’informatique
Pour cette raison pratique, il était préféré à F ′ (x ′ β)
b βbj l’effet
partiel pour l’individu moyen de l’échantillon
Pour une discussion voir Greene (2011) P. 696

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Estimation par maximum de vraisemblance

Estimation basée sur la méthode du maximum de
vraisemblance
Par définition, chaque yi suit une loi de bernouilli de
paramétre pi = F (xi′ β)
Avec l’independance des observations, la vraisemblance peut
s’écrire :
n
Y n
Y
L(β/X ) = P(Yi = yi /xi ) = (F (xi′ β))yi (1 − F (xi′ β))1−yi
i=1 i=1

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation
Estimation par maximum de vraisemblance
le principe est de chercher le vecteur de parametre qui
maximise la vraisemblance
l’intuition : chercher le vecteur de paramétre qui donne ”la
chance la plus élevée d’observer l’échantillon tirée”
En appliquant le logarithme, puis en dérivant, on obtient les
équations de vraisemblance :
n
∂lnL X yi fi −fi 
= + (1 − yi ) xi = 0
∂β Fi 1 − Fi
i=1
où f est la densité associée a F. fi = f (xi′ β) et Fi = F (xi′ β)
Rque : Equation non linéraire qui nécessite un algorithme
itératif (ex l’algo de Newton-Raphson)
réviser les prpriétés de l’EMV
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Estimation
Estimation par maximum de vraisemblance
le principe est de chercher le vecteur de parametre qui
maximise la vraisemblance
l’intuition : chercher le vecteur de paramétre qui donne ”la
chance la plus élevée d’observer l’échantillon tirée”
En appliquant le logarithme, puis en dérivant, on obtient les
équations de vraisemblance :
n
∂lnL X yi fi −fi 
= + (1 − yi ) xi = 0
∂β Fi 1 − Fi
i=1
où f est la densité associée a F. fi = f (xi′ β) et Fi = F (xi′ β)
Rque : Equation non linéraire qui nécessite un algorithme
itératif (ex l’algo de Newton-Raphson)
réviser les prpriétés de l’EMV (Convergence, Normalité
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Estimation

Estimation par maximum de vraisemblance

La matrice de variance co-variance peut-être éstimée par :
n
X 2 −1
fbi
V
b [βbMV ] = xi xi′ où fbi = f (xi′ β)
b et Fbi = F (x ′ β)
i
b
i=1 Fbi (1 − Fbi )

On peut également utiliser l’EQMV (qui est robuste par

rapport à la densité postulée) et estimer la matrice de
variance co-variance par l’estimateur Sandwich ou de withe
(voir Green(2011) P. 535)

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation
Modèle Logit
Le modèle Logit ou modèle de regression logistique se
présente comme suit :
′
e xi β
pi = Λ(xi′ β) = ′
1 + e xi β
Les CPO de la maximisation de la log vraisemblance
deviennent :
n
X
(yi − Λ(xi′ β))xi = 0
i=1
Rque 1 : Considérant le terme yi − Λi comme un résidu, on
retrouve quelques similitudes avec les MCO.
Rque 2 : Si le modèle a une constante, alors la moyenne des
probabilités prédites doit être égale à la proportion de ”1” dans
l’échantillon
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Estimation
Modèle Logit
Les effets marginaux pour le modèle logit se calculent
comme suit :
∂pi
= pi (1 − pi )βj
∂xij
Avec la rque 2, une estimation de l’effet marginal estimé est
donnée par y (1 − y )βbj
Généralement on préfère interpréter les résultats des
estimations en terme d’effet marginal sur les odds ou risque
relative que sur les probabilités. Les odds (côtes) sont définis
pi
par logit(pi ) = . Les logiciels statistiques utilisent
1 − pi
pi
souvent les log-odds Ln
1 − pi
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Estimation

Modèle Logit
Pour un modèle logit, on a :
x′β pi ′ pi
pi = e i x ′ β ⇒ = e xi β ⇒ Ln = xi′ β
1+e i 1 − pi 1 − pi
les log-odds sont ici linéaires en β
Exemple d’utilisation des odds : probabilité de survie en
biostatistique
En économie, les log-odds sont plus utilisés. Ils s’interprétent
comme des semi-élasticités.
pour les variables qualitatives ou discretes, les odds ratio ou
log-odds ratio (rapports de côtes) sont également calculés.
ORA/B = Odds(A)/Odds(B) et LORA/B = log (ORA/B ).

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Modèle Probit
Le modèle probit spécifie la probabilité conditionnelle comme
suit : Z xi′ β
1 z2
pi = Φ(xi′ β) = √ e − 2 dz
−∞ 2π
les CPO de l’EMV deviennent :
n
X
wi (yi − Φ(xi′ β))xi = 0
i=1

où, contrairement au modèle logit, le poids

ϕ(xi′ β)
wi = varie avec les observations. ϕ() est
Φ(xi′ β)(1 − Φ(xi′ β))
la densité de la loi normale centrée réduite

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Modèle Probit
Pour le modèle logit, les effets marginaux se calculent comme
suit :
∂pi
= ϕ(xi′ β)βj = ϕ(Φ−1 (pi ))βj
∂xij

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Choix du modèle : Logit ou probit

Les aspects théoriques
En théorie, le meilleur modèle est celui qui coincide avec le
processus de génération des données (inconnu)
Toutefois, les conséquences sur les estimations d’une erreur de
spécification sont moindres. voir Ruud (1983)
Le modèle logit est techniquement plus simple mais le modèle
probit est celui adapté lorsque l’on a à faire avec une variable
lattente normale ( cas plus fréquents).

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation
Choix du modèle : Logit ou probit
Les aspects empiriques
Empiriquement, les probabilités prédites par les deux modèles
sont souvent proches.
Les log-vraisemblance ajustée des deux modèles sont souvent
pratiquement les mêmes. Ce qui suggère que l’information
additionnelle apportée par l’utilisation d’un modèle à la place
de l’autre est faible.
les coefficients des deux modèles sont de même signe et on a
les relations (approchées) suivantes :

βblogit ≃ 4βbMCO βbprobit ≃ 2.5βbMCO βblogit ≃ 1, 6βbprobit

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Estimation

Choix du modèle : Logit ou probit

Conclusion
Pour la spécification d’un modèle binaire simple, les modèles
logit et probit sont quasiment équivalents.

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Qualité d’ajustement et tests d’hypothèses
Qualité d’ajustement
Principales mesures d’ajustement : l’indice du rapport de
vraissemblance et la règle de prédiction
d’autres mesure d’ajustement dans Amemiya (1981) et
Maddala (1983).
l’indice du rapport de vraisemblance est défini par :
lnL
IRV = 1 −
lnL0
où lnL est la log-vraisemblance du modèle et lnL0 est la
log-vraisemblance lorsque toutes les pentes sont nulles.
Mesure analogue au R 2 . l’IRV est comprise entre 0 et 1.
l’IRV augemente à mesure que l’ajustement s’améliore.
l’IRV presente tout de même certaines limites. voir Grenn
(2011)Idrissa
P. 701Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Qualité d’ajustement et tests d’hypothèses
Qualité d’ajustement
La régle de prédiction du résultat (outcome) part du critère
2
P
i (yi − ybi ) que l’on souhaite minimale.

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Qualité d’ajustement et tests d’hypothèses
Qualité d’ajustement
La régle de prédiction du résultat (outcome) part du critère
2
P
i (yi − ybi ) que l’on souhaite minimale.

Les mauvaises prédctions sont :

(yi , ybi ) = (0, 1) où (yi , ybi ) = (1, 0)

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Qualité d’ajustement et tests d’hypothèses
Qualité d’ajustement
La régle de prédiction du résultat (outcome) part du critère
2
P
i (yi − ybi ) que l’on souhaite minimale.

Les mauvaises prédctions sont :

(yi , ybi ) = (0, 1) où (yi , ybi ) = (1, 0)
pour prédire la valeur de y on peut opter pour la régle
suivante ybi = 1 si pbi = F (x ′ β)
b > 0.5 et 0 sinon.
i

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Qualité d’ajustement et tests d’hypothèses
Qualité d’ajustement
La régle de prédiction du résultat (outcome) part du critère
2
P
i (yi − ybi ) que l’on souhaite minimale.

Les mauvaises prédctions sont :

(yi , ybi ) = (0, 1) où (yi , ybi ) = (1, 0)
pour prédire la valeur de y on peut opter pour la régle
suivante ybi = 1 si pbi = F (x ′ β)
b > 0.5 et 0 sinon.
i

Cependant, cette règle présente des defaillances si l’échatilllon

est déséquilibré dans un sens ou dans l’autre (plus de o ou
plus de 1)

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Qualité d’ajustement et tests d’hypothèses
Qualité d’ajustement
La régle de prédiction du résultat (outcome) part du critère
2
P
i (yi − ybi ) que l’on souhaite minimale.

Les mauvaises prédctions sont :

(yi , ybi ) = (0, 1) où (yi , ybi ) = (1, 0)
pour prédire la valeur de y on peut opter pour la régle
suivante ybi = 1 si pbi = F (x ′ β)
b > 0.5 et 0 sinon.
i

Cependant, cette règle présente des defaillances si l’échatilllon

est déséquilibré dans un sens ou dans l’autre (plus de o ou
plus de 1)
une alternative consiste à choisir un seuil c compris entre 0 et
1 et poser ybi = 1 si pbi = F (x ′ β)
b > c et 0 sinon..
i
Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique
Qualité d’ajustement et tests d’hypothèses

Qualité d’ajustement
On représente sur un graphique la fraction de y=1
correctement prédite contre la proportion de y=0
incorrectement prédite à mesure que c varie : la courbe ROC
(Receiver Operating Characteristics).

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique

Qualité d’ajustement et tests d’hypothèses

Tests d’hypothèses
Pour tester des hypothèses sur les coefficients, on dispose du
test de Wald, du test du rapport de vraisemblance et du test
du multiplicateur de Lagrange. //
Pour aller plus loin
interactions, endogénéité, hétéroscedasticité,... (à voir en TP)

Idrissa Diagne ENSAE 2023-2024 Chapitre 1 : Modèle dichotomique