Statistique Bayesienne

Troisième année
2009 – 2010
Statistique Bayésienne
Notes de cours
Judith Rousseau 1
rousseau@ceremade.dauphine.fr
1. Ce support de cours a été rédigé par Mathias André et Alexis Eidelman, élèves en 2008 –
2009 puis relu et corrigé par Julyan Arbel, correspondant de statistiques. Il s’appuie notamment
sur l’ouvrage de référence de la statistique bayésienne, disponible dans toute bonne bibliothèque :
Le Choix Bayésien - Principes et pratique de Christian P. Robert [2].
Table des matières
1 Introduction : Les principes bayésiens 1

1.1 L’inférence bayésienne . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Extension aux lois impropres . . . . . . . . . . . . . . . . . . 2
1.3 Extension aux modèles non dominés . . . . . . . . . . . . . . 4
2 Une introduction à la théorie de la décision 5

2.1 Fonction de perte et risque . . . . . . . . . . . . . . . . . . . . 5
2.2 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.3 Fonction de perte intrinsèque . . . . . . . . . . . . . . . . . . 8
2.4 Admissibilité et minimaxité . . . . . . . . . . . . . . . . . . . 11
2.4.1 Admissibilité . . . . . . . . . . . . . . . . . . . . . . . 11
2.4.2 Minimaxité . . . . . . . . . . . . . . . . . . . . . . . . 13
3 Estimation ponctuelle 15
3.1 Estimateur du maximum a posteriori . . . . . . . . . . . . . . 15
3.2 Importance de la statistique exhaustive . . . . . . . . . . . . . 16
3.3 Prédiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.4 Modèle Gaussien . . . . . . . . . . . . . . . . . . . . . . . . . 17
3.5 Mesure d’erreur . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4 Tests et régions de confiance 21

4.1 Région de confiance . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.2 Calcul de région hpd . . . . . . . . . . . . . . . . . . 24
4.2 Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.2.1 Approche par la fonction de perte de type 0–1 . . . . 26
4.2.2 Facteur de Bayes . . . . . . . . . . . . . . . . . . . . . 28
4.2.3 Variations autour du facteur de Bayes . . . . . . . . . 30
4.2.4 Propriétés asymptotiques des facteurs de Bayes . . . . 31
4.2.5 Calcul du facteur de Bayes . . . . . . . . . . . . . . . 34
5 Propriétés asymptotiques des approches bayésiennes 35

5.1 Théorie générale . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.2 Normalité asymptotique de la loi a posteriori . . . . . . . . . 37
ii TABLE DES MATIÈRES
6 Détermination de lois a priori 39

6.1 Lois subjectives . . . . . . . . . . . . . . . . . . . . . . . . . . 39
6.2 Approche partiellement informative . . . . . . . . . . . . . . . 40
6.2.1 Maximum d’entropie . . . . . . . . . . . . . . . . . . . 40
6.2.2 Familles conjuguées . . . . . . . . . . . . . . . . . . . . 41
6.3 Approche non informative . . . . . . . . . . . . . . . . . . . . 43
6.3.1 Lois de Jeffreys et Bernardo . . . . . . . . . . . . . . . 44
6.3.2 Loi a priori de concordance – (matching priors) . . . . 45
7 Méthodes numériques 47
7.1 Approches indépendantes . . . . . . . . . . . . . . . . . . . . 47
7.2 Méthodes mcmc . . . . . . . . . . . . . . . . . . . . . . . . . 48
7.2.1 Algorithme Hasting-Metropolis . . . . . . . . . . . . . 48
7.2.2 Algorithme de type Gibbs . . . . . . . . . . . . . . . . 49
Conclusion 50
Bibliographie 50
Chapitre 1
Introduction : Les principes

bayésiens
1.1 L’inférence bayésienne

Définition 1.1.1 Modèle classique
On se place dans un espace probabilisé paramétrique classique :
X ∈ (X , B, {Pθ , θ ∈ Θ})
X désigne l’espace des données, Θ celui des paramètres θ. Le but de l’analyse

statistique est de faire de l’inférence sur θ, c’est-à-dire décrire un phénomène
passé ou à venir dans un cadre probabiliste.
L’idée centrale de l’analyse bayésienne est de considérer le paramètre
inconnu θ comme aléatoire : l’espace des paramètres Θ est muni d’une pro-
babilité π tel que (Θ, A, π) est un espace probabilisé. Nous noterons θ ∼ π.
π est appelée loi a priori. Intuitivement et en termes informationnels, elle
détermine ce qu’on sait et ce qu’on ne sait pas avant d’observer X.
Définition 1.1.2 Modèle dominé

Le modèle est dit dominé s’il existe une mesure commune dominante µ, c’est-
à-dire pour tout θ, Pθ admet une densité par rapport à µ : 1
dPθ
f (X|θ) =
dµ
Cette fonction `(θ) = f (X|θ), vue comme une fonction de θ une fois
qu’on a observé un tirage de X, est appelée vraisemblance du modèle. C’est
la loi de X conditionnellement à θ.
1. Pour des mesures σ-finies et en vertu du théorème de Radon-Nikodym, ceci est
équivalent à être absolument continue par rapport à µ.
2 Introduction : Les principes bayésiens
Définition 1.1.3 Loi jointe et loi a posteriori

Dans le cas d’un modèle dominé, la loi jointe de (X, θ) s’écrit λπ (X, θ) =
f (X|θ)dπ(θ) = f (X|θ)π(θ)dν(θ), la dernière égalité étant valable dans le
cas absolument continu par rapport à ν, la mesure de Lebesgue 2 . La loi a
posteriori est définie par sa densité :
f (X|θ)dπ(θ)
dπ(θ|X) = R (1.1)
Θ f (X|θ)dπ(θ)
R
La quantité mπ (X) = Θ f (X|θ)dπ(θ) est la loi marginale de X et est une
constante de normalisation de la loi a posteriori, indépendante de θ. Nous
travaillerons donc très régulièrement à une constante multiplicative près :
π(X|θ) ∝ f (X|θ)π(θ). Nous ajoutons que par construction la loi a posteriori
est absolument continue par rapport à la loi a priori π.
Exemple 1.1 Dans le cas gaussien, à variance connue : X ∼ N (µ, σ 2 ) et

θ = µ (σ 2 connnu) :
(µ−µ0 )2
e− 2τ 2
π(µ) = √
τ 2π
(X−µ)2 (µ−µ0 )2
π(µ|X) ∝ e− e− 2τ 2
2σ 2

1 1 1 X µ0 1 1 −1
π(µ|X) ∝ exp − ( 2 + 2 µ − ( 2 + 2 )( 2 + 2 ) )
2 σ τ σ τ σ τ
Ainsi
τ2 σ2 σ2τ 2
π(µ|X) ∼ N (X + µ 0 2 , )
σ2 + τ 2 σ + τ 2 σ2 + τ 2
On remarque sur cet exemple que la loi a posteriori est plus resserrée (poin-
tée) que la loi a priori. Cela s’avère être intuitif : la loi a posteriori est
la loi de θ en ayant une information supplémentaire à savoir la donnée de
X, l’incertitude sur θ ne peut donc que diminuer, en d’autres termes la va-
riance diminue. En considérant Xn = n1 ni=1 Xi dans le cas indépendant et
P
identiquement distribué, la loi a posteriori se centre sur X n avec un nombre
d’observations qui augmente. Dans ce cas, elle se rapproche du maximum de
vraisemblance.
1.2 Extension aux lois impropres

Nous généralisons l’approche précédente aux lois a priori impropres, ce
qui est notamment utile dans les modèles non-informatifs.
2. B est la tribu borélienne dans Rp .
1.2 Extension aux lois impropres 3
Définition 1.2.1 Loi impropre

Une loi impropre est une mesure σ-finie 3 qui vérifie Θ π(θ)dν(θ) = +∞.
R
L’utilisation d’une loi a priori impropre peut sembler saugrenue mais

cela peut s’avérer particulièrement intéressant. Il est ainsi envisageable de
travailler avec une loi normale centrée à grande variance pour approcher
une « loi uniforme sur R » ; avec de bonnes propriétés, il est judicieux (et
préconisé !) de travailler alors avec une loi impropre, la mesure de Lebesgue
par exemple. Cependant une telle loi est utile du moins tant que la loi a
posteriori existe. Aussi, on se limite aux lois impropres telles que :
Z
mπ (X) = f (X|θ)dπ(θ) < ∞ µ-pp
Θ
Exemple 1.2 Loi uniforme généralisée

– Loi a priori uniforme 4
dπ(µ) = dµ
X ∼ N (µ, σ 2 )
Z
(X−µ)2 √
∀X mπ (X) = e− 2σ2 dµ = σ 2π < ∞
La mesure de Lebesgue sur R est donc une loi impropre qui peut être
utilisée.
– Dans le cas suivant :
X1 , . . . , Xn ∼ N (µ, σ 2 )
1
π(µ, σ) = et Θ = R × R∗+
σ
L’intégrale de la loi a priori s’écrit :
Z Z +∞ Pn 2 Z +∞ Pn 2
(X¯n −µ)2 i=1 (Xi −X̄) dσdµ 1 i=1 (Xi −X̄) dσ
e− 2σ2 e 2σ 2 = √ e 2σ 2
R 0 σ n+1 0 2π σn
Pour que l’expression converge, il faut avoir n > 1 et la propriété suivante

vérifiée : (∃i, j; i 6= j, tqXi 6= Xj ). Lorsque n > 1 l’ensemble des vecteurs qui
ne vérifient pas cette propriété est de mesure nulle et donc n’affecte pas la
finitude de l’intégrale définie ci-dessus. Il est possible de donner une interpré-
tation intuitive du résultat précédent. Pour estimer la dispersion (variance),
au moins deux observations sont nécessaires. L’interprétation est peut-être un
peu moins évidente en ce qui concerne la deuxième remarque mais elle reste
cohérente si toutes les observations sont égales. L’inférence sur σ conduit
alors à considérer ce paramètre comme nul ; dans un tel cas, la distribution a
3. Cela peut être défini dans un cas général sans σ-finitude mais, comme nous allons
le voir, sans grand intérêt. . .
4. Dans ce cas, π est la mesure de Lebesgue.
4 Introduction : Les principes bayésiens
priori π(µ, σ 2 ) = σ12 n’est pas définie, il n’est donc pas classique de la choisir
de cette forme.
Dans le cas où π est une mesure impropre σ-finie, on considère π ∗ = c · π,
cette constante arbitraire doit être sans influence pour être cohérent. C’est
bien le cas car c se simplifie haut et bas dans l’équation (1.1) définissant la
loi a posteriori de telle sorte que dπ ∗ (θ|X) = dπ(θ|X).
En conclusion, l’usage de lois impropres a priori est justifié si la loi a
posteriori est propre (non impropre 5 ) car elle ne dépend pas de constante
multiplicative de la loi a priori. Ceci est à rapprocher du principe de vraisem-
blance indiqué par Christian Robert. D’une manière plus générale, l’inférence
bayésienne se base sur π(θ|X).
1.3 Extension aux modèles non dominés

Le paramètre a jusqu’à présent été choisi parmi les éléments de Rd avec
d fini dans un modèle dominé. Il est envisageable de choisir Θ = [0, 1]R ,
l’ensemble des distributions sur [0, 1] ou encore l’ensemble des probabilités
sur R (qui est non dominé).
Dans ce dernier cas, si P ∼ π une probabilité sur Θ, par exemple un
processus de Dirichlet, on définit la loi a posteriori comme une version de la
loi conditionnelle. Sur (R, B) et (Θ, A), pour (A, B) ∈ A × B :
Z Z Z
P (X ∈ B)dπ(P ) = mπ (X)dπ(P |X)
A B A
La loi de Dirichlet,
Pp notée D(α1 , · · · , αp ), est définie sur le simplexe Sp =
{(x1 , · · · , xp ), i=1 xi = 1, xi ≥ 0 pour 0 ≤ i ≤ p} par :
P
α1 αp Γ( i αi )
dπα (x) = x1 . . . xp Q
i Γ(αi )
Pour une mesure α sur R, le processus de Dirichlet se note D(α(.)). En

utilisant la topologie faible, on peut montrer pour toute partition de R
(B1 , · · · , Bp ), si P ∼ D(α(.)) alors
(P (B1 ), · · · , P (Bp )) ∼ D(α(B1 ), · · · , α(Bp ))
5. C’est-à-dire une loi de probabilité qui mesure les informations une fois les données
observées.
Chapitre 2
Une introduction à la théorie

de la décision
2.1 Fonction de perte et risque

Pour le modèle X ∈ (X , B, {Pθ , θ ∈ Θ}), on définit D l’ensemble des
décisions possibles. C’est-à-dire l’ensemble des fonctions de Θ dans g(Θ) où
g dépend du contexte :
– si le but est d’estimer θ alors D = Θ
– pour un test, D = {0, 1}
La fonction de perte est une fonction mesurable de (Θ × D) à valeurs
réelles positives : L : Θ × D → R+ . Elle est définie selon le problème étudié
et constitue l’armature du problème statistique 1 .
Définition 2.1.1 Risque fréquentiste

Pour (θ, δ) ∈ Θ × D, le risque fréquentiste 2 est défini par :
R(θ, δ) = Eθ [L(θ, δ(X)))]

Z
= L(θ, δ(X)))f (X|θ)dµ(X)
X
C’est une fonction de θ et ne définit donc par un ordre total sur D et

ne permet donc pas de comparer toutes décisions et estimateurs. Il n’existe
donc pas de meilleur estimateur dans un sens absolu. Ainsi, l’approche fré-
quentiste restreint l’espace d’estimation en préférant la classe des estimateurs
sans biais dans laquelle il existe des estimateurs de risque uniformément mi-
nimal ; l’école bayésienne ne perd pas en généralité en définissant un risque a
posteriori. L’idée est d’intégrer sur l’espace des paramètres pour pallier cette
difficulté.
1. cf 2.2 pour des exemples.
2. Dans le cas d’une fonction de perte quadratique, il est appelé risque quadratique.
6 Une introduction à la théorie de la décision
Définition 2.1.2 Risque a posteriori

Une fois données la loi a priori sur le paramètre et la fonction de perte, le
risque a posteriori est défini par :
ρ(π, δ|X) = E π (L(θ, δ(X)))|X)

Z
= L(θ, δ(X)))dπ(θ|X)
Θ
Ainsi, le problème change selon les données ; ceci est dû à la non existence
d’un ordre total sur les estimateurs.
Définition 2.1.3 Risque intégré

A fonction de perte donnée, le risque intégré est défini par :
Z
r(π, δ) = R(θ, δ)dπ(θ)
Θ
Définition 2.1.4 Estimateur bayésien

Un estimateur bayésien est un estimateur vérifiant :
r(π, δ π ) = inf r(π, δ) < ∞

δ∈D
Pour obtenir la valeur de l’infimum du risque intégré il faut donc en

théorie minimiser une intégrale double δ. L’introduction du risque intégré se
justifie par le théorème suivant. Il suffira de minimiser une grandeur qui ne
dépend plus que des données, ceci permet donc d’arriver à des estimateur
satisfaisants.
Théorème 2.1 Méthode de calcul

Si ∃δ ∈ D, r(π, δ) < ∞ et ∀X ∈ X δ π (X) = Argminδ ρ(π, δ|X),
alors δ π (X) est un estimateur bayésien.
Démonstration :
Z
r(π, δ) = R(θ, δ)dπ(θ)
Θ
Z Z
= L(θ, δ(X)))f (X|θ)dµ(X)dπ(θ)
Θ X
Z Z
f (X|θ))dπ(θ)
= L(θ, δ(X))) mπ (X)dµ(X) (Fubini)
mπ (X)
ZX ZΘ
= L(θ, δ(X)))dπ(θ|X)mπ (X)dµ(X)
ZX Θ
= ρ(π, δ|X)mπ (X)dµ(X)
X
Ainsi, pour δ ∈ D, ρ(π, δ π |X) ≤ ρ(π, δ|X) ⇒ r(π, δ π ) ≤ r(π, δ). Ce qui
permet de conclure.
2.2 Exemples 7
2.2 Exemples
Exemple 2.1 Perte quadratique
D = Θ ⊂ Rd 3 et L(θ, δ) = kθ − δk2
Comme la norme au carré est une fonction convexe deux fois dérivable
sur Θ, pour trouver δ π estimateur bayésien, il suffit de déterminer les points
critiques du risque a posteriori 4 .
ρ(π, δ|X) = E π (kθ − δk2 |X)

Z
∂ρ(π, δ|X)
= −2 (π − δ(X))dπ(θ, X)
∂δ Θ
∂ρ(π, δ|X)
Donc = 0 ⇐⇒ δ(X) = E π (θ|X)
∂δ
D’après l’inégalité de Jensen, δ 7−→ ρ(π, δ|X) est aussi convexe. L’estima-
teur bayésien vaut donc δ π (X) = E π (θ|X) µ-pp. Dans le cas gaussien de
l’exemple 1.1 X ∼ N (µ, σ 2 ) et µ ∼ N (µ0 , τ ), l’estimateur bayésien s’ex-
prime :
τ2 σ2
δ π (X) = 2 2
X+ 2 µ0
τ +σ τ + σ2
Exemple 2.2 Perte L1 P

D = Θ ⊂ R et L(θ, δ) = di=1 |θi − δi |
Dans le cas simple où d = 1 :
Z
ρ(π, δ|X) = |θ − δ| dπ(θ|X)
Θ
Z δ Z ∞
= (δ − θ)π(θ|X)dθ + (θ − δ)π(θ|X)dθ
−∞ δ
Comme δ 7−→ ρ(π, δ|X) est convexe et dérivable µ-presque partout, il suffit
là encore de déterminer les points critiques :
Z δ Z ∞
∂ρ(π, δ|X)
= π(θ|X)dθ − π(θ|X)dθ
∂δ −∞ δ
∂ρ(π, δ|X)
Donc = 0 ⇐⇒ P π (θ ≤ δ|X) = P π (θ ≥ δ|X)
∂δ
C’est-à-dire δ π (X) est la médiane de π(θ|X) 5 .
3. Ceci peut facilement être généralisé au cas d’un Hilbert.

4. En s’appuyant sur le théorème 2.1 et pour des solutions intérieures évidemment. . .
5. Nous soulignons la robustesse vis à vis des valeurs extrêmes en comparaison de la
moyenne, ceci s’explique par les fonctions de perte correspondantes qui accordent plus ou
moins d’importance aux valeurs élevées.
Exemple 2.3 Perte 0–1

Cette fonction de perte est utilisée dans le contexte des tests. Un test est la
donnée d’une partition de Θ en Θ0 et Θ1 6 . θ ∈ Θi correspond à l’hypothèse
Hi , H0 est appelée l’l’hypothèse nulle. Le principe du test (décisions) δ est
défini comme suit :
0 si θ ∈ Θ1
δ=
1 si θ ∈ Θ0
La fonction de perte correspondant au test est définie par :
L(θ, δ) = 1θ∈Θ1 × 1δ=0 + 1θ∈Θ0 × 1δ=1
Le risque a posteriori est alors le suivant :
ρ(π, δ|X) = 1δ=0 P π (Θ1 |X) + 1δ=1 P π (Θ0 |X)
Ainsi :
δ π (X) = 1 ⇔ P π (Θ0 |X) ≤ P π (Θ1 |X)
C’est-à-dire que l’estimation permet d’accepter H0 si c’est l’hypothèse la plus
probable a posteriori, ce qui est une réponse naturelle.
Une variante du test 0–1 est le test de Neymann Person qui permet de
distinguer risques de première et de deuxième espèce :

 0 si δ = 1θ∈Θ1
L(θ, δ) = a0 si δ = 1θ∈Θ0
a1 si δ = 0, θ ∈ Θ1

Le risque a posteriori est donné par :
ρ(π, δ|X) = a0 δP π (Θ1 |X) + a1 (1 − δ)P π (Θ0 |X)
Ainsi :
δ π (X) = 1 ⇔ a0 P π (Θ0 |X) ≤ a1 P π (Θ1 |X)
Ceci permet de modéliser des raisonnements de la forme « j’ai plus ou moins
tort » en jouant sur le rapport aa10 7 et accorder plus ou moins d’importance
relative à Θ0 selon des arguments a priori.
2.3 Fonction de perte intrinsèque

Nous nous plaçons dans le cas où X|θ ∼ f (X|θ) et L(θ, δ) = d(fθ , fδ )
avec d une distance entre densités.
Avant de voir la définition de fonction de perte intrinsèque, nous com-
mençons par des exemples de distances classiques entre densités.
6. Θ0 ∪ Θ1 = Θ et Θ0 ∩ Θ1 = ∅.
7. a1 = a0 correspond au cas précédent de test 0–1.
2.3 Fonction de perte intrinsèque 9
Exemple 2.4 Distances usuelles entre densités (fθ , fθ0 ) de fonctions de ré-
partition (Fθ , Fθ0 ) :
1. Distance de Kolmogoroff-Smirnoff :
dKS (fθ , fθ0 ) = sup |Fθ (x) − Fθ0 (x)|
x
2. Distance L1 :
Z
d1 (fθ , fθ0 ) = |fθ (x) − fθ0 (x)| dx (2.1)
= 2 sup |Pθ (A) − Pθ0 (A)| (2.2)
A
3. Distance de Hellinger :
Z 1
p p 2
2
dH (fθ , f ) =
θ0 ( fθ (x) − fθ (x)) dx
0
4. Pseudo-distance 8 de Kullback-Liebler :
Z
fθ (x)
K(fθ , fθ0 ) = fθ (x) log dx
fθ0 (x)
Avec l’inégalité de Jensen, on prouve l’inégalité K(fθ , fδ ) ≥ 0. De plus,
K(fθ , fδ ) = 0 si et seulement si fθ = fθ0 µ-presque sûrement.
5. Distance L2 :
Z
d2 (fθ , fθ0 ) = (fθ (x) − fθ0 (x))2 dx
Ceci peut s’utiliser si les densités sont de carré intégrable.

La notion de perte intrinsèque provient de l’exigence d’invariance par
transformation monotone inversible sur les données : les distances et donc
les fonctions de perte, utilisées doivent donc être inchangées par l’action
d’un C 1 -difféomorphisme sur X . Ainsi, pour y = g(x) et X ∼ fθ où g est
1 −1 dx
un C -difféomorphisme, on note y ∼ gθ (y) = fθ (g (y)) dy . Pour une perte
intrinsèque, la distance entre fθ et fθ0 est la même que celle entre gθ et gθ0
pour un g donné ; ceci correspond à une distance entre distributions (et non
plus entre densités).
L’invariance par C 1 -difféomorphisme est vérifiée pour les distances pré-
cédentes à l’exception de la norme L2 . Nous donnons à titre d’exemple la
démonstration pour la norme L1 . Les autres cas sont laissés aux lecteurs et
lectrices :
Z
−1 −1
dx
d1 (gθ , gθ0 ) = fθ (g (y)) − fθ0 (g (y)) dy

dy
Z
= |fθ (x) − fθ0 (x)| dx
= d1 (fθ , fθ0 )
8. Car non symétrique.
Définition 2.3.1 Fonction de perte intrinsèque

En s’appuyant sur ce qui précède, une fonction de perte intrinsèque est une
fonction de perte définie à partir d’une distance entre distributions, c’est-à-
dire invariante par transformation monotone inversible.
Nous terminons cette section par un exemple où nous calculons la dis-
tance de Hellinger entre deux gaussiennes.
Exemple 2.5 Distance d’Hellinger de lois normales
En notant Φµ,σ2 la densité de la loi N (µ, σ 2 ) et θ = (µ, σ 2 ), nous avons :
Z p p
2
dH (Φθ , Φθ0 ) = ( Φθ − Φθ0 )2 dx
R Z p
= 2−2 Φθ − Φθ0 dx
R
(x − µ)2 (x − µ0 )2
Z
2
= 2− √ exp(− − )dx
2πσσ 0 | R 4σ 2 4σ 02
{z }
=I
Σ2 µ µ2 µ02
Z
1 µ µ µ
I= exp − 2 {x − ( 2 + 02 )Σ2 }2 − ( 2 + 02 )2 + 2 + 02 dx
R 4Σ σ σ 4 σ σ 4σ 4σ
en notant Σ2 = ( σ12 + σ102 )−1 . D’où, en reconnaissant une intégrale gaussienne
de variance 2Σ2 et en factorisant le facteur exponentiel :
√ (µ−µ0 )2
− 2 +σ 02 )
I = Σ 2πe 4(σ
Ainsi, nous arrivons à :

r
2σσ 0 (µ − µ0 )2

1 2
d (Φθ , Φθ0 ) = 1 − exp −
2 H σ 2 + σ 02 4(σ 2 + σ 02 )
s
h2

2(u + 1)
= 1− 1− + o(h2 )
(u + 1)2 + 1 4(σ 2 + σ 02 )
σ
en notant h = µ − µ0 et u = 0 − 1(développement limité en (h,u))
σ
C’est la somme de deux termes du second ordre :
s
2(u + 1) u2 u2
1− = ∼
(u + 1)2 + 1
p
((u + 1)2 + 1) + 2(u + 1)((u + 1)2 + 1) 4
s
2(u + 1) h2 h2
et ∼
(u + 1)2 + 1 σ 02 (1 + (u + 1)2 ) 8σ 02
d’où
2(σ − σ 0 )2 + (µ − µ0 )2
d2H (Φθ , Φθ0 ) = + o(kh, uk2 )
4σ 02
2.4 Admissibilité et minimaxité 11
La partie régulière de ce développement limité s’écrit (θ − θ0 )0 I(θ) 0

2 (θ − θ ) où
I(θ) est l’information de Fisher du paramètre θ = (µ, σ) ; ceci est l’expres-
sion d’une forme quadratique au voisinage de θ. L’information de Fisher
s’interprète donc comme la courbure (locale) du modèle 9 . Intuitivement, cela
s’explique par le fait que si l’information est grande, elle permet de distinguer
deux paramètres distincts (et réciproquement), c’est une quantité intrinsèque
au modèle et explique en partie la récurrence avec laquelle elle apparaît dans
les cours de statistique.
2.4 Admissibilité et minimaxité

2.4.1 Admissibilité
Définition 2.4.1 Estimateur admissible
Soit X ∈ (X , B, {Pθ , θ ∈ Θ}) un modèle paramétrique et L une fonction de
perte sur Θ × D où D est l’ensemble des décisions (fonctions des données
vers une transformation de l’ensemble des paramètres). On dit que δ ∈ Θ est
inadmissible si et seulement si (∃δ0 ∈ D, ∀θ ∈ ΘR(θ, δ) ≥ R(θ, δ0 ) et ∃θ0 ∈
Θ, R(θ0 , δ) > R(θ0 , δ0 )). Un estimateur est dit admissible si et seulement si
il n’est pas inadmissible.
Même si les estimateurs admissibles apparaissent comme ceux qu’il faut
rechercher en priorité, le gain de l’admissibilité peut s’avérer réduit et coû-
teux. Ainsi, dans le cas gaussien X ∼ N (θ, Id) et (X, θ) ∈ (Rp )2 , on peut
montrer que le maximum de vraisemblance est admissible si et seulement
si p ≤ 2 pour la fonction de perte quadratique. En outre, le gain à être
admissible augmente avec p, la dimension de l’espace.
Théorème 2.2 Estimateurs bayésiens admissibles

Si l’estimateur bayésien δ π associé à une fonction de perte L et une loi a
priori π est unique, alors il est admissible.
Démonstration : Supposons δ π estimateur bayésien non admissible : ∃δ0 ∈
D, ∀θ ∈ Θ, R(θ, δ) ≥ R(θ, δ0 ) et ∃θ0 ∈ Θ, R(θ0 , δ) > R(θ0 , δ0 ). En intégrant
la première inégalité :
Z Z
R(θ, δ0 )dπ(θ) ≤ R(θ, δ π )dπ(θ) = r(π)
Θ Θ
donc δ0 est aussi un estimateur bayésien associé à L et π et δ0 6= δ π d’après

la seconde inégalité. Le théorème se déduit par contraposée. Ce théorème
s’applique notamment dans le cas d’un risque fini et d’une fonction de coût
convexe. En outre,
R l’unicité de l’estimateur bayésien implique la finitude du
risque : r(π) = R(θ, δ π )dπ(θ) < ∞ (sinon, tout estimateur minimise le
risque).
9. Il est nécessaire de se placer dans le cadre de la géométrie différentielle et d’étudier
la variété de Riemann de géométrie l’information de Fisher.
Définition 2.4.2 π-admissibilité

Un estimateur δ0 est π-admissible si et seulement si
∀(δ, θ), R(θ, δ) ≤ R(θ, δ0 ) ⇒ π({θ ∈ Θ, R(θ, δ) < R(θ, δ0 )}) = 0
Cette notion est utile pour démontrer le théorème important de cette

section par le biais de la proposition suivante.
Proposition 2.3 Tout estimateur bayésien tel que r(π) < ∞ est π-admissible
Démonstration : Soit δ π un estimateur bayésien à risque fini. Pour δ0 tel
que ∀θR(θ, δ) ≤ R(θ, δ0 ), on note A = {θ ∈ Θ, R(θ, δ) < R(θ, δ0 )}. Nous
avons alors :
Z Z Z
R(θ, δ0 )dπ(θ) − R(θ, δ π )dπ(θ) = (R(θ, δ) − R(θ, δ0 ))dπ(θ) ≤ 0
Θ Θ A
avec égalité si et seulement si π(A) = 0. Or, comme δ π est bayésien et le

risque fini, r(θ, δ0 ) ≥ r(θ, δ π ) donc l’intégrale est nulle (positive et négative !),
d’où π(A) = 0 : δ π est π-admissible.
Nous pouvons maintenant énoncer une condition suffisante d’admissibi-
lité des estimateurs bayésiens.
Théorème 2.4 Continuité et π-admissibilité
Si π > 0 sur Θ, r(π) < ∞ pour une fonction de perte L donnée, si δ π esti-
mateur bayésien correspondant existe et si θ 7−→ R(θ, δ) est continu, alors
δ π est admissible.
Démonstration : Supposons que δ π est non admissible. D’après la proposi-
tion précédent, δ π est π-admissible. Ainsi, il existe δ0 tel que pour tout θ,
R(θ, δ0 ) ≤ R(θ, δ π ) et θ0 ∈ Θ, R(θ0 , δ0 ) < R(θ0 , δ π ). La fonction définie sur Θ
par θ 7−→ R(θ, δ0 )−R(θ, δ π ) est continue. Donc il existe un voisinage (ouvert)
de θ0 , V0 ⊂ Θ tel que ∀θ ∈ V0 , R(θ, δ0 ) < R(θ, δ π ). En considérant A la même
région que dans la proposition précédente, A = {θ ∈ Θ, R(θ, δ) < R(θ, δ0 )},
π(A) ≥ π(V0 ). Or π est supposée strictement positive que Θ donc en prenant
un modèle dominé par une mesure qui charge positivement les ouverts (la
mesure de Lebesgue par exemple) π(V0 ) > 0, A est donc non négligeable
(de mesure non nulle), ce qui n’est pas conforme avec la π-admissibilité. En
conclusion, δ π est admissible.
Exemple 2.6 Discussion sur l’hypothèse de risque fini

L’hypothèse r(π) < ∞ est cruciale, comme le montre l’exemple suivant. Dans
le cas gaussien, X ∼ N (θ, Id ) et (X, θ) ∈ Rp2 , pour une fonction de perte
L(θ, δ) = (kθk2 −δ)2 et pour la mesure de Lebesgue (π(θ) = 1), on montre que
δ π (X) = Eπ [kθk2 |X] = kX 2 k+p. En prenant une loi a posteriori gaussienne
2
π(θ|X) ∼ N (X, Id ), π(θ|X) ∝ exp(− kX−θk 2 ) et on peut montrer que pour
δ0 (X) = kXk2 − p, ∀θ ∈ Θ, R(θ, δ0 ) ≤ R(θ, δ π ) avec inégalité stricte pour
θ = 0. Ici, r(π) = ∞ met en défaut le théorème précédent.
2.4 Admissibilité et minimaxité 13
2.4.2 Minimaxité
Définition 2.4.3 Estimateur randomisé
Pour le modèle X ∈ (X , B, {Pθ , θ ∈ Θ}), un ensemble de décisions D, on
définit D∗ comme l’ensemble des probabilités sur D. δ ∗ ∈ D∗ est appelé esti-
mateur randomisé.
L’idée à l’origine de cette notion est de rendre D convexe pour pouvoir
maximiser facilement. L’estimateur de Neyman-Pearson introduit dans la
section 2.2 s’appuie sur ce principe.
On définit de même des fonctions de perte et risque randomisés par :
Z
∗ ∗
L (δ , θ) = L(θ, a)dδ ∗ (a) et R(θ, δ ∗ ) = Eθ [L∗ (δ ∗ , θ)]
D
Définition 2.4.4 Risque minimax et estimateur minimax

Le risque minimax est défini par R = ∗inf ∗ supR(θ, δ ∗ ). On dit que δ0 est un
δ ∈D θ∈Θ
estimateur minimax si et seulement si R = supR(θ, δ0 ).
θ∈Θ
L’estimateur minimax correspond au point de vue (conservateur !) de
faire le mieux dans le pire des cas, c’est-à-dire à s’assurer contre le pire. Il est
utile dans des cadres complexes 10 mais trop conservateur dans certains cas
où le pire est très peu probable. Il peut être judicieux de voir l’estimation
comme un jeu entre le statisticien (choix de δ) et la Nature (choix de θ),
l’estimation minimax rejoint alors celle de la Théorie des Jeux.
Théorème 2.5 Valeur et risque minimax

En se plaçant dans le cadre précédent pour Θ ⊂ R et Θ compact, on note
R = sup r(π) ; si pour π0 tel que r(π0 ) = R, δ π0 est un estimateur bayésien,
π proba
alors, en notant f = θ 7−→ R(θ, δ π0 ) :
(f analytique) ⇒ (f constante ou supp(π) 11 fini)
Démonstration : Vérifions dans un premier temps le résultat général : R ≤

R.
Z
r(π) = inf r(π, δ) ≤ r(π, δ) ≤ R(θ, δ)dπ(θ) ≤ maxR(θ, δ) si δ ∈ D
δ∈D Θ θ∈Θ
Donc pour tout δ ∈ D, r(π) ≤ maxR(θ, δ). Par combinaison convexe 12 sur
θ∈Θ
D, on passe à l’infimum sur D∗ . D’où r(π) ≤ R, et pour conclure on passe
au sup sur π une probabilité.
10. Par exemple, dans le cas non paramétrique ; il est alors utile de regarder la vitesse
de convergence de cet estimateur avec le nombre d’observations.
11. support de la loi π, i.e. l’ensemble des estimateurs θ tels que π(θ) > 0.
12. argument un peu rapide mais clair dans le cas fini et s’étend par densité dans le cas
continu.
Plaçons nous maintenant dans le cadre du théorème et considérons δ π0

l’estimateur minimax bayésien : r(π) = r(π, δ π0 ). Supposons le risque non
constant : il existe (θ1 , θ2 ) tel que R(θ1 , δ0 ) < R(θ2 , δ0 ). Comme Θ compact,
le maximum est atteint : il existe θ0 tel que R(θ0 , δ0 ) = maxR(θ, δ0 ), on
θ∈Θ
définit A = {θ ∈ Θ, R(θ, δ0 ) < R(θ0 , δ0 )}. En sachant que r(π0 , δ π0 ) ≤ R et
δ0 estimateur minimax, on écrit :
Z Z
r(π0 , δ π0 ) = R(θ, δ π0 )π0 (θ)dθ + R(θ, δ π0 )π0 (θ)dθ
A Ac
Si π0 (A) > 0, r(π0 , δ π0 ) < R ; ce qui est impossible donc π0 (A) = π0 ({θ ∈
Θ, R(θ, δ0 ) < R(θ0 , δ0 )}) = 0. En utilisant une conséquence du théorème de
Picard en analyse complexe, f analytique implique que le support de π0 est
fini.
Chapitre 3
Estimation ponctuelle
Contrairement à l’estimation ensembliste, le but de ce chapitre est d’es-

timer une fonction du paramètre g(θ), par exemple g(θ) = θ ou g(θ) = kθk2 .
Nous nous plaçons à L et π donnés de telle sorte que nous disposons d’un
estimateur bayésien δ π correspondant.
3.1 Estimateur du maximum a posteriori

Définition 3.1.1 estimateur du maximum a posteriori ( map)
On appelle estimateur map tout estimateur δ π (X) ∈ Argmaxθ π(θ|X).
Cette notion est le pendant bayésien du maximum de vraisemblance fré-
quentiste. Il a le grand avantage de ne pas dépendre d’une fonction de perte
et est utile pour les approches théoriques. Ses inconvénients sont les mêmes
que l’estimateur du maximum de vraisemblance : non unicité, instabilité
(dus aux calculs d’optimisation) et dépendance vis-à-vis de la mesure de
référence (dominant Θ). En outre, il ne vérifie pas la non invariance par
reparamétrisation qui peut apparaître importante intuitivement. Le dernier
point se formalise ainsi : pour g un C 1 -difféomorphisme et η = θ ∈ Θ,
g(θ),
0 0
Argmaxπ (η|X) 6=Argmaxπ(θ|X) avec π (η|X) ∝ π(θ(η), X) · dη
dθ
Exemple 3.1 Modèles de mélange

Ceci a pour but de modéliser des populations hétérogènes non distinguées.
Dans ce cas, la loi conditionnelle s’écrit comme suit :
k
X k
X
f (X|θk ) = pj g(X|γj ) où pj = 1 et pour tout j pj ≥ 0
j=1 j=1
En outre, le nombre de composantes k n’est pas forcément connu.

Les paramètres sont donc (k, (pj , γj )0≤j≤k ) et la loi a priori se met sous la
forme dπ(θ) = p(k)πk (p1 , · · · , pk , γ1 , · · · , γk ). Un estimateur naturel maxi-
16 Estimation ponctuelle
mise la loi a posteriori :

R
π
p(k) f (X|θk )dπk (θk )
Θk
k̂ = Argmaxπ(k|X) = Pkmax R .
k
k=1 p(k) Θk f (X|θk )dπk (θk )
3.2 Importance de la statistique exhaustive

Définition 3.2.1 Statistique exhaustive
On appelle statistique exhaustive une statistique 1 S(X) telle que la loi condi-
tionnelle se décompose sous la forme :
f (X|θ) = h(X|S(X)) · f˜(S(X)|θ)
Ceci se récrit π(θ|X) = π(θ|S(X)). En termes informationnels, ceci si-

gnifie que S résume l’information a priori.
Lorsqu’on utilise des lois impropres, le comportement d’une statistique
peut être capricieux. Par exemple, si on considère un paramètre de la forme
suivante θ = (θ1 , θ2 ) avec π(θ) une loi impropre et pour S une statistique
exhaustive pour θ1 , nous pouvons écrire :
f (X|θ1 , θ2 ) = g(X|θ2 ) · f (S|X)
Dans ce cas, il peut arriver que π(θ1 |X) = π(θ1 |δ) mais sans qu’il n’existe
de π1 (θ1 ) tel que π(θ2 , S) = R ff(S|X)π 1 (θ1 )
(S|θ )π (θ )dθ
. Ceci est dû au fait que la loi
Θ1 1 1 1 1
a priori est impropre et s’appelle le paradoxe de marginalisation qui nous

illustrons dans l’exemple qui suit.
Exemple 3.2 Paradoxe de marginalisation
– Si X1 , · · · , Xn indépendants tels que Xi ∼ exp(η) et Xj ∼ exp(cη)

pour 0 ≤ i ≤ ξ < j ≤ n avec c connu.
Le paramètre est θ = (η, ξ) où ξ ∈ {1, 2, . . . , n − 1} et nous supposons
que la loi a priori vérifie π(η, ξ) = π(ξ), cela implique notamment que
la fonction a priori est impropre en η.
X2
On peut montrer que π(ξ|X) = π(ξ|Z) en posant Z = ( X 1
,..., X
X1 )
n
et f (Z|ξ, η) = f (Z|η) et pourtant il n’existe pas de π(ξ) telle que

π(ξ|Z) ∝ f (Z|ξ)π(ξ).
2 2
– Dans le cas où U1 ∼ N (µ1 , σ 2 ), U2 ∼ N (µ2 , σ 2 ) et Sσ2 ∼ χ p(p) avec
U1 , U2 , S 2 indépendants, en prenant comme paramètre une transfor-
mation de (µ1 , µ2 , σ 2 ), (ξ = µ1 −µ2 2 2
σ , µ1 , σ ), pour π(µ1 , µ2 , σ ) = σ 2
1
et en posant Z = U1 −U S
2
on montre que f (Z|µ1 , µ2 , σ 2 ) = f (Z, ξ) et
1. C’est-à-dire une fonction des données.
3.3 Prédiction 17
π(ξ|U1 , U2 , S) = π(ξ|Z) mais π(ξ|Z) 6= f (Z|ξ)π(ξ). Pour poursuivre

cet exemple, les lecteurs-trices peuvent se référer à l’exercice 3.47 (Da-
vid et Ziteck) du Choix Bayésien.
3.3 Prédiction
Le contexte du problème de la prédiction est le suivant : les observations
X sont identiquement distribuées selon Pθ , absolument continue par rap-
port à une mesure dominante µ et donc qu’il existe une fonction de densité
conditionnelle f (·|θ). Par ailleurs on suppose que θ suit une loi a priori π.
Il s’agit alors à partir de n tirages X1 , · · · , Xn de déterminer le plus
précisément possible ce que pourrait être le tirage suivant Xn+1 .
Dans l’approche fréquentiste, on calcule f (Xn+1 |X1 , · · · , Xn , θ̂). Comme le
révèle la notation θ̂, on ne connaît pas exactement θ. On doit donc l’estimer
dans un premier temps et de ce fait, on utilise deux fois les données : une
fois pour l’estimation du paramètre et une nouvelle fois pour la prédiction
dans la fonction f . En général, ceci amène à sous-estimer les intervalles de
confiance.
La stratégie du paradigme bayésien, désormais bien comprise par la lec-
trice et peut-être un peu assimilé par le lecteur, consiste à intégrer la prévi-
sion suivant une loi a priori sur θ et ce, afin d’avoir la meilleure prédiction
compte tenu à la fois de notre savoir et de notre ignorance sur le paramètre.
La loi prédictive s’écrit ainsi :
Z
π
f (Xn+1 |X1 , · · · , Xn ) = f (Xn+1 |X1 , · · · , Xn , θ)π(θ|X1 , · · · , Xn )dθ
Θ
Dans le cas des tirages indépendants et identiquement distribués, ceci de-

vient :
Z
π
f (Xn+1 |X1 , · · · , Xn ) = f (Xn+1 |θ)π(θ|X1 , · · · , Xn )dθ
Θ
En considérant le coût quadratique L(θ, δ) = kθ − δk2 , on peut proposer

le prédicteur :
Z
π π
X̂n+1 = E (Xn+1 |X1 , · · · , Xn ) = Xn+1 f (Xn+1 |X1 , · · · , Xn )dXn+1
3.4 Modèle Gaussien

i.i.d
Nous supposons Y1 , · · · , Yn ∼ N (µ, σ), π(µ, σ) = σ1 (la mesure de Haar)
et π(µ, σ 2 ) = N (µ0 , (τ σ)2 ) ⊗ IG(a, b) (loi Inverse Gamma). On considère le
modèle linéaire Y = Xβ + ε, où ε ∼ N (0, Σ) avec Σ = σ 2 Id . Le para-
mètre est θ = (β, σ 2 ). Si σ 2 est connu, alors on peut écrire π(β) = N (µ, A)
où A est un hyperparamètre et π(β|Y, X) = N ((Σ̂−1 + A−1 )−1 (Σ̂−1 β̂ +
A−1 µ), (Σ̂−1 + A−1 )−1 ). La regression linéaire bayésienne retrouve les for-
mules β̂ = (X 0 X)−1 X 0 Y et Σ̂ = σ 2 (X 0 X)−1 . Les modèles hétéroscédastiques
peuvent aussi être étudiés.
Liens entre les modèles à effets aléatoires et le paradigme

bayésien
Considérons le modèle suivant : Y une variable d’intérêt quelconque,
X = 1 si un individu est un hommme X = 0 si c’est une femme, avec
(Y |X) ∼ N (βX, σ 2 ). L’hétérogénéité de gendres se traduit par :
Y = u1 + ε siX = 1
Y = u2 + ε siX = 0
⇒ Y = Xu1 + (1 − X)u2 + ε
On suppose que u1 ∼ N (0, τ12 ) et que u2 ∼ N (0, τ22 ). Les effets aléatoires
signifient que β est aléatoire : β ∼ N (β0 , A)
La variabilité est plus grande que ce que le modèle aléatoire propose, les
effets aléatoires augmentent la variance sans changer le modèle. La limite
entre le modèle bayésien hiérarchique et modèle à effet aléatoire est fine.
3.5 Mesure d’erreur

Pour mesurer une erreur, il est nécessaire d’introduire une fonction de
perte, nous l’appellerons ici traditionnellement L = L(θ, δ). On définit en-
suite le risque fréquentiste R(θ, δ) et le risque a posteriori ρ(π, δ|X).
Le but est d’estimer la fonction de perte pour δ donné mais l’utilisation
double des données tend à sous-estimer les erreurs, ce qui limite cette dé-
marche. On a évidement L(δ, δ) = 0 donc estimer une erreur en un point n’a
pas de sens. L’idée est d’introduire une fonction de perte sur les fonctions de
perte et d’estimer ` = L(θ, δ) ∈ Λ ⊂ R+ :
L̃ : Θ × Λ × D → R
(θ, `, δ) 7−→ L̃(θ, `, δ)
En appliquant dans ce contexte, le principe bayésien, maintenant maîtrisé
par les lecteurs-trices et qui consiste
h à intégrer
i sur les paramètres, on définit
le risque : ρ(π, δ, `|X) = E L̂(θ, `, δ|X) . On cherche alors à calculer `ˆ =
π
arg min` ρ(π, δ, `|X).
Exemple 3.3 Perte quadratique

Si L̂(θ, `, δ|X) = (`−L(θ, δ))2 , alors ρ̂π = E π [L(θ, δ|X)]. Si de plus, L(θ, δ) =
kθ − δk2 , alors ρ̂π = E π (θ − δ)2 |X et puisqu’en toute logique, on choisit
δ = δ ∗ = E π [θ|X], on a :
ρ̂π = V π [θ|X]
3.5 Mesure d’erreur 19
Chapitre 4
Tests et régions de confiance
4.1 Région de confiance

4.1.1 Définitions
Définition 4.1.1 Région α-crédible
Une région C de Θ est dite α-crédible si et seulement si P π (θ ∈ C|X) > 1−α.
Notons que le paradigme bayésien permet une nouvelle fois de s’affranchir
d’un inconvénient de l’approche fréquentiste. En effet, au sens fréquentiste,
une région de confiance C est définie par ∀θ, Pθ (θ ∈ C) ≥ 1−α et correspond
à l’interprétation suivante. En refaisant l’expérience un grand nombre de
fois, la probabilité que θ soit dans C est plus grand que 1 − α. Une région
de confiance n’a donc de sens que pour un très grand nombre d’expériences
tandis que la définition bayésienne exprime que la probabilité que θ soit dans
C au vue des celles déjà réalisées est plus grande que 1 − α. Il n’y a donc
pas besoin ici d’avoir recours à un nombre infini d’expériences pour définir
une région α-crédible, seule compte l’expérience effectivement réalisée.
Il y a une infinité de régions α-crédibles, il est donc logique de s’intéresser
àR la région qui a le volume minimal. Le volume étant défini par vol(C) =
C dν(θ), si π(θ|X) est absolument continue par rapport à une mesure de
référence ν.
Définition 4.1.2 Région hpd (highest posteriori density)

Cαπ est une région hpd si et seulement si Cαπ = {θ, π(θ|X) ≥ hα } où hα est
défini par hα = sup {h, P π ({θ, π(θ|X) ≥ h} |X) ≥ 1 − α}.
Cαπ est parmi les régions qui ont une probabilité supérieure à 1 − α de
contenir θ (et qui sont donc α-crédibles) et sur lesquelles la densité a poste-
riori ne descend pas sous un certain niveau (restant au dessus de la valeur
la plus élevée possible).
Théorème 4.1 Régions hpd

Cαπ est parmi les régions α-crédibles celle de volume minimal si et seulement
22 Tests et régions de confiance
si elle est hpd.

Démonstration : On considère le problème dual.
min vol(C) ⇔ max P π (C|X) où V constante

C, P π (C|X)≥1−α C, vol(C)=V
Il suffit alors de montrer que pour tout C telle que π(C∆Cαπ ) > 0 (en notant
C∆Cαπ l’ensemble tel que C∆Cαπ = Cαπ ∩ C c Cαπ c ∩ C), si vol(C) = vol(Cαπ )
S
alors P π (C|X) < P π (Cαπ |X).
Z Z Z Z
π(θ|X)dν(θ) − π(θ|X)dν(θ) = π(θ|X)dν(θ) − π(θ|X)dν(θ)
C π
Cα π
C∩Cα π ∩C c
Cα
Or, comme C et Cαπ ont même volume, C∩C π dν(θ) = C π ∩C c dν(θ). Comme
R R
α α
π est dominé par ν, ces volumes sont strictement positifs. En outre :
– C∩C π π(θ|X)dν(θ) < hα vol(C ∩ Cαπ )
R
α
– C π ∩C c π(θ|X)dν(θ) ≥ hα vol(Cαπ ∩ C c )
R
α
d’où finalement P π (C|X) < P π (Cαπ |X).
Exemple 4.1 Par les calculs

i.i.d
Si X1 , · · · , Xn ∼ N (µ, σ 2 ) et π(µ, σ) = σ1 , alors
2
n(X n −µ)2 −Sn
π(µ, σ 2 |X1 , · · · , Xn ) ∝ e− 2σ 2 e 2σ2
1 Pn Pn
où X n = n i=1 Xi et Sn2 = i=1 (Xi − X n )2 . On a alors :
√
2 σ2 n −n(X n −µ)2
π(µ|σ , X1 , · · · , Xn ) = N (X n , ) de densité : √ e 2σ2
n σ 2π
−Sn
2 e 2σ2
π(σ |X1 , · · · , Xn ) ∝ n+1
σ
Il est important de remarquer qu’on a ici une formule explicite en µ, c’est
ce qui va nous permettre de poursuivre le calcul dans ce cas exceptionnel.
Notons que la calculabilité repose parfois sur la notion de loi conjuguée. Ici
on est dans un cas limite, la famille conjuguée de la loi normale est la famille
des lois normales ; la loi a priori π(µ, σ 2 ) = σ12 est en fait une loi normale
dégénérée (la variance est infinie).
Des lois précédentes, on déduit :
−Sn
Z ∞ 2
1 n(X n −µ) e 2σ2
π(µ|X1 , · · · , Xn ) ∝ e 2σ2 dσ 2
0 σ σ n+1
Z ∞
1 −1 2
∝ n+2
e 2σ2 (n(X n −µ) +Sn ) dσ 2
0 σ
4.1 Région de confiance 23
On reconnaît une loi inverse gamma 1 :

(n(X n − µ)2 + Sn ) n

2
σ ∼ IG ,
2 2
2
− n2
n(X n − µ)
∝ 1+
Sn 2
µ−X
Ainsi q n
Sn
∼ St(n) 2 .
n
On peut désormais calculer Cα,µ π = {µ, π(µ|X , · · · , X ) ≥ 1 − α} et C π =
1 n α,σ
{σ, π(σ|X1 , · · · , Xn ) ≥ 1 − α}.
n(X n − µ)2 − n e
π(µ|X1 , · · · , Xn ) ≥ kα = (1 + ) 2 ≥ kα
Sn 2
n(X n − µ)2 e
⇐⇒ ≤e
kα
Sn 2
q √ q
n(X̄n − µ)
⇐⇒ − k α ≤ ≤ ekα
e
e e
Sn
√
n −µ)
Comme n(X Sn suit un Student à n2 degré de liberté, on connaît la valeur
k α qui est le carré du quantile d’ordre α2 . On peut ensuite remonter à kα
de e
e
puisque ek α est une transformation bijective de kα . Résumons : kα est tel que

e
q
n
P (St( ) ≤ e kα ) = 1 − α
e
2
Ainsi :
" r r #
π α Sn2 α Sn2
Cα,µ = X̄n − t n2 (1 − ) ; X n + t n2 (1 − )
2 n 2 n
Pour comparer, nous rappelons la région de confianceq

fréquentiste bien connue
2
du lecteur une fois que l’on a pris conscience que Sn
n’est autre que σˆ2
n n
(au maximum de vraisemblance) 3 :
 s s 
α ˆ
σn2 α ˆ2
σn 
π
Cα,µ = X n − t(n−1) (1 − ) ; X n + t(n−1) (1 − )
2 n 2 n
On s’interesse maintenant au calcul de la région de confiance relative à σ 2 :

π
2
σ ; π(σ 2 |X1 , · · · , Xn ) ≥ gα

Cα,σ 2 =
b a
1. La densité de IG(a, b) est ga,b (x) = x−(a+1) e− x Γ(a)
b
.
2. On rappelle que u suit une loi de Student à p degré de liberté si gp (u) ∝ (1 + u2 )−p .
3. La différence est dans l’ordre du quantile de Student, il y a donc équivalence asymp-
totique.
−Sn
e 2σ2
Comme on a montré que π(σ 2 |X1 , · · · , Xn ) ∝ σ n+1
:
−Sn
2 e 2σ2
π(σ |X1 , · · · , Xn ) ≥ gα ⇐⇒ n+1 ≥ geα
σ
On ne reconnaît pas là de loi connue. Il faut donc établir une table de valeur
pour déterminer gα . Remarquons que le mode de la loi a posteriori est unique
2
Sn
et vaut n+1 , il est alors assez simple de déterminer une procédure numérique
−Sn
e
calculant gα . Pour un k donné, les deux solutions de 2u
n+1 = k 4 permettent
u 2
de calculer l’aire sous la courbe et délimitée par ces deux solutions : si cette
aire est plus grande que 1 − α on baisse k et on l’augmente sinon ; ensuite
cette démarche est renouvelée en fonction de la précision souhaitée.
Pour prolonger cet exemple, il est envisageable d’étudier les régions de
confiance liées au paramètre θ = (µ, σ 2 ).
4.1.2 Calcul de région hpd

Pour calculer les régions hpd, il y a plusieurs méthodes :
1. Méthode analytique et numérique : c’est ce qui a été fait lors de
l’exemple précédent. Précisons une nouvelle fois que cette méthode
ne peut s’appliquer que dans des cas assez rares.
2. Méthode par approximation : cette méthode peut être appliquée si le
modèle est régulier : log(π) est C 2 et θ̂ tend vers θ pour Pθ .
3. Méthode de simulation que nous développons ci-après.
• Méthode par approximation
Considérons l’estimateur map θeπ = Arg maxθ log(θ) + log π(θ) avec
log(θ) = log f (X n |θ) pour un échantillon X n = (X1 , · · · , Xn ). On peut mon-
e 0 If
n
e−n(θ−θ) 2 (θ−θ)
e
trer que : π(θ|X1 , · · · , Xn ) = −1 k
où Ien = I(θeπ ) est l’information
|Ifn | 2 (2π) 2
de Fisher pour une observation prise en la valeur du map et k est tel que
Θ ⊂ Rk . Ainsi, les propriétés asymptotiques bayésiennes ressemblent à celles
de l’estimateur du maximum de vraisemblance. L’idée est d’appliquer ce ré-
sultat aux régions hpd : π(θ|X1 , · · · , Xn ) ≥ kα ⇐⇒ n(θ − θe0 Ien (θ − θ))e ≤ gα .
1
On trouve alors des ellipses de taille n telles que gα proche du quantile
d’ordre 1 − α d’un chi-deux χ2k .
• Méthode de simulation
Le principe repose sur la méthode mcmc qui seront développées plus
iid
loin 5 . Si θ1 , · · · , θT ∼ π(θ|X1 , · · · , Xn ) alors lorsque θ ∈ R, on s’intéresse
4. Il peut être judicieux de faire un dessin.

5. Méthodes de Monte-Carlo par Chaînes de Markov ; voir notamment ? ].
4.1 Région de confiance 25
h α 1−α
i
aux intervalles (quantiles empiriques) de la forme θ( 2 ) , θ( 2 ) tels que
h α 1−α
i
P π (θ ∈ θ( 2 ) , θ( 2 ) |X1 , · · · , Xn ) −→ 1 − α
T →+∞
α
Pour T grand, θ 2 s’approche du quantile d’ordre α2 de la loi a posteriori
π(θ|X1 , · · · , Xn ). Cette région n’est pas nécessairement hpd mais reste α-
crédible. Cette méthode est particulièrement adaptée lorsque la loi a priori
est unimodale. Il est toujours utile de représenter graphiquement les sorties
pour fixer les idées. Enfin, il est aussi envisageable d’avoir recours à une
estimation non paramétrique par noyaux.
• Remarques sur les régions hpd
Non-invariance par reparamétrisation

Considérons Cαπ = {θ; π(θ|X) ≥ hαn} une région hpdoet un C 1 -difféomorphisme
η = g(θ) alors on peut définir : C e π = θ; π e(η|X) ≥ ekα .
α

eαπ 6= g(Cαπ ) 6 . En effet, π dθ
En général, C e(η|X) = π(θ(η)|X) × dη donc
n o n o
dθ e
e(η|X) ≥ e
θ; π kα = θ; π(θ(η)|X) dη ≥ kα .
Exemple 4.2 N (θ, 1)

Supposons π(θ) = 1 et π(θ|X) = N (X, 1), posons η = eθ .
Comme π(θ|X) ≥ h ⇐⇒ (θ − X)2 ≤ (φ−1(1 − α))2 ,
π = X − φ−1 (1 − α); X + φ−1 (1 − α) .
Cα,θ
(X−log(η))2
D’un autre côté, π(η|X) ∝ η1 e− 2 . Ainsi :
(X − log(η))2
π(η|X) ≥ geα ⇐⇒ + log(η) ≤ gα
2
(2X − log(η))2 X 2
⇐⇒ − ≤ gα
2 2
⇐⇒ (2X − log(η))2 ≤ gα
h α α i
⇐⇒ log(η) ∈ 2X − φ−1 ( ); 2X + φ−1 ( )
2 2
π et C π ne correspond pas à
On vérifie sur cet exemple que le lien entre Cα,θ α,η
la transformation initiale (exponentielle).
Nous pouvons comprendre pourquoi une région de confiance n’est pas
invariante par reparamétrisation. En effet, cette région se définit comme une
solution du problème de minimisation suivant :
Cαπ = argmin vol(C)

C, P π (C|X)≥1−α
6. Toujours à cause du jacobien. . .

R
où V ol(C) = C dθ. C’est là que le bât blesse : la mesure de Lebesgue n’est
pas invariante par reparamétrisation. Une idée pour lever cette difficulté est
donc logiquement d’abandonner la mesure de Lebesgue et de considérer pour
une mesure s : Z
π
Cα,s = argmin ds(θ)
C, P π (C|X)≥1−α
Lien avec la théorie de la décision

En revenant à la notion de région de confiance, il est judicieux de remar-
quer qu’il s’agit d’un problème de minimisation sous contrainte. L’idée est
alors que la région de confiance minimise un fonction de perte. En particulier,
on peut penser à la forme suivante :
L(C, θ) = V ol(C) + k(1 − 1θ∈C )
qui correspond au risque a posteriori :
ρπ (C|X) = vol(C) + k(1 − P π (C|X))
Nous pouvons observer un problème dans l’expression suivante, le second
terme varie entre 0 et k, tandis que le volume peut prendre des valeurs dans
R+ . Pour résoudre ce problème, une idée est de définir une probabilité sur
C (avec évidemment l’épineuse question du choix de cette probabilité), une
vol(C)
autre idée étudiée est de prendre dans la fonction de perte 1+vol(C) à la place
de vol(C) mais le comportement qui s’en déduit ne suit pas le maximum de
vraisemblance, qualité pourtant recherchée.
4.2 Test
Comme nous l’avons vu précédemment, un test se formalise de la manière
suivante : on définit une hypothèse nulle H0 : θ ∈ Θ0 et une hypothèse
alternative H1 : θ ∈ Θ1 de telle sorte que Θ0 ∩ Θ1 = ∅ et Θ0 ∪ Θ1 ⊂ Θ.
Pour le modèle paramétrique X ∈ (X , B, {Pθ , θ ∈ Θ}), Θ0 ∪ Θ1 ⊂ Θ. Le
cas propre correspond au cas où la loi a priori est telle que si θ suit la loi π
alors π(Θ0 ) + π(Θ1 ) = 1 = π(Θ) 7 . Cette dernière condition peut s’exprimer
aussi sous la forme suivante : π(Θ \ (Θ0 ∪ Θ1 )) = 0.
4.2.1 Approche par la fonction de perte de type 0–1

Dans cette partie, l’espace des décisions est D = {0, 1}, la décision i
correspondant à accepter Hi , i = 0, 1. La fonction de perte est alors la
suivante :
0 si δ = 1θ=θ1
L(θ, δ) =
1 si δ = 1θ=θ0
7. c’est-à-dire π(Θ \ Θ1 ∪ Θ0 ) = 0.
4.2 Test 27
Comme cela a été montré précédemment, l’estimateur bayésien associé à

cette fonction de perte est :
1 si P π (Θ1 |X) ≥ P π (Θ0 |X)

π
δ (X) =
0 sinon
Exemple 4.3 Loi binomiale
Exemple 4.4 Loi normale

X ∼ N (θ, σ 2 ) avec σ 2 connu, θ ∼ N (µ, τ 2 ) et pour :

 0 si δ = 1θ∈Θ1
L(θ, δ) = a0 si δ = 1θ∈Θ0
a1 si δ = 0, θ ∈ Θ1

Alors :
δ π (X) = 1 ⇐⇒ a0 P π (Θ0 ) < a1 P π (Θ1 |X)
Ainsi, δ π (X) = 1 ⇐⇒ P π (Θ1 |X) > a0a+a

0
1
.
Pour tester l’hypothèse H0 : θ < 0 contre H1 : θ ≤ 0, on calcule
(X−θ)2 (θ−µ)2
π(θ|X) ∝ e− 2σ 2 e− 2τ 2
(θ−µ(X))2
∝ e− = N (µ(X), V )
2V 2
Xτ 2 µσ 2 σ2τ 2
où µ(X) = 2 + et V =
σ + τ 2 σ2 + τ 2 σ2 + τ 2
Notons une dualité entre la fonction de perte µ et la loi a priori (a0 , a1 ).

On peut prendre à l’une pour donner à l’autre comme l’illustre l’exemple
précédent. La détermination d’une fonction de risque ne peut se dissocier
de celle de la loi a priori puisqu’elle correspond à une façon de sanctionner
l’erreur. Ceci s’explique par le fait que le statisticien a une idée a priori sur
la répartition de l’erreur et donc sur la loi a priori du paramètre. Prendre
µ >> 0 équivaut à a0 << a1 .
Ce dernier point se retrouve dans le cas des fonctions de perte quadra-
tiques de la forme L(θ, δ) = ω(θ)(θ − δ)R2 où seul le produit ω · π compte dans
θω(θ)f (X|θ)dπ(θ)
l’estimateur bayésien associé δ π (X) = RΘ ω(θ)f (X|θ)dπ(θ) .
Θ
Afin de rendre absolue la fonction de perte et qu’elle ne dépende plus de la
loi a priori, nous introduisons dans la partie suivante le facteur de Bayes.
4.2.2 Facteur de Bayes

L’idée à l’origine de cette notion est de limiter l’importance du choix a
priori de a0 et a0 introduits ci-dessus.
Définition 4.2.1 Facteur de Bayes π (Θ |X)

Le facteur de Bayes est défini par B0/1 = PP π (Θ 0
1 |X)
× π(Θ1)
π(Θ0 ) dès que π(Θ0 ) > 0
et π(Θ1 ) > 0.
Le problème de définition relatif au Θi n’est en réalité que peu gênant
puisque si π(Θi ) > 0, i = 0, 1 alors cela signifie que l’hypothèse i ne peut
être acceptée a priori et donc, le risque correspondant ne peut pas être cor-
rectement défini. Cependant, même s’il peut être naturel de ne pas prendre
en compte le cas de probabilité nulle pour Θ0 , le cas où Θ0 est de mesure
nulle sans être vide peut s’avérer être problématique. A ce moment là, toute
loi a priori est nulle sur Θ0 sans qu’il soit absurde de considérer des tests.
C’est le cas notamment pour l’estimation ponctuelle : Θ0 = {θ0 } ou les
tests de significativité dans les modèles de régression. Pour une loi a priori
absolument continue par rapport à la mesure de Lebesgue, π(Θ0 ) = 0. Il faut
donc veiller à ne pas se placer dans un tel cas.
En écrivant un modèle linéaire sous la forme :
y = x1 β 1 + · · · + xp β p + ε
, le test de significativité de xp s’écrit : H0 : βp = 0 et H1 : βp 6= 0. A seuil de
significativité (et p-value correspondante) fixé, l’augmentation du nombre
d’observations mène à refuser plus souvent H0 , hypothèse ponctuelle. En
réalité, le problème peut se reformuler en précisant que le statisticien 8 veut
en réalité tester |βp | < ε, mais reste la difficulté majeure que ε est inconnu
et dépend du contexte de l’étude.
L’idée est d’introduire une masse de Dirac en 0 et de considérer à ε fixé,
ρε = π(θ, |θ − θ0 | < ε) et de choisir comme loi :
π(θ) = ρε δθ0 + (1 − ρε )π1 (θ)
où δθ0 mesure de Dirac en θ0 et π1 (θ) absolument continue par rapport à la
mesure de Lebesgue.
Le facteur de Bayes permet de s’affranchir du choix de ρ et de limiter
l’influence du choix de ε 9 . En effet, dans ce cas Θ1 = Θ\Θ0 et le facteur de
Bayes s’écrit (les termes en ρ se simplifient) :
f (X|θ0 )
B0/1 = R
Θ f (X|θ)π 1 (θ)dθ
Ainsi, le facteur de Bayes peut s’interpréter comme le rapport de la vraisem-

blance sous H0 par celle sous H1 . Il peut s’utiliser comme une p-value : pour
8. ou économètre. . .
9. Noter la correspondance entre choisir ρ et ε.
4.2 Test 29
B0/1 grand par rapport à 1, on accepte H0 10 , et H1 pour des petites valeurs,

autour de 1 il n’est pas possible de conclure, c’est une zone floue.
Plus généralement, pour
dπ(θ) = ρdπ0 (θ)1θ∈Θ0 + (1 − ρ)dπ1 (θ)1θ∈Θ1
avec Z Z
dπ0 (θ)dθ = dπ1 (θ)dθ = 1
Θ0 Θ1
le facteur de Bayes s’exprime :
R
ρ Θ0 f (X|θ)dπ0 (θ) 1−ρ m0 (X)
B0/1 = R × =
(1 − ρ) Θ1 f (X|θ)dπ1 (θ) ρ m1 (X)
R
où mi (X) = Θi f (X|θ)dπi (θ) est la vraisemblance intégrée sous Hi .
Une remarque importante concerne le cas où dπ0 ou dπ1 n’est pas propre :
B0/1 n’est alors pas défini de manière unique 11 . En effet, si une loi est im-
propre (par exemple dπ0 ) alors elle est définie à une constante multiplicative
près. Pour dπ0∗ (θ) = c dπ0 (θ) alors le facteur de Bayes est lui aussi multiplié
∗ = B
par c : B0/1 0/1 et par conséquent les ordres de grandeur de B0/1 n’ont
plus de sens : il n’est plus possible de comparer ses valeurs à 1 comme le
précise l’exemple qui suit.
Exemple 4.5 Cas impropre
Pour X ∼ N (θ, 1) et π(θ) = c, on considère le test suivant : H0 : θ = 0 et
H1 : θ 6= 0. Dans ce cas, le facteur de Bayes est :
1 1
B0/1 = R (x−θ)2
=
e − 2
dθ C
Θ1
Le facteur de Bayes est donc une constante et n’a pas d’interprétation.

Pour remédier à ce problème, on envisage de réduire l’intervalle des pa-
ramètres de R à [−M ; M ], mais de la même façon que le choix de ε plus
haut était influent, celui de M n’est pas sans conséquence sur l’expression
du facteur de Bayes.
On peut aussi jouer sur la variance ; en adaptant l’exemple précédent
avec X ∼ N (θ, 1) et θ ∼ N (0, V ), le choix d’une grande variance V permet
de jouer sur le facteur de Bayes. Ainsi, cette stratégie n’est pas satisfaisante.
En conclusion, retenons que les tests requièrent des lois a priori propres
et bien justifiées. C’est un problème parce qu’une loi non informative est en
général impropre. Notons que ces défauts proviennent en partie du choix de
la fonction de perte. La section suivante a pour but de généraliser le facteur
de Bayes aux lois impropres.
10. par exemple, pour une valeur proche de 12, H0 est 12 fois plus vraisemblable que
H1 .
11. Et n’a donc pas beaucoup de sens. . .
4.2.3 Variations autour du facteur de Bayes

Nous nous plaçons dans le cas des lois a priori impropres pour définir le
facteur de Bayes intrinsèque. L’idée est d’utiliser une partie de l’échantillon
de départ pour travailler avec des lois propres.
Définition 4.2.2 Echantillon d’apprentissage (Training sample)
Si X n = (X1 , · · · , Xn ) sont les données, un sous-échantillon de X n de taille
` s’écrit X (`) = (Xi1 , · · · ), Xil , ` = i1 ,R· · · , il ⊂ 1, · · · , n. Cet échantillon est
dit d’apprentissage si et seulement si Θ f (X (`) (θ)π(θ)dθ < +∞.
Il est ainsi possible de construire une loi a priori à partir de X (`) .
Définition 4.2.3 Echantillon d’apprentissage minimal

X (`) est un échantillon d’apprentissage minimal si pour tout sous-échantillon
strict de X (`) l’intégrale précédente sur ce sous-échantillon est impropre.
Le facteur de Bayes intrinsèque est alors défini pour Hi : θ ∈ Θi , muni
de la loi dπi (i = 0, 1).
Définition 4.2.4 Facteur de Bayes intrinsèque
Si X (`) échantillon d’apprentissage pour Θ0 et Θ1 et minimal pour la réunion
des deux 12 , le facteur de Bayes intrinsèque est défini par :
f (X (−`) |θ)π0 (θ|X (`) )dν(θ)

R
(`)
B0/1 = RΘ0 (−`) |θ)π (θ|X (`) )dν(θ)
Θ1 f (X 1
où X (−`) = X i , ∈
/ `.
En faisant apparaître la loi jointe de X (`) et X (−`) 13 , le facteur de Bayes
intrinsèque s’écrit :
π0 ,π1
(`)
B0/1 (X n )
B0/1 = π0 ,π1 (`)
B0/1 (X )
avec des notations « claires », étant donné que le facteur de Bayes dépend
de l’échantillon considéré. Moyenner sur les différents sous-échantillons X (`)
permet de s’affranchir de cette propriété.
Pour éviter de moyenner sur les sous-échantillons, O’Hagan a introduit

le facteur de Bayes fractionnaire.
Définition 4.2.5 Facteur de Bayes fractionnaire
Il est défini par :
f b (X|θ)dπ1 (θ)
R
(b)
F BF0/1 = B0/1 × RΘ1 b
Θ0 f (X|θ)dπ0 (θ)
12. Nous supposons ainsi qu’il existe ; c’est presque toujours le cas, sinon c’est que le
problème doit être repensé à la base.
13. Celle de X n !
4.2 Test 31
où
Z Z
(t) (t)
b = inf t > 0; f (X|θ)dπ1 (θ) < +∞, f (X|θ)dπ0 (θ) < +∞
Θ1 Θ0
Notons que cette méthode présente l’inconvénient d’utiliser deux fois les
données. Cependant, tout ce qui a été présenté dans cette section a une
justification asymptotique ; en particulier, b défini ci-dessus est très vraisem-
blablement de la forme n1 .
Exemple 4.6 Interprétation du facteur de Bayes fractionnaire comme vrai-

semblance pénalisée
Considérons le modèle linéaire M[1,n] :
y = X1 β1 + · · · + Xp βp + ε ε ∼ N (0, σ 2 )
Le problème consiste à sélectionner les Xj significatifs. A un sous-ensemble

[`] donné d’éléments, on associe le modèle M[`] et l’on s’intéresse à β[`] =
{βj , j ∈ [`]}.
Le maximum de vraisemblance est donné par f (X|βˆ` , σ 2 , M[`] ) et on re-
garde Arg max` f (X|βˆ` , σ 2 , M[`] ). Le maximum est donné par le modèle le
plus gros qui inclut toutes les variables proposées dans le modèle de départ.
Cependant, il faut garder en tête que β et σ sont considérés comme connus.
En fait, c’est là la justification de la pénalisation, il faut tenir compte de l’in-
certitude sur les paramètres qui s’ajoute en gardant toutes les variables. C’est
pourquoi, pénaliser permet de ne prendre en compte qu’un nombre limité et
raisonnable de variables.
Pour une loi a priori dépendant des variables retenues π(l) , le critère
retenu est de la forme :
`n (π(l) ) = `n (θ̂π(l) ) − pen(n, `)

| {z }
critère de pénalité
Le rapport suivant permet ainsi de comparer les deux modèles et de prendre

en compte l’incertitude sur les paramètres :
n
R
Θ` f` (X |θ` )dπ` (θ` )
BF`/`0 = R
n
Θ 0 f` (X |θ` )dπ` (θ` )
0 0 0 0
`
4.2.4 Propriétés asymptotiques des facteurs de Bayes

Cette section cherche en outre à établir un lien entre le facteur de Bayes et
la vraisemblance pénalisée. Le contexte est désormais usuel : X n = (X1 , · · · , Xn )
iid
et X n ∼ f (X, θ), θ ∼ π, le test s’écrit toujours H0 : θ ∈ Θ0 et H1 : θ ∈ Θ1
dans le cadre un peu plus restreint Θ ⊂ Rd .
Si le modèle est régulier et si θ0 ∈ Θ0 tel que π1 (θ0 ) > 0 et de surcroît
dπj (θ) = πj (θ)d(θ), alors dans le cas où :
dπ(θ) = απ0 (θ)1Θ0 (θ) + (1 − α)π1 (θ)1Θ1 (θ),
on peut définir une sorte de rapport de vraisemblance par :
elog(θn ) dπ0 (θ)dθ

R
B0/1 = RΘ0 log(θ )
Θ1 e
n dπ (θ)dθ
1
où log(θn ) désigne log(f (X n |θ)) la valeur de la log-vraisemblance.

Les propriétés asymptotiques de B0/1 découlent du maximum du rapport
de vraisemblance et sont les suivantes :
Pθ0
– si θ0 ∈ Θ0 , B0/1 −→ +∞
n→+∞
Pθ0
– si θ0 ∈ Θ1 , B0/1 −→ 0
n→+∞
Ainsi le facteur de Bayes distingue la bonne hypothèse, avec une proba-
bilité qui tend exponentiellement rapidement avec n vers 1. Le facteur de
Bayes est dit consistant.
Remarquons que l’hypothèse π1 (θ0 ) > 0 peut paraître illusoire étant
donnée la propriété Θ0 ∩ Θ1 = ∅. En réalité, cela peut être le cas si par
exemple Θ0 est dans l’adhérence de Θ1 ; en particulier, si Θ1 est de dimension
k, on peut trouver de tels Θ0 de dimension k − 1. Même si cela semble
contraignant, il faut se rendre compte que ce cas recouvre un grand nombre
de problèmes comme nous le verrons plus loin.
Dans le cadre d’hypothèses « pseudo ponctuelles » de la forme Θ0 = {θ0 }
ou Θ = {θ1 , θ2 } et Θ0 = {θ1 = θ1,0 } et pour Θ1 = Θ \ Θ0 , si π1 est
absolument continu par rapport à la mesure de Lebesgue alors π1 (Θ0 ) = 0
et π(Θ1 ) = π(Θ) = 1. Comme l’illustre l’exemple suivant, l’hypothèse ainsi
formulée est « trop petite ». L’idée est que θ0 est autant dans Θ1 que dans
Θ0 au sens où θ0 appartient à l’adhérence de Θ1 .
Exemple 4.7 Hypothèse pseudo-ponctuelle

On regarde un modèle que l’on suppose mélangé au sens où il se pourrait
que certains éléments soient tirés suivant une loi d’un certain paramètre et
d’autres suivant la loi avec un autre paramètre. La vraisemblance est alors :
p · f (X|θ1 ) + (1 − p) · f (X|θ2 ).
Ainsi, Θ = (p, θ1 , θ2 ) et on définit : H0 : p = 1 ou θ1 = θ2 . Cela cor-
respond à n’avoir qu’un paramètre ou deux : Θ1 est de dimension 2, Θ0 est
de dimension 1. Le facteur de Bayes converge exponentiellement vers 0 sous
HO et de façon polynômiale vers l’infini sous H1 . Le problème est que l’on
teste une hypothèse « trop petite » et qu’il est difficile d’accepter H0 .
4.2 Test 33
Considérons le cadre particulier d’un choix de modèle dans une famille

croissante de modèles : ∀jΘj ⊂ Θj+1 tels que πj (Θj ) = 1. L’inclusion doit se
comprendre comme le fait que lorsqu’on est dans un modèle on est aussi dans
un autre « plus grand ». L’exemple du nombre de variables explicatives dans
une regression linéaire est en ce sens parlant. Le but du choix de modèle est
d’établir une procédure qui permet de sélectionner le modèle « le plus petit »
possible, c’est-à-dire le plus précis 14 . Si θ0 , la vraie valeur, est contenue dans
Θj \ Θj−1 alors on veut sélectionner Θj comme étant le plus petit modèle
contenant θ0 et ce avec un probabilité tendant vers 1 lorsque n → +∞.
Théorème 4.2 Hypothèses emboîtées
Si ∀j θ ∈ Θj 7−→ fj (X, θ) est régulière sur Θj , et si ∀j la loi a priori,
continue sur Θj , est telle que πj (Θj ) = 1 et πj (Θj−1 ) > 0 alors en notant θbk
le maximum de vraisemblance sur Θk et dk la dimension de Θk :
mn,h (X n )

dk − dk−1 n
log = log(θbk ) − log( θdk−1 ) − log + O(1)
mn,h−1 (X n ) 2 2π
On voit apparaître ici un rapport de vraisemblance pénalisé 15 . Cela corres-

pond au critère BIC. Il est utile de formuler les hypothèses sous la forme
d1 < d2 < · · · où ∀j Θj ⊂ Rdj . L’idée à la base des critères BIC et AIC est
que l’augmentation du nombre de paramètres à estimer augmente l’incerti-
tude et qu’il faut pénaliser le fait qu’on fait comme si les valeurs estimées
sont les vraies valeurs. On pénalise donc pour prendre en compte cette in-
certitude.
Comme le montre l’exemple qui suit, le choix de modèle peut être consi-
déré comme un cas particulier de test et donc on peut utiliser le facteur de
Bayes.
Exemple 4.8 Choix de modèle
Considérons H0 : X ∼ N (θ, σ 2 )θ ∈ R, σ > 0 sous π0 (θ, σ 2 ) et H1 : X ∼
C(θ, σ) 16 sous π0 (θ, σ).
Le facteur de Bayes s’écrit :
(X−θ)2
π0 (θ,σ 2 )
e−
R
R×R+
2σ 2 √ dθdσ
2πσ 2
B0/1 = R π 1
R×R+ σ 1+( X−θ )2 π1 (θ, σ)dθdσ
σ
14. En effet, on rappelle au lecteur que dans une régression linéaire la qualité de la
représentation ne peut qu’augmenter avec le nombre de variables explicatives. C’est un
moyen parfois artificiel de faire augmenter le sacro-saint R2 mais en augmentant les pro-
cédures de calcul. S’il veut plus d’explications, le lecteur peut s’adresser à la lectrice qui
a bien suivi l’enseignement d’économétrie dispensé à l’Ensae.
15. Notons que O(1) masque le logarithme du déterminant de la matrice d’information
de Fisher.
16. Une loi de Cauchy de paramètre (θ, σ) admet comme densité par rapport à la mesure
π
de Lebesgue f (X|θ, σ) = h 2
i
σ 1+( X−θ
σ )
Remarquons que le rapport de Bayes est une réponse à la fonction de perte

i.i.d.
0–1 correspondant à X1 , · · · , Xn ∼ f , {fθ θ ∈ Θ} = F, H0 : f ∈ F.
Lors d’une simplification de modèle, si on cherche à savoir dans quelle
mesure un modèle en approche bien un autre 17 , il faut considérer une dis-
tance entre la fonction f à approcher et la famille de modèle F par laquelle
on veut approcher f . On considère une fonction de perte au lieu de la perte
0–1 simple. Pour δ ∈ 0, 1 :

(d(f, F) − ε)1d(f,F )>ε si δ = 0
L(θ, δ) =
(ε − d(f, F))1d(f,F )<ε si δ = 1
Il faut que les lois qu’on regarde (de mesure nulle dans l’espace des lois
on le rappelle) ait un critère particulier pour qu’on puisse les différencier des
autres lois. Ces lois particulières définissent un ensemble F0 .
Pour résoudre notre problème il faut définir une loi a priori sur l’espace
de dimension infinie contenant les lois de distribution 18 . Cette loi π1 doit
être centrée autour de F0 . Si l’hypothèse H0 était vraie alors il existerait θ
tel que Fθ (X) ∼ U[0, 1], ∀θ ∈ Θ, Fθ (X) est une variable aléatoire sur [0, 1].
Et puisque si X ne suit une loi Fθ pour aucun θ alors Fθ (X) n’est pas une
variable aléatoire à répartition uniforme sur [0, 1], on a un élément qui nous
permet d’établir une stratégie de test.
Exemple 4.9 On suppose ici Θ = f, log(f ) ∈ L2 [0, 1] et on considère une

base orthonormale (φj )+∞ 2

j=0 quelconque de L [0, 1].P Sur cette base, on décom-
pose log f par ψ = (ψj )j≥0 en écrivant log f = ∞ j=0 ψj φj (X). On définit
P∞
ψj φj (X)−c(ψ)
alors gp si = e j=0 : s’il existe ψ0 tel que ∀u ∈ [0, 1], gψ0 (u) = u,
ce sera centré.
4.2.5 Calcul du facteur de Bayes

On se place dans le cadre habituel : pour j = 0, 1, Hj : θ ∈ Θj muni de
dπj (loi a priori) et fj (X|θ) (loi conditionnelle). Rappelons l’expression du
facteur de Bayes : R
f0 (X|θ)dπ0 (θ)
B0/1 = RΘ0
Θ1 f1 (X|θ)dπ1 (θ)
Les différentes méthodes de calcul sont les suivantes :
– Formules analytiques de B0/1 (rare, correspond au forme conjuguée)
– Approximation par BIC si : les modèles sont réguliers, le max de vrai-
semblance se calcule sous H0 et H1 et de nombreuses observations sont
disponibles
– Méthodes par simulations (ou de Monte-Carlo) à partir de tirages indé-
pendants des lois πj , j = 0, 1, on estime les intégrales grâce aux contre-
parties empiriques (très grande nombre d’observations nécessaires)
17. c’est-à-dire avoir une idée de qualité (distance) au lieu d’une simple réponse binaire
18. d’où une approche non paramétrique.
Chapitre 5
Propriétés asymptotiques des

approches bayésiennes
5.1 Théorie générale

Cette partie s’appuie en particulier sur les travaux de Ibragimov & Khas’mins-
kii (1985) [1].
On considère le cadre désormais classique : X n ∼ f (X n |θ) où f est une
densité absolument continue par rapport à une mesure µ et θ ∈ Θ ⊂ Rd . On
définit la forme suivante :
f (X n |θ + φn u)
Zn,θ (u) =
f (X n |θ)
où (φn )n∈N∗ & 0, défini à une constante multiplicative près et un ∈ Un =
φ−1
n (Θ \ θ). L’idée est de faire varier le paramètre avec n autour d’une valeur
donnée.
La fonction de perte est alors donnée par L : Θ × D → R+ avec δ un
estimateur potentiel de θ dans D et π une loi de probabilité (a priori) sur
Θ. On fait maintenant les hypothèses suivantes :
1. Θ est un ensemble convexe 1
L
2. ∃ (φn )n∈N∗ & 0 tel que ∀u ∈ Un Zn,θ (u) → Zθ (u) uniformément en θ
3. ∃m, M1 tels que :
(a) ∃α > 0 tel que ∀θ ∈ Θ∀R > 0
sup |u1 − u2 |−α Enθ [Zn,θ (u1 ) − Zn,θ (u2 )] ≤ M1 (1 + Rn )

|u1 |≤R|u2 |≤R
(b) ∃β > 0, ∀u ∈ Un , ∀θ ∈ Θ
β
Enθ (Zn,θ (u)) ≤ hn (u) = rn (u)γ u−K
1. Il semble que compact peut aussi convenir.

36 Propriétés asymptotiques des approches bayésiennes
où K est une constante dépendant de γ, β, m, α et où

X
lim lim rn (k) = 0
H→+∞ n→+∞
k>H
β
Ce qui est important ici est de majorer Enθ (Zn,θ (u)) par une fonction
décroissante de u. Il est conseillé de se référer à l’article correspondant
pour d’avantage de précisions.
4. π est continue sur Θ et Θ est l’enveloppe convexe du support de π ; de
plus ∀θ ∈ Θ, π(θ) > 0
t 3
5. L : δ 7−→ L(θ, δ) ∈ C 3 (Θ × D) ; ∀x x ∂δ∂ 3 L(θ, δ)x ≤ M |x|2

i
∂2
6. `(θ) = L(θ, δ)|δ=θ définie positive. L’idée est d’effectuer un déve-
∂δ 2
loppement limité au second ordre pour se ramener à une fonction de
perte quadratique 2 .
Théorème 5.1 Propriétés asymptotiquesR

uZ (u)du
Sous ces hypothèses, en posant τ (θ) = R Z θ(u)du , les propriétés suivantes
θ
sont vraies :
1. φ−2 n π n
n Eθ [L(θ, δ (X ))] −→
1
E [τ (θ)0 `(θ)τ (θ)]
n→∞ 2
R
L uZ (u)du
2. φ−1 π n
n (θ − δ (X )) −→ R Z θ(u)du = τ (θ)
θ
On précise que l’opérateur Enθ fait à chaque fois référence à l’espérance se-
lon π(θ)f (X n |θ). Avant de donner des pistes de démonstration du théorème
précédent, étudions un exemple.
Exemple 5.1 Modèles réguliers en dimension 1
log Zn,θ (u) = log f (X n |θ + φn u) − log f (X n |θ)

∂ (φn u)2 ∂ 2
= φn u log f (X n |θ) + log f (X n |θ) + o((φn u)3 )
∂θ 2 ∂θ2
Comme Sn (θ) = √1 ∂ log f (X x |θ) → N (0, I0 (θ)) (I0 (θ) est l’information
n ∂θ
de Fisher), en choisissant (φn )n∈N∗ = ( √1n )n∈N∗ et si on note ξ une variable
aléatoire suivant la loi normale, on a :
u2
log Zn,θ (u) = uξ − I(θ) + Op (1)
2
L u2
et log Zn,θ (u) → Z , loi de densité log Zθ (u) = e− 2
I(θ)+uξ
2. qui est donc locale. . .

5.2 Normalité asymptotique de la loi a posteriori 37
Si L(θ, δ) = (θ − δ)2 et avec `(θ) = 2 on a alors :

R
√ π n L uZθ (u)du
n(δ (X ) − θ) → R
Zθ (u)du
R − u2 I(θ)+uξ
ue 2 du
= R 2
− u2 I(θ)+uξ
e du
R − I(θ) (u−I −1 (θ)ξ)2
e 2 udu
= p √
−1
I (θ) 2π
= I −1 (θ)ξ
∼ N (0, I −1 (θ))
A titre d’exercice, le lecteur peut appliquer le théorème ci-dessus à la loi

uniforme sur un intervalle
R √ inconnu√ : U(θ1 , θ2 ) avec une fonction de perte de
la forme L(θ, δ) = ( fθ − fδ )2 dx, ou encore à θ1 e−θ1 (X−θ2 ) 1X≤θ2 avec
la fonction de perte L(θ, δ) = (θ1 − δ1 )2 + (θ2 − δ2 )2 où l’on prendra φn
bidimensionnel.
Démonstration : (idée rapide, consulter l’article cité pour la démonstration
détaillée et rigoureuse)
Considérons l’estimateur bayésien δ π = Argminδ E[L(θ, δ)]. En effectuant
un développement limité au second ordre de la vraisemblance, il s’agit de
montrer en intégrant que E[L(θ, δ)]φ−2 n ≤ 21 E[τ (θ)t l(θ)τ (θ)] et de passer
ensuite au minimum.
5.2 Normalité asymptotique de la loi a posteriori

√
Si le modèle est régulier, si π ∈ C 0 et π > 0, en notant zn = z + nθ̂, où
θ̂ est le maximum de vraisemblance :
√ √ p
P π ( nθ ≤ z|X n ) = P π ((θ − θ̂) n ≤ zn |X n ) → φ(z I0 (θ))
`n (θ)+log π(θ)
Or π(θ|X n ) = R e
P
e`n (θ)+log π(θ) dθ et `n (θ) = 1≤i≤n log f (Xi |θ), donc pour
Θ
2
|θ− θ̂| < η (petit intuitivement), `n (θ)−`n (θ̂) ' −nI(θ) (θ−2θ̂) +Op (n|θ− θ̂|3 ).
Le comportement gaussien asymptotique est obtenu en repassant aux expo-
nentielles et en encadrant les termes non quadratiques des ordres supérieurs.
38 Propriétés asymptotiques des approches bayésiennes
Chapitre 6
Détermination de lois a priori
Un grand intérêt de la théorie bayésienne est sa grande cohérence et sa

méthodologie unifiée. Ainsi, donner les lois a priori et a posteriori ainsi que
la fonction de perte suffit pour déterminer, entre autres, un estimateur op-
timal, des régions α-crédibles. Le choix de la loi a priori π est donc crucial.
Avec beaucoup d’observations, le comportement asymptotique peut guider
ce choix mais sinon il est nécessaire de le justifier avec précision. Il existe
principalement deux méthodes : subjectives ou informatives, présentées suc-
cessivement dans ce chapitre.
6.1 Lois subjectives
Précisons tout d’abord que cette démarche n’est pas forcément facile
dans la pratique. L’idée est d’utiliser les données antérieures. Par exemple,
dans un cadre paramétrique, cela revient à choisir une valeur particulière du
paramètre.
Dans un cas concret, il peut être judicieux de baser son raisonnement sur
les dires d’experts, notamment à l’aide de questionnaires. Il est alors néces-
saire de veiller à ce que les questions soient compréhensibles 1 , par exemple
en prenant comme base les quantiles plutôt que les moments. Pour plusieurs
experts, il peut être utile de pondérer leurs réponses et d’utiliser des modèles
hiérarchiques.
Ainsi, la difficulté ici n’est pas mathématique mais plus psychométrique
pour réduire les biais sur les réponses fournies. Nous allons nous concentrer
sur le second aspect de la détermination.
1. On évitera : « Quelle est la loi a priori ? ».

40 Détermination de lois a priori
6.2 Approche partiellement informative

6.2.1 Maximum d’entropie
Si l’on possède des informations partielles du type Eπ [gk (θ)] = µk où
pour chaque k = 1, · · · , n, gk est une fonction donnée, on cherche la loi la
moins informative sous ces contraintes, seules informations dont on dispose.
Pour comparer le caractère informatif, il est nécessaire d’avoir recours à un
critère d’information. L’entropie de Shannon permet de définir ce niveau
d’informativité, nous présentons dans un premier temps cette entropie dans
le cas fini et discret.
Pour θ ∈ {1, · · · , n} et π(θ) = (π1 , · · · , πn ) tel que πi ≥ 0 et m
P
i=1 πi = 1,
l’entropie de la loi est définie par :
m m
X X 1 1
Ent(π) = − πi log(πi ) ≤ − log( ) = log m
m m
i=1 i=1
Ce dernier terme correspond à une répartition uniforme, la loi la plus « plate »,

la plus désordonnée. Pour la masse de Dirac 2 δ(j), Ent(δ(j)) = 0 ce qui
correspond à l’intuition puisqu’alors il n’y a plus d’incertitude et l’informa-
tion est totale. Une entropie petite s’interprète comme une loi concentrée et
informative. La maximisation de l’entropie sous les contraintes permet de
chercher la loi qui apporte le moins d’information. Le principe à la base de
cette méthode est donc de chercher à calculer :
Arg max Ent(π) sous la contrainte Eπ [gk (θ)] = µk
π
La solution de ce problème est alors donnée par :

Pn
π? ∝ e k=1 λk gk (θ)
où les λk sont les multiplicateurs de Lagrange associés. Dans la pratique,

on détermine ces valeurs λ à partir des contraintes (systèmes d’équations)
comme l’indique l’exemple à suivre.
Exemple 6.1 Un cas dénombrable
Ici, Θ = N et Eπ [θ] = x > 1, c’est-à-dire qu’ici g(θ) = θ et µ = x. On sait
que π ? ∝ eλθ et que λ est déterminé par :
θeλθ
P
Pθ∈N λθ = x
θ∈N e
Cela conduit à résoudre :
x 1 eλ
=
1 − eλ eλ (1 − eλ )2
x−1
d’où eλ =
x
2. telle que πj = 1 et ∀i 6= j, πi = 0.
6.2 Approche partiellement informative 41
12
Par exemple si x = 11 alors λ = − log(12) .
En continu, il n’est pas possible de définir l’entropie comme ci-dessus
puisqu’on ne peut dénombrer les états (pas de mesure de comptage) en l’ab-
sence de mesure de référence. Dans le cas continu, on définit alors l’équivalent
de l’entropie par rapport à une mesure π0 :
Z
π(θ)
Ent(π/π0 ) = π(θ) log dθ
Θ π0 (θ)
C’est en fait la divergence de Kullback. Dans l’idée π0 est la plus plate pos-
sible, la plus proche de la répartition uniforme, c’est en fait l’équivalent de
1
la répartition en m de l’information discrète. L’objectif est donc de maxi-
miser Ent(π/π0 ) sous les contraintes Eπ [gk (θ)] = µk . Là encore, la solution
générale est connue :
Pn
π ? (θ) ∝ e k=1 λk gk (θ)
π0 (θ)
Lorsque la structure est bonne, des choix raisonnables de π0 sont la mesure
de Haar (pour les groupes) ou bien la loi de Jeffreys.
Exemple 6.2 Cas continu

Si le modèle est de la forme f (X − θ) et si l’on choisit π0 (θ) = 1 alors :
– si Eπ [θ] = µ et Vπ (θ) = σ 2 sont connus alors la théorie prédit :
2
π(θ) ∝ eλ1 θ+λ2 θ
C’est donc la loi normale N (θ, σ 2 )
– si Eπ [θ] = µ alors la théorie donne :
π(θ) = eλθ
On n’a donc pas de solution sur R puisque dans ce cas ou bien θ < 0
ou bien θ > 0
Ce dernier résultat est paradoxal : avec une information supplémentaire,
la variance de θ, l’intervalle dans lequel évolue θ est agrandi, et une région
exclue dans un cas plus large (le second) devient accessible ; cela n’est pas
loin de signifier que la conclusion antérieure qu’une région doit être exclue
n’est pas si évidente. Suivant les contraintes, il est donc possible de ne pas
trouver de solutions.
De plus, le problème repose sur le choix de π0 et non du modèle (ou de
sa géométrie), cela constitue une limite de cette approche ou tout du moins,
un point important à souligner.
6.2.2 Familles conjuguées

On considère une variable X suivant une fonction de densité paramé-
trique absolument continue par rapport à la mesure de Lebesgue : X ∼
f (X|θ).
Définition 6.2.1 Famille conjuguée

On dit que la famille de lois a priori {πγ , γ ∈ Γ} est conjuguée si et seulement
si :
∀X, ∀γ ∈ Γ, πγ (θ|X) ∈ {πγ , γ ∈ Γ}
⇔ ∀γ ∈ Γ, ∀X, ∃γ 0 (X) ∈ Γ tel que πγ (θ|X) = πγ 0 (X) (θ)
L’avantage des familles conjuguées est avant tout de simplifier les calculs.
Avant l’essor du calcul numérique, ces familles étaient pratiquement les seules
qui permettaient de faire aboutir des calculs.
Exemple 6.3 Lois normales et inverse-gamma

Pour X ∼ N (θ, σ 2 ), π(θ, σ 2 ) = π(θ|X, σ 2 )π(σ 2 ) et θ|σ 2 ∼ N (µ, τ σ 2 ), et
σ 2 ∼ IG(a, b) :
2 2
exp(− (X−θ)
2σ 2
− −(θ−µ)
2τ σ 2
) −b
2
π(θ, σ , |X) ∝ 2
× (σ 2 )−(a+b) e σ2
σ
1 1 1 µ 1 −1
∝ 2 exp − 2 (1 + ) θ − (X + )(1 + ) ×
σ 2σ τ τ τ
X2 µ b
e− 2σ2 − 2τ σ2 − σ2 1 µ 2 τ
3 × e 2σ2 (X+ τ ) 1+τ
(σ 2 )a+ 2

Donc la loi a posteriori est : (θ|σ 2 , X) ∼ N (X + µτ ) 1+τ
τ τ
, σ 2 1+τ
2 2 2

et (σ 2 |X) ∼ IG a + 21 , b + X2 + µ2τ − (X+µ)
2
τ
1+τ .
Un autre exemple est celui des lois binomiales dont les lois π(p) =
Beta(a, b) constituent une famille conjuguée.
Définition 6.2.2 Familles exponentielles

La famille exponentielle regroupe les lois de probabilité qui admettent une
0
densité de la forme : f (X|θ) = eα(θ) T (X)−φ(θ) h(X); θ ∈ Θ. T est alors une
statistique exhaustive.
n Une telle famille est dite régulière
o si Θ est un ouvert tel que Θ =
R α(θ)0 T (X)
θ/ e h(X)dµ(X) < ∞ . En outre, on appelle paramétrisation ca-
0
nonique, l’écriture : f (X|θ) = eθ T (X)−φ(θ) h(X) et famille naturelle, l’expres-
0
sion f (X|θ) = eθ T (X) k(X). Nous rappelons qu’il est possible de montrer
que :
Eθ (T (X)) = ∇φ(θ)
Vθ (T (X)) = ∇2 φ(θ)
Exemple 6.4 Loi de Poisson

X eX log λ−λ
Pour X ∼ P(λ), P(X|λ) = e−λ λλ! = λ! . Le paramètre canonique est
dans ce cas θ = log λ.
6.3 Approche non informative 43
Théorème 6.1 Familles exponentielles

0
Si X ∼ f (X|θ) = eθ T (X)−φ(θ) h(X), alors la famille de loi a priori
n 0
o
πλ,µ (θ) ∝ eθ µ−λφ(θ) h(X); λ, µ
est conjuguée. On note que πλ,µ est une densité de probabilité si et seulement
si λ > 0 et µλ ∈ Θ.
Démonstration :
0 0
πλ,µ (θ|X) ∝ eθ T (X)−φ(θ) h(X) · eθ µ−λφ(θ)
0
∝ eθ (T (X)+µ)−(λ+1)φ(θ) h(X)
= πλ+1, µ+T (X) (θ)
Dans un cadre partiellement informatif, on utilise Eπ [gk (θ)] = µk pour

calculer γ dans πγ , γ ∈ Γ. Une fois déterminé γ̂él on utilise πγ̂él 3 . Il faut noter
qu’avec un nombre d’expériences réduit, une modification de Γ ou le choix
d’un γ̂él différent peuvent modifier sensiblement les résultats. Ce n’est plus
le cas avec un grand nombre d’expériences comme on pouvait s’y attendre.
Exemple 6.5 Si X ∼ P(λ) ; la famille conjuguée classique est l’ensemble

des lois Gamma : {Γ(a, b); a, b > 0}. Pour les données élicitées suivantes :
Eπ (λ) = 2 : Vπ (λ) = 4
Alors Eπ (Γ(a, b)) = ab = 2 et Vπ (Γ(a, b)) = ba2 = 4. D’où l’on tire a = 1
et b = 12 , c’est-à-dire : γ̂él = (1, 12 ).
En l’absence de connaissance a priori sur γ, il peut être judicieux d’avoir
recours à un modèle hiérarchique, c’est-à-dire à plusieurs étages. Si (X|θ) ∼
f (X|θ) et (θ|γ) ∼ πγ , on munit le paramètre d’une loi γ ∼ q, qui peut être
non informative. Les calculs sont simplifiés dans le cas des lois conjuguées.
6.3 Approche non informative

Précisons dans un premier temps que la terminologie du titre est assez
discutée dans la littérature. C’est l’approche utilisée pour construire une loi
de référence, on parle aussi de loi par défaut ou encore de loi objective car
c’est une démarche à mettre en place en l’absence d’information apriori,
quand on ne veut pas influencer l’étude.
Nous nous plaçons dans un contexte différent : X ∼ f (X|θ) et θ ∈
Θ = Rd . Une première idée naturelle pour ne pas influencer a priori les
résultats est de considérer chaque cas comme équiprobable et donc de prendre
une mesure uniforme par rapport à la mesure de Lebesgue ou la mesure de
comptage dans le cas discret. Le problème est que ce choix correspond à
3. L’indice « él » se réfère à élicité signifiant mis en valeur.
la sélection d’un paramètre particulier ; en effet, il n’est pas invariant par

reparamétrisation comme nous l’avons déjà montré précédemment. Cette
méthode peut aussi présenter l’inconvénient présenté dans l’exemple qui suit.
Exemple 6.6 Problèmes pathogènes

Dans le cas où X ∼ B(n, p), θ = p et pour p(λ) = 1 − e−θd , θ > 0 avec
d ≥ 102 , cette démarche s’avère être très (trop) informative (proche d’une
Dirac).
6.3.1 Lois de Jeffreys et Bernardo

Une seconde idée est d’adopter une approche invariante
p par reparamé-
trisation. Jeffreys introduit la mesure suivante πJ (θ) ∝ |I(θ)| en utilisant
l’information de Fisher I. Vérifions que c’est effectivement une loi de pro-
babilité invariante par reparamétrisation : si η = g(θ) avec g ∈ C 1 , alors
˜ = ∇g(θ)0 I(θ)∇g(θ) ; il s’en suit que dans le
p
πJ (η) = |I(η)|. En outre, I(η)
cas de la dimension 1, on a :

p p dθ dθ
πJ (η) = |I(η)| = |I(θ)| = πJ (θ)

dη dη
Ainsi la loi a priori de Jeffreys est invariante par reparamétrisation. Mal-
gré l’immense intérêt d’une telle propriété, il faut savoir que la loi a priori de
Jeffreys n’a de bonnes propriétés que dans le cas des petites dimensions et
en particulier de la dimension 1. La limite de l’a priori de Jeffreys en grande
dimension peut se comprendre sur l’exemple suivant.
Si X ∼ N (µ, σ 2 Ip ) et si l’on veut estimer θ = kµk2 alors comme `(µ, σ 2 ) =
−kX−µk2
2σ 2
− p2 log σ 2 on a :
∂` Xj − µj ∂2` 1
= ; = 2
∂µj 2σ 2 ∂µ2 σ
∂` kX − µk2 p ∂2` kX − µk2 p
= − ; = −3 + 2
∂σ σ3 2 ∂σ 2 σ4 σ
La matrice d’information de Fisher est alors :
 
1 0 ...
 0 1 1
I=

2

0 0 p − 3 kX−µk
σ2
On a donc |I| ∝ σ12p et par conséquent πJ ∝ σ1p . Avec l’augmentation

de la dimension,h trop d’importance
i est accordée à σ et c’est sous optimal.
π 2 2
Car, comme E kµk |X = kXk + p, on sait que le meilleur estimateur se
n o
trouve dans la classe kXk2 + c; c ∈ R et c’est kXk2 − p.
6.3 Approche non informative 45
Il existe une variante de l’approche précédente : la loi de référence de

Bernardo dont l’idée est de reposer sur un critère d’objectivité. On regarde
ici la loi a priori qui amène le moins d’information par rapport à ce que
pouvait fournir les données. On s’intéresse donc à la fonction de π, la loi a
priori, suivante :
Z
In (π) = K (π(θ|X n ); π(θ)) mπ (X n )dX n
En outre, on peut vérifier que :

Z
d n π
In (π) ∼ log − π(θ) log p dθ + Op (1)
n→+∞ 2 2π I(θ)
Dans le cas d’un pmodèle régulier In (π) est donc maximal lorsque n tend vers
+∞ si π(θ) ∝ I(θ).
Bernardo introduit la stratégie suivante avec un paramètre θ de la forme
θ = (θ1 , θ2 ) où θ1 est un paramètre d’intérêt et θ2 est un paramètre de nui-
sance. On raisonne alors séquentiellement en écrivant : π(θ1 , .) = π(.|θ1 )π(θ1 )
et en prenant pour θ1 la loi de Jeffreys. Cette manière de faire peut se gé-
néraliser si θ = (θ1 , · · · , θn ) où l’on a ordonné sans perte de généralité les
θi par intérêt croissant. Un algorithme consiste à prendre pour θ1 la loi de
Jeffreys, puis de calculer π(θ2 |θ1 ) la plus objective puis π(θ3 |θ1 , θ2 ) la plus
objective, etc. Cependant, il est clair ce raisonnement n’est pas purement
objectif parce que donner plus d’importance à un paramètre qu’à un autre
relève une fois encore d’un choix.
6.3.2 Loi a priori de concordance – (matching priors)

Le but est de trouver une loi a priori cernant le paramètre θ qui se
rapproche le plus possible de la méthode de choix fréquentiste, cela revient
à faire en sorte que le tirage X n’influence pas le résultat.
On rappelle dans un premier temps des exemples d’une région n de confiance
o
(X)
ou α−crédible. Elle peut être par exemple un intervalle unilatéral θ ≤ θd
ou bien bilatéral {θnα,1 ≤ θ ≤ θα,2 }. Il peutos’agir aussi de région HPD, θ ∈ Cαπ
avec par exemple log(ˆ(θ) − log(θ) ≤ hα tel que P π (θ ∈ C|X) = 1 − α.
On cherche π tel que ∀θ; Pθ (θ ∈ C) = 1 − α, appelé la parfaite concor-
dance. C’est en général impossible. On va alors chercher rn le plus petit
possible tel que :
∀θ ∈ Θ, ∀α ∈ ]0, 1[ , Pθ (θ ∈ C) = 1 − α + O(rm )
La loi a priori est alors dite concordante à l’ordre rm .

Lorsque le modèle est régulier et si π est continu alors :
h√ i 1 1
Pπ n(θ̂ − θ) ≤ t|X = Φ(tI 2 ) + Op ( )
n
Si C = {θ ≤ θαπ } où θαπ est tel que P π (θ ≤ θαπ |X) = 1 − α. Alors pour évaluer
Pθ (θ ≤ θαπ ), il faut une approximation de θαπ :
−1
I 2 1
P π (θ ∈ [θ̂ + √ Φ−1 (1 − α)]|X) = 1 − α + O( √ )
n n
−1
I 2
= θ̂ + √ Φ−1 (1 − α)
θαπ
n
− 12 √
I
Pθ (θ ≤ θ̂ + √ Φ−1 (1 − α)) = Pθ ( nI(θ̂ − θ) ≥ −Φ−1 (1 − α))
n
1
= 1 − α + O( √ )
n
C’est dans le terme O( √1n ) qu’intervient l’influence de la loi a priori π.

Eliminer le terme dominant permet d’obtenir une loi concordante à un ordre
plus poussé et donc plus précise.
Pour tout π continu, P π (θ ≤ θαπ |X) = Pθ (θ ≤ θαπ ) + O( √1n ), or nous
cherchons π tel que ∀α; ∀θ; P π (θ ≤ θαπ |X) = Pθ (θ ≤ θα ) + O( n1 ). Il faut alors
développer avec la formule de Bernstein Von Mises.
Les développements de π(θ|X) à des ordres supérieurs sont basés sur des
expressions de type Laplace :
1
I− 2 H(X n )φ(Φ−1 (1 − α)) 1
θαπ = θ̂ + √ Φ−1 (1 − α) + + O( 3 )
n n n2
∂ 2 log(θ)
où H(X n ) est une fonction des paramètres θ̂ et ∂θ2
.
A partir de cette expression, on calcule
1
!
I − 2 −1 H(X n )φ(Φ−1 (1 − α)) − 32
Pθ θ ≤ θ̂ + √ Φ (1 − α) + + O(n )
n n
et on obtient le développement d’Edgeworth, à savoir que cette probabilité

vaut : 1 − α + P1 (π,θ)(1−α)
√
n
+ O( n1 ).
On en tire un résultat important, π sera de concordance à l’ordre 1 pour
les intervalles unilatéraux si et seulement si ∀θ ∈ Θ, P1 (π, θ)p= 0. Il est
ensuite possible de montrer que ∀θP1 (π, θ) = 0 ⇐⇒ ∀θπ(θ) ∝ I(θ). Nous
retrouvons alors la loi a priori de Jeffreys.
Chapitre 7
Méthodes numériques
Ce chapitre développe succinctement les deux principales approches des

méthodes numériques bayésiennes.
7.1 Approches indépendantes

Le problème généralement rencontré est celui du calcul d’une intégrale
de la forme : Z
Iπ (h) = h(θ)π(θ)dθ
Par exemple, le calcul de la loi a posteriori : π(θ|X) = f (X|θπ(θ)

m(X) exige le
R
calcul de m(X). De même, θ̂ = θπ(θ)dθ peut aussi s’écrire Iπ (id).
Dès que la dimension de l’espace d’intégration est supérieure ou égale à
3 le calcul numérique est délicat, c’est pourquoi on a recours à des méthodes
de simulation.
La première idée se base sur le principe de Monte Carlo, à l’origine dé-
iid
veloppé pour les sciences physique. Pour θt ∼ π où t = 1, · · · T avec un T
grand devant 1, Iπ (h) est approché par :
T
1X
Ibπ (h) = h(θt )
T
t=1
Notons qu’il peut être difficile de simuler sur π.

Une deuxième idée est de baser l’estimation sur l’échantillonnage d’im-
portance. Il s’agit dans un premier temps de définir une densité instrumentale
q puis par un jeu d’écriture de noter :
Z
π(θ)
Iπ (h) = h(θ) q(θ)dθ
q(θ)
48 Méthodes numériques
Le principe repose sur θt ∼ q et l’estimation est alors :

T
1 X h(θt )
Iπ (h) =
b π(θt )
T q(θ)
t=1
En se qui concerne la variance :
h2 (θ)π 2 (θ)
Z
V(Ibπ (h)) = q(θ)dθ − Ibπ (h)2
q(θ)
2
D’après cette formule, si πq est grand alors la variance explose et le calcul
devient périlleux, il est nécessaire que, dans une certaine mesure, q domine
π. Ainsi le choix de q est critique alors qu’il est arbitraire. Le problème se
résout si q ≈ π ; seulement trouver un tel q n’est pas évident. Et de toute
façon ceci marche très mal en grande dimension 1 .
La section suivante présente à grands traits les principes des méthodes de
Monte Carlo par Chaînes de Markov mcmc. Lectrices et lecteurs sont incités
à consulter l’ouvrage de référence sur le sujet de Christian P. Robert [3].
7.2 Méthodes mcmc

Le but des méthodes mcmc est de simuler selon π et l’idée de base est
de construire une chaîne de Markov ergodique de loi stationnaire π.
7.2.1 Algorithme Hasting-Metropolis

Pour θ(0) est une valeur initiale, on définit par récurrence les valeurs de
θ(t) .
A l’étape t, à partir de θ(t−1) , θ(t) est construit en tirant un θ0 à l’aide
d’une distribution de probabilité instrumentale : θ0 ∼ q(˙|θ(t−1) ). θ(t) est alors
donné par :
θ0 avec une probabilité α(θ0 , θ(t−1) )

(t)
θ =
θ(t−1) avec une probabilité 1 − α(θ0 , θ(t−1) )
π(θ0 ) q(θ(t−1) |θ0 )

où α(θ0 , θ(t−1) ) = min π(θ t−1 ) q(θ 0 |θ (t−1) ) , 1 . Notons qu’il est possible suivant
cette construction de rester au même endroit après une itération. On peut

alors montrer en écrivant la condition de balance, que pour ce choix de α,
on obtient une chaîne de Markov de loi stationnaire π.
Cette chaîne de Markov est ergodique si et seulement si (θ(t) )t est irré-
ductible et apériodique.
1. l’erreur est exponentielle en la dimension, c’est le problème bien connu de curse of
dimensionality.
Exemple 7.1 Proposition indépendante
π(θ0 ) q(θt−1 )
θ ∼ q(θ0 ) ne dépend pas de θt+1 . α(θ0 |θt−1 ) = π(θt−1 ) q(θ0 )
marche bien si
q > π ou πq borné.
Exemple 7.2 Marche aléatoire (ou symétrique)

q(θ|θ0 ) = q(θ0 |θ) et θ0 = θ(t−1) + σ où a une loi symétrique par rapport à
0.
π(θ0 )

Le choix de σ est ici primordial. Comme α(θ0 , θt−1 ) = min π(θ t−1 ) , 1 ,
un σ trop faible ne permet pas d’explorer tout le support puisque les θ(t) sont
proches les uns des autres ; si σ est grand, alors on refuse souvent θ0 et donc
on ne profite pas bien du nombre de simulations. Empiriquement, le taux
d’acceptation optimal est entre 0,1 et 0,6, il faut donc choisir σ en fonction.
7.2.2 Algorithme de type Gibbs

Pour θ = (θ1 , · · · , θp ), on veut simuler π(θ) à partir de πi (θi |θ(−i) ) =
πi (θi |θj , j 6= i) pour tout i. On initialise avec θ(0) et à l’instant t, on écrit :
(t) (t) (t−1)
(θ1 |θ(t−1) ) ∼ π1 (θ1 |θ(−1) )
(t) (t) (t) (t) (t−1)
(θ2 |θ(t−1) , θ1 ) ∼ π2 (θ2 |θ1 , θ3 , · · · , θp(t−1) )
.. .
. ∼ ..
(t) (t)
(θp(t) |θ(t−1) , θ(−p) ) ∼ πp (θp(t) |θ(−p) )
Dans le cas où une telle loi π existe, θ(t) issu de cet algorithme est une chaîne
de Markov ergodique de loi stationnaire π.
En pratique, on combine souvent les deux grandes approches précédentes
comme le montre l’exemple qui suit.
Exemple 7.3 Lois normales

(Xij |µj , σj2 ) ∼ N (µj , σj2 ) avec µj ∼ N (µ0 , τ02 ) et σj2 ∼ IG(a, b) on peut ré-
cupérer τ0 , µ0 , a, b à partir des lois conjuguées mais les calculs ne sont pas si
simples. On considère plutôt π(µ0 |Xi , τ0 , a, b) ∝ π̃(τ0 , µ0 , a, b) et (µt0 |τ0t , at , bt ) ∼
q(·|µt−1 t t t
0 , τ0 , a , b ) ; c’est alors une chaîne de Markov de loi stationnaire π.
Conclusion générale
Comme conclusion, nous suggérons :
Les fréquentistes sont-ils fréquentables ? La question est posée. . . 2
Bibliographie
[1] I. A. Ibragimov and R. Z. Khas’minskii. On nonparametric estimation

of the value of a linear functional in gaussian white noise. Theory of
Probability and its Applications, 29(1), 1985.
[2] Christian P. Robert. Le Choix Bayésien - Principes et pratique. Springer,

2006.
[3] Christian P. Robert and George Casella. Monte Carlo Statistical Methods.
Springer, 2004.
2. Bien entendu, ceci n’est qu’un point de vue.

Statistique Bayesienne

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Statistique Bayesienne

Transféré par

Droits d'auteur :

Formats disponibles

Troisième année

1 Introduction : Les principes bayésiens 1

2 Une introduction à la théorie de la décision 5

4 Tests et régions de confiance 21

5 Propriétés asymptotiques des approches bayésiennes 35

6 Détermination de lois a priori 39

Introduction : Les principes

1.1 L’inférence bayésienne

X désigne l’espace des données, Θ celui des paramètres θ. Le but de l’analyse

Définition 1.1.2 Modèle dominé

Définition 1.1.3 Loi jointe et loi a posteriori

Exemple 1.1 Dans le cas gaussien, à variance connue : X ∼ N (µ, σ 2 ) et

1.2 Extension aux lois impropres

Définition 1.2.1 Loi impropre

L’utilisation d’une loi a priori impropre peut sembler saugrenue mais

Exemple 1.2 Loi uniforme généralisée

Pour que l’expression converge, il faut avoir n > 1 et la propriété suivante

1.3 Extension aux modèles non dominés

Pour une mesure α sur R, le processus de Dirichlet se note D(α(.)). En

(P (B1 ), · · · , P (Bp )) ∼ D(α(B1 ), · · · , α(Bp ))

Une introduction à la théorie

2.1 Fonction de perte et risque

Définition 2.1.1 Risque fréquentiste

R(θ, δ) = Eθ [L(θ, δ(X)))]

C’est une fonction de θ et ne définit donc par un ordre total sur D et

Définition 2.1.2 Risque a posteriori

ρ(π, δ|X) = E π (L(θ, δ(X)))|X)

Définition 2.1.3 Risque intégré

Définition 2.1.4 Estimateur bayésien

r(π, δ π ) = inf r(π, δ) < ∞

Pour obtenir la valeur de l’infimum du risque intégré il faut donc en

Théorème 2.1 Méthode de calcul

ρ(π, δ|X) = E π (kθ − δk2 |X)

Exemple 2.2 Perte L1 P

C’est-à-dire δ π (X) est la médiane de π(θ|X) 5 .

3. Ceci peut facilement être généralisé au cas d’un Hilbert.

Exemple 2.3 Perte 0–1

L(θ, δ) = 1θ∈Θ1 × 1δ=0 + 1θ∈Θ0 × 1δ=1

Le risque a posteriori est alors le suivant :

ρ(π, δ|X) = 1δ=0 P π (Θ1 |X) + 1δ=1 P π (Θ0 |X)

Le risque a posteriori est donné par :

ρ(π, δ|X) = a0 δP π (Θ1 |X) + a1 (1 − δ)P π (Θ0 |X)

2.3 Fonction de perte intrinsèque

Ceci peut s’utiliser si les densités sont de carré intégrable.

Définition 2.3.1 Fonction de perte intrinsèque

Ainsi, nous arrivons à :

La partie régulière de ce développement limité s’écrit (θ − θ0 )0 I(θ) 0

2.4 Admissibilité et minimaxité

Théorème 2.2 Estimateurs bayésiens admissibles

donc δ0 est aussi un estimateur bayésien associé à L et π et δ0 6= δ π d’après

Définition 2.4.2 π-admissibilité

∀(δ, θ), R(θ, δ) ≤ R(θ, δ0 ) ⇒ π({θ ∈ Θ, R(θ, δ) < R(θ, δ0 )}) = 0

Cette notion est utile pour démontrer le théorème important de cette

avec égalité si et seulement si π(A) = 0. Or, comme δ π est bayésien et le

Exemple 2.6 Discussion sur l’hypothèse de risque fini

Définition 2.4.4 Risque minimax et estimateur minimax

Théorème 2.5 Valeur et risque minimax

(f analytique) ⇒ (f constante ou supp(π) 11 fini)

Démonstration : Vérifions dans un premier temps le résultat général : R ≤

Plaçons nous maintenant dans le cadre du théorème et considérons δ π0

Contrairement à l’estimation ensembliste, le but de ce chapitre est d’es-

3.1 Estimateur du maximum a posteriori

Exemple 3.1 Modèles de mélange

En outre, le nombre de composantes k n’est pas forcément connu.