Contrôle MAP433

06 Novembre 2015

1 Exercice : résidus studentisés

Le premier exercice utilise des notions qui ne sont pas au programme du cours MAP433,
année 2016-2017

1.1 Enoncé
Nous considérons un modèle de régression linéaire Y = Xβ + σξ, où
(i) Y = [Y1 , . . . , Yn ]T est le vecteur n × 1 des observations.
(ii) X est une matrice n × p (où n > p + 1) de rang p.
(iii) ξ = [1 , . . . , n ]T est un vecteur aléatoire n × 1 gaussien centré, de covariance identité, notée Idn .
(iv) β = [β1 , . . . , βp ]T est le vecteur p × 1 inconnu des paramètres de régression.
(v) σ 2 est la variance (aussi inconnue)
Nous notons xTi le vecteur 1 × p la ième ligne de la matrice X et X(i) la matrice X privée de la i-ème
ligne, de taille (n − 1) × p. On note de même Y (i) le vecteur Y privé de sa ième coordonnée.
On admet les relations suivantes

XT X = XT(i) X(i) + xi xTi

XT(i) Y (i) = XT Y −xTi Yi
1
(XT(i) X(i) )−1 = (XT X)−1 + (XT X)−1 xi xTi (XT X)−1 ,
1 − hii
où hii = [ΠX ]i,i est le i-ème coefficient diagonal du projecteur orthogonal ΠX sur Vect(X).
1. Déterminer β̂ (i) l’estimateur des moindres carrés de β basé sur (Y (i) , X(i) ) et préciser la loi de cet
estimateur.
2
2. Déterminer l’estimateur non biaisé σ̂(i) de σ 2 basé sur (Y (i) , X(i) ) et préciser la loi de cet estimateur,
2
ainsi que la loi jointe de β̂ (i) et σ̂(i) .

On note Ŷ = ΠX Y = [Ŷ1 , . . . , Ŷn ]T le prédicteur de Y basé sur (Y , X). On considère le prédicteur

de la ième observation Yi basé sur (Y (i) , X(i) ) donné par Ỹi = xTi β̂ (i) .
3. Montrer que
1 hii
Ỹi = Ŷi − Yi .
1 − hii 1 − hii
4. On note ˆi = Yi − Ŷi . Déterminer la loi de ˆi .
On note t∗i le résidu studentisé défini par :
ˆ
t∗i = √i .
σ̂(i) 1 − hii

5. Montrer que
Yi − Ỹi
t∗i = q .
σ̂(i) 1 + xTi (XT(i) X(i) )−1 xi

6. Déterminer la loi de t∗i .

7. Soit α ∈ ]0, 1[. Déterminer un intervalle [−aα , aα ] tel que

P(t∗i ∈ [−aα , aα ]) = 1 − α .

1
1.2 Corrigé
1. On a  −1
βb(i) = XT(i) X(i) XT(i) Y(i)


Or, Y(i) ∼ Nn−1 X(i) β, σ 2 In−1 dont on déduit que
  −1 
2 T
β(i) ∼ Nn−1 β, σ X(i) X(i)
b

2. On dispose de n−1 observations indépendantes pour estimer un vecteur de taille p. D’où l’expression
de l’estimateur sans biais de la variance

2 1
σ̂(i) = kY(i) − X(i) βb(i) k2
n−1−p

• Notons ΠX(i) la projection sur l’espace vectoriel engendré par les colonnes de X(i) . Alors X(i) βb(i) =
ΠX(i) Y(i) donc par le théorème de Cochran

kY(i) − X(i) βb(i) k2 = k(I − ΠX(i) )Y(i) k2 ∼ σ 2 χ2 (n − 1 − p)

puisque I − ΠX(i) est la projection sur un espace de dimention n − 1 − p. Donc

2 σ2
σ̂(i) ∼ χ2 (n − 1 − p).
n−1−p
2
• σ̂(i) est une fonction déterministe de (I − ΠX(i) )Y(i) ; en remarquant que l’on a aussi βb(i) =
 −1
XT(i) X(i) XT(i) ΠX(i) Y(i) , on voit que βb(i) est une fonction déterministe de ΠX(i) Y(i) . Par Co-
2
chran, ces deux quantités sont indépendantes. Donc la loi du vecteur (σ̂(i) , βb(i) ) est le produit des
lois de chacun.
3. On écrit
 −1
Ỹi = xTi βb(i) = xTi XT(i) X(i) XT(i) Y(i)
 

−1 1
= xTi XT X (XT X)−1 xi xTi (XT X)−1
 T
+ X Y − Yi xi
1 − hii
h2ii
   
hii T T

−1 T
= 1+ xi X X X Y − Yi hii +
1 − hii 1 − hii

−1
en utilisant que hii = xTi (XT X)−1 xi . Puisque Ŷi = xTi XT X XT Y, il vient

1 hii
Ỹi = Ŷi − Yi .
1 − hii 1 − hii

4. Ŷ = X(XT X)−1 XT Y = ΠX Y dont on déduit que Y − Ŷ = (I − ΠX )Y et donc

Y − Ŷ ∼ Nn 0, σ 2 (I − ΠX )

Ainsi,
ˆi ∼ N 0; σ 2 (1 − hii ) .

5. On écrit
 
Yi − Ŷi = Yi − (1 − hii ) Ỹi + hii Yi
 
= (1 − hii ) Yi − Ỹi ,

2
 dont on déduit que
1 p  
t?i = 1 − hii Yi − Ỹi
σ̂(i)
Par ailleurs, en utilisant encore le rappel
 −1 h2ii
1 + xTi XT(i) X(i) xi = 1 + hii +
1 − hii
1
=
1 − hii
dont on déduit que
1 1  
t?i = r Yi − Ỹi
σ̂(i)  −1
1 + xTi XT(i) X(i) xi

6. σ̂(i) est indépendant de Yi puisqu’il est calculé à partir de Y(i) , dont les composantes sont indépendantes
de Yi ; σ̂(i) est aussi indépendant de βb(i) (voir question 2) et donc de Ỹi . Il vient que le numérateur
et le dénominateur sont indépendants. On a
s
? σ 2 Yi − Ŷi
ti = 2
√
σ̂(i) σ 1 − hii

dont on déduit, en utilisant les questions 1 et 4, que t?i suit une loi de Student de paramètre n−1−p.
7. Notons zq le quantile d’ordre q d’une loi de Student à n − 1 − p degrés de liberté. Alors on a

P t?i ∈ [−z1−α/2 , z1−α/2 ] = 1 − α.

3
2 Exercice : test à deux échantillons
2.1 Enoncé
Soient (X1 , . . . , Xn ) un n-échantillon i.i.d. distribué suivant une loi N (θ1 , 1) et (Y1 , . . . , Yn ) un n-
échantillon i.i.d. distribué suivant une loi N (θ2 , 1). On suppose de plus que (X1 , . . . , Xn ) et (Y1 , . . . , Yn )
sont indépendants. On considère le test Pnde l’hypothèse de basePnH0 : θ1 = θ2 contre l’hypothèse alternative
H1 : θ1 − θ2 > 0. On pose X̄n = n−1 i=1 Xi et Ȳn = n−1 i=1 Yi .
1. Proposer un estimateur de θ1 − θ2 et donner sa loi.
2. En déduire un test élémentaire de H0 contre H1 de niveau α ∈ ]0, 1[.
3. Montrer que la log-vraisemblance (θ1 , θ2 ) 7→ `n (θ1 , θ2 ) des observations (X1 , . . . , Xn , Y1 , . . . , Yn )
s’écrit
n n
(θ1 , θ2 ) 7→ `n (θ1 , θ2 ) = C − (X̄n − θ1 )2 − (Ȳn − θ2 )2 ,
2 2
où C est une constante qui ne dépend pas de θ1 et θ2 .
4. Montrer que l’estimateur du maximum du vraisemblance sous la contrainte θ1 = θ2 est donné par
θ̂ = (X̄n + Ȳn )/2.
Nous allons calculer l’estimateur du maximum de vraisemblance sous la contrainte θ1 ≥ θ2
5. Montrer que pour tout θ1 ∈ R,

C − n (X̄n − θ1 )2 si Ȳn ≤ θ1 ,
2
sup `n (θ1 , θ2 ) = 2
θ2 ≤θ1 C − n θ1 − X̄n +Ȳn − n (X̄n − Ȳn )2 si Ȳn > θ1 ,
2 4

et précisez, dans chaque cas, la valeur de θ2 en laquelle le suprêmum est atteint.

6. En déduire que l’estimateur du maximum de vraisemblance sous la contrainte θ1 ≥ θ2 est donné
par (
(X̄n , Ȳn ) si X̄n ≥ Ȳn
(θ̂1 , θ̂2 ) =
((X̄n + Ȳn )/2, (X̄n + Ȳn )/2) si X̄n < Ȳn .

7. Montrer que le rapport de vraisemblance généralisé est donné

(
exp((n/4)(X̄n − Ȳn )2 ) si X̄n ≥ Ȳn
1 si X̄n < Ȳn .

8. En déduire le test du rapport de vraisemblance généralisé de niveau α ∈ ]0, 1[ de l’hypothèse nulle

H0 contre H1 et le comparer au test obtenu à la question 2.

2.2 Corrigé
1. X̄n est un estimateur de θ1 et Ȳn est un estimateur de θ2 . On peut donc proposer X̄n − Ȳn comme
estimateur de θ1 − θ2 . On a
n
1X
X̄n − Ȳn = (Xk − Yk )
n
k=1

Or Xk , Yk sont indépendants donc Xk − Yk ∼ N (θ1 − θ2 , 2) ; et les paires {(Xk , Yk ), k ≥ 1} sont

indépendantes donc  
2
X̄n − Ȳn ∼ N θ1 − θ2 , .
n
2. Sous H0 , X̄n − Ȳn ∼ N (0, 2/n). On propose donc une zone de rejet de la forme

R = {(x1:n , y1:n ) : x̄n − ȳn > s}.

4
 Notons P0 la loi sous laquelle X̄n − Ȳn ∼ Np (0, 2/n). On détermine s de sorte que P0 (X̄n − Ȳn >
s) = α, ce qui est équivalent à chercher s̃ = n/2s tel que
r 
n

P0 X̄n − Ȳn > s̃ = α.
2

On trouve s̃ = z1−α , où zq est le quantile d’ordre q d’une loi gaussienne centrée réduite. D’où le
test de zone de rejet r
n
R = {(x1:n , y1:n ) : (x̄n − ȳn ) > z1−α }
2
3. L’indépendance des v.a. entraine que la loi de X1 , · · · , Xn , Y1 , · · · , Yn admet pour densité
n n
!
1 1X 2 1X 2
√ 2n exp − (Xk − θ1 ) − (Yk − θ2 )
2π 2 2
k=1 k=1

La log-vraisemblance est donc donnée à une constante additive près par

n n
1X 1X
− (Xk − θ1 )2 − (Yk − θ2 )2
2 2
k=1 k=1
n
!
1 X
=− {Xk2 + Yk2 } − 2nθ1 X̄n − 2nθ2 Ȳn + nθ12 + nθ22
2
k=1
n 2
θ1 + θ22 − 2θ1 X̄n − 2θ2 Ȳn


=C−
2 
0 n
2
2 
=C − θ1 − X̄n + θ2 − Ȳn
2
4. Sous la contrainte θ1 = θ2 , on a 2n observations indépendantes d’une loi N (θ1 , 1) et l’estimateur
MV de la moyenne est
n
1 X 1

(Xk + Yk ) = X̄n + Ȳn .
2n 2
k=1

5. On fixe θ1 . Et on maximise en θ2 sur ] − ∞, θ1 ]. D’après la question 2, on maximise la fonction

θ2 7→ −n/2(Ȳn − θ2 )2 de dérivée n(Ȳn − θ2 ).
— Soit θ1 ≥ Ȳn et dans ce cas le maximum est attteint en θ2 = Ȳn . La valeur maximale de `n
vaut donc C − n/2(X̄n − θ1 )2 .
— Soit θ1 < Ȳn et dans ce cas le maximum (sur ] − ∞, θ1 ]) est atteint en θ1 . La fonction `n vaut
alors
nn
2
2 o n 2
X̄n + θ12 − 2θ1 X̄n + Ȳn2 + θ12 − 2θ1 Ȳn

C− X̄n − θ1 + Ȳn − θ1 =C−
2  2 
n 2 2
2 ( X̄n + Ȳn )
=C− X̄n + Ȳn − n θ1 − 2θ1
2 2
 2  2
n 2 (X̄n + Ȳn ) X̄n + Ȳn
X̄n + Ȳn2 − n θ1 −

=C− +n
2 2 2
2 2
Ȳn2
  
(X̄n + Ȳn ) n 2 2 X̄n
= C − n θ1 − − X̄n + Ȳn − − − X̄n Ȳn
2 2 2 2
 2
(X̄n + Ȳn ) n
2
= C − n θ1 − − X̄n − Ȳn
2 4

6. • Considérons d’abord le cas X̄n ≥ Ȳn . On fait une étude du sens de variation de la fonction
θ1 7→ supθ2 ≤θ1 `n (θ1 , θ2 ) :
— elle est croissante sur ] − ∞, Ȳn ],
— elle est croissante sur ]Ȳn , X̄n ]

5
 — elle est décroissante sur ]X̄n , +∞[.
Le maximum de θ1 7→ supθ2 ≤θ1 `n (θ1 , θ2 ) est atteint en θ1 = X̄n ≤ Ȳn . Par suite, (θ1 , θ2 ) 7→ `(θ1 , θ2 )
est maximale en θ1 = X̄n et θ2 = Ȳn .
• Considérons maintenant le cas X̄n < Ȳn . On fait une étude du sens de variation de la fonction
θ1 7→ supθ2 ≤θ1 `n (θ1 , θ2 ) :
— elle est croissante sur ] − ∞, (X̄n + Ȳn )/2],
— elle est décroissante sur ](X̄n + Ȳn )/2, Ȳn ]
— elle est décroissante sur ]Ȳn , +∞[.
Donc le maximum est atteint en θ1 = (X̄n + Ȳn )/2 ; et puisque θ1 < Ȳn , alors θ1 = θ2 .
7. Le rapport de vraisemblance généralisé est donné par

supθ1 ≥θ2 exp(`n (θ1 , θ2 ))

Λn =
supθ1 =θ2 exp(`n (θ1 , θ2 ))

D’après les questions 4 et 6, on a

exp(`n (θ̂1 , θ̂2 )) n 

Λn = = 1X̄n <Ȳn + 1X̄n ≥Ȳn exp (X̄n − Ȳn )2
exp(`n (θ̂, θ̂)) 4

soit encore n 
2 ln Λn = 1X̄n ≥Ȳn (X̄n − Ȳn )2 .
2
8. Le test du rapport de vraisemblance généralisé a pour zone de rejet
n 
R0 = {(x1:n , y1:n ) : 1x̄n ≥ȳn (x̄n − ȳn )2 > s}
2
r n 2
= {(x1:n , y1:n ) : 1x̄n ≥ȳn (x̄n − ȳn ) > s}
2

On cherche s tel que

P U 2 1U >0 > s = α

où U ∼ N (0, 1). Soit encore, puisque α < 1 (ce qui entraine s > 0)
√

α = P(U 2 > s, U > 0) + 1s<0 P(U ≤ 0) = P U > s .
√
s = z1−α est le quantile d’ordre 1 − α d’une loi N (0, 1). D’où la zone de rejet du test
 r 
0 n
R = (x1:n , y1:n ) : (x̄n − ȳn ) > z1−α .
2

On vérifie que R = R0 dont on déduit que les deux tests sont les-mêmes.

6
3 Exercice : survie censurée
3.1 Enoncé
L’objectif de ce problème est d’étudier une méthode classique en fiabilité, la censure de type II. On
considère une population de n individus dont on cherche à estimer la loi de la durée de vie. On fera dans
toute la suite du problème l’hypothèse que X1 , . . . , Xn est un n-échantillon i.i.d. d’un modèle statistique
paramétrique dominé par la mesure de Lebesgue sur R de densité {fθ , θ ∈ Θ} donnée par

fθ (x) = θ−1 e−x/θ 1x≥0 .

On note Fθ la fonction de répartition associée. On rappelle que

Z ∞ Z ∞
xfθ (x)dx = θ et x2 fθ (x)dx = 2θ2 .
0 0

On appelle l’échantillon ordonné X1:n ≤ X2:n ≤ · · · ≤ Xn:n . La loi jointe du vecteur (X1:n , . . . , Xn:n )
a pour densité sur Rn ( Q
n
n! i=1 fθ (xi ) si x1 ≤ x2 ≤ · · · ≤ xn
0 sinon
1. Déterminer l’estimateur du maximum de vraisemblance du paramètre θ basé sur (X1 , . . . , Xn ).
2. Déterminer un intervalle de confiance du paramètre θ de niveau asymptotique 1 − α pour α ∈ ]0, 1[.
On pose Z1 = nX1:n et pour r ∈ {2, . . . , n},

Zr = (n − r + 1)(Xr:n − X(r−1):n ) .

On remarquera que pour r ∈ {1, . . . , n}

r n n n
X Zj X X X
Xr:n = et Zi = Xi:n = Xi .
j=1
n−j+1 i=1 i=1 i=1

3. Montrer que, sous Pθ , les variables aléatoires (Z1 , . . . , Zn ) sont indépendantes et identiquement
distribuées suivant une loi de densité fθ .
4. En déduire pour r ∈ {1, . . . , n} l’expression de Eθ [Xr:n ] et Varθ (Xr:n ).
5. Proposer un estimateur sans biais θ̃r,n du paramètre θ basé sur la statistique Xr:n .
6. Soit {rn , n ∈ N} une suite croissante telle que limn→∞ rn /n = p ∈ ]0, 1[. Montrer que limn→∞ Varθ (θ̃rn ,n ) =
0. La suite d’estimateurs {θ̃rn ,n , n ∈ N} est-elle consistante ?
On observe les r durées de vie les plus courtes : X1:n ≤ X2:n ≤ · · · ≤ Xr:n . On considère l’estimateur
r r
1X n−r 1X
θ̂r,n = Xi:n + Xr:n = Zi .
r i=1 r r i=1
Pm
On rappelle que si U1 , U2 , . . . , Um sont des variables exponentielles de paramètre 1, alors i=1 Ui est
une loi Gamma(m).
7. Donner la loi de rθ̂r,n /θ sous Pθ .
8. En déduire une construction d’un intervalle de confiance de niveau 1 − α du paramètre θ pour
α ∈ ]0, 1[.
9. Calculer la variance de θ̂r,n et comparer les estimateurs θ̂r,n et θ̃r,n .
10. Montrer que la vraisemblance de l’observation est donnée par
r
n! Y
θ 7→ (1 − Fθ (Xr:n ))n−r fθ (Xi:n )
(n − r)! i=1

11. Montrer que θ̂r,n est l’estimateur du maximum de vraisemblance basé sur X1:n ≤ X2:n ≤ · · · ≤ Xr:n .

7
3.2 Corrigé
1. La log-vraisemblance de l’échantillon est égale à

Xn
`n (θ) = −n log θ − n .
θ
En étudiant cette fonction élémentaire, on trouve qu’elle atteint son maximum en l’EMV X n .
√  
2. D’après le TLC, n Xθn − 1 → N (0, 1) en loi, ce qui implique, en notant zα le (1 − α)-quantile
de la loi N (0, 1), que
√
      
Xn  Xn Xn
P  n − 1  > zα/2 → α, i.e. P θ∈ √ , √ →1−α .
θ 1 + zα/2 / n 1 − zα/2 / n

3. Soit ϕ : Rn → R continue et bornée, on calcule

E [ϕ (Z1 , . . . , Zn )] = E [ϕ (nX1:n , (n − 1)X2:n − X1:n , . . . , Xn:n − Xn−1:n )]

Z Yn
= ϕ (nx1 , (n − 1)(x2 − x1 ), . . . , xn − xn−1 ) 1x1 ≤x2 ≤...≤xn n! fθ (xi )dxi
i=1

On fait le changement de variables

z1 = nx1 , . . . , zr = (n − r + 1)(xr − xr−1 ), . . . , xn − xn−1 = zn .

La matrice Jacobienne de ce Qchangement étant triangulaire, son Jacobien est le produit de ses
n
éléments diagonaux et vaut 1/ r=1 (n − r + 1) = 1/n!, donc
Z n
Y
E [ϕ (Z1 , . . . , Zn )] = ϕ (z1 , z2 , . . . , zn ) fθ (zi )dzi .
i=1

4. On a
r r
X E [Zj ] X 1
E [Xr:n ] = =θ ,
j=1
n−j+1 j=1
n − j+1
r r
X Var (Zj ) 2
X 1
Var (Xr:n ) = = θ .
j=1
(n − j + 1)2 j=1
(n − j + 1)2

5. On en déduit que θer,n = Pr Xr:n 1 est un estimateur sans biais de θ.

j=1 n−j+1

6. On a bien
Prn 1 rn
 
j=1
2 (n−j+1)2 2 (n−rn +1)2 θ2 1
Var θern ,n = θ P 2 ≤ θ = →0 .
rn 2 rn 1 − rnn + 1


rn 1 n
j=1 n−j+1 n

On en déduit que, pour tout  > 0,

 
   Var θern ,n
P θern ,n − θ >  ≤ →0 .
 
2
Pr
7. On a rθbr,n /θ = i=1 Zθi et la suite des Zi /θ est une suite de variables i.i.d. telle que, pour toute
fonction ϕ continue et bornée,
   Z   Z
Z1 z 1 −z/θ
E ϕ = ϕ e dz = ϕ(x)e−x dx ,
θ θ θ
avec le changement de variables z/θ = x. On en déduit que les Zi /θ sont de loi exponentielle de
paramètre 1 et donc que rθbr,n /θ est de loi Γ(r).

8
 8. Soient qα les α-quantiles de la loi Γ(r), on a
! !
θbr,n θbr,n θbr,n
1 − α = P qα/2 ≤r ≤ q1−α/2 =P r ≤θ≤r .
θ q1−α/2 qα/2

9. La variance de θbr,n vaut !

r
1X θ2
Var Zi = ,
r i=1 r

celle de θer,n vaut

 θ2 1 r 1  1 r 1
P P
 
r j=1 (n−j+1)2 r j=1 (n−j+1)2
Var θr,n =
e 2 = Var θr,n  P
b 2 .
r 1 r
 P
1 1 r 1
r j=1 n−j+1 r j=1 n−j+1

Soit U de loi uniforme sur {1, . . . , r}, on a, par l’inégalité de Jensen

 2 "
r   2 2 # r
1X 1 1 1 1X 1
  = E ≤E = .
r j=1
n−j+1 n−U +1 n−U +1 r j=1 (n − j + 1)2

   
On en déduit que Var θer,n ≥ Var θbr,n . Ces estimateurs étant sans biais, leur variance est leur
risque quadratique, donc θer,n est moins bon que θbr,n .
10. Montrons par récurrence que la densité du vecteur (X1:n , . . . , Xn−k:n ) est donnée par
n−k
n! Y
(1 − Fθ (xn−k ))k fθ (xi )1x1 ≤x2 ≤...≤xn−k .
k! i=1

L’initialisation pour k = 0 est donnée dans l’énoncé, supposons donc la formule vraie pour un rang
k < n et démontrons qu’elle est encore vraie au rang k + 1. Soit ϕ une fonction continue et bornée,
on a, par Fubbini
Z n−k−1
n! Y
E [ϕ(X1:n , . . . , Xn−k−1:n )] = ϕ(x1 , . . . , xn−k−1 )1x1 ≤x2 ≤...≤xn−k−1 fθ (xi )dxi
k! i=1
Z +∞
(1 − Fθ (xn−k ))k fθ (xn−k )dxn−k
xn−k−1
n−k−1
(1 − Fθ (xn−k−1 ))k+1
Z
n! Y
= ϕ(x1 , . . . , xn−k−1 )1x1 ≤x2 ≤...≤xn−k−1 fθ (xi )dxi .
k! i=1
k+1

La résultat est donc montré par récurrence et le résultat de la question s’en déduit immédiatement.
11. On prend le logarithme et on maximise en θ, on a
r r
1 X 1 X
`r,n (θ) = C − ((n−r)Xr:n + Xi:n )−r log θ, donc EMV = ((n−r)Xr:n + Xi:n ) = θbr,n .
θ i=1
r i=1