Université de Caen Probabilités et Statistique

Licence 3 MIASHS-Maths Année 2017-2018

TD - partie 3

Exercice 1. Soit X une variable aléatoire qui suit une loi normale N (µ; σ 2 ). Sa densité est notée fX (x)
et sa fonction de répartition est notée FX (x).
X−µ
1. Soit la variable aléatoire Y définie par Y = σ
(a) Quelle est la densité de Y ?
(b) Déterminer la fonction de répartition de la variable U = aY + b, a ∈ R? ; et b ∈ R, en fonction
de la fonction de répartition de Y .
(c) En déduire la loi de U .
2. Soit la variable aléatoire positive H telle que : X = ln H
(a) Déterminer la fonction de répartition de la variable H, notée FH (h), en fonction de FX (x).
(b) En déduire la densité de H et reconnaître sa loi.
 2
3. Soit la variable aléatoire suivante : Z = X−µ)
σ

(a) Déterminer la fonction de répartition de la variable Z, notée FZ (z), en fonction de FX (x).

(b) En déduire la densité de Z et reconnaître sa loi.
(c) Calculer l’espérance de Z.
(d) On donne Var(Z) = 2. En déduire E(X − µ)4 .
Solution.
Exercice 2. Soient X et Y deux v.a i.i.d suivant chacune la loi normale N (0, 1) et soit U = X + Y et
V =X −Y.
1. Montrer que (U, V ) est un couple Gaussien.
2. Montrer que les v.a U et V sont indépendantes.
Solution.
1. — Première méthode. Comme X et Y sont deux variables aléatoires réelles indépendantes et
identiquement distribuées suivant une loi normale, le vecteur (X, Y ) est gaussien. Pour tout
(a, b) ∈ R2 , on a
aU + bV = (a + b)X + (a − b)Y.
Comme (X, Y ) est un vecteur gaussien, aU + bV = (a + b)X + (a − b)Y suit une loi normale.
Par conséquent, (U, V ) est aussi un vecteur gaussien.
— Deuxième méthode. On peut écrire L = (X + Y, X − Y ) sous la forme

Lt = AMt ,

où M = (X, Y ) et  
1 1
A= .
1 −1
Comme M = (X, Y ) est un vecteur gaussien, L = (X +Y, X −Y ) est aussi un vecteur gaussien.

1
 2. Comme (U, V ) est un vecteur gaussien, U et V sont indépendantes si, et seulement si, C(U, V ) = 0.
Or, en utilisant le fait que X et Y suivent la loi normale centrée réduite, on a

C(U, V ) = E(U V ) − E(U )E(V ) = E(X 2 − Y 2 ) − 0 × 0

= E(X 2 ) − E(Y 2 ) = 1 − 1 = 0.

Donc U et V sont indépendantes.

Exercice 3. Soit V = (X, Y )t un vecteur gaussien tel que E X 2 = 4 et E Y 2 = 1, et les v.a 2X + Y
et X − 3Y sont indépendantes.
1. Déterminer la matrice de covariance de V .
2. Montrer que le vecteur W = (X + Y, 2X − Y )t est gaussien.
3. Déterminer sa matrice de covariance.
Solution.



1. Comme (X, Y ) un vecteur gaussien centré tel que E X 2 = 4 et E Y 2 = 1, on a
2
V(X) = E X 2 − (E (X)) = E X 2 − 02 = 4

et
2
V(Y ) = E Y 2 − (E (Y )) = E Y 2 − 02 = 1.

De plus, comme 2X + Y et X − 3Y sont indépendantes, on a

C(2X + Y, X − 3Y ) = 0.

Or,

C(2X + Y, X − 3Y ) = C(2X, X) + C(2X, −3Y ) + C(Y, X) + C(Y, −3Y )

= 2C(X, X) + (−2 × 3)C(X, Y ) + C(Y, X) − 3C(Y, Y )
= 2V(X) − 6C(X, Y ) + C(X, Y ) − 3V(Y )
= 2 × 4 − 5C(X, Y ) − 3 × 1
= 5(1 − C(X, Y )).

Donc C(2X + Y, X − 3Y ) = 0 entraîne

C(X, Y ) = 1.

La matrice de covariance de (X, Y ) est

   
V(X) C(X, Y ) 4 1
V= = .
C(Y, X) V(Y ) 1 1

2. — Première méthode. Pour tout (a, b) ∈ R2 , on a

a(X + Y ) + b(2X − Y ) = (a + 2b)X + (a − b)Y.

Comme (X, Y ) est un vecteur gaussien, a(X + Y ) + b(2X − Y ) = (a + 2b)X + (a − b)Y suit une
loi normale. Par conséquent, (X + Y, 2X − Y ) est un vecteur gaussien. En utilisant le résultat
de la question 1-, il vient

V(X + Y ) = V(X) + V(Y ) + 2C(X, Y ) = 4 + 1 + 2 × 1 = 7.

De même
V(2X − Y ) = 4V(X) + V(Y ) − 4C(X, Y ) = 16 + 1 − 4 × 1 = 13.

2
 On a également

C(X + Y, 2X − Y ) = E ((X + Y )(2X − Y )) − E (X + Y ) E (2X − Y )

= E(2X 2 − XY + 2XY − Y 2 )
= 2E X 2 + E (XY ) − E Y 2

= 8 + 1 − 1 = 8.

En combinant ces résultats, on obtient la matrice de covariance de (X + Y, 2X − Y ) :

 
7 8
W= .
8 13

— Deuxième méthode. On peut écrire L = (X + Y, 2X − Y ) sous la forme

Lt = AMt ,

où M = (X, Y ) et  
1 1
A= .
2 −1
Comme M = (X, Y ) est un vecteur gaussien, L = (X +Y, 2X −Y ) est aussi un vecteur gaussien.
La matrice de covariance de L est donnée par la formule

W = AVAt ,

où V désigne la matrice de covariance du vecteur M = (X, Y ) obtenue au résultat de la

question 1-. Il vient
     
1 1 4 1 1 2 7 8
W= = .
2 −1 1 1 1 −1 8 13

Exercice 4. Soient X1 et X2 deux v.a i.i.d suivant chacune la loi normale N (0, 1). Soit Y = (Y1 , Y2 )t
le vecteur aléatoire tel que
Y = AX + B,
 
1 1
où A = , X = (X1 , X2 )t et B = (2, 3)t .
−1 2
1. Déterminer la loi de Y.
2. Déterminer la loi de Z = (Y1 + Y2 + 1, 3Y1 − Y2 )t .
3. Déterminer la loi de Y1 + Y2 + 1, et la loi de 3Y1 − Y2 .
Solution.
1. Comme X = (X1 , X2 ) est un vecteur gaussien et Y est de la forme Yt = AXt + Mt , alors Y est
aussi un vecteur gaussien. Comme X = (X1 , X2 ) est centré, on a

E Yt = E AXt + Mt = AE Xt + Mt = 0 + Mt = Mt .

 
1 0
La matrice de covariance de X = (X1 , X2 ) est I = . Par conséquent, la matrice de cova-
0 1
riance de Y est      
1 1 1 0 1 −1 2 1
V = AIAt = = .
−1 2 0 1 1 2 1 5

Y
On en déduit que =(Y1 , Y2 ) est un vecteur gaussien de moyenne M = (2, 3) et de matrice de
2 1
covariance V = .
1 5

3
 2. En posant Z = (Y1 + Y2 + 1, 3Y1 − Y2 ), on peut écrire

Z = BYt + Nt ,

où  
1 1
B= ,
3 −1
Y = (Y1 , Y2 ) et N = (1, 0). En utilisant le résultat de la question 1-, il vient

E Zt = E BYt + Nt = BE Yt + Nt = BMt + Nt




      
1 1 2 1 6
= + = .
3 −1 3 0 3
 
2 1
La matrice de covariance de Y = (Y1 , Y2 ) est V = . Par conséquent, la matrice de cova-
1 5
riance de Z est      
1 1 2 1 1 3 9 3
W = BVBt = = .
3 −1 1 5 1 −1 3 17
On en déduit que Z = (Y1 + Y2+ 1, 3Y1 − Y2 ) est un vecteur gaussien de moyenne N = (6, 3) et
9 3
de matrice de covariance W = .
3 17
3. Le résultat de la question 2- nous assure que Y1 + Y2 + 1 suit la loi normale de moyenne 6 et de
variance 9, et 3Y1 − Y2 suit la loi normale de moyenne 3 et de variance 17.

Exercice 5. Une densité de probabilité (ou loi de probabilité dans le cas discret) d’une v.a réelle X,
notée f (x; θ) appartient à la famille exponentielle si f (x; θ) peut s’écrire sous la forme

f (x; θ) = exp[η(θ)T (x) + a(θ) + b(x)]· (1)

où les fonctions η, T , a et b sont à valeurs dans R. La statistique T (x) est appelée statistique exhaustive
naturelle et le paramètre η = η(θ) est appelé paramètre naturel. Soit X une variable aléatoire de densité
f (x; θ) appartenant à la famille exponentielle.
Déterminer une statistique exhaustive pour le paramètre θ pour un n-échantillon i.i.d (X1 , . . . , Xn ) de
v.a de densité f (x; θ).
Solution. La densité jointe pour les observations i.i.d. x = (x1 , . . . , xn ) est donnée par :
n
Y
f (x; θ) = f (xi ; θ)
i=1
Yn
= exp[η(θ)T (x) + a(θ) + b(x)]
i=1
" n
#
X
= exp (η(θ)T (xi ) + a(θ) + b(xi ))
i=1
" n # " n #
X X
= exp η(θ)T (xi ) + n a(θ) exp b(xi )
i=1 i=1
| {z }| {z }
u(T (x1 ,...,xn );θ) v(x1 ,...,xn )

A
Pnpartir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a :
i=1 T (xi ) est une statistique exhaustive pour θ.

4
Exercice 6. Soit X une v.a suivant une loi Poisson de paramètre λ > 0, i.e, ∀x ∈ N :
λx
pX (x; λ) = P(X = x) = e−λ ·
x!
Étant donné un n-échantillon i.i.d (X1 , . . . , Xn ) généré suivant une loi de Poisson de paramètre λ, pX (x; λ)
1. Déterminer une statistique exhaustive pour λ.
2. Calculer l’estimateur du maximum de vraisemblance (EMV) de λ. En déduire son expression en
fonction de la statistique exhaustive calculée dans la question précédente.
Solution. La loi jointe pour l’échantillon i.i.d (x1 , . . . , xn ) est donnée par :
n
Y
p(x1 , . . . , xn ; λ) = p(xi ; λ)
i=1
n
Y λ xi
= [e−λ ]
i=1
xi !
Pn
xi −nλ 1
= λ i=1 e Qn
i=1 xi !
Pn
xi −nλ 1
= λ
|
i=1
{z e } Qn xi !
u(T (x1 ,...,xn );θ) | i=1
{z }
v(x1 ,...,xn )
Pn
A partir de ce résultat, et d’après le théorème de factorisation (critère de Fisher-Neyman), on a : i=1 Xi
est une statistique exhaustive pour λ. La vraisemblance s’écrit :
n
Y
L(λ; x1 , . . . , xn ) = p(x1 , . . . , xn ; λ) = p(xi ; λ) (2)
i=1
n
Y λ xi
= e−λ (3)
i=1
xi !
n
Y λ xi
= e−λn (4)
i=1
xi !

La log-vraisemblance est donc donnée par

n
Y λxi
ln L(λ; x1 , . . . , xn ) = ln e−λn (5)
i=1
xi !
n
Y λxi
= ln e−λn + ln (6)
i=1
xi !
n
X λxi
= −λn + ln (7)
i=1
xi !
n
X n
X
= −λn + ln λ xi − ln(xi !) (8)
i=1 i=1
(9)
La dérivée première s’annule quand :
∂ ln L(λ; x1 , . . . , xn )
= 0 (10)
∂λ P
n
xi
−n + i=1 = 0 (11)
λ

5
donc Pn
i=1 xi
λ̂ =
n
La dérivée seconde s’écrit : Pn
∂ 2 ln L(λ; x1 , . . . , xn ) xi
= − i=1 ≤0
∂λ2 λ2
car xi ∈ N. L’estimateur est donné par :
Pn
Xi
Λn = i=1 = X̄
n
Remarque : on peut remarquer que l’estimateur s’exprime à l’aide de la statistique exhaustive pour λ :
Λ = Tn
Exercice 7. Estimateurs et détermination de la Borne Inférieure de Cramér-Rao (CRLB) : Soit X une
v.a. gaussienne univariée de densité :
1 1 x−µ 2
f (x; µ, σ 2 ) = √ e− 2 ( σ ) .
σ 2π
1. Calculer la borne inférieure de Cramér-Rao pour un estimateur sans biais de l’espérance µ (variance
σ 2 connue)
2. Calculer l’estimateur du maximum de vraisemblance de l’espérance µ
3. Montrer qu’il est sans biais
4. En déduire qu’il est efficace
5. Calculer la la borne inférieure de Cramér-Rao pour un estimateur sans biais de la variance σ 2
(espérance µ connu)
6. La variance empirique notée S 2 est l’estimateur du maximum de vraisemblance de la variance σ 2 .
2σ 4
Son espérance est n−1 2
n σ et sa variance est n−1 .
En déduire son efficacité.
Comment peut-on faire pour trouver un estimateur efficace de la variance ?
Solution.
1. On a
1 1 x−µ 2
ln f (x; µ) = ln √ e− 2 ( σ ) (12)
σ 2π
   2
1 1 x−µ
= ln √ − . (13)
σ 2π 2 σ
et
 
∂ ln f (x; µ) 1 x−µ
= (14)
∂µ σ2 σ
 2  2
∂ ln f (x; µ) 1 x−µ
= (15)
∂µ σ4 σ
Ainsi
" 2 #
∂ ln f (x; µ) 1 h 2
i 1 1
E = 4
E (x − µ) = 4 σ2 = 2 (16)
∂µ σ σ σ

La CRLB pour l’estimateur de µ est donc

1 σ2
CRLB =  2  = n (17)
∂ ln f (x;µ)
nE ∂µ

6
 Pn Pn
2. on a E[X̄] = E[ n1 i=1 n
1
Xi ] =
i=1 E[Xi ] = µ. L’estimateur X̄ est donc sans biais.
Pn Pn 2
3. Ensuite, on a Var(X̄) = Var( n i=1 Xi ) = n12 i=1 Var(Xi ) = n12 nσ 2 = σn
1
2
Puisque la variance de X̄ est σn , il est donc à variance minimale pour µ quand la v.a. X est a
2
densité normale N (µ, σ )
4. Soit θ = σ 2 , on a
1 1 (x−µ)
2
ln f (x; θ) = ln √e− 2 θ (18)
θ2 π
2
1 1 (x − µ)
= − ln 2πθ − . (19)
2 2 θ
et
2
∂ ln f (x; θ) 1 (x − µ)
= − + (20)
∂θ 2θ 2θ2
2
∂ 2 ln f (x; θ) 1 (x − µ)
= − (21)
∂2θ 2θ2 θ3
(22)
Ainsi
h i
2
 2
∂ ln f (x; θ)

1 E (x − µ) 1 θ 1 1
E = − = − 3 =− 2 =− 4 (23)
∂2θ 2θ2 θ3 2θ2 θ 2θ 2σ
La CRLB pour l’estimateur de σ 2 est donc donnée par 1
1 2σ 4
CRLB = − h i= (24)
nE ∂2 ln f (x;µ) n
∂2θ

2σ 4
5. On a Var(S 2 ) = n donc l’efficacité de S 2 est donnée par :
CRLB 2σ 4 /n n−1
e(S 2 ) = 2
= 4
=
Var(S ) 2σ /(n − 1) n
S 2 n’est donc pas un estimateur efficace pour σ 2 (car e(S 2 ) < 1). Cependant, S 2 est asymptoti-
quement efficace car
lim e(S 2 ) = 1
n→+∞

The likelehood to be maximized is given as the joint probability density function for sample (x1 , . . . , xn )
of n independent identically distributed normal random variables
n n
1 1 xi −µ 2
e− 2 ( σ ) .
Y Y
f (x1 , . . . , xn ; µ, σ 2 ) = f (xi ; µ, σ 2 ) = √ (25)
i=1 i=1
σ 2π
Maximizing this likelihood is equivalent to maximzing the following log-likehood function
n
1 1 xi −µ 2
e− 2 ( σ )
Y
L(µ, σ 2 ) = log f (x1 , . . . , xn ; µ, σ 2 ) = log √
i=1
σ 2π
n n
1 1 xi −µ 2
log e− 2 ( σ )
X X
= log √ +
i=1
σ 2π i=1
n
n n 1 X 2
= − log 2π − log σ 2 − 2 (xi − µ) . (26)
2 2 2σ i=1

1. ici on a utilisé la deuxième forme de la CRLB

7
Lets first start by maximzing (26) with respect to µ. We have to set its partial derivative w.r.t µ equat
Pn 2
to zero. By taking into account the fact that in (26), only the quantity − 2σ1 2 i=1 (xi − µ) depends on
µ, we can therefore write Pn 2
∂L(µ, σ 2 ) ∂ − 2σ1 2 i=1 (xi − µ)
= = 0, (27)
∂µ ∂µ
that is
n n
1 X ∂(xi − µ) 1 X
− 2 (x i − µ) = (xi − µ) = 0. (28)
2σ 2 i=1 ∂µ σ 2 i=1
Pn Pn
Finally we have i=1 (xi − µ) = i=1 xi − nµ = 0 which results in the ML estimate µ̂ of µ
n
1X
µ̂ = xi ,
n i=1

that is the sample mean !.

We can see that the ML estimator of µ given by
n
1X
µ
b= Xi
n i=1

is unbiased. Indeed, we have

n n
1X 1X 1
µ] =
E[b E[Xi ] = µ = nµ = µ
n i=1 n i=1 n

where we have used the fact that E[Xi ] = µ which is the true mean.
To estimate σ 2 , we similarly differentiate the log-likelihood (26) with respect to σ and equate to zero.
Pn 2
Since in (26) only the quantity − n2 log σ 2 − 2σ1 2 i=1 (xi − µ) depends on σ, we have
 Pn 
n 2 1 2
∂L(µ, σ )2 ∂ − 2 log σ − 2σ 2 i=1 (x i − µ)
= = 0, (29)
∂σ ∂σ
that is
n
n −1 X 2
− − (xi − µ) = 0 (30)
2σ 2 2σ 4 i=1
whiche gives
n
1 X 2
(xi − µ) = n. (31)
σ 2 i=1
Finally we therefore have
n
1X 2
σ2 = (xi − µ) (32)
n i=1

and by replacing µ by its ML estimate we get the ML estimate σ̂ 2 for σ 2

n
1X 2
σ̂ 2 = (xi − µ̂) (33)
n i=1

which is the empirical variance !

However, in contrast to the ML estimator for the mean which is unbiased, the one for the variance, as

8
we can see it is biased. Pn
1 2
b2 =
To calculate the expectation of the ML estimator σ n i=1 (Xi − µ
b) , by using the fact that

n
!2 n X
n
X X
Xi = Xi Xj
i=1 i=1 j=1

we first write
 2
n n n
1X 2 1 X 1X 
b2
σ = (Xi − µ
b) = Xi − Xj
n i=1 n i=1 n j=1
  2 
n n
1 X  2 1 X 2 X
= Xi + Xj  − Xi Xj 

n i=1 n j=1 n j=1
 
n n n
1 X 2 1 XX 2X
= Xi + 2 Xj Xh − Xi Xj  ,
n i=1 n j=1 n j=1
h=1

(34)

b2 is then given by
the expectation of σ
 
n n Xn
1 X 1 X 2 X
E[bσ2 ] = E[Xi2 ] + E[Xj Xh ] − E[Xi Xj ] .
n i=1 n2 j=1 n j=1
h=1

Since the variables are mutually independent, we have, for i 6= j, E[Xi Xj ] = E[Xi ][Xj ] = µ2 . When
i = j, we have E[Xi Xi ] = E[Xi2 ] = σ 2 + µ2 from the variance formula. The previous equation is therefore
wreritten as
n  
1X 1


2
σ2 ] = σ 2 + µ2 + 2 n (n − 1) µ2 + σ 2 + µ2 (n − 1) µ2 + σ 2 + µ2



E[b −
n i=1 n n
n  
1X 1
2
σ 2 + µ2 + 2 n2 µ2 + nσ 2 − nµ2 + σ 2


=
n i=1 n n
n  
1X 2 2 2 1 2 2 2 2
= σ + µ + µ + σ − 2µ − σ
n i=1 n n
1
= (nσ 2 − σ 2 )
n
n−1 2
= σ . (35)
n
The ML estimator E[b σ 2 ] for σ 2 is therefore unbiased since E[bσ 2 ] 6= σ 2 . However it is asymptotically
2 2
unbiased : limn→∞ E[b
σ ]=σ .
1
Pn 2
We can correct the bias by taking σ ?2 = n−1 i=1 (xi − µ̂) as an unbiased estimator of the variance,
n 2
b2 = n1 i=1 (xi − µ̂) . It is indeed easy to check that E[σ ?2 ] = σ 2 .
P
rather than the ML estimator σ