[L2 Stat 2008/09 - Massimiliano Gubinelli, Fadoua Balabdaoui-Mohr - poly n.2 (r.

4)]

Vecteurs alatoires Gaussiens

Prliminaires
Notation pour les vecteurs et les matrices. Tout vecteur u Rd est un vecteur colonne
(autrement dit une matrice avec une colonne et d lignes, ou d 1). Si A Rm n est une matrice
m n (m lignes et n colonnes) dlment courant Aij pour i = 1, , m, j = 1, , n alors AT est
la matrice transpose qui est une matrice n m dlment courant (AT )ij = A j i, i = 1, , n, j =
1, , m.
Si A est une matrice n m et B une matrice m k alors le P
produit (lignes par colonnes) A B
est dfini tant la matrice n k dlment courant (AB)ij = m
=1 Ai B j pour i = 1, , n et
j = 1, , k. On a que (AB)T = B T AT . On note Id la matrice identit d d, i.e. (Id)ij = 1 si i =
j = 1, , d et (Id)ij = 0 si i  j, i, j = 1, , d.
La transpose uT dun vecteur u Rd est un vecteur ligne (ce qui revient au mme une
matrice 1 d); si u Rn et v Rm alors le produit matriciel u v T est une matrice n m dlment courant (uv T )ij = ui 1(v T )1 j = ui1v j 1 = ui v j pour i = 1, , n et j = 1, , m; si u Rn et v
Pn
T
Rn le produit matriciel uTv est une matrice 1 1 dlment (uTv)1 1 =
i=1 (u )1 i vi1 =
P
n
u
v
qui
nest
rien
dautre
que
le
produit
scalaire
des
deux
vecteurs
u
et
v.
i=1 i i
Si X est un vecteur alatoire de dimension d alors E[X] est le vecteur de dimension d tel que
(E[X])i = E[Xi]. Si A est une matrice alatoire alors E[A] est la matrice dlment courant
(E[A])ij = E[Aij ].

Matrice de covariance. Soit X = (X1, , Xn) un vecteur alatoire dans Rd tel que E[X j2] < +
pour tout j = 1, , d. On appelle matrice de covariance du vecteur X, et on la notera , la
matrice dlment courant ij = Cov(Xi , X j ), i, j = 1, , d.
Proposition 1.
1. = E[(X E[X])(X E[X])T ]
2. Les lments diagonaux sont les variances des composantes de X: ii = Var(Xi).
3. Pour tout u Rd: Var(uTX) = uT u.
4. est symtrique et semi-dfinie positive: ij = ji et uT u > 0 pour tout u Rd.
Dmonstration.
1. E[(X E[X])(X E[X])T ] est une matrice dlment courant E[(Xi E[Xi])(X j
E[Xj ])] = Cov(Xi , X j ) = ij .
2. i i = Cov(Xi , Xi) = Var(Xi)
Pd
Pd
Pd
3. Var(uTX) = Var(u1X1 +
+ udXd) = Cov( i=1 uiXi , j=1 u jX j ) = i, j =1 u ju j Cov(Xi ,
Pd
X j ) = i, j=1 u ju j ij = uT u. La covariance tant une fonction bilinaire.
4. i j = Cov(Xi , Xj ) = Cov(X j , Xi) = ji. uT u = Var(uTX) > 0.

Remarque 2. Si X est tel que les composantes X j sont indpendantes, alors la matrice de
covariance est diagonale car ij = Cov(Xi , X j ) = 0 si i  j. Et donc Var(uTX) =
Pd
2
d
i=1 ui Var(Xi) pour tout u R .
1

Dfinition 3. La fonction caractristique X : R C dune v.a. relle X est la transforme de

Fourier de sa loi de probabilit:
X (t) = E[eit X ],
Si X admet une densit fX alors X (t) =

tR

eitxfX (x)dx.

La fonction caractristique dtermine de manire unique une loi de probabilit, do son nom.
Proposition 4. Deux v.a. relles X et Y telles que X (t) = Y (t) pour tout t R ont la mme
loi, c--d: P(X A) = P(Y A) pour tout Borlien A de R. Si X ou Y admet une densit alors
lautre v.a. admet une densit aussi et fX (z) = fY (z) pour tout z R.
Quelques proprits calculatoires...
Proposition 5.
1. Pour tout R: X (t) = X (t).
2. Pour tout a R: X +a(t) = eiaX (t).
3. Soit = E[X] et 2 = Var(X) et U = (X )/ alors X (t) = U (t)eit et U (t) = X (t/
)eit/ .
4. Si X et Y sont indpendantes alors X +Y (t) = X (t)Y (t).
Dmonstration. X (t) = E[eit X ] = X (t). X +a(t) = E[eit(X +a)] = eitaE[eit X ]=eiaX (t).
X (t) = E[eitX ] = E[eit(+U )] = eitE[eiU ] = eitU (t). Pour X et Y indpendantes on a
E[ei(X +Y )t] = E[eiXteiY t] = E[eiX t]E[eiY t] = X (t)Y (t).

Exemple 6. Si X E() alors
X (t) = E[e

iXt

]=

eixt xdx =

.
it

En effet si F (x) = e(it)x/(it ) alors F (x) = e(it)x et

lim F (x) = lim

x+

x+

donc
Z

cos (t)ex
sin(t)ex
+ i lim
=0
it
it
x+

eixt xdx = F ( + ) F (0) = F (0) =

1
.
it

Exemple 7. Si Z N (0, 1) alors

Z (t) =

eitxx

/2

2
dx
= et /2,
2

t R.

Si X = + Z alors X N (, 2) et donc
X (t) = eiZ (t) = eit

2 2

t /2

= exp(itE[X] Var(X)t2/2).
2

Exemple 8. Soit Y P() (Poisson) et X |Y Bin(Y , p) c--d

P(X = k|Y = n) =
alors

 
n k
p (1 p)nk
k

E[eiXt |Y ] = (1 + p(eit 1))Y ,

E[eit Y ] = e(e

it

1)

et
it

X (t) = E[eiXt] = E[E[eiXt |Y ]] = E[(1 + p(eit 1))Y ] = e[(1+ p(e

1))1]

it

= ep(e

1)

et donc la loi marginale de X est la loi de Poisson de paramtre p.

Dfinition 9. Soit X un vecteur alatoire dans Rd. La fonction caractristique X : Rd C de
X est donne par
T

X (t) = E[eit

] = E[ei(t1X1 +
+tdXd)]

t Rd.

Proposition 10. Soit X un vecteur alatoire dans Rd. Les v.a. X1, , Xd sont indpendantes
ssi
X (t) =

d
Y

Xi(ti)

i=1

t Rd.

Proposition 11. Deux vecteurs alatoires X , Y ont la mme loi ssi X (t) = Y (t) pour tout t
Rd. En particulier si lune des deux v.a. admet densit alors il en est de mme pour lautre v.a.
et fX = fY.

Vecteurs Gaussiens
Proposition 12. (Stabilit) Soient X1, , Xd des v.a. Gaussiennes indpendantes. Pour tout
u Rd la combinaison linaire uT X = u1X1 +
+ udXd est une v.a. Gaussienne relle.
Dmonstration. Il suffi de montrer que la fonction caractristique de Y = uTX est la f.c. dune
v.a. Gaussienne relle, i.e.
Y (t) = exp(i t E[Y ] Var(Y )t2/2)
(voir lExemple 7). Or: E[Y ] =
des Xi. Donc

Pd

i=1

ui E[Xi] et Var(Y ) =

Y (t) = E[eit(u1X1 +
+udXd)] = E[

d
Y

eitujXj ] =

j =1

=e

Pd

d
Y

i=1

u2i Var(Xi) par lindpendance

2 2

ei(t uj E[Xj ]Var(X j)uj t

/2)

j =1

P
P
(t dj =1E[u j X j ] dj =1Var(u j X j )t2/2)

= exp(i t E[Y ] Var(Y )t2/2)

On en dduit par lunicit de la fonction caractristique que Y est une v.a. Gaussienne.

Dfinition 13. On appelle vecteur Gaussien de dimension d un vecteur alatoire X = (X1, ,

Xd) tel que toute combinaison linaire de ses composantes (X j ) j=1, ,d est une v.a. relle Gaussienne, c--d u Rd la v.a. uTX est Gaussienne. (En particulier, toutes ses composantes X j
sont Gaussiennes.)
3

Par la Proposition 12 de tels vecteurs existent bien. Si g: Rd Rm est une application linaire
et X est un vecteur Gaussien de dimension
Pd d alors la compose Y = g(X) est un vecteur Gaussien de dimension m. En effet si gk(x) = j =1 gkj x j alors pour tout u Rm , la v.a.
T

u Y=

m
X

k=1

ukYk =

m
X

k=1

ukgk(X) =

m
X

k=1

uk

d
X

gkjX j =

j =1

d
X

j =1

m
X

ukgkj Xj = (g T u)T X

k=1

est Gaussienne, car combinaison linaire des composantes de X.

Si X est un vecteur Gaussien (de dimension d) alors Y = X E[X] est encore un vecteur Gaussien: uTY = uTX uT E[X] est Gaussienne car somme dune Gaussienne et une constante (
vrifier laide de la fonction caractristique).
Thorme 14. Soit X un vecteur Gaussien de dimension d. Soit = E[X] Rd lesprance de
X et la matrice de covariance de X. La fonction caractristique du vecteur X est donne par


1
X (t) = exp i tT tT t
2

t Rd.

Dmonstration. Y = tTX est une v.a. Gaussienne. E[Y ] = tT. Var(Y ) = tT t.

TtT t/2

X (t) = Y (1) = eiE[Y ]Var(Y )/2 = eit

Remarque: la loi du vecteur Gaussien ne dpend que de son esprance et de sa covariance. La

quantit tT t est toujours > 0.
Dfinition 15. Soit X un vecteur Gaussien desprance et matrice de covariance . On note
sa loi par Nd(, ).
Lemme 16. Soit une matrice d d, symtrique et semi-dfinie positive. Alors il existe une
matrice carre A de dimension d d telle que = AAT. On dit que A est une racine carre de
. De plus si est inversible alors il en est de mme de A.
Dmonstration. Du fait que est symtrique on dduit que elle est diagonalisable et donc
quil existent une matrice orthogonale O (i.e. telle que O T = O 1) et une matrice diagonale
avec ii = i telles que = O T O. Puisque est semi-dfinie positive on a que les valeurs propres de sont > 0 et donc que i > 0 pour tout i = 1, , d. Soit 1/2 la matrice diagonale telle

que (1/2)ii =
i , donc 1/21/2 = et si on pose A = OT 1/2 on a que A AT =
T 1/2
T 1/2 T
O (O ) = O T 1/21/2O = O T O = . Si est inversible alors i > 0 pour tout i =

1, , d et donc 1/2 est inversible et (1/2)1 est la matrice diagonale avec lments 1/ i sur
la diagonale. Donc A1 = (O T 1/2)1 = (1/2)1(O T )1 = (1/2)1 O qui montre que A est
inversible (tant le produit de deux matrices inversibles).

Exemple 17. Si X Nd(, ), A est une matrice n d et v Rn alors
v + AX Nn(v + A, AAT ).
En effet on remarque que tTA X = (ATt)TX et donc


1 T T
itTv
T
T
T T
T
v+AX (t) = e
X (A t) = exp i[t v + (A t) ] (A t) (A t)
2


1
= exp itT [v + A] tTAATt .
2
4

En particulier si on considre un vecteur alatoire Z = (Z1, , Zd) dans Rd tel que Zi N (0, 1)
pour tout i = 1, , d et les v.a. Zi , i = 1, , d sont indpendantes alors Z Nd(0, Id). Si A est
une matrice telle que AAT = (une racine carre de donn par le Lemme 16) alors X = +
A Z Nd(, ). Dune famille de v.a. Gaussiennes indpendantes on peut donc construire
nimporte quel vecteur Gaussien. Si est inversible alors il en est de mme de A et
Z = A 1(X ).
Thorme 18. Soit = (1, , d) Rd un vecteur et une matrice d d, la fonction
f ,(t) = exp(i tT tT t/2)
est la fonction caractristique dun vecteur Gaussien desprance et matrice de covariance
ssi est symtrique et semi-dfinie positive. Pour tout Rd et matrice d d symtrique et
semi-dfinie positive il existe un vecteur X Nd(, ).
Dmonstration. On a dj vu que si X Nd(, ) alors X (t) = f ,(t). Il nous reste donc de
montrer que si est semi-dfinie positive et symtrique alors il existe bien un vecteur alatoire
Gaussien X de moyenne et matrice de covariance (et donc tel que X (t) = f ,(t)). Mais
par lexemple 17 et le lemme 16 on a que il existe une matrice A telle que = A AT et que si
Z Nd(0, Id) alors X = + A X est un vecteur alatoire gaussien de moyenne et matrice de
covariance AAT = .


Proposition 19. Le vecteur alatoire X Nd(, ) admet une densit si et seulement si est
inversible (i.e. dfinie positive) et alors
fX (x) = (2)

d/2

det()

1/2

exp

1
(x )T 1(x )
2

x Rd

(1)

Dmonstration. On montre seulement que si est inversible alors X admet la densit donne
en eq. (1). On considre le vecteur alatoire Z = (Z1, , Zd) dans Rd tel que Zi N (0, 1) pour
tout i = 1, , d et les v.a. Zi , i = 1, , d sont indpendantes. Donc la densit de Z est donne par
fZ (z) = fZ1(z1)
fZd(zd) =





1
1 2
1
tTt
2
exp

(z
+

+
z
)
=
exp

d
2 1
2
(2)d/2
(2)d/2

pour tout z Rd. Par lexemple 17 on a que la v.a. X = + AZ (ou = AAT ) est bien un vecteur gaussien de moyenne et matrice de covariance . Donc la densit de Z est donne par la
formule de changement de variables partir de la densit de Z. Si lon pose (z) = + Az alors
z = 1(x) = A1(x ) et
fX (x) = fZ (1(x))J 1(x) =

(1(x))T 1(x)
1
det (A1) exp(
).
d/2
2
(2)

Mais
(1(x))T 1(x) = [A1(x )]TA1(x ) = (x )T (A 1)TA 1(x )
= (x )T (AT )1A1(x ) = (x )T (AAT ) 1(x ) = (x )T 1(x )
5

et det() = det(A AT ) = det(A) det(AT ) = [det(A)]2 et det (A1) = 1/det(A). Donc det(A 1) =
[det ]1/2 et on obtient la formule (1).

Lemme 20. Soit X Nd(, ). Les composantes (X j ) j =1, ,d de X sont affinement indpendantes (c--d il nexiste pas de vecteur u Rd et c R tels que u  0 et uTX = c) ssi est
inversible.
Dmonstration. Montrons que si est inversible les composantes de X sont affinement indpendantes: en effet si tel vecteur existait alors pour tout j = 1, , d:
0 = Cov(c, X j ) = Cov(uTX , X j ) =

d
X

ukCov(Xk , X j ) =

k=1

d
X

uk jk = (u) j

k=1

et donc u = 0 qui montre que a une valeur propre nulle et donc ne peut pas tre inversible.
Rciproquement si est singulire (c--d elle nest pas inversible) alors il existe u Rd, u  0 tel
que u = 0 et donc Var(uTX) = uT u = 0 ce qui implique que la v.a. uTX est constante et gale
E[uTX] = uT donc uTX = c = uT qui montre que les composantes de X sont affinement
dpendantes.

Exemple 21. Soit (X , Y ) un couple alatoire Gaussien de matrice de covariance gale
=


.

1
1

1. Condition ncessaire et suffisante pour que soit vraiment la matrice de covariance de

(X , Y ) est que soit symtrique et semi-dfinie positive (det() > 0 et Tr() > 0), i.e.
1 2 > 0 || 6 1.
2. Condition ncessaire et suffisante sur pour quen plus le couple (X , Y ) admette une
densit est que soit inversible (i.e. dfinie positive det() > 0 et Tr() > 0). Donc
1 2 > 0 || < 1.
3. Si || < 1 et (X , Y ) est suppos centr (E[X] = E[Y ] = 0), alors (X , Y ) admets pour densit
1

f(X ,Y )(x, y) =

2 (x,y)1

x
y

2 det()1/2

et on a

1
=
1 2

1
1

 



 
1
1
x
1
x y
x
=
(x,
y)
(x,
y)
=
(x, y)1
y
1
y x
y
1 2
1 2
=

1
(x2 2x y + y 2)
1 2

f(X ,Y )(x, y) =

1
(x2 2xy+ y 2)
2(1 2)

p
6

1 2

x, y R

Proposition 22. Soit X un vecteur Gaussien de dimension d. Les v.a. Gaussiennes Xi et X j

sont indpendantes ssi Cov(Xi , X j ) = i j = 0. Dune manire gnrale Xi1, , Xik sont indpendantes ssi Cov(Xia , Xib) = 0 pour tout a  b et a, b = 1, , k.
Dmonstration. Il est clair que si Xi et X j sont indpendantes alors ij = 0. Montrons alors
que ij = 0 implique lindpendance de Xi et X j . Soit t = (t1, t2) R2 et = E[X]. La v.a. Y =
t1Xi + t2X j est une v.a. Gaussienne de moyenne E[Y ] = t1 i + t2 j et variance Var(Y ) = t21i i +
t22 j j et donc
2

(Xi ,X j )(t) = Y (1) = E[ei(t1Xi +t2X j )] = ei(t1Xi +t2X j )(t1i i +t2 j j )/2 = Xi(t1)X j (t2)
ce qui implique lindpendance. (En effet, par la proprit fondamentale des fonctions caractristiques, on a montr que le couple (Xi , X j ) a une densit gale la densit dun couple de v.a.
indpendantes.)


Autres distributions classiques

Loi Gamma
La v.a. X suit une loi gamma de paramtres > 0 et > 0 ssi sa densit est donne par
fX (x) =

1 x
x
e
Ix>0
()

et on note X G(, ). Le paramtre est la forme de la loi Gamma et son intensit. On

rappelle que
Z
() =
t1etdt,
> 0
0

et que

1. ( + 1) = (). (1) = 1, (n + 1) = n! si n N.
2. E[X] = / , Var(X) = / 2.

Loi Bta
On dit que X suit une loi bta de paramtres a > 0 et b > 0 ssi la densit de X est donne par
fX (x) =

(a + b) a1
x
(1 x)b1I0<x<1
(a)(b)

et on note X B(a, b).

Proposition 23. On a E[X] = a/(a + b), Var(X) = a b/(a + b)2(a + b + 1). Si X et Y sont indpendantes et X G(, ) et Y G( , ) alors
S = X + Y G( + , ),

R=

et S et R sont indpendantes.
7

X
B(, )
X +Y

Dmonstration. Si X B(a, b)
E[X] =

(a + b)
(a)(b)

xxa1(1 x)b1dx =
=

(a + b)
E[X ] =
(a)(b)
2

1
0

(a + b)
(a)(b)

1
0

x(a+1)1(1 x)b1dx

(a + b) (a + 1)(b)
a
=
(a)(b) (a + b + 1) a + b

x(a+2)1(1 x)b1dx =

(a + b) (a + 2)(b)
a(a + 1)
=
.
(a)(b) (a + b + 2) (a + b)(a + b + 1)

Si X G(, ) et Y G( , ) alors on considre le changement de variables (x, y) = (s, r) avec

s = x + y et r = x/(x + y). : R2+ R+ (0, 1) et 1(s, r) = (x, y) avec x = r s et y = s(1 r)
La matrice Jacobienne de 1 est donne par


D (s, r) 
1
J =
=
D(s, r)

1

et donc

x
s
y
s

x
r
y
r


 
 
r
s
 =
  (1 r) s




 = r s s(1 r) = s


f(S ,R)(s, r) = f(X ,Y )(x, y)s =

+
sx1 y 1e (x+ y)Ix>0, y>0
()( )

+
s+ 1 e s r 1(1 r) 1Is>0I0<r <1 = fR(r) fS (s)
()( )

avec
fR(r) =

( + ) 1
r
(1 r) 1I0<r <1,
()( )

fS (s) =

+
s+ 1 e s Is>0
( + )

et donc R B(, ) et S G( + , ) et S et R sont indpendantes.

Loi du Khi-deux (2)

Dfinition 24. Soit X = (X1, , Xd) un vecteur alatoire Gaussien centr de matrice de covariance identit (i.e. les composantes de X sont indpendantes et Xi N (0, 1)). On appelle la loi
du Khi-deux de d degrs de libert la loi de la v.a.
Y = X12 +
+ Xd2
et on la note Y 2d.
Proposition 25. Si Y 2d alors Y G(d/2, 1/2), E[Y ] = d, Var(Y ) = 2d.
Dmonstration. La loi du carr de la Gaussienne standard Q = X12 est G(1/2,1/2), en effet la
mthode de la fonction muette donne
E[h(Q)] =

Z
2
ex /2
2
h(x )
h(q)e q/2 q 1/2 dq .
dx =

2
2

Donc la loi de la somme de d carres de Gaussiennes standards est G(d/2, 1/2) par les proprits
des lois Gamma (voir la Proposition 23).
8

On a que E[Q] = 1 et Var(Q) = 2 par les proprits des Gammas, et donc E[Y ] = d E[Q] et
Var(Y ) = d Var(Q).


Loi de Student
Dfinition 26. On appelle loi de Student de paramtre d, note Td, la loi de la v.a.
X
T=p
Y /d

o X N (0, 1), Y 2d et, X et Y sont indpendantes. T admet pour densit

fT (t) =

((d + 1)/2)

(d/2) d

1+

t2
d

(d+1)/2

Remarque 27. Lorsque d on a que


(d+1)/2
2
fT (t)
t2
= lim 1 +
= et /2
d
d fT (0)
d
lim

limite qui est proportionnel la densit dune Gaussienne standard (centre rduite).