Mathématiques Master 1

Kh HAMIDI, ENSSEA, Master 1, Kolea, Tipaza

Table des matières

1 Covariance et produit de Kronecker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2 Somme de Kroncker . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3 Produit matriciel de Haddamard . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1 Covariance et produit de Kronecker

h i
Une matrice X = xij dont les éléments [xij ] sont des variables aléatoires, est une variable aléatoire matricielle.
Son espérance mathématique est définie comme la matrice des espérances mathématiques, soit :
   
E(x11 ) E(x12 ) · · · E(x1n ) µ11 µ12 · · · µ1n
   
 E(x21 ) E(x22 ) · · · E(x2n )   µ21 µ22 · · · µ2n 
E(X) =  = .
   
.. .. .. .. . .. .. .. 

 . . . .   .
  . . . 

E(xm1 ) E(xm2 ) · · · E(xmn ) µm1 µm2 · · · µmn

Quelle est alors la variance de la matrice X, et la covariance entre la matrice X et la matrice Y ? Commençons
par rappeler l’expression de la covariance entre deux vecteurs aléatoires. Soient x = (x1 , . . . , xm ) et y =
(y1 , . . . , yn ). Alors Cov(x, y) = [cov(xi , yj )] = E[(xi − Exi )(yj − Eyj )] pour i = 1, . . . , m et j = 1, . . . , n,
ce que l’on peut écrire :
Cov(x, y) = E{(x − Ex) (y − Ey)′ }

Exemple 1.1. Par exemple, pour x = (x1 , x2 , x3 ) et y = (y1 , y2 ) on a :

    
(x1 − Ex1 )(y1 − Ey1 ) (x1 − Ex1 )(y2 − Ey2 ) x1 − Ex1 (y1 − Ey1 y2 − Ey2 )
    
Cov(x, y) = E 
(x 2 − Ex2 )(y1 − Ey 1 ) (x 2 − Ex 2 )(y 2 − Ey2 ) = E x2 − Ex2 
  


(x3 − Ex3 )(y1 − Ey1 ) (x3 − Ex3 )(y2 − Ey2 ) x3 − Ex3

Les propriétés immédiates sont que (1) V (x) = E{(x − Ex) (x − Ex)′ } , (2) cov(A x, B y) = A cov(x, y) B ′
pour des matrices A et B non aléatoires, (3) V (A x) = A V (x) A′ . (4) Il importe aussi de noter que si
Γ = cov(x, y), alors Γ est une m × n-matrice et cov(y, x) = Γ′ . Pour des matrices aléatoires X et Y de

1
1 Covariance et produit de Kronecker 2

dimensions respectives m × n et p × q, on est tenté de définir la covariance comme précédemment, c’est-

à-dire Cov(X, Y ) = [cov(xij , yrs )] = E[(xij − Exij )(yrs − Eyrs )] pour (i, j) = (1, 1), . . . , (n, m) et
(r, s) = (1, 1), . . . , (p, q), ce qui donne :

Cov(X, Y ) = E{(X − EX) ⊗ (Y − EY )} = E{X ⊗ Y } − E(X) ⊗ E(Y )

Il s’agit de la covariance entre les éléments xij avec toute la matrice Y . Autrement dit, c’est une matrice en
blocs dont le bloc (i, j) est donnée par E{(xij − Exij )(Y − EY )}. Cependant, en statistique mathématque
et en économétrie, on utilise plutôt l’expression suivante :

Cov (vec(X), vec(Y )) = E{vec(X − EX) · vec(Y − EY )′ }

Afin de saisir la nuance entre les deux définitions, considérons l’exemple des matrices aléatoires X et Y
suivantes :  
x11 x12 " #
  y11 y12
X=
x21 x22 
 ; Y =
y21 y22
x31 x32
Le calcul des deux expressions est reporté dans les matrices M = E{(X − EX) ⊗ (Y − EY )} et Γ =
E{vec(X − EX) · vec(Y − EY )′ }, dans lequelles nous avons noté σxij ,yrs la covariance entre la variable
aléatoire xij et la variable aléatoire yrs :

   
σx11 ,y11 σx11 ,y12 σx12 ,y11 σx12 ,y12 σx11 ,y11 σx11 ,y12 σx11 ,y21 σx11 ,y22
   
σx11 ,y21 σx11 ,y22 σx12 ,y21 σx12 ,y22  σx12 ,y11 σx12 ,y12 σx12 ,y21 σx12 ,y22 
   
σ σx21 ,y12 σx22 ,y11 σx22 ,y12  σ σx21 ,y12 σx21 ,y21 σx21 ,y22 
 x ,y  x ,y
M =  21 11 ; Γ =  21 11
 
 
σx21 ,y21 σx21 ,y22 σx22 ,y21 σx22 ,y22  σx22 ,y11 σx22 ,y12 σx22 ,y21 σx22 ,y22 
   
σx31 ,y11 σx31 ,y12 σx32 ,y11 σx32 ,y12  σx31 ,y11 σx31 ,y12 σx31 ,y21 σx31 ,y22 
   

σx31 ,y21 σx31 ,y22 σx32 ,y21 σx32 ,y22 σx32 ,y11 σx32 ,y12 σx32 ,y21 σx32 ,y22

Les deux matrices ont les mêmes éléments mais différemment disposés : en M , ils sont repertoriés selon les
blocs xij Y ; en Γ, ils le sont sous forme d’une colonne vec(X) croisée avec une ligne vec(Y )′ . Au cas où l’on
remplace X par Y dans les calculs précédent, on obtient les expressions de la variance pour Y , soit MY Y et
ΓY Y :
2 Somme de Kroncker 3

   
σy211 σy11 ,y12 σy12 ,y11 σy212 σy211 σy11 ,y12 σy11 ,y21 σy11 ,y22
σy212
   
σy11 ,y21 σy11 ,y22 σy12 ,y21 σy12 ,y22  σy12 ,y11 σy12 ,y21 σy12 ,y22 
MY Y =  ; ΓY Y = 
σ
 y21 ,y11 σy21 ,y12 σx22 ,y11 σx22 ,y12 

σ
 y21 ,y11 σy21 ,y12 σy221 σy21 ,y22 

σy221 σy21 ,y22 σy22 ,y21 2
σy22 σy22 ,y11 σy22 ,y12 σy22 ,y21 2
σy22

L’expression ΓY Y est la matrice de variances-covariances de tous les éléments de Y , et l’on comprend pourquoi
que l’on utilise la définition par vectorisation dans les calculs statistique.

2 Somme de Kroncker

On peut vérifier sur un exemple réduit que A ⊗ B = (A ⊗ Ip )(In ⊗ B). La somme de Kronecker est définie de
la même manière. Soient A une m-matrice carrée, et B une n-matrice carrée. Alors :

A ⊕ B = (A ⊗ In ) + (Im ⊗ B)

Cependant, la somme de Kronecker n’est pas commutative, même si généralement les opérations appelées
sommes le sont. Pour autant, elle est qualifiée de somme. En particulier, elle vérifie :

eA⊕B = eA ⊗ eB

3 Produit matriciel de Haddamard

Un autre produit matriciel utile en analyse multivariée est le produit matriciel de Hadamard. Pour que ce
produit soit défini, les matrices A et B doivent être du même ordre, disons n × m. Le produit de Hadamard de
A par B est le produit élément par élément défini comme suit :

[A ⊙ B]ij = aij · bij

Pour une discussion des produits Hadamard utiles dans l’analyse multivariée, voir Styan (1973). Certaines
propriétés utiles des produits Hadamard sont résumées dans le théorème suivant(voir, par exemple, Schott,
1997, p. 266).

Théorème 3.1. Soient A, B et C des n × m-matrices, x un n-vecteur quelconque, et y un m-vecteur quelconque.

Alors : (1) A ⊙ B = B ⊙ A, (2) (A ⊙ B)′ = A′ ⊙ B ′ , (3) (A ⊙ B) ⊙ C = A ⊙ (B ⊙ C), (4) (A + B) ⊙ C = (A ⊙
C) + (B ⊙ C), (5) Pour J = [1 · 1′ ], une matrice d’éléments égaux à 1, A ⊙ J = A, (6) A ⊙ 0 = 0, (7) Pour n = m,
I ⊙A = diag(a11 , a22 , . . . , ann ), (8) 1′n (A⊙B)1m = trace(AB ′ ), (9) trace{(A⊙B ′ )C} = trace{A′ (B ′ ⊙C)}.