Rappels et compléments d’algèbre linéaire

On note par la suite :

Rappels et compléments d’algèbre
aji = [A]ji le terme général de la matrice,
linéaire ai = [a1i , . . . , api ]0 un vecteur-ligne mis en colonne,
aj = [aj1 , . . . , ajn ]0 un vecteur-colonne.
Résumé
2.1.1 Types de matrices
Cette vignette rassemble des notations et rappels d’algèbre linéaire
Une matrice est dite :
de niveau L. Il introduit les principaux théorèmes d’approximation
– vecteur-ligne (colonne) si n = 1 (p = 1),
matricielle par décomposition en valeurs singulières qui sont à la
– vecteur-unité d’ordre p si elle vaut 1p = [1, . . . , 1]0 ,
base des méthodes statistique factorielles.
– scalaire si n = 1 et p = 1,
Retour au plan du cours. – carrée si n = p.
Une matrice carrée est dite : 
0 si i 6= j
1 Notations – identité (Ip ) si aji = δij = ,
1 si i = j
– diagonale si aji = 0 lorsque i 6= j,
Dans tout ce qui suit, E et F sont deux espaces vectoriels réels munis res-
pectivement des bases canoniques E = {ej ; j = 1, . . . , p} et F = {fi ; i = – symétrique si aji = aij , ∀(i, j),
1, . . . , n}. On note indifféremment soit un vecteur de E ou de F , un endomor- – triangulaire supérieure (inférieure) si aji = 0 lorsque i > j (i < j).
phisme de E, ou une application linéaire de E dans F , soit leurs représenta-
2.1.2 Matrice partitionnée en blocs
tions matricielles dans les bases définies ci-dessus.
Matrices dont les éléments sont eux-mêmes des matrices. Exemple :
2 Matrices 
A11 (r × s) A21 (r × (p − s))

A(n × p) = .
A12 ((n − r) × s) A22 ((n − r) × (p − s))
2.1 Notations
La matrice d’ordre (n × p) associée à une application linéaire de E dans F 2.2 Opérations sur les matrices
est décrite par un tableau :
Somme : [A + B]ji = aji + bji pour A et B de même ordre (n × p).
Multiplication par un scalaire : [αA]ji = αaji pour α ∈ R.
a11 aj1 ap1 Transposition : [A0 ]ji = aij , A0 est d’ordre (p × n).
 
... ...
 .. .. .. 
 . . . 
  (A0 )0 = A ; (A + B)0 = A0 + B0 ; (AB)0 = B0 A0 ;
A=
 ai
1
... aji ... api .  0  10 0 
 . .. .. 
 1
A1 A21 A1 A12
 .. . .  = 0 0 .
A12 A22 A21 A22
a1n ... ajn ... apn

1
 Rappels et compléments d’algèbre linéaire

Pn
Produit scalaire élémentaire : a0 b = i=1 ai bi où a et b sont des vecteurs- 2.3.2 Déterminant
colonnes.
On note |A| le déterminant de la matrice carrée A (p × p). Il vérifie :
Produit : [AB]ji = a0i bj avec A(n×p) , B(p×q) et AB(n×q) , et pour des ma-
p
trices par blocs : Y
|A| = ajj , si A est triangulaire ou diagonale,
j=1
A11 A21 B11 B21 A11 B11 + A21 B12 A11 B21 + A21 B22
    
= |αA| = α |A|, p
A12 A22 B12 B22 A12 B11 + A22 B12 A12 B21 + A22 B22
|AB| = |A||B|,
sous réserve de compatibilité des dimensions.
 
 A B 
 0 C  = |A||C|,
 

2.3 Propriétés des matrices carrées  1 

 A1 A21  1 2 1 1 −1 2
 A2 A22  = |A1 ||A2 − A2 (A1 ) A1 | (1)
 1 
La trace et le déterminant sont des notions intrinsèques, qui ne dépendent
pas des bases de représentation choisies, mais uniquement de l’application li- = |A22 ||A11 − A21 (A22 )−1 A12 |, (2)
néaire sous-jacente. sous réserve de la régularité de A11 et A22 .
2.3.1 Trace
Cette dernière propriété se montre en considérant les matrices :
Par définition, si A est une matrice (p × p),
I −A21 (A22 )−1
 
B= et BAB0 ,
p
X 0 I
trA = ajj ,
j=1 puis en comparant les déterminants |BAB0 | et |A|.
2.3.3 Inverse
et il est facile de montrer :
L’inverse de A, lorsqu’elle existe, est la matrice unique notée A−1 telle
trα = α, que :
trαA = αtrA, AA−1 = A−1 A = I ;
tr(A + B) = trA + trB, elle existe si et seulement si |A| =
6 0. Quelques propriétés :
trAB = trBA,
1
reste vrai si A est (n × p) et si B est (p × n) (A−1 )0 = (A0 )−1 , (AB)−1 = B−1 A−1 , |A−1 | = .
|A|
Xn X p
trCC0 = 0
trC C = (cji )2
2.3.4 Définitions
i=1 j=1
dans ce cas, C est (n × p). Une matrice carrée A est dite :
symétrique si A0 = A,

2
 Rappels et compléments d’algèbre linéaire

singulière si |A| = 0,
régulière si |A| =
6 0, rang(A) = dim(Im(A)),
idempotente si AA = A, 0 ≤ rang(A) ≤ min(n, p),
définie-positive si, ∀x ∈ Rp , x0 Ax ≥ 0, et si x0 Ax = 0 ⇒ x = 0, rang(A) = rang(A0 ),
p 0
positive, ou semi-définie-positive, si, ∀x ∈ R , x Ax ≥ 0, rang(A + B) ≤ rang(A) + rang(B),
orthogonale si AA0 = A0 A = I (A0 = A−1 ). rang(AB) ≤ min(rang(A), rang(B)),
rang(BAC) = rang(A), si B et C sont régulières,
3 Espaces euclidiens rang(A) = rang(AA0 ) = rang(A0 A).
E est un espace vectoriel réel de dimension p isomorphe à Rp . Enfin, si B (p × q) est de rang q(q < p) et A est carrée (p × p) de rang p,
3.1 Sous-espaces alors la matrice B0 AB est de rang q.

– Un sous-ensemble Eq de E est un sous-espace vectoriel (s.e.v.) de E s’il 3.3 Métrique euclidienne

est non vide et stable :
Soit M une matrice carrée (p × p), symétrique, définie-positive ; M définit
∀(x, y) ∈ Eq2 , ∀α ∈ R, α(x + y) ∈ Eq . sur l’espace E :
– un produit scalaire : hx, yiM = x0 My,
– Le q-uple {x1 , . . . , xq } de E constitue un système linéairement indépen- – une norme : kxkM = hx, xiM ,
1/2
dant si et seulement si : – une distance : dM (x, y) = kx − ykM ,
q hx,yiM
X – des angles : cos θM (x, y) = kxk kyk .
αi xi = 0 ⇒ α1 = · · · = αq = 0. La matrice M étant donnée, on dit que :
M M

i=1
– Un système linéairement indépendant Eq = {e1 , . . . , eq } qui engendre
dans E un s.e.v. Eq = vec{e1 , . . . , eq } en constitue une base et
dim(Eq ) = card(Eq ) = q.
– une matrice A est M-symétrique si (MA)0 = MA,
– deux vecteurs x et y sont M-orthogonaux si hx, yiM = 0,
– un vecteur x est M-normé si kxkM = 1,
– une base Eq = {e1 , . . . , eq } est M-orthonormée si

3.2 Rang d’une matrice ∀(i, j), hei , ej iM = δij .

Dans ce sous-paragraphe, A est la matrice d’une application linéaire de E = 3.4 Projection

Rp dans F = Rn .
Soit W un sous-espace de E et B = {b1 , . . . , bq } une base de W ; P(p × p)
Im(A) = vect{a1 , . . . , ap } est le s.e.v. de F image de A ; est une matrice de projection M-orthogonale sur W si et seulement si :
Ker(A) = {x ∈ E ; Ax = 0} est le s.e.v. de E noyau de A ; ∀y ∈ E, Py ∈ W et hPy, y − PyiM = 0.
E = Im(A) ⊕ Ker(A) si A est carrée associée à un endomorphisme deToute
E matrice idempotente (P2 = P) et M-symétrique (P0 M = MP) est
et p = dim(Im(A)) + dim(Ker(A)). une matrice de projection M-orthogonale et réciproquement.

3
 Rappels et compléments d’algèbre linéaire

3.4.1 Propriétés T HÉORÈME 1. — Soit deux matrices A(n×p) et B(p×n) ; les valeurs propres
– Les valeurs propres de P sont 0 ou 1 (voir § 4) : non nulles de AB et BA sont identiques avec le même degré de multiplicité.
Si u est vecteur propre de BA associé à la valeur propre λ différente de zéro,
u ∈ W, Pu = u, λ = 1, de multiplicité dim(W ), alors v = Au est vecteur propre de la matrice AB associé à la même valeur
v⊥W, (on note v ∈ W ⊥ ) Pv = 0, λ = 0, de multiplicité dim(W ⊥ ). propre.
– trP = dim(W ).
– P = B(B0 MB)−1 B0 M, où B = b1 , . . . , bq .
  Les applications statistiques envisagées dans ce cours ne s’intéressent qu’à
– Dans le cas particulier où les bj sont M-orthonormés : des types particuliers de matrices.
q
X 0 T HÉORÈME 2. — Une matrice A réelle symétrique admet p valeurs propres
P = BB0 M = bj bj M.
réelles. Ses vecteurs propres peuvent être choisis pour constituer une base or-
i=1
thonormée de E ; A se décompose en :
– Dans le cas particulier où q = 1 alors :
p
bb0 0
X
P= 0 M=
1
bb0 M. A = VΛV0 = λk v k v k
b Mb kbkM k=1

– Si P1 , . . . , Pq sont des matrices de projection M-orthogonales alors la où V est une matrice orthogonale [v1 , . . . , vp ] des vecteurs propres orthonor-
somme P1 + · · · + Pq est une matrice de projection M-orthogonale si et més associés aux valeurs propres λk , rangées par ordre décroissant dans la
seulement si : Pk Pj = δkj Pj . matrice diagonale Λ.
– La matrice I − P est la matrice de projection M-orthogonale sur W ⊥ .
T HÉORÈME 3. — Une matrice A réelle M-symétrique admet p valeurs
4 Eléments propres propres réelles. Ses vecteurs propres peuvent être choisis pour constituer une
base M-orthonormée de E ; A se décompose en :
Soit A une matrice carrée (p × p). p
X 0
A = VΛV 0 M = λk vk vk M
4.1 Définitions
k=1
– Par définition, un vecteur v définit une direction propre associée à une
valeur propre λ si l’on a : où V = [v1 , . . . , vp ] est une matrice M-orthogonale (V0 MV = Ip et VV0 =
Av = λv. M−1 ) des vecteurs propres associés aux valeurs propres λk , rangées par ordre
décroissant dans la matrice diagonale Λ.
– Si λ est une valeur propre de A, le noyau Ker(A − λI) est un s.e.v. de
E, appelé sous-espace propre, dont la dimension est majoré par l’ordre Les décompositions ne sont pas uniques : pour une valeur propre simple
de multiplicité de λ. Comme cas particulier, Ker(A) est le sous-espace (de multiplicité 1) le vecteur propre normé est défini à un signe près, tandis
propre associé, si elle existe, à la valeur propre nulle. que pour une valeur propre multiple, une infinité de bases M-orthonormées
– Les valeurs propres d’une matrice A sont les racines, avec leur multipli- peuvent être extraites du sous-espace propre unique associé.
cité, du polynôme caractéristique :
Le rang de A est aussi le rang de la matrice Λ associée et donc le nombre
|A − λI| = 0. (répétées avec leurs multiplicités) de valeurs propres non nulles.

4
 Rappels et compléments d’algèbre linéaire

Par définition, si A est positive, on note la racine carrée de A : matrice (n × p). L’ensemble Mn,p des matrices (n × p) est un espace vectoriel
p de dimension np ; on le munit du produit scalaire :
X p 0
A1/2 = λk vk vk M = VΛ1/2 V0 M.
k=1 hX, YiM,D = trXMY0 D. (4)

4.2 Propriétés Dans le cas particulier où M = Ip et D = In , et en notant vec(X) =

0 0
h 0
i
x1 , . . . , xp la matrice “vectorisée”, ce produit scalaire devient :
Si λk 6=Pλj , v k ⊥M Q
vj ;
p p
trA = k=1 λk ; |A| = k=1 λk ; p
n X
∀k, λk 6= 0 ;
X
si A est régulière, hX, YiIp ,In = trXY0 = xji yij = vec(X)0 vec(Y).
si A est positive, λp ≥ 0 ; i=1 j=1
si A est définie-positive, λp > 0 ;
La norme associée à ce produit scalaire (4) est appelée norme trace :
4.3 Décomposition en Valeurs Singulières (DVS)
2
Il s’agit, cette fois, de construire la décomposition d’une matrice X(n × p) kXkM,D = trXMX0 D,
rectangulaire relativement à deux matrices symétriques et positives D(n × n) p
n X
X
2
et M(p × p). kXkIp ,In = trXX0 = SSQ(X) = (xji )2
i=1 j=1
T HÉORÈME 4. — Une matrice X (n × p) de rang r peut s’écrire : (SSQ signifie “sum of squares”).
r p
X 0
X = UΛ1/2 V0 = λk uk vk ; (3) La distance associée à cette norme devient, dans le cas où D est une matrice
k=1
diagonale (D = diag(w1 , . . . , wn )), le critère usuel des moindres carrés :
U (n × r) contient les vecteurs propres D-orthonormés (U0 DU = Ir ) de la
n
matrice D-symétrique positive XMX0 D associés aux r valeurs propres non 2 2
X 2
nulles λk rangées par ordre décroissant dans la matrice diagonale Λ(r × r) ; d (X, Y) = kX − YkM,D = wi kxi − yi kM .
i=1
V (p × r) contient les vecteurs propres M-orthonormés (V0 MV = Ir ) de la
matrice M-symétrique positive X0 DXM associés aux mêmes valeurs propres.
De plus, 5.2 Approximation d’une matrice
U = XMVΛ−1/2 et V = X0 DUΛ−1/2 . Les matrices X, M et D sont définies comme ci-dessus ; X est supposée
de rang r. On cherche la matrice Zq , de rang q inférieur à r, qui soit la plus
5 Optimisation proche possible de X.

5.1 Norme d’une matrice T HÉORÈME 5. — La solution du problème :

L’espace vectoriel E de dimension p (resp. F de dimension n) est muni n
2
o
de sa base canonique et d’une métrique de matrice M (resp. D). Soit X une min kX − ZkM,D ; Z ∈ Mn,p , rang(Z) = q < r (5)
Z

5
 Rappels et compléments d’algèbre linéaire

est donnée par la somme des q premiers termes de la décomposition en valeurs

singulières (3) de X :
q
X p 0
0
Zq = λk uk vk = Uq Λ1/2
q Vq .
k=1

Le minimum atteint est :

r
X
2
kX − Zq kM,D = λk .
k=q+1

Les matrices Uq , Λq et Vq contiennent les q premiers vecteurs et valeurs

propres donnés par la DVS de X ; Zq est appelée approximation de rang q de
X.
Ce théorème peut se reformuler d’une manière équivalente. On note P cq
(resp. Q
cq ) la projection M-orthogonale sur Eq = Im(Vq ) (resp. D-
orthogonale sur Fq = Im(Uq )) :
q
X 0
P
cq = vk vk M = Vq Vq0 M
k=1
q
X 0
Q
cq = uk uk D = Uq U0q D,
k=1
0
Zq = Q
cq X = XP
cq .

P ROPOSITION 6. — Avec les notations précédentes :

n
cq = arg max XP0 2

P q M,D ;
Pq

Pq projection M-orthogonale de rang q < r} ,

n
2
Q
cq = arg max kQq XkM,D ;
Qq

Qq projection D-orthogonale de rang q < r} .