N Up PDF - coursAlgPrSt

Prérequis et Bibliographie
Algèbre Pour la Statistique
Prérequis : Les espaces vectoriels et les applications linéaires. Lahoucine Elaissaoui

Année Universitaire 20232024
Bibliographie : Linear Algebra and Matrix Analysis for Statistics (S. Université Mohammed V-Rabat
Banerjee et A. Roy, 2014) ; Matrix Algebra Useful for Faculté des sciences
statistics (R. Shayle et A. I. Khuri, 2017) ; Matrix Algebra Département des Mathématiques
Laboratoire de Mathématiques, Statistique et Applications
From a Statistician's Perspective (D. A. Harville, 1997). Master Statistique et Économétrie
Master Statistique et Econométrie Master Statistique et Econométrie

2 / 140 1 / 140
▲ ▲
Contenu du cours
3 La décomposition en valeurs singulières des matrices (DVS) 1 L'algèbre matricielle
L'espaces Euclidien et L'espace Hermitien Introduction et Terminologie
Quatre sous-espaces fondamentaux Opérations sur les matrices
Projection et projection orthogonale Diérentes expressions du produit matriciel
Application: La régression linéaire par la méthode des moindres carrés Matrices partitionnées
Théorème spectral Le rang d'une matrice
Décomposition en valeurs singulières (DVS) L'inverse d'une matrice
Déterminant d'une matrice par blocs
4 Quelques décompositions matricielles 2 La théorie spectrale des matrices et réduction
Décomposition QR d'une matrice Les propriétés spectrales des matrices carrées
Décomposition LU et la résolution d'un système d'équations linéaires Matrices semblables et équivalentes
Polynôme annulateur d'une matrice carrée
Sous-espace caractéristique d'une matrice
Matrice diagonalisable
4 / 140 3 / 140
▲ ▲
En général, on peut converser un tableau des données de m lignes et n L'algèbre matricielle
colonnes à une matrice A = [ai,j ] de taille (m, n) (c'est à dire, ayant m
lignes et n colonnes) qui contient m × n éléments (ai,j ) où i = 1, 2, · · · , m Introduction et Terminologie
indique la ligne de l'élément et j = 1, 2, · · · , n indique sa colonne. En On appelle matrice un tableau rectangulaire des nombres disposés en
pratique, les éléments ai,j sont des nombres réels et on note par Mm,n (R) lignes et en colonnes et soumis à certaines règles d'opérations. En
l'ensemble des matrices réelles de taille (m, n). En général, on désigne par statistique, l'algèbre matricielle est utilisée pour exprimer et étudier
Mm,n (K) où K = R ou C l'ensemble des matrices de taille (m, n) ayant certaines collections de données. Par exemple, la conversion en algèbre
des éléments dans le corps K. On écrit matricielle du tableau (qui décrit le rendement des stratégies suivies par
une société donnée en fonction du temps)
 
a1,1 a1,2 · · · a1,n
 a2,1 a2,2 · · · a2,n 
A = [ai,j ] =  . .. ... ..  , ai,j ∈ K. pendant 2 ans pendant 4 ans
 ..
 
. .  Stratégie 1 10 −5
am,1 am,2 · · · am,n Stratégie 2 3 7
Stratégie 3 8 8
Ainsi on dénit la matrice transposée de A, notée AT ∈ Mn,m (K), par
10 −5 10 −5
   
 
a1,1 a2,1 · · · am,1
a1,2 a2,2 · · · am,2 
est donnée par la matrice notée par  3 7  ou par  3 7  , ayant
AT = [aj,i ] =  . 8 8 8 8
 .. ... . . . .. 
.
 
. trois lignes et deux colonnes. Les nombres qui apparaissent dans la matrice
a1,n a2,n · · · an,m sont appelés les éléments (ou les coecients) de la matrice.
Ainsi, la matrice In := diagn [1] := diag[1, 1, · · · , 1] est dite la matrice L'algèbre matricielle
| {z }
identité (ou unité) d'ordre n.

n fois Matrice carrée : Matrice diagonale Ma-
Une matrice carrée A = [ai,j ] ∈ Mn (K) est dite triangulaire inférieure (resp. trice triangulaire
Remarquez que AT = A pour toute matrice A ∈ Mm,n (K).
T
supérieure) si et seulement si ai,j = 0 pour tout i < j (resp. pour tout i > j ).
Remarquez que la transposée d'une matrice triangulaire inférieure (resp. Si n = 1, on identiera Mm,1 (K) à Km ; ainsi dans tout le cours, les vecteurs
supérieure) est une matrice triangulaire supérieure (resp. inférieure). sont des vecteurs colonnes et donc leurs transposé sont des vecteurs lignes.
Une matrice carrée strictement triangulaire est une matrice triangulaire et de Si m = n on dit que A = [ai,j ] ∈ Mn (K) est une matrice carrée d'ordre n.
coecients diagonaux nuls. Les coecients ai,j avec i = j sont dits diagonaux (les composantes de la
diagonale principale de A) et ceux avec i ̸= j sont dits extra-diagonaux. En
Par suite, une matrice triangulaire à la fois inférieure et supérieure est une
matrice diagonale. particulier, D = [di,j ] ∈ Mn (K) est dite diagonale si et seulement si ses
coecients extra-diagonaux sont tous nuls et on écrit dans ce cas
Par exemple L (resp. U ) est triangulaire inférieure (resp. supérieure)
0 ··· 0
 
d1,1
a1,1 0 · · · 0 ..
   
a1,1 a1,2 · · · a1,n  0

. 0 

a2,1 a2,2 . . . D := diag[d1,1 , d2,2 , · · · , dn,n ] = 
d2,2
 0 a2,2 · · · a2,n  . . .
0  .. ..
   
U= . . . .  .. . . .. 
L= .. .. . . ..  ,  .. . . . . ..  .
   
 . . . .   0 0 · · · dn,n
an,1 an,2 · · · an,n 0 0 · · · an,n
8 / 140 7 / 140
▲ ▲
Soit A = [ai,j ] ∈ Mn (K) est matrice carrée. La trace de A ; notée Tr(A) est
dénie comme étant la somme des diagonaux. i.e.
n
Tr(A) =
X
ak,k .
k=1
Ainsi, on aura 
a∗T1
 Pour eectuer certaines opérations, il peut être utile de travailler sur le
aT  système des lignes ou des colonnes d'une matrice. On pourra alors écrire
 ∗2  une matrice A = [ai,j ] ∈ Mm,n (K) sous l'une des formes suivantes
AT =  .  = [a1∗ , a2∗ , . . . , am∗ ].
 ..   T 
T
a∗n a1∗
 aT 
 2∗ 
A = [a∗1 , a∗2 , . . . , a∗n ] =  .  ;
 .. 
T
am∗
où les vecteurs a∗j ∈ Km , (j = 1, 2 · · · , n) sont les vecteurs colonnes de A
et ai∗
T ∈ Kn (i = 1, 2, · · · , m) sont ses vecteurs lignes. Cette écriture est
dite la forme concaténée de A (en vecteurs colonnes ou en vecteurs lignes

resp.)
10 / 140 9 / 140
▲ ▲
L'algèbre matricielle L'algèbre matricielle
Opérations sur les matrices : 2- L'addition Opérations sur les matrices : 1- L'égalité
Dénition : L'addition dans Mm,n (K) Dénition : Égalité de deux matrices

Soient A = [ai,j ] et B = [bi,j ] deux matrices de même taille (m, n). La Deux matrices A = [ai,j ] et B = [bi,j ] sont dites égales et on écrit A = B
somme de A et B, notée A + B, est une matrice C = [ci,j ] de même si et seulement si
taille (m, n) telle que ci,j = ai,j + bi,j pour tous i ∈ {1, 2, · · · , m} et A et B sont de même taille (m, n).
j ∈ {1, 2, · · · , n}. ai,j = bi,j pour tous i ∈ {1, 2, · · · , m} et j ∈ {1, 2, · · · , n}.
- Remarquer que la somme de deux matrices n'est dénie que si elles sont En particulier, une matrice A = [ai,j ] est dite une matrice nulle si et
de même taille. seulement si tous ses éléments ai,j sont nuls et on écrit A = Θm,n avec
- D'après la dénition, on remarque que l'addition dans Mm,n (K) est
commutative ; i.e. A + B = B + A pour tous A, B ∈ Mm,n (K) et 0 0 ··· 0
 
associative ; i.e. A + (B + C ) = (A + B) + C pour tous 0 0 · · · 0

Θm,n =  . . . ..  ∈ Mm,n (K).
 .. .. ..
 
A, B, C ∈ Mm,n (K).
.
- (A + B)T = AT + B T pour tous A, B ∈ Mm,n (K). 0 0 ··· 0
12 / 140 11 / 140
▲ ▲
L'algèbre matricielle
Opérations sur les matrices : 2- La multi- Exemple

plication Soient
1 −1 2 1 1 0

A= et B = .
0 0 1 3 0 1
A et B sont deux matrices de même taille (2, 3) donc
Dénition : La multiplication dans Mm,n (K) par un scalaire
1 + 1 −1 + 1 2 + 0 2 0 2

La multiplication d'une matrice A = [ai,j ] ∈ Mm,n (K) par un scalaire A+B = = .
λ ∈ K; i.e. le produit λA, est une matrice C = [ci,j ] ∈ Mm,n (K) telle 0+3 0+0 1+1 3 0 2
que ci,j = λai,j pour tous i ∈ {1, 2, · · · , m} et j ∈ {1, 2, · · · , n}.
Remarquer que si λ = 0 ou A = Θ alors λA = Θ. Exercice
Aussi, pour λ = ±1 on écrit ±A à la place de ±1A et A − B à la place de Soient A = [ai,j ] ∈ Mm,n (K) une matrice xée et X ∈ Mm,n (K). Ré-
A + (−B). soudre les équations suivantes : A + X = A et A + X = Θm,n . Déduire
Finalement, (λA)T = λAT pour tout λ ∈ K et pour tout A ∈ Mm,n (K). l'élément neutre et la matrice opposée (l'élément symétrique pour l'ad-
dition) dans Mm,n (K). Que peut on dire sur le magma (Mm,n (K), +) ?

14 / 140 13 / 140
▲ ▲
Propriétés et remarques
Dénition : Le produit matriciel
Le produit AB (resp. BA) de deux matrices A et B est déni si et
Associativité. A(BC ) = (AB)C . seulement si le nombre de colonnes (resp. de lignes) de A est égal au
Distributivité. A(B + C ) = AB + AC et (A + B)C = AC + BC . nombre de lignes (resp. de colonnes) de B.
Mult. par scalaire. λ(AB) = (λA)B = A(λB). Soient A = [ai,j ] ∈ Mm,p (K) et B = [bi,j ] ∈ Mp,n (K) alors on a
Transposée. Soient A ∈ Mm,p (K) et B ∈ Mp,n (K) alors AB = C := [ci,j ] ∈ Mm,n (K)
(AB)T = B T AT .
avec
R1. Les produits AAT et AT A sont dénis et représentent des p
matrices carrées d'ordre m et n respectivement, quelque soit

X
ci,j = ai,k bk,j ,
la matrice A ∈ Mm,n (K). k=1
R2. Si A et B sont deux matrices carrées de même tailles alors en pour tous i = 1, 2, · · · , m et j = 1, 2, · · · , n.
général on a AB ̸= BA.

16 / 140 15 / 140
▲ ▲
Exemple
On considère dans M2 (R) les matrices
R3. Ils existent deux matrices A et B non nulles telles que le
1 2 0 3 produit (s'il est déni) AB est une matrice nulle. On dit dans

A= et B = .
0 −1 0 −1 ce cas que A et B sont des diviseurs de zéro.
Puisque les matrices A et B sont de même ordre (ou ont même taille)
Exercice : L'utilité de la remarque R2.
alors les produits AB et BA sont bien dénis et on a
Soient A ∈ Mm,n (K) et B ∈ Mn,m (K), avec n ̸= m. Justiez que les
0 1 0 −3 produits H = AB et E = BA sont dénis ; est-ce que les matrices H et

AB = et BA = .
0 1 0 1 E sont compatibles pour les opérations arithmétiques (la comparaison,
l'addition et la multiplication) justiez votre réponse ?
0 1

On déduit que AB ̸= BA. Si on pose C = montrer que BC = Θ2 ,
0 0
que peut-on déduire ?

18 / 140 17 / 140
▲ ▲
Aussi en utilisant les concaténations Soient A = [ai,j ] ∈ Mm,p (K) et B = [bi,j ] ∈ Mp,n (K). Il est clair que le
 T 
a1∗
produit matriciel AB est bien déni ; ainsi, si on considère la forme
 aT  concaténée de A et B, i.e.
 2∗ 
A= .  et B = [b∗1 , b∗2 , · · · , b∗n ]
 .. 
 T
b1∗
T
am∗ b T 
 2∗ 
A = [a∗,1 , a∗2 , · · · , a∗p ] et B =  .. 
 . 
on montre que T
bp∗
 T   T
a1∗ b∗1 a1T∗ b∗2 · · · a1T∗ b∗n

a1∗
 aT   aT b∗1 aT b∗2 · · · a2T∗ b∗n  alors on peut calculer le produit matriciel AB d'une manière analogue à
 2∗   2∗ 2∗
AB =  .  [b∗1 , b∗2 , · · · , b∗n ] =  . .. ... ..  celui des vecteurs ; i.e.
 ..   ..

. .

T T b T T b
 T
am∗ am∗ ∗1 am∗ b∗2 · · · am∗ ∗n b1∗
h i b T  X p
T  2∗ 
= ai∗ b∗j AB = [a∗1 , a∗2 , · · · , a∗p ]  ..  = T
a∗i bi∗ .
 . 
i=1
pour i = 1, 2, · · · , m et j = 1, 2, · · · , n. Remarquez que les vecteurs ai∗ et T
bp∗
b∗j sont de taille p (p− composantes) donc ai∗ T b ) est bien dénie.
∗j
20 / 140 19 / 140
▲ ▲
En général, le (p × q) partitionnement d'une matrice A est donné par Matrices par blocs
On a vu comment les (m, n) matrices peuvent être représentées par la
 
A1,1 A1,2 · · · A1,q
A2,1 A2,2 · · · A2,p  concaténation par lignes et/ou par colonnes que l'on peut considérer
A= .
 .. ... ... .  = [Ai,j ]
..  comme un exemple particulier d'un partitionnement par blocs de la forme
 
Ap,1 Ap,2 · · · Ap,q (m, 1) et/ou (1, n) respectivement. En général, une (m, n) matrice A peut
être partitionnée en termes de sous-matrices mises côte à côte. Par
où les matrices Ai,j (i = 1, · · · , p et j = 1, · · · , q) sont de taille (mi , nj ) exemple, la (m, n) matrice
avec p q

A1,1 A1,2
et n = A=
X X
m= mi nj . A2,1 A2,2
i=1 j=1
où les Ai,j (i, j = 1, 2) sont des (mi , nj ) matrices telles que m = m1 + m2
et n = n1 + n2 , est dite une matrice (2 × 2) partitionnée.
Exercice
Donner tous les partitionnements possibles des matrices de taille (3, 4) Exercice
et (4, 4). Donner les (2 × 2) partitionnements possibles des matrices de taille (3, 4)
et (4, 4).
Master Statistique et Econométrie
22 / 140
▲
1 Soit A = [Ai,j ] une matrice carrée d'ordre n par blocs dont toutes les
sous-matrices Ai,j sont carrées alors Opérations sur les matrices par blocs
Tr(A) = Tr(Ak,k ).
X
Si A = [Ai,j ] est une matrice par blocs alors AT = ATj,i . Par exemple,

1
k
T
AT

A1,1 A1,2 A1,1 2,1 .
si A = alors AT =
Exercice A2,1 A2,2 AT
1,2 AT
2,2
Soit A la matrice donnée par 2 Soient A = [Ai,j ] et B = [Bi,j ] deux matrices par blocs de même taille telles
que les sous-matrices Ai,j et Bi,j sont de même taille pour chaque couple
1 0 1 3
 
(i, j) (on dit dans ce cas A et B sont conformablement partitionnées
A = 2 1 0 1 pour l'addition) donc A + B = [Ai,j + Bi,j ].
0 3 1 2 3 Soient A = [Ai,j ] et B = [Bi,j ] deux matrices telles que le produit AB est
déni ; on dit que A et B sont conformablement partitionnées pour la
multiplication si le produit Ai,k Bk,j est déni. Dans ce cas on a
1 Déterminer et partitionner en (2 × 2) les matrices AAT et AT A.
Calculer et comparer Tr(AAT ) et Tr(AT A).
hX i
2
AB = Ai,k Bk,j .

24 / 140 23 / 140
▲ ▲
Rappels et dénitions Matrice diagonale par blocs

Une matrice bloc-diagonale (ou diagonale par blocs) est une matrice carrée
On dénit le noyau d'une matrice A ∈ Mm,n (K), et est noté par ker(A) qui possède des blocs matrices carrées sur la diagonale principale, tels que
l'ensemble les blocs non diagonaux soient des matrices nulles ; c'est à dire sous la
ker(A) := {x ∈ Kn , Ax = 0Km , } forme  
A1,1 Θ · · · Θ
On peut démontrer facilement que le noyau d'une matrice A ∈ Mm,n (K)  Θ A2,2 . . .
 
Θ 
est un sous-espace vectoriel de Kn . On dénit l'image de A, et est notée

 .. ... ... ..  .

Im(A), l'ensemble  . . 
Θ Θ ··· Ap,p
Im(A) := {Ax, x ∈ Kn },
qui est un sous-espaces vectoriels Km . Ainsi, on a Exercice

Soit A = [Ak ] une matrice bloc-diagonale. Montrer que An = [Ank ].

26 / 140 25 / 140
▲ ▲
Théorème du rang Le rang d'une matrice
Théorème
Soit A ∈ Mm,n (K), alors
Dénition
rg(A) = n − dim ker(A). Soit A ∈ Mm,n (K), on appelle le rang de A, noté rg(A), la dimension
de sous-espace vectoriel Im(A). i.e.
Exercice (propositions) rg(A) := dim Im(A) = dim{Ax, n
x ∈ K } ≤ min(m, n)
Soit A ∈ Mm,n (K) et on pose f (x) = Ax pour tout x ∈ Kn .
1 Montrer que f est injective si et seulement si rg(A) = n.
2 Montrer que f est surjective si et seulement si rg(A) = m.

28 / 140 27 / 140
▲ ▲
Matrice à rang plein Propriétés
Dénition rg(A) = rg(AT ) pour tout A ∈ Mm,n (K).

Une matrice A ∈ Mm,n (K) est dite de rang plein si rg(A) = n. rg(AB) ≤ min (rg(A), rg(B)) , avec A ∈ Mm,p (K) et B ∈ Mp,n (K).
Exercice (proposition)
rg(A + B) ≤ rg(A) + rg(B) avec A ∈ Mm,n (K) et B ∈ Mm,n (K).
Montrer qu'une matrice A ∈ Mm,n (K) est de rang plein si et seulement Remarquez que la dernière inégalité devient égalité si et seulement si
si l'application f (x) = Ax pour x ∈ Kn est injective. Im(A) ∩ Im(B) = {0Rm } et Im(AT ) ∩ Im(B T ) = {0Rn } .

30 / 140 29 / 140
▲ ▲
Exercice et Propriétés
Montrer les propriétés suivantes L'inverse d'une matrice
une matrice A ∈ Mn (K) est inversible si et seulement si rg(A) = n.
Soient A, B ∈ Mn (K), telles que l'une des deux est inversible alors
AB = In ⇐⇒ BA = In .
Dénition
Soit A ∈ Mn (K) une matrice carrée. On dit que A est inversible s'il
Soient A, B ∈ Mn (K), deux matrices inversibles, alors (AB)−1 = B −1 A−1 . existe une matrice B ∈ Mn (K) telle que
Soit A ∈ Mn (K) inversible, alors (A ) T −1
= (A−1 T
) .
AB = In et BA = In .
Pour tout α ∈ K∗ , non nul, l'inverse de la matrice [α] ∈ M1 (K) est
[1/α] ∈ M1 (K), B est dite l'inverse de A et on pose B = A−1 .
Soient A ∈ Mn (K) et B ∈ Mm (K),
deux matrices
inversibles alors la
A Θn,m
Notez que l'inverse d'une matrice A ∈ Mm,n (K) n'est pas dénie sauf pour
matrice (2 × 2) partitionnée M = est inversible et on a m = n; ainsi que l'inverse (en cas d'existence) est unique.
Θm,n B
A−1

Θn,m
M −1 = .
Θm,n B −1
31 / 140
▲
Théorème 2 L'inverse d'une matrice (2 × 2) partitionnée

Une matrice (2 × 2) partitionnée est une matrice A ∈ Mn (K) sous la forme
Si A22 et son complément de Schur G sont inversibles alors la matrice
A est inversible et A11 A12
A=
A21 A22
−1
G −1 −G −1 A22

−1 A21 où A11 ∈ Mn1 (K), A22 ∈ Mn2 (K), A12 ∈ Mn1 ,n2 (K) et A21 ∈ Mn2 ,n1 (K)
A = −1 −1 −1 −1 −1 .
−A12 A22 G A22 + A22 A21 G −1 A12 A22 avec n1 + n2 = n. Ainsi, si les sous matrices A11 et A22 sont inversibles
alors on dénit les compléments de Schur F et G par
On déduit dans le cas où Aii (i = 1, 2) sont inversibles ainsi que leurs −1 −1
compléments de Schur F et G , le résultat suivant F = A22 − A21 A11 A12 et G = A11 − A12 A22 A21 .
Corollaire (formule de Sherman-Woodbury-Morrison)

Théorème 1
1 −1 −1
F −1 = A− −1
22 + A22 A21 G A12 A22 Si A11 et son complément de Schur F sont inversibles alors la matrice A
est inversible et
et
−1 −1 −1
G −1 = A11 A12 F −1 A21 A11
−1 1 −1 A A−1 −A−1 A F −1
A11 + A−

+ A11 . 11 A12 F 21 11 11 12
A−1 = 1 .
−F −1 A21 A−11 F −1
34 / 140
▲
3. Déduire que Exercice : Preuve de Théorème 1

A−1 = UD −1 L;
et déterminer sa forme explicite en utilisant l'exercice Soient L et U deux matrices carrées d'ordre n, dénies par
précédent.
In1 Θn1 ,n2

In1 −A− 1
L := et U := 11 A12 .
1
−A21 A−
11 In2 Θn2 ,n1 In2
Exercice
Prouver Théorème 2 en suivant des étapes analogues. En déduire le 1. Montrer que L et U sont inversibles et
Corollaire.
1
A−

In1 Θn1 ,n2 In1 11 A12 .
Exercice 1 (TD) L−1 := 1 et U −1 :=
A21 A−11 In2 Θn2 ,n1 In2
Soient A ∈ Mn (R) inversible, u, v ∈ Rn , et λ ∈ R. Calculer l'inverse s'il
existe de la matrice 2. Montrer que

A u
. A11 Θn1 ,n2
vT λ LAU = = D.
Θn2 ,n1 F

36 / 140
▲
Groupe symétrique
Soit E un ensemble ni de n éléments. On appelle le groupe symétrique de Exercice 2 (TD) : Actualisation de rang 1
E , et le note Gn (E ), le groupe des bijections de E dans E muni de la loi de Soient A, u et v comme dans l'exercice précédent. Montrer (A + uv T )
la composition d'applications. Que l'on peut nommer aussi le groupe est inversible si et seulement si 1 + v T A−1 u ̸= 0 et que
des permutations de E . Formellement, soit E = {xi }i=n i=1 et soit
σ ∈ Gn (E ) une permutation de E alors pour chaque i = 1, · · · n on a 1
(A + uv T )−1 = A−1 − A−1 uv T A−1 .
σ(xi ) := σi = xj avec j ∈ {1, · · · , n}; donc 1 + v T A−1 u
σ(E ) = {σ1 , σ2 , · · · , σn }. Ind. Pensez au produit
0Rn

A u In
.
−v T 1 vT 1
Exercice (proposition)
Soit E un ensemble ni de cardinal n et soit Gn (E ) son groupe symé-
trique. Montrer que card(Gn (E )) = n!.
38 / 140 37 / 140
▲ ▲
Exercice
Exemple et exercice Soit E = {1, 2, 3, 4, 5} et on dénit les deux permutations de E , τ et σ
par
(1) Montrer que l'inverse des permutations σ et τ dénies dans l'exercice τ (E ) = {1, 3, 4, 2, 5} et σ(E ) = {1, 2, 5, 3, 4}.
précédent est
Déterminer τ ◦ σ(E ) et σ ◦ τ (E ).
σ −1 (E ) = {1, 2, 4, 5, 3} et τ −1 (E ) = {1, 4, 2, 3, 5}. On a σ1 = 1, σ2 = 2, σ3 = 5, σ4 = 3 et σ5 = 4. Donc τ (σ1 ) = 1,
τ (σ2 ) = 3, τ (σ4 ) = 4, τ (σ5 ) = 2, et τ (σ3 ) = 5. D'où
(2) Déterminer τ −1 ◦ σ −1 (E ) ainsi que (σ ◦ τ )−1 (E ); et conclure.
(3) Déterminer τ ◦ σ −1 (E ). τ ◦ σ(E ) = {1, 3, 5, 4, 2}.
Si on note par η(σ) le nombre des interchanges demandés pour atteindre la De même on trouve, σ(τ1 ) = 1, σ(τ2 ) = 5, σ(τ3 ) = 3, σ(τ4 ) = 2 et
permutation σ alors on dénit la signature de la permutation σ, notée ε(σ) σ(τ5 ) = 4. Donc,
par σ ◦ τ (E ) = {1, 5, 3, 2, 4}.
ε(σ) = (−1)η(σ) .
Par exemple, la signature des permutations σ et τ dénies dans l'exercice On peut aussi déterminer l'inverse d'une permutation σ ∈ Gn (E ) sur
précédent est ε(σ) = ε(τ ) = (−1)2 = 1. Ainsi que ε(τ ◦ σ) = ε(τ )ε(σ). l'ensemble ni E = {xi }i=n
i=1 par l'équation σ(xi ) = σi ⇔ xi = σ (σi ) pour
−1
chaque i = 1, · · · n.
40 / 140
▲
Ainsi, on laisse au titre d'exercice, en utilisant les propriétés présentées Déterminant d'une matrice
ci-dessus sur les permutations, de démontrer les propriétés suivantes
P1. L'application ψ : Kn × · · · × Kn → K donnée par Dénition au sens de Leibniz
ψ(a∗1 , a∗2 , · · · , a∗n ) = |A| avec A = [a∗i ]i=n
i=1 ∈ Mn (K) Soit A = [ai,j ] ∈ Mn (K), on dénit le déterminant de A, noté |A|, par
est n−linéaire alternée. X n
Y
|A| = ε(σ) ai,σ(i) ;
P2. Pour tout A ∈ Mn (K) et tout α ∈ K on a |αA| = αn |A|. σ∈Gn (E ) i=1
P3. Pour tout A ∈ Mn (K) on a |AT | = |A|.
P4. Pour tous A, B ∈ Mn (K) on a |AB| = |A||B|. avec E = {1, 2, · · · , n}.
P5. A ∈ Mn (K) est inversible si et seulement si |A| =
̸ 0; deplus Par exemple, pour n = 2, E = {1, 2} alors on a deux permutations
|A−1 | = |A|−1 . σ(E ) = {1, 2} et τ (E ) = {2, 1}. Ainsi, pour tout A = [ai,j ] ∈ Mn (K) on a
P6. Pour tout A ∈ Mn (K) on a |A| = |A|. a1,1 a1,2
|A| := = (−1)0 a1,1 a2,2 + (−1)1 a1,2 a2,1 = a1,1 a2,2 − a1,2 a2,1 .
a2,1 a2,2

42 / 140 41 / 140
▲ ▲
Déterminant d'une matrice 2 × 2 partition-

née
Soit A ∈ Mn (K) partitionnée, i.e. Exercice : Matrice de permutation

A11 A12
Soit B = {ei } la base canonique de Kn (n ≥ 1), i.e. In = [ei ]i=n
i=1 est
A=
A21 A22
la matrice identité. Une matrice de permutation est dénie par P =
i=1 pour une telle permutation σ ∈ Gn (E ) donnée.
[eσ(i) ]i=n
où A11 ∈ Mn1 (K), A22 ∈ Mn2 (K), A12 ∈ Mn1 ,n2 (K) et 1 Calculer |P| et déduire que P est inversible.
A21 ∈ Mn2 ,n1 (K). On a démontré dans l'exercice 5 que si A11 est inversible
alors A admet une décomposition LDU, i.e. 2 Démontrer que l'inverse de P est P −1 = P T .
A = LDU 3 Soit A = [ai,j ] ∈ Mn (R) montrer que PA = [aσ(i),j ] et AP = [ai,σ(j) ].
avec 1
A−

In1 Θn1 ,n2 In1 11 A12
L := 1 , et U :=
A21 A−11 In2 Θn2 ,n1 In2
et
A11 Θn1 ,n2
D := .
Θn2 ,n1 F Master Statistique et Econométrie Master Statistique et Econométrie
44 / 140 43 / 140
▲ ▲
Exercices avec F le complément de Schur de A11 . Donc
Comme complément du cours on considère les exercices suivants |A| = |LDU| = |L||D||U|;
Exercice 1. et puisque L et U sont deux matrices triangulaires ayant 1 dans la

diagonale principale alors |L| = |U| = 1. Par conséquent, |A| = |D|. Or
Soient A, B deux matrices carrées d'ordre n et m, respectivement, et soit puisque D est une matrice diagonale par blocs alors |D| = |A11 ||F |. D'où
C une matrice de taille (n, m). Calculer les déterminants des matrices
suivantes |A| = |A11 ||F | = |A11 ||A22 − A21 A− 1
11 A12 |.
A C A Θn,m
H= et H ′ = T .
Θm,n B C B Notez qu'on peut démontrer d'une manière similaire que si A22 est
inversible alors |A| = |A22 ||G |; où G est le complément de Schur de A22 ;
Exercice 2. i.e.
1
Soient A ∈ Mn (K) inversible, u, v ∈ Kn , et λ ∈ K. Calculer le détermi- |A| = |A22 ||A11 − A12 A−
22 A21 |.
nant de (A + λuv T ).

46 / 140 45 / 140
▲ ▲
La théorie spectrale des matrices et réduction
Valeurs propres et vecteurs propres

Remarquez que ; Dénition
Si λ est une valeur propre d'une matrice A ∈ Mn (K) alors on note On dit que λ ∈ K est une valeur propre d'une matrice A ∈ Mn (K) s'il
dλ := dim Eλ (A) et on a dλ ≥ 1, car Eλ contient au moins un vecteur propre existe un vecteur non nul v ∈ Kn tel que
associé à λ. dλ est dit la multiplicité géométrique de λ.
Si λ1 et λ2 sont deux valeurs propres distinctes d'une matrice A ∈ Mn (K) Av = λv .
alors Eλ1 (A) ∩ Eλ2 (A) = {0Kn }. Par conséquent, F = Eλ1 (A) ⊕ Eλ2 (A) est
un sous-espace vectoriel de Kn de dimension dλ1 + dλ2 . Et v est appelé un vecteur propre associé à la valeur propre λ. Ainsi,
on désigne par SpK (A) l'ensemble des valeurs propre de A et est dit le
spectre de A.
Les vecteurs propres associés à une valeur propre λ d'une matrice
A ∈ Mn (K) sont les vecteurs qui engendre le sous-espace vectoriel
Eλ (A) := ker(A − λIn ), appelé le sous-espace propre de A associé à la
valeur propre λ.
48 / 140 47 / 140
▲ ▲
Exercice et proposition
Soit M ∈ Mn (K). Montrer que M et M T ont les mêmes valeurs Proposition et Dénition
propres ; i.e. SpK (M) = SpK (M T ).
λ ∈ K est une valeur propre d'une matrice A ∈ Mn (K) si et seulement
Montrer que les valeurs propres d'une matrice triangulaire sont ses
éléments de la diagonale principales. si λ est une racine du polynôme χA (x) = |A − xIn |. Le polynôme χA est
dit le polynôme caractéristique de la matrice A.
Soient A ∈ Mm,n (K) et B ∈ Mn,m (K). Montrer que les matrices AB et
BA ont les mêmes valeurs propres non nulles. Ind. Pensez à la matrice Remarquer que χA est bien un polynôme de degré n d'après la dénition du
déterminant. Pour la démonstration de la proposition :
In B
A λIm
, λ ∈ K∗ . λ est une valeur propre de A ∈ Mn (K) équivalent à l'existence un vecteur
non nul v tel que (A − λIn )v = 0Kn ce qui est équivalent à (A − λIn ) n'est
Déduire que AAT et AT A ont les mêmes valeurs propres non nulles pour pas inversible ce qui est équivalent à χA (λ) = 0.
toute matrice A ∈ Mm,n (K).

50 / 140 49 / 140
▲ ▲
La théorie spectrale des matrices et réduction La théorie spectrale des matrices et réduction
Propriétés et remarques Matrices semblables et équivalentes

Deux matrices semblables sont équivalentes mais la réciproque n'est pas
vraie.
Deux matrices semblables représentent le même endomorphisme d'un espace Dénitions
vectoriel muni de deux bases diérentes et P est la matrice de passage d'une
base à l'autre. Cependant, deux matrices équivalentes représentent la même On dit que deux matrices A ∈ Mn (K) et B ∈ Mn (K) sont semblables,
application linéaire entre deux espaces vectoriels (qui peuvent être diérents) et on note A ≃ B, si et seulement s'il existe une matrice inversible
P ∈ GLn (K) telle que A = PBP −1 .
et Q est la matrice de passage dans l'espace d'arrivé et P celle pour l'espace
de départ. On dit que deux matrices A ∈ Mm,n (K) et B ∈ Mm,n (K) sont
les relations ≃ et ∼ sont des relations d'équivalence. équivalentes, et on note A ∼ B, si et seulement s'il existe deux matrices
Q ∈ GLm (K) et P ∈ GLn (K) telles que A = QBP −1 .
Deux matrices semblables ont même polynôme caractéristique, même trace
et même rang. Par conséquent, ont même valeurs propres. Cependant, les
matrices équivalentes de même ordre peuvent avoir des polynômes
caractéristiques diérents.

52 / 140 51 / 140
▲ ▲
Théorème
Toute matrice A ∈ Mn (C) est trigonalisable. i.e. A est semblable à une Exercice
matrice triangulaire.
Montrer que que toute matrice triangulaire inférieure est semblable à
Remarquez que les éléments de la diagonale principale de la matrice une matrice triangulaire supérieure.
triangulaire semblable à A ∈ Mn (C) sont exactement les valeurs propres de Montrer que les valeurs propres d'une matrice triangulaire sont
A. exactement les éléments de sa diagonale principale.
La preuve de ce théorème ainsi que la construction de la base dans laquelle
une matrice donnée est triangulaire peut être obtenue en utilisant le dernier
résultat prouvé dans la section des sous-espaces caractéristiques.
Cependant, ici on propose un raisonnement par récurrence.

54 / 140 53 / 140
▲ ▲
Preuve
1 0TCn Pour n = 1 on a A = [a] ∈ M1 (C) est trivialement trigonalisable.

Q=
0Cn P Supposons que pour un certain entier n ≥ 1 une matrice A ∈ Mn (C) est
trigonalisable et montrons qu'une matrice d'ordre n + 1 est trigonalisable.
alors on obtient
Soit M ∈ Mn+1 (C), et puisque C est algébriquement clos alors M a
1 0TCn wT 1 0TCn λ wT P (n + 1) valeurs propre. Soit λ ∈ SpC (A) et soit v0 ∈ Eλ (A) alors d'après le

λ
Q −1 M ′ Q = = .
0Cn P −1 0Cn A 0Cn P 0Cn T théorème de base incomplète il existe (vk )nk=1 ∈ Cn+1 tels que
B = {vk }nk=0 est une base de Cn+1 ; pour laquelle M est semblable à la
Donc M ′ est semblable à une matrice triangulaire supérieure et par matrice
conséquent M est trigonalisable. λ wT

M′ = , où A ∈ Mn (C).
0Cn A
Puisque A ∈ Mn (C) est trigonalisable c'est à dire il existe P ∈ GLn (C)
telle que A = PTP −1 où T est triangulaire supérieure, et si on pose

56 / 140 55 / 140
▲ ▲
Polynôme annulateur d'une matrice carrée
Exercice Dénition
Soit p ∈ K[X ]. On dit qu'un polynôme p ∈ K[X ] est un polynôme annulateur d'une
Montrer que si λ est une valeur propre de A ∈ Mn (K) alors µ = p(λ)
matrice carrée A ∈ Mn (K) si et seulement si p(A) = Θn .
est une valeur propre de M = p(A). On note par A(A) l'ensemble des polynômes annulateur de la matrice A.
Montrer que si A ≃ B alors p(A) ≃ p(B). Notez que si p(X ) = mk=0 ck X est un polynôme alors l'image d'une
k
P
matrice A ∈ Mn (K) par p est une matrice carrée dénie par
m
X
p(A) = ck Ak ,
k=0
avec A0 = In .
58 / 140 57 / 140
▲ ▲
Polynôme minimal
Proposition
Toute matrice A ∈ Mn (K) admet un polynôme annulateur.
Si p ∈ K[X ] est un polynôme annulateur d'une matrice A ∈ Mn (K)
alors toute valeur propre de A est une racine de p. i.e.
Dénition p(A) = Θn =⇒ ∀λ ∈ SpC (A), p(λ) = 0.
On appelle le polynôme minimal d'une matrice A ∈ Mn (K), le polynôme
unitaire de plus petit degré qui annule A, noté πA . La réciproque n'est pas vraie en général.
Si A ≃ B alors p est un polynôme annulateur de A si et seulement si p
est un polynôme annulateur de B.

60 / 140 59 / 140
▲ ▲
Proposition
Soit πA le polynôme minimal d'une matrice A ∈ Mn (K), alors toute
racine de πA est une valeur propre de A. Proposition
Le polynôme minimal πA d'une matrice carrée A divise tout polynôme
En eet, soit λ ∈ K une racine du polynôme minimal πA , alors il existe un annulateur de A. i.e. ∀p ∈ A(A) on a πA |p.
polynôme q ∈ K[X ] de degré inférieur strictement au degré de πA tel que
πA (X ) = (X − λ)q(X ), ainsi on a (A − λIn )q(A) = Θn . Supposons que λ
n'est pas une valeur propre de A alors (A − λIn ) est inversible et par
conséquent q(A) = Θn ce qui est absurde. D'où λ ∈ SpK (A).

62 / 140 61 / 140
▲ ▲
Théorème de Cayley-Hamilton
Preuve
Le polynôme caractéristique d'une matrice A ∈ Mn (C) est annulateur
Il existe plusieurs sorte de preuve du théorème de Cayley-Hamilton dans de A. i.e. pour tout A ∈ Mn (C) on a χA (A) = Θn .
diérentes littératures ; cependant, ici on va présenter une preuve simple et
rapide par récurrence. Tout d'abord, on a déjà démontré que toute matrice Par conséquent, on déduit que
dans C est trigonalisable et aussi deux matrices semblables ont même
polynôme caractéristique. Ainsi, si T est une matrice triangulaire Corollaire
supérieure semblable à A c'est à dire il existe Q ∈ GLn (C) telle que Le polynôme minimal πA d'une matrice A ∈ Mn (C) divise le polynôme
A = QTQ −1 , alors on a χA (X ) = χT (X ) et par suite caractéristique χA .
χA (A) = χT (M) = QχT (T )Q −1 . Par conséquent, si on désigne par mλ la multiplicité de la valeur propre λ
D'où χA (A) = Θn si et seulement si χT (T ) = Θn . Maintenant, pour une dans le polynôme caractéristique d'une matrice A ∈ Mn (C) (appelée la
matrice triangulaire T = [a] de taille 1 son polynôme caractéristique est multiplicité algébrique) alors on a
trivialement annulateur. Supposons que le polynôme caractéristique d'une Y
πA (X ) = (x − λ)αλ ,
matrice triangulaire supérieure T ∈ Mn (C) pour un certain n ≥ 1 est
λ∈SpC (A)
annulateur de T et montrons que ça reste vrai pour une matrice
triangulaire supérieure T ′ ∈ Mn+1 (C). où 1 ≤ αλ ≤ mλ .
64 / 140 63 / 140
▲ ▲
La matrice T ′ s'écrit sous la forme
Les Sous-espaces caractéristiques wT

λ
T′ =
0Cn T
donc χT ′ (X ) = (X − λ)χT (X ); et par conséquent,
Dénition
Soient A ∈ Mn (K) et λ ∈ SpK (A). Le sous-espace χT ′ (T ′ ) = (T ′ − λIn+1 )χT (T ′ ).
Puisque
Eλc (A) := ker ((A − λIn )αλ ) ,
0 wT uT

χT (λ)
où αλ est la multiplicité de λ dans le polynôme minimal πA , est dit (T ′ − λIn+1 ) = et χT (T ′ ) =
0Cn T − λIn 0Cn χT (T )
le sous-espace caractéristique de A associé à la valeur propre λ et les
vecteurs de Eλc (A) sont dits les vecteurs propres généralisés associés à la où u est un vecteur donné issu du calcul et χT (T ) = Θn par hypothèse de
valeur propre λ. la récurrence, alors
0 wT χT (λ) u T

Notez que Eλ (A) ⊂ Eλc (A). C'est à dire, Eλc (A) contient les vecteurs χT ′ (T ′ ) = = Θn+1 .
propres associés à la valeur propre λ. Et par conséquent, dλ ≤ dim Eλc (A). 0Cn T − λIn 0Cn Θn
Ce qu'il fallait démontrer.
66 / 140 65 / 140
▲ ▲
Preuve
On rappelle que si M ∈ Mn (K) alors pour tout n ∈ N∗
ker(M n ) ⊂ ker(M n+1 ). Proposition
Ainsi, on a
Soit A ∈ Mn (K) et λ une valeur propre de A de multiplicité algébrique
mλ alors on a
Eλc (A) ⊂ ker (A − λIn )αλ +1

Eλc (A) est stable par A. i.e. pour tout v ∈ Eλc (A) on a Av ∈ Eλc (A).
et par suite, pour tout v ∈ Eλc (A) on a
Eλc (A) = ker ((A − λIn )mλ ) .
(A − λIn )αλ +1 v = 0Kn ⇔ (A − λIn )αλ Av = λ(A − λIn )αλ v = 0Kn .
Donc Av ∈ Eλc (A), d'où la stabilité de Eλc (A) par A.

On rappelle l'identité de Bézout : deux polynômes p, q ∈ K[X ] sont
premiers entre eux si et seulement s'il existe r , s ∈ K[X ] tels que
r (X )p(X ) + s(X )q(X ) = 1.

68 / 140 67 / 140
▲ ▲
Le polynôme minimal de A s'écrit sous la forme πA (X ) = (X − λ)αλ q(X )
et par suite ker (A − λIn )αλ +1 ⊂ Eλc (A). Ainsi, on déduit que

tel que q ∈ K[X ] et q(λ) ̸= 0. Puisque q et (X − λ) sont premiers entre
Eλc (A) = ker (A − λIn )αλ +1 .
eux alors d'après l'identité de Bézout il existe deux polynômes r , s ∈ K[X ]
tels que
Et par récurrence, pour tout entier k ≥ αλ , on a r (X )(X − λ) + s(X )q(X ) = 1
ce qui implique en multipliant par (X − λ)αλ
Eλc (A) = ker (A − λIn )k .
r (X )(X − λ)αλ +1 + s(X )q(X )(X − λ)αλ = (X − λ)αλ ,
En particulier, puisque mλ ≥ αλ alors
c'est à dire,
Eλc (A) = ker ((A − λIn ) mλ
).
r (X )(X − λ)αλ +1 + s(X )πA (X ) = (X − λ)αλ .
Notez qu'on l'identité de Bézout joue un rôle très important dans l'algèbre
et en particulier dans l'algèbre linéaire. Un autre exemple d'utilisation est D'où
donné dans le lemme suivant. r (A)(A − λIn )αλ +1 = (A − λIn )αλ ;

70 / 140 69 / 140
▲ ▲
La théorie spectrale des matrices et réduction La théorie spectrale des matrices et réduction
Preuve Lemme des noyaux

Puisque p et q sont premiers entre eux alors d'après l'identité de Bézout, il
existe deux polynôme r , s ∈ K[X ] tels que Lemme des noyaux
Soient p et q deux polynômes de K[X ] premiers entre eux et A ∈ Mn (K),
r (X )p(X ) + s(X )q(X ) = 1.
alors on a
Ainsi, pour toute matrice A ∈ Mn (K) on a ker(p(A)q(A)) = ker(p(A)) ⊕ ker(q(A)).
r (A)p(A) + s(A)q(A) = In . Corollaire : Généralisation

Si v ∈ ker(p(A)) ∩ ker(q(A)) alors Soit (pk )ℓk=1 ∈ K[X ] une famille nie des polynômes deux à deux pre-
miers entre eux et A ∈ Mn (K), alors
v = r (A)p(A)v + s(A)q(A)v = 0Kn ;
ℓ ℓ
!
Y M
c'est à dire ker pk (A) = ker(pk (A))
ker(p(A)) ∩ ker(q(A)) = {0Kn }. k=1 k=1

72 / 140 71 / 140
▲ ▲
Proposition En général, pour tout v ∈ Kn on a
Soient A ∈ Mn (K) et λ une valeur propre de A de multiplicité algébrique
mλ , alors v = r (A)p(A)v + s(A)q(A)v := vp + vq
dim Eλc (A) = mλ .
où vp = r (A)p(A)v et vq = s(A)q(A)v . Donc si v ∈ ker(p(A)q(A)) alors
En eet, d'après la proposition précédente on a q(A)vp = r (A)p(A)q(A)v = 0Kn et p(A)vq = s(A)q(A)p(A)v = 0Kn ;
Eλc (A) = ker ((A − λIn )mλ ) .
c'est à dire vp ∈ ker(q(A)) et vq ∈ ker(p(A)). D'où
Comme λ est une racine du polynôme caractéristique de multiplicité mλ
alprs il existe q ∈ K[X ] tel que q(λ) ̸= 0 et ker(p(A)q(A)) = ker(p(A)) + ker(q(A)).
χA (X ) = (X − λ)mλ q(X ). Ce qui complète la preuve du lemme.

Il est clair que (X − λ)mλ et q(X ) sont premiers entre eux, alors d'après le Remarquez que si w , z ∈ K[x] alors w (A)z(A) = z(A)w (A) pour toute
lemme des noyaux on a matrice carrée A.
Pour le corollaire il sut d'utiliser la récurrence et le lemme.
Kn = Eλc (A) ⊕ ker(q(A)).
74 / 140 73 / 140
▲ ▲
Soit m = dim Eλc (A) alors dim ker(q(A)) = n − m et soient B1 := {vk }m k=1
D'autre part on a et B2 := {vk }nk=m+1 des bases de Eλc (A) et ker(q(A)), respectivement,
puisque Eλc (A) et ker(q(A)) sont stables par A, alors A est semblable (via
(M − λIm )mλ

Θm,n−m
(A′ − λIn )mλ = la matrice de passage P = [v1 , · · · , vn ]) à la matrice
Θn−m,m (N − λIn−m )mλ
M Θm,n−m
A′ = P −1 AP = .
donc Θn−m,m N
(M − λIm )mλ = Θm . Par conséquent,
Ce qui montre que la seule valeur propre de M est λ. De la même manière, χA (X ) = χM (X )χN (X ).
puisque Notez que le degré de χM est m et λ est la seule valeur propre de M. En
q(A)vk = 0Kn ∀k ∈ [|m + 1, n|] eet, puisque
alors d'après la stabilité de Eλc (A) et ker(q(A)) par A on a (A − λIn )mλ vk = 0Kn , ∀k ∈ [|1, m|]
alors d'après la stabilité de Eλc (A) et ker(q(A)) par A on a
q(M) Θm,n−m q(M) Θm,n−m
q(A′ ) = P −1 q(A)P ⇔ = . (A′ − λIn )mλ = P −1 (A − λIn )mλ P
Θn−m,m q(N) Θn−m,m Θn−m
Θm Θm,n−m
=
Θn−m,m (N − λIn−m )mλ
76 / 140 75 / 140
▲ ▲
Puisque C est algébriquement clos alors le polynôme minimal de toute
matrice complexe est scindé et donc on déduit la proposition suivante
Proposition
Ce qui montre que q est un polynôme annulateur de N; et q(λ) ̸= 0 alors λ
Soit A ∈ Mn (C) alors
n'est pas une valeur propre de N d'où
M
Cn = Eλc (A).
χM (X ) = (X − λ)mλ et par conséquent χN (x) = q(x).
λ∈SpC (A)
donc m = mλ ; ce qu'il fallait démontrer.

Ainsi que, X
n= mλ ;
λSpC (A)
mλ désigne, dans tout ce cours, la multiplicité algébrique de la valeur

propre λ.

78 / 140 77 / 140
▲ ▲
Matrice diagonalisable
Exercice
Démontrer la proposition précédente. Dénition
On appelle une matrice A ∈ Mn (K) diagonalisable toute matrice sem-
Exercice blable à une matrice diagonale.
Soit M ∈ M2n (R) (n ≥ 1) donnée par
Proposition
3In uu T

M= Soit matrice A ∈ Mn (K), alors les assertions ci-dessous sont équiva-
uu T In lentes :
où u ∈ Rn 1 A est diagonalisable.
Montrer que M est semblable à une matrice diagonale à déterminer. 2 Le polynôme caractéristique χA est scindé et dim Eλ (A) = mλ pour tout
λ ∈ SpK (A).
3 Le polynôme minimal πA est scindé et à racines simples.

80 / 140 79 / 140
▲ ▲
La décomposition en valeurs singulières des matrices (DVS)
Dénition
Produit scalaire et norme associée
Soit E un K−espace vectoriel de dimension nie muni d'un produit sca-
laire,
Si K = R, E est dit un espace euclidien et le produit scalaire associé est Dénition
réel. Soit E une K−espace vectoriel de dimension nie n ≥ 1. On appelle
Si K = C, E est dit un espace hermitien et le produit scalaire associé produit scalaire sur E , toute application, noté ⟨·, ·⟩, de E × E dans K
est complexe. vériant :
Pour tous x, y , z ∈ E et λ ∈ K on a
Dénition ⟨x + λy , z⟩ = ⟨x, z⟩ + λ⟨y , z⟩.
On appelle une norme sur un K−espace vectoriel E , et notée ∥ · ∥, toute
application de E dans R+ vériant Pour tous x, y ∈ E , ⟨x, y ⟩ = ⟨y , x⟩
Pour tout x ∈ E et λ ∈ K, on a ∥λx∥ = |λ|∥x∥. Pour tout x ∈ E , ⟨x, x⟩ ≥ 0.
Pour tous x, y ∈ E on a ∥x + y ∥ ≤ ∥x∥ + ∥y ∥ ⟨x, x⟩ = 0 =⇒ x = 0E .
∥x∥ = 0 ⇐⇒ x = 0E .
82 / 140 81 / 140
▲ ▲
vecteurs orthogonaux et l'orthogonal d'un

ensemble Exercice
Dans tout ce qui suit E désigne un K−espace vectoriel de dimension n Soit ⟨·, ·⟩ un produit scalaire sur K−un espace vectoriel E .
muni d'un produit scalaire ⟨·, ·⟩. 1 (L'inégalité de Cauchy-Schwarz) Montrer que pour tous x, y ∈ E on a
|⟨x, y ⟩| ≤ ∥x∥∥y ∥.
Dénition
On dit que deux vecteurs x, y ∈ E sont orthogonaux si et seulement si où ∥ · ∥2 = ⟨·, ·⟩ ind. penser à utiliser, pour y ̸= 0E , le vecteur
⟨x, y ⟩ = 0.
⟨x, y ⟩
On qu'une famille de vecteurs non nuls {vk }m z =x−
k=1 est une famille
y.
∥y ∥2
orthogonale si ses vecteurs sont deux à deux orthogonaux ; i.e.
Déduire que l'application ∥x∥ = ⟨x, x⟩ est une norme sur E ; on
p
2
0 si i ̸= j
(
⟨vi , vj ⟩ = ∀i, j ∈ [|1, m|]. l'appelle norme associée au produit scalaire.
∥vi ∥2 si i = j.
Si de plus ∥vk ∥ = 1 pour tout i ∈ [|1, m|], on dit que la famille {vk }m
k=1
est orthonormée.
83 / 140
▲
Dénition
Proposition : Identité de Pythagore Si X est un ensemble non vide de E , on appelle l'orthogonal de X , noté
Soit v1 et v2 deux vecteurs non nuls orthogonaux de E alors on a X ⊥ , l'ensemble
∥v1 + v2 ∥2 = ∥v1 ∥2 + ∥v2 ∥2 . X ⊥ = {x ∈ E , ⟨x, y ⟩ = 0, ∀y ∈ X }.
En général, soit {vk }m

k=1 une famille orthogonale de E alors
Exercice
2
m m
Soient X et Y deux ensembles non vides de E ,
∥vk ∥2 .
X X
vk =
k=1 k=1 Montrer que X ⊥ est un sous-espace vectoriel de E .
Montrer que X ⊂ Y implique Y ⊥ ⊂ X ⊥ .
Exercice ⊥
Montrer que X ⊂ X ⊥ est l'égalité découle si et seulement si X est
Montrer l'identité de Pythagore. un sous espace vectoriel de E .
Montrer que E ⊥ = {0E } et {0E }⊥ = E .

86 / 140 85 / 140
▲ ▲
Procédé d'orthonormalisation de Gram-

Schmidt Proposition
Ainsi on déduit que tout K−espace vectoriel E de dimension nie muni Toute famille orthogonale {vk }m
k=1 est libre.
d'un produit scalaire admet une base orthonormée. En eet, tout K− En eet, soient λ1 , · · · , λm ∈ K alors on a
espace vectoriel de dimension nie n ≥ 1 est muni d'une base B = {uk }nk=1
alors on peut construire une base orthonormée de E , notée Bo = {ek }nk=1 ,
* m +
= 0E ⇒ ∀j ∈ [|1, m|], =0
Pm X
à partir de la base B en utilisant un algorithme dit l'algorithme ou procédé k=1 λk vk λk vk , vj
de Gram-Schmidt. Ce procédé est donné comme suit : m
k=1
⇒ ∀j ∈ [|1, m|], λk ⟨vk , vj ⟩ = 0

X
v1
v1 = u1 → e1 = ∥v1 ∥
v2 = u2 − ⟨u2 , e1 ⟩e1 → e2 = v2 k=1
∥v2 ∥
v3 ⇒ ∀j ∈ [|1, m|], λj ∥vj ∥2 = 0
v3 = u3 − ⟨u3 , e1 ⟩e1 − ⟨u3 , e2 ⟩e2 → e3 = ∥v3 ∥ ⇒ ∀j ∈ [|1, m|], λ j = 0.
.. .. .
. . → ..
n−1
X
vn
vn = un − ⟨un , ek ⟩ek → en = ∥vn ∥ .
k=1
88 / 140 87 / 140
▲ ▲
Le supplémentaire orthogonal d'un sous-

espace vectoriel
Proposition
Proposition
Soit Bo = {ek }nk=1 une base orthonormée de E alors pour tout v ∈ E
Tout sous-espace vectoriel F de E admet un sous-espace supplémentaire on a
orthogonal de E . i.e. X n
E = F ⊕ F ⊥. v= ⟨v , ek ⟩ek
k=1
En eet, soit F un sous-espace vectoriel de E de dimension m et soit et n

BF = {uk }m k=1 une base de F alors en utilisant le procédé de ∥v ∥2 = |⟨v , ek ⟩|2 .
X
Gram-Schmidt on peut construire une base orthonormée BoF = {ek }m k=1 de k=1
F . Ainsi, par le théorème de la base incomplète F admet un supplémentaire
G ayant la base orthonormée BoG = {ek }nk=m+1 et Bo = BoF ∪ BoG est
une base orthonormée de E . Donc, F et G sont supplémentaires et puisque
⟨vF , vG ⟩ = 0 pour tous vF ∈ F et vG ∈ G alors G est orthogonal à F ; i.e.
G = F ⊥.
89 / 140
▲
La décomposition en valeurs singulières des matrices (DVS) La décomposition en valeurs singulières des matrices (DVS)
l'adjoint d'une matrice L'écriture matricielle d'un produit scalaire

D'une manière générale, l'adjoint d'une matrice A ∈ Mm,n (K) est l'unique Soit B = {ek }nk=1 une base de E . Donc pour tous x, y ∈ E on a
T
matrice A∗ ∈ Mn,m (K) dénie par A∗ = A et en utilisant les propriétés n n
et y =
X X
données dans les chapitres précédents on peut démontrer que x= xj ej yi ei
j=1 i=1
Pour tout λ ∈ K on a λ∗ = λ.
ainsi, on note par xc et yc les matrices de x et y dans la base B (i.e. les
Pour tout A ∈ Mm,n (K) (A∗ )∗ = A.
vecteurs coordonnés de x et y dans la base B ) :
Pour tous A ∈ Mm,n (K) et B ∈ Mn,m (K) on a (AB)∗ = B ∗ A∗ .
xc = [x1 , x2 , · · · , xn ]T et yc = [y1 , y1 , · · · , yn ]T .
Pour tout A ∈ Mn (K) on a |A∗ | = |A|. * n n
+ n
Pour tout A ∈ Mn (K) on a Tr(A∗ ) = Tr(A).
X X X
⟨x, y ⟩ = xj ej , yi ei = xj yi ⟨ej , ei ⟩ = yc∗ Mxc ;
Soit A ∈ Mn (K) alors si λ est une valeur propre de A alors λ est une valeur j=1 i=1 i,j=1
propre de A∗ . où u ∗ = u T désigne pour tout u ∈ Kn l'adjoint (ou transconjugué) du
... etc. vecteur u et M = [⟨ej , ei ⟩] ∈ Mn (K) est dite la matrice associée au
produit scalaire dans la base B.
92 / 140 91 / 140
▲ ▲
Donc on déduit les propriétés de la matrice M = [⟨ej , ei ⟩] associée au
produit scalaire de E :
Quatre sous-espaces fondamentaux La matrice M est auto-adjointe ; i.e. M ∗ = M . En eet, puisque pour tous
On munit Kp par le produit scalaire canonique ⟨x, y ⟩ = y ∗ x pour tous x, y ∈ E on a
x, y ∈ Kp ainsi la base canonique de Kp est une base orthonormale. Et on a ⟨x, y ⟩∗ = ⟨x, y ⟩ = ⟨y , x⟩
alors
Théoreme fondamental de l'algèbre linéaire
(yc∗ Mxc )∗ = xc∗ Myc ⇐⇒ xc∗ M ∗ yc = xc∗ Myc ⇐⇒ M = M ∗ .
Soit A ∈ Mm,n (K) alors on a
Notez que, si M ∈ Mn (R) alors M = M ∗ = M T on dit que M est
(ker(A))⊥ = Im(A∗ ) et (Im(A))⊥ = ker(A∗ ). symétrique et si M ∈ Mn (C) on dit que M = M est hermitienne.
∗
M est positive ; i.e. pour tout xc ∈ Kn on a xc∗ Mxc ≥ 0. En eet, puisque le

Par conséquent, produit scalaire est positif alors pour tout x ∈ E on a
Kn = ker(A) ⊕ Im(A∗ ) et Km = ker(A∗ ) ⊕ Im(A). xc∗ Mxc = ⟨x, x⟩ ≥ 0.
Ainsi, on déduit le théorème du rang. M est dénie, i.e. xc∗ Mxc = 0 ⇐⇒ xc = 0Kn car le produit scalaire est déni.
n = dim(ker(A)) + rg(A) et m = dim(ker(A )) + rg(A). ∗ Si B est une base orthonormée de E alors M = In .

94 / 140 93 / 140
▲ ▲
Projecteur orthogonal Preuve
Dénition x ∈ ker(A) ⇐⇒ ∀y ∈ Km , y ∗ Ax = 0
On appelle un projecteur (ou une projection) tout endomorphisme p : ⇐⇒ ∀y ∈ Km , (A∗ y )∗ x = 0
E −→ E idempotent ; i.e. vériant p ◦ p = p. Ainsi, sa matrice associée
⇐⇒ x ∈ (Im(A∗ ))⊥ .
P ∈ Mn (K) est dite la matrice de la projection et vériant P 2 = P.
Donc
Proposition et Dénition ker(A) = (Im(A∗ ))⊥ ,
Si p est un projecteur de E alors on a ce qui est équivalent, puisque le noyau et l'image d'une matrice sont des
sous-espaces vectoriels, à
E = Im(p) ⊕ ker(p).
(ker(A))⊥ = (Im(A∗ ))⊥ = Im(A∗ )
⊥
On dit que p est une projection sur Im(p) parallèlement à ker(p). Si de

plus, (ker(p))⊥ = Im(p) on dit que p est un projecteur orthogonal. Ainsi,
Im(A) = Im((A∗)∗) = (ker(A∗))⊥
96 / 140 95 / 140
▲ ▲
En eet, pour tout x ∈ E on a
x = p(x) + x − p(x)
Théorème
or p(x) ∈ Im(p) et x − p(x) ∈ ker(p) car
Soient F un sous-espace vectoriel de E et x ∈ E , alors
p(x − p(x)) = p(x) − p ◦ p(x) = p(x) − p(x) = 0E ;
min ∥x − y ∥ = ∥x − p(x)∥,
y ∈F Donc E = Im(p) + ker(p). D'autre part on a
où p est le projecteur orthogonal sur F ; donc F = Im(p). x ∈ Im(p) ∩ ker(p) =⇒ p(x) = 0E et ∃y ∈ E , p(y ) = x
=⇒ p(x) = 0E et ∃y ∈ E , p ◦ p(y ) = p(x)
En eet, soient x ∈ E et y ∈ F alors on a
2 2 =⇒ p(x) = 0E ∃y ∈ E , p(y ) = p(x) = 0E
∥x − y ∥ = ∥x − p(x) + p(x) − y ∥
=⇒ x = 0E .
= ⟨x − p(x) + p(x) − y , x − p(x) + p(x) − y ⟩
= ∥x − p(x)∥2 + ∥p(x) − y ∥2 + 2ℜ⟨x − p(x), p(x) − y ⟩
Puisque p est un projecteur orthogonal sur F alors Im(p) = F et Exercice
x − p(x) ∈ ker(p) = F ⊥ donc
Soit p un projecteur de E . Montrer que q = idE − p est un projecteur
⟨x − p(x), p(x) − y ⟩ = 0 et min ∥p(x) − y ∥ = 0. de E et
Im(p) = ker(q) et ker(p) = Im(q).
y ∈F
Ce qu'il fallait démontrer. Master Statistique et Econométrie

98 / 140
▲
Donc on obtient, pour tout v ∈ Kn , La matrice de la projection orthogonale sur

PF v = Ax = A(A∗ A)−1 A∗ v , un sous espace vectoriel de Kn
Soit F un sous-espace vectoriel de Kn de dimension m ∈ [|1, n|] engendré
i.e. par la famille de vecteurs {uk }m k=1 et on note par PF la matrice de la
PF = A(A∗ A)−1 A∗ projection orthogonale sur F . Pour déterminer la forme explicite de PF on
qui est l'expression de la matrice de la projection orthogonale sur le pose A = [u1 , u2 , · · · , um ] ∈ Mn,m (K) alors il est clair que
sous-espace vectoriel F . Remarquez que PF ∈ Mn (K) est une matrice F = Im(A) = Im(PF ) et que A est de rang plein donc A∗ A est une matrice
auto-adjointe et que rg(PF ) = dim F = m. inversible. Par conséquent, F ⊥ = ker(A∗ ) = ker(PF ). Ainsi, pour tout
v ∈ Kn on a PF v ∈ F et v − PF v ∈ F ⊥ donc il existe x ∈ Km tel que
Exercice Ax = PF v et A∗ (v − Ax) = 0Km . Or
Soit u un vecteur non nul de Kn . Déterminer la matrice de la projection A∗ Ax = A∗ v ⇐⇒ x = (A∗ A)−1 A∗ v
orthogonale sur F = vect(u).
qui est dite l'équation normale et elle joue un rôle très importante dans la
statistique ; en particulier, pour eectuer une régression linéaire par la
méthode des moindres carrés. Notez l'unicité de x.
100 / 140 99 / 140
▲ ▲
Par conséquent, on a le système linéaire Y = X β + ε où
X = [xi,j ] ∈ Mn,m+1 (R), β = [β0 , β1 , · · · , βm ]T ∈ Rm+1 et
ε = [ε1 , · · · , εn ]T ∈ Rn sont sous la forme
Application : La régression linéaire par la
méthode des moindres carrés
1 x1,1 x1,2 · · · x1,m
     
ε1 β0
1 x2,1 x2,2 · · · x2,m   ε2   β2  Le modèle de régression linéaire est un modèle utilisé dans divers domaines,
X = . ,  .  et β =  .  . comme en statistiques, en économétrie et en apprentissage automatique,
 .. ... ... . . . ...   ..   .. 
     
 pour chercher à prédire un phénomène que pour chercher à l'expliquer. En
1 xn,1 xn,2 · · · xn,m εn βm général, on cherche à établir une relation linéaire entre une variable, dite
expliquée, et une (ou plusieurs) variables, dites explicatives.
β est dit le vecteur des paramètres du modèle. Ainsi, on dénit la valeur
Soit Y = [y1 , · · · , yn ]T ∈ Rn , où yi est dit une variable expliquée pour
prédite du modèle par Ŷ qui vérie l'équation Ŷ = X β̂, où β̂ est le vecteur
l'individu i ∈ [|1, n|]. Ainsi, chaque yi peut être s'écrit comme une
des paramètres estimés. Donc, on appelle la diérence entre la valeur
combinaison linéaire des variables [xi,j ]j=j=m
0 qui dites explicatives avec
observée Y et celle prédite Ŷ par le résidu, i.e. ε̂ = Ŷ − Y . En eet,
xi,0 = 1; plus une erreur que l'on note εi ; i.e. pour chaque individu i on a
min ∥ε∥ = minn ∥Y − X β∥ = ∥Y − Ŷ ∥ = ∥ε̂∥. m
β∈R X
yi = βj xi,j + εi .
On remarque que β̂ est la solution au sens des moindres carrés du système j=0
Y = X β.
102 / 140 101 / 140
▲ ▲
Cas particulier : Ajustement ane

Étant donné un nuage des points (xi , yi ) (i = 1, · · · , n) résultat de n Ainsi, d'après ce qui précède, si X est de rang plein alors
observations xi et yi tel que les xi ne sont pas tous égaux. Pour les deux
variables aléatoires x = [xi ]T et Y = [yi ]T , on cherche à déterminer une β̂ = (X T X )−1 X T Y .
droite ajustant le mieux possible le nuage en utilisant la méthode des
moindres carrés et on appelle donc cette droite, la droite des moindres D'où
carrés. En général, une telle droite est de la forme Y = X β + ε avec Ŷ = X β̂ = PX Y ,
X = [1, x] ∈ Mn,2 (R); 1 ∈ Rn est le vecteur des éléments 1 et
où PX = X (X T X )−1 X T est la matrice de la projection orthogonale sur
β = [β0 , β1 ]T ∈ R2 Ainsi, la droite des moindres carrés minimise, en
norme, l'erreur ε. Par conséquent et d'après ce qui précède, on cherche à
Im(X ).
déterminer la solution, β̂, au sens des moindres carrés du système Y = X β.
i.e.
β̂ = (X T X )−1 X T Y et donc Ŷ = X β̂ = PX Y ,
avec PX = X (X T X )−1 X T .
104 / 140 103 / 140
▲ ▲
Aussi,
Explicitement on a,
 n 
X
yi 
1T 1T 1 1 T x

X T X = [1, x]T [1, x] = 1 x = T
 i=1 
XTY =  . ;
Xn  xT 1 x xT x
 xi yi 
i=1
i.e.  n

X
D'où  n xi 
XTX =  i=1
 
n n
.
n n n n
 ! ! ! !
x 2
X 
xi2
X X X X X
 yi − xi xi yj 
 x i i
 i=1 i=1 i=1 i=1
 i=1 i=1
 !2 
 n n 
Puisque les xi ne sont pas tous égaux alors la matrice X T X est inversible
xi2 −
 X X 

 n xi 
 et on a
β̂ = (X T X )−1 X T Y =  i=1! i=1 !
.
   n n

n n n
!
xi2
X X
− xi 
 X X X 
 n xi yj − xi yi 
1

(X T X )−1 =  i=1n i=1
   
i=1 i=1
!2i=1 !2  .
  
  n n X
n n −
xi2 − xi n 
  X X
xi2 − n xi
X X
n xi
 
i=1
i=1 i=1
i=1 i=1
105 / 140
▲
Propriétés des matrices unitaires Théorème spectral

Dénition : matrice unitaire - orthogonale
On dit qu'une matrice U ∈ Mn (K) est unitaire si et seulement si
Soit P ∈ On (K) alors on a
Les vecteurs colonnes de P forment une base orthonormale pour le produit UU ∗ = In et U ∗ U = In .
scalaire canonique de Kn .
En particulier, si K = R on dit que U est une matrice orthogonale.
Les valeurs propres de P sont de module 1. et désigne par On (K) l'ensemble des matrices unitaires (en particulier
Les vecteurs propres de P sont orthogonaux. orthogonales) d'ordre n.
Exercice
Montrer que (On (K), ×) est un groupe et que pour tout P ∈ On (K)
on a | det(P)| = 1 ( le module du déterminant de P ) et déduire que
On (K) ⊂ GLn (K).
108 / 140 107 / 140
▲ ▲
En eet, soit A ∈ Mn (K) une matrice auto-adjointe et soit λ une valeur
On rappelle qu'une matrice A ∈ Mn (K) est auto-adjointe si et seulement
propre de A alors pour un vecteur propre v associé à λ on a
si A∗ = A. Donc, on a le théorème suivant ;
v ∗ (Av ) = (Av )∗ v ⇐⇒ λv ∗ v = λv ∗ v ⇐⇒ λ = λ ⇐⇒ λ ∈ R,
Théorème spectral
car v ∗ v = ∥v ∥2 > 0 (la norme associée au produit scalaire canonique qui a
Soit A ∈ Mn (K) une matrice auto-adjointe alors il existe une matrice
été xé pour Kn ).
P ∈ On (K) et une matrice diagonale D = diag [λ] telles que
λ∈Sp(A)
Proposition 2.
Les vecteurs propres associés à des valeurs propres distinctes d'une ma- A = PDP ∗ .
trice auto-adjointe sont orthogonaux.
i.e. que toute matrice auto-adjointe est diagonalisable.
En eet, Soient λ et µ deux valeurs propres distinctes associées à deux
La démonstration du théorème est basée sur trois propositions importantes :
vecteurs propres v et u, respectivement, d'une matrice auto-adjointe A
alors on a Proposition 1.
u ∗ (Av ) = (Au)∗ v ⇐⇒ λu ∗ v = µu ∗ v ⇐⇒ (λ − µ)u ∗ v = 0 ⇐⇒ u ∗ v = 0 Les valeurs propres d'une matrice auto-adjointe sont réelles.
ce qui montre que u et v sont orthogonaux.
110 / 140 109 / 140
▲ ▲
Ce qui implique v ∈ ker(M k ) = ker(M) donc ker(M k+1 ) = ker(M); ce qu'il
fallait démontrer. Proposition 3.
On déduit que pour toute valeur propre λ d'une matrice auto-adjointe Soit M ∈ Mn (K) une matrice auto-adjointe alors pour tout k ∈ N∗ on
A ∈ Mn (K) on a (A − λIn ) est auto-adjointe car d'après proposition 1 a
λ ∈ R et ker(M k ) = ker(M).
(A − λIn )∗ = A∗ − λIn = A − λIn .
Ainsi, par proposition 3, on déduit que En eet, par récurrence on a la propriété est vériée pour k = 1; supposons
Eλc (A) := ker ((A − λIn )αλ ) = ker(A − λIn ) =: Eλ (A). qu'elle est vériée aussi pour un certain entier k ∈ N∗ et montrons qu'elle
reste vraie pour k + 1. Donc d'une part, il est clair que
Par conséquent, d'après le chapitre 2, A est diagonalisable ; i.e. il existe ker(M) ⊂ ker(M k+1 ) pour tout k ∈ N. D'autre part, on a
P ∈ GLn (K) et une matrice diagonale D (ayant les valeurs propres de A
sur sa diagonale principale) telles que v ∈ ker(M k+1 ) =⇒ M k+1 v = 0Kn =⇒ M(M k v ) = 0Kn
A = PDP −1 . =⇒ Mw = 0Kn avec w = M k v

=⇒ w ∈ ker(M) ∩ Im(M) =⇒ w = 0Kn ;
Les vecteurs colonnes de P sont les vecteurs propres orthonormés associés
à les valeurs propres de A classés suivant le même ordre de classement des car d'après le théorème fondamental de l'algèbre linéaire on a
valeurs propres dans D. Notez que d'après proposition 2 les vecteurs Im(M) = (ker(M ∗))⊥ = (ker(M))⊥ .
propres associés à les valeurs propres distinctes sont orthogonaux.
112 / 140 111 / 140
▲ ▲
En eet, soit A ∈ Mn (K) une matrice auto-adjointe, alors Pour les vecteurs propres associés à la même valeur propre de multiplicité
⇒ . Si A est positive alors pour tout x ∈ Kn on a x ∗ Ax ≥ 0 donc, mλ > 1 on utilise le procédé d'orthonormalisation de Gram-Schmidt pour
en particulier, si v est un vecteur propre associé à une telle obtenir enn P ∈ On (K). Remarquez que,
valeur propre λ on a A∗ = A ⇐⇒ (PDP −1 )∗ = PDP −1 ⇐⇒ (P ∗ )−1 DP ∗ = PDP −1 ;
v ∗ Av = λ∥v ∥2 ≥ 0 =⇒ λ ≥ 0. donc P −1 = P ∗ ; ce qui complète la démonstration du théorème spectral.
De même si A est dénie-positive alors pour tout
Corollaire
x ∈ Kn \ {0Kn } on a x ∗ Ax > 0 donc en particulier, pour un
vecteur propre v associé à une telle valeur propre λ on a Soit A ∈ Mn (K) une matrice auto-adjointe alors :
A est positive si et seulement si les valeurs propres de A sont positives.
v ∗ Av = λ∥v ∥2 > 0 =⇒ λ > 0.
A est dénie-positive si et seulement si les valeurs propres de A sont
Par conséquent, d'après le théorème spectral on a strictement positives.
1 1 1 1 ∗
D'une manière équivalente, une matrice A ∈ Mn (K) auto-adjointe est

A = PDP ∗ = PD 2 D 2 P ∗
= PD 2 PD 2 = B ∗ B;
positive (resp. dénie-positive) si et seulement s'il existe une matrice
1 ∗
B ∈ Mn (K) (resp. B ∈ GLn (K)) telle que

avec B = PD 2 . Notez que si les valeurs propres sont
strictement positives alors B est inversible. A = B ∗ B.
114 / 140 113 / 140
▲ ▲
Décomposition en valeurs singulières ⇐ . Si les valeurs propres de A sont positives alors d'après le
(DVS) théorème spectral on a
1 1
A = PDP ∗ = PD 2 D 2 P ∗ = B ∗ B;
Théorème (DVS)
donc pour tout x ∈ Kn on a
Soit A ∈ Mm,n (K) une matrice du rang r ≥ 1, alors il existe deux
matrices S ∈ Om (K) et V ∈ On (K) telles que x ∗ Ax = x ∗ B ∗ Bx = (Bx)∗ (Bx) = ∥Bx∥2 ≥ 0.
A = S∆V ∗ ; En particulier, si les valeurs propres de A sont strictement

positives alors B est inversible et donc pour tout
où x ∈ Kn \ {0Kn },
Dr Θr ,n−r
∆=
Θm−r ,r Θm−r ,n−r x ∗ Ax = x ∗ B ∗ Bx = (Bx)∗ (Bx) = ∥Bx∥2 > 0.
√
et Dr = diag [ λ] ∈ Mr (K).
λ∈Sp(A∗ A)

116 / 140 115 / 140
▲ ▲
Donc pour tout i, j = 1, · · · , n on a
si i = j Preuve
(
λj
(Avi )∗ (Avj ) = vi∗ A∗ Avj = λj vi∗ vj = λj δi,j = .
0 si non Soit A ∈ Mm,n (K) une matrice du rang r ≥ 1; on rappelle que
r ≤ min{m, n}, donc la matrice A∗ A ∈ Mn (K) est auto-adjointe positive
Ainsi, on pose pour tout k = 1, · · · , r du rang r , et par conséquent, elle admet r −valeurs propres strictement
Avk 1 positives et n − r valeurs propres nulles. Ainsi, par le théorème spectral il
sk = = √ Avk ; existe une matrice V ∈ On (K) telle que
∥Avk ∥ λk
alors il est claire que la famille {sk }rk=1 est orthonormale et que pour tout A∗ A = VDV ∗
k ∈ [|1, r |] on a où
∗ 1 ∗ p
Dr2 Θr ,n−r

A sk = √ A Avk = λk vk D= .
λk Θn−r ,r Θn−r ,n−r
donc La matrice unitaire V a la forme concaténée par colonne
AA∗ sk = λk Avk = λk sk .
p
V = [v1 , v2 , · · · , vr , vr +1 , · · · , vn ] avec {vk }rk=1 sont les vecteurs propres
Ce qui montre que sk est un vecteur propre associé à la valeur propre orthonormaux associés à les r −valeurs propres strictement positives et
λk > 0 pour tout k ∈ [|1, r |]. {vk }nk=r +1 sont les vecteurs orthonormaux de ker(A).
118 / 140 117 / 140
▲ ▲
Finalement, les vecteurs sk avec k ∈ [|r + 1, m|] sont les vecteurs propres
associés à les valeurs propres nulles qui sont des vecteurs orthonormés du
ker(A∗ ). Donc
Exercice S = [s1 , s2 , · · · , sr , sr +1 · · · , sm ] ∈ Om (K).

Déterminer la décomposition en valeurs singulières de la matrice
1 0 −1 1

A=
2 0 0 1
. Terminologie
Les valeurs propres non nulles de A∗ A qui sont les mêmes valeurs propres
non nulles de AA∗ sont dites les valeurs singulières de A. Les vecteurs
propres de A∗ A sont dits les vecteurs singuliers à droite de A et les
vecteurs propres de AA∗ sont dits les vecteurs singuliers à gauche de
A.

120 / 140 119 / 140
▲ ▲
Quelques décompositions matricielles Quelques décompositions matricielles
Algorithme et preuve Décomposition QR

Soit A = [a∗1 , a∗2 , · · · , a∗n ] une matrice de rang plein alors ses vecteurs
colonnes a∗j sont linéairement indépendant, donc soient qj ∈ Km
(j = 1, · · · , n) les vecteurs obtenus en appliquant le procédé de Théorème
Gram-Schmidt via le produit scalaire canonique sur la famille {a∗j }nj=1 et
Soit A ∈ Mm,n (K) une matrice de rang plein alors il existe une matrice
on pose Q = [q1 , q2 , · · · , qn ] ∈ Mm,n (K). Il est clair que Q ∗ Q = In et que
Q ∈ Mm,n (K) et une matrice triangulaire supérieure R ∈ Mn (K) telles
∗ ∗ ∗ ∗
Q A = [Q a∗1 , Q a∗2 , · · · , Q a∗n ] := R. que Q ∗ Q = In et
Montrons que R est une matrice triangulaire supérieure ayant les éléments A = QR.
strictement positifs sur sa diagonale principale. Puisque q1 = ∥aa∗∗11 ∥ et pour
tout j ∈ [|2, n|] on a Notez que les éléments dans la diagonale principale de la matrice
Pj−1 ∗
triangulaire supérieure R sont strictement positifs. Ainsi, il existe
qj =
a∗j −
Pj−1
k=1 (qk a∗j )qk plusieurs méthode pour réaliser cette décomposition, dans ce cours on
∥a∗j − ∗
k=1 (qk a∗j )qk ∥ propose la méthode de Gram-Schmidt.
alors Q ∗ a∗1 = ∥a∗1 ∥e1 ; où ej désigne le j−ème vecteur de la base
canonique de Kn ,
122 / 140 121 / 140
▲ ▲
et pour tout j ∈ [|2, n|] on a
Pj−1
Q ∗ a∗j − ∗ ∗
k=1 (qk a∗j )Q qk
Q ∗ qj = Pj−1 .
∥a∗j − ∗
k=1 (qk a∗j )qk ∥
Exercice Par conséquent, le fait que Q ∗ qk = ek pour tout k ∈ [|1, n|] implique que
Déterminer la décomposition QR de la matrice A donnée par pour tout j ∈ [|2, n|] on a
1 0 j−1 j−1
 
X X
A = −1 1 Q ∗ a∗j = a∗j − (qk∗ a∗j )qk ej + (qk∗ a∗j )ek = r∗j ;
0 1 k=1 k=1
ce qui montre que R = [r∗1 , r∗2 , · · · , r∗n ] est une matrice triangulaire
supérieure ayant ses éléments sur la diagonale principale
j−1
(qk∗ a∗j )qk > 0.
X
rjj = a∗j −
k=1

124 / 140 123 / 140
▲ ▲
Corollaire
Soit A ∈ Mm,n (K) une matrice de rang plein donc admet la décompo-
Exercice sition A = QR, alors la matrice P = QQ ∗ est la matrice de la projection
orthogonale sur Im(A).
Montrer que la matrice
1 −1 0 En eet, puisque A est de rang plein alors elle admet une décomposition
 
0 2 1 QR où Q ∗ Q = In et R est une matrice triangulaire supérieure ayant ses
3 0 1 éléments de la diagonale principale strictement positifs. Et puisque la
admet une décomposition QR à déterminer et déduire l'inverse de A ainsi matrice de la projection orthogonale sur Im(A) s'écrit (d'après ce qui
que la solution du système linéaire AX = b où b = [1, 0, −1]T . précède) sous la forme
P = A(A∗ A)−1 A∗
alors
P = QR(R ∗ Q ∗ QR)−1 R ∗ Q ∗ = QR(R ∗ R)−1 R ∗ Q ∗ = QQ ∗ .

126 / 140 125 / 140
▲ ▲
Quelques décompositions matricielles Quelques décompositions matricielles
Système des équations linéaires Élimination de Gauss

Ainsi, la résolutions des systèmes de plusieurs d'inconnues et d'équations On peut dénir l'élimination de Gauss comme un algorithme des opérations
reste le majeur problème dont on utilise l'élimination de Gauss. On appelle élémentaires appliquées à une matrice donnée pour la rendre échelonnée
un système d'équations linéaires tout système qui est sous la forme réduite. Les opérations élémentaires utilisées sont :

a1,1 x1 + a1,2 x2 + · · · + a1,n xn = b1 Op1. L'échange de deux lignes,
Op2. La multiplication d'une ligne par un scalaire non nul,



 a2,1 x1 + a2,2 x2 + · · · + a2,n xn

= b2
... .. .. Op3. L'ajout du multiple d'une ligne à une autre ligne.


 . . L'élimination de Gauss joue un rôle très important dans la théorie des

am,1 x1 + am,2 x2 + · · · + am,n xn = bm matrices, son rôle réside dans la détermination de rang, l'inverse (quand il

où b = [b1 , · · · , bm ∈
]T Rm est un vecteur xé et connu, existe) et calcul de déterminant d'une matrice. On a vu que ce dernier
x = [x1 , · · · , xn ]T ∈ Rn est un vecteur inconnu et les [ai,j ] (i = 1, · · · , m et nécessite une n! opérations pour une matrice carrée d'ordre n. Cependant,
j = 1, · · · , n) sont des réels et qui représentent les éléments d'une matrice la complexité algorithmique asymptotique de l'élimination de Gauss est
A. On déduit que chaque système d'équations linéaires est réduit à une O(n3 ) ce que la rendre plus ecace. Notez que cet algorithme peut être
équation matricielle ane, i.e. utilisé sur un ordinateur pour des matrices avec une taille des milliers
d'éléments.
Ax = b. Master Statistique et Econométrie Master Statistique et Econométrie
128 / 140 127 / 140
▲ ▲
Quelques décompositions matricielles
En particulier, si b = 0Rm le système est dit homogène et donc leur
Résolution des systèmes linéaires par l'éli- solutions dans ce cas est le sous-espace vectoriel de Rn , ker(A). En général,
le système
mination de Gauss (i) n'a pas de solution si b ∈/ Im(A).
Nous allons traiter quelques exemple des systèmes d'équations linéaires par
l'élimination de Gauss. Pour cette raison on écrit le système [A|b] à la place (ii) a une solution unique x ∗ ∈ Rn si ker(A) = {0Rn }. Dans ce cas le
de l'équation Ax = b. Par exemple, le système système peut être réduite à un système A′ x = b′ où A′ est
une matrice carrée d'ordre n inversible et sous matrice de A;
−y +2z = 0
(
x de même pour b′ par rapport à b. Ainsi, x ∗ = A′−1 b′ .
2x +y +z = −1 (iii) a une innité de solutions si ni (i) ni (ii) sont le cas.
est sous la forme de sa matrice augmentée Notez que dans le cas (i) le système est dit inconsistant et on peut le
ℓ1 −→

1 −1 2 0
traiter en utilisant la méthode des moindres carrées.
.
ℓ2 −→ 2 1 1 −1
Exercice
Donc par l'opération élémentaire, en remplaçant ℓ2 par ℓ2(1) = ℓ2 − 2ℓ1 on - Montrer (i), (ii) et (iii).
aura - Montrer que l'ensemble des solutions de l'équation Ax = b est convexe.
−→ 1 −1 2 0

ℓ1
(1) .
ℓ2 −→ 0 3 −3 −1
130 / 140 129 / 140
▲ ▲
Détermination de l'inverse d'une matrice C'est à dire, X = [x, y , z]T ∈ R3 est une solution si et seulement si
Les matrices inversibles sont obligatoirement des matrices carrées, alors on y = z − 1/3 et x = −z − 1/3 c'est à dire
peut utiliser l'élimination de Gauss pour déterminer l'inverse d'une matrice.
Par exemple, soit 1 1 T

X = z[−1, 1, 1]T + − , − , 0 .
1 −1 0 3 3
 
A = 2 −2 −1
7 3 8 D'où le système admet une innité des solutions qui représentent un sous
espace ane de R3 .
alors, on pose
Exercice
1 −1 0 1 0 0
 
ℓ1 −→
ℓ2 −→ 2 −2 −1 0 1 0 . En utilisant l'élimination de Gauss, résoudre les systèmes linéaires
ℓ3 −→ 7 3 8 0 0 1
1 0 −1 3 1 4 0
   
On remplace ℓ2 par ℓ2 − 2ℓ1 et ℓ3 par ℓ3 − 7ℓ1 on trouve 3 2 1 0 et −2 1 −1 .

1 1 6 7 5 0 2
1 −1 0 1 0 0
 
ℓ1 −→
ℓ2 −→ 0 0 −1 −2 1 0 .
ℓ3 −→ 0 10 8 −7 0 1 Master Statistique et Econométrie
131 / 140
▲
Finalement 13 4 1
1 0 0 − 10 Ainsi, en remplaçant ℓ3 par ℓ3 + 8ℓ2 on aura

5 10
0 1 0 − 23 4 1
10 5 10 ;
0 0 1 2 −1 0 1 −1 0 1 0 0
 
ℓ1 −→
ℓ2 −→ 0 0 −1 −2 1 0 .
la matrice inverse de A est
 13 4 1 ℓ3 −→ 0 10 0 −23 8 1
− 10 5 10
A−1 = − 23
10
4
5
1
10 . 1
De même en remplace ℓ1 par ℓ1 + 10 ℓ3 on obtient
2 −1 0
13 4 1
1 0 0 − 10

ℓ1 −→ 5 10
ℓ2 −→ 0 0 −1 −2 1 0 ,
Exercice ℓ3 −→ 0 10 0 −23 8 1
Déterminer le rang et l'inverse, s'il existe, de la matrice
c'est à dire
1 0 0 − 13 4 1

ℓ1 −→
1 −1 4 1 10 5 10
 
ℓ2 −→ 0 0 1 2 −1 0 .
2 0 0 1
−3

2 0 1
. ℓ3 −→ 0 1 0 − 23
10
4
5
1
10
0 2 −1 0
134 / 140 133 / 140
▲ ▲
Décomposition LU
Calcul de la décomposition
Une décomposition LU se réfère à la factorisation d'une matrice carrée A
Sans perte de généralité, soit A une matrice carrée qui admette une sous la forme A = LU, en utilisant l'élimination de Gauss, où L est une
décomposition LU. Ainsi, pour décomposer la matrice A en produit LU, matrice triangulaire inférieure et U est une matrice triangulaire supérieure.
d'abord, on transforme, en utilisant l'élimination de Gauss, la matrice A à Il n'est pas toujours vrai qu'une matrice carrée A admette une
une matrice triangulaire supérieure U en éliminant les coecients sous la décomposition LU; cependant, toute matrice carrée A admette une
diagonale principale. Ainsi, les éléments restants sont les coecients décomposition PLU, en multipliant A par une matrice de permutation P
multiplicateurs à cause de lesquelles les positions respectives deviennent (voir l'un des exemples ci-dessous).
nulles dans la matrice U. Notez que certaine décomposition LU peut être Pour une matrice inversible A = [ai,j ] ∈ Mn (R), on note Ak les matrices
transformée à une décomposition LDU où D est une matrice diagonale principales dominantes de A, i.e. Ak = [ai,j ] ∈ Mk (R). Donc, la matrice A
ayant les mêmes éléments de la diagonale de U et U devient une matrice admette une décomposition LU si rg(Ak ) = k, pour k = 1, 2, . . . , n − 1.
triangulaire supérieure ayant les 1 sur sa diagonale principales en divisant S'il existe un k ∈ [|1, n − 1|] tel que rg(Ak ) ̸= k alors la matrice A admette
chaque ligne par l'élément de la diagonale principale qui correspond. une décomposition PLU où P est une matrice de permutation choisie de
On va présenter l'algorithme sous titre d'un exemple. telle sorte que la matrice P T A admette une décomposition LU.
Notez que, cette décomposition n'est pas unique, mais si on xe les
éléments de la diagonale principale de L égaux 1, alors on aura l'unicité.
136 / 140
▲
1 −1 0 Exemple
 
ℓ1 −→
ℓ2 −→ 0 10 8  .
ℓ3 −→ 0 0 −1 On considère la matrice,
1 −1 0
 
Or on a la matrice U, 
1 −1 0
 A = 2 −2 −1
U = 0 10 8  . 7 3 8
0 0 −1 alors, puisque le rang de la matrice principale A2 est 1 ̸= 2, donc A
Pour la matrice L, puisque les opérations eectuées sont ℓ2 − 7ℓ1 et n'admet pas une décomposition LU; cependant, elle admet une
ℓ3 − 2ℓ1 alors décomposition PLU alors on fait une permutation de ℓ2 avec ℓ3 , en

1 0 0
 multipliant par une matrice de permutation P T (à déterminer) on obtient
L = 7 1 0 . 1 −1 0
 
ℓ1 −→
2 0 1 ℓ2 −→ 7 3 8 .
Donc PT A = LU ce qui est équivalent à A = PLU et on déduit que
ℓ3 −→ 2 −2 −1
|A| = |P||L||U| c'est à dire |A| = −|U| = 10. Donc, on remplace ℓ2 et ℓ3 respectivement par ℓ2 − 7ℓ1 et ℓ3 − 2ℓ1 on
trouve
138 / 140 137 / 140
▲ ▲
Aussi, on peut obtenir la décomposition PLDU de la matrice A en
remarquant que
Exercice
1 −1 0 1 0 0 1 −1 0
    
Déterminer la décomposition LU ou PLU de la matrice U = 0 10 8  = 0 10 0  0 1 8
= DU ′ .
10
0 0 −1 0 0 −1 0 0 1
3 1 −1 0
 
 1 −7 3 2
A= . Remarquez que :
−1 3 1 5
0 2 5 3 La décomposition LDU d'une matrice A ∈ Mn (R) obtenue dans le premier
chapitre peut être considérée comme une généralisation de celle obtenue
Question Bonus. Déterminer la décomposition spectrale et en valeurs dans ce chapitre.
singulière de A. Si A ∈ Sn (R) est une matrice symétrique admette une décomposition LDU
alors U = LT .
Les résultats obtenus restent valable pour une matrice carrée complexe.

140 / 140 139 / 140
▲ ▲

N Up PDF - coursAlgPrSt

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

N Up PDF - coursAlgPrSt

Transféré par

Droits d'auteur :

Formats disponibles

Prérequis et Bibliographie

Algèbre Pour la Statistique

Prérequis : Les espaces vectoriels et les applications linéaires. Lahoucine Elaissaoui

Master Statistique et Econométrie Master Statistique et Econométrie

identité (ou unité) d'ordre n.

dite la forme concaténée de A (en vecteurs colonnes ou en vecteurs lignes

Dénition : L'addition dans Mm,n (K) Dénition : Égalité de deux matrices

associative ; i.e. A + (B + C ) = (A + B) + C pour tous 0 0 · · · 0

Opérations sur les matrices : 2- La multi- Exemple

Master Statistique et Econométrie Master Statistique et Econométrie

matrices carrées d'ordre m et n respectivement, quelque soit

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Rappels et dénitions Matrice diagonale par blocs

qui est un sous-espaces vectoriels Km . Ainsi, on a Exercice

Master Statistique et Econométrie Master Statistique et Econométrie

Théorème du rang Le rang d'une matrice

Master Statistique et Econométrie Master Statistique et Econométrie

Matrice à rang plein Propriétés

Dénition rg(A) = rg(AT ) pour tout A ∈ Mm,n (K).

Master Statistique et Econométrie Master Statistique et Econométrie

Théorème 2 L'inverse d'une matrice (2 × 2) partitionnée

Corollaire (formule de Sherman-Woodbury-Morrison)

3. Déduire que Exercice : Preuve de Théorème 1

Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Déterminant d'une matrice 2 × 2 partition-

Exercices avec F le complément de Schur de A11 . Donc

Exercice 1. et puisque L et U sont deux matrices triangulaires ayant 1 dans la

Master Statistique et Econométrie Master Statistique et Econométrie

Valeurs propres et vecteurs propres

Master Statistique et Econométrie Master Statistique et Econométrie

Propriétés et remarques Matrices semblables et équivalentes

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Polynôme annulateur d'une matrice carrée

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Donc Av ∈ Eλc (A), d'où la stabilité de Eλc (A) par A.

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Preuve Lemme des noyaux

r (A)p(A) + s(A)q(A) = In . Corollaire : Généralisation

Master Statistique et Econométrie Master Statistique et Econométrie

χA (X ) = (X − λ)mλ q(X ). Ce qui complète la preuve du lemme.

donc m = mλ ; ce qu'il fallait démontrer.

mλ désigne, dans tout ce cours, la multiplicité algébrique de la valeur

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

vecteurs orthogonaux et l'orthogonal d'un

∥v1 + v2 ∥2 = ∥v1 ∥2 + ∥v2 ∥2 . X ⊥ = {x ∈ E , ⟨x, y ⟩ = 0, ∀y ∈ X }.

En général, soit {vk }m

Master Statistique et Econométrie Master Statistique et Econométrie

Procédé d'orthonormalisation de Gram-

⇒ ∀j ∈ [|1, m|], λk ⟨vk , vj ⟩ = 0

Le supplémentaire orthogonal d'un sous-

En eet, soit F un sous-espace vectoriel de E de dimension m et soit et n

l'adjoint d'une matrice L'écriture matricielle d'un produit scalaire

M est positive ; i.e. pour tout xc ∈ Kn on a xc∗ Mxc ≥ 0. En eet, puisque le

n = dim(ker(A)) + rg(A) et m = dim(ker(A )) + rg(A). ∗ Si B est une base orthonormée de E alors M = In .

Projecteur orthogonal Preuve

Dénition : L'addition dans Mm,n (K) Dénition : Égalité de deux matrices

Rappels et dénitions Matrice diagonale par blocs

Dénition rg(A) = rg(AT ) pour tout A ∈ Mm,n (K).

En eet, soit F un sous-espace vectoriel de E de dimension m et soit et n

M est positive ; i.e. pour tout xc ∈ Kn on a xc∗ Mxc ≥ 0. En eet, puisque le

Cas particulier : Ajustement ane