N Up PDF CoursAlgPrSt

Prérequis et Bibliographie
Algèbre Pour la Statistique
Lahoucine Elaissaoui Prérequis : Les espaces vectoriels et les applications linéaires.

Année Universitaire 20232024
Université Mohammed V-Rabat Bibliographie : Linear Algebra and Matrix Analysis for Statistics (S.
Faculté des sciences Banerjee et A. Roy, 2014) ; Matrix Algebra Useful for
Département des Mathématiques statistics (R. Shayle et A. I. Khuri, 2017) ; Matrix Algebra
Laboratoire de Mathématiques, Statistique et Applications
Master Statistique et Économétrie
From a Statistician's Perspective (D. A. Harville, 1997).
Master Statistique et Econométrie Master Statistique et Econométrie

1 / 140 2 / 140
▲ ▲
Contenu du cours
1 L'algèbre matricielle
3 La décomposition en valeurs singulières des matrices (DVS)
Introduction et Terminologie L'espaces Euclidien et L'espace Hermitien
Opérations sur les matrices Quatre sous-espaces fondamentaux
Diérentes expressions du produit matriciel Projection et projection orthogonale
Matrices partitionnées Application: La régression linéaire par la méthode des moindres carrés
Le rang d'une matrice Théorème spectral
L'inverse d'une matrice Décomposition en valeurs singulières (DVS)
Déterminant d'une matrice par blocs
2 La théorie spectrale des matrices et réduction 4 Quelques décompositions matricielles
Les propriétés spectrales des matrices carrées Décomposition QR d'une matrice
Matrices semblables et équivalentes Décomposition LU et la résolution d'un système d'équations linéaires
Polynôme annulateur d'une matrice carrée
Sous-espace caractéristique d'une matrice
Matrice diagonalisable
3 / 140 4 / 140
▲ ▲
L'algèbre matricielle En général, on peut converser un tableau des données de m lignes et n
colonnes à une matrice A = [ai,j ] de taille (m, n) (c'est à dire, ayant m
Introduction et Terminologie lignes et n colonnes) qui contient m × n éléments (ai,j ) où i = 1, 2, · · · , m
On appelle matrice un tableau rectangulaire des nombres disposés en indique la ligne de l'élément et j = 1, 2, · · · , n indique sa colonne. En
lignes et en colonnes et soumis à certaines règles d'opérations. En pratique, les éléments ai,j sont des nombres réels et on note par Mm,n (R)
statistique, l'algèbre matricielle est utilisée pour exprimer et étudier l'ensemble des matrices réelles de taille (m, n). En général, on désigne par
certaines collections de données. Par exemple, la conversion en algèbre Mm,n (K) où K = R ou C l'ensemble des matrices de taille (m, n) ayant
matricielle du tableau (qui décrit le rendement des stratégies suivies par des éléments dans le corps K. On écrit
une société donnée en fonction du temps)
 
a1,1 a1,2 · · · a1,n
 a2,1 a2,2 · · · a2,n 
pendant 2 ans pendant 4 ans A = [ai,j ] =  . .. ... ..  , ai,j ∈ K.
 ..
 
Stratégie 1 10 −5 . . 
Stratégie 2 3 7 am,1 am,2 · · · am,n
Stratégie 3 8 8
Ainsi on dénit la matrice transposée de A, notée AT ∈ Mn,m (K), par
10 −5 10 −5
   
 
a1,1 a2,1 · · · am,1
est donnée par la matrice notée par  3 7  ou par  3 7  , ayant a1,2 a2,2 · · · am,2 
8 8 8 8 AT = [aj,i ] =  .
 .. ... . . . .. 
.
 
trois lignes et deux colonnes. Les nombres qui apparaissent dans la matrice .
sont appelés les éléments (ou les coecients) de la matrice. a1,n a2,n · · · an,m
L'algèbre matricielle
Ainsi, la matrice In := diagn [1] := diag[1, 1, · · · , 1] est dite la matrice
| {z }
Matrice carrée : Matrice diagonale Ma- identité (ou unité) d'ordre n.
n fois
trice triangulaire Une matrice carrée A = [ai,j ] ∈ Mn (K) est dite triangulaire inférieure (resp.
Remarquez que AT = A pour toute matrice A ∈ Mm,n (K).
T
supérieure) si et seulement si ai,j = 0 pour tout i < j (resp. pour tout i > j ).
Si n = 1, on identiera Mm,1 (K) à Km ; ainsi dans tout le cours, les vecteurs Remarquez que la transposée d'une matrice triangulaire inférieure (resp.
sont des vecteurs colonnes et donc leurs transposé sont des vecteurs lignes. supérieure) est une matrice triangulaire supérieure (resp. inférieure).
Si m = n on dit que A = [ai,j ] ∈ Mn (K) est une matrice carrée d'ordre n. Une matrice carrée strictement triangulaire est une matrice triangulaire et de
Les coecients ai,j avec i = j sont dits diagonaux (les composantes de la coecients diagonaux nuls.
diagonale principale de A) et ceux avec i ̸= j sont dits extra-diagonaux. En
Par suite, une matrice triangulaire à la fois inférieure et supérieure est une
particulier, D = [di,j ] ∈ Mn (K) est dite diagonale si et seulement si ses matrice diagonale.
coecients extra-diagonaux sont tous nuls et on écrit dans ce cas
Par exemple L (resp. U ) est triangulaire inférieure (resp. supérieure)
0 ··· 0
 
d1,1
.. a1,1 0 · · · 0
   
 0

. 0 
 a1,1 a1,2 · · · a1,n
D := diag[d1,1 , d2,2 , · · · , dn,n ] =  a2,1 a2,2 . . .
d2,2
. . .  0 a2,2 · · · a2,n 
.. .. 0 
   
 .. . . ..  U= . . . .
L= .. .. . . ..  ,  .. . . . . ..  .
   
0 0 · · · dn,n  . . . .  
an,1 an,2 · · · an,n 0 0 · · · an,n
7 / 140 8 / 140
▲ ▲
Soit A = [ai,j ] ∈ Mn (K) est matrice carrée. La trace de A ; notée Tr(A) est
dénie comme étant la somme des diagonaux. i.e.
n
Tr(A) =
X
ak,k .
k=1
Ainsi, on aura
Pour eectuer certaines opérations, il peut être utile de travailler sur le  T
a∗1
système des lignes ou des colonnes d'une matrice. On pourra alors écrire aT 
une matrice A = [ai,j ] ∈ Mm,n (K) sous l'une des formes suivantes  ∗2 
AT =  .  = [a1∗ , a2∗ , . . . , am∗ ].
 .. 
a1T∗
 
T
a∗n
 aT 
 2∗ 
A = [a∗1 , a∗2 , . . . , a∗n ] =  .  ;
 .. 
T
am∗
où les vecteurs a∗j ∈ Km , (j = 1, 2 · · · , n) sont les vecteurs colonnes de A
et ai∗
T ∈ Kn (i = 1, 2, · · · , m) sont ses vecteurs lignes. Cette écriture est
dite la forme concaténée de A (en vecteurs colonnes ou en vecteurs lignes

resp.)
9 / 140 10 / 140
▲ ▲
L'algèbre matricielle L'algèbre matricielle
Opérations sur les matrices : 1- L'égalité Opérations sur les matrices : 2- L'addition
Dénition : Égalité de deux matrices Dénition : L'addition dans Mm,n (K)

Deux matrices A = [ai,j ] et B = [bi,j ] sont dites égales et on écrit A = B Soient A = [ai,j ] et B = [bi,j ] deux matrices de même taille (m, n). La
si et seulement si somme de A et B, notée A + B, est une matrice C = [ci,j ] de même
A et B sont de même taille (m, n). taille (m, n) telle que ci,j = ai,j + bi,j pour tous i ∈ {1, 2, · · · , m} et
ai,j = bi,j pour tous i ∈ {1, 2, · · · , m} et j ∈ {1, 2, · · · , n}. j ∈ {1, 2, · · · , n}.
En particulier, une matrice A = [ai,j ] est dite une matrice nulle si et - Remarquer que la somme de deux matrices n'est dénie que si elles sont
seulement si tous ses éléments ai,j sont nuls et on écrit A = Θm,n avec de même taille.
- D'après la dénition, on remarque que l'addition dans Mm,n (K) est
0 0 0 commutative ; i.e. A + B = B + A pour tous A, B ∈ Mm,n (K) et
 
···
0 0 ··· 0 associative ; i.e. A + (B + C ) = (A + B) + C pour tous
Θm,n =  . .. . . . ..  ∈ Mm,n (K).
 ..
 
A, B, C ∈ Mm,n (K).
. .
0 0 ··· 0
- (A + B)T = AT + B T pour tous A, B ∈ Mm,n (K).
11 / 140 12 / 140
▲ ▲
Exemple Opérations sur les matrices : 2- La multi-

Soient plication
1 −1 2 1 1 0

A= et B = .
0 0 1 3 0 1
A et B sont deux matrices de même taille (2, 3) donc
Dénition : La multiplication dans Mm,n (K) par un scalaire
1 + 1 −1 + 1 2 + 0 2 0 2

A+B = = . La multiplication d'une matrice A = [ai,j ] ∈ Mm,n (K) par un scalaire
0+3 0+0 1+1 3 0 2 λ ∈ K; i.e. le produit λA, est une matrice C = [ci,j ] ∈ Mm,n (K) telle
que ci,j = λai,j pour tous i ∈ {1, 2, · · · , m} et j ∈ {1, 2, · · · , n}.
Exercice Remarquer que si λ = 0 ou A = Θ alors λA = Θ.
Soient A = [ai,j ] ∈ Mm,n (K) une matrice xée et X ∈ Mm,n (K). Ré- Aussi, pour λ = ±1 on écrit ±A à la place de ±1A et A − B à la place de
soudre les équations suivantes : A + X = A et A + X = Θm,n . Déduire A + (−B).
l'élément neutre et la matrice opposée (l'élément symétrique pour l'ad- Finalement, (λA)T = λAT pour tout λ ∈ K et pour tout A ∈ Mm,n (K).
dition) dans Mm,n (K). Que peut on dire sur le magma (Mm,n (K), +) ?

13 / 140 14 / 140
▲ ▲
Propriétés et remarques
Dénition : Le produit matriciel
Le produit AB (resp. BA) de deux matrices A et B est déni si et
seulement si le nombre de colonnes (resp. de lignes) de A est égal au Associativité. A(BC ) = (AB)C .
nombre de lignes (resp. de colonnes) de B. Distributivité. A(B + C ) = AB + AC et (A + B)C = AC + BC .
Soient A = [ai,j ] ∈ Mm,p (K) et B = [bi,j ] ∈ Mp,n (K) alors on a Mult. par scalaire. λ(AB) = (λA)B = A(λB).
AB = C := [ci,j ] ∈ Mm,n (K) Transposée. Soient A ∈ Mm,p (K) et B ∈ Mp,n (K) alors
(AB)T = B T AT .
avec p R1. Les produits AAT et AT A sont dénis et représentent des
matrices carrées d'ordre m et n respectivement, quelque soit
X
ci,j = ai,k bk,j ,
k=1 la matrice A ∈ Mm,n (K).
pour tous i = 1, 2, · · · , m et j = 1, 2, · · · , n. R2. Si A et B sont deux matrices carrées de même tailles alors en
général on a AB ̸= BA.

15 / 140 16 / 140
▲ ▲
Exemple
On considère dans M2 (R) les matrices
R3. Ils existent deux matrices A et B non nulles telles que le
produit (s'il est déni) AB est une matrice nulle. On dit dans 1 2 0 3

A= et B = .
ce cas que A et B sont des diviseurs de zéro. 0 −1 0 −1
Puisque les matrices A et B sont de même ordre (ou ont même taille)
Exercice : L'utilité de la remarque R2.
alors les produits AB et BA sont bien dénis et on a
Soient A ∈ Mm,n (K) et B ∈ Mn,m (K), avec n ̸= m. Justiez que les
produits H = AB et E = BA sont dénis ; est-ce que les matrices H et 0 1 0 −3

AB = et BA = .
E sont compatibles pour les opérations arithmétiques (la comparaison, 0 1 0 1
l'addition et la multiplication) justiez votre réponse ?
0 1

On déduit que AB ̸= BA. Si on pose C = montrer que BC = Θ2 ,
0 0
que peut-on déduire ?

17 / 140 18 / 140
▲ ▲
Soient A = [ai,j ] ∈ Mm,p (K) et B = [bi,j ] ∈ Mp,n (K). Il est clair que le Aussi en utilisant les concaténations
produit matriciel AB est bien déni ; ainsi, si on considère la forme  T 
a1∗
concaténée de A et B, i.e.  aT 
 2∗ 
A= .  et B = [b∗1 , b∗2 , · · · , b∗n ]
T  .. 
 
b1∗
b T  T
am∗
 2∗ 
A = [a∗,1 , a∗2 , · · · , a∗p ] et B =  .. 
 . 
T
on montre que
bp∗
 T   T
a1∗ b∗1 a1T∗ b∗2 · · · a1T∗ b∗n

a1∗
alors on peut calculer le produit matriciel AB d'une manière analogue à  aT   aT b∗1 aT b∗2 · · · a2T∗ b∗n 
 2∗   2∗ 2∗
celui des vecteurs ; i.e. AB =  .  [b∗1 , b∗2 , · · · , b∗n ] =  . .. ... .. 
 ..   ..

. .

 T T T b T T b
b1∗ am∗ am∗ ∗1 am∗ b∗2 · · · am∗ ∗n
b T  X p h i
 2∗  T
AB = [a∗1 , a∗2 , · · · , a∗p ]  ..  = T
a∗i bi∗ . = ai∗ b∗j
 . 
i=1
T
bp∗ pour i = 1, 2, · · · , m et j = 1, 2, · · · , n. Remarquez que les vecteurs ai∗ et
b∗j sont de taille p (p− composantes) donc ai∗ T b ) est bien dénie.
∗j
19 / 140 20 / 140
▲ ▲
Matrices par blocs En général, le (p × q) partitionnement d'une matrice A est donné par
On a vu comment les (m, n) matrices peuvent être représentées par la
 
A1,1 A1,2 · · · A1,q
concaténation par lignes et/ou par colonnes que l'on peut considérer A2,1 A2,2 · · · A2,p 
A= .
comme un exemple particulier d'un partitionnement par blocs de la forme  .. ... ... .  = [Ai,j ]
.. 
 
(m, 1) et/ou (1, n) respectivement. En général, une (m, n) matrice A peut Ap,1 Ap,2 · · · Ap,q
être partitionnée en termes de sous-matrices mises côte à côte. Par
exemple, la (m, n) matrice où les matrices Ai,j (i = 1, · · · , p et j = 1, · · · , q) sont de taille (mi , nj )
avec p q
A1,1 A1,2
A= et n =
X X
A2,1 A2,2 m= mi nj .
i=1 j=1
où les Ai,j (i, j = 1, 2) sont des (mi , nj ) matrices telles que m = m1 + m2
et n = n1 + n2 , est dite une matrice (2 × 2) partitionnée.
Exercice
Exercice Donner tous les partitionnements possibles des matrices de taille (3, 4)
Donner les (2 × 2) partitionnements possibles des matrices de taille (3, 4) et (4, 4).
et (4, 4).
Master Statistique et Econométrie
22 / 140
▲
1 Soit A = [Ai,j ] une matrice carrée d'ordre n par blocs dont toutes les
Opérations sur les matrices par blocs sous-matrices Ai,j sont carrées alors
Tr(A) = Tr(Ak,k ).
X
Si A = [Ai,j ] est une matrice par blocs alors AT = ATj,i . Par exemple,

1
k
T
AT

A A1,2 A
si A = 1,1 alors A = 1T,1
T 2,1 .
A2,1 A2,2 A1,2 AT
2,2 Exercice
2 Soient A = [Ai,j ] et B = [Bi,j ] deux matrices par blocs de même taille telles Soit A la matrice donnée par
que les sous-matrices Ai,j et Bi,j sont de même taille pour chaque couple
1 0 1 3
 
(i, j) (on dit dans ce cas A et B sont conformablement partitionnées
pour l'addition) donc A + B = [Ai,j + Bi,j ]. A = 2 1 0 1
0 3 1 2
3 Soient A = [Ai,j ] et B = [Bi,j ] deux matrices telles que le produit AB est
déni ; on dit que A et B sont conformablement partitionnées pour la
multiplication si le produit Ai,k Bk,j est déni. Dans ce cas on a 1 Déterminer et partitionner en (2 × 2) les matrices AAT et AT A.
Calculer et comparer Tr(AAT ) et Tr(AT A).
hX i
2
AB = Ai,k Bk,j .

23 / 140 24 / 140
▲ ▲
Matrice diagonale par blocs Rappels et dénitions

Une matrice bloc-diagonale (ou diagonale par blocs) est une matrice carrée
qui possède des blocs matrices carrées sur la diagonale principale, tels que On dénit le noyau d'une matrice A ∈ Mm,n (K), et est noté par ker(A)
les blocs non diagonaux soient des matrices nulles ; c'est à dire sous la l'ensemble
forme   ker(A) := {x ∈ Kn , Ax = 0Km , }
A1,1 Θ · · · Θ
 Θ A2,2 . . . On peut démontrer facilement que le noyau d'une matrice A ∈ Mm,n (K)
 
Θ 
 ..

... ... ..  .
 est un sous-espace vectoriel de Kn . On dénit l'image de A, et est notée
 . .  Im(A), l'ensemble
Θ Θ ··· Ap,p
Im(A) := {Ax, x ∈ Kn },
Exercice qui est un sous-espaces vectoriels Km . Ainsi, on a

Soit A = [Ak ] une matrice bloc-diagonale. Montrer que An = [Ank ].

25 / 140 26 / 140
▲ ▲
Le rang d'une matrice Théorème du rang
Théorème
Soit A ∈ Mm,n (K), alors
Dénition
Soit A ∈ Mm,n (K), on appelle le rang de A, noté rg(A), la dimension rg(A) = n − dim ker(A).
de sous-espace vectoriel Im(A). i.e.
rg(A) := dim Im(A) = dim{Ax, n
x ∈ K } ≤ min(m, n) Exercice (propositions)
Soit A ∈ Mm,n (K) et on pose f (x) = Ax pour tout x ∈ Kn .
1 Montrer que f est injective si et seulement si rg(A) = n.
2 Montrer que f est surjective si et seulement si rg(A) = m.

27 / 140 28 / 140
▲ ▲
Propriétés Matrice à rang plein
rg(A) = rg(AT ) pour tout A ∈ Mm,n (K). Dénition

rg(AB) ≤ min (rg(A), rg(B)) , avec A ∈ Mm,p (K) et B ∈ Mp,n (K). Une matrice A ∈ Mm,n (K) est dite de rang plein si rg(A) = n.
rg(A + B) ≤ rg(A) + rg(B) avec A ∈ Mm,n (K) et B ∈ Mm,n (K). Exercice (proposition)
Remarquez que la dernière inégalité devient égalité si et seulement si Montrer qu'une matrice A ∈ Mm,n (K) est de rang plein si et seulement
Im(A) ∩ Im(B) = {0Rm } et Im(AT ) ∩ Im(B T ) = {0Rn } . si l'application f (x) = Ax pour x ∈ Kn est injective.

29 / 140 30 / 140
▲ ▲
Exercice et Propriétés
L'inverse d'une matrice Montrer les propriétés suivantes
une matrice A ∈ Mn (K) est inversible si et seulement si rg(A) = n.
Soient A, B ∈ Mn (K), telles que l'une des deux est inversible alors
Dénition AB = In ⇐⇒ BA = In .
Soit A ∈ Mn (K) une matrice carrée. On dit que A est inversible s'il
existe une matrice B ∈ Mn (K) telle que Soient A, B ∈ Mn (K), deux matrices inversibles, alors (AB)−1 = B −1 A−1 .
Soit A ∈ Mn (K) inversible, alors (AT )−1 = (A−1 )T .
AB = In et BA = In .
Pour tout α ∈ K∗ , non nul, l'inverse de la matrice [α] ∈ M1 (K) est
B est dite l'inverse de A et on pose B = A−1 . [1/α] ∈ M1 (K),
Soient A ∈ Mn (K) et B ∈ Mm (K),
deux matrices
inversibles alors la
Notez que l'inverse d'une matrice A ∈ Mm,n (K) n'est pas dénie sauf pour A Θn,m
m = n; ainsi que l'inverse (en cas d'existence) est unique. matrice (2 × 2) partitionnée M = est inversible et on a
Θm,n B
A−1

Θn,m
M −1 = .
Θm,n B −1
31 / 140
▲
L'inverse d'une matrice (2 × 2) partitionnée Théorème 2

Une matrice (2 × 2) partitionnée est une matrice A ∈ Mn (K) sous la forme
Si A22 et son complément de Schur G sont inversibles alors la matrice
A11 A12 A est inversible et
A=
A21 A22
−1
G −1 −G −1 A22

où A11 ∈ Mn1 (K), A22 ∈ Mn2 (K), A12 ∈ Mn1 ,n2 (K) et A21 ∈ Mn2 ,n1 (K) A21
A−1 = −1 −1 −1 −1 −1 .
avec n1 + n2 = n. Ainsi, si les sous matrices A11 et A22 sont inversibles −A12 A22 G A22 + A22 A21 G −1 A12 A22
alors on dénit les compléments de Schur F et G par
−1 −1 On déduit dans le cas où Aii (i = 1, 2) sont inversibles ainsi que leurs
F = A22 − A21 A11 A12 et G = A11 − A12 A22 A21 . compléments de Schur F et G , le résultat suivant
Corollaire (formule de Sherman-Woodbury-Morrison)

Théorème 1
Si A11 et son complément de Schur F sont inversibles alors la matrice A 1 −1 −1
F −1 = A− −1
22 + A22 A21 G A12 A22
est inversible et
et
−1 −1 −1
G −1 = A11 A12 F −1 A21 A11
−1 1 −1 A A−1 −A−1 A F −1
A + A−

−1 11 A12 F 21 11 11 12
+ A11 .
A = 11 1 .
−F −1 A21 A−
11 F −1
34 / 140
▲
Exercice : Preuve de Théorème 1 3. Déduire que

A−1 = UD −1 L;
Soient L et U deux matrices carrées d'ordre n, dénies par et déterminer sa forme explicite en utilisant l'exercice

In1 Θn1 ,n2

In1 −1
−A11 A12
précédent.
L := 1 et U := .
−A21 A−
11 In2 Θn2 ,n1 In2
Exercice
1. Montrer que L et U sont inversibles et Prouver Théorème 2 en suivant des étapes analogues. En déduire le
Corollaire.
1
A−

In1 Θn1 ,n2 In1 11 A12 .
L−1 := 1 et U −1 := Exercice 1 (TD)
A21 A−11 In2 Θn2 ,n1 In2
Soient A ∈ Mn (R) inversible, u, v ∈ Rn , et λ ∈ R. Calculer l'inverse s'il
2. Montrer que existe de la matrice
A u
A11 Θn1 ,n2 .
LAU = = D. vT λ
Θn2 ,n1 F

36 / 140
▲
Groupe symétrique
Exercice 2 (TD) : Actualisation de rang 1 Soit E un ensemble ni de n éléments. On appelle le groupe symétrique de
Soient A, u et v comme dans l'exercice précédent. Montrer (A + uv T ) E , et le note Gn (E ), le groupe des bijections de E dans E muni de la loi de
est inversible si et seulement si 1 + v T A−1 u ̸= 0 et que la composition d'applications. Que l'on peut nommer aussi le groupe
des permutations de E . Formellement, soit E = {xi }i=n i=1 et soit
1 σ ∈ Gn (E ) une permutation de E alors pour chaque i = 1, · · · n on a
(A + uv T )−1 = A−1 − A−1 uv T A−1 .
1 + v T A−1 u σ(xi ) := σi = xj avec j ∈ {1, · · · , n}; donc
Ind. Pensez au produit σ(E ) = {σ1 , σ2 , · · · , σn }.
0Rn

A u In
.
−v T 1 vT 1
Exercice (proposition)
Soit E un ensemble ni de cardinal n et soit Gn (E ) son groupe symé-
trique. Montrer que card(Gn (E )) = n!.
37 / 140 38 / 140
▲ ▲
Exercice
Soit E = {1, 2, 3, 4, 5} et on dénit les deux permutations de E , τ et σ Exemple et exercice
par
τ (E ) = {1, 3, 4, 2, 5} et σ(E ) = {1, 2, 5, 3, 4}.
(1) Montrer que l'inverse des permutations σ et τ dénies dans l'exercice
précédent est
Déterminer τ ◦ σ(E ) et σ ◦ τ (E ).
On a σ1 = 1, σ2 = 2, σ3 = 5, σ4 = 3 et σ5 = 4. Donc τ (σ1 ) = 1, σ −1 (E ) = {1, 2, 4, 5, 3} et τ −1 (E ) = {1, 4, 2, 3, 5}.
τ (σ2 ) = 3, τ (σ4 ) = 4, τ (σ5 ) = 2, et τ (σ3 ) = 5. D'où
(2) Déterminer τ −1 ◦ σ −1 (E ) ainsi que (σ ◦ τ )−1 (E ); et conclure.
τ ◦ σ(E ) = {1, 3, 5, 4, 2}. (3) Déterminer τ ◦ σ −1 (E ).
De même on trouve, σ(τ1 ) = 1, σ(τ2 ) = 5, σ(τ3 ) = 3, σ(τ4 ) = 2 et Si on note par η(σ) le nombre des interchanges demandés pour atteindre la
σ(τ5 ) = 4. Donc, permutation σ alors on dénit la signature de la permutation σ, notée ε(σ)
σ ◦ τ (E ) = {1, 5, 3, 2, 4}. par
ε(σ) = (−1)η(σ) .
On peut aussi déterminer l'inverse d'une permutation σ ∈ Gn (E ) sur Par exemple, la signature des permutations σ et τ dénies dans l'exercice
l'ensemble ni E = {xi }i=n
i=1 par l'équation σ(xi ) = σi ⇔ xi = σ (σi ) pour
−1
précédent est ε(σ) = ε(τ ) = (−1)2 = 1. Ainsi que ε(τ ◦ σ) = ε(τ )ε(σ).
chaque i = 1, · · · n.
40 / 140
▲
Déterminant d'une matrice Ainsi, on laisse au titre d'exercice, en utilisant les propriétés présentées
ci-dessus sur les permutations, de démontrer les propriétés suivantes
Dénition au sens de Leibniz P1. L'application ψ : Kn × · · · × Kn → K donnée par
Soit A = [ai,j ] ∈ Mn (K), on dénit le déterminant de A, noté |A|, par ψ(a∗1 , a∗2 , · · · , a∗n ) = |A| avec A = [a∗i ]i=n
i=1 ∈ Mn (K)
X n
Y est n−linéaire alternée.
|A| = ε(σ) ai,σ(i) ;
σ∈Gn (E ) i=1
P2. Pour tout A ∈ Mn (K) et tout α ∈ K on a |αA| = αn |A|.
P3. Pour tout A ∈ Mn (K) on a |AT | = |A|.
avec E = {1, 2, · · · , n}. P4. Pour tous A, B ∈ Mn (K) on a |AB| = |A||B|.
Par exemple, pour n = 2, E = {1, 2} alors on a deux permutations P5. A ∈ Mn (K) est inversible si et seulement si |A| =
̸ 0; deplus
σ(E ) = {1, 2} et τ (E ) = {2, 1}. Ainsi, pour tout A = [ai,j ] ∈ Mn (K) on a |A−1 | = |A|−1 .
a1,1 a1,2
P6. Pour tout A ∈ Mn (K) on a |A| = |A|.
|A| := = (−1)0 a1,1 a2,2 + (−1)1 a1,2 a2,1 = a1,1 a2,2 − a1,2 a2,1 .
a2,1 a2,2

41 / 140 42 / 140
▲ ▲
Déterminant d'une matrice 2 × 2 partition-

née
Exercice : Matrice de permutation Soit A ∈ Mn (K) partitionnée, i.e.
Soit B = {ei } la base canonique de Kn (n ≥ 1), i.e. In = [ei ]i=n
i=1 est

A11 A12

la matrice identité. Une matrice de permutation est dénie par P = A=
A21 A22
i=1 pour une telle permutation σ ∈ Gn (E ) donnée.
[eσ(i) ]i=n
1 Calculer |P| et déduire que P est inversible.
où A11 ∈ Mn1 (K), A22 ∈ Mn2 (K), A12 ∈ Mn1 ,n2 (K) et
A21 ∈ Mn2 ,n1 (K). On a démontré dans l'exercice 5 que si A11 est inversible
2 Démontrer que l'inverse de P est P −1 = P T . alors A admet une décomposition LDU, i.e.
3 Soit A = [ai,j ] ∈ Mn (R) montrer que PA = [aσ(i),j ] et AP = [ai,σ(j) ]. A = LDU
avec 1
A−

In1 Θn1 ,n2 In1 11 A12
L := 1 , et U :=
A21 A−11 In2 Θn2 ,n1 In2
et
A11 Θn1 ,n2
D := .
Master Statistique et Econométrie Θn2 ,n1 F Master Statistique et Econométrie
43 / 140 44 / 140
▲ ▲
avec F le complément de Schur de A11 . Donc Exercices

|A| = |LDU| = |L||D||U|; Comme complément du cours on considère les exercices suivants
et puisque L et U sont deux matrices triangulaires ayant 1 dans la Exercice 1.
diagonale principale alors |L| = |U| = 1. Par conséquent, |A| = |D|. Or
puisque D est une matrice diagonale par blocs alors |D| = |A11 ||F |. D'où Soient A, B deux matrices carrées d'ordre n et m, respectivement, et soit
C une matrice de taille (n, m). Calculer les déterminants des matrices
|A| = |A11 ||F | = |A11 ||A22 − A21 A− 1
11 A12 |.
suivantes
A C A Θn,m
H= et H ′ = T .
Notez qu'on peut démontrer d'une manière similaire que si A22 est Θm,n B C B
inversible alors |A| = |A22 ||G |; où G est le complément de Schur de A22 ;
i.e. Exercice 2.
−1
|A| = |A22 ||A11 − A12 A22 A21 |. Soient A ∈ Mn (K) inversible, u, v ∈ Kn , et λ ∈ K. Calculer le détermi-
nant de (A + λuv T ).

45 / 140 46 / 140
▲ ▲
La théorie spectrale des matrices et réduction
Valeurs propres et vecteurs propres

Dénition Remarquez que ;
On dit que λ ∈ K est une valeur propre d'une matrice A ∈ Mn (K) s'il Si λ est une valeur propre d'une matrice A ∈ Mn (K) alors on note
existe un vecteur non nul v ∈ Kn tel que dλ := dim Eλ (A) et on a dλ ≥ 1, car Eλ contient au moins un vecteur propre
associé à λ. dλ est dit la multiplicité géométrique de λ.
Av = λv . Si λ1 et λ2 sont deux valeurs propres distinctes d'une matrice A ∈ Mn (K)
alors Eλ1 (A) ∩ Eλ2 (A) = {0Kn }. Par conséquent, F = Eλ1 (A) ⊕ Eλ2 (A) est
Et v est appelé un vecteur propre associé à la valeur propre λ. Ainsi, un sous-espace vectoriel de Kn de dimension dλ1 + dλ2 .
on désigne par SpK (A) l'ensemble des valeurs propre de A et est dit le
spectre de A.
Les vecteurs propres associés à une valeur propre λ d'une matrice
A ∈ Mn (K) sont les vecteurs qui engendre le sous-espace vectoriel
Eλ (A) := ker(A − λIn ), appelé le sous-espace propre de A associé à la
valeur propre λ.
47 / 140 48 / 140
▲ ▲
Exercice et proposition
Proposition et Dénition Soit M ∈ Mn (K). Montrer que M et M T ont les mêmes valeurs
propres ; i.e. SpK (M) = SpK (M T ).
λ ∈ K est une valeur propre d'une matrice A ∈ Mn (K) si et seulement
Montrer que les valeurs propres d'une matrice triangulaire sont ses
si λ est une racine du polynôme χA (x) = |A − xIn |. Le polynôme χA est éléments de la diagonale principales.
dit le polynôme caractéristique de la matrice A.
Soient A ∈ Mm,n (K) et B ∈ Mn,m (K). Montrer que les matrices AB et
Remarquer que χA est bien un polynôme de degré n d'après la dénition du BA ont les mêmes valeurs propres non nulles. Ind. Pensez à la matrice
déterminant. Pour la démonstration de la proposition :
In B
λ est une valeur propre de A ∈ Mn (K) équivalent à l'existence un vecteur A λIm
, λ ∈ K∗ .
non nul v tel que (A − λIn )v = 0Kn ce qui est équivalent à (A − λIn ) n'est
pas inversible ce qui est équivalent à χA (λ) = 0. Déduire que AAT et AT A ont les mêmes valeurs propres non nulles pour
toute matrice A ∈ Mm,n (K).

49 / 140 50 / 140
▲ ▲
La théorie spectrale des matrices et réduction La théorie spectrale des matrices et réduction
Matrices semblables et équivalentes Propriétés et remarques

Deux matrices semblables sont équivalentes mais la réciproque n'est pas
vraie.
Dénitions Deux matrices semblables représentent le même endomorphisme d'un espace
vectoriel muni de deux bases diérentes et P est la matrice de passage d'une
On dit que deux matrices A ∈ Mn (K) et B ∈ Mn (K) sont semblables, base à l'autre. Cependant, deux matrices équivalentes représentent la même
et on note A ≃ B, si et seulement s'il existe une matrice inversible application linéaire entre deux espaces vectoriels (qui peuvent être diérents)
P ∈ GLn (K) telle que A = PBP −1 .
et Q est la matrice de passage dans l'espace d'arrivé et P celle pour l'espace
On dit que deux matrices A ∈ Mm,n (K) et B ∈ Mm,n (K) sont de départ.
équivalentes, et on note A ∼ B, si et seulement s'il existe deux matrices les relations ≃ et ∼ sont des relations d'équivalence.
Q ∈ GLm (K) et P ∈ GLn (K) telles que A = QBP −1 .
Deux matrices semblables ont même polynôme caractéristique, même trace
et même rang. Par conséquent, ont même valeurs propres. Cependant, les
matrices équivalentes de même ordre peuvent avoir des polynômes
caractéristiques diérents.

51 / 140 52 / 140
▲ ▲
Théorème
Exercice Toute matrice A ∈ Mn (C) est trigonalisable. i.e. A est semblable à une
matrice triangulaire.
Montrer que que toute matrice triangulaire inférieure est semblable à
une matrice triangulaire supérieure. Remarquez que les éléments de la diagonale principale de la matrice
Montrer que les valeurs propres d'une matrice triangulaire sont triangulaire semblable à A ∈ Mn (C) sont exactement les valeurs propres de
exactement les éléments de sa diagonale principale. A.
La preuve de ce théorème ainsi que la construction de la base dans laquelle
une matrice donnée est triangulaire peut être obtenue en utilisant le dernier
résultat prouvé dans la section des sous-espaces caractéristiques.
Cependant, ici on propose un raisonnement par récurrence.

53 / 140 54 / 140
▲ ▲
Preuve
Pour n = 1 on a A = [a] ∈ M1 (C) est trivialement trigonalisable. 1 0TCn

Q=
Supposons que pour un certain entier n ≥ 1 une matrice A ∈ Mn (C) est 0Cn P
trigonalisable et montrons qu'une matrice d'ordre n + 1 est trigonalisable.
alors on obtient
Soit M ∈ Mn+1 (C), et puisque C est algébriquement clos alors M a
(n + 1) valeurs propre. Soit λ ∈ SpC (A) et soit v0 ∈ Eλ (A) alors d'après le 1 0TCn wT 1 0TCn λ wT P

λ
Q −1 M ′ Q = = .
théorème de base incomplète il existe (vk )nk=1 ∈ Cn+1 tels que 0Cn P −1 0Cn A 0Cn P 0Cn T
B = {vk }nk=0 est une base de Cn+1 ; pour laquelle M est semblable à la
matrice Donc M ′ est semblable à une matrice triangulaire supérieure et par
λ wT conséquent M est trigonalisable.

M′ = , où A ∈ Mn (C).
0Cn A
Puisque A ∈ Mn (C) est trigonalisable c'est à dire il existe P ∈ GLn (C)
telle que A = PTP −1 où T est triangulaire supérieure, et si on pose

55 / 140 56 / 140
▲ ▲
Polynôme annulateur d'une matrice carrée
Dénition Exercice
On dit qu'un polynôme p ∈ K[X ] est un polynôme annulateur d'une Soit p ∈ K[X ].
matrice carrée A ∈ Mn (K) si et seulement si p(A) = Θn . Montrer que si λ est une valeur propre de A ∈ Mn (K) alors µ = p(λ)
On note par A(A) l'ensemble des polynômes annulateur de la matrice A. est une valeur propre de M = p(A).
Notez que si p(X ) = mk=0 ck X est un polynôme alors l'image d'une
k Montrer que si A ≃ B alors p(A) ≃ p(B).
P
matrice A ∈ Mn (K) par p est une matrice carrée dénie par
m
X
p(A) = ck Ak ,
k=0
avec A0 = In .
57 / 140 58 / 140
▲ ▲
Polynôme minimal
Proposition
Toute matrice A ∈ Mn (K) admet un polynôme annulateur.
Si p ∈ K[X ] est un polynôme annulateur d'une matrice A ∈ Mn (K)
alors toute valeur propre de A est une racine de p. i.e.
p(A) = Θn =⇒ ∀λ ∈ SpC (A), p(λ) = 0.
Dénition
On appelle le polynôme minimal d'une matrice A ∈ Mn (K), le polynôme
La réciproque n'est pas vraie en général. unitaire de plus petit degré qui annule A, noté πA .
Si A ≃ B alors p est un polynôme annulateur de A si et seulement si p
est un polynôme annulateur de B.

59 / 140 60 / 140
▲ ▲
Proposition
Soit πA le polynôme minimal d'une matrice A ∈ Mn (K), alors toute
Proposition racine de πA est une valeur propre de A.
Le polynôme minimal πA d'une matrice carrée A divise tout polynôme
annulateur de A. i.e. ∀p ∈ A(A) on a πA |p. En eet, soit λ ∈ K une racine du polynôme minimal πA , alors il existe un
polynôme q ∈ K[X ] de degré inférieur strictement au degré de πA tel que
πA (X ) = (X − λ)q(X ), ainsi on a (A − λIn )q(A) = Θn . Supposons que λ
n'est pas une valeur propre de A alors (A − λIn ) est inversible et par
conséquent q(A) = Θn ce qui est absurde. D'où λ ∈ SpK (A).

61 / 140 62 / 140
▲ ▲
Théorème de Cayley-Hamilton
Preuve
Le polynôme caractéristique d'une matrice A ∈ Mn (C) est annulateur
de A. i.e. pour tout A ∈ Mn (C) on a χA (A) = Θn . Il existe plusieurs sorte de preuve du théorème de Cayley-Hamilton dans
diérentes littératures ; cependant, ici on va présenter une preuve simple et
Par conséquent, on déduit que rapide par récurrence. Tout d'abord, on a déjà démontré que toute matrice
dans C est trigonalisable et aussi deux matrices semblables ont même
Corollaire polynôme caractéristique. Ainsi, si T est une matrice triangulaire
Le polynôme minimal πA d'une matrice A ∈ Mn (C) divise le polynôme supérieure semblable à A c'est à dire il existe Q ∈ GLn (C) telle que
caractéristique χA . A = QTQ −1 , alors on a χA (X ) = χT (X ) et par suite
Par conséquent, si on désigne par mλ la multiplicité de la valeur propre λ χA (A) = χT (M) = QχT (T )Q −1 .
dans le polynôme caractéristique d'une matrice A ∈ Mn (C) (appelée la D'où χA (A) = Θn si et seulement si χT (T ) = Θn . Maintenant, pour une
multiplicité algébrique) alors on a matrice triangulaire T = [a] de taille 1 son polynôme caractéristique est
Y trivialement annulateur. Supposons que le polynôme caractéristique d'une
πA (X ) = (x − λ)αλ ,
matrice triangulaire supérieure T ∈ Mn (C) pour un certain n ≥ 1 est
λ∈SpC (A)
annulateur de T et montrons que ça reste vrai pour une matrice
où 1 ≤ αλ ≤ mλ . triangulaire supérieure T ′ ∈ Mn+1 (C).
63 / 140 64 / 140
▲ ▲
La matrice T ′ s'écrit sous la forme
wT Les Sous-espaces caractéristiques

λ
T′ =
0Cn T
donc χT ′ (X ) = (X − λ)χT (X ); et par conséquent,
Dénition
χT ′ (T ′ ) = (T ′ − λIn+1 )χT (T ′ ).
Soient A ∈ Mn (K) et λ ∈ SpK (A). Le sous-espace
Puisque
Eλc (A) := ker ((A − λIn )αλ ) ,
0 wT uT

χT (λ)
(T ′ − λIn+1 ) = et χT (T ′ ) = où αλ est la multiplicité de λ dans le polynôme minimal πA , est dit
0Cn T − λIn 0Cn χT (T )
le sous-espace caractéristique de A associé à la valeur propre λ et les
où u est un vecteur donné issu du calcul et χT (T ) = Θn par hypothèse de vecteurs de Eλc (A) sont dits les vecteurs propres généralisés associés à la
la récurrence, alors valeur propre λ.
0 wT χT (λ) u T

χT ′ (T ′ ) = = Θn+1 . Notez que Eλ (A) ⊂ Eλc (A). C'est à dire, Eλc (A) contient les vecteurs
0Cn T − λIn 0Cn Θn propres associés à la valeur propre λ. Et par conséquent, dλ ≤ dim Eλc (A).
Ce qu'il fallait démontrer.
65 / 140 66 / 140
▲ ▲
Preuve
On rappelle que si M ∈ Mn (K) alors pour tout n ∈ N∗
Proposition ker(M n ) ⊂ ker(M n+1 ).
Soit A ∈ Mn (K) et λ une valeur propre de A de multiplicité algébrique Ainsi, on a
mλ alors on a
Eλc (A) ⊂ ker (A − λIn )αλ +1

Eλc (A) est stable par A. i.e. pour tout v ∈ Eλc (A) on a Av ∈ Eλc (A).
et par suite, pour tout v ∈ Eλc (A) on a
Eλc (A) = ker ((A − λIn )mλ ) .
(A − λIn )αλ +1 v = 0Kn ⇔ (A − λIn )αλ Av = λ(A − λIn )αλ v = 0Kn .
Donc Av ∈ Eλc (A), d'où la stabilité de Eλc (A) par A.

On rappelle l'identité de Bézout : deux polynômes p, q ∈ K[X ] sont
premiers entre eux si et seulement s'il existe r , s ∈ K[X ] tels que
r (X )p(X ) + s(X )q(X ) = 1.

67 / 140 68 / 140
▲ ▲
Le polynôme minimal de A s'écrit sous la forme πA (X ) = (X − λ)αλ q(X )
et par suite ker (A − λIn )αλ +1 ⊂ Eλc (A). Ainsi, on déduit que

tel que q ∈ K[X ] et q(λ) ̸= 0. Puisque q et (X − λ) sont premiers entre
eux alors d'après l'identité de Bézout il existe deux polynômes r , s ∈ K[X ] Eλc (A) = ker (A − λIn )αλ +1 .

tels que
r (X )(X − λ) + s(X )q(X ) = 1 Et par récurrence, pour tout entier k ≥ αλ , on a
ce qui implique en multipliant par (X − λ)αλ
Eλc (A) = ker (A − λIn )k .
αλ + 1 αλ αλ
r (X )(X − λ) + s(X )q(X )(X − λ) = (X − λ) ,
En particulier, puisque mλ ≥ αλ alors
c'est à dire,
r (X )(X − λ)αλ +1 + s(X )πA (X ) = (X − λ)αλ .
Notez qu'on l'identité de Bézout joue un rôle très important dans l'algèbre
D'où et en particulier dans l'algèbre linéaire. Un autre exemple d'utilisation est
r (A)(A − λIn )αλ +1 = (A − λIn )αλ ; donné dans le lemme suivant.

69 / 140 70 / 140
▲ ▲
La théorie spectrale des matrices et réduction La théorie spectrale des matrices et réduction
Lemme des noyaux Preuve

Puisque p et q sont premiers entre eux alors d'après l'identité de Bézout, il
Lemme des noyaux existe deux polynôme r , s ∈ K[X ] tels que
Soient p et q deux polynômes de K[X ] premiers entre eux et A ∈ Mn (K),
r (X )p(X ) + s(X )q(X ) = 1.
alors on a
ker(p(A)q(A)) = ker(p(A)) ⊕ ker(q(A)). Ainsi, pour toute matrice A ∈ Mn (K) on a
Corollaire : Généralisation r (A)p(A) + s(A)q(A) = In .

Soit (pk )ℓk=1 ∈ K[X ] une famille nie des polynômes deux à deux pre- Si v ∈ ker(p(A)) ∩ ker(q(A)) alors
miers entre eux et A ∈ Mn (K), alors
v = r (A)p(A)v + s(A)q(A)v = 0Kn ;
ℓ ℓ
!
Y M
ker pk (A) = ker(pk (A)) c'est à dire
k=1 k=1 ker(p(A)) ∩ ker(q(A)) = {0Kn }.
71 / 140 72 / 140
▲ ▲
En général, pour tout v ∈ Kn on a Proposition
Soient A ∈ Mn (K) et λ une valeur propre de A de multiplicité algébrique
v = r (A)p(A)v + s(A)q(A)v := vp + vq mλ , alors
dim Eλc (A) = mλ .
où vp = r (A)p(A)v et vq = s(A)q(A)v . Donc si v ∈ ker(p(A)q(A)) alors
q(A)vp = r (A)p(A)q(A)v = 0Kn et p(A)vq = s(A)q(A)p(A)v = 0Kn ; En eet, d'après la proposition précédente on a
c'est à dire vp ∈ ker(q(A)) et vq ∈ ker(p(A)). D'où
Comme λ est une racine du polynôme caractéristique de multiplicité mλ
ker(p(A)q(A)) = ker(p(A)) + ker(q(A)). alprs il existe q ∈ K[X ] tel que q(λ) ̸= 0 et
Ce qui complète la preuve du lemme. χA (X ) = (X − λ)mλ q(X ).
Remarquez que si w , z ∈ K[x] alors w (A)z(A) = z(A)w (A) pour toute Il est clair que (X − λ)mλ et q(X ) sont premiers entre eux, alors d'après le
matrice carrée A. lemme des noyaux on a
Pour le corollaire il sut d'utiliser la récurrence et le lemme.
Kn = Eλc (A) ⊕ ker(q(A)).
73 / 140 74 / 140
▲ ▲
Soit m = dim Eλc (A) alors dim ker(q(A)) = n − m et soient B1 := {vk }m k=1
et B2 := {vk }nk=m+1 des bases de Eλc (A) et ker(q(A)), respectivement, D'autre part on a
puisque Eλc (A) et ker(q(A)) sont stables par A, alors A est semblable (via
(M − λIm )mλ

Θm,n−m
la matrice de passage P = [v1 , · · · , vn ]) à la matrice (A′ − λIn )mλ =
Θn−m,m (N − λIn−m )mλ
M Θm,n−m
A′ = P −1 AP = .
Θn−m,m N donc
Par conséquent, (M − λIm )mλ = Θm .
χA (X ) = χM (X )χN (X ). Ce qui montre que la seule valeur propre de M est λ. De la même manière,
Notez que le degré de χM est m et λ est la seule valeur propre de M. En puisque
eet, puisque q(A)vk = 0Kn ∀k ∈ [|m + 1, n|]
(A − λIn )mλ vk = 0Kn , ∀k ∈ [|1, m|] alors d'après la stabilité de Eλc (A) et ker(q(A)) par A on a
alors d'après la stabilité de Eλc (A) et ker(q(A)) par A on a
q(M) Θm,n−m q(M) Θm,n−m
(A′ − λIn )mλ = P −1 (A − λIn )mλ P q(A′ ) = P −1 q(A)P ⇔ = .
Θn−m,m q(N) Θn−m,m Θn−m
Θm Θm,n−m
=
Θn−m,m (N − λIn−m )mλ
75 / 140 76 / 140
▲ ▲
Puisque C est algébriquement clos alors le polynôme minimal de toute
matrice complexe est scindé et donc on déduit la proposition suivante
Proposition
Ce qui montre que q est un polynôme annulateur de N; et q(λ) ̸= 0 alors λ
Soit A ∈ Mn (C) alors
n'est pas une valeur propre de N d'où
M
Cn = Eλc (A).
χM (X ) = (X − λ)mλ et par conséquent χN (x) = q(x).
λ∈SpC (A)
donc m = mλ ; ce qu'il fallait démontrer.

Ainsi que, X
n= mλ ;
λSpC (A)
mλ désigne, dans tout ce cours, la multiplicité algébrique de la valeur

propre λ.

77 / 140 78 / 140
▲ ▲
Matrice diagonalisable
Exercice
Dénition Démontrer la proposition précédente.
On appelle une matrice A ∈ Mn (K) diagonalisable toute matrice sem-
blable à une matrice diagonale. Exercice
Soit M ∈ M2n (R) (n ≥ 1) donnée par
Proposition
3In uu T

Soit matrice A ∈ Mn (K), alors les assertions ci-dessous sont équiva- M=
lentes : uu T In
1 A est diagonalisable. où u ∈ Rn
2 Le polynôme caractéristique χA est scindé et dim Eλ (A) = mλ pour tout Montrer que M est semblable à une matrice diagonale à déterminer.
λ ∈ SpK (A).
3 Le polynôme minimal πA est scindé et à racines simples.

79 / 140 80 / 140
▲ ▲
La décomposition en valeurs singulières des matrices (DVS)
Dénition
Produit scalaire et norme associée
Soit E un K−espace vectoriel de dimension nie muni d'un produit sca-
laire,
Dénition Si K = R, E est dit un espace euclidien et le produit scalaire associé est
Soit E une K−espace vectoriel de dimension nie n ≥ 1. On appelle réel.
produit scalaire sur E , toute application, noté ⟨·, ·⟩, de E × E dans K Si K = C, E est dit un espace hermitien et le produit scalaire associé
vériant : est complexe.
Pour tous x, y , z ∈ E et λ ∈ K on a
⟨x + λy , z⟩ = ⟨x, z⟩ + λ⟨y , z⟩.
Dénition
On appelle une norme sur un K−espace vectoriel E , et notée ∥ · ∥, toute
Pour tous x, y ∈ E , ⟨x, y ⟩ = ⟨y , x⟩ application de E dans R+ vériant
Pour tout x ∈ E , ⟨x, x⟩ ≥ 0. Pour tout x ∈ E et λ ∈ K, on a ∥λx∥ = |λ|∥x∥.
⟨x, x⟩ = 0 =⇒ x = 0E . Pour tous x, y ∈ E on a ∥x + y ∥ ≤ ∥x∥ + ∥y ∥
∥x∥ = 0 ⇐⇒ x = 0E .
81 / 140 82 / 140
▲ ▲
vecteurs orthogonaux et l'orthogonal d'un

Exercice ensemble
Soit ⟨·, ·⟩ un produit scalaire sur K−un espace vectoriel E . Dans tout ce qui suit E désigne un K−espace vectoriel de dimension n
1 (L'inégalité de Cauchy-Schwarz) Montrer que pour tous x, y ∈ E on a muni d'un produit scalaire ⟨·, ·⟩.
|⟨x, y ⟩| ≤ ∥x∥∥y ∥.
Dénition
où ∥ · ∥2 = ⟨·, ·⟩ ind. penser à utiliser, pour y ̸= 0E , le vecteur On dit que deux vecteurs x, y ∈ E sont orthogonaux si et seulement si
⟨x, y ⟩ = 0.
⟨x, y ⟩
z =x− On qu'une famille de vecteurs non nuls {vk }m
k=1 est une famille
y.
∥y ∥2
orthogonale si ses vecteurs sont deux à deux orthogonaux ; i.e.
Déduire que l'application ∥x∥ = ⟨x, x⟩ est une norme sur E ; on
p
2
0 si i ̸= j
(
l'appelle norme associée au produit scalaire. ⟨vi , vj ⟩ = ∀i, j ∈ [|1, m|].
∥vi ∥2 si i = j.
Si de plus ∥vk ∥ = 1 pour tout i ∈ [|1, m|], on dit que la famille {vk }m
k=1
est orthonormée.
83 / 140
▲
Dénition
Si X est un ensemble non vide de E , on appelle l'orthogonal de X , noté Proposition : Identité de Pythagore
X ⊥ , l'ensemble Soit v1 et v2 deux vecteurs non nuls orthogonaux de E alors on a
X ⊥ = {x ∈ E , ⟨x, y ⟩ = 0, ∀y ∈ X }. ∥v1 + v2 ∥2 = ∥v1 ∥2 + ∥v2 ∥2 .
En général, soit {vk }m

k=1 une famille orthogonale de E alors
Exercice
2
Soient X et Y deux ensembles non vides de E , m m
∥vk ∥2 .
X X
vk =
Montrer que X ⊥ est un sous-espace vectoriel de E . k=1 k=1
Montrer que X ⊂ Y implique Y ⊂ X .
⊥ ⊥
⊥
Montrer que X ⊂ X ⊥ est l'égalité découle si et seulement si X est Exercice
un sous espace vectoriel de E . Montrer l'identité de Pythagore.
Montrer que E ⊥ = {0E } et {0E }⊥ = E .

85 / 140 86 / 140
▲ ▲
Procédé d'orthonormalisation de Gram-

Proposition Schmidt
Toute famille orthogonale {vk }m
k=1 est libre. Ainsi on déduit que tout K−espace vectoriel E de dimension nie muni
En eet, soient λ1 , · · · , λm ∈ K alors on a d'un produit scalaire admet une base orthonormée. En eet, tout K−
espace vectoriel de dimension nie n ≥ 1 est muni d'une base B = {uk }nk=1
alors on peut construire une base orthonormée de E , notée Bo = {ek }nk=1 ,
* m +
= 0E ⇒ ∀j ∈ [|1, m|], =0
Pm X
k=1 λk vk λk vk , vj à partir de la base B en utilisant un algorithme dit l'algorithme ou procédé
m
k=1 de Gram-Schmidt. Ce procédé est donné comme suit :
⇒ ∀j ∈ [|1, m|], λk ⟨vk , vj ⟩ = 0
X
v1
v1 = u1 → e1 = ∥v1 ∥
k=1 v2 = u2 − ⟨u2 , e1 ⟩e1 → e2 = v2
⇒ ∀j ∈ [|1, m|], λj ∥vj ∥2 = 0 ∥v2 ∥
v3
v3 = u3 − ⟨u3 , e1 ⟩e1 − ⟨u3 , e2 ⟩e2 → e3 =
⇒ ∀j ∈ [|1, m|], λ j = 0. ∥v3 ∥
.. .. .
. . → ..
n−1
X
vn
vn = un − ⟨un , ek ⟩ek → en = ∥vn ∥ .
k=1
87 / 140 88 / 140
▲ ▲
Le supplémentaire orthogonal d'un sous-

espace vectoriel
Proposition
Proposition
Soit Bo = {ek }nk=1 une base orthonormée de E alors pour tout v ∈ E
on a Tout sous-espace vectoriel F de E admet un sous-espace supplémentaire
X n orthogonal de E . i.e.
v= ⟨v , ek ⟩ek E = F ⊕ F ⊥.
k=1
et n En eet, soit F un sous-espace vectoriel de E de dimension m et soit
k=1 une base de F alors en utilisant le procédé de
2 2 BF = {uk }m
X
∥v ∥ = |⟨v , ek ⟩| .
k=1 Gram-Schmidt on peut construire une base orthonormée BoF = {ek }m k=1 de
F . Ainsi, par le théorème de la base incomplète F admet un supplémentaire
G ayant la base orthonormée BoG = {ek }nk=m+1 et Bo = BoF ∪ BoG est
une base orthonormée de E . Donc, F et G sont supplémentaires et puisque
⟨vF , vG ⟩ = 0 pour tous vF ∈ F et vG ∈ G alors G est orthogonal à F ; i.e.
G = F ⊥.
89 / 140
▲
La décomposition en valeurs singulières des matrices (DVS) La décomposition en valeurs singulières des matrices (DVS)
L'écriture matricielle d'un produit scalaire l'adjoint d'une matrice

Soit B = {ek }nk=1 une base de E . Donc pour tous x, y ∈ E on a D'une manière générale, l'adjoint d'une matrice A ∈ Mm,n (K) est l'unique
T
n n
matrice A∗ ∈ Mn,m (K) dénie par A∗ = A et en utilisant les propriétés
et y =
X X
x= xj ej yi ei données dans les chapitres précédents on peut démontrer que
j=1 i=1
Pour tout λ ∈ K on a λ∗ = λ.
ainsi, on note par xc et yc les matrices de x et y dans la base B (i.e. les
Pour tout A ∈ Mm,n (K) (A∗ )∗ = A.
vecteurs coordonnés de x et y dans la base B ) :
Pour tous A ∈ Mm,n (K) et B ∈ Mn,m (K) on a (AB)∗ = B ∗ A∗ .
T
xc = [x1 , x2 , · · · , xn ] et yc = [y1 , y1 , · · · , yn ] .
T
* n n
+ n
Pour tout A ∈ Mn (K) on a |A∗ | = |A|.
Pour tout A ∈ Mn (K) on a Tr(A∗ ) = Tr(A).
X X X
⟨x, y ⟩ = xj ej , yi ei = xj yi ⟨ej , ei ⟩ = yc∗ Mxc ;
j=1 i=1 i,j=1 Soit A ∈ Mn (K) alors si λ est une valeur propre de A alors λ est une valeur
où u ∗ = u T désigne pour tout u ∈ Kn l'adjoint (ou transconjugué) du propre de A∗ .
vecteur u et M = [⟨ej , ei ⟩] ∈ Mn (K) est dite la matrice associée au ... etc.
produit scalaire dans la base B.
91 / 140 92 / 140
▲ ▲
Donc on déduit les propriétés de la matrice M = [⟨ej , ei ⟩] associée au
produit scalaire de E :
La matrice M est auto-adjointe ; i.e. M ∗ = M . En eet, puisque pour tous
Quatre sous-espaces fondamentaux
x, y ∈ E on a On munit Kp par le produit scalaire canonique ⟨x, y ⟩ = y ∗ x pour tous
⟨x, y ⟩∗ = ⟨x, y ⟩ = ⟨y , x⟩ x, y ∈ Kp ainsi la base canonique de Kp est une base orthonormale. Et on a
alors
Théoreme fondamental de l'algèbre linéaire
(yc∗ Mxc )∗ = xc∗ Myc ⇐⇒ xc∗ M ∗ yc = xc∗ Myc ⇐⇒ M = M ∗ .
Soit A ∈ Mm,n (K) alors on a
Notez que, si M ∈ Mn (R) alors M = M ∗ = M T on dit que M est
symétrique et si M ∈ Mn (C) on dit que M = M est hermitienne.
∗ (ker(A))⊥ = Im(A∗ ) et (Im(A))⊥ = ker(A∗ ).
M est positive ; i.e. pour tout xc ∈ Kn on a xc∗ Mxc ≥ 0. En eet, puisque le
produit scalaire est positif alors pour tout x ∈ E on a
Par conséquent,
xc∗ Mxc = ⟨x, x⟩ ≥ 0. Kn = ker(A) ⊕ Im(A∗ ) et Km = ker(A∗ ) ⊕ Im(A).
M est dénie, i.e. xc∗ Mxc = 0 ⇐⇒ xc = 0Kn car le produit scalaire est déni. Ainsi, on déduit le théorème du rang.
Si B est une base orthonormée de E alors M = In . n = dim(ker(A)) + rg(A) et m = dim(ker(A∗ )) + rg(A).
93 / 140 94 / 140
▲ ▲
Preuve Projecteur orthogonal
x ∈ ker(A) ⇐⇒ ∀y ∈ Km , y ∗ Ax = 0 Dénition
⇐⇒ ∀y ∈ Km , (A∗ y )∗ x = 0 On appelle un projecteur (ou une projection) tout endomorphisme p :
E −→ E idempotent ; i.e. vériant p ◦ p = p. Ainsi, sa matrice associée
⇐⇒ x ∈ (Im(A∗ ))⊥ .
P ∈ Mn (K) est dite la matrice de la projection et vériant P 2 = P.
Donc
ker(A) = (Im(A∗ ))⊥ , Proposition et Dénition
ce qui est équivalent, puisque le noyau et l'image d'une matrice sont des Si p est un projecteur de E alors on a
sous-espaces vectoriels, à
E = Im(p) ⊕ ker(p).
(ker(A))⊥ = (Im(A∗ ))⊥ = Im(A∗ )
⊥
On dit que p est une projection sur Im(p) parallèlement à ker(p). Si de

Ainsi, plus, (ker(p))⊥ = Im(p) on dit que p est un projecteur orthogonal.
Im(A) = Im((A∗)∗) = (ker(A∗))⊥
95 / 140 96 / 140
▲ ▲
En eet, pour tout x ∈ E on a
x = p(x) + x − p(x)
Théorème
or p(x) ∈ Im(p) et x − p(x) ∈ ker(p) car
Soient F un sous-espace vectoriel de E et x ∈ E , alors
p(x − p(x)) = p(x) − p ◦ p(x) = p(x) − p(x) = 0E ;
min ∥x − y ∥ = ∥x − p(x)∥,
Donc E = Im(p) + ker(p). D'autre part on a y ∈F
x ∈ Im(p) ∩ ker(p) =⇒ p(x) = 0E et ∃y ∈ E , p(y ) = x où p est le projecteur orthogonal sur F ; donc F = Im(p).
=⇒ p(x) = 0E et ∃y ∈ E , p ◦ p(y ) = p(x) En eet, soient x ∈ E et y ∈ F alors on a
=⇒ p(x) = 0E ∃y ∈ E , p(y ) = p(x) = 0E
∥x − y ∥2 = ∥x − p(x) + p(x) − y ∥2
=⇒ x = 0E .
= ⟨x − p(x) + p(x) − y , x − p(x) + p(x) − y ⟩
= ∥x − p(x)∥2 + ∥p(x) − y ∥2 + 2ℜ⟨x − p(x), p(x) − y ⟩
Exercice Puisque p est un projecteur orthogonal sur F alors Im(p) = F et
x − p(x) ∈ ker(p) = F ⊥ donc
Soit p un projecteur de E . Montrer que q = idE − p est un projecteur
de E et ⟨x − p(x), p(x) − y ⟩ = 0 et min ∥p(x) − y ∥ = 0.
Im(p) = ker(q) et ker(p) = Im(q).
y ∈F
Ce qu'il fallait démontrer. Master Statistique et Econométrie

98 / 140
▲
La matrice de la projection orthogonale sur Donc on obtient, pour tout v ∈ Kn ,

un sous espace vectoriel de Kn PF v = Ax = A(A∗ A)−1 A∗ v ,
Soit F un sous-espace vectoriel de Kn de dimension m ∈ [|1, n|] engendré
par la famille de vecteurs {uk }m i.e.
k=1 et on note par PF la matrice de la
projection orthogonale sur F . Pour déterminer la forme explicite de PF on PF = A(A∗ A)−1 A∗
pose A = [u1 , u2 , · · · , um ] ∈ Mn,m (K) alors il est clair que qui est l'expression de la matrice de la projection orthogonale sur le
F = Im(A) = Im(PF ) et que A est de rang plein donc A∗ A est une matrice sous-espace vectoriel F . Remarquez que PF ∈ Mn (K) est une matrice
inversible. Par conséquent, F ⊥ = ker(A∗ ) = ker(PF ). Ainsi, pour tout auto-adjointe et que rg(PF ) = dim F = m.
v ∈ Kn on a PF v ∈ F et v − PF v ∈ F ⊥ donc il existe x ∈ Km tel que
Ax = PF v et A∗ (v − Ax) = 0Km . Or Exercice
A∗ Ax = A∗ v ⇐⇒ x = (A∗ A)−1 A∗ v Soit u un vecteur non nul de Kn . Déterminer la matrice de la projection
orthogonale sur F = vect(u).
qui est dite l'équation normale et elle joue un rôle très importante dans la
statistique ; en particulier, pour eectuer une régression linéaire par la
méthode des moindres carrés. Notez l'unicité de x.
99 / 140 100 / 140
▲ ▲
Par conséquent, on a le système linéaire Y = X β + ε où
X = [xi,j ] ∈ Mn,m+1 (R), β = [β0 , β1 , · · · , βm ]T ∈ Rm+1 et
Application : La régression linéaire par la ε = [ε1 , · · · , εn ]T ∈ Rn sont sous la forme
méthode des moindres carrés
1 x1,1 x1,2 · · · x1,m
     
ε1 β0
Le modèle de régression linéaire est un modèle utilisé dans divers domaines, 1 x2,1 x2,2 · · · x2,m   ε2   β2 
comme en statistiques, en économétrie et en apprentissage automatique, X = . . . .. .  ,  .  et β =  . .
 .. .. .. ..   ..   .. 
     
pour chercher à prédire un phénomène que pour chercher à l'expliquer. En .
général, on cherche à établir une relation linéaire entre une variable, dite 1 xn,1 xn,2 · · · xn,m εn βm
expliquée, et une (ou plusieurs) variables, dites explicatives.
β est dit le vecteur des paramètres du modèle. Ainsi, on dénit la valeur
Soit Y = [y1 , · · · , yn ]T ∈ Rn , où yi est dit une variable expliquée pour
prédite du modèle par Ŷ qui vérie l'équation Ŷ = X β̂, où β̂ est le vecteur
l'individu i ∈ [|1, n|]. Ainsi, chaque yi peut être s'écrit comme une
des paramètres estimés. Donc, on appelle la diérence entre la valeur
combinaison linéaire des variables [xi,j ]j=j=m
0 qui dites explicatives avec observée Y et celle prédite Ŷ par le résidu, i.e. ε̂ = Ŷ − Y . En eet,
xi,0 = 1; plus une erreur que l'on note εi ; i.e. pour chaque individu i on a
m
min ∥ε∥ = minn ∥Y − X β∥ = ∥Y − Ŷ ∥ = ∥ε̂∥.
X β∈R
yi = βj xi,j + εi .
j=0 On remarque que β̂ est la solution au sens des moindres carrés du système
Y = X β.
101 / 140 102 / 140
▲ ▲
Cas particulier : Ajustement ane

Ainsi, d'après ce qui précède, si X est de rang plein alors Étant donné un nuage des points (xi , yi ) (i = 1, · · · , n) résultat de n
observations xi et yi tel que les xi ne sont pas tous égaux. Pour les deux
β̂ = (X T X )−1 X T Y . variables aléatoires x = [xi ]T et Y = [yi ]T , on cherche à déterminer une
droite ajustant le mieux possible le nuage en utilisant la méthode des
D'où moindres carrés et on appelle donc cette droite, la droite des moindres
Ŷ = X β̂ = PX Y , carrés. En général, une telle droite est de la forme Y = X β + ε avec
X = [1, x] ∈ Mn,2 (R); 1 ∈ Rn est le vecteur des éléments 1 et
où PX = X (X T X )−1 X T est la matrice de la projection orthogonale sur
β = [β0 , β1 ]T ∈ R2 Ainsi, la droite des moindres carrés minimise, en
Im(X ). norme, l'erreur ε. Par conséquent et d'après ce qui précède, on cherche à
déterminer la solution, β̂, au sens des moindres carrés du système Y = X β.
i.e.
β̂ = (X T X )−1 X T Y et donc Ŷ = X β̂ = PX Y ,
avec PX = X (X T X )−1 X T .
103 / 140 104 / 140
▲ ▲
Aussi,
Explicitement on a,
 n 
X
yi 
1T 1T 1 1 T x

X X = [1, x] [1, x] = T 1 x = T
T T
 i=1 
; XTY =  .
x 1 x xT x Xn 
 xi yi 
i.e.  n
 i=1
X
 n xi  D'où
XTX =  i=1
 
n n
.
n n n n
 ! ! ! !
x 2
X 
xi2
X X X X X
 x i i  yi − xi xi yj 
i=1 i=1  i=1 i=1 i=1 i=1

 !2 
Puisque les xi ne sont pas tous égaux alors la matrice X T X est inversible  n n 
xi2 −
 X X 
et on a 
 n xi 

β̂ = (X T X )−1 X T Y =  i=1! i=1 !
.
 n n
  
n n n
!
xi2
X X
− xi   X X X 
1
  n xi yj − xi yi 
(X T X )−1 =  i=1n i=1
   
!2  . i=1 i=1
!2i=1
  
n n X  
− n n
xi2 − xi n 
X X  
n xi xi2 −
X X
n xi
 
i=1
i=1 i=1
i=1 i=1
105 / 140
▲
Théorème spectral Propriétés des matrices unitaires

Dénition : matrice unitaire - orthogonale
On dit qu'une matrice U ∈ Mn (K) est unitaire si et seulement si
Soit P ∈ On (K) alors on a
UU ∗ = In et U ∗ U = In . Les vecteurs colonnes de P forment une base orthonormale pour le produit
scalaire canonique de Kn .
En particulier, si K = R on dit que U est une matrice orthogonale.
et désigne par On (K) l'ensemble des matrices unitaires (en particulier Les valeurs propres de P sont de module 1.
orthogonales) d'ordre n. Les vecteurs propres de P sont orthogonaux.
Exercice
Montrer que (On (K), ×) est un groupe et que pour tout P ∈ On (K)
on a | det(P)| = 1 ( le module du déterminant de P ) et déduire que
On (K) ⊂ GLn (K).
107 / 140 108 / 140
▲ ▲
En eet, soit A ∈ Mn (K) une matrice auto-adjointe et soit λ une valeur
On rappelle qu'une matrice A ∈ Mn (K) est auto-adjointe si et seulement
propre de A alors pour un vecteur propre v associé à λ on a
si A∗ = A. Donc, on a le théorème suivant ;
v ∗ (Av ) = (Av )∗ v ⇐⇒ λv ∗ v = λv ∗ v ⇐⇒ λ = λ ⇐⇒ λ ∈ R,
Théorème spectral
car v ∗ v = ∥v ∥2 > 0 (la norme associée au produit scalaire canonique qui a
Soit A ∈ Mn (K) une matrice auto-adjointe alors il existe une matrice
été xé pour Kn ).
P ∈ On (K) et une matrice diagonale D = diag [λ] telles que
λ∈Sp(A)
Proposition 2.
A = PDP ∗ . Les vecteurs propres associés à des valeurs propres distinctes d'une ma-
trice auto-adjointe sont orthogonaux.
i.e. que toute matrice auto-adjointe est diagonalisable.
En eet, Soient λ et µ deux valeurs propres distinctes associées à deux
La démonstration du théorème est basée sur trois propositions importantes :
vecteurs propres v et u, respectivement, d'une matrice auto-adjointe A
Proposition 1. alors on a
Les valeurs propres d'une matrice auto-adjointe sont réelles. u ∗ (Av ) = (Au)∗ v ⇐⇒ λu ∗ v = µu ∗ v ⇐⇒ (λ − µ)u ∗ v = 0 ⇐⇒ u ∗ v = 0
ce qui montre que u et v sont orthogonaux.

109 / 140 110 / 140
▲ ▲
Ce qui implique v ∈ ker(M k ) = ker(M) donc ker(M k+1 ) = ker(M); ce qu'il
Proposition 3. fallait démontrer.
Soit M ∈ Mn (K) une matrice auto-adjointe alors pour tout k ∈ N∗ on On déduit que pour toute valeur propre λ d'une matrice auto-adjointe
a A ∈ Mn (K) on a (A − λIn ) est auto-adjointe car d'après proposition 1
ker(M k ) = ker(M). λ ∈ R et
(A − λIn )∗ = A∗ − λIn = A − λIn .
En eet, par récurrence on a la propriété est vériée pour k = 1; supposons Ainsi, par proposition 3, on déduit que
qu'elle est vériée aussi pour un certain entier k ∈ N∗ et montrons qu'elle Eλc (A) := ker ((A − λIn )αλ ) = ker(A − λIn ) =: Eλ (A).
reste vraie pour k + 1. Donc d'une part, il est clair que
ker(M) ⊂ ker(M k+1 ) pour tout k ∈ N. D'autre part, on a Par conséquent, d'après le chapitre 2, A est diagonalisable ; i.e. il existe
P ∈ GLn (K) et une matrice diagonale D (ayant les valeurs propres de A
v ∈ ker(M k+1 ) =⇒ M k+1 v = 0Kn =⇒ M(M k v ) = 0Kn sur sa diagonale principale) telles que
=⇒ Mw = 0Kn avec w = M k v A = PDP −1 .
=⇒ w ∈ ker(M) ∩ Im(M) =⇒ w = 0Kn ;
Les vecteurs colonnes de P sont les vecteurs propres orthonormés associés
car d'après le théorème fondamental de l'algèbre linéaire on a à les valeurs propres de A classés suivant le même ordre de classement des
Im(M) = (ker(M ∗))⊥ = (ker(M))⊥ . valeurs propres dans D. Notez que d'après proposition 2 les vecteurs
propres associés à les valeurs propres distinctes sont orthogonaux.
111 / 140 112 / 140
▲ ▲
Pour les vecteurs propres associés à la même valeur propre de multiplicité En eet, soit A ∈ Mn (K) une matrice auto-adjointe, alors
mλ > 1 on utilise le procédé d'orthonormalisation de Gram-Schmidt pour ⇒ . Si A est positive alors pour tout x ∈ Kn on a x ∗ Ax ≥ 0 donc,
obtenir enn P ∈ On (K). Remarquez que, en particulier, si v est un vecteur propre associé à une telle
A∗ = A ⇐⇒ (PDP −1 )∗ = PDP −1 ⇐⇒ (P ∗ )−1 DP ∗ = PDP −1 ; valeur propre λ on a
donc P −1 = P ∗ ; ce qui complète la démonstration du théorème spectral. v ∗ Av = λ∥v ∥2 ≥ 0 =⇒ λ ≥ 0.
De même si A est dénie-positive alors pour tout
Corollaire
x ∈ Kn \ {0Kn } on a x ∗ Ax > 0 donc en particulier, pour un
Soit A ∈ Mn (K) une matrice auto-adjointe alors : vecteur propre v associé à une telle valeur propre λ on a
A est positive si et seulement si les valeurs propres de A sont positives.
v ∗ Av = λ∥v ∥2 > 0 =⇒ λ > 0.
A est dénie-positive si et seulement si les valeurs propres de A sont
strictement positives. Par conséquent, d'après le théorème spectral on a
1 1 1 1 ∗
D'une manière équivalente, une matrice A ∈ Mn (K) auto-adjointe est

A = PDP ∗ = PD 2 D 2 P ∗ = PD 2 PD 2 = B ∗ B;
positive (resp. dénie-positive) si et seulement s'il existe une matrice
B ∈ Mn (K) (resp. B ∈ GLn (K)) telle que 1 ∗

avec B = PD 2 . Notez que si les valeurs propres sont
A = B ∗ B.
strictement positives alors B est inversible.
113 / 140 114 / 140
▲ ▲
⇐ . Si les valeurs propres de A sont positives alors d'après le Décomposition en valeurs singulières
théorème spectral on a (DVS)
1 1
A = PDP ∗ = PD 2 D 2 P ∗ = B ∗ B;
Théorème (DVS)
donc pour tout x ∈ Kn on a
Soit A ∈ Mm,n (K) une matrice du rang r ≥ 1, alors il existe deux
x ∗ Ax = x ∗ B ∗ Bx = (Bx)∗ (Bx) = ∥Bx∥2 ≥ 0. matrices S ∈ Om (K) et V ∈ On (K) telles que
En particulier, si les valeurs propres de A sont strictement A = S∆V ∗ ;

positives alors B est inversible et donc pour tout
x ∈ Kn \ {0Kn }, où
Dr Θr ,n−r
∆=
x ∗ Ax = x ∗ B ∗ Bx = (Bx)∗ (Bx) = ∥Bx∥2 > 0. Θm−r ,r Θm−r ,n−r
√
et Dr = diag [ λ] ∈ Mr (K).
λ∈Sp(A∗ A)

115 / 140 116 / 140
▲ ▲
Donc pour tout i, j = 1, · · · , n on a
Preuve si i = j
(
λj
(Avi )∗ (Avj ) = vi∗ A∗ Avj = λj vi∗ vj = λj δi,j = .
Soit A ∈ Mm,n (K) une matrice du rang r ≥ 1; on rappelle que 0 si non
r ≤ min{m, n}, donc la matrice A∗ A ∈ Mn (K) est auto-adjointe positive
du rang r , et par conséquent, elle admet r −valeurs propres strictement Ainsi, on pose pour tout k = 1, · · · , r
positives et n − r valeurs propres nulles. Ainsi, par le théorème spectral il Avk 1
existe une matrice V ∈ On (K) telle que sk = = √ Avk ;
∥Avk ∥ λk
A∗ A = VDV ∗ alors il est claire que la famille {sk }rk=1 est orthonormale et que pour tout
où k ∈ [|1, r |] on a

Dr2 Θr ,n−r

∗ 1 ∗ p
D= . A sk = √ A Avk = λk vk
Θn−r ,r Θn−r ,n−r λk
La matrice unitaire V a la forme concaténée par colonne donc
AA∗ sk =
p
V = [v1 , v2 , · · · , vr , vr +1 , · · · , vn ] avec {vk }rk=1 sont les vecteurs propres λk Avk = λk sk .
orthonormaux associés à les r −valeurs propres strictement positives et Ce qui montre que sk est un vecteur propre associé à la valeur propre
{vk }nk=r +1 sont les vecteurs orthonormaux de ker(A). λk > 0 pour tout k ∈ [|1, r |].
117 / 140 118 / 140
▲ ▲
Finalement, les vecteurs sk avec k ∈ [|r + 1, m|] sont les vecteurs propres
associés à les valeurs propres nulles qui sont des vecteurs orthonormés du
ker(A∗ ). Donc
S = [s1 , s2 , · · · , sr , sr +1 · · · , sm ] ∈ Om (K). Exercice

Déterminer la décomposition en valeurs singulières de la matrice
1 0 −1 1

Terminologie A=
2 0 0 1
.
Les valeurs propres non nulles de A∗ A qui sont les mêmes valeurs propres
non nulles de AA∗ sont dites les valeurs singulières de A. Les vecteurs
propres de A∗ A sont dits les vecteurs singuliers à droite de A et les
vecteurs propres de AA∗ sont dits les vecteurs singuliers à gauche de
A.

119 / 140 120 / 140
▲ ▲
Quelques décompositions matricielles Quelques décompositions matricielles
Décomposition QR Algorithme et preuve

Soit A = [a∗1 , a∗2 , · · · , a∗n ] une matrice de rang plein alors ses vecteurs
colonnes a∗j sont linéairement indépendant, donc soient qj ∈ Km
Théorème (j = 1, · · · , n) les vecteurs obtenus en appliquant le procédé de
Gram-Schmidt via le produit scalaire canonique sur la famille {a∗j }nj=1 et
Soit A ∈ Mm,n (K) une matrice de rang plein alors il existe une matrice
on pose Q = [q1 , q2 , · · · , qn ] ∈ Mm,n (K). Il est clair que Q ∗ Q = In et que
Q ∈ Mm,n (K) et une matrice triangulaire supérieure R ∈ Mn (K) telles
que Q ∗ Q = In et Q ∗ A = [Q ∗ a∗1 , Q ∗ a∗2 , · · · , Q ∗ a∗n ] := R.
A = QR. Montrons que R est une matrice triangulaire supérieure ayant les éléments
strictement positifs sur sa diagonale principale. Puisque q1 = ∥aa∗∗11 ∥ et pour
Notez que les éléments dans la diagonale principale de la matrice tout j ∈ [|2, n|] on a
triangulaire supérieure R sont strictement positifs. Ainsi, il existe Pj−1 ∗
plusieurs méthode pour réaliser cette décomposition, dans ce cours on qj =
a∗j − k=1 (qk a∗j )qk
Pj−1
propose la méthode de Gram-Schmidt. ∥a∗j − ∗
k=1 (qk a∗j )qk ∥
alors Q ∗ a∗1 = ∥a∗1 ∥e1 ; où ej désigne le j−ème vecteur de la base
canonique de Kn ,
121 / 140 122 / 140
▲ ▲
et pour tout j ∈ [|2, n|] on a
Pj−1
Q ∗ a∗j − ∗ ∗
k=1 (qk a∗j )Q qk
Q ∗ qj = Pj−1 .
∥a∗j − ∗
k=1 (qk a∗j )qk ∥
Par conséquent, le fait que Q ∗ qk = ek pour tout k ∈ [|1, n|] implique que Exercice
pour tout j ∈ [|2, n|] on a Déterminer la décomposition QR de la matrice A donnée par
j−1 j−1 1 0
 
X X
Q ∗ a∗j = a∗j − (qk∗ a∗j )qk ej + (qk∗ a∗j )ek = r∗j ; A = −1 1
k=1 k=1 0 1
ce qui montre que R = [r∗1 , r∗2 , · · · , r∗n ] est une matrice triangulaire
supérieure ayant ses éléments sur la diagonale principale
j−1
(qk∗ a∗j )qk > 0.
X
rjj = a∗j −
k=1

123 / 140 124 / 140
▲ ▲
Corollaire
Soit A ∈ Mm,n (K) une matrice de rang plein donc admet la décompo-
sition A = QR, alors la matrice P = QQ ∗ est la matrice de la projection Exercice
orthogonale sur Im(A).
Montrer que la matrice
En eet, puisque A est de rang plein alors elle admet une décomposition 1 −1 0
 
QR où Q ∗ Q = In et R est une matrice triangulaire supérieure ayant ses 0 2 1

éléments de la diagonale principale strictement positifs. Et puisque la 3 0 1
matrice de la projection orthogonale sur Im(A) s'écrit (d'après ce qui admet une décomposition QR à déterminer et déduire l'inverse de A ainsi
précède) sous la forme que la solution du système linéaire AX = b où b = [1, 0, −1]T .
P = A(A∗ A)−1 A∗
alors
P = QR(R ∗ Q ∗ QR)−1 R ∗ Q ∗ = QR(R ∗ R)−1 R ∗ Q ∗ = QQ ∗ .

125 / 140 126 / 140
▲ ▲
Quelques décompositions matricielles Quelques décompositions matricielles
Élimination de Gauss Système des équations linéaires

On peut dénir l'élimination de Gauss comme un algorithme des opérations Ainsi, la résolutions des systèmes de plusieurs d'inconnues et d'équations
élémentaires appliquées à une matrice donnée pour la rendre échelonnée reste le majeur problème dont on utilise l'élimination de Gauss. On appelle
réduite. Les opérations élémentaires utilisées sont : un système d'équations linéaires tout système qui est sous la forme
Op1. L'échange de deux lignes, 
a1,1 x1 + a1,2 x2 + · · · + a1,n xn = b1
Op2. La multiplication d'une ligne par un scalaire non nul,



 a2,1 x1 + a2,2 x2 + · · · + a2,n xn

= b2
Op3. L'ajout du multiple d'une ligne à une autre ligne. ... .. ..
L'élimination de Gauss joue un rôle très important dans la théorie des


 . .

matrices, son rôle réside dans la détermination de rang, l'inverse (quand il am,1 x1 + am,2 x2 + · · · + am,n xn = bm

existe) et calcul de déterminant d'une matrice. On a vu que ce dernier où b = [b1 , · · · , bm ]T

∈ Rm est un vecteur xé et connu,
nécessite une n! opérations pour une matrice carrée d'ordre n. Cependant, x = [x1 , · · · , xn ]T ∈ Rn est un vecteur inconnu et les [ai,j ] (i = 1, · · · , m et
la complexité algorithmique asymptotique de l'élimination de Gauss est j = 1, · · · , n) sont des réels et qui représentent les éléments d'une matrice
O(n3 ) ce que la rendre plus ecace. Notez que cet algorithme peut être A. On déduit que chaque système d'équations linéaires est réduit à une
utilisé sur un ordinateur pour des matrices avec une taille des milliers équation matricielle ane, i.e.
d'éléments.
Master Statistique et Econométrie Ax = b. Master Statistique et Econométrie
127 / 140 128 / 140
▲ ▲
Quelques décompositions matricielles
En particulier, si b = 0Rm le système est dit homogène et donc leur
solutions dans ce cas est le sous-espace vectoriel de Rn , ker(A). En général, Résolution des systèmes linéaires par l'éli-
le système
(i) n'a pas de solution si b ∈/ Im(A).
mination de Gauss
Nous allons traiter quelques exemple des systèmes d'équations linéaires par
(ii) a une solution unique x ∗ ∈ Rn si ker(A) = {0Rn }. Dans ce cas le l'élimination de Gauss. Pour cette raison on écrit le système [A|b] à la place
système peut être réduite à un système A′ x = b′ où A′ est de l'équation Ax = b. Par exemple, le système
une matrice carrée d'ordre n inversible et sous matrice de A;
−y +2z = 0
(
de même pour b′ par rapport à b. Ainsi, x ∗ = A′−1 b′ . x
(iii) a une innité de solutions si ni (i) ni (ii) sont le cas. 2x +y +z = −1
Notez que dans le cas (i) le système est dit inconsistant et on peut le est sous la forme de sa matrice augmentée
traiter en utilisant la méthode des moindres carrées. ℓ1 −→

1 −1 2 0

.
ℓ2 −→ 2 1 1 −1
Exercice
- Montrer (i), (ii) et (iii). Donc par l'opération élémentaire, en remplaçant ℓ2 par ℓ2(1) = ℓ2 − 2ℓ1 on
- Montrer que l'ensemble des solutions de l'équation Ax = b est convexe. aura
−→ 1 −1 2 0

ℓ1
(1) .
ℓ2 −→ 0 3 −3 −1
129 / 140 130 / 140
▲ ▲
C'est à dire, X = [x, y , z]T ∈ R3 est une solution si et seulement si Détermination de l'inverse d'une matrice
y = z − 1/3 et x = −z − 1/3 c'est à dire Les matrices inversibles sont obligatoirement des matrices carrées, alors on
peut utiliser l'élimination de Gauss pour déterminer l'inverse d'une matrice.
1 1
T
Par exemple, soit

X = z[−1, 1, 1]T + − , − , 0 .
3 3 1 −1 0
 
A = 2 −2 −1
D'où le système admet une innité des solutions qui représentent un sous 7 3 8
espace ane de R3 .
alors, on pose
Exercice
1 −1 0 1 0 0
 
ℓ1 −→
En utilisant l'élimination de Gauss, résoudre les systèmes linéaires ℓ2 −→ 2 −2 −1 0 1 0 .
ℓ3 −→ 7 3 8 0 0 1
1 0 −1 3 1 4 0
   
3 2 1 0 et −2 1 −1 . On remplace ℓ2 par ℓ2 − 2ℓ1 et ℓ3 par ℓ3 − 7ℓ1 on trouve
1 1 6 7 5 0 2
1 −1 0 1 0 0
 
ℓ1 −→
ℓ2 −→ 0 0 −1 −2 1 0 .
ℓ3 −→ 0 10 8 −7 0 1
131 / 140
▲
Finalement
Ainsi, en remplaçant ℓ3 par ℓ3 + 8ℓ2 on aura 1 0 0 − 13 4 1

10 5 10
0 1 0 − 23 4 1
10 5 10 ;
1 −1 0 1 0 0 0 0 1 2 −1 0
 
ℓ1 −→
ℓ2 −→ 0 0 −1 −2 1 0 .
la matrice inverse de A est
ℓ3 −→ 0 10 0 −23 8 1  13 4 1
− 10 5 10
De même en remplace ℓ1 par ℓ1 + 1
on obtient A−1 = − 23
10
4
5
1
10 .
10 ℓ3
2 −1 0
13 4 1
1 0 0 − 10

ℓ1 −→ 5 10
ℓ2 −→ 0 0 −1 −2 1 0 ,
ℓ3 −→ 0 10 0 −23 8 1
Exercice
Déterminer le rang et l'inverse, s'il existe, de la matrice
c'est à dire
1 0 0 − 13 4 1

ℓ1 −→ 10 5 10 1 −1 4 1
 
ℓ2 −→ 0 0 1 2 −1 0 . 2 0 0 1
ℓ3 −→ 0 1 0 − 23
10
4
5
1
10 −3

2 0 1
.
0 2 −1 0
133 / 140 134 / 140
▲ ▲
Décomposition LU
Calcul de la décomposition
Une décomposition LU se réfère à la factorisation d'une matrice carrée A
sous la forme A = LU, en utilisant l'élimination de Gauss, où L est une Sans perte de généralité, soit A une matrice carrée qui admette une
matrice triangulaire inférieure et U est une matrice triangulaire supérieure. décomposition LU. Ainsi, pour décomposer la matrice A en produit LU,
Il n'est pas toujours vrai qu'une matrice carrée A admette une d'abord, on transforme, en utilisant l'élimination de Gauss, la matrice A à
décomposition LU; cependant, toute matrice carrée A admette une une matrice triangulaire supérieure U en éliminant les coecients sous la
décomposition PLU, en multipliant A par une matrice de permutation P diagonale principale. Ainsi, les éléments restants sont les coecients
(voir l'un des exemples ci-dessous). multiplicateurs à cause de lesquelles les positions respectives deviennent
Pour une matrice inversible A = [ai,j ] ∈ Mn (R), on note Ak les matrices nulles dans la matrice U. Notez que certaine décomposition LU peut être
principales dominantes de A, i.e. Ak = [ai,j ] ∈ Mk (R). Donc, la matrice A transformée à une décomposition LDU où D est une matrice diagonale
admette une décomposition LU si rg(Ak ) = k, pour k = 1, 2, . . . , n − 1. ayant les mêmes éléments de la diagonale de U et U devient une matrice
S'il existe un k ∈ [|1, n − 1|] tel que rg(Ak ) ̸= k alors la matrice A admette triangulaire supérieure ayant les 1 sur sa diagonale principales en divisant
une décomposition PLU où P est une matrice de permutation choisie de chaque ligne par l'élément de la diagonale principale qui correspond.
telle sorte que la matrice P T A admette une décomposition LU. On va présenter l'algorithme sous titre d'un exemple.
Notez que, cette décomposition n'est pas unique, mais si on xe les
éléments de la diagonale principale de L égaux 1, alors on aura l'unicité.
136 / 140
▲
Exemple 1 −1 0
 
ℓ1 −→
ℓ2 −→ 0 10 8  .
On considère la matrice, ℓ3 −→ 0 0 −1
1 −1 0
 
Or on a la matrice U,
A = 2 −2 −1 
1 −1 0

7 3 8 U = 0 10 8  .
alors, puisque le rang de la matrice principale A2 est 1 ̸= 2, donc A 0 0 −1
n'admet pas une décomposition LU; cependant, elle admet une Pour la matrice L, puisque les opérations eectuées sont ℓ2 − 7ℓ1 et
décomposition PLU alors on fait une permutation de ℓ2 avec ℓ3 , en ℓ3 − 2ℓ1 alors
multipliant par une matrice de permutation P T (à déterminer) on obtient 
1 0 0

1 −1 0 L = 7 1 0 .
 
ℓ1 −→
ℓ2 −→ 7 3 8 . 2 0 1
ℓ3 −→ 2 −2 −1 Donc P T A = LU ce qui est équivalent à A = PLU et on déduit que
Donc, on remplace ℓ2 et ℓ3 respectivement par ℓ2 − 7ℓ1 et ℓ3 − 2ℓ1 on |A| = |P||L||U| c'est à dire |A| = −|U| = 10.
trouve
137 / 140 138 / 140
▲ ▲
Aussi, on peut obtenir la décomposition PLDU de la matrice A en
remarquant que
Exercice
1 −1 0 1 0 0 1 −1 0
    
U = 0 10 8  = 0 10 0  0 1 8
= DU ′ . Déterminer la décomposition LU ou PLU de la matrice
10
0 0 −1 0 0 −1 0 0 1
3 1 −1 0
 
 1 −7 3 2
Remarquez que : A= .
−1 3 1 5
La décomposition LDU d'une matrice A ∈ Mn (R) obtenue dans le premier 0 2 5 3
chapitre peut être considérée comme une généralisation de celle obtenue
dans ce chapitre. Question Bonus. Déterminer la décomposition spectrale et en valeurs
Si A ∈ Sn (R) est une matrice symétrique admette une décomposition LDU singulière de A.
alors U = LT .
Les résultats obtenus restent valable pour une matrice carrée complexe.

139 / 140 140 / 140
▲ ▲

N Up PDF CoursAlgPrSt

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

N Up PDF CoursAlgPrSt

Transféré par

Droits d'auteur :

Formats disponibles

Prérequis et Bibliographie

Algèbre Pour la Statistique

Lahoucine Elaissaoui Prérequis : Les espaces vectoriels et les applications linéaires.

Master Statistique et Econométrie Master Statistique et Econométrie

dite la forme concaténée de A (en vecteurs colonnes ou en vecteurs lignes

Dénition : Égalité de deux matrices Dénition : L'addition dans Mm,n (K)

Exemple Opérations sur les matrices : 2- La multi-

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Matrice diagonale par blocs Rappels et dénitions

Exercice qui est un sous-espaces vectoriels Km . Ainsi, on a

Master Statistique et Econométrie Master Statistique et Econométrie

Le rang d'une matrice Théorème du rang

Master Statistique et Econométrie Master Statistique et Econométrie

Propriétés Matrice à rang plein

rg(A) = rg(AT ) pour tout A ∈ Mm,n (K). Dénition

Master Statistique et Econométrie Master Statistique et Econométrie

L'inverse d'une matrice (2 × 2) partitionnée Théorème 2

Corollaire (formule de Sherman-Woodbury-Morrison)

Exercice : Preuve de Théorème 1 3. Déduire que

Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Déterminant d'une matrice 2 × 2 partition-

avec F le complément de Schur de A11 . Donc Exercices

Master Statistique et Econométrie Master Statistique et Econométrie

Valeurs propres et vecteurs propres

Master Statistique et Econométrie Master Statistique et Econométrie

Matrices semblables et équivalentes Propriétés et remarques

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Polynôme annulateur d'une matrice carrée

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Donc Av ∈ Eλc (A), d'où la stabilité de Eλc (A) par A.

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

Lemme des noyaux Preuve

Corollaire : Généralisation r (A)p(A) + s(A)q(A) = In .

donc m = mλ ; ce qu'il fallait démontrer.

mλ désigne, dans tout ce cours, la multiplicité algébrique de la valeur

Master Statistique et Econométrie Master Statistique et Econométrie

Master Statistique et Econométrie Master Statistique et Econométrie

vecteurs orthogonaux et l'orthogonal d'un

En général, soit {vk }m

Master Statistique et Econométrie Master Statistique et Econométrie

Procédé d'orthonormalisation de Gram-

Le supplémentaire orthogonal d'un sous-

L'écriture matricielle d'un produit scalaire l'adjoint d'une matrice

xc∗ Mxc = ⟨x, x⟩ ≥ 0. Kn = ker(A) ⊕ Im(A∗ ) et Km = ker(A∗ ) ⊕ Im(A).

Preuve Projecteur orthogonal

On dit que p est une projection sur Im(p) parallèlement à ker(p). Si de

Ce qu'il fallait démontrer. Master Statistique et Econométrie

La matrice de la projection orthogonale sur Donc on obtient, pour tout v ∈ Kn ,

Cas particulier : Ajustement ane

Théorème spectral Propriétés des matrices unitaires

ce qui montre que u et v sont orthogonaux.

En particulier, si les valeurs propres de A sont strictement A = S∆V ∗ ;

Master Statistique et Econométrie Master Statistique et Econométrie

S = [s1 , s2 , · · · , sr , sr +1 · · · , sm ] ∈ Om (K). Exercice

Master Statistique et Econométrie Master Statistique et Econométrie

Dénition : Égalité de deux matrices Dénition : L'addition dans Mm,n (K)

Matrice diagonale par blocs Rappels et dénitions

rg(A) = rg(AT ) pour tout A ∈ Mm,n (K). Dénition

Cas particulier : Ajustement ane