Académique Documents
Professionnel Documents
Culture Documents
Notes de cours
Version provisoire. Si vous notez des coquilles et des erreurs, merci de nous les signaler.
A. Bergeon
2020 - 2021
Table des matières
1. Rappels d’algèbre linéaire
Notations
Valeurs et vecteurs propres
Matrices semblables, matrices diagonalisables
2. Méthodes de la puissance
Méthode classique de la puissance itérée
Méthode de la puissance inverse
3. Méthodes du polynôme caractéristique
Théorème de Cayley-Hamilton
Méthode des espaces de Krylov
4. Méthode QR
Principe de la décomposition QR
Décomposition QR par le procédé de Gram-Schmidt
Décomposition QR par les rotations de Givens
Décomposition QR par transformations de Householder
Méthode QR de calcul des valeurs et vecteurs propres
5. Calcul d’un ensemble réduit de valeurs propres
Eléments de Ritz et matrice de Rayleigh
Méthodes des sous-espaces et de Lanczos
1/47
1. Rappels d’algèbre linéaire
1.1. Notations
2/47
1.1. Rappels d’algèbre linéaire : Notations
3/47
1.1. Rappels d’algèbre linéaire : Notations
4/47
1. Rappels d’algèbre linéaire
1.2. Valeurs et vecteurs propres
5/47
1.2. Rappels d’algèbre linéaire : Valeurs et vecteurs propres
– Définition
Soit A une matrice carrée d’ordre n à valeurs réelles ou complexes.
- On dit que λ ∈ C est une valeur propre de A si il existe un vecteur non nul x ∈ Cn tel que Ax = λx.
- Le vecteur x est appelé vecteur propre de A associé à la valeur propre λ.
- L’ensemble des valeurs propres noté σ(A) est appelé le spectre de A.
On dit que x et y sont respectivement des vecteurs propres à droite et à gauche de A si :
– Quotient de Rayleigh
La valeur propre λ associée au vecteur propre x s’obtient en calculant le quotient de Rayleigh :
hx̄, Axi
λ= . (4)
hx̄, xi
– Polynôme caractéristique
Le nombre λ est solution de l’équation caractéristique :
où pA (λ) est le polynôme caractéristique de degré n égal au nombre de valeurs propres (non
nécessairement distinctes).
6/47
1.2. Rappels d’algèbre linéaire : Valeurs et vecteurs propres
– Propriétés
Si A est une matrice réelle, les coefficient de pA sont réels et les valeurs propres complexes de A sont
deux à deux conjuguées.
n
Y n
X
det(A) = λi , tr(A) = λi , σ(A) = σ(At ), σ(A∗ ) = σ(Ā) (6)
i=1 i=1
– Rayon spectral
Noté ρ(A) il est défini comme :
Exemple
– La matrice 2 × 2 suivante :
2 −1
A= , (8)
0 2
8/47
1. Rappels d’algèbre linéaire
1.3. Matrices semblables, matrices diagonalisables
9/47
1.3. Rappels d’algèbre linéaire : Matrices semblables, matrices diagonalisables
Définition
Soit A et C deux matrices carrées n × n, C étant supposée inversible. On dit que A et C −1 AC sont
semblables et on appelle similitude la transformation qui à A associe C −1 AC . On dit que A et C −1 AC sont
unitairement semblables si C est unitaire.
Propriété
Deux matrices semblables ont le même spectre et le même polynôme caractéristique.
Exercice
Démontrer cette propriété.
Motivation :
Si l’on sait construire une similitude qui transforme par exemple une matrice A dont on cherche à calculer les
valeurs propres en une matrice plus simple, par exemple triangulaire, sans altérer le spectre.
10/47
1.3. Rappels d’algèbre linéaire : Matrices semblables, matrices diagonalisables
où les λi sont les valeurs propres de A. Cette décomposition est appelée décomposition de Schur de A.
Conséquence :
Toute matrice U est unitairement semblable à une matrice triangulaire supérieure.
11/47
1.3. Rappels d’algèbre linéaire : Matrices semblables, matrices diagonalisables
Autres propriétés :
– toute matrice hermitienne est unitairement semblable à une matrice diagonale réelle.
Ainsi, quand A est hermitienne, toute décomposition de Schur de A est diagonale :
– Remarque :
les matrices que l’on peut diagonaliser ne sont pas seulement des matrices symétriques.
Il existe bien sur des matrices non-symétriques semblables à des matrices diagonales mais elles ne
sont pas unitairement semblables :
on peut trouver U tel que U −1 AU = Ω = diag(λ1 , ..., λn ) mais U ne sera pas unitaire (U ∗ 6= U −1 ).
– une matrice A d’ordre n est semblable à une matrice diagonale D si et seulement si ses vecteurs
propres forment une base de Cn .
12/47
1.3. Rappels d’algèbre linéaire : Matrices semblables, matrices diagonalisables
La matrice J est appelée forme canonique de Jordan, les λj étant les valeurs propres de A et les Jk ∈ Ck×k
des blocs de la forme J1 (λ) = λ pour k = 1 et :
λ, 1, 0, ..., 0
0, λ, 1, 0
. .
Jk (λ) = , (14)
. .
. λ, 1
0, ... 0 λ
Conséquence :
Si une valeur propre est défective, la taille des blocs de Jordan est plus grande que 1. Une matrice est donc
semblable à une matrice diagonale si et seulement si elle n’est pas défective. On dit alors qu’elle est
diagonalisable.
13/47
2. Méthodes de la puissance
2.1. Méthode classique de la puissance itérée
14/47
2.1. Méthodes de la puissance : Méthode classique de la puissance itérée
– Algorithme
z(k) = Aq(k−1)
q(k) = z(k) /kz(k) k
λ(k) = hq̄(k) , Aq(k) i
15/47
2.1. Méthodes de la puissance : Méthode classique de la puissance itérée
Convergence
Par récurrence, pour k ≥ 1 :
Ak q(0)
q(k) = . (15)
kAk q(0) k
(λi , hi ) = couple valeur vecteur propre. Les vecteurs propres forment une base de Rn sur laquelle peut se
décomposer le vecteur q(0) :
n Pn
X αi λki hi
q(0) = αi hi ⇒ q(k) = Pi=1 n k
. (16)
i=1
k i=1 αi λi xi k
k
αi λi
h1 + n
P
i=2 α1 λ1
hi
(k)
lim q = lim
k
= h1 (17)
∞ ∞
αi λi
h1 + n
P
i=2 α1 λ1
xi
17/47
2.2. Méthodes de la puissance : Méthode de la puissance inverse
18/47
2.2. Méthodes de la puissance : Méthode de la puissance inverse
Il existe des variations à cette méthode générale en particulier dans les cas :
– λ1 = λ̄2
– λ1 = λ2
– λ1 = −λ2
Nous ne les détaillerons pas dans ce cours.
19/47
3. Méthodes du polynôme caractéristique
3.1. Théorème de Cayley-Hamilton
20/47
3.1. Méthodes du polynôme caractéristique : Théorème de Cayley-Hamilton
Théorème
Toute matrice A est solution de son polynôme caractéristique. Soit pA (λ) le polynôme carcatéristique de la
matrice A qui s"écrit :
n
X
(−1)n pA (λ) = p i λi (18)
i=0
22/47
3.2. Méthodes du polynôme caractéristique : Méthode des espaces de Krylov
Théorème
Soit une matrice A de dimension n × n de rang n et y(0) ∈ Cn un vecteur tel la suite de Krylov
Kn = {y(0) , y(1) = Ay(0) , ..., y(n−1) = Ay(n−2) } forme une espace de dimension n. Alors :
Conséquence
Les coefficients du polynôme caractéristique sont alors solution d’un système linéaire de la forme :
Remarque
Comment rouver un vecteur initial qui génère une suite espace de Krylov de dimension n ?
Théorème
Si A est une matrice du type Hessenberg n × n et telle que sa sous diagonale n’a pas déléments nuls, alors le
vecteur y(0) = (1, 0, ..., 0)t génère un sous espace Kn de dimension n. De plus, la matrice M est une
matrice triangulaire supérieure.
23/47
4. Méthode QR
24/47
4. Méthode QR
Transformer la matrice A dont on cherche les valeurs et vecteurs propres en une matrice semblable pour
laquelle le calcul est plus simple.
Par exemple : par le théorème de Schur : Trouver la matrice unitaire U transformant la matrice A en une
matice triangulaire supérieure dont la diagonale serait formée des valeurs propres de A.
Mais le calcul de U par une méthode directe est proscrit dès que n ≥ 5 (théorème d’Abel). On ne peut donc
se tourner que vers les méthodes itératives.
25/47
4. Méthode QR
4.1. Principe de la décomposition QR
26/47
4.1. Méthode QR : Principe de la décomposition QR
Définition
On dit qu’une matrice A ∈ Rn×m avec n ≥ m admet une décomposition QR si il existe une matrice
Q ∈ Rn×n orthogonale (Qt Q = QQt = I ) et une matrice trapézoidale supérieure R ∈ Rn×m dont les lignes
son tnulles à partir de la n + 1-ième telles que :
A = QR (25)
Exemple
La décomposition QR de la matrice A suivante s’écrit :
1 −1 4 1 −1 1 −1 2 3 2
1 4 −2 1 1 1 −1 −1 0 5 −2
A= = QR, Q = , R=
1 4 2 2 1 1 1 1 0 0 4
1 −1 0 1 −1 −1 1 0 0 0
27/47
4.1. Méthode QR : Principe de la décomposition QR
Propriété
Soit une matrice A ∈ Rn×m avec n ≥ m pour laquelle on connait une décomposition QR. On admet que le
rang de A est m (son nombre de colonnes). Alors il existe une unique factorisation de A de la forme :
A = Q̃R̃, (26)
où Q̃ est une sous matrice de Q de dimension n × m formée des m premières colonnes de Q et R̃ une sous
matrice de R de taille m × m formée des m premières lignes de Q. De plus, les colonnes de Q̃ forment une
base orthonormale de vecteurs.
Exemple
La décomposition QR réduite de la matrice A (de rang 3) suivante s’écrit :
1 −1 4 1 −1 1
1 2 3 2
1 4 −2 1 1 −1
A= = Q̃R̃, Q̃ = , R̃ = 0 5 −2
1 4 2 2 1 1 1
0 0 4
1 −1 0 1 −1 −1
28/47
4. Méthode QR
4.2. Décomposition QR par le procédé de Gram-Schmidt
29/47
4.2. Méthode QR : Décomposition QR par le procédé de Gram-Schmidt
q1 = v1
k
X hqi , vi i
qk+1 = vk+1 − qi , 1 ≤ k < m
i=1
kqi k2
q̃1 = a1 /ka1 k
k
X
qk+1 = ak+1 − hq̃i , ai iq̃i , q̃k+1 = qk+1 /kqk+1 k, 1≤k<m
i=1
On définit alors la matrice Q̃ = (q̃1 , q̃2 , ..., q̃m ). On observe facilement que :
Exercice
Calculer Q̃ et R̃ pour la matrice :
−2 1
A= 1 −2
1 1
31/47
4. Méthode QR
4.3. Décomposition QR par les rotations de Givens
32/47
4.3. Méthode QR : Décomposition QR par les rotations de Givens
Transformations de Givens
matrices othogonales de rotation qui permettent d’annuler certains coefficients d’un vecteur ou d’une matrice
:
In−k−1
cos(θ) − sin(θ)
G= , (29)
sin(θ) cos(θ)
Ik+1
Remarque Le bloc de rotation peut aussi être dispersé dans la matrice. Par exemple ce serait la matrice
identité à l’exception des termes (lorsque i < j ) gi,i = cos(θ), gj,j = cos(θ), gi,j = − sin(θ) et gj,i = sin(θ).
33/47
4.3. Méthode QR : Décomposition QR par les rotations de Givens
Exercice
Calculer par la méthode des rotations de Givens Q̃ et R̃ pour la matrice :
−2 1
A = 1 −2
1 1
34/47
4. Méthode QR
4.4. Décomposition QR par transformations de Householder
Voir TD
35/47
4. Méthode QR
4.5. Méthode QR de calcul des valeurs et vecteurs propres
36/47
4.5. Méthode QR : Méthode QR de calcul des valeurs et vecteurs propres
Algorithme
t
1. On se donne une matrice matrice orthogonale Q(0) ∈ Rn×n et l’on pose T (0) = Q(0) AQ(0) .
2. Pour k = 1, ... jusqu’à la convergence, on effectue :
- Décomposition QR de la matrice T (k−1) = Q(k) R(k) .
- On pose T (k) = R(k) Q(k) et on boucle.
Interpétation
t
la méthode exploite le fait que les matrices Q(k) sont orthogonales : (Q(k) )−1 = Q(k) .
(k) (k)t (k−1)
Cela implique que R =Q T . On déduit alors :
t t t
T (k) = R(k) Q(k) = Q(k) T (k−1) Q(k) = Q(k) Q(k−1) T (k−2) Q(k−1) Q(k) ,
37/47
4.5. Méthode QR : Méthode QR de calcul des valeurs et vecteurs propres
Remarque
Dans la pratique, on choisit Q(0) = I . On peut cependant avoir une méthode plus efficace (qui converge plus
vite) en transformant préalablement (par une méthode de Householder par exemple) la matrice A en une
matrice de Hessenberg.
Si A est une matrice symétrique, la limite est une matrice diagonale formée des valeurs propres de A.
On ne démontre pas ce théorème relativement complexe. Sa limite est exprimée par le théorème de Schur.
Remarque :
Il existe plusieurs variantes d’implémentation de la méthode QR : variantes dites méthodes QR avec
translations qui accélère la convergence lorsque les valeurs propres de A sont proches les unes des autres.
38/47
5. Calcul d’un ensemble réduit de valeurs propres
39/47
5. Calcul d’un ensemble réduit de valeurs propres
40/47
5. Calcul d’un ensemble réduit de valeurs propres
5.1. Eléments de Ritz et matrice de Rayleigh
41/47
5.1. Calcul d’un ensemble réduit de valeurs propres : Eléments de Ritz et matrice de Rayleigh
Définition
Soit Km un sous espace de dimension m de Cn engendré par une base orthonormale (q1 , ..., qm ).
Soit Q la matrice unitaire rectangulaire (Q∗ Q = Im ) de format n × m dont la j -ième colonne est le vecteur
qj . Dans la base des qj , la projection orthogonale sur Km s’écrit :
P = QQ∗ . (31)
Interprétation
Dans Rn , soit u = n n
P
i=1 uei ei ∈ R
m
X
Qt u = up = upqi qi (32)
i=1
42/47
5.1. Calcul d’un ensemble réduit de valeurs propres : Eléments de Ritz et matrice de Rayleigh
Définition
On appelle élément de Ritz le couple (λ̃, ũ) ∈ C × Km tel que :
Interprétation
Comme tout élément de Km peut se décomposer dans la base des qj , il existe x et y de Cm tels que :
ũ = Qx et ṽ = Qy. En remplaçant, on obtient :
43/47
5.1. Calcul d’un ensemble réduit de valeurs propres : Eléments de Ritz et matrice de Rayleigh
Définition
La matrice carrée d’ordre m Bm = Q∗ AQ est appelée matrice de Rayleigh.
Interprétation
Bm = matrice qui agit sur un vecteur de Km de la forme : u = m
P
i=1 uqi qi
Remarques
• On a donc remplacé la recherche des éléments propres de la matrice A d’ordre n par ceux de la matrice
Bm d’ordre m < n.
• Si (q1 , ..., qm ) est une base d’un sous-espace propre de la matrice A, alors les valeurs propres de Bm
sont aussi les valeurs propres A.
44/47
5.1. Calcul d’un ensemble réduit de valeurs propres : Eléments de Ritz et matrice de Rayleigh
Procédure de Rayleigh-Ritz
A partir d’une base de K, construire une base orthonormée, calculer la matrice de Rayleigh d’ordre m et d’en
déduire les éléments de Ritz correspondants ainsi que le résidu qui sert de test d’arrêt des itérations.
Soit X une matrice rectangulaire n × m formée d’un ensemble de m vecteurs X = (x1 , ..., xm )
1. Orthogonalisation de la base. Elle en général effectuée par une méthode de Householder ou de Givens
et conduit à une décomposition de la forme :
X = QR (38)
45/47
5. Calcul d’un ensemble réduit de valeurs propres
5.2. Méthodes des sous-espaces et de Lanczos
46/47
5.2. Calcul d’un ensemble réduit de valeurs propres : Méthodes des sous-espaces et de Lanczos
47/47