4.

Méthodes itératives simples pour la résolution des systèmes linéaires

Date : October 16, 2022

4.1 Méthodes itératives

But : Etant donnés une matrice A ∈ Mn (R) inversible et b ∈ Rn , nous voulons résoudre numérique-
ment le système linéaire Ax = b. Nous noterons dans ce chapitre x∗ l’unique solution de ce système.
Pour n très grand les méthodes directes (LU, Cholesky,..) deviennent très coûteuses en temps
de calcul et/ou en place mémoire. L’idée est donc de résoudre Ax = b à l’aide des méthodes
numériques itératives. Ces méthodes sont recommandées pour les matrices creuses (contenant plein
de zéros). Les méthodes directes sont introduites dans la définition suivante :
Definition 4.1.1
Une méthode de résolution numérique de Ax = b est dite itérative si elle consiste à calculer une
suite vectorielle de solutions (x(k) )k≥0 dans le but de converger vers x∗ , solution du système
Ax = b.
Une méthode itérative (x(k) )k≥0 est donc dite convergente ssi pour tout choix de x(0) , la suite
x(k) converge vers x∗ vérifiant Ax = b, c-à-d., l’erreur e(k) := ||x(k) − x∗ || tend vers 0 lorsque k
tend vers l’infini.

4.2 Méthodes itératives basées sur une décomposition régulière de A

Definition 4.2.1
Soit A une matrice inversible. Un couple de matrices (M, N) où M est inversible et A = M − N
est appelé décomposition régulière de A. Une méthode itérative basée sur la décomposition
26Chapter 4. Méthodes itératives simples pour la résolution des systèmes linéaires

(M, N) est définie par :

(
x(0) ∈ Rn ,
(4.1)
Mx(k+1) = Nx(k) + b.

Idée : Si x(k) converge vers une limite y alors Mx(k+1) = Nx(k) + b converge vers Mx = Nx + b,ç-à-d,
Ay = b. Ainsi, par unicité de la solution y = x∗ .
Puisque M est inversible, la suite (4.1) est équivalente à :
(
x(0) ∈ Rn ,
(4.2)
x(k+1) = M −1 Nx(k) + M −1 b ,

avec Ax = b ⇐⇒ x = M −1 Nx + M −1 b
Theorem 4.2.1
Soient P ∈ Mn (R) et c ∈ Rn . On considère la suite
(
x(0) ∈ Rn ,
(4.3)
x(k+1) = Px(k) + c .

1. Si ρ(P) < 1 alors il existe un unique x̄ ∈ Rn vérifiant x̄ = Px̄ + c et la suite (x(k) ) converge
∀ x(0) ∈ Rn vers x̄.
2. La suite (x(k) ) est convergente ∀ x(0) ∈ Rn ssi ρ(P) < 1.

Preuve du point 1
On suppose que ρ(P) < 1. L’équation x = Px + c =⇒ (I − P)x = 0Rn . Cette équation admet une
solution unique car I − P est inversible puisque ρ(P) < 1 (d’après le chapitre 1). Soit x̄ ∈ Rn cette
solution.
A l’itération k, on définit : V (k) := x(k) − x̄. On a :

V (k+1) = x(k+1) − x̄ = (Px(k) − x̄) − (Px̄ + c) = P(x(k) − x̄) = PV (k) .

Ainsi V (k) = PkV (0) . D’après le chapitre 1, on a limk→+∞ PkV (0) = 0 ssi ρ(P) < 1. Ceci donne
limk→+∞ x(k) = x̄ ssi ρ(P) < 1.

Corollary 4.2.2
La suite définie dans (4.2) converge pour toute solution initiale x(0) ∈ Rn vers la solution x∗ du
système Ax = b ssi ρ(M −1 N) < 1.

Exercise 4.1
Soit α > 0. On considère la méthode (du gradient) donnée par la relation itérative :

x(k+1) = x(k) + α(b − Ax(k) ) .

2
Montrer que si cette méthode converge alors 0 < α < ρ(A) . ■

Dans certains cas, il n’est pas nécessaire de calculer ρ(M −1 N) comme le montre le théorème
suivant.
Theorem 4.2.3
 4.3 Méthodes de Jacobi, de Gauss-Seidel et de Relaxation 27

Soit A ∈ Mn (R) une matrice symétrique définie positive. Si la matrice (Mt + N) est définie
positive alors la méthode (4.1) converge.

La vitesse de convergence de ce type de méthodes est donnée par le théorème suivant.

Theorem 4.2.4 Vitesse de convergence

1. On a ||e(k) || ≤ |||M −1 N|||k ||e(0) ||. La méthode (4.2) est donc d’autant plus rapide à converger
que |||M −1 N||| est plus petit.
1
2. On a, ∀B ∈ Mn (R), limk→+∞ |||Bk ||| k = ρ(B). La vitesse de convergence de la méthode (4.2)
est donc d’autant plus grande que ρ(M −1 N) est plus petit.

4.3 Méthodes de Jacobi, de Gauss-Seidel et de Relaxation

Nous avons besoin d’introduire certaines notations avant de définir les méthodes de Jacobi, de
Gauss-Seidel et de relaxations successives.

4.3.1 Notations
On adoptera par la suite la terminologie suivante :
Soit A = (ai, j )1≤i, j≤n une matrice inversible. On lui associe les matrices suivantes de D, E et FMn (R)
définies par :
D = diag(a1,1 , . . . , an,n ),
E : triangulaire inférieure avec ei, j = −ai, j si i > j et 0 sinon et
F : triangulaire supérieure avec fi, j = −ai, j si i < j et 0 sinon.
Les matrices E et F s’écrivent comme suit :
   
0 0 0 ... 0 0 −a1,2 ... . . . −a1,n
−a2,1 0 0 ... 0 0 0 −a2,3 . . . −a2,n 
   
E =
 0 −a3,2 0 ... 0 et F =  .
  . .
.. .. .. ..  .
 .. . . . . 
.. .. ..   
 . . . . 0   0 0 ... 0 −an−1,n 
0 0 . . . −an,n−1 0 0 ... ... ... 0
On a ainsi
A = D−E −F .

4.3.2 Méthode de Jacobi

Soit A = (ai, j )1≤i, j≤n une matrice inversible. On suppose que ∀ 1 ≤ i ≤ n, ai,i ̸= 0 (ceci est
équivalent à dire que la matrice D associée est inversible). Ces hypothèses sont satisfaites dans le
cas particulier d’une matrice A définie positive. En effet, une telle matrice est inversible et vérifie
en plus
ai,i =< Aei , ei > > 0, ∀ 1 ≤ i ≤ n .
La méthode de Jacobi est définie par la décomposition régulière
(
M = D,
(4.4)
N = D − A = E + F.
La matrice d’itération de la méthode est donnée par :
J := M −1 N = I − D−1 A .
Une itération de la méthode de Jacobi s’écrit donc sous la façon matricielle suivante :
x(k+1) = (I − D−1 A)x(k) + D−1 b .
 28Chapter 4. Méthodes itératives simples pour la résolution des systèmes linéaires

Cependant, on peut adopter la formulation explicite suivante plus facile à utiliser en pratique en
partant directement du système Ax = b : ∀k ∈ N, ∀i ∈ {1, . . . , n}
" #
n
(k+1) 1 (k)
xi = bi − ∑ ai, j x j .
ai,i j=1; j̸=i

Proposition 4.3.1
Soit A = (ai, j )1≤i, j≤n une matrice inversible telle que ai,i ̸= 0, ∀1 ≤ i ≤ n. On a :
• La méthode de Jacobi converge ssi ρ(J ) < 1.
• Si les matrices A et 2D − A sont symétriques définies et positives alors la méthode de Jacobi
converge.
• Si la matrice A est à diagonale strictement dominante alors la méthode de Jacobi est conver-
gente.

4.3.3 Méthode de Gauss-Seidel

Soit A = (ai, j )1≤i, j≤n une matrice inversible telle que ai,i ̸= 0, ∀1 ≤ i ≤ n. Ainsi, la matrice
D − E associée est inversible. La méthode de Gauss-Seidel est la méthode itérative définie par la
décomposition régulière
(
M = D − E,
(4.5)
N = F.

La matrice d’itération de la méthode est donnée par :

G := M −1 N = (D − E)−1 F .

Une itération de la méthode de Gauss-Seidel s’écrit donc sous la forme matricielle suivante :

x(k+1) = (D − E)−1 Fx(k) + (D − E)−1 b .

Cependant, on peut adopter la formulation explicite suivante plus facile à utiliser en pratique en
partant directement du système Ax = b : ∀k ∈ N,
Pour i = 1,
" #
n
(k+1) 1 (k)
x1 = b1 − ∑ a1, j x j .
a1,1 j=2

Pour 2 ≤ i ≤ n,
" #
i−1 n
(k+1) 1 (k+1) (k)
xi = bi − ∑ ai, j x j − ∑ ai, j x j .
ai,i j=1 j=i+1

Proposition 4.3.2
Soit A = (ai, j )1≤i, j≤n une matrice inversible telle que ai,i ̸= 0, ∀1 ≤ i ≤ n. On a :
• La méthode de Gauss-Seidel converge ssi ρ(G ) < 1.
• Si A est symétrique définie positive alors la méthode de Gauss-Seidel est convergente.
• Si A est à diagonale strictement dominante alors la méthode de Gauss-Seidel est convergente.
Preuve du point 2
Il suffit de vérifier que les conditions du théorème 4.2.3 sont satisfaites. ■
 4.4 Méthode de Relaxations successives 29

4.4 Méthode de Relaxations successives

Cette méthode généralise la méthode de Gauss-Seidel.
Soit w un paramètre strictement positif. On suppose que la matrice D est inversible. La méthode
itérative définie par la décomposition régulière :
D 1−w
Mw = − E et Nw = D+F ,
w w
est appelée méthode de relaxation pour le paramètre w. On note Gw la matrice d’itération qui est
donnée par
 −1  
−1 D 1−w
Gw = Mw .Nw = −E D+F .
w w
Ainsi, une itération de la méthode de relaxation est donnée par la relation de récurrence :
 −1
D
x (k+1)
= Gw .x (k)
+ −E b.
w

R
• Si w = 1, on retrouve la méthode de Gauss-Seidel.
• Si w < 1, on parle de sous-relaxation.
• Si w > 1, on parle de sur-relaxation.
• Le paramètre w devrait être choisi de façon à avoir ρ(Gw ) < 1 et minimale.

Theorem 4.4.1 Pour toute matrice inversible A ∈ Mn (R) telle que ai,i ̸= 0 ∀1 ≤ i ≤ n, et pour
tout w > 0, on a ρ(Gw ) ≥ |1 − w|. Par conséquent, la méthode de relaxation diverge si w ∈]0,
/ 2[.

Dans le cas particulier des matrices symétriques définies positives, on a le résultat suivant.

Theorem 4.4.2 Soit A une matrice symétrique définie positive. Pour tout w ∈]0, 2[, la méthode
de relaxation converge.

4.4.1 Cas des matrices tridiagonales

Theorem 4.4.3 Soit A ∈ Mn (R) une matrice inversible tridiagonale et vérifiant ai,i ̸= 0 pour
tout i ∈ {1, . . . , n}. On a :
ρ (G1 ) = (ρ (J ))2 .
Ainsi, les méthodes de Jacobi et de Gauss-Seidel convergent (ou divergent) simultanément mais
la méthode de Gauss-Seidel converge plus rapidement que la méthode de Jacobi.

Theorem 4.4.4 Soit A une matrice tridiagonale, symétrique et définie positive. On a:

1. Les trois méthodes convergent.
2. De plus, il existe un unique paramètre optimal w∗ c’est-à-dire ρ (Gw∗ ) = min{0<w<2} ρ (Gw ) ,
vérifiant :
2
w∗ = p et ρ (Gw∗ ) = w∗ − 1 .
1 + 1 − ρ 2 (J )