CHAPITRE IV : Méthodes indirectes de résolution

numérique de systèmes linéaires AX = B

1. Quelques rappels sur les matrices
Soit A = (aij )1≤i,j ≤n une matrice carrée.
1 A est dite à diagonale strictement dominante en colonnes si elle
vérifie :
i =n
∑ |aij | < |ajj | , 1 ≤ j ≤ n
i =1,i 6=j

2 A est dite à diagonale strictement dominante en lignes si elle vérifie :

j =n
∑ |aij | < |aii | , 1 ≤ i ≤ n
j =1,j 6=i

3 Une norme matricielle k.k vérifie les 4 propriétés suivantes :

i ) kAk = 0 ⇔ A = 0
ii ) kλAk = |λ| kAk pour tout λ ∈ R
iii ) kA + B k ≤ kAk + kB k
iv ) kAB k ≤ kAk kB k
2 / 26
4 Exemples de normes matricielles :
j =n
kAk∞ = max
1≤i ≤n
∑ |aij |
j =1

i =n
kAk1 = max
1≤j ≤n
∑ |aij |
i =1

!1/2
kAk2 = ∑ |aij | 2

ij
q
= ρ (A> A )

ρ(A) = max |λi (A)|

1≤i ≤n

ρ(A) est dite norme spectrale

λi (A) : valeur propore de A
3 / 26
5 Etant donné une norme vectorielle k.k, l’application

kAx k
 
A −→ kAk = sup
x 6 =0 kx k

définit une norme matricielle dite norme induite par (ou subordonnée
à ) la norme vectorielle k.k.
6 Les normes vectorielles k.k1 , k.k∞ et k.k2 induisent, respectivement,
les normes matricielles suivantes
q
kAk1 = max ∑ |aij |, kAk∞ = max ∑ |aij |, kAk2 = $(A> A).
j i
i j

1
(I + B ) est inversible si kB k < 1 et de plus (I + B )−1 ≤

7
1 − kB k

4 / 26
2. Méthodes classiques(Jacobi, Gauss Seidel, Relaxation)

Pour résoudre le système

Ax = b, (2.1)
on utilise des méthodes, dites indirectes, du type

x (k +1) = Tx (k ) + C (2.2)

Où T est une matrice obtenue à partir de A

et C un vecteur dépendant de A et B
On écrit A sous la forme A = M − N
En supposant M inversible, l’équation (2.1) donne : x =M −1 Nx+M −1 b
et ceci suggère le procédé itératif du type (2.2) avec

T = M −1 N et C = M −1 b

Il ya plusieurs façons d’écrire A sous la forme A = M − N

5 / 26
Dans le cadre de ce cours on se limitera aux cas les plus utilisés à partir
de :
A = D −L−U

Méthode de Jacobi : M = D, N = L + U.
Méthode de Gauss-Seidel : M = D − L, N = U.
Méthode de relaxation : A = A(ω ) = M (ω ) − N (ω ),
avec
1
M (ω ) = D − L,
ω
1−ω
N (ω ) = D −U
ω
où ω est un scalaire.

6 / 26
2.1 Généralités et définitions

Définition
Une méthode de type (2.2) est dite convergente si pour toute valeur
initiale x (0) on a lim x (n) = x.
n→+∞
Si une telle limite x existe alors elle vérifie Tx + C = x.

Définition
On appelle erreur de la méthode ( à la k eme itération ) la quantité
e (k ) = x (k ) − x avec e (0) = x (0) − x.
On obtient e (k ) = T k e (0) pour tout k.
La méthode est convergente si lim T k = 0.
k →∞

Définition
Une matrice carrée B est dite convergente si lim B k = 0.
k →+∞

7 / 26
Théorème
Soit A une matrice carrée. Les assertions suivantes sont équivalentes :
i) lim Ak = 0.
k →+∞
ii) lim Ak v = 0 pour tout v .
k →+∞
iii) ρ(A) < 1.
iv) kAk < 1, pour au moins une norme matricielle induite.

Théorème
Soit A une matrice carrée et k.k une norme quelconque, alors
1/k
lim Ak = ρ (A).

k →+∞

8 / 26
Remarque
L’étude des méthodes itératives consiste à étudier les deux problèmes
suivants :
1 Etant donné une méthode itérative de matrice T , déterminer si la
méthode converge, ie si ρ(T ) < 1 ou s’il existe une norme telle que
kT k < 1.
2 Etant donné deux méthodes itératives convergentes de matrices T et
Te , la méthode la plus rapide est celle ayant le plus petit rayon
spectral.

9 / 26
2.2 Méthode de Jacobi :
Si A = (aij ) la méthode de Jacobi consiste à choisir ; M = D = diag (aii )
et N = L + U = (−aij )i,6=j le schéma itératif est comme suit :
x(k +1) = D −1 (L + U )x(k ) + D −1 b =TJ x(k ) + c
La matrice TJ = D −1 (L + U ) est dite matrice de Jacobi associée à A
Si x(0) est le vecteur initial donné, l’algorithme de Jacobi est de la forme :
j =n
1 bi
∑
(k +1) (k )
xi =− aij xj + ; i = 1, · · · ., n
aii j =1,j 6=i
aii
Explicitement, on obtient :

(k +1) (k ) (k )
 a11 x1

 = −a12 x2 − · · · − a1n xn + b1
.. .. ..
 . . .
 a x (k +1) = − a x (k ) − · · · − a
 (k )
nn n n1 1 nn−1 xn−1 + bn

Une condition suffisante pour que la méthode de Jacobi converge est :

ρ(TJ ) < 1 ou kTJ k∞ < 1
10 / 26
Théorème
Si A est une matrice carrée à diagonale strictement dominante en lignes
alors la méthode de Jacobi converge

Preuve Si A est une matrice carrée à diagonale strictement dominante en

lignes alors on a : ∑jj = n
=1,j 6=i |aij | < |aii | , 1 ≤ i ≤ n (∗)
1 j =n
ou encore : ∑ |aij | < 1, 1 ≤ i ≤ n
|aii | j =1,j 6=i
−aij
Par ailleurs TJ = D −1 (L + U ) = (tij ) avec tij = ( ) si i 6= j et tii = 0
aii
j =n
1 j =n
kTJ k∞ = max
1≤i ≤n
∑ |tij | = max
1≤i ≤n |aii | j =∑
|aij | < 1
j =1 1,j 6=i

Remarque
On montre un résultat analogue avec preuve similaire si A est strictement
dominante en colonnes.
11 / 26
2.3 Méthode de Gauss-Seidel :
Pour cette méthode, les matrices M et N sont données par : M = D − L
(supposé inversible) et N = U où D, L et U proviennent de l’écriture
A = D − L − U, le schéma itératif est comme suit :
(D − L)x (k +1) = Ux (k ) + b (2.3)
ou encore
x (k +1) = (D − L)−1 Ux (k ) + (D − L)−1 b (2.4)
en explicitant (2.3) on obtient :
 (k +1) (k ) (k )

 a11 x1 = −a12 x2 − · · · − a1n xn + b1
 (k +1) (k +1) (k ) (k )
a22 x2 = −a21 x1 − a23 x3 − · · · − a2n xn + b2





 .. .. ..
. . .

(k +1) (k +1) (k +1) (k ) (k )

 aii xi = −ai1 x1 · · · − aii −1 xi −1 − aii +1 xi +1− · · · − ain xn + bi
.. .. ..






 . . .
(k +1) (k +1) (k +1)
= −an1 x1 − · · · − ann−1 xn−1 + bn

ann xn
12 / 26
La matrice TGS = (D − L)−1 U est dite matrice de Gauss-Seidel associée à
A
Théorème
Si A est une matrice carrée à diagonale strictement dominante en lignes
alors la méthode de Gauss-Seidel converge

Preuve :

on montre que kTGS k∞ = (D − L)−1 U ∞ < 1 en passant par :

kT xk ∞
kT k∞ = max
x6 =0 kxk ∞

On pose y =T x =(D − L)−1 Ux

qui donne (D − L)y =Ux et Dy =Ly+Ux ou encore y =D −1 Ly+D −1 Ux
Soit k l’indice tel que

|yk | = max |yi | = kyk∞ = kT xk∞

1≤i ≤n

13 / 26
 k −1
On a yk = ∑jj = −1 j =n −1
=1 (D L)kj yj + ∑j =k +1 (D U )kj xj d’où

j =k −1 j =n
|akj | |akj |
| yk | ≤ ∑ |akk |
ky k ∞ + ∑ kxk ∞
j =k +1 | kk |
j =1 a

et : !
j =k −1 j =n
|akj | ky k ∞ |akj |
1− ∑ |akk |
≤ ∑
kxk∞ j =k +1 |akk |
j =1

soit enfin :
|akj |
j =n
∑ j =k +1
kTxk∞ ky k ∞ |akk |
= ≤  < 1, ∀x 6= 0
kxk ∞ kxk ∞ j =k −1 |akj |
1 − ∑ j =1
|akk |

kT xk ∞
=⇒ kT k∞ = max <1
x6 =0 kxk ∞
Donc la méthode Gauss-Seidel converge
14 / 26
2.4 Méthode de relaxation
Si on considère des matrices M et N dépendantes d’un paramètre ω on
obtient : A = M (ω ) − N (ω )
1 1−ω
avec M (ω ) = D − L et N (ω ) = D +U
ω  −1  ω  −1
1−ω
  
1 1
T (ω ) = D −L D +U et c (ω ) = D −L b
ω ω ω
T (ω ) = (I − ωD −1 L )−1 ((1 − ω )I + ωD −1 U )
Remarques
Si ω = 1, on retrouve la méthode de Gauss-Seidel.
Si ω > 1, on parle de sur-relaxation.
Si ω < 1, on parle de sous-relaxation.

Théorème
Condition nécessaire de convergence de la méthode de relaxation :

0<ω<2
15 / 26
Preuve :

 −1 
1−ω
 
1
T (ω ) = D −L D +U
ω ω
Si les valeurs propres de T (ω ) sont notées λi (ω ) on a :

1−ω
 
n det D +U
ω
det(T (ω )) = ∏ λi (ω ) =   = (1 − ω )n .
i =1
1
det D −L
ω

D’où ρ(Tω ) ≥ [|1 − ω |n ]1/n = |1 − ω |.

Pour que la méthode converge, il est nécessaire d’avoir ρ(T (ω )) < 1 et
par conséquent |1 − ω | < 1 d’où ω ∈]0, 2[.

16 / 26
3. Exercices

Exercice (1)
On considère le système linéaire Ax = b, où A et b sont définis de la façon
suivante :    
1 2(1 − β ) 0 1
A=  1 2 0  , b=  0 
0 0 1 1

1 Sans calculer les matrices d’itération, donner une condition suffisante

sur le paramètre β ∈ R pour que les méthodes de Gauss-Seidel et de
Jacobi soient convergentes.
2 Calculer la matrice d’itération BJ de la méthode de Jacobi et établir
pour quelles valeurs de β cette méthode est convergente.
3 Calculer la matrices d’itération BGS de la méthodes de Gauss-Seidel
et établir pour quelles valeurs de β cette méthode est convergente.
4 Indiquer quel est le rapport entre les vitesses de convergence.
17 / 26
Corrigé

Exercice (1)
1On sait que si A est une matrice à diagonale dominante stricte par
ligne, alors les méthodes de Gauss-Seidel et de Jacobi sont
convergentes. On voit bien que cette condition est satisfaite par la
deuxième et la troisième ligne de la matrice A .
1 3
Il suffit alors que : |2(1 − β)| < 1 ⇐⇒ < β <
2 2
2 Matrice d’itération de la méthode de Jacobi : On a A = D − L − U

avec
     
1 0 0 0 0 0 0 2(1 − β ) 0
D =  0 2 0 ,L = − 1 0 0 ,U = − 0 0 0 
0 0 1 0 0 0 0 0 0

18 / 26
Exercice (Suite)
   
1 0 0 0 −2 + 2 β 0
D −1 = 
   
0 1/2 0  , L + U  −1 0 0 
   
0 0 1 0 0 0
 
0 2( β − 1) 0
⇒ BJ = D −1 (L + U ) =  −1/2 0 0 
0 0 0
p p
dont les valeurs propres sont λ1 = 0, λ2 = − |1 − β|, λ3 = |1 − β|
q
=⇒ ρ(BJ ) = |1 − β|

donc la méthode converge si et seulement si

ρ(BJ ) < 1 ⇐⇒ 0 < β < 2

19 / 26
Exercice (Suite)
3 Matrice d’itération de la méthode de Gauss-Seidel :
   
1 0 0 1 0 0
− 1
   
D −L =   1 2 0  , (D − L) =  −1/2 1/2 0
  

0 0 1 0 0 1
 
0 2( β − 1) 0
BGS = (D − L ) −1 U =  0 1−β 0 
0 0 0
dont les valeurs propres sont λ1 = λ2 = 0, λ3 = 1 − β
=⇒ ρ(BGS ) = 1 − β
donc la méthode converge si et seulement si

ρ(BGS ) < 1 ⇐⇒ 0 < β < 2

4 On a que ρ(BGS ) = (ρ(BJ ))2 , et donc la méthode de Gauss-Seidel

converge plus vite que la méthode de Jacobi.
20 / 26
Exercice (2)
 par A = Id
Soit A une matrice définie  − E − F , avec
 
0 2 0 0 0 0
E = − 1 0 0 , F = − 0 0 0 
0 0 0 1 1 0
1 Montrer que A est inversible.

1
2 Soit 0 < ω < 2. Montrer que ( Id − E ) est inversible si et
√ ω
2
seulement si ω 6=
2 √
2
3 Pour 0 < ω < 2, ω 6 = , on considère la méthode itérative (pour
2
trouver la solution de Ax = b ) suivante :

1−ω
   
1 n +1
Id − E x = F+ Id x n + b
ω ω

21 / 26
Exercice (Suite)
Montrer que les valeurs propres de la matrice d’itération
 −1 
1−ω
 
1
Lω = Id − E F+ Id
ω ω

en fonction de ω , sont
1−ω 1−ω
λ1 = 1 − ω, λ2 = √ , λ3 = √ .
1+ω 2 1−ω 2

(Suggestion : Observer que det(N −1 M − λId ) = 0 ssi det(M − λN ) = 0.)

√
4 spectral est ρ(Lω ) = |λ3 | si ω <
Montrer que le rayon √ 2 et
ρ(Lω ) = |λ1 | si ω ≥ 2
5 Pour quelles valeurs de ω la méthode est-elle convergente ?

22 / 26
Corrigé

Exercice (2)
1 On a det(A) = −1 6= 0 donc A est inversible.
2 Soit0 < ω < 2. On a 
1 1 1

√
det Id − E = − 2 6 = 0 ⇔ ω 6 = 2/2.
ω ω ω2 √
 
1 2
Donc Id − E est inversible si et seulement si ω 6=
ω 2
√
2
3 Pour 0 < ω < 2, ω 6= , on a
2
 −1  !
1−ω
 
1
det(Lω − λId ) = det Id − E F+ Id − λId
ω ω
1−ω
   
1
= det F+ Id − λ Id − E
ω ω

23 / 26
Exercice (Suite)

1 h  √ 
det (Lω − λId ) = (( 1 − ω ) − λ ) ( 1 − ω ) − λ ( 1 + ω 2)
ω3  √ i
(1 − ω ) − λ (1 − ω 2)

1−ω 1−ω
=⇒ λ1 = 1 − ω, λ2 = √ , λ3 = √ .
1+ω 2 1−ω 2
4 On a ρ(Lω ) = max(|λ1 |, |λ2 |, |λ3 |)

|λ1 | > |λ2 |, ∀ω ∈]0, 2[

|1 − ω |
| λ1 | ≤ | λ3 | ⇔ |1 − ω | ≤ √
|1 − ω 2|
√
⇔ |1 − ω 2| ≤ 1
√
⇔ −1 ≤ 1 − ω 2 ≤ 1
√
⇔ −2 ≤ − ω 2 ≤ 0
√
⇔ 0≤ω≤ 2
24 / 26
Exercice (Suite)
|1 − ω | √
Donc ρ(Lω ) = |λ3 | = √ si ω ∈]0, 2[
|1 − ω 2√ |
ρ(Lω ) = |λ1 | = |1 − ω | si ω ∈ [ 2, 2[
5 La méthode est convergente si ρ (L ) < 1
ω
√ |1 − ω |
i ) Si ω ∈]0, 2], ρ(Lω ) = √
|1 − ω 2|
a) Si ω ∈]0, 1] =⇒ 1 − ω ≥ 0 =⇒ |1 − ω | = 1 − ω
√ √ √
Si 1 − ω 2 ≥ 0 =⇒ |1 − ω 2| = 1 − ω 2
1−ω
=⇒ ρ(Lω ) = √ ≥1
1−ω 2
 √ 
puisque 1 − ω ≥ 1 − ω 2
√ √ √
Si 1 − ω 2 ≤ 0 =⇒ |1 − ω 2| = ω 2 − 1
1−ω 2
=⇒ ρ(Lω ) = √ < 1 ⇐⇒ √ <ω
ω 2−1 1+ 2

25 / 26
Exercice (Suite)
√
b) Si ω ∈]1,√ 2[=⇒ 1 √ − ω ≤ 0 =⇒ |1 − ω√| = ω −√ 1
−1 ≤ 1 − ω 2 ≤ 1 − 2 ≤ 0 =⇒ |1 − ω 2| = ω 2 − 1
ω−1  √ 
=⇒ ρ(Lω ) = √ < 1 puisque ω < ω 2
ω 2−1
2
D’où la méthode est convergente si √ <ω
1+ 2
√ √
ii ) Si ω ∈] 2, 2], ρ(Lω ) = |1 − ω | = ω − 1√< 1; ∀ω ∈] 2, 2]
D’où la méthode est convergente ∀ω ∈] 2, 2]
 
2
D’où la méthode converge si et seulement si ω ∈ √ ,2
1+ 2

26 / 26