Chapitre2: Méthodes itératives de résolution des

systèmes linéaires (méthode de Jacobi et de

sur-relaxation, méthode de Gauss-Siedel..)
 2.1 Généralitées
• On cherche à résoudre une équation de la forme :
• Ax = b
• Les méthodes directes fournissent la solution 𝑥ഥ en un nombre fini
d’opérations.
• Mais : Si la taille du système est élevée, le nombre d’opérations est
important,
• or les erreurs de calcul dépendent directement du nombre de calculs.
• Elles utilisent des propriétés mathématiques nécessitant un calcul
exact, il est difficile de tenir compte des erreurs de calcul dans ce
processus
• Pour cela, On construit une suite de vecteurs (𝑋 𝑘 ) 𝑘 = 0, 1, … qui
tend vers 𝑋ഥ .
• Le point de départ est une approximation 𝑋 0 de 𝑋ഥ obtenue par
exemple par une méthode directe.
• Pour construire cette suite, on utilise la linéarité pour décomposer la
matrice A en une partie facilement inversible et un reste.
• On décompose la matrice A :
• A=M−N,
• de telle façon que M soit facilement inversible.
• Alors,
• AX = b ⇔ MX = NX + b
• On calcule la suite de vecteurs (𝑋 (𝑘) ) à partir d’un vecteur 𝑋 (0) choisi
arbitrairement et de la relation :
• M 𝑋 (𝑘+1) = N 𝑋 (𝑘) + b ⇔ 𝑋 (𝑘+1) = 𝑀−1 𝑁𝑋 (𝑘) + 𝑀−1 b
• C’est à dire :
𝑥 (0) 𝑑𝑜𝑛𝑛é
• ቊ (𝑘+1)
𝑋 = 𝑀−1 𝑁𝑋 (𝑘) + 𝑀−1 b
• En posant
• 𝑇 = 𝑀−1 𝑁; 𝑉 = 𝑀−1 𝑏
• On aura à résoudre
• 𝑋 (𝑘+1) = 𝑇𝑋 (𝑘) + 𝑉
 2.2 Décomposition de la matrice A
• Nous allons chercher la décomposition de la matrice A sous la forme
M-N de façon que M soit inversible.
• Pour cela, on définit:
• La matrice D diagonale telle que :
• 𝑑𝑖𝑖 = 𝑎𝑖𝑖 ; 𝑖 = 1, . . , 𝑛
• La matrice L triangulaire inferieur strictement
• 𝑙𝑖𝑗 = −𝑎𝑖𝑗 ; 𝑝𝑜𝑢𝑟 𝑖 > 𝑗 𝑒𝑡 𝑙𝑖𝑗 = 0 𝑝𝑜𝑢𝑟 𝑖 ≤ 𝑗
• La matrice U triangulaire supérieur strictement
• 𝑢𝑖𝑗 = −𝑎𝑖𝑗 ; 𝑝𝑜𝑢𝑟 𝑖 < 𝑗 𝑒𝑡 𝑢𝑖𝑗 = 0 𝑝𝑜𝑢𝑟 𝑖 ≥ 𝑗
• On a
• A=D-L-U
• Exemple: soit la matrice A donnée par
1 2 0 3
2 4 1 2
• A=
−1 2 3 7
0−2 46
• Alors la décomposition de A est

1 0 0 0 0 0 0 0 0 −2 0 −3
0 4 0 0 −2 0 0 0 0 0 −1 −2
•𝐷= ,L = ; U=
0 0 3 0 1 −2 0 0 0 0 0 −7
0 0 0 6 0 2 −4 0 0 0 0 0
 Méthode de Gauss Seidel et sur-Relaxation
• La décomposition de A est la suivante :
• 𝐴 = 𝑀 − 𝑁, 𝑎𝑣𝑒𝑐 𝑀 = 𝐷 − 𝐿 𝑒𝑡 𝑁 = 𝑈
alors
𝑋 (𝑘+1) = 𝑇𝑋 (𝑘) + 𝑉 avec

𝑇 = (𝐷 − 𝐿)−1 𝑈, 𝑉 = (𝐷 − 𝐿)−1 𝑏
Le calcul effectif se fait en résolvant directement le système
𝐷 − 𝐿 𝑋 (𝑘+1) = 𝑈𝑋 (𝑘) + 𝑏
• Soit
𝑗=𝑖 (𝑘+1) 𝑗=𝑛 (𝑘)
• σ𝑗=1 𝑎𝑖𝑗 𝑥𝑗 = − σ𝑗=𝑖+1 𝑎𝑖𝑗 𝑥𝑗 + 𝑏𝑖
• D’où, on a
𝑗=𝑖−1 (𝑘+1) 𝑗=𝑛 (𝑘)
(𝑘+1) 𝑏𝑖 −σ𝑗=1 𝑎𝑖𝑗 𝑥𝑗 −σ𝑗=𝑖+1 𝑎𝑖𝑗 𝑥𝑗
• 𝑥𝑖 =
𝑎𝑖𝑖
 Algorithme de Gauss-Seidel
• Donner un point de départ 𝑥 (0)
• pour k = 0,1,2,... Jusqu’à convergence
• pour i = 1 : n
𝑗=𝑖−1 (𝑘+1) 𝑗=𝑛 (𝑘)
(𝑘+1) 𝑏𝑖 −σ𝑗=1 𝑎𝑖𝑗 𝑥𝑗 −σ𝑗=𝑖+1 𝑎𝑖𝑗 𝑥𝑗
• 𝑥𝑖 =
𝑎𝑖𝑖
• Fin
• Fin
• Pour accélérer la convergence du processus, on peut introduire un
paramètre ω, on parle alors de méthode de sur-relaxation successive,
définie de la manière suivante

(𝑘+1) 𝜔 𝑗=𝑖−1 (𝑘+1) 𝑗=𝑛 𝑘 𝑘

• 𝑥𝑖 = 𝑏𝑖 − σ𝑗=1 𝑎𝑖𝑗 𝑥𝑗 − σ𝑗=𝑖+1 𝑎𝑖𝑗 𝑥𝑗 + 1 − 𝜔 𝑥𝑖
𝑎𝑖𝑖
• 1. Si ω > 1, on parle de sur-relaxation, de sous-relaxation si ω < 1. Il
s'avère que la valeur du paramètre optimal est, en géneral, plus
grande que 1, d'où le nom de la méthode
 Méthode de Jacobie
• La décomposition de A est la suivante :
• 𝐴 = 𝑀 − 𝑁, 𝑎𝑣𝑒𝑐 𝑀 = 𝐷 𝑒𝑡 𝑁 = 𝐿 + 𝑈
alors
𝑋 (𝑘+1) = 𝑇𝑋 (𝑘) + 𝑉
avec 𝑇 = 𝐷 −1 𝐿 + 𝑈 ; 𝑉 = 𝐷−1 𝑏
Le calcul effectif se fait en résolvant directement le système
𝐷𝑥 (k+1) = 𝐿 + 𝑈 𝑥 (𝑘) + 𝑏 soit
𝑗=𝑛 (𝑘)
(𝑘+1) 𝑏𝑖 −σ𝑗=1,𝑗≠𝑖 𝑎𝑖𝑗 𝑥𝑗
𝑥𝑖 =
𝑎𝑖𝑖
• Donner un point de départ 𝑥 (0)
• pour k = 0,1,2,... Jusqu’à convergence
• pour i = 1 : n
𝑗=𝑛 (𝑘)
(𝑘+1) 𝑏𝑖 −σ𝑗=1,𝑗≠𝑖 𝑎𝑖𝑗 𝑥𝑗
• 𝑥𝑖 =
𝑎𝑖𝑖
• Fin
• Fin
• Une généralisation de la méthode de Jacobi est la méthode de sur-
relaxation de Jacobi qu’on définit comme ci-dessous

(𝑘+1) 𝜔 𝑗=𝑛 (𝑘) 𝑘

• 𝑥𝑖 = (𝑏𝑖 − σ𝑗=1,𝑗≠𝑖 𝑎𝑖𝑗 𝑥𝑗 )+ 1 − 𝜔 𝑥𝑖
𝑎𝑖𝑖
• Exemple; Soit le système linéaire suivant:
2 −1 0 𝑥1 7
• AX=B ↔ −1 2 −1 𝑥2 = 1
0 −1 2 𝑥3 1
• Effectuer deux itérations par la méthode de Jacobie en initialisant
0 0 0 𝑡
• Effectuer deux itérations par la méthode de Gauss Siedel en
initialisant 0 0 0 𝑡
 Méthode de Jacobie
• 𝐴=𝐷−𝐿−𝑈
• Avec
2 0 0 0 0 0 0 1 0
• 𝐷 = 0 2 0 ;𝐿 = 1 0 0 ;𝑈 = 0 0 1
0 0 2 0 1 0 0 0 0
On a 𝐷𝑋 𝑘+1 = (𝐿 + 𝑈)𝑋 (𝑘) + B
2 0 0 0 1 0 7
0 2 0 𝑋 (𝑘+1) = 1 0 1 𝑋 (𝑘) + 1
0 0 2 0 1 0 1
 (𝑘+1) (𝑘)
2 0 0 𝑥1 0 1 0 𝑥1 7
(𝑘+1) (𝑘)
0 2 0 𝑥2 = 1 0 1 𝑥2 + 1
0 0 2 (𝑘+1) 0 1 0 (𝑘) 1
𝑥3 𝑥3

(𝑘+1) (𝑘)
2𝑥1 𝑥2 + 7
(𝑘+1)
2𝑥2 = 𝑥1(𝑘) + 𝑥3(𝑘) + 1
(𝑘+1) (𝑘)
2𝑥3 𝑥2 +1
1ère itération pour k=0, on obtient
(1) (0)
2𝑥1 𝑥2 + 7
(1) (0) (0)
• 2𝑥2 = 𝑥1 + 𝑥3 + 1 ;
(1) (0)
2𝑥3 𝑥2 + 1
7Τ
0 2
• Comme 𝑋 (0) = 0 , on obtient 𝑋 (1) = 1Τ
2
0 1Τ
2
• 2ème itération pour k=1, on obtient

(2) (1)
2𝑥1 𝑥2 + 7 15Τ
4
(2) (1) (𝑘)
• 2𝑥2 = 𝑥1 + 𝑥3 + 1 = 5Τ
2
(2) (1) 3Τ
2𝑥3 𝑥2 + 1 4

15Τ
4
• 𝑋 (2) = 5Τ
2
3Τ
4
 Méthode de Gauss Seidel
• 𝐴 = 𝐷 − 𝐿 − 𝑈; On a (𝐷 − 𝐿)𝑋 𝑘+1 = 𝑈𝑋 𝑘 + 𝐵 ou bien
• 𝐷𝑋 𝑘+1 =𝐿𝑋 𝑘+1 + 𝑈𝑋 𝑘 + 𝐵 c.a.d

2 0 0 0 0 0 0 1 0 7
• 0 2 0 𝑋 (𝑘+1) = 1 0 0 𝑋 𝑘+1
+ 0 0 1 𝑋 𝑘
+ 1
0 0 2 0 1 0 0 0 0 1
(𝑘+1) (𝑘)
2𝑥1 𝑥2 + 7
(𝑘+1)
• 2𝑥2 = 𝑥1(𝑘+1) + 𝑥3(𝑘) + 1
(𝑘+1) (𝑘+1)
2𝑥3 𝑥2 +1
• 1ère itération pour k=0, on obtient
(1) (0)
2𝑥1 𝑥2 + 7 0
(1) (1) (0)
• 2𝑥2 = 𝑥1 + 𝑥3 + 1 avec 𝑋 (0) = 0
(1) (1) 0
2𝑥3 𝑥2 + 1
(1)
2𝑥1 7 7Τ
(1) 2
• (1)
2𝑥2 = 1 + 1 d’où
𝑥 𝑋 (1) = 9Τ
4
(1) 13Τ
(1)
2𝑥3 𝑥2 + 1 8
• 2ème itération pour k=1, on obtient
•
(2) (1)
2𝑥1 𝑥2 + 7 7Τ
2
(2)
• 2𝑥2 = 𝑥1(2) + 𝑥3(1) + 1 avec 𝑋 (1) = 9Τ
4
(2) (2) 13Τ
2𝑥3 𝑥2 +1 8
• On obtient
37Τ
8
• 𝑋 (2) = 29Τ
8
37Τ
16
 Convergence des méthodes de Gauss Siedel
et de Jacobi
• Définitions:
• 1) On dit qu’une méthode itérative de résolution d’un système
linéaire 𝐴𝑋 = 𝑏 est convergente si tous les itères 𝑋 (𝑘) vérifient ce
système.
• 2) Soit A est une matrice carrée dordre n; on appelle rayon spectral de
A la quantité suivante :
•𝜌 𝐴 = m ถ ax (𝜆𝑖 )
1≤𝑖≤𝑛
• Où 𝜆1 , 𝜆2 ,…, 𝜆𝑛 sont les valeurs propres de A
• 3) On dit que est une valeur propre de la matrice A s’il existe un
vecteur x non nul solution de
• 𝐴𝑥 = 𝜆𝑥
• Le vecteur 𝑥 est alors dit vecteur propre associé à 𝜆
• 4) Soit A = 𝑎𝑖 𝑗 , 𝑖, 𝑗 = 1, . . , 𝑛; une matrice carrée d’ordre n. On dit
que A est une matrice diagonale strictement dominante si
• 𝑎𝑖𝑖 > σ𝑗≠𝑖 𝑎𝑖𝑗
Théorèmes:
1)Si la matrice A du système Ax = b est diagonale strictement
dominante alors toute méthode itérative de résolution est convergente
2) La méthode itérative 𝑋 (𝑘+1) = 𝑇𝑋 (𝑘) + 𝑉 converge si 𝜌(T) < 1.
3) Si la méthode de Jacobi converge, alors la méthode de sur-relaxation
de Jacobi converge pour 0 < ω ≤1