Méthodes itératives

Caroline Japhet
Version du 3 décembre 2020

Table des matières

1 Etude générale 1
1.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 Construction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

2 Présentation des méthodes usuelles 2

2.1 Méthode de Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.2 Méthode de Gauss-Seidel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2.3 Méthodes de relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

3 Critère d’arrêt des itérations 3

3.1 Test d’arrêt basé sur le résidu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
3.2 Test d’arrêt basé sur l’incrément . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
3.3 Nombre d’itérations maximal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

Références :
r1s F. Cuvelier, Analyse numérique élémentaire, Notes de cours Ingénieurs MACS 1ère année, 2020
https://www.math.univ-paris13.fr/„cuvelier/
r2s A. Quarteroni, R. Sacco, and F. Saleri, Méthodes numériques, Springer, 2007
r3s A. Quarteroni, R. Sacco, and F. Saleri, Méthodes numériques, Springer, 2007

Dans ce chapitre on considère le système linéaire

x “ b,
Ax (1)

où A P Mn pRq et b P Rn sont donnés, avec A inversible. Le système (1) a une unique solution x “ A´1b . Si n
est très grand, il est coûteux de calculer A´1 , on va plutôt utiliser une méthode itérative pour résoudre (1).

Dans tout ce qui suit, x désigne la solution de (1).

1 Etude générale
1.1 Principe
Résoudre le système (1) par une méthode itérative consiste à construire une suite de vecteurs tx xpkq ukPN de Rn
qui converge (au sens de la définition 5.1 du polycopié d’algèbre linéaire) vers la solution x de (1), c’est-à-dire

x “ lim x pkq ,
kÑ8

pour n’importe qu’elle donnée initiale x p0q P Rn .

De façon générale, pour x p0q P Rn donné (quelconque), on considérera la rélation de récurrence suivante :

x pk`1q “ Bx
xpkq ` c , k P N, (2)

1
où B P Mn pRq est une matrice bien choisie (dépendant de A), appelée matrice d’itération et c P Rn est un
vecteur (dépendant de A et b ), qui vérifient la relation de consistance :
x ` c,
x “ Bx (3)
x ` c ðñ Ax
où x est la solution de (1) (c’est-à-dire que x “ Bx x “ b)

1.2 Convergence
x ´ x pkq } “ 0 (où } ‚ } est une norme vectorielle).
On dit que la méthode itérative converge si lim }x
kÑ`8

Soit e pkq “ x ´ x pkq l’erreur à l’étape k, avec k P N. En soustrayant (3) de (2), on a

epk`1q “ Beepkq , @k P N. (4)
De l’équation précédente, on montre par une récurrence sur k que
e pkq “ pBqke p0q , @k P N. (5)
Ainsi (d’après le Théorème 4.1 du polycopié d’algèbre linéaire), on a lim e pkq “ 0 si et seulement si ρpBq ă 1,
kÑ8
et donc on vient de montrer le résultat suivant :

Théorème 1.1 (Convergence d’une méthode itérative) Soit x p0q P Rn donné. la suite tx
xpkq ukPN définie
par (2) converge vers la solution du système (1) si et seulement si ρpBq ă 1.

Remarque 1 (Cas d’une matrice A symétrique)

De (4) on a }eepk`1q }2 ď }B}2 }eepkq }2 , @k P N. En particulier, si B est symétrique, alors }B}2 “ ρpBq, donc
}eepk`1q }2 ď ρpBq}eepkq }2 , @k P N. (6)
De (6), on obtient, par récurrence sur k,
}eepkq }2 ď pρpBqqk }eep0q }2 , @k P N. (7)
Ainsi, pour une matrice symétrique, ρpBq mesure la vitesse de convergence de la méthode itérative. Entre plu-
sieurs méthodes itératives on choisira celle dont le rayon spectral de la matrice d’itération est le plus petit.

1.3 Construction
Pour consruite une méthode itérative consistante avec (1), on utilise une décomposition de la matrice A sous la
forme A “ M ´ N avec M inversible et “facile à inverser” (par exemple diagonale, tridiagonale ou triangulaire).
La méthode itérative est alors définie par
" p0q
x donné dans Rn ,
Mxxpk`1q “ Nx
xpkq ` b , @k P N,

ce qui équivaut à (car M inversible)

" p0q
x donné dans Rn ,
x pk`1q “ M´1 Nx
xpkq ` M´1b , @k P N.

La matrice d’itération est donc B “ M´1 N “ M´1 pM ´ Aq “ I ´ M´1 A.

2 Présentation des méthodes usuelles

On suppose que ai,i ‰ 0, @i P v1, nw. On introduit les matrices suivantes :
˛ D “ pdi,j q P Mn pRq la matrice diagonale telle que di,j “ 0, i ‰ j, et di,i “ ai,i , @i P v1, nw
˛ E “ pei,j q P Mn pRq la matrice triangulaire inférieure telle que ei,j “ 0, si j ě i, et ei,j “ ´ai,j , si j ă i,
˛ F “ pfi,j q P Mn pRq la matrice triangulaire supérieure telle que fi,j “ 0, si j ď i, fi,j “ ´ai,j si j ą i.
On a alors ¨ ˛
..
˚ . ´F‹
A“˚ ˝ D ‹“D´E´F
‚
..
´E .

2
2.1 Méthode de Jacobi
˜ ¸
n
pk`1q 1 ÿ pkq
xi “ bi ´ ai,j xj , @i P t1, . . . , nu (8)
ai,i j“1,j‰i

2.2 Méthode de Gauss-Seidel

˜ ¸
i´1 n
pk`1q 1 ÿ pk`1q
ÿ pkq
xi q “ bi ´ ai,j xj ´ ai,j xj , @i P t1, . . . , nu (9)
ai,i j“1 j“i`1

2.3 Méthodes de relaxation

pk`1q pk`1q pkq

xi “ wx̂i ` p1 ´ wqxi
pk`1q
où x̂i est obtenu à partir de x pkq par la méthode de Gauss-Seidel :
˜ ¸
i´1 n
pk`1q w ÿ pk`1q
ÿ pkq pkq
xi “ bi ´ ai,j xj ´ ai,j xj ` p1 ´ wqxi , @i P t1, . . . , nu. (10)
ai,i j“1 j“i`1

Exercice 2.1 En écrivant A sous la forme A “ D ´ E ´ F, écrire toutes les méthodes précédentes sous la forme
x pk`1q “ Bx
xpkq ` c . On précisera les matrices M et N associées.

On notera respectivement J, L1 , et Lω les matrices d’itérations des méthodes de Jacobi, Guass-Seidel, et

relaxation.

Exercice 2.2 Soit Aα la matrice définie par

¨ ˛
2 α 0
Aα “ ˝α 2 α‚
0 α 2

1. Pour quelles valeurs de α la méthode itérative de Jacobi converge-t-elle ?

2. Pour quelles valeurs de α la méthode itérative de Gauss-Seidel converge-t-elle ?

3 Critère d’arrêt des itérations

Dans cette partie nous abordons le problème du choix du test d’arrêt d’une méthode itérative, pour la résolution
d’un système linéaire Axx “ b.

3.1 Test d’arrêt basé sur le résidu

Le critère d’arrêt usuel consiste à s’arréter à la k ième itération, si :

}rr pkq }
ď tol, (11)
}bb}

xpkq le vecteur résidu à la k ième itération.

le paramètre tol étant une tolérance fixée, et r pkq “ b ´ Ax

Exercice 3.1 Montrer que cette relation implique l’estimation suivante de l’erreur relative :

}eepkq }
ď tol condpAq,
x}
}x

x “ b , e pkq “ x ´ x pkq , et condpAq le conditionnement de A. Qu’en déduisez-vous ?

où x est la solution de Ax

3
3.2 Test d’arrêt basé sur l’incrément
Un autre critère d’arrêt consiste à s’arréter à la k ième itération, lorsque :

xpkq ´ x pk´1q }
}x
ď tol, (12)
xpkq }
}x

tol étant une tolérance fixée.

Exercice 3.2 Montrer que cette relation implique l’estimation suivante de l’erreur relative :

}eepkq } }B}
ď tol ,
x}
}x 1 ´ }B}

x “ b , e pkq “ x ´ x pkq , et B la matrice d’itération.

où x est la solution de Ax
(Indication : montrer que e pkq “ Beepk´1q , et e pk´1q “ e pkq ` px
xpk´1q ´x
xpkq q). Ce test d’arrêt vous paraît-il fiable ?

3.3 Nombre d’itérations maximal

Il est nécessaire, en plus d’un test de type (11) ou (12), d’imposer un nombre d’itérations maximal (au cas où
le test portant sur l’incrément ou le résidu ne serait pas vérifié), c’est-à-dire :

k ă kmax (13)

où kmax est le nombre d’itérations maximal que l’on se fixe.