1

Universite Rene Descartes

UFR de mathematiques et inIormatique






Chapitre 10



Mthodes itratives 4

Mthodes de 1acobi. Gauss-Seidel
gradient. gradient conjugu
Optimisation





Methodes numeriques 2001/2002 - D.Pastre
licence de mathematiques et licence MASS

2
Mthodes de 1acobi et Gauss-Seidel

Mthodes de point fixe
Pour resoudre A X B. on decompose A sous
la Iorme AG-H avec G inversible.
Alors
AXB

GXHXB

X MXN
avec MG
-1
H et NG
-1
B

On est alors ramene a un probleme de
recherche de point Iixe :

On deIinit la suite recurrente
X
(0 )
vecteur quelconque de R
n

X
(k1)
M X
(k )
N
Si cette suite est convergente alors sa limite X
est solution du systeme.

Dans la pratique. il Iaudra decomposer
A G - H de Iacon que la suite soit
convergente et que G
-1
se deduise Iacilement
de G ou plus simplement que le systeme
GX
(k1)
HX
(k )
B se resolve simplement. On
choisira pour G une matrice diagonale
(1acobi) ou triangulaire (Gauss-Seidel).


3
Dfinitions
Le ravon spectral

(M) d`une matrice M est le

plus grand des modules des valeurs propres
de M.
Remarque : on considere toutes les valeurs
propres. y compris les valeurs complexes.

Condition necessaire et suffisante de
convergence
Thorme
La suite X
(k)
ainsi deIinie converge pour tout
X
(0 )
si et seulement si

(M)1.
La convergence est d`autant plus rapide que

(M) est petit.

4
Mthode de 1acobi
On ecrit A D - E - F ou D est la partie
diagonale de A. E (resp. F) la partie
triangulaire inIerieure (resp. superieure)
changee de signe de A.
On suppose que tous les a
ii
sont diIIerents de
0. donc D est inversible. On choisit alors GD
et HEF.
On a alors M D
-1
(EF) D
-1
(D-A)I - D
-1
A

0
0
0
3 2 1
22
2
22
23
22
21
11
1
11
13
11
12

nn
n
nn
n
nn
n
n
n
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a
a

Le calcul eIIectiI se Iait en resolvant
directement le systeme
D X
(k1)
(EF) X
(k )
B
soit
ii
n
i eti 1 i
) k (
i ii i
) 1 k (
i
a
x a b
x

= +

=



5
Dfinition
On dit que A est a diagonale strictement
dominante si

=
>
n
i eti 1 i
ii ii
a a i

ou si

=
>
n
i eti 1 i
ii ii
a a i


Condition suffisante de convergence
Thorme
Si A est une matrice a diagonale strictement
dominante alors la methode de Jacobi
appliquee au systeme A X B est convergente
pour tout X
(0)



6
Mthode de Gauss-Seidel
A partir de A D - E - F on choisit
GD-E et HF.
On a alors M (D-E)
-1
F et N (D-E)
-1
B.

Le calcul eIIectiI se Iait en resolvant
directement le systeme
(D-E) X
(k1)
F X
(k )
B
soit
i
) k (
i
n
1 i i
ii
) 1 k (
i
i
1 i
ii
b x a x a + =
+ =
+

=

ii
) k (
i
n
1 i i
ii
) 1 k (
i
1 i
1 i
ii i
) 1 k (
i
a
x a x a b
x

+ =
+

=
+

=


Remarque : le calcul de
) 1 k (
i
x
+
Iait intervenir les
valeurs des
) k (
i
x
pour i~i et des
) 1 k (
i
x
+
pour ii.
On Iera donc le calcul pour i allant de 1 a n.


7
Conditions suffisantes de convergence
Thorme 1
Si A est une matrice a diagonale strictement
dominante alors la methode de Gauss-Seidel
appliquee au systeme A X B est convergente
pour tout X
(0)


Thorme 2
Si A est deIinie positive alors la methode de
Gauss-Seidel appliquee au systeme A X B
est convergente pour tout X
(0 )


Les methodes de Jacobi et de Gauss-Seidel
sont appelees techniques de relaxation. La
methode de Gauss-Seidel converge plus vite
que la methode de Jacobi.

8

Point de vue gomtrique

Supposons A svmetrique definie positive.

Au systeme AXB on associe la Ionctionnelle
quadratique J(X)
2
1
t
X A X
t
X B
Proprit
X
o
est solution du systeme A X B si et
seulement si J (X) peut se mettre sous la Iorme
J(X)
2
1
(
t
X-
t
X
o
) A (X- X
o
) - C
o

ou C
o
est une constante.
J(X
o
) est egal au minimum de la Ionction J (X)

On a. pour tout X . J (X)

C
o
et X
o
est appele
le centre de la Iamille d`ellipsodes
homothetiques (J
-1
(c))
c~Co

Dfinitions
On appelle rsidu (ou residus ) relatiI a Y le
vecteur r(X) A X B
Le gradient de J en x est le vecteur
) (X
x
J
i

9
Notation

J(X)

Proposition
Si

J (X) est le gradient de J en X. on a

J (X) r(X)

Interprtation gomtrique de la mthode de
1acobi
(pour une matrice A deIinie positive)

X
(k )
est sur l`ellipsode J
-1
J(X
(k )
)
On construit les n points
) 1 k (
i
X
+
a partir de X
(k)

en annulant le i
eme
residu.
) 1 k (
i
X
+
est sur
l`ellipsode tangent a la droite parallele a l`axe
Ox
i
passant par X
(k )
. Le point X
(k1)
est le point
dont les coordonnees sont les coordonnees a
l`ordre k1 des
) 1 k (
i
X
+
.

Interprtation gomtrique de la mthode de
Causs-Seidel
On construit le point
) 1 k (
1 i
X
+
+
a partir de
) 1 k (
i
X
+

en annulant le (i1)
eme
residu.

10

Mthode du gradient
(ou de la plus grande pente)

A partir du point X
(k )
. qui est sur l`ellipsode
J
-1
J(X
(k )
). on trace la normale a cet ellipsode.
X
(k )
est le point de contact de cet normale avec
l`ellipsode de la Iamille qui lui est tangent.
soit
X
(k1)
X
(k )
t
k
r
(k )

avec
r
(k )
AX
(k )
B et r
(k1)
perpendiculaire a r
(k )

Le calcul donne (a verifier en exercice)
) k (
) k ( ) k ( t
) k ( ) k ( t
) k ( ) 1 k (
Ar
Ar r
r r
r r =
+

) k (
) k ( ) k ( t
) k ( ) k ( t
) k ( ) 1 k (
r
Ar r
r r
X X =
+


Thorme
Soit

M
(resp.

m
) la plus grande (reps.la plus
petite) valeur propre de A. La methode du
gradient converge. quel que soit le vecteur
initial X
(0 )
. vers la solution Xo si
2
m
M
<

11

Mthode du gradient conjugu

On determine X
(k1)
a partir du point X
(k )
de la
Iacon suivante :
U
(k )
et U
(k-1 )
sont coniugues par rapport a
l`ellipse section de l`ellipsode J
-1
(J(X
(k )
)) par
le plan passant par X
(k)
et de vecteurs
directeurs U
(k -1)


et

J(X
(k)
)r
(k )
. soit
U
(k )
-r
(k )
s
k
U
(k -1)
et U
(k -1 )
AU
(k )
0
(avec U
(o )
-r
(o )
)
la droite passant par X
(k )
et de vecteur
directeur U
(k )
est tangente en X
(k1)
a
l`ellipsode J
--1
(J (X
(k1)
)). soit
X
(k1)
X
(k )
t
k
U
(k )
et
t
U
(k )
r
(k1)
0

Le calcul donne (a verifier en exercice)
) 1 k ( ) 1 k ( t
k ) 1 k ( t
k
AU U
Ar U
s

=

) k ( ) k ( t
k ) k ( t
) k ( ) k ( t
k ) k ( t
k
AU U
r r
AU U
r U
t = =



12




Thorme
La methode du gradient coniugue converge en
n iterations au plus. (C`est donc une methode
directe).


13

Optimisation

Les methodes qui viennent d`tre etudiees
pour resoudre les systemes lineaires
consistaient a chercher le minimum
(loptimum) d`une Ionctionnelle J (X). Ce sont
des problemes doptimisation.

De nombreux autres problemes sont aussi
equivalents a des problemes d`optimisation.
c`est-a-dire a la recherche d`un optimum d`une
Ionctionnelle J (X) (qui peut tre beaucoup plus
compliquee que dans les exemples qui
viennent d`tre vus ). Les methodes de
relaxation et de gradient se generalisent.

14

Approximation au sens des moindres carrs

Exemple : si le systeme AXB n`a pas de
solution. il peut tre interessant de trouver un
X qui s `en approche le plus possible. On
appelle approximation au sens des moindres
carres un X qui minimise la norme
) B AX )( B A X ( B AX
t t t
=


Une application de cette approximation aux
moindres carres consiste a chercher une
Ionction polynomiale de degre donne qui passe
aussi pres que possible d`un grand nombre de
points. Des methodes d`interpolation
permettent de trouver un polynme de degre n
dont la courbe passe par n1 points donnes.
mais il peut tre preIerable (rapidite de calcul
ou inexactitude sur les donnees) de chercher
un polynme de moindre degre qui ne Iait
qu`approximer la courbe.

15
Pour trouver un tel polynme

=
n
i
i
i
x a
1
passant
au plus pres des points (x
i
.y
i
). on cherchera
une approximation au sens des moindres carres
du systeme

n
2
1
o
n
2
1
o
n
n
2
n n
n
2
2
2 2
n
1
2
1 1
n
o
2
o o
y
y
y
y
a
a
a
a
x x x 1
x x x 1
x x x 1
x x x 1

ou les inconnues sont les a
i
.

Pour chercher une droite yaxb par exemple
passant au plus pres des n points. on resoudra
le systeme

1
o
1
o
y
y
b
a
x 1
x 1
d`inconnues a et b.
Attention. on ne minimise pas la somme des
distances des points a la droite mais la somme
des diIIerences entre les ordonnees des points
et de la droite pour les x
i
.