Optimisation numrique

La mthode du gradient conjugu

Daniele Di Pietro

A.A. 20132014

1 / 20

Directions A-conjugues I

La mthode du gradient est assez inefficace si le problme est mal

conditionn
La raison est que la direction de descente est choisie en utilisant
uniquement des informations locales
Dans le cas de fonctionnelles quadratiques, une alternative est la
mthode du gradient conjugu (CG)
Lide de la mthode CG consiste trouver des estimations de la
solution qui restent optimales par rapport toutes les directions
prcdentes

2 / 20

Directions A-conjugues II

Dfinition (Vecteurs A-conjugus)

Soit A RN,N , N N, une matrice SPD. Alors,
(i) deux vecteurs v, w RN \ {0} sont dits A-conjugus si
Avw = 0;
(ii) une famille (vi )1ik de vecteurs de RN \ {0} est dite A-conjugue
si pour tout 1 i, j k,
i 6= j = Avi vj = 0.

3 / 20

Directions A-conjugues III

Lemme
Soit A RN,N , N N, une matrice SPD et F := (vi )1ik , k N, une
famille de vecteurs A-conjugue. Alors F est libre et k N . Si n = N ,
F est une base de RN .

4 / 20

Directions A-conjugues IV

Dmonstration.
On cherche les combinaisons linaires t.q.
1 v1 + . . . + k vk = 0,

i R 1 i k

Soit 1 i k. En multipliant scalairement par Avi on obtient

k
X

j Avi vj = i kvi k2A = 0 = i = 0,

j=1

c.--d., la famille est libre et, par consquent, k N . Dautre part, si

k = n, F est une base de RN .

5 / 20

Directions A-conjugues V

Dfinition (Mthode conjugue)

Une mthode de minimisation qui utilise une famille de directions de
descente stricte A-conjugues (wn )1nk , k N, est dite conjugue.

6 / 20

Directions A-conjugues VI
Soit x0 lestimation initiale et dfinissons le rsidu r0 := b Ax0
On pose w0 = r0 et, pour n 1 on cherche wn de la forme
wn = rn n wn1

(Dir.)

et t.q. pour tout 0 j n 1

(CG1) Awj wn = 0,

(CG2) wj rn = 0

La mise jour de lestimation litration n scrit

xn+1 = xn + n+1 wn

(MAJ)

rn+1 = b Axn+1 = rn n+1 Awn

(Res.)

Par consquent,

7 / 20

Directions A-conjugues VII

Lemme (Existence des directions (wn )n=0,... )

Pour tout x0 RN il existe des valeurs des paramtres n et n ,
n = 1, . . ., et une famille de vecteurs (wn )n=0,... telle que les
conditions (CG1)(CG2) sont satisfaites.

8 / 20

Directions A-conjugues VIII

On procde par rcurrence partir de w0 = r0 . Pour n = 1 on a
w1 = r1 1 w0 = r1 1 r0 .
On choisit 1 tel que (CG1) soit vrifie :
0 = (w0 , w1 )A = (w0 , r1 1 w0 )A 1 =

(w0 , r1 )A
kw0 k2A

On identifie ensuite la valeur de 1 qui assure la condition (CG2).

De par (Res.) on a
0 = (w0 , r1 ) = (w0 , r0 1 Aw0 ) 1 =

(w0 , r0 )
kw0 k2A

9 / 20

Directions A-conjugues IX
Supposons maintenant (CG1)(CG2) vrifies pour n 1 et
prouvons lexistence de n+1 , n+1 et wn+1
En utilisant lexpression (Res.) pour rn+1 on a
(wn , rn+1 ) = (wn , rn n+1 Awn ) = (wn , rn ) n+1 kwn k2A ,
savoir, (CG2) pour j = n est vrifie pour
n+1 =

(wn , rn )
kwn k2A

Pour prouver (CG2) pour tout 1 j n 1 il suffit dobserver que

(wj , rn+1 ) = (wj , rn n+1 Awn )
= (wj , rn ) n+1 (wj , wn )A = 0.

(Res.)
(CG1-2) pour n

10 / 20

Directions A-conjugues X
Venons maintenant (CG1). Nous avons
(wn , wn+1 )A = (wn , rn+1 n+1 wn )A

(Dir.)

= (wn , rn+1 )A n+1 kwn k2A ,

et (CG1) pour j = n est donc vrifie pour
n+1 =

(wn , rn+1 )A
kwn k2A

Il ne reste plus qu prouver (CG1) pour 1 j n 1.

Puisque w0 = r0 et chaque nouvelle direction wn est obtenue
partir de rn et des directions (wj )0jn1 , on a
Vn+1 := span(w0 , . . . , wn ) = span(r0 , . . . , rn ).

11 / 20

Directions A-conjugues XI

La condition (CG2) pour 1 j n quivaut donc imposer

rn+1 Vn+1

Dautre part, pour tout 0 j n 1 on a

Awj Vn+1 = (wj , rn+1 )A = 0
En utilisant les remarques prcdentes on trouve
(wj , wn+1 )A = (wj , rn+1 n+1 wn )A
= (Awj , rn+1 ) n+1 (wj , wn )A = 0

(Dir.)

rn+1 Vn+1

12 / 20

Convergence dune mthode conjugue

Thorme (Convergence dune mthode conjugue)
Soit A RN,N , N N, une matrice SPD, b RN , et f : RN R t.q.
f (v) :=

1
Avv bv.
2

Une mthode de minimisation de f qui utilise des directions de descente

stricte conjugues satisfaisant (CG1) et (CG2) converge la solution
exacte en au plus en N itrations.
Dmonstration.
La famille (wn )nJ0,N 1K est une base de RN et VN = RN
Puisque rN RN et rN VN , on a
rN = b AxN = 0,
et donc xN est solution exacte.
13 / 20

La mthode du gradient conjugu I

Algorithme (Mthode CG)

Fixer x0 RN ,  > 0
r0 b Ax0 , e0 kr0 k2
w0 r0
w0 r0 , 1 kw
2
0 kA
n0
while en  do
nn+1
xn xn1 + n wn1
rn b Axn , en krn k2
n1 ,rn )A
n (wkw
2
n1 kA
wn rn n wn1
wn rn
n+1 kw
2
n kA
end while

. Mise jour de la solution

. Mise jour du rsidu et de lerreur
. Nouvelle direction

14 / 20

La mthode du gradient conjugu II

103

kAxn bk2

101

105

109

Gradient pas variable

Gradient pas optimal
CG

1013
0

50

100

150

200

Nombre ditrations n
Figure : Convergence de la mthode CG vs. gradient pas optimal
15 / 20

La mthode du gradient conjugu III

La mthode CG est une amlioration spectaculaire de la mthode du

gradient
Le point cl est quon peut imposer des conditions globales sans
avoir mmoriser toutes les directions (wn )n=0,...
Mme sil sagit au sens strict dune mthode directe, elle est en
pratique utilise comme une mthode itrative, et on sarrte ds
que lerreur dcrot au dessous dun certain seuil
Par la suite nous allons montrer que la mthode CG est une
mthode de descente

16 / 20

La mthode du gradient conjugu IV

Lemme (Monotonicit des itrations CG)

On considre litration (n+1) de la mthode du gradient. Alors, si
wn 6= 0 et n+1 6= 0,
J(xn+1 ) < J(xn ).
Si n+1 = 0, xn est le minimiseur de J et Axn = b.

17 / 20

La mthode du gradient conjugu V

On commence par remarquer que
(wn , rn ) = (wn , rn+1 + n+1 Awn )
= (wn , rn+1 ) +n+1 kwn k2A > 0,
| {z }

(Res.)
(CG2)

=0

o lingalit est stricte car wn 6= 0

Nous avons alors
1
(xn + n+1 wn , xn + n+1 wn )A (b, xn + n+1 wn )
2
1
(n+1 )2
= (xn , xn )A (b, xn ) + n+1 (Axn b, wn ) +
kwn k2A
{z
} | 2 {z
|2
{z
} |
}

J(xn+1 ) =

=J(xn )

J(xn )

=n+1 (rn ,wn )

n+1
2

(rn ,wn )

n+1
(rn , wn ) < J(xn ),
2

o nous avons conclu grce au fait que (wn , rn ) > 0

18 / 20

La mthode du gradient conjugu VI

Dfinition (Espaces de Krylov)

Soit A RN,N et r RN . Pour tout n N on appelle espace de Krylov
associ au vecteur r et on note Kn (A, r) le sous-espace vectoriel de RN
Kn (A, r) := span(r, Ar, . . . , An r).

19 / 20

La mthode du gradient conjugu VII

Cette dfinition permet de donner une interpretation alternative de
la mthode CG comme mthode de minimisation
On remarque tout dabord que la condition (CG2) quivaut
rn Kn1 (A, r0 )

(CG20 )

De plus, pour tout n > 0,

xn = x0 + yn ,

yn Kn (A, r0 ) = rn = r0 Ayn

La condition (CG20 ) devient alors

(r0 Ayn , z) = (A1 r0 yn , z)A = 0

z Kn1 (A, r0 )

En utilisant la caractrisation de la projection orthogonale, ceci

quivaut
yn = Kn1 (A,r0 ) (A1 r0 )

20 / 20