Vous êtes sur la page 1sur 216

Universite Aix Marseille 1

Licence de mathematiques
Cours dAnalyse numerique
2003-2004
enseigne par Rapha`ele Herbin
13 avril 2004
2
TABLE DES MATI
`
ERES 3
Table des mati`eres
1 Syst`emes lineaires 7
1.1 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Les methodes directes . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.1 Denition . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 Methode de Gauss et methode LU . . . . . . . . . . . . . 8
1.2.3 Methode de Choleski . . . . . . . . . . . . . . . . . . . . . 11
1.2.4 Quelques proprietes . . . . . . . . . . . . . . . . . . . . . 16
1.2.5 Sensibilite aux erreurs darrondis . . . . . . . . . . . . . . 19
1.2.6 Annexe: diagonalisation de matrices symetriques . . . . . 25
1.2.7 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.3 Methodes iteratives . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.3.1 Denition et proprietes . . . . . . . . . . . . . . . . . . . 37
1.3.2 Methodes de Jacobi, Gauss-Seidel et SOR/SSOR . . . . . 40
1.3.3 Recherche de valeurs propres et vecteurs propres . . . . . 46
1.3.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2 Syst`emes non lineaires 53
2.1 Les methodes de point xe . . . . . . . . . . . . . . . . . . . . . . 53
2.1.1 Point xe de contraction . . . . . . . . . . . . . . . . . . . 53
2.1.2 Point xe de monotonie . . . . . . . . . . . . . . . . . . . 57
2.1.3 Vitesse de convergence . . . . . . . . . . . . . . . . . . . . 59
2.2 Methode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . 61
2.2.1 Variantes de la methode de Newton . . . . . . . . . . . . 65
2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
3 Optimisation 75
3.1 Denition et rappels de calcul dierentiel . . . . . . . . . . . . . 75
3.1.1 Denition des probl`emes doptimisation . . . . . . . . . . 75
3.1.2 Rappels et notations de calcul dierentiel . . . . . . . . . 75
3.2 Optimisation sans contrainte . . . . . . . . . . . . . . . . . . . . 76
3.2.1 Denition et condition doptimalite . . . . . . . . . . . . . 76
3.2.2 Resultats dexistence et dunicite . . . . . . . . . . . . . . 77
3.2.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
3.3 Algorithmes doptimisation sans contrainte . . . . . . . . . . . . 83
3.3.1 Methodes de descente . . . . . . . . . . . . . . . . . . . . 83
3.3.2 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
3.3.3 Algorithmes du gradient conjugue . . . . . . . . . . . . . 88
3.3.4 Methodes de Newton et QuasiNewton . . . . . . . . . . 96
4 TABLE DES MATI
`
ERES
3.3.5 Resume sur les methodes doptimisation . . . . . . . . . . 99
3.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
3.5 Optimisation sous contraintes . . . . . . . . . . . . . . . . . . . . 102
3.5.1 Denitions . . . . . . . . . . . . . . . . . . . . . . . . . . 102
3.5.2 Existence Unicite Conditions doptimalite simple . . . 103
3.5.3 Conditions doptimalite dans le cas de contraintes egalite 104
3.5.4 Contraintes inegalites . . . . . . . . . . . . . . . . . . . . 107
3.5.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.6 Algorithmes doptimisation sous contraintes . . . . . . . . . . . . 110
3.6.1 Methodes de gradient avec projection . . . . . . . . . . . 110
3.6.2 Methodes de dualite . . . . . . . . . . . . . . . . . . . . . 113
3.6.3 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
4 Equations dierentielles 119
4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
4.2 Consistance, stabilite et convergence . . . . . . . . . . . . . . . . 122
4.3 Theor`eme de convergence . . . . . . . . . . . . . . . . . . . . . . 123
4.4 Stabilite par rapport aux erreurs . . . . . . . . . . . . . . . . . . 126
4.5 Exemples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
4.6 Explicite ou implicite? . . . . . . . . . . . . . . . . . . . . . . . . 128
4.6.1 Limplicite gagne... . . . . . . . . . . . . . . . . . . . . . . 128
4.6.2 Limplicite perd... . . . . . . . . . . . . . . . . . . . . . . 129
4.6.3 Match nul . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
4.7 Etude du schema dEuler implicite . . . . . . . . . . . . . . . . . 130
4.8 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
5 Suggestions pour les exercices 141
5.1 Exercices du chapitre 1 . . . . . . . . . . . . . . . . . . . . . . . . 141
5.2 Exercices du chapitre 2 . . . . . . . . . . . . . . . . . . . . . . . . 145
5.3 Exercices du chapitre 3 . . . . . . . . . . . . . . . . . . . . . . . . 146
6 Corriges detailles des exercices 149
6.1 Exercices du chapitre 1 . . . . . . . . . . . . . . . . . . . . . . . . 149
6.2 Corrige des exercices du chapitre 2 . . . . . . . . . . . . . . . . . 179
6.3 Corrige des exercices du chapitre 3 . . . . . . . . . . . . . . . . . 191
6.3.1 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
6.4 Corrige des exercices du chapitre 4 . . . . . . . . . . . . . . . . . 207
TABLE DES MATI
`
ERES 5
Introduction
Lobjet de lanalyse numerique est de concevoir et detudier des methodes de
resolution de certains probl`emes mathematiques, en general issus de la modelisa-
tion de probl`emes reels, et dont on cherche `a calculer la solution `a laide dun
ordinateur.
Le cours est structure en quatre grands chapitres :
Syst`emes lineaires
Syst`emes non lineaires
Optimisation
Equations dierentielles.
On pourra consulter les ouvrages suivants pour ces dierentes parties (ceci
est une liste non exhaustive !) :
P.G. Ciarlet, Introduction `a lanalyse numerique et `a loptimisation, Mas-
son, 1982, (pour les chapitre 1 `a 3 de ce polycopie).
M. Crouzeix, A.L. Mignot, Analyse numerique des equations dierentielles,
Collection mathmatiques appliques pour la maitrise, Masson, (pour le cha-
pitre 4 de ce polycopie).
J.P. Demailly, Analyse numerique et equations dierentielles Collection
Grenoble sciences Presses Universitaires de Grenoble
L. Dumas, Modelisation `a loral de lagregation, calcul scientique, Col-
lection CAPES/Agregation, Ellipses, 1999.
J. Hubbard, B. West, Equations direntielles et systmes dynamiques, Cas-
sini.
P. Lascaux et R. Theodor, Analyse numerique matricielle appliquee lart
de lingenieur, tomes 1 et 2, Masson, 1987
L. Sainsaulieu, Calcul scientique cours et exercices corriges pour le 2`eme
cycle et les ecoles dingenieurs, Enseignement des mathematiques, Masson,
1996.
M. Schatzman, Analyse numerique, cours et exercices, (chapitres 1,2 et 4).
D. Serre, Les matrices, Masson, (2000). (chapitres 1,2 et 4).
P. Lascaux et R. Theodor, Analyse numerique sappliquee aux sciences de
lingenieur, Paris, (1994)
R. Temam, Analyse numerique, Collection SUP le mathematicien, Presses
Universitaires de France, 1970.
Et pour les anglophiles...
M. Braun, Dierential Equations and their applications, Springer, New
York, 1984 (chapitre 4).
6 TABLE DES MATI
`
ERES
G. Dahlquist and A. Bjorck, Numerical Methods, Prentice Hall, Series in
Automatic Computation, 1974, Englewood Clis, NJ.
R. Fletcher, Practical methods of optimization, J. Wiley, New York, 1980
(chapitre 3).
G. Golub and C. Van Loan, Matrix computations, The John Hopkins
University Press, Baltimore (chapitre 1).
R.S. Varga, Matrix iterative analysis, Prentice Hall, Englewood Clis, NJ
1962.
Attention, malgre une re-lecture soigneuse, il est possible que ce cours contienne
des fautes de frappe. Si vous en trouvez, merci de men avertir de preference par
e-mail : herbin@cmi.univ-mrs.fr ou par fax : 04 91 11 35 02 (` a lattention de R.
Herbin). Il est en general assez dicile de me joindre au telephone (04 91 11 36
43). Si vous avez des questions de comprehension du cours, nhesitez pas `a me
poser les questions par mail ou fax.
7
Chapitre 1
Syst`emes lineaires
1.1 Objectifs
On note /
N
(IR) lensemble des matrices carrees dordre N. Soit A
/
N
(IR) une matrice inversible, et b IR
N
, on a comme objectif de resoudre le
syst`eme lineaire Ax = b, cest `a dire de trouver x solution de :
_
x IR
N
Ax = b
(1.1.1)
Comme A est inversible, il existe un unique vecteur x IR
N
solution de
(1.1.1). Nous allons etudier dans les deux chapitres suivants des methodes de
calcul de ce vecteur x: la premi`ere partie de ce chapitre sera consacree aux
methodes directes et la deuxi`eme aux methodes iteratives. Nous aborderons
ensuite en troisi`eme partie les methodes de resolution de probl`emes aux valeurs
propres.
Un des points essentiels dans lecacite des methodes envisagees concerne
la taille des syst`emes `a resoudre. Entre 1980 et 2000, la taille de la memoire
des ordinateurs a augmente. La taille des syst`emes quon peut resoudre sur
ordinateur a donc egalement augmente, selon lordre de grandeur suivant :
1980 : matrice pleine (tous les termes sont non nuls) N = 10
2
matrice creuse N = 10
6
2000 : matrice pleine N = 10
6
matrice creuse N = 10
8
Le developpement des methodes de resolution de syst`emes lineaires est liee
`a levolution des machines informatiques. Un grand nombre de recherches sont
dailleurs en cours pour proter au mieux de larchitecture des machines (me-
thodes de decomposition en sous domaines pour proter des architectures pa-
rall`eles, par exemple).
8 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
1.2 Les methodes directes
1.2.1 Denition
Denition 1.1 (Methode directe) On appelle methode directe de resolution
de (1.1.1) une methode qui donne exactement x (A et b etant connus) solution
de (1.1.1) apr`es un nombre ni doperations elementaires (+, , ,/).
Vous avez dej`a vu plusieurs methodes de resolution du syst`eme (1.1.1) en
DEUG; en ce qui concerne les methodes directes, vous avez d u etudier :
- la methode de Gauss (avec pivot)
- la methode LU, qui est une reecriture de la methode Gauss.
Nous rappelons rapidement la methode de Gauss et la methode LU (revoyez
votre cours de DEUG sur ce sujet), et nous etudierons plus en details la methode
de Choleski.
1.2.2 Methode de Gauss et methode LU
Soit A /
N
(IR) une matrice inversible, et b IR
N
. On cherche `a calculer
x IR
N
tel que Ax = b. Le principe de la methode de Gauss est de se ramener,
par des operations simples (combinaisons lineaires), `a un syst`eme triangulaire
equivalent, qui sera donc facile `a inverser. On pose A
(1)
= A et b
(1)
= b. Pour
i = 1, . . . ,N 1, on cherche `a calculer A
(i+1)
et b
(i+1)
tels que les syst`emes
A
(i)
x = b
(i)
et A
(i+1)
x = b
(i+1)
soient equivalents, o` u A
(i)
est une matrice de la
forme suivante :
a
(1)
1,1
a
(i)
i,i
a
(i)
i+1,i
a
(i)
N,i
a
(i)
N,N
a
(1)
1,N
0
0
0 0
A
(i)
=
a
(N)
1,1
a
(N)
1,N
0
A
(N)
=
0
0
a
(N)
N,N
Fig. 1.1 Allure des matrices de Gauss ` a letape i et ` a letape N
Une fois la matrice A
(N)
(triangulaire superieure) et le vecteur b
(N)
calcules,
il sera facile de resoudre le syst`eme A
(N)
x = b
(N)
. Le calcul de A
(N)
est letape
de factorisation, le calcul de b
(N)
letape de descente, et le calcul de x letape
de remontee. Donnons les details de ces trois etapes.
Etape de factorisation et descente Pour passer de la matrice A
(i)
`a la
matrice A
(i+1)
, on va eectuer des combinaisons lineaires entre lignes qui per-
mettront dannuler les coecients de la i-`eme colonne situes en dessous de la
ligne i (dans le but de se rapprocher dune matrice triangulaire superieure).
1.2. LES M

ETHODES DIRECTES 9
a
(1)
1,1
a
(i+1)
i+1,i+1
a
(i+1)
i+2,i+1
a
(i+1)
N,N
a
(1)
1,N
a
(i+1)
N,i+1
0
0
0
0
A
(i+1)
=
Fig. 1.2 Allure de la matrice de Gauss ` a letape i + 1
Evidemment, lorsquon fait ceci, il faut egalement modier le second membre b
en consequence. Letape de factorisation et descente secrit donc :
1. Pour k i et pour j = 1, . . . ,N, on pose a
(i+1)
k,j
= a
(i)
k,j
et b
(i+1)
k
= b
(i)
k
.
2. Pour k > i, si a
(i)
i,i
,= 0, on pose :
a
(i+1)
k,j
= a
(i)
k,j

a
(i)
k,i
a
(i)
i,i
a
(i)
i,j
, pour k = j, . . . ,N, (1.2.2)
b
(i+1)
k
= b
(i)
k

a
(i)
k,i
a
(i)
i,i
b
(i)
i
. (1.2.3)
La matrice A
(i+1)
est de la forme donnee sur la gure 1.2.2. Remarquons que le
syst`eme A
(i+1)
x = b
(i+1)
est bien equivalent au syst`eme A
(i)
x = b
(i)
Si la condition a
(i)
i,i
,= 0 est veriee pour i = 1 `a N, on obtient par le procede
de calcul ci-dessus un syst`eme lineaire A
(N)
x = b
(N)
equivalent au syst`eme
Ax = b, avec une matrice A
(N)
triangulaire superieure facile `a inverser. On
verra un peu plus loin les techniques de pivot qui permettent de regler le cas o` u
la condition a
(i)
i,i
,= 0 nest pas veriee.
Etape de remontee Il reste `a resoudre le syst`eme A
(N)
x = b
(N)
. Ceci est
une etape facile. Comme A
(N)
est une matrice inversible, on a a
(i)
i,i
,= 0 pour
tout i = 1, . . . ,N, et comme A
(N)
est une matrice triangulaire superieure, on
peut donc calculer les composantes de x en remontant, cest`adire de la
composante x
N
`a la composante x
1
:
x
N
=
b
(N)
a
(N)
N,N
,
x
i
=
1
a
(N)
i,i
(b
(i)

j=i+1,N
a
(N)
i,j
x
j
),i = N 1, . . . ,1.
10 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Co ut de la methode de Gauss (nombre doperations) On peut montrer
(on fera le calcul de mani`ere detaillee pour la methode de Choleski dans la
section suivante, le calcul pour Gauss est similaire) que le nombre doperations
necessaires pour eectuer les etapes de factorisation, descente et remontee est
2
3
N
3
+O(N
2
).
En ce qui concerne la place memoire, on peut tr`es bien stocker les iteres
A
(i)
dans la matrice A de depart, ce quon na pas voulu faire dans le calcul
precedent, par souci de clarte.
Decomposition LU Si le syst`eme Ax = b doit etre resolu pour plusieurs
second membres b, il est evident quon a interet `a ne faire letape de factorisation
(i.e. le calcul de A
(N)
), quune seule fois, alors que les etapes de descente et
remontee (i.e. le calcul de b
(N)
et x) seront faits pour chaque vecteur b. Letape
de factorisation peut se faire en decomposant la matrice A sous la forme LU.
On admettra le theor`eme suivant (voir par exemple le livre de Ciarlet cite
en debut de cours.
Theor`eme 1.2 (Decomposition LU dune matrice) Soit A /
N
(IR) une
matrice inversible, il existe une matrice de permutation P telle que, pour cette
matrice de permutation, il existe un et un seul couple de matrices (L,U) o` u L
est triangulaire inferieure de termes diagonaux egaux ` a 1 et U est triangulaire
superieure, veriant
PA = LU.
Cette decomposition peut se calculer tr`es facilement `a partir de la methode
de Gauss. Pour simplier lecriture, on supposera ici que lors de la methode
de Gauss, la condition a
(i)
i,i
,= 0 est veriee pour tout i = 1, dots,N. Dans ce
cas ,la matrice de permutation est la matrice identite. La matrice L a comme
coecients
i,j
=
a
(i)
j,i
a
(i)
i,i
pour i > j,
i,i
= 1 pour tout i = 1, . . . ,N, et
i,j
= 0
pour j > i, et la matrice U est egale `a la matrice A
(N)
. On peut verier que
A = LU grace au fait que le syst`eme A
(N)
x = b
(N)
est equivalent au syst`eme
Ax = b. En eet, comme A
(N)
x = b
(N)
et b
(N)
= L
1
b, on en deduit que
LUx = b, et comme A et LU sont inversibles, on en deduit que A
1
b = (LU)
1
b
pour tout b IR
N
. Ceci demontre que A = LU.
Techniques de pivot Dans la presentation de la methode de Gauss et de
la decomposition LU, on a suppose que la condition a
(i)
i,i
,= 0 etait veriee `a
chaque etape. Or il peut saverer que ce ne soit pas le cas, ou que, meme si la
condition est veriee, le pivot a
(i)
i,i
soit tr`es petit, ce qui peut entraner des
erreurs darrondi importantes dans les calculs. On peut resoudre ce probl`eme
en utilisant les techniques de pivot partiel ou pivot total, qui reviennent `a
choisir une matrice de permutation P qui nest pas forcement egale `a la matrice
identite dans le theor`eme 1.2.
Pla cons-nous `a literation i de la methode de Gauss. Comme la matrice A
(i)
est forcement non singuli`ere, on a :
det(A
(i)
) = a
(i)
1,1
a
(i)
2,2
a
(i)
i1,i1
det
_
_
_
_
a
(i)
i,i
. . . a
(i)
i,N
.
.
.
.
.
.
.
.
.
a
(i)
N,i
. . . a
(i)
N,N
_
_
_
_
,= 0.
1.2. LES M

ETHODES DIRECTES 11
On a donc en particulier
det
_
_
_
_
a
(i)
i,i
. . . a
(i)
i,N
.
.
.
.
.
.
.
.
.
a
(i)
N,i
. . . a
(i)
N,N
_
_
_
_
,= 0.
Pivot partiel On deduit quil existe i
0
i, . . . ,N tel que a
(i)
i0,i
,= 0.
On choisit alors i
0
i, . . . ,N tel que [a
(i)
i0,i
[ = max[a
(i)
k,i
[,k = i, . . . ,N. On
echange alors les lignes i et i
0
(dans la matrice A et le second membre b) et on
continue la procedure de Gauss decrite plus haut.
Pivot total On choisit maintenant i
0
et j
0
i, . . . ,N tels que [a
(i)
i0,j0
[ =
max[a
(i)
k,j
[,k = i, . . . ,N,j = i, . . . ,N, et on echange alors les lignes i et i
0
(dans
la matrice A et le second membre b), les colonnes j et j
0
de A et les inconnues
x
j
et x
j0
.
Linteret de ces strategies de pivot est quon aboutit toujours `a la resolution
du syst`eme (d`es que A est inversible). La strategie du pivot total permet une
moins grande sensibilite aux erreurs darrondi. Linconvenient majeur est quon
change la structure de A: si, par exemple la matrice avait tous ses termes non
nuls sur quelques diagonales seulement, ceci nest plus vrai pour la matrice A
(N)
.
1.2.3 Methode de Choleski
On va maintenant etudier la methode de Choleski, qui est une methode
directe adaptee au cas o` u A est symetrique denie positive. On rappelle quune
matrice A /
N
(IR) de coecients (a
i,j
)
i=1,N,j=1,N
est symetrique si A = A
t
,
o` u A
t
designe la transposee de A, denie par les coecients (a
j,i
)
i=1,N,j=1,N
,
et que A est denie positive si Ax x > 0 pour tout x IR
N
tel que x ,= 0.
Dans toute la suite, x y designe le produit scalaire des deux vecteurs x et y de
IR
N
. On rappelle (exercice) que si A est symetrique denie positive elle est en
particulier inversible.
Description de la methode
La methode de Choleski consiste `a trouver une decomposition de A de la
forme A = LL
t
, o` u L est triangulaire inferieure de coecients diagonaux stric-
tement positifs. On resout alors le syst`eme Ax = b en resolvant dabord Ly = b
puis le syst`eme L
t
x = y. Une fois la matrice A factorisee, cest `a dire la
decomposition LL
t
obtenue (voir paragraphe suivant), on eectue les etapes de
descente et remontee:
1. Etape 1 : descente Le syst`eme Ly = b secrit :
Ly =
_

1,1
0
.
.
.
.
.
.
.
.
.

N,1
. . .
N,N
_

_
_

_
y
1
.
.
.
y
N
_

_ =
_

_
b
1
.
.
.
b
N
_

_.
12 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Ce syst`eme secrit composante par composante en partant de i = 1.

1,1
y
1
= b
1
, donc y
1
=
b
1

1,1

2,1
y
1
+
2,2
y
2
= b
2
, donc y
2
=
1

2,2
(b
2

2,1
y
1
)
.
.
.
.
.
.

j=1,i

i,j
y
j
= b
i
, donc y
i
=
1

i,i
(b
i

j=1,i1

i,j
y
j
)
.
.
.
.
.
.

j=1,N

N,j
y
j
= b
N
, donc y
N
=
1

N,N
(b
N

j=1,N1

N,j
y
j
).
On calcule ainsi y
1
, y
2
, . . . ,y
N
.
2. Etape 2 : remontee On calcule maintenant x solution de L
t
x = y.
L
t
x =
_

1,1

2,1
. . .
N,1
0
.
.
.
.
.
.
.
.
.
0 . . .
N,N
_

_
_

_
x
1
.
.
.
x
N
_

_
=
_

_
y
1
.
.
.
y
N
_

_
.
On a donc :

N,N
x
N
= y
N
donc x
N
=
y
N

N,N

N1,N1
x
N1
+
N,N1
x
N
= y
N1
donc x
N1
=
yN1N,N1xN
N1,N1
.
.
.

j=1,N

j,1
x
j
= y
1
donc x
1
=
y
1

j=2,N

j,1
x
j

1,1
.
On calcule ainsi x
N
, x
N1
, . . . ,x
1
.
Existence et unicite de la decomposition
On donne ici le resultat dunicite de la decomposition LL
t
dune matrice
symetrique denie positive ainsi quun procede constructif de la matrice L.
Theor`eme 1.3 (Decomposition de Choleski) Soit A /
N
(IR) avec N >
1. On suppose que A est symetrique denie positive. Alors il existe une unique
matrice L /
N
(IR), L = (
i,j
)
N
i,j=1
, telle que :
1. L est triangulaire inferieure (cest ` a dire
i,j
= 0 si j > i),
2.
i,i
> 0, pour tout i 1, . . . ,N,
3. A = LL
t
.
Demonstration: On sait dej`a par le theor`eme 1.2 page 10, qiil existe une
matrice de permutation et L triangulaire inferieure et U triangulaire superieure
1.2. LES M

ETHODES DIRECTES 13
PA = LU. Ici on va montrer que dans le cas o` u la matrice est symetrique,
la decomposition est toujours possible sans permutation. Nous donnons ici une
demonstration directe de lexistence et de lunicite de la decomposition LL
t
qui
a lavantage detre constructive.
Existence de L: demonstration par recurrence sur N
1. Dans le cas N = 1, on a A = (a
1,1
). Comme A est symetrique denie
positive, on a a
1,1
> 0. On peut donc denir L = (
1,1
) o` u
1,1
=

a
1,1
,
et on a bien A = LL
t
.
2. On suppose que la decomposition de Choleski sobtient pour A /
p
(IR)
symetrique denie positive, pour 1 p N et on va demontrer que la
propriete est encore vraie pour A /
N+1
(IR) symetrique denie positive.
Soit donc A /
N+1
(IR) symetrique denie positive ; on peut ecrire A
sous la forme :
A =
_

_
B a
a
t

_
(1.2.4)
o` u B /
N
(IR) est symetrique, a IR
N
et IR. Montrons que B est
denie positive, c.`a.d. que By y > 0, pour tout y IR
N
tel que y ,= 0.
Soit donc y IR
N
0, et x =
_
y
0
_
IR
N+1
. Comme A est symetrique
denie positive, on a :
0 < Ax x =
_

_
B a
a
t

_
_

_
y
0
_

_
y
0
_

_
=
_

_
By
a
t
y
_

_
y
0
_

_
= By y
donc B est denie positive. Par hypoth`ese de recurrence, il existe une
matrice M /
N
(IR) M = (m
i,j
)
N
i,j=1
telle que :
(a) m
i,j
= 0 si j > i
(b) m
i,i
> 0
(c) B = MM
t
.
On va chercher L sous la forme :
L =
_

_
M 0
b
t

_
(1.2.5)
avec b IR
N
, IR

+
tels que LL
t
= A. Pour determiner b et , calculons
LL
t
o` u L est de la forme (1.2.5) et identions avec A:
LL
t
=
_

_
M 0
b
t

_
_

_
M
t
b
0
_

_
=
_

_
MM
t
Mb
b
t
M
t
b
t
b +
2
_

_
On cherche b IR
N
et IR

+
tels que LL
t
= A, et on veut donc que les
egalites suivantes soient veriees :
Mb = a et b
t
b +
2
= .
14 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Comme M est inversible (en eet, le determinant de M secrit det(M) =

N
i=1
m
i,i
> 0), la premi`ere egalite ci-dessus donne : b = M
1
a et en
rempla cant dans la deuxi`eme egalite, on obtient : (M
1
a)
t
(M
1
a) +
2
=
, donc a
t
(M
t
)
1
M
1
a+
2
= soit encore a
t
(MM
t
)
1
a+
2
= , cest
`a dire :
a
t
B
1
a +
2
= (1.2.6)
Pour que (1.2.6) soit veriee, il faut que
a
t
B
1
a > 0 (1.2.7)
Montrons que la condition (1.2.7) est eectivement veriee : Soit z =
_
B
1
a
1
_
IR
N+1
. On a z ,= 0 et donc Az z > 0 car A est symetrique
denie positive. Calculons Az :
Az =
_
_
B a
a
t

_
_
_

_
B
1
a
1
_

_
=
_

_
0
a
t
B
1
a
_

_
.
On a donc Az z = a
t
B
1
a > 0 ce qui montre que (1.2.7) est veriee.
On peut ainsi choisir =

a
t
B
1
a (> 0) de telle sorte que (1.2.6)
est veriee. Posons :
L =
_

_
M 0
(M
1
a)
t

_
.
La matrice L est bien triangulaire inferieure et verie
i,i
> 0 et A = LL
t
.
On a termine ainsi la partie existence.
Unicite et calcul de L. Soit A /
N
(IR) symetrique denie positive ; on
vient de montrer quil existe L /
N
(IR) triangulaire inferieure telle que
i,j
=
0 si j > i,
i,i
> 0 et A = LL
t
. On a donc :
a
i,j
=
N

k=1

i,k

j,k
, (i,j) 1 . . . N
2
. (1.2.8)
1. Calculons la 1`ere colonne de L; pour j = 1, on a :
a
1,1
=
1,1

1,1
donc
1,1
=

a
1,1
(a
1,1
> 0 car
1,1
existe ),
a
2,1
=
2,1

1,1
donc
2,1
=
a
2,1

1,1
,
a
i,1
=
i,1

1,1
donc
i,1
=
a
i,1

1,1
i 2 . . . N.
2. On suppose avoir calcule les n premi`eres colonnes de L. On calcule la
colonne (n + 1) en prenant j = n + 1 dans (1.2.8)
Pour i = n + 1, a
n+1,n+1
=
n+1

k=1

n+1,k

n+1,k
donc

n+1,n+1
= (a
n+1,n+1

k=1

n+1,k

n+1,k
)
1/2
> 0. (1.2.9)
1.2. LES M

ETHODES DIRECTES 15
Notons que a
n+1,n+1

n

k=1

n+1,k

n+1,k
> 0 car L existe : il est indis-
pensable davoir dabord montre lexistence de L pour pouvoir exhiber le
coecient
n+1,n+1
.
On proc`ede de la meme mani`ere pour i = n + 2 . . . N ; on a :
a
i,n+1
=
n+1

k=1

i,k

n+1,k
=
n

k=1

i,k

n+1,k
+
i,n+1

n+1,n+1
et donc

i,n+1
=
_
a
i,n+1

k=1

i,k

n+1,k
_
1

n+1,n+1
. (1.2.10)
On calcule ainsi toutes les colonnes de L. On a donc montre que L est
unique par un moyen constructif de calcul de L.
Calcul du co ut de la methode de Choleski
Calcul du co ut de calcul de la matrice L Dans le procede de calcul de L
expose ci-dessus, le nombre doperations pour calculer la premi`ere colonne est
N. Calculons, pour n = 0, . . . ,N 1, le nombre doperations pour calculer la
(n+1)-i`eme colonne : pour la colonne (n+1), le nombre doperations par ligne est
2n+1, car le calcul de
n+1,n+1
par la formule (1.2.9) necessite n multiplications,
n soustractions et une extraction de racine, soit 2n + 1 operations ; le calcul de

i,n+1
par la formule (1.2.10) necessite n multiplications, n soustractions et une
division, soit encore 2n + 1 operations. Comme les calculs se font des lignes
n + 1 `a N (car
i,n+1
= 0 pour i n), le nombre doperations pour calculer
la (n + 1)-i`eme colonne est donc (2n + 1)(N n). On en deduit que le nombre
doperations N
L
necessaires au calcul de L est :
N
L
=
N1

n=0
(2n + 1)(N n) = 2N
N1

n=0
n 2
N1

n=0
n
2
+N
N1

n=0
1
N1

n=0
n
= (2N 1)
N(N 1)
2
+N
2
2
N1

n=0
n
2
.
(On rappelle que 2
N1

n=0
n = N(N 1).) Il reste `a calculer C
N
=

N
n=0
n
2
, en
remarquant par exemple que
N

n=0
(1 +n)
3
=
N

n=0
1 +n
3
+ 3n
2
+ 3n =
N

n=0
1 +
N

n=0
n
3
+ 3
N

n=0
n
2
+ 3
N

n=0
n
=
N+1

n=1
n
3
=
N

n=0
n
3
+ (N + 1)
3
.
16 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
On a donc 3C
N
+ 3
N(N+1)
2
+N + 1 = (N + 1)
3
, do` u on deduit que
C
N
=
N(N + 1)(2N + 1)
6
.
On a donc :
N
L
= (2N 1)
N(N 1)
2
2C
N1
+N
2
= N
_
2N
2
+ 3N + 1
6
_
=
N
3
3
+
N
2
2
+
N
6
=
N
3
3
+ 0(N
2
).
Co ut de la resolution dun syst`eme lineaire par la methode LL
t
Nous
pouvons maintenant calculer le co ut (en termes de nombre doperations elemen-
taires) necessaire `a la resolution de (1.1.1) par la methode de Choleski pour
A /
N
(IR) symetrique denie positive. On a besoin de N
L
operations pour le
calcul de L, auquel il faut rajouter le nombre doperations necessaires pour les
etapes de descente et remontee. Le calcul de y solution de Ly = b seectue en
resolvant le syst`eme :
_

1,1
0
.
.
.
.
.
.
.
.
.

N,1
. . .
N,1
_

_
_

_
y
1
.
.
.
y
N
_

_ =
_

_
b
1
.
.
.
b
N
_

_
Pour la ligne 1, le calcul y
1
=
b
1

1,1
seectue en une operation.
Pour les lignes n = 2 `a N, le calcul y
n
=
_
b
n

n1
i=1

i,n
y
i
_
/
n,n
seectue en
(n 1) (multiplications) +(n 2) (additions) +1 soustraction +1 (division) =
2n1 operations. Le calcul de y (descente) seectue donc en N
1
=

N
n=1
(2n
1) = N(N + 1) N = N
2
. On peut calculer de mani`ere similaire le nombre
doperations necessaires pour letape de remontee N
2
= N
2
. Le nombre total
doperations pour calculer x solution de (1.1.1) par la methode de Choleski est
N
C
= N
L
+N
1
+N
2
=
N
3
3
+
N
2
2
+
N
6
+ 2N
2
=
N
3
3
+
5N
2
2
+
N
6
. Letape la plus
co uteuse est donc la factorisation de A.
Remarque 1.4 (Decomposition LDL
t
) Dans les programmes informatiques,
on pref`ere implanter la variante suivante de la decomposition de Choleski :
A =

LD

L
t
o` u D est la matrice diagonale denie par d
i,i
=
2
i,i
,

L
i,i
= L

D
1
, o` u

D est la matrice diagonale denie par d


i,i
=
i,i
. Cette decomposition a lavan-
tage de ne pas faire intervenir le calcul de racines carrees, qui est une operation
plus compliquee que les operations elementaires (, +, ).
1.2.4 Quelques proprietes
Comparaison Gauss/Choleski
Soit A /
N
(IR) inversible, la resolution de (1.1.1) par la methode de
Gauss demande 2N
3
/3+0(N
2
) operations (exercice). Dans le cas dune matrice
symetrique denie positive, la methode de Choleski est donc environ deux fois
moins ch`ere.
1.2. LES M

ETHODES DIRECTES 17
Et la methode de Cramer?
Soit A /
N
(IR) inversible. On rappelle que la methode de Cramer pour la
resolution de (1.1.1) consiste `a calculer les composantes de x par les formules :
x
i
=
det(A
i
)
det(A)
, i = 1, . . . ,N,
o` u A
i
est la matrice carree dordre N obtenue `a partir de A en rempla cant la
i-`eme colonne de A par le vecteur b, et det(A) designe le determinant de A.
Chaque calcul de determinant dune matrice carree dordre N necessite au
moins N! operations (voir DEUG, ou exercice. . . ). Par exemple, pour N = 10,
la methode de Gauss necessite environ 700 operations, la methode de Choleski
environ 350 et la methode de Cramer plus de 4 000 000. . . . Cette derni`ere
methode est donc `a proscrire.
Conservation du prol de A
Dans de nombreuses applications, par exemple lors de la resolution de sys-
t`emes lineaires issus de la discretisation dequations aux derivees partielles, la
matrice A /
N
(IR) est creuse, cest `a dire quun grand nombre de ses
coecients sont nuls. Il est interessant dans ce cas pour des raisons deconomie
de memoire de connatre le prol de la matrice, donne dans le cas o` u la matrice
est symetrique, par les indices j
i
= minj 1, . . . ,N tels que a
i,j
,= 0.
Le prol de la matrice est donc determine par les diagonales contenant des
coecients non nuls qui sont les plus eloignees de la diagonale principale. Dans
le cas dune matrice creuse, il est avantageux de faire un stockage prol de A,
cest `a dire, pour chaque ligne i un stockage de j
i
et des coecients a
i,k
, pour
k = i j
i
, . . . ,i, ce qui peut permettre un large gain de place memoire, comme
on peut sen rendre compte sur la gure 1.2.4.
0
0
Fig. 1.3 Exemple de prol dune matrice symetrique
Une propriete interessante de la methode de Choleski est de conserver le
prol. On peut montrer (en reprenant les calculs eectues dans la deuxi`eme
18 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
partie de la demonstration du theor`eme 1.3) que
i,j
= 0 si j < j
i
. Donc si on
a adopte un stockage prol de A, on peut utiliser le meme stockage pour L.
Matrices non symetriques
Soit A /
N
(IR) inversible. On ne suppose plus ici que A est symetrique.
On cherche `a calculer x IR
N
solution de (1.1.1) par la methode de Choleski.
Ceci est possible en remarquant que : Ax = b A
t
Ax = A
t
b car det(A) =
det(A
t
) ,= 0. Il ne reste alors plus qu` a verier que A
t
A est symetrique denie
positive. Remarquons dabord que pour toute matrice A /
N
(IR), la matrice
AA
t
est symetrique. Pour cela on utilise le fait que si B /
N
(IR), alors B
est symetrique si et seulement si Bx y = x By et Bx y = x B
t
y pour tout
(x,y) (IR
N
)
2
. En prenant B = A
t
A, on en deduit que A
t
A est symetrique.
De plus, comme A est inversible, A
t
Ax x = Ax Ax = [Ax[
2
> 0 si x ,= 0. La
matrice A
t
A est donc bien symetrique denie positive.
La methode de Choleski dans le cas dune matrice non symetrique consiste
donc `a calculer A
t
A et A
t
b, puis `a resoudre le syst`eme lineaire A
t
A x = A
t
b
par la methode de Choleski symetrique.
Cette mani`ere de faire est plutot moins ecace que la decomposition LU
puisque le co ut de la decomposition LU est de 2N
3
/3 alors que la methode de
Choleski dans le cas dune matrice non symetrique necessite au moins 4N
3
/3
operations (voir exercice 11).
Syst`emes lineaires non carres
On consid`ere ici des matrices qui ne sont plus carrees. On designe par
/
M,N
(IR) lensemble des matrices reelles `a M lignes et N colonnes. Pour
A /
M,N
(IR), M > N et b IR
M
, on cherche x IR
N
tel que
Ax = b. (1.2.11)
Ce syst`eme contient plus dequations que dinconnues et nadmet donc en general
pas de solution. On cherche x IR
N
qui verie le syt`eme (1.2.11) au mieux.
On introduit pour cela une fonction f denie de IR
N
dans IR par :
f(x) = [Ax b[
2
,
o` u [x[ =

x x designe la norme euclidienne sur IR
N
. La fonction f ainsi denie
est evidemment positive, et sil existe x qui annule f, alors x est solution du
syst`eme (1.2.11). Comme on la dit, un tel x nexiste pas forcement, et on cherche
alors un vecteur x qui verie (1.2.11) au mieux, au sens o` u f(x) soit le plus
proche de 0. On cherche donc x IR
N
satisfaisant (1.2.11) en minimisant f,
c.`a.d. en cherchant x IR
N
solution du probl`eme doptimisation :
f(x) f(y) y IR
N
(1.2.12)
On peut reecrire f sous la forme : f(x) = A
t
Ax x2b Ax+b b. On montrera au
chapitre III que sil existe une solution au probl`eme (1.2.12), elle est donnee par
la resolution du syst`eme lineaire suivant : AA
t
x = A
t
b IR
N
, quon appelle
equations normales du probl`eme de minimisation. On peut alors employer la
methode de Choleski pour la resolution de ce syst`eme.
1.2. LES M

ETHODES DIRECTES 19
1.2.5 Sensibilite aux erreurs darrondis
Soient A /
N
(IR) inversible et b IR
N
; supposons que les donnees A
et b ne soient connues qu` a une erreur pr`es. Ceci est souvent le cas dans les
applications pratiques. Considerons par exemple le probl`eme de la conduction
thermique dans une tige metallique de longueur 1, modelisee par lintervalle
[0,1]. Supposons que la temperature u de la tige soit imposee aux extremites,
u(0) = u
0
et u(1) = u
1
. On suppose que la temperature dans la tige satisfait
`a lequation de conduction de la chaleur, qui secrit (k(x)u

(x))

= 0, o` u k est
la conductivite. Cette equation dierentielle du second ordre peut se discretiser
par exemple par dierences nies (on verra une description de la methode page
23), et donne lieu `a un syst`eme lineaire de matrice A. Si la conductivite k
nest connue quavec une certaine precision, alors la matrice A sera egalement
connue `a une erreur pr`es, notee
A
. On aimerait que lerreur commise sur les
donnees du mod`ele (ici la conductivite thermique k) nait pas une consequence
catastrophique sur le calcul de la solution du mod`ele (ici la temperature u). Si
par exemple 1% derreur sur k entrane 100% derreur sur u, le mod`ele ne sera
pas dune utilite redoutable. . .
Lobjectif est donc destimer les erreurs commises sur x solution de (1.1.1)
`a partir des erreurs commises sur b et A. Notons
b
IR
N
lerreur commise sur
b et
A
/
N
(IR) lerreur commise sur A. On cherche alors `a evaluer
x
o` u
x +
x
est solution (si elle existe) du syst`eme :
_
x +
x
IR
N
(A +
A
)(x +
x
) = b +
b
.
(1.2.13)
On va montrer que si
A
nest pas trop grand, alors la matrice A +
A
est
inversible, et quon peut estimer
x
en fonction de
A
et
b
. On a besoin pour
cela de quelques outils dalg`ebre lineaire quon rappelle ici.
Norme induite, rayon spectral et conditionnement
Denition 1.5 (Norme matricielle, norme induite)
1. On appelle norme matricielle sur /
N
(IR) une norme t.q. |AB| |A||B|,
pour toutes matrices A et B de /
N
(IR).
2. On consid`ere IR
N
muni dune norme | |. On appelle norme matricielle
induite (ou norme induite) sur /
N
(IR) par la norme | |, encore notee
| |, la norme sur /
N
(IR) denie par : |A| = sup|Ax|; x IR
N
,|x| =
1 pour toute matrice A /
N
(IR).
Proposition 1.6 Soit /
N
(IR) muni dune norme induite ||. Alors pour toute
matrice A /
N
(IR), on a :
1. |Ax| |A| |x|, x IR
N
,
2. |A| = max
_
|Ax| ; |x| = 1, x IR
N
_
,
3. |A| = max
_
|Ax|
|x|
; x IR
N
0
_
.
4. | | est une norme matricielle.
20 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Demonstration
1. Soit x IR
N
0, posons y =
x
|x|
, alors |y| = 1 donc |Ay| |A|. On
en deduit
|Ax|
|x|
|A| et donc |Ax| |A| |x|. Si maintenant x = 0,
alors Ax = 0, et donc |x| = 0 et |Ax| = 0 ; linegalite |Ax| |A| |x|
est encore veriee.
2. Lapplication denie de IR
N
dans IR par : (x) = |Ax| est continue sur
la sph`ere unite S
1
= x IR
N
[ |x| = 1 qui est un compact de IR
N
. Donc
est bornee et atteint ses bornes : il existe x
0
IR
N
tel que |A| = |Ax
0
|
3. La derni`ere egalite resulte du fait que
|Ax|
|x|
= |A
x
|x|
| et
x
|x|
S
1
pour
tout x ,= 0.
Denition 1.7 (Valeurs propres et rayon spectral) Soit A /
N
(IR) une
matrice inversible. On appelle valeur propre de A tout Cl tel quil existe
x Cl
N
, x ,= 0 tel que Ax = x. Lelement x est appele vecteur propre de A
associe ` a . On appelle rayon spectral de A la quantite (A) = max[[; Cl ,
valeur propre de A.
Proposition 1.8 Soit A /
N
(IR) une matrice carree quelconque, et | | une
norme matricielle (induite ou non). Alors
(A) |A|.
La preuve de cette proposition fait lobjet de lexercice 7 page 28. Elle
necessite un resultat dapproximation du rayon spectral par une norme induite
bien choisie, que voici :
Proposition 1.9 (Rayon spectral et norme induite)
Soient A /
N
(IR) et > 0. Il existe une norme sur IR
N
(qui depend de
A et ) telle que la norme induite sur /
N
(IR), notee | |
A,
, verie |A|
A,

(A) +.
Demonstration Soit A /
N
(IR), alors par le lemme 1.10 donne ci-apr`es,
A est triangularisable dans Cl et donc il existe une base (f
1
, . . . ,f
N
) de Cl
N
et une famille de complexes (
i,j
)
i=1,...,N,j=1,...,N,j<i
telles que Af
i
=
i,i
f
i
+

j<i

i,j
f
j
. Soit ]0,1[, pour i = 1, . . . ,N, on denit e
i
=
i1
f
i
. La famille
(e
i
)
i=1,...,N
forme une base de Cl . On denit alors une norme sur IR
N
par |x| =
(

N
i=1

i
)
1/2
, o` u les
i
sont les composantes de x dans la base (e
i
)
i=1,...,N
.
Notons que cette norme depend de A et de .
Soit > 0. Montrons maintenant que pour bien choisi, on a bien |A|
(A) +. On a:
Ae
i
=
i,i
e
i
+

1j<i

ij
e
j

i,j
On a donc :
Ax =
N

i=1
_

i,i
e
i
+

1j<i

ij

i,j

i
e
j
_
.
1.2. LES M

ETHODES DIRECTES 21
On en deduit que
|Ax|
2
=
N

i=1
_

i,i
+

1j<i

ij

i,j

i
__

i,i
+

1j<i

ij

i,j

i
_
,
soit encore
|Ax|
2
=
N

i=1
_

i,i

i,i

i
+
i,i

i

i

1j<i

ij

i,j
+
i,i

1j<i

ij

i,j
+
i

i
+
_

1j<i

ij

i,j
__

1j<i

ij

i,j

i
_
_
.
On en conclut que :
|Ax|
2

i=1
_

i
[
i,i
[
2
+ max
i=1,...,N,ji
[
i,j
[
2
|x|
2
((A)
2
+C)|x|
2
o` u C = N
2
max
i=1,...,N,ji
[
i,j
[
2
. Do` u le resultat, en prenant tel que C < .
Lemme 1.10 (Triangularisation dune matrice) Soit A /
N
(IR) une
matrice carree quelconque, alors il existe une base (f
1
, . . . ,f
N
) de Cl et une fa-
mille de complexes (
i,j
)
i=1,...,N,j=1,...,N,j<i
telles que Af
i
=
i,i
f
i
+

j<i

i,j
f
j
.
De plus
i,i
est valeur propre de A pour tout i 1, . . . ,N.
On admettra ce lemme.
Nous donnons maintenant un theor`eme qui nous sera utile dans letude du
conditionnement, ainsi que plus tard dans letude des methodes iteratives.
Theor`eme 1.11 (Matrices de la forme Id +A)
1. Soit une norme matricielle induite, Id la matrice identite de /
N
(IR) et
A /
N
(IR) telle que |A| < 1. Alors la matrice Id +A est inversible et
|(Id +A)
1
|
1
1 |A|
.
2. Si une matrice de la forme Id+A /
N
(IR) est singuli`ere, alors |A| 1
pour toute norme matricielle | |.
Demonstration :
1. La demonstration du point 1 fait lobjet de lexercice 8 page 28.
2. Si la matrice Id + A /
N
(IR) est singuli`ere, alors = 1 est valeur
propre, et donc en utilisant la proposition 1.9, on obtient que |A|
(A) 1.
Denition 1.12 (Conditionnement) Soit IR
N
muni dune norme | | et
/
N
(IR) muni de la norme induite. Soit A /
N
(IR) une matrice inversible.
On appelle conditionnement de A par rapport ` a la norme | | le nombre reel
positif cond(A) deni par :
cond(A) = |A| |A
1
|.
22 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Proposition 1.13 (Proprietes du conditionnement)
1. Soit A /
N
(IR) une matrice inversible, alors cond(A) 1.
2. Soit A /
N
(IR) et IR

, alors cond(A) = cond(A).


3. Soient A et B /
N
(IR) des matrices inversibles, alors cond(AB)
cond(A)cond(B).
4. On note cond
2
(A) le conditionnement associe ` a la norme induite par la
norme euclidienne sur IR
N
. Soit A une matrice symetrique denie positive, alors
cond
2
(A) =
N
1
. Si A et B sont deux matrices symetriques denies positives,
alors cond
2
(A +B) max(cond
2
(A),cond
2
(B)).
La demonstration de ces proprietes est lobjet de lexercice 16 page 31.
Theor`eme 1.14 Soit A /
N
(IR) une matrice inversible, et b IR
N
, b ,= 0.
On munit IR
N
dune norme | |, et /
N
(IR) de la norme induite. Soient
A

/
N
(IR) et
b
IR
N
. On suppose que |
A
| <
1
|A
1
|
. Alors la matrice (A+
A
)
est inversible et si x est solution de (1.1.1) et x +
x
est solution de (1.2.13),
alors
|
x
|
|x|

cond(A)
1 |A
1
| |
A
|
_
|
b
|
|b|
+
|
A
|
|A|
_
. (1.2.14)
Demonstration : On peut ecrire A+
A
= A(Id +B) avec B = A
1

A
. Or
le rayon spectral de B, (B), verie (B) |B| |
A
| |A
1
| < 1, et donc
(voir le theor`eme 1.11 page 21 et lexercice 8 page 28) (Id +B) est inversible et
(Id +B)
1
=

n=0
(1)
n
B
n
. On a aussi |(Id +B)
1
|

n=0
|B|
n
=
1
1 |B|

1
1 |A
1
| |
A
|
. On en deduit que A+
A
est inversible, car A+
A
= A(Id+B)
et comme A est inversible, (A +
A
)
1
= (Id +B)
1
A
1
.
Comme A et A+
A
sont inversibles, il existe un unique x IR
N
tel que Ax = b
et il existe un unique
x
IR
N
tel que (A +
A
)(x +
x
) = b +
b
. Comme
Ax = b, on a (A +
A
)
x
+
A
x =
b
et donc
x
= (A +
A
)
1
(
b

A
x). Or
(A +
A
)
1
= (Id +B)
1
A
1
, on en deduit :
|(A+
A
)
1
| |(Id +B)
1
| |A
1
|

|A
1
|
1 |A
1
| |
A
|
.
On peut donc ecrire la majoration suivante :
|
x
|
|x|

|A
1
| |A|
1 |A
1
| |
A
|
_
|
b
|
|A| |x|
+
|
A
|
|A|
_
.
En utilisant le fait que b = Ax et que par suite |b| |A| |x|, on obtient :
|
x
|
|x|

|A
1
| |A|
1 |A
1
| |
A
|
_
|b|
|b|
+
|
A
|
|A|
_
,
ce qui termine la demonstration.
1.2. LES M

ETHODES DIRECTES 23
Optimalite de lestimation (1.2.14)
On suppose ici que
A
= 0. Lestimation (1.2.14) devient alors :
|
x
|
|x|
cond(A)
|
b
|
|b|
. (1.2.15)
Peut-on avoir egalite dans (1.2.15)? Pour avoir egalite dans (1.2.15) il faut choi-
sir convenablement b et
b
. Soit x IR
N
tel que |x| = 1 et |Ax| = |A|. Notons
quun tel x existe parce que |A| = sup|Ax|; |x| = 1 = max|Ax|; |x| = 1
(voir proposition 1.6 page 19) Posons b = Ax; on a donc |b| = |A|. De meme,
grace `a la proposition 1.6, il existe y IR
N
tel que |y| = 1, et |A
1
y| = |A
1
|.
On choisit alors
b
tel que
b
= y o` u > 0 est donne. Comme A(x+
x
) = b+
b
,
on a
x
= A
1

b
et donc : |
x
| = |A
1

b
| = |A
1
y| = |A
1
| = |
b
| |A
1
|.
On en deduit que
|
x
|
|x|
= |
x
| = |
b
| |A
1
|
|A|
|b|
car |b| = |A| et |x| = 1.
Par ce choix de b et
b
on a bien egalite dans (1.2.15). Lestimation (1.2.15) est
donc optimale.
Conditionnement des matrices issues de la discretisation dequations
aux derivees partielles
On suppose encore ici que
A
= 0. On suppose que la matrice A du syst`eme
lineaire `a resoudre provient de la discretisation par dierences nies dune
equation aux derivees partielles introduite ci-dessous (voir (1.2.16)). On peut
alors montrer (voir exercice 18 page 32 du chapitre 1) que le conditionnement de
A est dordre N
2
, o` u N est le nombre de points de discretisation. Pour N = 10,
on a donc cond(A) 100 et lestimation (1.2.15) donne :
|
x
|
|x|
100
|
b
|
|b|
.
Une erreur de 1% sur b peut donc entraner une erreur de 100% sur x. Au-
tant dire que dans ce cas, il est inutile de rechercher la solution de lequation
discretisee. . . Heureusement, on peut montrer que lestimation (1.2.15) nest pas
signicative pour letude de la propagation des erreurs lors de la resolution des
syst`emes lineraires provenant de la discretisation dune equation aux derivees
partielles. Pour illustrer notre propos, nous allons etudier un syst`eme lineaire
tr`es simple provenant dun probl`eme de mecanique.
Soit f C([0,1],IR). On cherche u tel que
_
u

(x) = f(x)
u(0) = u(1) = 0.
(1.2.16)
On peut montrer (on ladmettra ici) quil existe une unique solution u
C
2
([0,1],IR). On cherche `a calculer u de mani`ere approchee. On va pour cela
introduire une discretisation par dierences nies. Soit N IN

, on denit
h = 1/(N +1) le pas du maillage, et pour i = 0 . . . N +1 on denit les points de
24 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
x
x
x
x
x
x
0
= 0 x
1
x
i
= ih
u(x)
u
i
x
N+1
= 1
x
x
x
x x
Fig. 1.4 Solution exacte et approchee de u

= f
discretisation x
i
= ih (voir Figure 1.2.5). Remarquons que x
0
= 0 et x
N+1
= 1.
Soit u(x
i
) la valeur exacte de u en x
i
. On ecrit la premi`ere equation de (1.2.16)
en chaque point x
i
, pour i = 1 . . . N.
u

(x
i
) = f(x
i
) = b
i
i 1 . . . N.
On peut facilement montrer, par un developpement de Taylor, que si u
C
4
([0,1], IR) (ce qui est vrai si f C
2
) alors :

u(x
i+1
) +u(x
i1
) 2u(x
i
)
h
2
= u

(x
i
)+R
i
avec [R
i
[
h
2
12
|u
(4)
|

. (1.2.17)
La valeur R
i
sappelle erreur de consistance au point x
i
. On introduit alors les
inconnues (u
i
)
i=1,...,N
quon esp`ere etre des valeurs approchees de u aux points
x
i
et qui sont les composantes de la solution (si elle existe) du syst`eme suivant
_

u
i+1
+u
i1
2u
i
h
2
= b
i
, i 1 N,
u
0
= u
N+1
= 0.
(1.2.18)
On cherche donc u =
_

_
u
1
.
.
.
u
N
_

_ IR
N
solution de (1.2.18). Ce syst`eme peut secrire
sous forme matricielle : Au = b avec b = (b
1
, . . . ,b
N
)
t
et A la matrice carree
dordre N de coecients (a
i,j
)
i,j=1,N
denis par :
_

_
a
i,i
=
2
h
2
, i = 1, . . . ,N,
a
i,j
=
1
h
2
, i = 1, . . . ,N, j = i 1,
a
i,j
= 0, i = 1, . . . ,N, [i j[ > 1.
(1.2.19)
On remarque immediatement que A est tridiagonale. On peut montrer que A
est symetrique denie positive (voir exercice 18 page 32). On peut aussi montrer
que
max
i=1...N
[u
i
u(x
i
)[
h
2
96
|u
(4)
|

.
1.2. LES M

ETHODES DIRECTES 25
En eet, si on note u le vecteur de IR
N
de composantes u(x
i
), i = 1, . . . ,N, et
R le vecteur de IR
N
de composantes R
i
, i = 1, . . . ,N, on a par denition de R
(formule (1.2.17)) A(uu) = R, et donc |uu|

|A
1
|

|R|

. Or on peut
montrer (voir exercice 19 page 32, partie I) que |A
1
|

1/8, et on obtient
donc avec (1.2.17) que |u u|

h
2
/96|u
(4)
|

.
Cette inegalite donne la precision de la methode. On remarque en particulier
que si on rane le maillage, cest` adire si on augmente le nombre de points
N ou, ce qui revient au meme, si on diminue le pas de discretisation h, on
augmente la precision avec laquelle on calcule la solution approchee. Or on a
dej` a dit quon peut montrer (voir exercice 18 page 32) que cond(A) N
2
. Donc
si on augmente le nombre de points, le conditionnement de A augmente aussi.
Par exemple si N = 10
4
, alors |
x
|/|x| = 10
8
|
b
|/|b|. Or sur un ordinateur
en simple precision, on a |
b
|/|b| 10
7
, donc lestimation (1.2.15) donne une
estimation de lerreur relative |
x
|/|x| de 1000%, ce qui laisse `a desirer pour
un calcul quon esp`ere precis.
En fait, lestimation (1.2.15) ne sert `a rien pour ce genre de probl`eme, il faut
faire une analyse un peu plus poussee, comme cest fait dans lexercice 19 page
32. On se rend compte alors que pour f donnee il existe C IR
+
ne dependant
que de f (mais pas de N) tel que
|
u
|
|u|
C
|
b
|
|b|
avec b =
_

_
f(x
1
)
.
.
.
f(x
N
)
_

_. (1.2.20)
Lestimation (1.2.20) est evidemment bien meilleure que lestimation (1.2.15)
puisquelle montre que lerreur relative commise sur u est du meme ordre que
celle commise sur b. En particulier, elle naugmente pas avec la taille du maillage.
En conclusion, lestimation (1.2.15) est peut-etre optimale dans le cas dune ma-
trice quelconque, (on a montre ci-dessus quil peut y avoir egalite dans (1.2.15))
mais elle nest pas signicative pour letude des syst`emes lineaires issus de la
discretisation des equations aux derivees partielles.
1.2.6 Annexe: diagonalisation de matrices symetriques
On donne ici quelques details sur les resultats de diagonalisation quon a
utilise dans ce chapitre et quon utilisera souvent dans la suite, en particulier
dans les exercices.
Lemme 1.15 Soit E un espace vectoriel sur IR de dimension nie : dimE = n,
n IN

, muni dun produit scalaire i.e. dune application


E E IR,
(x,y) (x [ y)
E
,
qui verie :
x E,(x [ x)
E
0 et (x [ x)
E
= 0 x = 0,
(x,y) E
2
,(x [ y)
E
= (y [ x)
E
,
y E, lapplication de E dans IR, denie par x (x [ y)
E
est lineaire.
Ce produit scalaire induit une norme sur E, |x| =
_
(x [ x)
E
.
26 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Soit T une application lineaire de E dans E. On suppose que T est symetrique,
c.` a.d. que (T(x) [ y)
E
= (x [ T(y))
E
, (x,y) E
2
. Alors il existe une base or-
thonormee (f
1
. . . f
n
) de E (c.` a.d. telle que (f
i
,f
j
)
E
=
i,j
) et (
1
. . .
n
) IR
n
tels que T(f
i
) =
i
f
i
pour tout i 1 . . . n.
Consequence immediate : Dans le cas o` u E = IR
N
, le produit scalaire cano-
nique de x = (x
1
, . . . ,x
N
)
t
et y = (y
1
, . . . ,y
N
)
t
est deni par (x [ y)
E
= x y =

N
i=1
x
i
y
i
. Si A /
N
(IR) est une matrice symetrique, alors lapplication T
denie de E dans E par : T(x) = Ax est lineaire, et : (Tx[y) = Ax y = x A
t
y =
x Ay = (x [ Ty). Donc T est lineaire symetrique. Par le lemme precedent, il
existe (f
1
. . . f
N
) et (
1
. . .
N
) IR tels que Tf
i
= Af
i
=
i
f
i
i 1, . . . ,N
et f
i
f
j
=
i,j
, (i,j) 1, . . . ,N
2
.
Interpretation algebrique : Il existe une matrice de passage P de (e
1
, . . . ,e
N
)
base canonique dans (f
1
, . . . ,f
N
) dont la premi`ere colonne de P est constituee
des coordonnees de f
i
dans (e
1
. . . e
N
). On a : Pe
i
= f
i
. On a alors P
1
APe
i
=
P
1
Af
i
= P
1
(
i
f
i
) =
i
e
i
= diag(
1
, . . . ,
N
)e
i
, o` u diag(
1
, . . . ,
N
) designe
la matrice diagonale de coecients diagonaux
1
, . . . ,
N
. On a donc :
P
1
AP =
_

i
0
.
.
.
0
N
_

_ = D.
De plus P est orthogonale, i.e. P
1
= P
t
. En eet,
P
t
Pe
i
e
j
= Pe
i
Pe
j
= (f
i
[f
j
) =
i,j
i,j 1 . . . N,
et donc (P
t
Pe
i
e
i
) e
j
= 0 j 1 . . . N i 1, . . . N. On en deduit
P
t
Pe
i
= e
i
pour tout i = 1, . . . N, i.e. P
t
P = PP
t
= Id.
Demonstration du lemme : par recurrence sur la dimension de E
1`ere etape. On suppose dimE = 1. Soit e E, e ,= 0, alors E = IRe = f
1
avec
f
1
=
e
|e|
. Soit T : E E lineaire symetrique, on a : Tf
1
IRf
1
donc il
existe
1
IR tel que Tf
1
=
1
f
1
.
2`eme etape. On suppose le lemme vrai si dimE < n. On montre alors le lemme
si dimE = n. Soit E un espace vectoriel norme sur IR tel que dimE = n
et T : E E lineaire symetrique. Soit lapplication denie par :
: E IR
x (Tx[x).
Lapplication est continue sur la sph`ere unite S
1
= x E[ |x| = 1
qui est compacte car dimE < +; il existe donc e S
1
tel que (x)
(e) = (Te [ e) = pour tout x E. Soit y E 0, et soit t ]0,
1
y
[
alors e +ty ,= 0. On en deduit que :
e +ty
|e +ty|
S
1
donc (e) =
_
T
(e +ty)
|e +ty|
[
e +ty
|e +ty|
_
E
donc (e +ty [ e +ty)
E
(T(e +ty) [ e +ty). En developpant on obtient :
[2t(e [ y) +t
2
(y [ y)
E
] 2t(T(e) [ y) +t
2
(T(y) [ y)
E
.
1.2. LES M

ETHODES DIRECTES 27
Comme t > 0, ceci donne :
[2(e [ y) +t(y [ y)
E
] 2(T(e) [ y) +t(T(y) [ y)
E
.
En faisant tendre t vers 0
+
, on obtient 2(e [ y)
E
2(T(e) [ y), Soit
0 (T(e) e [ y) pour tout y E 0. De meme pour z = y on a
0 (T(e) e[z) donc (T(e) e [ y) 0. Do` u (T(e) e [ y) = 0 pour
tout y E. On en deduit que T(e) = e. On pose f
n
= e et
n
= .
Soit F = x E; (x [ e) = 0, on a donc F ,= E, et E = F

IRe : on
peut decomposer x E comme (x = x (x [ e)e +(x [ e)e). Lapplication
S = T[
F
est lineaire symetrique et on a dimF = n 1. et S(F) F.
On peut donc utiliser lhypoth`ese de recurrence : (
1
. . .
n1
) IR
n
et
(f
1
. . . f
n1
) E
n
tels que i 1 . . . n 1, Sf
i
= Tf
i
=
i
f
i
, et
i,j 1 . . . n 1,(f
i
[ f
j
) =
i,j
. Et donc (
1
. . .
N
) et (f
1
. . . f
N
)
conviennent.
1.2.7 Exercices
Exercice 1 (Matrices symetriques denies positives) Suggestions en page
141, corrige en page 149.
On rappelle que toute matrice A /
N
(IR) symetrique est diagonali-
sable dans IR (cf. lemme 1.15 page 25). Plus precisement, on a montre en
cours que, si A /
N
(IR) est une matrice symetrique, il existe une base de
IR
N
, notee f
1
, . . . ,f
N
, et il existe
1
, . . . ,
N
IR t.q. Af
i
=
i
f
i
, pour tout
i 1, . . . ,N, et f
i
f
j
=
i,j
pour tout i,j 1, . . . ,N (x y designe le produit
scalaire de x avec y dans IR
N
).
1. Soit A /
N
(IR). On suppose que A est symetrique denie positive,
montrer que les elements diagonaux de A sont strictements positifs.
2. Soit A /
N
(IR) une matrice symetrique. Montrer que A est symetrique
denie positive si et seulement si toutes les valeurs propres de A sont
strictement positives.
3. Soit A /
N
(IR). On suppose que A est symetrique denie positive. Mon-
trer quon peut denir une unique matrice B /
N
(IR), B symetrique
denie positive t.q. B
2
= A (on note B = A
1
2
).
Exercice 2 (Normes de lIdentite) Corrige en page 150.
Soit Id la matrice Identite de /
N
(IR). Montrer que pour toute norme
induite on a |Id| = 1 et que pour toute norme matricielle on a |Id| 1.
Exercice 3 (Normes induites particuli`eres) Suggestions en page 141, cor-
rige detaille en page 150.
Soit A = (a
i,j
)
i,j{1,...,N}
/
N
(IR).
1. On munit IR
N
de la norme ||

et /
N
(IR) de la norme induite correspon-
dante, notee aussi | |

. Montrer que |A|

= max
i{1,...,N}

N
j=1
[a
i,j
[.
2. On munit IR
N
de la norme ||
1
et /
N
(IR) de la norme induite correspon-
dante, notee aussi | |
1
. Montrer que |A|
1
= max
j{1,...,N}

N
i=1
[a
i,j
[.
28 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
3. On munit IR
N
de la norme | |
2
et /
N
(IR) de la norme induite corres-
pondante, notee aussi | |
2
. Montrer que |A|
2
= ((A
t
A))
1
2
.
Exercice 4 (Norme non induite) Corrige en page 151.
Pour A = (a
i,j
)
i,j{1,...,N}
/
N
(IR), on pose |A|
s
= (

N
i,j=1
a
2
i,j
)
1
2
.
1. Montrer que | |
s
est une norme matricielle mais nest pas une norme
induite (pour N > 1).
2. Montrer que |A|
2
s
= tr(A
t
A). En deduire que |A|
2
|A|
s

N|A|
2
et que |Ax|
2
|A|
s
|x|
2
, pour tout A /
N
(IR) et tout x IR
N
.
3. Chercher un exemple de norme non matricielle.
Exercice 5 (Valeurs propres nulles dun produit de matrices) Corrige en
page 151.
Soient p et n des entiers naturels non nuls tels que n p, et soient A
/
n,p
(IR) et B /
p,n
(IR). (On rappelle que /
n,p
(IR) designe lensemble des
matrices `a n lignes et p colonnes.)
1. Montrer que est valeur propre non nulle de AB si et seulement si est
valeur propre non nulle de BA.
2. Montrer que si = 0 est valeur propre de AB alors est valeur propre
nulle de BA.
(Il est conseille de distinguer les cas Bx ,= 0 et Bx = 0, o` u x est un
vecteur propre associe ` a la = 0 valeur propre de AB. Pour le deuxi`eme
cas, on pourra distinguer selon que ImA = IR
n
ou non.)
3. Montrer en donnant un exemple que peut etre une valeur propre nulle
de BA sans etre valeur propre de AB.
(Prendre par exemple n = 1, p = 2.)
4. On suppose maintenant que n = p, deduire des questions 1. et 2. que
lensemble des valeurs propres de AB est egal `a lensemble des valeurs
propres de la matrice BA.
Exercice 6 (Rayon spectral) Corrige en page 152.
Soit A /
N
(IR). Montrer que si A est diagonalisable, il existe une norme
induite sur /
N
(IR) telle que (A) = |A|. Montrer par un contre exemple que
ceci peut etre faux si A nest pas diagonalisable.
Exercice 7 (Rayon spectral) Suggestions en page 141, corrige detaille en
page 152.
On munit /
N
(IR) dune norme, notee | |. Soit A /
N
(IR).
1. Montrer que (A) < 1 si et seulement si A
k
0 quand k .
2. Montrer que : (A) < 1 limsup
k
|A
k
|
1
k
1.
3. Montrer que : liminf
k
|A
k
|
1
k
< 1 (A) < 1.
4. Montrer que (A) = lim
k
|A
k
|
1
k
.
5. On suppose ici que | | est une norme matricielle, deduire de la question
precedente que (A) |A|. On a ainsi demontre la proposition 1.8.
Exercice 8 (Serie de Neumann) Suggestions en page 142, corrige detaille
en page 153.
1.2. LES M

ETHODES DIRECTES 29
Soient A /
N
(IR) et | | une norme matricielle.
1. Montrer que si (A) < 1, les matrices Id A et Id +A sont inversibles.
2. Montrer que la serie de terme general A
k
converge (vers (Id A)
1
) si et
seulement si (A) < 1.
Exercice 9 (Normes matricielles)
Corrige detaille en page 153.
Soit |.| une norme matricielle quelconque, et soit A M
N
(IR) telle que
(A) < 1 (on rappelle quon note (A) le rayon spectral de la matrice A). Pour
x IR
N
, on denit |x|

par :
|x|

j=0
|A
j
x|.
1. Montrer que lapplication denie de IR
N
dans IR par x |x|

est une
norme.
2. Soit x IR
N
tel que |x|

= 1. Calculer |Ax|

en fonction de |x|, et en
deduire que |A|

< 1.
3. On ne suppose plus que (A) < 1. Soit > 0 donne. Construire `a partir
de la norme |.| une norme induite |.|

telle que |A|

(A) +.
Exercice 10 (Decomposition LDL
t
et LL
t
)
1. Soit A =
_
2 1
1 0
_
.
Calculer la decomposition LDL
t
de A. Existe-t-il une decomposition LL
t
de
A?
2. Montrer que toute matrice de /
N
(IR) symetrique denie positive admet
une decomposition LDL
t
.
3. Ecrire lalgorithme de decomposition LDL
t
. La matrice A =
_
0 1
1 0
_
admet-elle une decomposition LDL
t
?
Exercice 11 (Sur la methode LL
t
)
corrige detaille en page 154.
Soit A une matrice carree dordre N, symetrique denie positive et pleine.
On cherche `a resoudre le syst`eme A
2
x = b.
On propose deux methodes de resolution de ce syst`eme:
1. Calculer A
2
, eectuer la decomposition LL
t
de A
2
, resoudre le syst`eme
LL
t
x = b.
2. Calculer la decomposition LL
t
de A, resoudre les syst`emes LL
t
y = b et
LL
t
x = y.
30 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Calculer le nombre doperations elementaires necessaires pour chacune des deux
methodes et comparer.
Exercice 12 (Choleski pour matrice bande) , suggestions en page 142 cor-
rige en page 154
Soit A /
N
(IR) une matrice symetrique denie positive.
1. On suppose ici que A est tridiagonale. Estimer le nombre doperations de
la factorisation LL
t
dans ce cas.
2. Meme question si A est une matrice bande (cest-`a-dire p diagonales non
nulles).
3. En deduire une estimation du nombre doperations necessaires pour la
discretisation de lequation u

= f vue page 23. Meme question pour la


discretisation de lequation u = f prsentee page 34.
Exercice 13 (Majoration du conditionnement)
Soit | . | une norme induite sur /
N
(IR) et soit A /
N
(IR) telle que det
(A) ,= 0.
1) Montrer que si |AB| <
1
A
1

, alors B est inversible.


2) Montrer que cond (A) sup
BMN(IR)
detB=0
|A|
|AB|
Exercice 14 (Conditionnement du carre)
Soit A M
N
(IR) une matrice telle que detA ,= 0.
1. Quelle relation existe-t-il en general entre cond (A
2
) et (cond A)
2
?
2. On suppose que A symetrique. Montrer que cond
2
(A
2
) = (cond
2
A)
2
.
3. On suppose que cond
2
(A
2
) = (cond
2
A)
2
. Peut-on conclure que A est
symetrique? (justier la reponse.)
Exercice 15 (Calcul de linverse dune matrice et conditionnement) //
Corrige detaille en page 156.
On note | | une norme matricielle sur /
N
(IR). Soit A /
N
(IR) une
matrice carree inversible. On cherche ici des moyens devaluer la precision de
calcul de linverse de A.
1. On suppose quon a calcule B, approximation (en raison par exemple
derreurs darrondi) de la matrice A
1
. On pose :
_

_
e
1
=
|B A
1
|
|A
1
|
, e
2
=
|B
1
A|
|A|
e
3
= |AB Id|, e
4
= |BAId|
(1.2.21)
(a) Expliquer en quoi les quantites e
1
, e
2
, e
3
et e
4
mesurent la qualite de
lapproximation de A
1
.
1.2. LES M

ETHODES DIRECTES 31
(b) On suppose ici que B = A
1
+E, o` u |E| |A
1
|, et que
cond(A) < 1.
Montrer que dans ce cas,
e
1
, e
2

cond(A)
1 cond(A)
, e
3
cond(A) et e
4
cond(A).
(c) On suppose maintenant que AB Id = E

avec |E

| < 1.
Montrer que dans ce cas :
e
1
, e
2


1
, e
3
et e
4
cond(A).
2. On suppose maintenant que la matrice A nest connue qu` a une certaine
matrice derreurs pr`es, quon note
A
.
(a) Montrer que la matrice A+
A
est inversible si |
A
| <
1
|A
1
|
.
(b) Montrer que si la matrice A +
A
est inversible,
|(A+
A
)
1
A
1
|
|(A +
A
)
1
|
cond(A)
|
A
|
|A|
.
Exercice 16 (Proprietes generales du conditionnement) Suggestions en
page 142, corrige detaille en page 160.
On munit IR
N
dune norme, notee | |, et /
N
(IR) de la norme induite,
notee aussi | |. Pour une matrice inversible A /
N
(IR), on note cond(A) =
|A||A
1
|.
1. Soit A /
N
(IR) une matrice inversible. Montrer que cond(A) 1.
Montrer que cond(A) = cond(A) pour tout IR

.
2. Soit A, B /
N
(IR) deux matrices inversibles. Montrer que cond(AB)
cond(A)cond(B).
On prend maintenant pour norme sur IR
N
, | | = | |
2
(norme euclidienne
usuelle). On munit /
N
(IR) de la norme induite (notee aussi | |
2
) et le
conditionnement associe est note cond
2
(A).
3. Soit A /
N
(IR) une matrice inversible. On note
N
[resp.
1
] la plus
grande [resp. petite] valeur propre de A
t
A (noter que A
t
A est une ma-
trice symetrique denie positive). Montrer que cond
2
(A) =
_

N
/
1
. On
suppose maintenant que A est symetrique denie positive, montrer que
cond
2
(A) =
N
/
1
o` u
N
[resp.
1
] est la plus grande [resp. petite] valeur
propre de A.
4. Soit A /
N
(IR) une matrice inversible. Montrer que cond
2
(A) = 1 si
et seulement si A = Q o` u IR

et Q est une matrice orthogonale


(cest-` a-dire Q
t
= Q
1
).
5. Soit A /
N
(IR) une matrice inversible. On suppose que A = QR o` u Q
est une matrice orthogonale. Montrer que cond
2
(A) = cond
2
(R).
6. Soit A, B /
N
(IR) deux matrices symetriques denies positives. Mon-
trer que cond
2
(A +B) maxcond
2
(A),cond
2
(B).
32 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Exercice 17 (Discretisation)
On consid`ere la discretisation `a pas constant par le schema aux dierences
nies symetrique `a trois points (vu en cours) du probl`eme (1.2.16) page 23, avec
f C([0,1]). Soit N IN

, N impair. On pose h = 1/(N + 1). On note u est


la solution exacte, x
i
= ih, pour i = 1, . . . ,N les points de discretisation, et
(u
i
)
i=1,...,N
la solution du syst`eme discretise (1.2.18).
1. Montrer que si f est constante, alors
max
1iN
[u
i
u(x
i
)[ = 0.
.
2. Soit N xe, et max
1iN
[u
i
u(x
i
)[ = 0. A-t-on forcement que f est constante
sur [0,1] ? (justier la reponse.)
Exercice 18 (Valeurs propres et vecteurs propres de A) Suggestions en
page 143, corrige detaille en page 162.
Soit f C([0,1]). Soit N IN

, N impair. On pose h = 1/(N + 1). Soit A


la matrice denie par (1.2.19) page 24, issue dune discretisation par differences
nies (vue en cours) du probl`eme (1.2.16) page 23. Montrer que A est symetrique
denie positive. Calculer les valeurs propres et les vecteurs propres de A [on
pourra commencer par chercher IR et C
2
(IR,IR) ( non identiquement
nulle) t.q.

(x) = (x) pour tout x ]0,1[ et (0) = (1) = 0]. Calculer


cond
2
(A) et montrer que h
2
cond
2
(A)
4

2
lorsque h 0.
Exercice 19 (Conditionnement ecace.) Corrige en page 163.
Soit f C([0,1]). Soit N IN

, N impair. On pose h = 1/(N + 1). Soit A


la matrice denie par (1.2.19) page 24, issue dune discretisation par differences
nies (vue en cours) du probl`eme (1.2.16) page 23.
Pour u IR
N
, on note u
1
, . . . ,u
N
les composantes de u. Pour u IR
N
, on
dit que u 0 si u
i
0 pour tout i 1, . . . ,N. Pour u, v IR
N
, on note
u v =

N
i=1
u
i
v
i
.
On munit IR
N
de la norme suivante : pour u IR
N
, |u| = max[u
i
[, i
1, . . . ,N. On munit alors /
N
(IR) de la norme induite, egalement notee | |,
cest-`a-dire |B| = max|Bu|, u IR
N
t.q. |u| = 1, pour tout B /
N
(IR).
Partie I Conditionnement general
1. (Existence et positivite de A
1
) Soient b IR
N
et u IR
N
t.q. Au = b.
Remarquer que Au = b peut secrire :
_
1
h
2
(u
i
u
i1
) +
1
h
2
(u
i
u
i+1
) = b
i
, i 1, . . . ,N,
u
0
= u
N+1
= 0.
(1.2.22)
Montrer que b 0 u 0. [On pourra considerer i 0, . . . ,N + 1 t.q.
u
i
= minu
j
, j 0, . . . ,N + 1.]
En deduire que A est inversible.
2. (Preliminaire. . . ) On consid`ere la fonction C([0,1],IR) denie par
(x) = (1/2)x(1 x) pour tout x [0,1]. On denit alors IR
N
par
i
= (ih) pour tout i 1, . . . ,N. Montrer que (A)
i
= 1 pour
tout i 1, . . . ,N.
1.2. LES M

ETHODES DIRECTES 33
3. (calcul de |A
1
|) Soient b IR
N
et u IR
N
t.q. Au = b. Montrer que
|u| (1/8)|b| [Calculer A(u |b|) avec deni `a la question 2 et
utiliser la question 1]. En deduire que |A
1
| 1/8 puis montrer que
|A
1
| = 1/8.
4. (calcul de |A|) Montrer que |A| =
4
h
2
.
5. (Conditionnement pour la norme | |). Calculer |A
1
||A|. Soient b,
b

IR
N
. Soient u,
u
IR
N
t.q. Au = b et A(u +
u
) = b +
b
. Montrer que
|
u
|
|u|
|A
1
||A|
|
b
|
|b|
.
Montrer quun choix convenable de b et
b
donne legalite dans linegalite
precedente. [Cette question a ete faite en cours dans un cas plus general.]
Partie II Conditionnement ecace
On se donne maintenant f C([0,1],IR) et on suppose (pour simplier. . . )
que f(x) > 0 pour tout x ]0,1[. On prend alors, dans cette partie, b
i
= f(ih)
pour tout i 1, . . . ,N. On consid`ere aussi le vecteur deni `a la question 2
de la partie I.
1. Montrer que h

N
i=1
b
i

i

_
1
0
f(x)(x)dx quand N et que

N
i=1
b
i

i
>
0 pour tout N. En deduire quil existe > 0, ne dependant que de f, t.q.
h

N
i=1
b
i

i
pour tout N IN

.
2. Soit u IR
N
t.q. Au = b. Montrer que N|u|

N
i=1
u
i
= u A

h
(avec donne `a la question 1).
Soit
b
IR
N
et
u
IR
N
t.q. A(u +
u
) = b +
b
. Montrer que
|
u
|
|u|

|f|
L

(]0,1[)
8
|
b
|
|b|
.
3. Comparer |A
1
||A| (question I.5) et
|f|
L

(]0,1[)
8
(question II.2) quand
N est grand (ou quand N ).
Exercice 20 (Conditionnement, reaction diusion 1d.) Corrige en page
166.
On sinteresse au conditionnement pour la norme euclidienne de la matrice issue
dune discretisation par Differences Finies du probl`eme aux limites suivant :
u

(x) +u(x) = f(x), x ]0,1[,


u(0) = u(1) = 0.
(1.2.23)
Soit N IN

. On note U = (u
j
)
j=1...N
une valeur approchee de la solution
u du probl`eme (1.2.23) aux points
_
j
N+1
_
j=1...N
. On rappelle que la discretisa-
tion par differences nies de ce probl`eme consiste `a chercher U comme solution
du syst`eme lineaire AU =
_
f(
j
N+1
)
_
j=1...N
o` u la matrice A M
N
(IR) est
34 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
denie par A = (N + 1)
2
B +Id, Id designe la matrice identite et
B =
_
_
_
_
_
_
_
_
_
2 1 0 . . . 0
1 2 1
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
. 0
.
.
.
.
.
. 1 2 1
0 . . . 0 1 2
_
_
_
_
_
_
_
_
_
1. (Valeurs propres de la matrice B.)
On rappelle que le probl`eme aux valeurs propres
u

(x) = u(x), x ]0,1[,


u(0) = u(1) = 0.
(1.2.24)
admet la famille (
k
,u
k
)
kIN
,
k
= (k)
2
et u
k
(x) = sin(kx) comme
solution. Montrer que les vecteurs U
k
=
_
u
k
(
j
N+1
)
_
j=1...N
sont des vec-
teurs propres de la matrice B. En deduire toutes les valeurs propres de la
matrice B.
2. En deduire les valeurs propres de la matrice A.
3. En deduire le conditionnement pour la norme euclidienne de la matrice A.
1.3 Methodes iteratives
Les methodes directes que nous avons etudiees dans le paragraphe precedent
sont tr`es ecaces : elles donnent la solution exacte (aux erreurs darrondi pr`es)
du syst`eme lineaire considere. Elles ont linconvenient de necessiter une assez
grande place memoire car elles necessitent le stockage de toute la matrice en
memoire vive. Si la matrice est pleine, c.`a.d. si la plupart des coecients de
la matrice sont non nuls et quelle est trop grosse pour la memoire vive de
lordinateur dont on dispose, il ne reste plus qu` a gerer habilement le swapping
cest `a dire lechange de donnees entre memoire disque et memoire vive pour
pouvoir resoudre le syst`eme.
Cependant, si le syst`eme a ete obtenu `a partir de la discretisation dequations
aux derives partielles, il est en general creux, c.`a. d. quun grand nombre des
coecients de la matrice du syst`eme sont nuls ; de plus la matrice a souvent
une structure bande, i.e. les elements non nuls de la matrice sont localises sur
certaines diagonales. On a vu au chapitre precedent que dans ce cas, la methode
de Choleski conserve le prol (voir `a ce propos page 17). Prenons par exemple
le cas dune discretisation du Laplacien sur un carre par dierences nies. On
cherche `a resoudre le probl`eme :
u = f sur =]0,1[]0,1[,
u = 0 sur ,
(1.3.25)
On rappelle que loperateur Laplacien est deni pour u C
2
(), o` u est un
ouvert de IR
2
, par
u =

2
u
x
2
+

2
u
y
2
.
1.3. M

ETHODES IT

ERATIVES 35
Denissons une discretisation uniforme du carre par les points (x
i
,y
j
), pour
i = 1, . . . ,M et j = 1, . . . ,M avec x
i
= ih, y
j
= jh et h = 1/(M+1), representee
en gure 1.3 pour M = 6. On peut alors approcher les derivees secondes par
des quotients dierentiels comme dans le cas unidimensionnel (voir page 24),
pour obtenir un syst`eme lineaire : AU = b o` u A /
N
(IR) et b IR
N
avec
N = M
2
. Utilisons lordre lexicographique pour numeroter les inconnues,
c.`a.d. de bas en haut et de gauche `a droite: les inconnues sont alors numerotees
de 1 `a N = M
2
et le second membre secrit b = (b
1
, . . . ,b
N
)
t
. Les composantes
b
1
, . . . ,b
N
sont denies par : pour i,j = 1, . . . ,M, on pose k = j + (i 1)M et
b
k
= f(x
i
,y
j
).
2 3 4 5 6
7 8 9
31
10 11 12
13 14 15 16 17 18
19 20 21 22 23 24
30 29 28 27 26 25
32 33 34 35 36
1 i = 1
j = 1
x
y
Fig. 1.5 Ordre lexicographique des inconnues, exemple dans le cas M = 6
Les coecients de A = (a
k,
)
k,l=1,N
peuvent etre calcules de la mani`ere
suivante :
36 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
_

_
Pour i,j = 1, . . . ,M, on pose k = j + (i 1)M,
a
k,k
=
4
h
2
,
a
k,k+1
=
_

1
h
2
si i ,= M,
0 sinon,
a
k,k1
=
_

1
h
2
si i ,= 1,
0 sinon,
a
k,k+M
=
_

1
h
2
si j ,= M,
0 sinon,
a
k,kM
=
_

1
h
2
si j ,= 1,
0 sinon,
Pour k = 1, . . . ,N, et = 1, . . . ,N;
a
k,
= 0, k = 1, . . . ,N, 1 < [k [ < N ou [k [ > N.
La matrice est donc tridiagonale par blocs, plus precisement si on note
D =
_
_
_
_
_
_
_
_
_
_
_
4 1 0 . . . . . . 0
1 4 1 0 . . . 0
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
. 1
0 . . . 0 1 4
_
_
_
_
_
_
_
_
_
_
_
,
les blocs diagonaux (qui sont des matrices de dimension M M), on a :
A =
_
_
_
_
_
_
_
_
_
_
D Id 0 . . . . . . 0
Id D Id 0 . . . 0
0 Id D Id 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
0
.
.
. Id D Id
0 . . . 0 Id D
_
_
_
_
_
_
_
_
_
_
, (1.3.26)
o` u Id designe la matrice identite dordre M.
On peut remarquer que la matrice A a une largeur de bande de M. Si
on utilise une methode directe genre Choleski, on aura donc besoin dune place
memoire de N M = M
3
. (Notons que pour une matrice pleine on a besoin de
M
4
.)
Lorsquon a aaire `a de tr`es gros syst`emes issus par exemple de lingenierie
(calcul des structures, mecanique des uides, . . . ), o` u N peut etre de lordre
de plusieurs milliers, on cherche `a utiliser des methodes necessitant le moins de
memoire possible. On a interet dans ce cas `a utiliser des methodes iteratives.
Ces methodes ne font appel qu` a des produits matrice vecteur, et ne necessitent
donc pas le stockage du prol de la matrice mais uniquement des termes non
1.3. M

ETHODES IT

ERATIVES 37
nuls. Dans lexemple precedent, on a 5 diagonales non nulles, donc la place
memoire necessaire pour un produit matrice vecteur est 5N = 5M
2
. Ainsi pour
les gros syst`emes, il est souvent avantageux dutiliser des methodes iteratives
qui ne donnent pas toujours la solution exacte du syst`eme en un nombre ni
diterations, mais qui donnent une solution approchee `a co ut moindre quune
methode directe, car elles ne font appel qu` a des produits matrice vecteur.
Remarque 1.16 (Sur la methode du gradient conjugue) Il existe une me-
thode iterative miraculeuse de resolution des syst`emes lineaires lorsque la ma-
trice A est symetrique denie positive : cest la methode du gradient conjugue.
Elle est miraculeuse en ce sens quelle donne la solution exacte du syst`eme
Ax = b en un nombre ni doperations (en ce sens cest une methode directe) :
moins de N iterations o` u N est lordre de la matrice A, bien quelle ne necessite
que des produits matrice vecteur ou des produits scalaires. La methode du gra-
dient conjugue est en fait une methode doptimisation pour la recherche du mini-
mum dans IR
N
de la fonction de IR
N
dans IR denie par : f(x) =
1
2
Ax xb x.
Or on peut montrer que lorsque A est symetrique denie positive, la recherche
de x minimisant f dans IR
N
est equivalent ` a la resolution du syst`eme Ax = b.
(Voir paragraphe 3.2.2 page 81.) En fait, la methode du gradient conjugue nest
pas si miraculeuse que cela en pratique : en eet, le nombre N est en general
tr`es grand et on ne peut en general pas envisager deectuer un tel nombre
diterations pour resoudre le syst`eme. De plus, si on utilise la methode du gra-
dient conjugue brutalement, non seulement elle ne donne pas la solution en N
iterations en raison de laccumulation des erreurs darrondi, mais plus la taille
du syst`eme crot et plus le nombre diterations necessaires devient eleve. On a
alors recours aux techniques de preconditionnement. Nous reviendrons sur ce
point au chapitre 3.
La methode iterative du gradient ` a pas xe, qui est elle aussi obtenue comme
methode de minimisation de la fonction f ci-dessus, fait lobjet des exercices 21
page 46 et 47 page 86.
1.3.1 Denition et proprietes
Soit A /
N
(IR) une matrice inversible et b IR
N
, on cherche toujours
ici `a resoudre le syst`eme lineaire (1.1.1) cest `a dire `a trouver x IR
N
tel que
Ax = b.
Denition 1.17 On appelle methode iterative de resolution du syst`eme lineaire
(1.1.1) une methode qui construit une suite (x
(n)
)
nIN
(o` u litere x
(n)
est
calcule ` a partir des iteres x
(0)
. . . x
(n1)
) censee converger vers x solution de
(1.1.1)).
Denition 1.18 On dit quune methode iterative est convergente si pour tout
choix initial x
(0)
IR
N
, on a :
x
(n)
x quand n +
Puisquil sagit de resoudre un syt`eme lineaire, il est naturel dessayer de
construire la suite des iteres sous la forme x
(n+1)
= Bx
(n)
+c, o` u B /
N
(IR)
et c IR
N
seront choisis de mani`ere `a ce que la methode iterative ainsi denie
soit convergente. On appellera ce type de methode Methode I, et on verra par
la suite un choix plus restrictif quon appellera Methode II.
38 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Denition 1.19 (Methode I) On appelle methode iterative de type I pour la
resolution du syst`eme lineaire (1.1.1) une methode iterative o` u la suite des iteres
(x
(n)
)
nIN
est donnee par :
_
Initialisation x
(0)
IR
N
Iteration n x
(n+1)
= Bx
(n)
+c.
o` u B /
N
(IR) et c IR
N
.
Remarque 1.20 (Condition necessaire de convergence) // Une condi-
tion necessaire pour que la methode I converge est que c = (Id B)A
1
b. En
eet, supposons que la methode converge. En passant ` a la limite lorsque n tend
vers linni sur literation n de lalgorithme, on obtient x = Bx + c et comme
x = A
1
b, ceci entrane c = (Id B)A
1
b.
Remarque 1.21 (Interet pratique) La methode I est assez peu interessante
en pratique, car il faut calculer A
1
b, sauf si (Id B)A
1
= Id, avec IR.
On obtient dans ce cas :
B = A +Id
et c = b
cest` adire
x
n+1
= x
n
+(b Ax
n
).
Le terme bAx
n
est appele residu et la methode sappelle dans ce cas la methode
dextrapolation de Richardson.
Theor`eme 1.22 (Convergence de la methode de type I) Soit A /
N
(IR)
A inversible, b IR
N
. On consid`ere la methode I avec B /
N
(IR) et
c = (Id B)A
1
b. (1.3.27)
Alors la methode I converge si et seulement si le rayon spectral (B) de la
matrice B verie (B) < 1.
Demonstration
Soit B /
N
(IR).
Soit x la solution du syst`eme lineaire (1.1.1); grace `a (1.3.27), x = Bx+c, et
comme x
(n+1)
= Bx
(n)
+c, on a donc x
(n+1)
x = B(x
(n)
x) et par recurrence
sur n,
x
(n)
x = B
n
(x
(0)
x), n IN. (1.3.28)
On rappelle (voir exercice 7 page 28) que (B) < 1 si et seulement si B
n
0
et que donc, si (B) 1 alors B
n
, 0. On rappelle aussi que B
n
0 si et
seulement si B
n
y 0, y IR
n
.
() On demontre limplication par contraposee. Supposons que (B) 1 et
montrons que la methode I ne converge pas. Si (B) 1 il existe y IR
N
tel que B
n
y ,
n+
0. En choisissant x
(0)
= x + y = A
1
b + y, legalite
(1.3.28) devient : x
(n)
x = B
n
y ,
n+
0 par hypoth`ese et donc la methode
nest pas convergente.
1.3. M

ETHODES IT

ERATIVES 39
() Supposons maintenant que (B) < 1 alors legalite (1.3.28) donne donc
x
(n)
x = B
n
(x
(0)
x)
n+
0 car (B) < 1. Donc x
(n)

n+
x = A
1
b.
La methode est bien convergente.
Denition 1.23 (Methode II) Soit A /
N
(IR) une matrice inversible, b
IR
N
. Soient

M et

N /
N
(IR) des matrices telles que A =

M

N et

M est
inversible (et facile ` a inverser).
On appelle methode de type II pour la resolution du syst`eme lineaire (1.1.1)
une methode iterative o` u la suite des iteres (x
(n)
)
nIN
est donnee par :
_
Initialisation x
(0)
IR
N
Iteration n

Mx
(n+1)
=

Nx
(n)
+b.
Remarque 1.24 Si

Mx
(n+1)
=

Nx
(n)
+ b pour tout n IN et x
(n)
y
quand n + alors

My =

Ny + b, c.` a.d. (

M

N)y = b et donc Ay = b.
En conclusion, si la methode de type II converge, alors elle converge bien vers
la solution du syst`eme lineaire.
Corollaire 1.25 (Convergence de la methode II) Soit A /
N
(IR) une
matrice inversible, b IR
N
. Soient

M et

N /
N
(IR) des matrices telles que
A =

M

N et

M est inversible. La methode II denie par (1.23) converge si et
seulement si (

M
1

N) < 1.
Demonstration Pour demontrer ce resultat, il sut de reecrire la methode
II avec le formalisme de la methode I. En eet

Mx
(n+1)
=

Nx
(n)
+ b
x
(n+1)
=

M
1

Nx
(n)
+

M
1
b = Bx
(n)
+c, avec B =

M
1

N et c =

M
1
b.
Pour trouver des methodes iteratives de resolution du syst`eme (1.1.1), on
cherche donc une decomposition de la matrice A de la forme : A =

M

N, o` u

M est inversible, telle que :


(

M
1

N) < 1,

My = d soit un syst`eme facile `a resoudre (par exemple



M soit triangulaire).
(1.3.29)
Theor`eme 1.26 (Condition susante de convergence, methode II) Soit
A /
N
(IR) une matrice symetrique denie positive, et soient

M et

N
/
N
(IR) telles que A =

M

N et

M est inversible. Si la matrice

M
t
+

N est
symetrique denie positive alors (

M
1

N) < 1, et donc la methode II converge.
Demonstration On rappelle (voir exercice (7) page 28) que si B /
N
(IR),
et si || est une norme induite sur /
N
(IR) par une norme sur IR
N
, on a toujours
(B) |B|. On va donc chercher une norme sur IR
N
, notee | |

telle que
|

M
1

N|

= max|

M
1

Nx|

, x IR
N
, |x|

= 1 < 1,
(o` u on designe encore par |.|

la norme induite sur /


N
(IR)) ou encore :
|

M
1

Nx|

< |x|

, x IR
N
, x ,= 0. (1.3.30)
40 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
On denit la norme | |

par |x|

Ax x, pour tout x IR
N
. Comme A
est symetrique denie positive, | |

est bien une norme sur IR


N
, induite par
le produit scalaire (x[y)
A
= Ax y. On va montrer que la propriete (1.3.30) est
veriee par cette norme. Soit x IR
N
, x ,= 0, on a : |

M
1

Nx|
2

= A

M
1

Nx

M
1

Nx. Or

N =

M A, et donc : |

M
1

Nx|
2

= A(Id

M
1
A)x (Id

M
1
A)x. Soit y =

M
1
Ax; remarquons que y ,= 0 car x ,= 0 et

M
1
A est
inversible. Exprimons |

M
1

Nx|
2

`a laide de y.
|

M
1

Nx|
2

= A(xy) (xy) = Ax x2Ax y+Ay y = |x|


2

2Ax y+Ay y.
Pour que |

M
1

Nx|
2

< |x|
2

(et par suite (



M
1

N) < 1), il sut donc de
montrer que 2Axy+Ayy < 0. Or, comme

My = Ax, on a : 2Axy+Ayy =
2

My y + Ay y. En ecrivant :

My y = y

M
t
y =

M
t
y y, on obtient donc
que : 2Ax y +Ay y = (

M

M
t
+A)y y, et comme A =

M

N on obtient
2Ax y + Ay y = (

M
t
+

N)y y. Comme

M
t
+

N est symetrique denie
positive par hypoth`ese et que y ,= 0, on en deduit que 2Ax y +Ay y < 0, ce
qui termine la demonstration.
1.3.2 Methodes de Jacobi, Gauss-Seidel et SOR/SSOR
Decomposition par blocs de A:
Dans de nombreux cas pratiques, les matrices des syst`emes lineaires `a resoudre
ont une structure par blocs, et on se sert de cette structure lors de la resolution
par une methode iterative.
Denition 1.27 Soit A /
N
(IR) une matrice inversible. Une decomposition
par blocs de A est denie par un entier S N, des entiers (n
i
)
i=1,...,S
tels que

S
i=1
n
i
= N, et S
2
matrices A
i,j
/
ni,nj
(IR) (ensemble des matrices rectan-
gulaires ` a n
i
lignes et n
j
colonnes, telles que les matrices A
i,i
soient inversibles
pour i = 1, . . . ,S et
A =
_

_
A
1,1
A
1,2
. . . . . . A
1,S
A
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. A
S1,S
A
S,1
. . . . . . A
S,S1
A
S,S
_

_
(1.3.31)
Remarque 1.28
1. Si S = N et n
i
= 1 i 1 . . . n, chaque bloc est constitue dun seul
coecient.
2. Si A est symetrique denie positive, la condition A
i,i
inversible dans la
denition 1.27 est inutile car A
i,i
est necessairement symetrique denie
positive donc inversible. Prenons par exemple i = 1. Soit y IR
n1
, y ,= 0
et x = (y,0 . . . ,0)
t
IR
N
. Alors A
1,1
y y = Ax x > 0 donc A
1,1
est
symetrique denie positive.
1.3. M

ETHODES IT

ERATIVES 41
3. Si A est une matrice triangulaire par blocs, c.` a.d. de la forme (1.3.31)
avec A
i,j
= 0 si j > i, alors
det(A) =
S

i=1
det(A
i,i
).
Par contre si A est decomposee en 2 2 blocs carres (i.e. tels que n
i
=
m
j
, (i,j) 1,2), on a en general : det(A) ,= det(A
1,1
)det(A
2,2
)
det(A
1,2
)det(A
2,1
).
Methode de Jacobi
On peut remarquer que le choix le plus simple pour la resolution du syst`eme

Mx = d dans la methode II (voir les objectifs (1.3.29) de la methode II) est


de prendre pour

M une matrice diagonale. La methode de Jacobi consiste `a
prendre pour

M la matrice diagonale D formee par les blocs diagonaux de A:
D =
_

_
A
1,1
0 . . . . . . 0
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
0 . . . . . . 0 A
S,S
_

_
.
Dans la matrice ci-dessus, 0 designe un bloc nul.
On a alors

N = E + F, o` u E et F sont constitues des blocs triangulaires
inferieurs et superieurs de la matrice A:
E =
_

_
0 0 . . . . . . 0
A
2,1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. 0
A
S,1
. . . . . . A
S,S1
0
_

_
et
F =
_

_
0 A
1,2
. . . . . . A
1,S
0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
. A
S1,S
0 . . . . . . 0 0
_

_
.
On a bien A =

M

N et avec D,E et F denies comme ci-dessus, la methode
de Jacobi secrit :
_
x
(0)
IR
N
Dx
(n+1)
= (E +F)x
(n)
+b.
(1.3.32)
42 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Lorsquon ecrit la methode de Jacobi comme une methode I, on a B =
D
1
(E +F) ; on notera J cette matrice.
En introduisant la decomposition par blocs de x, solution recherchee de
(1.1.1), c.`a.d. : x = [x
1
, . . . , x
S
]
t
, o` u x
i
IR
ni
, on peut aussi ecrire la methode
de Jacobi sous la forme :
_
_
_
x
0
IR
N
A
i,i
x
(n+1)
i
=

j<i
A
i,j
x
(n)
j

j>i
A
i,j
x
(n)
j
+b
i
i = 1, . . . ,S.
(1.3.33)
Methode de Gauss-Seidel
Lidee de la methode de Gauss-Seidel est dutiliser le calcul des composantes
de litere (n + 1) d`es quil est eectue. Par exemple, pour calculer la deuxi`eme
composante x
(n+1)
2
du vecteur x
(n+1)
, on pourrait employer la nouvelle valeur
x
(n+1)
1
quon vient de calculer plutot que la valeur x
(n)
1
comme dans (1.3.33) ;
de meme, dans le calcul de x
(n+1)
3
, on pourrait employer les nouvelles valeurs
x
(n+1)
1
et x
(n+1)
2
plutot que les valeurs x
(n)
1
et x
(n)
2
. Cette idee nous sugg`ere de
remplacer dans (1.3.33) x
(n)
j
par x
(n+1)
j
si j < i. On obtient donc lalgorithme
suivant :
_
x
(0)
IR
N
A
i,i
x
(n+1)
i
=

j<i
A
i,j
x
(n+1)
j

i<j
A
i,j
x
(n)
j
+b
i
, i = 1, . . . ,s.
(1.3.34)
La methode de GaussSeidel est donc la methode II avec

M = D E et

N = F :
_
x
0
IR
N
(D E)x
(n+1)
= Fx
(n)
+b.
(1.3.35)
Lorsquon ecrit la methode de GaussSeidel comme une methode I, on a
B = (D E)
1
F ; on notera L
1
cette matrice, dite matrice de Gauss-Seidel.
Methodes SOR et SSOR
Lidee de la methode de sur-relaxation (SOR = Successive Over Relaxation)
est dutiliser la methode de Gauss-Seidel pour calculer un itere intermediaire
x
(n+1)
quon relaxe ensuite pour ameliorer la vitesse de convergence de la
methode. On se donne 0 < < 2, et on modie lalgorithme de GaussSeidel
de la mani`ere suivante :
_

_
x
0
IR
N
A
i,i
x
(n+1)
i
=

j<i
A
i,j
x
(n+1)
j

i<j
A
i,j
x
(n)
j
+b
i
x
(n+1)
i
= x
(n+1)
i
+ (1 )x
(n)
i
, i = 1, . . . ,s.
(1.3.36)
(Pour = 1 on retrouve la methode de GaussSeidel.)
1.3. M

ETHODES IT

ERATIVES 43
Lalgorithme ci-dessus peut aussi secrire (en multipliant par A
i,i
la ligne 3
de lalgorithme (1.3.36)) :
_
x
(0)
IR
N
A
i,i
x
(n+1)
i
=
_

j<i
A
i,j
x
(n+1)
j

j>i
A
i,j
x
(n)
j
+b
i
_
+ (1 )A
i,i
x
(n)
i
.
(1.3.37)
On obtient donc
(D E)x
(n+1)
= Fx
(n)
+b + (1 )Dx
(n)
.
Lalgorithme SOR secrit donc comme une methode II avec

M =
D

E et

N = F +
_
1

_
D.
Il est facile de verier que A =

M

N.
Lalgorithme SOR secrit aussi comme une methode I avec
B =
_
D

E
_
1
(F +
_
1

_
D).
On notera L

cette matrice.
Remarque 1.29 (Methode de Jacobi relaxee) On peut aussi appliquer une
procedure de relaxation avec comme methode ierative de base la methode de
Jacobi, voir ` a ce sujet lexercice 26 page 48). Cette methode est toutefois beau-
coup moins employee en pratique (car moins ecace) que la methode SOR.
En symetrisant le procede de la methode SOR, c.`a.d. en eectuant les
calculs SOR sur les blocs dans lordre 1 `a N puis dans lordre N `a 1, on obtient
la methode de sur-relaxation symetrisee (SSOR = Symmetric Successive Over
Relaxation) qui secrit dans le formalisme de la methode I avec
B =
_
D

F
_
1
_
E +
1

D
_
. .
calcul dans lordre s...1
_
D

E
_
1
_
F +
1

D
_
. .
calcul dans lordre 1...s
.
Etude theorique de convergence
On aimerait pouvoir repondre aux questions suivantes :
1. Les methodes sontelles convergentes?
2. Peut-on estimer leur vitesse de convergence?
3. Peut-on estimer le coecient de relaxation optimal dans la methode
SOR, c.`a.d. celui qui donnera la plus grande vitesse de convergence?
On va maintenant donner des reponses, partielles dans certains cas, faute de
mieux, `a ces questions.
44 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Convergence On rappelle quune methode iterative de type I, i.e. ecrite sous
la forme x
(n+1)
= Bx
(n)
+ C converge si et seulement si (B) < 1 (voir le
theor`eme 1.22 page 38).
Theor`eme 1.30 (Sur la convergence de la methode SOR) Soit A /
N
(IR)
qui admet une decomposition par blocs denie dans la denition 1.3.31 page 40 ;
soient D la matrice constituee par les blocs diagonaux, E (resp. F) la ma-
trice constituee par les blocs triangulaires inferieurs (resp. superieurs); on a
donc : A = D E F. Soit L

la matrice diteration de la methode SOR (et


de la methode de GaussSeidel pour = 1) denie par :
L

=
_
D

E
_
1
_
F +
1

D
_
, ,= 0.
Alors :
1. Si (L

) < 1 alors 0 < < 2.


2. Si on suppose de plus que A symetrique denie positive, alors :
(L

) < 1 si et seulement si 0 < < 2.


Demonstration du theor`eme 1.30 :
1. Calculons det(L

). Par denition,
L

=

M
1

N, avec

M =
1

D E et

N = F +
1

D.
Donc det(L

) = (det(

M))
1
det(

N). Comme

M et

N sont des matrices tri-
angulaires par blocs, leurs determinants sont les produits des determinants
des blocs diagonaux (voir la remarque 1.28 page 40). On a donc :
det(L

) =
(
1

)
N
det(D)
(
1

)
N
det(D)
= (1 )
N
.
Or le determinant dune matrice est aussi le produit des valeurs propres
de cette matrice (comptees avec leur multiplicites algebriques), dont les
valeurs absolues sont toutes, par denition, inferieures au rayon spectral.
On a donc : [det(L

)[ = [(1 )
N
[ ((L

))
N
, do` u le resultat.
2. Supposons maintenant que A est une matrice symetrique denie positive,
et que 0 < < 2. Montrons que (L

) < 1. Par le theor`eme 1.26 page


39, il sut pour cela de montrer que

M
t
+

N est une matrice symetrique
denie positive. Or,

M
t
=
_
D

E
_
t
=
D

F,

M
t
+

N =
D

F +F +
1

D =
2

D.
La matrice

M
t
+

N est donc bien symetrique denie positive.
Remarque 1.31 (Comparaison GaussSeidel/Jacobi)
Une consequence directe du theor`eme 1.30 est que dans le cas o` u A est une
matrice symetrique denie positive, la methode de GaussSeidel converge.
1.3. M

ETHODES IT

ERATIVES 45
Par contre, meme dans le cas o` u A est symetrique denie positive, il existe
des cas o` u la methode de Jacobi ne converge pas, voir ` a ce sujet lexercice
22 page 46.
Remarquons que le resultat de convergence des methodes iteratives donne
par le theor`eme precedent nest que partiel, puisquil ne concerne que les ma-
trices symetriques denies positives et que les methodes Gauss-Seidel et SOR.
On a aussi un resultat de convergence de la methode de Jacobi pour les ma-
trices `a diagonale dominante stricte, voir exercice 23 page 46, et un resultat
de comparaison des methodes pour les matrices tridiagonales par blocs, voir le
theor`eme 1.32 donne ci-apr`es. Dans la pratique, il faudra souvent compter sur
sa bonne etoile. . .
Estimation de la vitesse de convergence On montre dans lexercice 28
page 49 que si la suite (x
(n)
)
nIN
IR est donnee par une methode I (voir
denition 1.19 page 38) convergente, i.e. x
(n+1)
= Bx
(n)
+ C (avec (B) < 1),
et si on suppose que x est la solution du syst`eme (1.1.1), et que x
(n)
x quand
n , alors
|x
(n+1)
x|
|x
(n)
x|
(B) quand n + (sauf cas particuliers)
independamment de la norme sur IR
N
. Le rayon spectral (B) de la matrice B
est donc une bonne estimation de la vitesse de convergence. Pour estimer cette
vitesse de convergence lorsquon ne connat pas x, on peut utiliser le fait (voir
encore lexercice 28 page 49) quon a aussi
|x
(n+1)
x
(n)
|
|x
(n)
x
(n1)
|
(B) lorsque n +,
ce qui permet devaluer la vitesse de convergence de la methode par le calcul
des iteres courants.
Estimation du coecient de relaxation optimal de SOR La question
est ici destimer le coecient de relaxation optimal dans la methode SOR,
c.`a.d. le coecient
0
]0,2[ (condition necessaire pour que la methode SOR
converge, voir theor`eme 1.30) tel que (L
0
) < (L

) ]0,2[.
Dapr`es le paragraphe precedent ce
0
donnera la meilleure convergence
possible pour SOR. On sait le faire dans le cas assez restrictif des matrices tri-
diagonales par blocs. On ne fait ici quenoncer le resultat dont la demonstration
est donnee dans le livre de Ph. Ciarlet conseille en debut de cours.
Theor`eme 1.32 (Coecient optimal, matrice tridiagonale) On consid`ere
une matrice A /
N
(IR) qui admet une decomposition par blocs denie dans
la denition 1.3.31 page 40 ; on suppose que la matrice A est tridiagonale par
blocs, c.` a.d. A
i,j
= 0 si [i j[ > 1 ; soient L
1
et J les matrices diteration
respectives des methodes de Gauss-Seidel et Jacobi, alors :
1. (L
1
) = ((J))
2
: la methode de GaussSeidel converge (ou diverge) donc
plus vite que celle de Jacobi.
2. On suppose de plus que toutes les valeurs propres de la matrice diteration
J de la methode de Jacobi sont reelles. alors le param`etre de relaxation
optimal, c.` a.d. le param`etre
0
tel que (L
0
) = min(L

), ]0,2[,
46 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
sexprime en fonction du rayon spectral (J) de la matrice J par la for-
mule :

0
=
2
1 +
_
1 (J)
2
> 1,
et on a : (L
0
) =
0
1.
1.3.3 Recherche de valeurs propres et vecteurs propres
Les techniques de recherche des elements propres, c.`a.d. des valeurs et vec-
teurs propres (voir Denition 1.7 page 20) dune matrice sont essentielles dans
de nombreux domaines dapplication, par exemple en dynamique des structures :
la recherche des modes propres dune structure peut saverer importante pour
le dimensionnement de structures sous contraintes dynamiques, voir `a ce propos
lexemple cel`ebre du Tacoma Bridge, decrit dans les livres de M. Braun (en
anglais) et M. Schatzman (en fran cais) conseilles en debut de cours.
On donne dans les exercices qui suivent deux methodes assez classiques de
recherche de valeurs propres dune matrice qui sont la methode de la puissance
(exercice 28 page 49) et celui de la puissance inverse (exercice 29 page 50).
Citons egalement une methode tr`es employee, la methode QR, qui est presente
dans de nombreuses biblioth`eques de programmes. On pourra se referer aux
ouvrages de Ph. Ciarlet et de M. Schatzman, de D. Serre et de P. Lascaux et
R. Theodor (voir introduction).
1.3.4 Exercices
Exercice 21 (Methode iterative du gradient `a pas xe) Suggestions en
page 143, corrige detaille en page 166
Soit A /
N
(IR) une matrice symetrique denie positive et b IR
N
. Soit
IR. Pour trouver la solution de Ax = b, on consid`ere la methode iterative
suivante :
Initialisation: x
(0)
IR
N
,
Iterations: x
(n+1)
= x
(n)
+(b Ax
(n)
).
1. Pour quelles valeurs de (en fonction des valeurs propres de A) la methode
est-elle convergente?
2. Calculer
0
(en fonction des valeurs propres de A) t.q. (Id
0
A) =
min(Id A), IR.
Exercice 22 (Non convergence de la methode de Jacobi)
Suggestions en page 143 et corrige en page 167
Soit a IR et
A =
_
_
1 a a
a 1 a
a a 1
_
_
Montrer que A est symetrique denie positive si et seulement si 1/2 < a < 1
et que la methode de Jacobi converge si et seulement si 1/2 < a < 1/2.
Exercice 23 (Jacobi pour les matrices `a diagonale dominante stricte)
Suggestions en page 143, corrige en page 168
1.3. M

ETHODES IT

ERATIVES 47
Soit A = (a
i,j
)
i,j=1,...,N
/
N
(IR) une matrice `a diagonale dominante
stricte (cest-` a-dire [a
i,i
[ >

j=i
[a
i,j
[ pour tout i = 1, . . . ,N). Montrer que A
est inversible et que la methode de Jacobi (pour calculer la solution de Ax = b)
converge.
Exercice 24 (Jacobi pour les matrices `a diagonale dominante forte)
corrige en page 169
1. Soit f C([0,1]), a et b sont des reels donnes ; on consid`ere le syst`eme
lineaire Ax = b issu de la discretisation par dierences nies de pas uni-
forme egal `a h =
1
N+1
du probl`eme suivant :
_
u

(x) +u(x) = f(x), x [0,1],


u(0) = 0,u(1) = 1,
(1.3.38)
o` u 0.
(a) Donner lexpression de A et b.
(b) Montrer que la methode de Jacobi appliquee `a la resolution de ce
syst`eme converge (distinguer les cas > 0 et = 0).
2. On consid`ere maintenant une matrice A /
N
(IR) inversible quelconque.
(a) Montrer que si A est symetrique denie positive alors tous ses coe-
cients diagonaux sont strictement positifs. En deduire que la methode
de Jacobi est bien denie.
(b) On suppose maintenant que la matrice diagonale extraite de A, notee
D, est inversible. On suppose de plus que
i = 1, . . . ,N,[a
i,i
[

j=i
[a
i,j
[ et i
0
; [a
i0,i0
[ >

j=i0
[a
i,j
[.
(On dit que la matrice est `a diagonale fortement dominante). Soit J
la matrice diteration de la methode de Jacobi.
i. Montrer que (J) 1.
ii. Montrer que si Jx = x avec [[ = 1, alors x
i
= |x|, i =
1, . . . ,N. En deduire que x = 0 et que la methode de Jacobi
converge.
iii. Retrouver ainsi le resultat de la question 1(b).
Exercice 25 (Diagonalisation dans IR )
Corrige en page 170
Soit E un espace vectoriel reel de dimension N IN muni dun produit scalaire,
note (,). Soient T et S deux applications lineaires symetriques de E dans E
(T symetrique signie (Tx,y) = (x,Ty) pour tous x, y E). On suppose que T
est denie positive (cest-`a-dire (Tx,x) > 0 pour tout x E 0).
1. Montrer que T est inversible. Pour x, y E, on pose (x,y)
T
= (Tx,y).
Montrer que lapplication (x,y) (x,y)
T
denit un nouveau produit sca-
laire sur E.
48 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
2. Montrer que T
1
S est symetrique pour le produit scalaire deni `a la
question precedente. En deduire, avec le lemme 1.15 page 25, quil existe
une base de E, notee f
1
, . . . ,f
N
, et il existe
1
, . . . ,
N
IR t.q.
T
1
Sf
i
=
i
f
i
pour tout i 1, . . . ,N et t.q. (Tf
i
/f
j
) =
i,j
pour tout
i, j 1, . . . ,N.
Exercice 26 (Methode de Jacobi et relaxation) Suggestions en page
144, corrige en page 171
Soit N 1. Soit A = (a
i,j
)
i,j=1,...,N
/
N
(IR) une matrice symetrique. On
note D la partie diagonale de A, E la partie triangulaire inferieure de A et
F la partie triangulaire superieure de A, cest-`a-dire :
D = (d
i,j
)
i,j=1,...,N
, d
i,j
= 0 si i ,= j, d
i,i
= a
i,i
,
E = (e
i,j
)
i,j=1,...,N
, e
i,j
= 0 si i j, e
i,j
= a
i,j
si i > j,
F = (f
i,j
)
i,j=1,...,N
, f
i,j
= 0 si i j, f
i,j
= a
i,j
si i < j.
Noter que A = DE F. Soit b IR
N
. On cherche `a calculer x IR
N
t.q.
Ax = b. On suppose que D est denie positive (noter que A nest pas forcement
inversible). On sinteresse ici `a la methode de Jacobi (par points), cest `a dire `a
la methode iterative suivante :
Initialisation. x
(0)
IR
N
Iterations. Pour n IN, Dx
(n+1)
= (E +F)x
(n)
+b.
On pose J = D
1
(E +F).
1. Montrer, en donnant un exemple avec N = 2, que J peut ne pas etre
symetrique.
2. Montrer que J est diagonalisable dans IR et, plus precisement, quil existe
une base de IR
N
, notee f
1
, . . . , f
N
, et il existe
1
, . . . ,
N
IR t.q.
Jf
i
=
i
f
i
pour tout i 1, . . . ,N et t.q. Df
i
f
j
=
i,j
pour tout i,
j 1, . . . ,N.
En ordonnant les valeurs propres de J, on a donc
1
. . .
N
, on
conserve cette notation dans la suite.
3. Montrer que la trace de J est nulle et en deduire que
1
0 et
N
0.
On suppose maintenant que A et 2DAsont symetriques denies positives
et on pose x = A
1
b.
4. Montrer que la methode de Jacobi (par points) converge (cest-`a-dire x
(n)

x quand n ). [Utiliser un theor`eme du cours.]


On se propose maintenant dameliorer la convergence de la methode par
une technique de relaxation. Soit > 0, on considere la methode suivante :
Initialisation. x
(0)
IR
N
Iterations. Pour n IN, D x
(n+1)
= (E +F)x
(n)
+b, x
(n+1)
= x
(n+1)
+
(1 )x
(n)
.
5. Calculer les matrices M

(inversible) et N

telles que M

x
(n+1)
= N

x
(n)
+
b pour tout n IN, en fonction de , D et A. On note, dans la suite
J

= (M

)
1
N

.
1.3. M

ETHODES IT

ERATIVES 49
6. On suppose dans cette question que (2/)D A est symetrique denie
positive. Montrer que la methode converge (cest-`a-dire que x
(n)
x
quand n .)
7. Montrer que (2/)DA est symetrique denie positive si et seulement si
< 2/(1
1
).
8. Calculer les valeurs propres de J

en fonction de celles de J. En deduire,


en fonction des
i
, la valeur optimale de , cest-`a-dire la valeur de
minimisant le rayon spectral de J

.
Exercice 27 (Jacobi et Gauss-Seidel) Corrige en page 173
Soit A = (a
i,j
)
i,j=1,...,N
M
N
(IR) une matrice carree dordre N tridiagonale,
cest-`a-dire telle que a
i,j
= 0 si [i j[ > 1, et telle que la matrice diagonale
D = diag(a
i,i
)
i=1,...,N
soit inversible. On note A = D E F o` u E (resp.
F) est la partie triangulaire inferieure (resp. superieure) de A, et on note J et
G les matrices diteration des methodes de Jacobi et Gauss-Seidel associees `a la
matrice A.
1.a. Pour (, ,= 0 et x (
N
, on note
x

= (x
1
,x
2
, . . . ,
k1
x
k
,
N1
x
N
)
t
.
Montrer que si est valeur propre de J associee au vecteur propre x, alors x

verie (E +
1

F)x

= Dx

. En deduire que si ,= 0 est valeur propre de J


alors
2
est valeur propre de G.
1.b Montrer que si
2
est valeur propre non nulle de G, alors est valeur
propre de J .
2. Montrer que (G) = (J)
2
. En deduire que lorsquelle converge, la methode
de Gauss-Seidel pour la resolution du syst`eme Ax = b converge plus rapidement
que la methode de Jacobi.
3. Soit L

la matrice diteration de la methode SOR associee `a A. Montrer


que est valeur propre de J si et seulement si

est valeur propre de L

, o` u

=
2

et

verie
2

+ 1 = 0.
En deduire que
(L

) = max
valeur propre de J
[

[;
2

+ 1 = 0.
Exercice 28 (Methode de la puissance)
Suggestions en page 144, corrige en page 176
1. Soit A /
N
(IR) une matrice symetrique. Soit
N
IR valeur propre de
A t.q. [
N
[ = (A) et soit x
(0)
IR
N
. On suppose que
N
nest pas une
valeur propre de A et que x
(0)
nest pas orthogonal `a Ker(A
N
Id). On
denit la suite (x
(n)
)
nIN
par x
(n+1)
= Ax
(n)
pour n IN. Montrer que
(a)
x
(n)
(N)
n
x, quand n , avec x ,= 0 et Ax =
N
x.
(b)
x
(n+1)

x
(n)

(A) quand n .
50 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
Cette methode de calcul sappelle methode de la puissance.
2. Soit A /
N
(IR) une matrice inversible et b IR
N
. Pour calculer x t.q.
Ax = b, on consid`ere la methode iterative appelee methode I en cours,
et on suppose B symetrique. Montrer que, sauf cas particuliers `a preciser,
(a)
x
(n+1)
x
x
(n)
x
(B) quand n (ceci donne une estimation de la
vitesse de convergence).
(b)
x
(n+1)
x
(n)

x
(n)
x
(n1)

(B) quand n (ceci permet destimer (B) au


cours des iterations).
Exercice 29 (Methode de la puissance inverse)
Suggestions en page 144, corrige en page 177
Soient A /
N
(IR) une matrice symetrique et
1
, . . . ,
p
(p N) les valeurs
propres de A. Soit i 1, . . . ,p, on cherche `a calculer
i
. Soit x
(0)
IR
N
. On
suppose que x
(0)
nest pas orthogonal `a Ker(A
i
Id). On suppose egalement
connatre IR t.q. 0 < [
i
[ < [
j
[ pour tout j ,= i. On denit la suite
(x
(n)
)
nIN
par (A Id)x
(n+1)
= x
(n)
pour n IN. Montrer que
1. x
(n)
(
i
)
n
x, quand n , avec x ,= 0 et Ax =
i
x.
2.
x
(n+1)

x
(n)


1
|i|
quand n .
Exercice 30 (Une methode iterative particuli`ere)
Suggestions en page 144
Soit A M
3
(IR) denie par A = Id E F avec
E =
_
_
0 2 0
1 0 0
0 0 0
_
_
, et F =
_
_
0 0 0
0 0 0
1 1 0
_
_
.
1. Montrer que A est inversible.
2. Soit 0 < < 2. Montrer que pour (
1

IdE) est inversible si et seulement


si ,=

2/2.
Pour 0 < < 2, ,=

2/2, on consid`ere la methode iterative (pour


trouver la solution de Ax = b) suivante :
(
1

Id E)x
n+1
= (F +
1

Id)x
n
+b.
Il sagit donc de la methode I du cours avec B = L

= (
1

IdE)
1
(F +
1

Id).
3. Calculer, en fonction de , les valeurs propres de L

et son rayon spectral.


4. Pour quelles valeurs de la methode est-elle convergente? Determiner

0
]0,2[ t.q. (L
0
) = min(L

), ]0,2[, ,=

2/2.
Exercice 31 (Methode des directions alternees)
Corrige partiel en page 177
1.3. M

ETHODES IT

ERATIVES 51
Soit N IN et N 1, Soit A /
N
(IR) une matrice carree dordre N
symetrique inversible et b IR
N
.
On cherche `a calculer u IR
N
, solution du syst`eme lineaire suivant :
Au = b, (1.3.39)
On suppose connues des matrices X et Y /
N
(IR), symetriques. Soit
IR

+
, choisi tel que X + Id et Y + Id soient denies positives (o` u Id
designe la matrice identite dordre N) et X +Y +Id = A.
Soit u
(0)
IR
N
, on propose, pour resoudre (1.3.39), la methode iterative
suivante :
_
(X +Id)u
(k+1/2)
= Y u
(k)
+b,
(Y +Id)u
(k+1)
= Xu
(k+1/2)
+b.
(1.3.40)
1. Montrer que la methode iterative (1.3.40) denit bien une suite (u
(k)
)
kIN
et que cette suite converge vers la solution u de (1.1.1) si et seulement si

_
(Y +Id)
1
X(X +Id)
1
Y
_
< 1.
(On rappelle que pour toute matrice carree dordre N, (M) designe le
rayon spectral de la matrice M.)
2. Montrer que si les matrices (X+

2
Id) et (Y +

2
Id) sont denies positives
alors la methode (1.3.40) converge. On pourra pour cela (mais ce nest pas
obligatoire) suivre la demarche suivante :
(a) Montrer que

_
(Y +Id)
1
X(X +Id)
1
Y
_
=
_
X(X +Id)
1
Y (Y +Id)
1
_
.
(On pourra utiliser lexercice 5 page 28).
(b) Montrer que

_
X(X+Id)
1
Y (Y +Id)
1
_

_
X(X+Id)
1
_

_
Y (Y +Id)
1
_
.
(c) Montrer que
_
X(X + Id)
1
_
< 1 si et seulement si la matrice
(X +

2
Id) est denie positive.
(d) Conclure.
3. Soit f C([0,1] [0,1]) et soit A la matrice carree dordre N = M M
obtenue par discretisation de lequation u = f sur le carre [0,1] [0,1]
avec conditions aux limites de Dirichlet homog`enes u = 0 sur , par
dierences nies avec un maillage uniforme de pas h =
1
M
, et b le second
membre associe.
(a) Donner lexpression de A et b.
(b) Proposer des choix de X, Y et pour lesquelles la methode iterative
(1.3.40) converge dans ce cas et qui justient lappellation methode
des directions alternees qui lui est donnee.
52 CHAPITRE 1. SYST
`
EMES LIN

EAIRES
53
Chapitre 2
Syst`emes non lineaires
Dans le premier chapitre, on a etudie quelques methodes de resolution de
syst`emes lineaires en dimension nie. Lobjectif est maintenant de developper
des methodes de resolution de syst`emes non lineaires, toujours en dimension
nie. On se donne g C(IR
N
,IR
N
) et on cherche x dans IR
N
solution de :
_
x IR
N
g(x) = 0.
(2.0.1)
Au Chapitre I on a etudie des methodes de resolution du syst`eme (2.0.1)
dans le cas particulier g(x) = Axb, A /
N
(IR), b IR
N
. On va maintenant
etendre le champ detude au cas o` u g nest pas forcement ane. On etudiera
deux familles de methodes pour la resolution approchee du syst`eme (2.0.1) :
les methodes de point xe : point xe de contraction et point xe de mo-
notonie
les methodes de type Newton.
2.1 Les methodes de point xe
2.1.1 Point xe de contraction
Soit g C(IR
N
,IR
N
), on denit la fonction f C(IR
N
,IR
N
) par f(x) =
x + g(x). On peut alors remarquer que g(x) = 0 si et seulement si f(x) = x.
Resoudre le syst`eme non lineaire (2.0.1) revient donc `a trouver un point xe de
f. Encore faut-il quun tel point xe existe. . .
Theor`eme 2.1 (Point xe) Soit E un espace metrique complet, d la distance
sur E, et f : E E une fonction strictement contractante, cest ` a dire telle
quil existe k ]0,1[ tel que d(f(x),f(y)) kd(x,y) pour tout x,y E.
Alors il existe un unique point xe x E qui verie f( x) = x. De plus si
x
(0)
E, et x
(n+1)
= f(x
(n)
) n 0, alors x
(n)
x quand n +.
Demonstration:
Etape 1 : Existence de x et convergence de la suite
Soit x
(0)
E et (x
(n)
)
nIN
la suite denie par x
(n+1)
= f(x
(n)
) pour
n 0. On va montrer que :
1. (x
(n)
)
n
est de Cauchy (donc convergente car E est complet),
54 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
2. lim
n+
x
(n)
= x est point xe de f.
Par hypoth`ese, on sait que pour tout n 1,
d(x
(n+1)
,x
(n)
) = d(f(x
(n)
),f(x
(n1)
)) kd(x
(n)
,x
(n1)
).
Par recurrence sur n, on obtient que
d(x
(n+1)
,x
(n)
) k
n
d(x
(1)
,x
(0)
), n 0.
Soit n 0 et p 1, on a donc :
d(x
(n+p)
,x
(n)
) d(x
(n+p)
,x
(n+p1)
) + +d(x
(n+1)
,x
(n)
)

q=1
d(x
(n+q)
,x
(n+q1)
)

q=1
k
n+q1
d(x
(1)
,x
(0)
)
d(x
(1)
,x
(0)
)k
n
(1 +k +. . . +k
p1
)
d(x
(1)
,x
(0)
)
k
n
1 k
0 quand n + car k < 1.
La suite (x
(n)
)
nIN
est donc de Cauchy, i.e. :
> 0, n

IN ; n n

, p 1 d(x
(n+p)
,x
(n)
) .
Comme E est complet, on a donc x
(n)
x dans E quand n +.
Comme la fonction f est strictement contractante, elle est continue, donc
on a aussi f(x
(n)
) f( x) dans E quand n + . En passant `a la limite
dans legalite x
(n+1)
= f(x
(n)
), on en deduit que x = f( x).
Etape 2 : Unicite
Soit x et y des points xes de f, qui satisfont donc x = f( x) et y = f( y).
Alors d(f( x),f( y)) = d( x, y) kd( x, y) ; comme k < 1, ceci est impossible
sauf si x = y.
Remarque 2.2
1. Sous les hypoth`eses du theor`eme 2.1, d(x
(n+1)
, x) = d(f(x
(n)
),f( x))
kd(x
(n)
, x); donc si x
(n)
,= x alors
d(x
(n+1)
, x)
d(x
(n)
, x)
k (< 1). La convergence
est donc au moins lineaire (meme si de fait, cette methode converge en
general assez lentement).
2. On peut generaliser le theor`eme du point xe en remplacant lhypoth`ese f
strictement contractante par il existe n > 0 tel que f
(n)
= f f . . . f
. .
n fois
est strictement contractante (reprendre la demonstration du theor`eme
pour le verier).
2.1. LES M

ETHODES DE POINT FIXE 55


La question qui vient alors naturellement est : que faire si f nest pas stricte-
ment contractante? Soit g C(IR
N
,IR
N
) telle que f(x) = x+g(x). On aimerait
determiner les conditions sur g pour que f soit strictement contractante. Plus
generalement si ,= 0, on denit f

(x) = x + g(x), et on remarque que x est


solution du syst`eme (2.0.1) si et seulement si x est point xe de f

(x).
On aimerait dans ce cas avoir des conditions pour que f

soit strictement
contractante.
Theor`eme 2.3 (Point xe de contraction avec relaxation)
On designe par [.[ la norme euclidienne sur IR
N
. Soit g C(IR
N
,IR
N
) telle
que
> 0 tel que (g(x) g(y)) (x y) [x y[
2
,x,y IR
N
, (2.1.2)
M > 0 tel que [g(x) g(y)[ M[x y[, x,y IR
N
. (2.1.3)
Alors la fonction f

est strictement contractante si 0 < <


2
M
2
.
Il existe donc un et un seul x IR
N
tel que g( x) = 0 et x
(n)
x quand
n + avec x
(n+1)
= f

(x
(n)
) = x
(n)
+g(x
(n+1)
).
Remarque 2.4 Le theor`eme 2.3 permet de montrer que sous les hypoth`eses
(2.1.2) et (2.1.3), et pour ]0,
2
M
2
[, on peut obtenir la solution de (2.0.1) en
construisant la suite :
_
x
(n+1)
= x
(n)
+g(x
(n)
) n 0,
x
(0)
IR
N
.
(2.1.4)
Or on peut aussi ecrire cette suite de la mani`ere suivante :
_
x
(n+1)
= f(x
(n)
), n 0
x
(n+1)
= x
(n+1)
+ (1 )x
(n)
, x
(0)
IR
N
.
(2.1.5)
En eet si x
(n+1)
est donne par la suite (2.1.5), alors x
(n+1)
= x
(n+1)
(1
)x
(n)
= f(x
(n)
) + (1 )x
(n)
= g(x
(n)
) + x
(n)
. Le procede de construction
de la suite (2.1.5) est lalgorithme de relaxation sur f.
Demonstration du theor`eme 2.3
Soit 0 < <
2
M
2
. On veut montrer que f est strictement contractante,
c.`a.d. quil existe k < 1 tel que [f

(x) f

(y)[ k[x y[ (x,y) (IR


N
)
2
. Soit
(x,y) (IR
N
)
2
, alors, par denition de la norme euclidienne,
[f

(x) f

(y)[
2
=
_
x y +(g(x) g(y))
_

_
x y +(g(x) g(y))
_
= [x y[
2
+ 2(x y) ((g(x) g(y))) +
2
[g(x) g(y)[
2
.
Donc grace aux hypoth`eses (2.1.2) et (2.1.3), on a : [f

(x) f

(y)[
2
(1
2 +
2
M
2
) [x y[
2
, et donc la fonction f

est strictement contractante si


1 2 +
2
M
2
< 1 ce qui est verie si 0 < <
2
M
2
.
Remarque 2.5 (Quelques rappels de calcul dierentiel)
Soit h C
2
(IR
N
,IR). La fonction h est donc en particulier dierentiable, c.` a.d.
56 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
que pour tout x IR
N
, il existe Dh(x) L(IR
N
,IR) telle que h(x + y) =
h(x) + Dh(x)(y) + [y[(y) o` u (y) 0
y0
. On a dans ce cas, par denition du
gradient, Dh(x)(y) = h(x) y o` u h(x) = (
1
h(x), ,
N
h(x))
t
IR
N
est
le gradient de h au point x (on designe par
i
h la derivee partielle de f par
rapport ` a sa i-`eme variable).
Comme on suppose h C
2
(IR
N
,IR), on a donc g = h C
1
(IR
N
,IR
N
), et
g est contin ument differentiable, cest ` a dire
Dg(x) L(IR
N
,IR
N
), et g(x +y) = g(x) +Dg(x)(y) +[y[(y),
o` u (y) 0
y0
.
Comme Dg(x) L(IR
N
,IR
N
),on peut representer Dg(x) par une matrice de
/
N
(IR), on confond alors lapplication lineaire et la matrice qui la represente
dans la base canonique, et on ecrit par abus de notation Dg(x) /
N
(IR).
On peut alors ecrire, gr ace ` a cet abus de notation, Dg(x)(y) = Dg(x)y avec
(Dg(x)y)
i
=

i,j=1,N

2
i,j
h
j
(x) o` u
2
i,j
h =
i
(
j
h)(x).
Comme h est de classe C
2
, la matrice Dg(x) est symetrique. Pour x IR
N
,
on note (
i
(x))
1iN
les valeurs propres de Dg(x), qui sont donc reelles. On
peut donc bien supposer dans la proposition (2.6) ci-dessous quil existe des reels
strictement positifs et tels que
i
(x) , i 1 . . . N, x IR
N
.
Donnons un exemple de fonction g veriant les hypoth`eses (2.1.2) et (2.1.3).
Proposition 2.6 Soit h C
2
(IR
N
,IR), et (
i
)
i=1,N
les valeurs propres de la
matrice hessienne de h. On suppose quil existe des reels strictement positifs
et tels que
i
(x) , i 1 . . . N, x IR
N
. Alors la fonction
g = h (gradient de h) verie les hypoth`eses (2.1.2) et (2.1.3) du theor`eme 2.3
avec = et M = .
Demonstration de la proposition 2.6
Montrons dabord que lhypoth`ese (2.1.2) est veriee. Soit (x,y) (IR
N
)
2
,
on veut montrer que (g(x) g(y)) (xy) [xy[
2
. On introduit pour cela
la fonction C
1
(IR,IR
N
) denie par :
(t) = g(x +t(y x)).
On a donc (1) (0) = g(y) g(x) =
_
1
0

(t)dt. Or

(t) = Dg(x + t(y


x))(y x). Donc g(y) g(x) =
_
1
0
Dg(x+t(y x))(y x)dt. On en deduit que :
(g(y) g(x)) (y x) =
_
1
0
(Dg(x +t(y x))(y x) (y x)) dt.
Comme
i
(x) [,] i 1 . . . N, on a donc [y[
2
Dg(z)yy [y[
2
.
On a donc : (g(y) g(x)) (y x)
_
1
0
[y x[
2
dt = [y x[
2
ce qui termine
la demonstration de (2.1.2).
Montrons maintenant que lhypoth`ese (2.1.3) est veriee. On veut montrer
que [g(y) g(x)[ [y x[. On peut ecrire :
g(y) g(x) =
_
1
0
Dg(x +t(y x))(y x)dt,
2.1. LES M

ETHODES DE POINT FIXE 57


et donc
[g(y) g(x)[
_
1
0
[Dg(x +t(y x))(y x)[dt

_
1
0
[Dg(x +t(y x))[[y x[dt,
o` u [.[ est la norme sur /
N
(IR) induite par la norme euclidienne sur IR
N
.
Or, comme
i
(x) [, ] pour tout i = 1, . . . ,N, la matrice Dg(x +
t(y x)) est symetrique denie positive. Et donc, dapr`es lexercice 7 page 28,
[Dg(x +t(y x)[ = (Dg(x +t(y x)) .
On a donc ainsi montre que :
[g(y) g(x)[ [y x[,
ce qui termine la demonstration.
Remarque 2.7 Dans de nombreux cas, le probl`eme de resolution dun probl`eme
non lineaire apparat sous la forme Ax = R(x) o` u A est une matrice carree
dordre N inversible, et R C(IR
N
,IR
N
). On peut le reecrire sous la forme x =
A
1
R(x). On peut donc appliquer lalgorithme de point xe sur la fonction f =
A
1
R, ce qui donne comme iteration : x
(n+1)
= A
1
R(x
(n)
). Si on pratique un
point xe avec relaxation, avec param`etre de relaxation > 0, alors literation
secrit : x
(n+1)
= A
1
R(x
(n)
), x
(n+1)
= x
(n+1)
+ (1 )x
(n)
.
2.1.2 Point xe de monotonie
Theor`eme 2.8 (Point xe de monotonie)
Soient A /
N
(IR) et R C(IR
N
,IR
N
). On suppose que :
1. x IR
N
, Ax 0 x 0, cest-` a-dire
_
(Ax)
i
0, i = 1, . . . ,N
_

_
x
i
0, i = 1, . . . ,N
_
.
2. R est monotone, c.` a.d. que si x y (composante par composante) alors
R(x) R(y) (composante par composante).
3. 0 est une sous-solution du probl`eme, cest-` a-dire que R(0) 0 et il existe
x IR
N
; x 0 tel que x est une sur-solution du probl`eme, cest-` a-dire
que A x R( x).
On pose x
(0)
= 0 et Ax
(n+1)
= R(x
(n)
). On a alors :
1. 0 x
(n)
x, n IN,
2. x
(n+1)
x
(n)
, n IN,
3. x
(n)
x quand n + et A x = R( x).
Demonstration du theor`eme 2.8
Comme A est inversible la suite (x
(n)
)
nIN
veriant
_
x
(0)
= 0,
Ax
(n+1)
= R(x
(n)
), n 0
est bien denie. On va montrer par recurrence sur n que 0 x
(n)
x pour tout
n 0 et que x
(n)
x
(n+1)
pour tout n 0.
1. Pour n = 0, on a x
(0)
= 0 et donc 0 x
(0)
x et Ax
(1)
= R(0) 0. On
en deduit que x
(1)
0 grace aux hypoth`eses 1 et 3 et donc x
(1)
x
(0)
= 0.
58 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
2. On suppose maintenant (hypoth`ese de recurrence) que 0 x
(p)
x et
x
(p)
x
(p+1)
pour tout p 0, . . . ,n 1.
On veut montrer que 0 x
(n)
x et que x
(n)
x
(n+1)
. Par hypoth`ese de
recurrence pour p = n1, on sait que x
(n)
x
(n1)
et que x
(n1)
0. On
a donc x
(n)
0. Par hypoth`ese de recurrence, on a egalement que x
(n1)

x et grace `a lhypoth`ese 2, on a donc R(x


(n1)
) R( x). Par denition de
la suite (x
(n)
)
nIN
, on a Ax
(n)
= R(x
(n1)
) et grace `a lhypoth`ese 3, on
sait que A x R( x). On a donc : A( x x
(n)
) R( x) R(x
(n1)
) 0. On
en deduit alors (grace `a lhypoth`ese 1) que x
(n)
x.
De plus, comme Ax
(n)
= R(x
(n1)
) et Ax
(n+1)
= R(x
(n)
), on a A(x
(n+1)

x
(n)
) = R(x
(n)
) R(x
(n1)
) 0 par lhypoth`ese 2, et donc grace `a lhy-
poth`ese 1, x
(n+1)
x
(n)
.
On a donc ainsi montre (par recurrence) que
0 x
(n)
x, n 0
x
(n)
x
(n+1)
, n 0.
Ces inegalites sentendent composante par composante, c.`a.d. que si x
(n)
=
(x
(n)
1
. . . x
(n)
N
)
t
IR
N
et x = ( x
1
. . . x
N
)
t
IR
N
, alors 0 x
(n)
i
x
i
et x
(n)
i

x
(n+1)
i
, i 1 . . . N, et n 0.
Soit i 1 . . . N ; la suite (x
(n)
i
)
nIN
IR est croissante et majoree par x
i
donc il existe x
i
IR tel que x
i
= lim
n+
x
(n)
i
. Si on pose x = ( x
1
. . . x
N
)
t
IR
N
,
on a donc x
(n)
x quand n +.
Enn, comme Ax
(n+1)
= R(x
(n)
) et comme R est continue, on obtient par
passage `a la limite lorsque n + que A x = R( x) et que 0 x x.
Lhypoth`ese 1 du theor`eme 2.8 est souvent appelee principe du maxi-
mum. Elle est veriee par exemple par les matrices A quon a obtenues par
discretisation par dierences nies des operateurs u

sur lintervalle ]0,1[ (voir


page 24) et u sur ]0,1[]0,1[ (voir page 36). Le principe du maximum est aussi
caracterise de la mani`ere suivante (plus dicile `a utiliser en pratique) :
Proposition 2.9 Lhypoth`ese 1 du theor`eme 2.8 est veriee si et seulement si
A inversible et A
1
a des coecients 0.
Demonstration:
Supposons dabord que lhypoth`ese 1 du theor`eme 2.8 est veriee et montrons
que A inversible et que A
1
a des coecients 0. Si x est tel que Ax = 0, alors
Ax 0 et donc, par hypoth`ese, x 0. Mais on a aussi Ax 0, soit A(x) 0
et donc par hypoth`ese, x 0. On en deduit x = 0, ce qui prouve que A est
inversible.
Lhypoth`ese 1 donne alors que y 0 A
1
y 0. En prenant y = e
1
on
obtient que la premi`ere colonne de A
1
est positive, puis en prenant y = e
i
on
obtient que la i-`eme colonne de A
1
est positive, pour i = 2, . . . ,N. Donc A
1
a tous ses coecients positifs.
2.1. LES M

ETHODES DE POINT FIXE 59


Supposons maintenant que A est inversible et que A
1
a des coecients
positifs. Soit x IR
N
tel que Ax = y 0, alors x = A
1
y 0. Donc A verie
lhypoth`ese 1.
Theor`eme 2.10 (Generalisation du precedent)
Soit A /
N
(IR), R C
1
(IR
N
,IR
N
), R = (R
1
, . . . ,R
N
)
t
tels que
1. Pour tout 0 et pour tout x IR
N
, Ax +x 0 x 0
2.
R
i
x
j
0, i,j t.q. i ,= j (R
i
est monotone croissante par rapport ` a la
variable x
j
si j ,= i) et > 0,
R
i
x
i
0, x IR
N
, i 1 . . . N
(R
i
est monotone decroissante par rapport ` a la variable x
i
).
3. 0 R(0) (0 est sous-solution) et x 0 tel que A( x) R( x) ( x est
sur-solution).
Soient x
(0)
= 0, , et (x
(n)
)
nIN
la suite denie par Ax
(n+1)
+x
(n+1)
=
R(x
(n)
) + x
(n)
. Cette suite converge vers x IR
N
et A x = R( x). De plus,
0 x
(n)
x n IN et x
(n)
x
(n+1)
, n IN.
Demonstration: On se ram`ene au theor`eme precedent avec A + Id au
lieu de A et R + au lieu de R.
Remarque 2.11 (Point xe de Brouwer) On sest interesse ici uniquement
` a des theor`emes de point xe constructifs, i.e. qui donnent un algorithme pour
le determiner. Il existe aussi un theor`eme de point xe dans IR
N
avec des hy-
poth`eses beaucoup plus generales (mais le theor`eme est non constructif ), cest le
theor`eme de Brouwer : si f est une fonction continue de la boule unite de IR
N
dans la boule unite, alors elle admet un point xe dans la boule unite.
2.1.3 Vitesse de convergence
Denition 2.12 (Vitesse de convergence) Soit (x
(n)
)
nIN
IR
N
et x
IR
N
. On suppose que x
(n)
x lorsque n +, avec x
(n)
,= x pour tout
n IN. On sinteresse ` a la vitesse de convergence de la suite (x
(n)
)
nIN
. On
dit que :
1. la convergence est au moins lineaire sil existe ]0,1[ et il existe
n
0
IN tels que si n n
0
alors |x
(n+1)
x| |x
(n)
x|.
2. La convergence est lineaire si il existe ]0,1[ tel que
|x
(n+1)
x|
|x
(n)
x|
quand n +,
3. La convergence est super lineaire si
|x
(n+1)
x|
|x
(n)
x|
0 quand n +,
4. La convergence est au moins quadratique si il existe ]0,1[ et il existe
n
0
IN tels que si n n
0
alors |x
(n+1)
x| |x
(n)
x|
2
,
60 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
5. La convergence est quadratique si
> 0
|x
(n+1)
x|
|x
(n)
x|
2
quand n +.
Remarque 2.13 La convergence quadratique est evidemment plus rapide que
la convergence lineaire.
Proposition 2.14 Soit f C
1
(IR,IR) ; on suppose quil existe x IR tel que
f( x) = x. On construit la suite
x
(0)
IR
x
(n+1)
= f(x
(n)
).
1. Si on suppose que f

( x) ,= 0 et [f

( x)[ < 1, alors il existe > 0 tel que si


x
(0)
I

= [ x , x +] alors x
(n)
x lorsque n +, et si x
(n)
,= x,
alors
[x
(n+1)
x[
[x
(n)
x[
[f

( x)[ = , o` u ]0,1[. La convergence est donc


lineaire.
2. Si on suppose maintenant que f

( x) = 0 et f C
2
(IR,IR),alors il existe
> 0 tel que si x
(0)
I

= [ x , x + ], alors x
(n)
x quand n + ,
et si x
(n)
,= x, n IN alors
[x
(n+1)
x[
[x
(n)
x[
2
=
1
2
[f

( x)[.
La convergence est donc au moins quadratique.
Demonstration
1. Supposons que [f

( x)[ < 1, et montrons quil existe > 0 tel que si


x
(0)
I

alors x
(n)
x. Comme f C
1
(IR,IR) il existe > 0 tel que =
max
xI
[f

(x)[ < 1 ( par continuite de f

).
On va maintenant montrer que f : I

est strictement contractante, on


pourra alors appliquer le theor`eme du point xe `a f
|I
, (I

etant ferme), pour


obtenir que x
(n)
x o` u x est lunique point xe de f
|I
.
Soit x I

; montrons dabord que f(x) I

: comme f C
1
(IR,IR), il
existe ]x, x[ tel que [f(x) x[ = [f(x) f( x)[ = [f

()[[x x[ [x x[ < ,
ce qui prouve que f(x) I

.
On verie alors que f
|I
est strictement contractante en remarquant que
pour tous x,y I

, x < y, il existe ]x,y[( I

) tel que [f(x) f(y)[ =


[f

()[[x y[ [x y[ avec < 1.


On a ainsi montre que x
(n)
x si x
(0)
I

.
Cherchons maintenant la vitesse de convergence de la suite. Supposons que
f

( x) ,= 0 et x
(n)
,= x pour tout n IN. Comme x
(n+1)
= f(x
(n)
) et x = f( x),
on a [x
(n+1)
x[ = [f(x
(n)
) f( x)[. Comme f C
1
(IR,IR), il existe
n
]x
(n)
, x[
ou ] x,x
(n)
[, tel que f(x
(n)
) f( x) = f

(
n
)(x
(n)
x). On a donc
[x
(n+1)
x[
[x
(n)
x[
= [f

(
n
)[ [f

( x)[ car x
(n)
x et f

est continue.
2.2. M

ETHODE DE NEWTON 61
On a donc une convergence lineaire.
2. Supposons maintenant que f

( x) = 0 et f C
2
(IR,IR). On sait dej`a par
ce qui prec`ede quil existe > 0 tel que si x
(0)
I

alors x
(n)
x lorsque
n +. On veut estimer la vitesse de convergence. On suppose pour cela que
x
(n)
,= x pour tout n IN.
Comme f C
2
(IR,IR), il existe
n
]x
(n)
, x[ tel que f(x
(n)
) f( x) =
f

( x)(x
(n)
x)+
1
2
f

(
n
)(x
(n)
x)
2
. On a donc : x
(n+1)
x =
1
2
f

(
n
)(x
(n)
x)
2
ce qui entrane que
[x
(n+1)
x[
[x
(n)
x[
2
=
1
2
[f

(
n
)[
1
2
[f

( x)[ quand n +.
La convergence est donc quadratique.
On etudie dans le paragraphe suivant la methode de Newton pour la resolution
dun syst`eme non lineaire. Donnons lidee de la methode de Newton dans le cas
N = 1 `a partir des resultats de la proposition precedente. Soit g C
3
(IR,IR) et
x IR tel que g( x) = 0. On cherche une methode de construction dune suite
(x
(n)
)
n
IR
N
qui converge vers x de mani`ere quadratique. On pose
f(x) = x +h(x)g(x) avec h C
2
(IR,IR) tel que h(x) ,= 0 x IR.
on a donc
f(x) = x g(x) = 0.
Si par miracle f

( x) = 0, la methode de point xe sur f va donner (pour


x
(0)
I

donne par la proposition 2.14) (x


(n)
)
nIN
tel que x
(n)
x de mani`ere
au moins quadratique. Or on a f

(x) = 1+h

(x)g(x)+g

(x)h(x) et donc f

( x) =
1+g

( x)h( x). Il sut donc de prendre h tel que h( x) =


1
g

( x)
. Ceci est possible
si g

( x) ,= 0.
En resume, si g C
3
(IR,IR) est telle que g

(x) ,= 0 x IR et g( x) = 0, on
peut construire, pour x assez proche de x, la fonction f C
2
(IR,IR) denie par
f(x) = x
g(x)
g

(x)
.
Gr ace `a la proposition 2.14, il existe > 0 tel que si x
(0)
I

alors la suite
denie par x
(n+1)
= f(x
(n)
) = x
(n)

g(x
(n)
)
g

(x
(n)
)
converge vers x de mani`ere au
moins quadratique.
Remarquons que la construction de la suite de Newton secrit encore
(dans le cas N = 1) g

(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
) ou encore g(x
(n)
) +
g

(x
(n)
)(x
(n+1)
x
(n)
) = 0.
2.2 Methode de Newton
On a vu ci-dessus comment se construit la methode de Newton `a partir du
point xe de monotonie en dimension N = 1. On va maintenant etudier cette
62 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
methode dans le cas N quelconque. Soient g C
1
(IR
N
,IR
N
) et x IR
N
tels
que g( x) = 0.
On cherche une methode de construction dune suite (x
(n)
)
n
IR
N
qui
converge vers x de mani`ere quadratique. Lalgorithme de Newton de construc-
tion dune telle suite secrit :
_
x
(0)
IR
N
Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
), n 0.
(2.2.6)
(On rappelle que Dg(x
(n)
) /
N
(IR) est la matrice representant la dierentielle
de g en x
(n)
.)
Pour chaque n IN, il faut donc eectuer les operations suivantes :
1. Calcul de Dg(x
(n)
),
2. Resolution du syst`eme lineaire Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
).
Remarque 2.15 Si la fonction g dont on cherche un zero est lineaire, i.e. si g
est denie par g(x) = Axb avec A /
N
(IR) et b IR
N
, alors la methode de
Newton revient ` a resoudre le syst`eme lineaire Ax = b. En eet Dg(x
(n)
) = A
et donc (2.2.6) secrit Ax
(n+1)
= b.
Pour assurer la convergence et la qualite de la methode, on va chercher
maintenant `a repondre aux questions suivantes :
1. la suite (x
(n)
)
n
estelle bien denie? Aton Dg(x
(n)
) inversible?
2. Aton convergence x
(n)
x quand n +?
3. La convergence est-elle au moins quadratique?
Theor`eme 2.16 (Convergence de la methode de Newton, I) Soient g
C
2
(IR
N
,IR
N
) et x IR
N
tels que g( x) = 0. On munit IR
N
dune norme | |.
On suppose que Dg( x) est inversible. Alors il existe b > 0, et > 0 tels que
1. si x
(0)
B( x,b) = x IR
N
,|x x| < b alors la suite (x
(n)
)
nIN
est bien
denie par (2.2.6) et x
(n)
B( x,b) pour tout n IN,
2. si x
(0)
B( x,b) et si la suite (x
(n)
)
nIN
est denie par (2.2.6) alors x
(n)

x quand n +,
3. si x
(0)
B( x,b) et si la suite (x
(n)
)
nIN
est denie par (2.2.6) alors
|x
(n+1)
x| |x
(n)
x|
2
n IN.
Pour demontrer ce theor`eme, on va commencer par demontrer le theor`eme
suivant, qui utilise des hypoth`eses plus faibles mais pas tr`es faciles `a verier en
pratique :
Theor`eme 2.17 (Convergence de la methode de Newton, II)
Soient g C
1
(IR
N
,IR
N
) et x IR
N
tels que g( x) = 0. On munit IR
N
dune
norme || et /
N
(IR) de la norme induite. On suppose que Dg( x) est inversible.
On suppose de plus quil existe a, a
1
, a
2
IR

+
tels que :
1. si x B( x,a) alors Dg(x) est inversible et |Dg(x))
1
| a
1
;
2. si x,y B( x,a) alors |g(y) g(x) Dg(x)(y x)| a
2
|y x|
2
.
Alors, si on pose : b = min
_
a,
1
a
1
a
2
_
> 0, = a
1
a
2
et si x
(0)
B( x,b), on a :
1. (x
(n)
)
nIN
est bien denie par (2.2.6),
2.2. M

ETHODE DE NEWTON 63
2. x
(n)
x lorsque n +,
3. |x
(n+1)
x| |x
(n)
x|
2
n IN.
Demonstration du theor`eme 2.17
Soit x
(0)
B( x,b) B( x,a) o` u b a. On va montrer par recurrence sur n
que x
(n)
B( x,b) n IN (et que (x
(n)
)
nIN
est bien denie). Lhypoth`ese de
recurrence est que x
(n)
est bien deni, et que x
(n)
B( x,b). On veut montrer
que x
(n+1)
est bien deni et x
(n+1)
B( x,b).
Comme b a, la matrice Dg(x
(n)
) est inversible et x
(n+1)
est donc bien
deni ; on a : x
(n+1)
x
(n)
= Dg(x
(n)
)
1
(g(x
(n)
)). Pour montrer que x
(n+1)

B( x,b) on va utiliser le fait que b


1
a
1
a
2
.
Par hypoth`ese, on sait que si x,y B( x,a), on a
|g(y) g(x) Dg(x)(y x)| a
2
|y x|
2
.
Prenons y = x et x = x
(n)
B( x,a) dans linegalite ci-dessus. On obtient alors :
|g( x) g(x
(n)
) Dg(x
(n)
)( x x
(n)
)| a
2
| x x
(n)
|
2
.
Comme g( x) = 0 et par denition de x
(n+1)
, on a donc :
|Dg(x
(n)
)(x
(n+1)
x
(n)
) Dg(x
(n)
)( x x
(n)
)| a
2
| x x
(n)
|
2
,
et donc
|Dg(x
(n)
)(x
(n+1)
x)| a
2
| x x
(n)
|
2
. (2.2.7)
Or x
(n+1)
x = [Dg(x
(n)
)]
1
(Dg(x
(n)
))(x
(n+1)
x), et donc
|x
(n+1)
x| |Dg(x
(n)
)
1
| |Dg(x
(n)
)(x
(n+1)
x)|.
En utilisant (2.2.7), les hypoth`eses 1 et 2 et le fait que x
(n)
B( x,b), on a donc
|x
(n+1)
x| a
1
a
2
|x
(n)
x|
2
< a
1
a
2
b
2
. (2.2.8)
Or a
1
a
2
b
2
< b car b
1
a
1
a
2
. Donc x
(n+1)
B( x,b).
On a ainsi montre par recurrence que la suite (x
(n)
)
nIN
est bien denie et
que x
(n)
B( x,b) pour tout n 0.
Pour montrer la convergence de la suite (x
(n)
)
nIN
vers x, on repart de
linegalite (2.2.8) :
a
1
a
2
|x
(n+1)
x| (a
1
a
2
)
2
| x x
(n)
|
2
= (a
1
a
2
|x
(n)
x|)
2
, n IN,
et donc par recurrence a
1
a
2
|x
(n)
x| (a
1
a
2
|x
(0)
x|)
2
n
n IN. Comme
x
(0)
B( x,b) et b
1
a1a2
, on a (a
1
a
2
|x
(0)
x|) < 1 et donc |x
(n)
x| 0
quand n +.
La convergence est au moins quadratique car linegalite (2.2.8) secrit : |x
(n+1)

x| |x
(n)
x|
2
avec = a
1
a
2
.
Demonstration du theor`eme 2.16
Soient g C
2
(IR
N
,IR
N
) et x IN tels que g( x) = 0. Par hypoth`ese, Dg( x)
est inversible. Il sut de demontrer (pour se ramener au theor`eme 2.17) quil
existe a,a
1
,a
2
IR

+
tels que
1. si x B( x,a) alors Dg(x) est inversible et |(Dg(x))
1
| a
1
,
64 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
2. si x,y B( x,a) alors |g(y) g(x) Dg(x)(y x)| a
2
|y x|
2
.
Remarquons dabord que Dg(x) = Dg( x) Dg( x) +Dg(x) = Dg( x)(Id+S)
o` u S = Dg( x)
1
(Dg(x) Dg( x)). Or si |S| < 1, la matrice (Id + S) est
inversible et |(Id + S)
1
|
1
1S
. Nous allons donc essayer de majorer |S|.
Par denition de S, on a :
|S| |Dg( x)
1
| |Dg(x) Dg( x).|
Comme g C
2
(IR
N
,IR
N
), on a Dg C
1
(IR
N
,/
N
(IR))) ; donc par continuite
de Dg, pour tout IR

+
, il existe a IR

+
tel que si |x x| a alors
|Dg(x) Dg( x)| . En prenant =
1
2Dg( x)
1

, il existe donc a > 0 tel que


si x B( x,a) alors |Dg(x) Dg( x)|
1
2Dg( x)
1

, et donc si x B( x,a), alors


|S|
1
2
. On en deduit que si x B( x,a) alors Id + S est inversible et donc
que Dg(x) = Dg( x)(Id +S) est inversible (on rappelle que Dg( x) est inversible
par hypoth`ese). De plus, si x B( x,a) on a : |(Id + S)
1
|
1
1S
2 et
comme (Id + S)
1
= (Dg( x))
1
Dg(x), on a |Dg(x)
1
Dg( x)| 2, et donc
|Dg(x)
1
| |(Dg(x))
1
||(Dg(x))
1
Dg(x)| 2|(Dg(x))
1
|.
En resume, on a donc prouve lexistence de a et de a
1
= 2|Dg( x)
1
| tels que
si x B( x,a) alors Dg(x) est inversible et |Dg(x)
1
| a
1
. Il reste maintenant `a
trouver a
2
tel que si x,y B( x,a) alors |g(y)g(x)Dg(x)(yx)| a
2
|yx|
2
.
Comme g C
2
(IR
N
,IR
N
), on a donc Dg C
1
(IR
N
,/
N
(IR))) (remarquons
que jusqu` a present on avait utilise uniquement le caract`ere C
1
de g). On denit
la fonction C
1
(IR,IR
N
) par (t) = g(x + t(y x)) g(x) tDg(x)(y x).
On a donc (1) = g(y) g(x) Dg(x)(y x) (cest le terme quon veut majorer
en norme) et (0) = 0. On ecrit maintenant que est lintegrale de sa derivee :
(1) (0) =
_
1
0

(t)dt =
_
1
0
Dg(x +t(y x))(y x) Dg(x)(y x)dt.
On a donc
|(1) (0)[ = |g(y) g(x) Dg(x)(y x)|

_
1
0
|Dg(x +t(y x))(y x) Dg(x)(y x)|dt
|y x|
_
1
0
|Dg(x +t(y x)) Dg(x)|dt.
(2.2.9)
Pour majorer |Dg(x + t(y x)) Dg(x))|, on utilise alors le theor`eme des
accroissements nis
1
(parfois aussi appele theor`eme de la moyenne) applique
`a Dg ; de linegalite (2.2.9), on tire donc que pour x,y B( x,a) et t ]0,1[ :
|Dg(x+t(yx))Dg(x)| t|yx| sup
cB( x,a)
|D(Dg)(c)|
L(IR
N
,MN(IR))
.
(2.2.10)
1. Theor`eme des accroissements nis : Soient E et F des espaces vectoriels normes,
soient h C
1
(E,F) et (x,y) E
2
. On denit ]x,y[= {tx + (1 t)y,t ]0,1[}. Alors : h(y)
h(x) y x sup
z]x,y[
Dh(z)
L(E,F)
.
(On rappelle que si T L(E,F) alors T
[L(E,F)
= sup
xE,x
E
=1
Tx
F
|.)
Attention: Si dimF > 1, on ne peut pas dire, comme cest le cas en dimension 1, que :
]x,y[ t.q. h(y) h(x) = Dh()(y x).
2.2. M

ETHODE DE NEWTON 65
Comme D(Dg) = D
2
g est continue par hypoth`ese, et comme B( x,a) est
inclus dans un compact, on a
a
2
= sup
cB( x,a)
|D(Dg)(c)|
L(IR
N
,MN(IR))
< +.
De plus, t < 1 et on deduit de (2.2.10) que :
|Dg(x +t(y x) Dg(x))| a
2
|y x|,
et de linegalite (2.2.9) on deduit ensuite que
|g(y) g(x) Dg(x)(y x)|
_
1
0
a
2
|y x|dt |y x| = a
2
|y x|
2
.
On a donc ainsi demontre que g verie les hypoth`eses du theor`eme 2.17, ce
qui termine la demonstration du theor`eme 2.16.
Remarque 2.18 On ne sait pas bien estimer b dans le theor`eme 2.16, et ceci
peut poser probl`eme lors de limplantation numerique : il faut choisir litere ini-
tial x
(0)
susamment proche de x pour avoir convergence.
2.2.1 Variantes de la methode de Newton
Lavantage majeur de la methode de Newton par rapport `a une methode de
point xe par exemple est sa vitesse de convergence dordre 2. On peut dailleurs
remarquer que lorsque la methode ne converge pas, par exemple si litere initial
x
(0)
na pas ete choisi susamment proche de x, alors la methode diverge tr`es
vite. . .
Linconvenient majeur de la methode de Newton est son co ut : on doit dune
part calculer la matrice jacobienne Dg(x
(n)
) `a chaque iteration, et dautre part la
factoriser pour resoudre le syst`eme lineaire Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
).
(On rappelle que pour resoudre un syst`eme lineaire, il ne faut pas calculer
linverse de la matrice, mais plutot la factoriser sous la forme LU par exemple,
et on calcule ensuite les solutions des syst`emes avec matrice triangulaires faciles
a inverser, voir Chapitre 1.) Plusieurs variantes ont ete proposees pour tenter
de reduire ce co ut.
Faux quasi Newton
Soient g C
1
(IR
N
,IR
N
) et x IR tels que g( x) = 0. On cherche `a calculer
x. Si on le fait par la methode de Newton, lalgorithme secrit :
_
x
(0)
IR
N
,
Dg(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
), n 0.
La methode du Faux quasi-Newton (parfois appelee quasi-Newton) consiste
`a remplacer le calcul de la matrice jacobienne Dg(x
(n)
) `a chaque iteration par
un calcul toutes les quelques iterations. On se donne une suite (n
i
)
iIN
, avec
n
0
= 0 et n
i+1
> n
i
i IN, et on calcule la suite (x
(n)
)
nIN
de la mani`ere
suivante :
66 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
_
x
(0)
IR
N
Dg(x
(ni)
)(x
(n+1)
x
(n)
) = g(x
(n)
) si n
i
n < n
i+1
.
(2.2.11)
Avec cette methode, on a moins de calculs et de factorisations de la matrice
jacobienne Dg(x) `a eectuer, mais on perd malheureusement la convergence
quadratique : cette methode nest donc pas tr`es utilisee en pratique.
Newton incomplet
On suppose que g secrit sous la forme : g(x) = Ax + F
1
(x) + F
2
(x), avec
A /
N
(IR) et F
1
,F
2
C
1
(IR
N
,IR
N
). Lalgorithme de Newton (2.2.6) secrit
alors :
_
_
_
x
(0)
IR
N
_
A +DF
1
(x
(n)
) +DF
2
(x
(n)
)
_
(x
(n+1)
x
(n)
) =
Ax
(n)
F
1
(x
(n)
) F
2
(x
(n)
).
La methode de Newton incomplet consiste `a ne pas tenir compte de la jacobienne
de F
2
.
_
x
(0)
IR
N
(A +DF
1
(x
(n)
))(x
(n+1)
x
(n)
) = Ax
(n)
F
1
(x
(n)
) F
2
(x
(n)
).
(2.2.12)
On dit quon fait du Newton sur F
1
et du point xe sur F
2
. Les avantages
de cette procedure sont les suivants :
La methode ne necessite pas le calcul de DF
2
(x), donc on peut lemployer
si F
2
C(IR
N
,IR
N
)) nest pas derivable.
On peut choisir F
1
et F
2
de mani`ere `a ce que la structure de la matrice
A + DF
1
(x
(n)
) soit meilleure que celle de la matrice A + DF
1
(x
(n)
) +
DF
2
(x
(n)
) ; si par exemple A est la matrice issue de la discretisation du
Laplacien, cest une matrice creuse. On peut vouloir conserver cette struc-
ture et choisir F
1
et F
2
de mani`ere `a ce que la matrice A+DF
1
(x
(n)
) ait
la meme structure que A.
Dans certains probl`emes, on connat a priori les couplages plus ou moins
forts dans les non-linearites : un couplage est dit fort si la variation dune
variable entrane une variation forte du terme qui en depend. Donnons un
exemple: Soit f de IR
2
dans IR
2
denie par f(x,y) = (x+sin(10
5
y), exp(x)+
y), et considerons le syst`eme non lineaire f(x,y) = (a,b)
t
o` u (a,b)
t
IR
2
est donne. Il est naturel de penser que pour ce syst`eme, le terme de cou-
plage de la premi`ere equation en la variable y sera faible, alors que le
couplage de deuxi`eme equation en la variable x sera fort.
On a alors interet `a mettre en oeuvre la methode de Newton sur la par-
tie couplage fort et une methode de point xe sur la partie couplage
faible.
Linconvenient majeur est la perte de la convergence quadratique. La methode
de Newton incomplet est cependant assez souvent employee en pratique en rai-
son des avantages enumeres ci-dessus.
Remarque 2.19 Si F
2
= 0, alors la methode de Newton incomplet est exacte-
ment la methode de Newton. Si F
1
= 0, la methode de Newton incomplet secrit
2.2. M

ETHODE DE NEWTON 67
A(x
(n+1)
x
(n)
) = Ax
(n)
F
2
(x
(n)
), elle secrit alors Ax
(n+1)
= F
2
(x
(n)
),
ou encore x
(n+1)
= A
1
F
2
(x
(n)
) si A inversible. Cest donc dans ce cas la
methode du point xe sur la fonction A
1
F
2
.
Methode de la secante
La methode de la secante est une variante de la methode de Newton dans
le cas de la dimension 1 despace. On suppose ici N = 1 et g C
1
(IR,IR). La
methode de Newton pour calculer x IR tel que g(x) = 0 secrit :
_
x
(0)
IR
g

(x
(n)
)(x
(n+1)
x
(n)
) = g(x
(n)
), n 0.
On aimerait simplier le calcul de g

(x
(n)
), cest`adire remplacer g

(x
(n)
)
par une quantite proche sans calculer g

. Pour cela, on remplace la derivee


par un quotient dierentiel. On obtient la methode de la secante :
_
_
_
x
(0)
,x
(1)
IR
g(x
(n)
) g(x
(n1)
)
x
(n)
x
(n1)
(x
(n+1)
x
(n)
) = g(x
(n)
) n 1.
(2.2.13)
Remarquons que dans la methode de la secante, x
(n+1)
depend de x
(n)
et
de x
(n1)
: on a une methode `a deux pas ; on a dailleurs besoin de deux iteres
initiaux x
(0)
et x
(1)
. Lavantage de cette methode est quelle ne necessite pas
le calcul de g

. Linconvenient est quon perd la convergence quadratique. On


peut toutefois montrer que si g( x) = 0 et g

( x) ,= 0, il existe > 0 tel que si


x
(0)
,x
(1)
[ x . x +] = I

, la suite (x
(n)
)
nIN
construite par la methode de
la secante (2.2.13) est bien denie, que (x
(n)
)
nIN
I

et que x
(n)
x quand
n +. De plus, la convergence est super lineaire, i.e. si x
(n)
,= x pour tout
n IN, alors
x
(n+1)
x
x
(n)
x
0 quand n +.
Methodes de type Quasi Newton
On veut generaliser la methode de la secante au cas N > 1. Soient donc
g C
1
(IR
N
,IR
N
). Pour eviter de calculer Dg(x
(n)
) dans la methode de Newton
(2.2.6), on va remplacer Dg(x
(n)
) par B
(n)
/
N
(IR) proche de Dg(x
(n)
). En
sinspirant de la methode de la secante en dimension 1, on cherche une matrice
B
(n)
qui, x
(n)
et x
(n1)
etant connus, verie la condition :
B
(n)
(x
(n)
x
(n1)
) = g(x
(n)
) g(x
(n1)
) (2.2.14)
Dans le cas o` u N = 1, cette condition determine enti`erement B
(n)
: B
(n)
=
g(x
(n)
) g(x
(n1)
x
(n)
x
(n1)
. Si N > 1, ceci ne permet pas de determiner compl`etement
B
(n)
. Il y a plusieurs fa cons possibles de choisir B
(n)
, nous en verrons en parti-
culier dans le cadre des methodes doptimisation (voir chapitre 4, dans ce cas la
fonction g est un gradient), nous donnons ici la methode de Broyden. Celle-ci
consiste `a choisir B
(n)
de la mani`ere suivante : `a x
(n)
et x
(n1)
connus, on pose
68 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES

(n)
= x
(n)
x
(n1)
et y
(n)
= g(x
(n)
)g(x
(n1)
) ; on suppose B
(n1)
/
N
(IR)
connue, et on cherche B
(n)
/
N
(IR) telle que
B
(n)

(n1)
= y
(n1)
(2.2.15)
(cest la condition (2.2.14), qui ne sut pas `a determiner B
(n)
de mani`ere
unique) et qui verie egalement :
B
(n)
= B
(n1)
, IR
N
tel que
(n)
. (2.2.16)
Proposition 2.20 (Existence et unicite de la matrice de Broyden)
Soient y
(n)
IR
N
,
(n)
IR
N
et B
(n1)
/
N
(IR). Il existe une unique matrice
B
(n)
/
N
(IR) veriant (2.2.15) et (2.2.16) ; la matrice B
(n)
sexprime en
fonction de y
(n)
,
(n)
et B
(n1)
de la mani`ere suivante :
B
(n)
= B
(n1)
+
y
(n)
B
(n1)

(n)

(n)

(n)
(
(n)
)
t
. (2.2.17)
Demonstration : Lespace des vecteurs orthogonaux `a
(n)
est de dimension
N 1. Soit (
1
, . . . ,
N1
) une base de cet espace, alors (
1
, . . . ,
N1
,
(n)
) est
une base de IR
N
et si B
(n)
verie (2.2.15) et (2.2.16), les valeurs prises par
lapplication lineaire associee `a B
(n)
sur chaque vecteur de base sont connues,
ce qui determine lapplication lineaire et donc la matrice B
(n)
de mani`ere unique.
Soit B
(n)
denie par (2.2.17), on a :
B
(n)

(n)
= B
(n1)

(n)
+
y
(n)
B
(n1)

(n)

(n)

(n)
(
(n)
)
t

(n)
= y
(n)
,
et donc B
(n)
verie (2.2.15). Soit IR
N
tel que
(n)
, alors
(n)
=
(
(n)
)
t
= 0 et donc
B
(n)
= B
(n1)
+
(y
(n)
B
(n1)

(n)
)

(n)

(n)
(
(n)
)
t
= B
(n1)
,
(n)
.
Lalgorithme de Broyden secrit donc :
_

_
Initialisation: x
(0)
, x
(1)
IR
N
B
0
/
N
(IR)
A x
(n)
, x
(n1)
et B
(n1)
connus, on pose

(n)
= x
(n)
x
(n1)
et y
(n)
= g(x
(n)
) g(x
(n1)
);
Calcul de B
(n)
= B
(n1)
+
y
(n)
B
(n1)

(n)

(n)

(n)
(
(n)
)
t
,
Iteration n : resolution de : B
(n)
(x
(n+1)
x
(n)
) = g(x
(n)
).
Une fois de plus, lavantage de cette methode est de ne pas necessiter le
calcul de Dg(x), mais linconvenient est la perte du caract`ere quadratique de la
convergence .
2.3 Exercices
Exercice 32 (Methode de monotonie)
Suggestions en page 146, corrige detaille en page 179
2.3. EXERCICES 69
On suppose que f C
1
(IR,IR), f(0) = 0 et que f est croissante. On sinteresse,
pour > 0, au syst`eme non lineaire suivant de N equations `a N inconnues
(notees u
1
, . . . ,u
N
) :
(Au)
i
=
i
f(u
i
) +b
i
i 1, . . . ,N,
u = (u
1
, . . . ,u
N
)
t
IR
N
,
(2.3.18)
o` u
i
> 0 pour tout i 1, . . . ,N, b
i
0 pour tout i 1, . . . ,N et
A /
N
(IR) est une matrice veriant
u IR
N
, Au 0 u 0. (2.3.19)
On suppose quil existe > 0 t.q. (2.3.18) ait une solution, notee u
()
, pour
= . On suppose aussi que u
()
0.
Soit 0 < < . On denit la suite (v
(n)
)
nIN
IR
N
par v
(0)
= 0 et, pour
n 0,
(Av
(n+1)
)
i
=
i
f(v
(n)
i
) +b
i
i 1, . . . ,N. (2.3.20)
Montrer que la suite (v
(n)
)
nIN
est bien denie, convergente (dans IR
N
) et
que sa limite, notee u
()
, est solution de (2.3.18) (et verie 0 u
()
u
()
).
Exercice 33 (Point xe ameliore)
Soit g C
3
(IR,IR) et x IR tels que g(x) = 0 et g

(x) ,= 0.
On se donne C
1
(IR,IR) telle que (x) = x.
On consid`ere lalgorithme suivant :
_
_
_
x
0
IR,
x
n+1
= h(x
n
),n 0.
(1)
avec h(x) = x
g(x)
g

((x))
1) Montrer quil existe > 0 tel que si x
0
[x ,x + ] = I

, alors la
suite donnee par lalgorithme (1) est bien denie ; montrer que x
n
x lorsque
n +(on pourra montrer quon peut choisir de mani`ere `a ce que [h

(x)[ < 1
si x I

).
On prend maintenant x
0
I

o` u est donne par la question 1.


2) Montrer que la convergence de la suite (x
n
)
nIN
denie par lalgorithme
(1) est au moins quadratique.
3) On suppose que

(x) =
1
2
. Montrer que la convergence de la suite
(x
n
)
nIN
denie par (1) est au moins cubique, cest-`a-dire quil existe c IR
+
tel que
[x
n+1
x[ c[x
n
x[
3
, n 1.
4) Soit IR

+
tel que g

(x) ,= 0 x I

=]x ,x + [ ; montrer que si


on prend C
1
(IR,IR) telle que :
(x) = x
g(x)
2g

(x)
si x I

,
70 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
alors la suite denie par lalgorithme (1) converge de mani`ere cubique.
Exercice 34 (Nombre diterations nis) Corrige detaille en page ??
Soit F : IR
N
IR
N
une fonction dierentiable, strictement convexe (N 1).
Soit x
(0)
IR
N
le choix initial (ou itere 0) dans la methode de Newton.
Montrer que la methode de Newton converge en un nombre ni doperations
si et seulement si F(x
(0)
) = 0.
Exercice 35 (Newton et logarithme)
Soit f la fonction de IR

+
dans IR denie par f(x) = ln(x). Montrer que la
methode de Newton pour la recherche de x tel que f(x) = 0 converge si et
seulement si le choix initial x
(0)
est tel que x
(0)
]0,e[.
Exercice 36 (Methode de Newton pour le calcul de linverse) Corrige
en page 180
1. Soit a > 0. On cherche `a calculer
1
a
par lalgorithme de Newton.
(a) Montrer que lalgorithme de Newton applique `a une fonction g (dont
1
a
est un zero) bien choisie secrit :
_
x
(0)
donne,
x
(n+1)
= x
(n)
(2 ax
(n)
).
(2.3.21)
(b) Montrer que la suite (x
(n)
)
nIN
denie par (2.3.21) verie
lim
n+
x
(n)
=
_

_
1
a
si x
(0)
]0,
2
a
[,
si x
(0)
] ,0[]
2
a
, +[
2. On cherche maintenant `a calculer linverse dune matrice par la methode
de Newton. Soit donc A une matrice carree dordre N inversible, dont on
cherche `a calculer linverse.
(a) Montrer que lensemble GL
N
(IR) des matrices carrees inversibles
dordre N (o` u N 1) est un ouvert de lensemble /
N
(IR) des
matrices carrees dordre N.
(b) Soit T lapplication denie de GL
N
(IR) dans GL
N
(IR) par T(B) =
B
1
. Montrer que T est derivable, et que DT(B)H = B
1
HB
1
.
(c) Ecrire la methode de Newton pour calculer A
1
en cherchant le zero
de la fonction g de /
N
(IR) dans /
N
(IR) denie par g(B) = B
1

A. Soit B
(n)
la suite ainsi denie.
(d) Montrer que la suite B
(n)
denie dans la question precedente verie :
Id AB
(n+1)
= (Id AB
(n)
)
2
.
En deduire que la suite (B
(n)
)
nIN
converge vers A
1
si et seulement
si (Id AB
(0)
) < 1.
2.3. EXERCICES 71
Exercice 37 (Valeurs propres et methode de Newton)
Suggestions en page 145, corrige detaille en page 182
Soit A /
N
(IR) une matrice symetrique. Soient une valeur propre simple
de A et x IR
N
un vecteur propre associe t.q. x x = 1. Pour calculer (,x) on
applique la methode de Newton au syst`eme non lineaire (de IR
N+1
dans IR
N+1
)
suivant :
Ax x = 0,
x x = 1.
(2.3.22)
Montrer que la methode est localement convergente.
Exercice 38 (Modication de la methode de Newton)
Suggestions en page 145, corrige detaille en page 183
Soient f C
1
(IR
N
,IR
N
) et x IR
N
t.q. f(x) = 0. On consid`ere, pour > 0
donne, la methode iterative suivante :
Initialisation: x
(0)
IR
N
.
Iterations: pour n 0,
x
(n+1)
= x
(n)
[Df(x
(n)
)
t
Df(x
(n)
) +Id]
1
Df(x
(n)
)
t
f(x
(n)
).
[Noter que, pour = 0, on retrouve la methode de Newton.]
1. Montrer que la suite (x
(n)
)
nIN
est bien denie.
2. On suppose, dans cette question, que N = 1 et que f

(x) ,= 0. Montrer
que la methode est localement convergente en x.
3. On suppose que le rang de Df(x) est egal `a N. Montrer que la methode est
localement convergente en x. [Noter que cette question redonne la question
precedente si N = 1.]
Exercice 39 (Convergence de la methode de Newton si f

(x) = 0)
Suggestions en page 145, corrige detaille en page 185
Soient f C
2
(IR,IR) et x IR t.q. f(x) = 0.
1. Rappel du cours. Si f

(x) ,= 0, la methode de Newton est localement


convergente en x et la convergence est au moins dordre 2.
2. On suppose maintenant que f

(x) = 0 et f

(x) ,= 0. Montrer que la


methode de Newton est localement convergente (en excluant le cas x
0
=
x. . . ) et que la convergence est dordre 1. Si on suppose f de classe C
3
,
donner une modication de la methode de Newton donnant une conver-
gence au moins dordre 2.
Exercice 40 (Variante de la methode de Newton)
Corrige detaille en page 186
Soit f C
1
(IR,IR) et x IR tel que f( x) = 0. Soient x
0
IR, c IR

+
,
IR

+
. On suppose que les hypoth`eses suivantes sont veriees :
(i) x I = [x
0
c,x
0
+c],
(ii) [f(x
0
)[
c
2
,
72 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
(iii) [f

(x) f

(y)[
1
2
, (x,y) I
2
(iv) [f

(x)[
1

x I.
On denit la suite (x
(n)
)
nIN
par :
x
(0)
= x
0
,
x
(n+1)
= x
(n)

f(x
(n)
)
f

(y)
,
(2.3.23)
o` u y I est choisi arbitrairement.
1. Montrer par recurrence que la suite denie par (2.3.23) satisfait x
(n)
I
pour tout n IN.
(On pourra remarquer que si x
(n+1)
est donne par (2.3.23) alors x
(n+1)

x
0
= x
(n)
x
0

f(x
(n)
)f(x0)
f

(y)

f(x0)
f

(y)
.)
2. Montrer que la suite (x
(n)
)
nIN
denie par (2.3.23) verie [x
(n)
x[
c
2
n
et quelle converge vers x de mani`ere au moins lineaire.
3. On remplace lalgorithme (2.3.23) par
x
(0)
= x
0
,
x
(n+1)
= x
(n)

f(x
(n)
)
f

(y
(n)
)
,
(2.3.24)
o` u la suite (y
(n)
)
nIN
est une suite donnee delements de I. Montrer que la
suite (x
(n)
)
nIN
converge vers x de mani`ere au moins lineaire, et que cette
convergence devient super-lineaire si f

(y
n
) f

( x) lorsque n +.
4. On suppose maintenant que N 1 et que f C
1
(IR
N
,IR
N
). La methode
denie par (2.3.23) ou (2.3.24) peut-elle se generaliser, avec deventuelles
modications des hypoth`eses, `a la dimension N?
Exercice 41 (Methode de Newton)
Suggestions en page 145, corrige detaille en page 188
On suppose que f C
2
(IR,IR) et que f est croissante. On sinteresse au
syst`eme non lineaire suivant de N equations `a N inconnues (notees u
1
, . . . ,u
N
) :
(Au)
i
+
i
f(u
i
) = b
i
i 1, . . . ,N,
u = (u
1
, . . . ,u
N
)
t
IR
N
,
(2.3.25)
o` u A /
N
(IR) est une matrice symetrique denie positive,
i
> 0 pour
tout i 1, . . . ,N et b
i
IR pour tout i 1, . . . ,N.
On admet que (2.3.25) admet au moins une solution (ceci peut etre demontre
mais est dicile).
1. Montrer que (2.3.25) admet une unique solution.
2. Soit u la solution de (2.3.25). Montrer quil existe a > 0 t.q. la methode de
Newton pour approcher la solution de (2.3.25) converge lorsque le point
de depart de la methode, note u
(0)
, verie [u u
(0)
[ < a.
Exercice 42 (Methode de Steensen)
Suggestions en page 146, corrige detaille en page 189
2.3. EXERCICES 73
Soient f C
2
(IR,IR) et x IR t.q. f(x) = 0 et f

(x) ,= 0. On consid`ere la
methode iterative suivante :
Initialisation: x
(0)
IR
N
.
Iterations: pour n 0, si f(x
(n)
+f(x
(n)
)) ,= f(x
(n)
),
x
(n+1)
= x
(n)

(f(x
(n)
))
2
f(x
(n)
+f(x
(n)
)) f(x
(n)
)
, (2.3.26)
et si f(x
(n)
+f(x
(n)
)) = f(x
(n)
), x
(n+1)
= x
(n)
.
1. Montrer quil existe > 0 tel que si x
(n)
B(x,), alors f(x
(n)
+
f(x
(n)
)) ,= f(x
(n)
) si x
(n)
,= x. En deduire que si x
0
B(x,), alors
toute la suite (x
(n)
)
nIN
verie (2.3.26) pourvu que x
(n)
,= x pour tout
n IN.
2. Montrer par des developpements de Taylor avec reste integral qu il existe
une fonction a continue sur un voisinage de x telle que si x
0
B(x,),
alors
x
(n+1)
x = a(x
(n)
)(x
(n)
x), pour tout n IN tel que x
(n)
,= x.
(2.3.27)
3. Montrer que la methode est localement convergente en x et la convergence
est au moins dordre 2.
Exercice 43 (Methode de Newton-Tchebyche)
1. Soit f C
3
(IR,IR) et soit x IR tel que x = f( x) et f

( x) = f

( x) = 0.
Soit (x
n
)
nIN
la suite denie par :
_
x
0
IR,
x
n+1
= f(x
n
).
(PF)
Montrer que la suite converge localement, cest `a dire quil existe un voi-
sinage V de x tel que si x
0
V alors x
n
x lorsque n +. Montrer
que la vitesse de convergence est au moins cubique (c est `a dire qu il
existe IR
+
tel que [x
n+1
x[ [x
n
x[
3
si la donnee initiale x
0
est
choisie dans un certain voisinage de x).
2. Soit g C
3
(IR,IR), et soit x IR tel que g( x) = 0 et g

( x) ,= 0. Pour
une fonction h C
3
(IR,IR) `a determiner, on denit f C
3
(IR,IR) par
f(x) = x+h(x)g(x). Donner une expression de h( x) et h

( x) en fonction de
g

( x) et de g

( x) telle que la methode (PF) appliquee `a la recherche dun


point xe de f converge localement vers x avec une vitesse de convergence
au moins cubique.
3. Soit g C
5
(IR,IR), et soit x IR tel que g( x) = 0 et g

( x) ,= 0. On
consid`ere la modication suivante (due `a Tchebychev) de la methode de
Newton :
x
n+1
= x
n

g(x
n
)
g

(x
n
)

g

(x
n
)[g(x
n
)]
2
2[g

(x
n
)]
3
. ()
Montrer que la methode () converge localement et que la vitesse de
convergence est au moins cubique.
74 CHAPITRE 2. SYST
`
EMES NON LIN

EAIRES
75
Chapitre 3
Optimisation
3.1 Denition et rappels de calcul dierentiel
3.1.1 Denition des probl`emes doptimisation
Lobjectif de ce chapitre est de rechercher des minima ou des maxima dune
fonction f C(IR
N
,IR) avec ou sans contrainte. Le probl`eme doptimisation
sans contrainte secrit :
_
Trouver x IR
N
tel que :
f( x) f(y), y IR
N
.
(3.1.1)
Le probl`eme doptimisation avec contrainte secrit :
_
Trouver x Ktel que :
f( x) f(y), y K.
(3.1.2)
o` u K IR
N
et K ,= IR
N
Si x est solution du probl`eme (3.1.1), on dit que x arg min
IR
N
f, et si x est
solution du probl`eme (3.1.2), on dit que x arg min
K
f.
3.1.2 Rappels et notations de calcul dierentiel
Denition 3.1 Soient E et F des espaces vectoriels normes, f une application
de E dans F et x E. On dit que f est dierentiable en x sil existe T L(E,F)
(o` u L(E,F) est lensemble des applications lineaires de E dans F) telle que
f(x +h) = f(x) +T(h) +|h|(h) avec (h) 0 quand h 0. Lapplication T
est alors unique et on note Df(x) = T L(E,F).
On peut remarquer quen dimension innie, T depend des normes associees
`a E et F. Voyons maintenant quelques cas particuliers despaces E et F:
Cas o` u E = IR
N
et F = IR
p
Soit f : IR
N
IR
p
, x IR
N
et supposons que
f est dierentiable en x; alors Df(x) L(IR
N
,IR
p
), et il existe A /
p,N
(IR)
telle que Df(x)(y)
. .
IR
p
= Ay
..
IR
p
, y IR
N
. On confond alors lapplication lineaire
76 CHAPITRE 3. OPTIMISATION
Df(x) L(IR
N
,IR
p
) et la matrice A /
p,N
(IR) qui la represente. On ecrit
donc :
A = Df(x) = (a
i,j
)
1ip,1jN
o` u a
i,j
=
j
f
i
(x),

j
designant la derivee partielle par rapport `a la j-`eme variable.
Cas o` u E = IR
N
, F = IR Cest un sous-cas du paragraphe precedent, puis-
quon est ici dans le cas p = 1. Soit x IR
N
et f une fonction de E dans F
dierentiable en x ; on a donc (avec labus de notation signale dans le para-
graphe precedent) Df(x) /
1,N
(IR), et on peut denir le gradient de f en x
par f(x) = (Df(x))
t
IR
N
. Pour (x,y) (IR
N
)
2
, on a donc
Df(x)y =
N

j=i

j
f(x)y
j
= f(x) y o` u f(x) =
_

1
f(x)
.
.
.

N
f(x)
_

_
IR
N
.
Cas o` u E est un espace de Hilbert et F = IR On generalise ici le cas
presente au paragraphe precedent. Soit f : E IR dierentiable en x E. Alors
Df(x) L(E,IR) = E

, o` u E

designe le dual topologique de E, c.`a.d. lensemble


des formes lineaires continues sur E. Par le theor`eme de representation de Riesz,
il existe un unique u E tel que Df(x)(y) = (u[y)
E
pour tout y E, o` u (.[.)
E
designe le produit scalaire sur E. On appelle encore gradient de f en x ce vecteur
u. On a donc u = f(x) E et pour y E, Df(x)(y) = (f(x)[y)
E
.
Dierentielle dordre 2, matrice hessienne Revenons maintenant au cas
general de deux espaces vectoriels normes E et F, et supposons maintenant
que f C
2
(E,F). Le fait que f C
2
(E,F) signie que Df C
1
(E,L(E,F)).
Par denition, on a D
2
f(x) L(E,L(E,F)) et donc pour y E, D
2
f(x)(y)
L(E,F) ; en particulier, pour z E, D
2
f(x)(y)(z) F.
Considerons maintenant le cas particulier E = IR
N
et F = IR. On a :
f C
2
(IR
N
,IR) [f C
1
(IR
N
,IR) et f C
1
(IR
N
,IR
N
)].
Soit g = f C
1
(IR
N
,IR
N
), et x IR
N
, alors Dg(x) /
N
(IR) et on peut
denir la matrice hessienne de f, quon note H
f
, par : H
f
(x) = Dg(x) =
D(Df)(x) = (b
i,j
)
i,j=1...N
/
N
(IR) o` u b
i,j
=
2
i,j
f(x) o` u
2
i,j
designe la
derivee partielle par rapport `a la variable i de la derivee partielle par rapport
`a la variable j. Notons que par denition, Dg(x) est la matrice jacobienne de g
en x.
3.2 Optimisation sans contrainte
3.2.1 Denition et condition doptimalite
Soit f C(E,IR) et E un espace vectoriel norme. On cherche soit un mini-
mum global de f, c.`a.d. :
x E tel que f( x) f(y) y E, (3.2.3)
3.2. OPTIMISATION SANS CONTRAINTE 77
ou un minimum local, c.`a.d. :
x tel que > 0 f( x) f(y) y B( x,). (3.2.4)
Proposition 3.2 (Condition necessaire doptimalite)
Soit E un espace vectoriel norme, et soient f C(E,IR), et x E tel que f
est dierentiable en x. Si x est solution de (3.2.4) alors Df( x) = 0.
Demonstration Supposons quil existe > 0 tel que f( x) f(y) pour tout
y B( x,). Soit z E 0, alors si [t[ <

z
, on a x+tz B( x,) (o` u B( x,)
designe la boule ouverte de centre x et de rayon ) et on a donc f( x) f( x+tz).
Comme f est dierentiable en x, on a :
f( x +tz) = f( x) +Df( x)(tz) +[t[
z
(t),
o` u
z
(t) 0 lorsque t 0. On a donc f( x) + tDf( x)(z) + [t[
z
(t) f( x). Et
pour

|z|
> t > 0, on a Df( x)(z) +
z
(t) 0. En faisant tendre t vers 0, on
obtient que
Df( x)(z) 0, z E.
On a aussi Df( x)(z) 0 z E, et donc : Df( x)(z) 0 z E.
On en conclut que
Df( x) = 0.
Remarque 3.3 Attention, la proposition precedente donne une condition neces-
saire mais non susante. En eet, Df( x) = 0 nentrane pas que f atteigne un
minimum (ou un maximum) meme local, en x. Prendre par exemple E = IR,
x = 0 et la fonction f denie par : f(x) = x
3
pour sen convaincre.
3.2.2 Resultats dexistence et dunicite
Theor`eme 3.4 (Existence) Soit E = IR
N
et f : E IR une application telle
que
(i) f est continue,
(ii) f(x) + quand |x| +.
Alors il existe x IR
N
tel que f( x) f(y) pour tout y IR
N
.
Demonstration La condition (ii) peut encore secrire
A IR, R IR; |x| R f(x) A. (3.2.5)
On ecrit (3.2.5) avec A = f(0). On obtient alors :
R IR tel que |x| R f(x) f(0).
On en deduit que inf
IR
N f = inf
BR
f, o` u B
R
= x IR
N
; [x[ R. Or, B
R
est
un compact de IR
N
et f est continue donc il existe x B
R
tel que f( x) = inf
BR
f
et donc f( x) = inf
IR
Nf.
Remarque 3.5
1. Le theor`eme est faux si E est de dimension innie (i.e. si E est espace de
Banach au lieu de E = IR
N
), car si E est de dimension innie, B
R
nest
pas compacte.
78 CHAPITRE 3. OPTIMISATION
2. Lhypoth`ese (ii) du theor`eme peut etre remplacee par
(ii)

b IR
N
,R > 0 tel que |x| R f(x) f(b).
3. Sous les hypoth`eses du theor`eme il ny a pas toujours unicite de x meme
dans le cas N = 1, prendre pour sen convaincre la fonction f denie de
IR dans IR par f(x) = x
2
(x 1)(x + 1).
Denition 3.6 (Convexite) Soit E un espace vectoriel et f : E IR. On dit
que f est convexe si
f(tx+(1t)y) tf(x)+(1t)f(y) pour tout (x,y) E
2
t.q. x ,= y et t [0,1].
On dit que f est strictement convexe si
f(tx+(1t)y) < tf(x) +(1t)f(y) pour tout (x,y) E
2
t.q. x ,= y et t ]0,1[.
Theor`eme 3.7 (Condition susante dunicite) Soit E un espace vectoriel
norme et f : E IR strictement convexe alors il existe au plus un x E tel
que f( x) f(y), y E.
Demonstration
Soit f strictement convexe, supposons quil existe x et
=
x E tels que f( x) =
f(
=
x) = inf
IR
IN f. Comme f est strictement convexe, si x ,=
=
x alors
f(
1
2
x +
1
2
=
x) <
1
2
f( x) +
1
2
f(
=
x) = inf
IR
N
f,
ce qui est impossible; donc x =
=
x.
Remarque 3.8 Ce theor`eme ne donne pas lexistence. Par exemple dans le
cas N = 1 la fonction f denie par f(x) = e
x
natteint pas son minimum, car
inf
IR
N
f = 0 et f(x) ,= 0 pour tout x IR, et pourtant f est strictement convexe.
Par contre, si on reunit les hypoth`eses des theor`emes 3.4 et 3.7, on obtient
le resultat dexistence et unicite suivant :
Theor`eme 3.9 (Existence et unicite) Soit E = IR
N
, et soit f : E IR.
On suppose que :
(i) f continue,
(ii) f(x) + quand |x| +,
(iii) f est strictement convexe ;
alors il existe un unique x IR
N
tel que f( x) = inf
IR
N
f.
Remarque 3.10 Le theor`eme reste vrai (voir cours de matrise) si E est un
espace de Hilbert ; on a besoin dans ce cas pour la partie existence des hypoth`eses
(i), (ii) et de la convexite de f.
Proposition 3.11 (1`ere caracterisation de la convexite) Soit E un espace
vectoriel norme (sur IR) et f C
1
(E,IR) alors :
1. f convexe si et seulement si f(y) f(x) +Df(x)(y x), pour tout couple
(x,y) E
2
,
3.2. OPTIMISATION SANS CONTRAINTE 79
2. f est strictement convexe si et seulement si f(y) > f(x) + Df(x)(y x)
pour tout couple (x,y) E
2
tel que x ,= y.
Demonstration
Demonstration de 1.
() Supposons que f est convexe : soit (x,y) E
2
; on veut montrer que
f(y) f(x) +Df(x)(y x). Soit t [0,1], alors f(ty +(1 t)x) tf(y) +(1
t)f(x) grace au fait que f est convexe. On a donc :
f(x +t(y x)) f(x) t(f(y) f(x)). (3.2.6)
Comme f est dierentiable, f(x+t(y x)) = f(x) +Df(x)(t(y x)) +t(t) o` u
(t) tend vers 0 lorsque t tend vers 0. Donc en reportant dans (3.2.6),
(t) +Df(x)(y x) f(y) f(x), t ]0,1[.
En faisant tendre t vers 0, on obtient alors :
f(y) Df(x)(y x) +f(x).
() Montrons maintenant la reciproque : Soit (x,y) E
2
, et t ]0,1[ (pour
t = 0 ou = 1 on na rien `a demontrer). On veut montrer que f(tx +(1 t)y)
tf(x) + (1 t)f(y). On pose z = tx + (1 t)y. On a alors par hypoth`ese :
f(y) f(z) +Df(z)(y z),
et f(x) f(z) +Df(z)(x z).
En multipliant la premi`ere inegalite par 1 t, la deuxi`eme par t et en les
additionnant, on obtient :
(1 t)f(y) +tf(x) f(z) + (1 t)Df(z)(y z) +tDf(z)(x z)
(1 t)f(y) +tf(x) f(z) +Df(z)((1 t)(y z) +t(x z)).
Et comme (1 t)(y z) +t(x z) = 0, on a donc (1 t)f(y) +tf(x) f(z) =
f(tx + (1 t)y).
Demonstration de 2
() On suppose que f est strictement convexe, on veut montrer que f(y) >
f(x)+Df(x)(yx) si y ,= x. Soit donc (x,y) E
2
, x ,= y. On pose z =
1
2
(yx),
et comme f est convexe, on peut appliquer la partie 1. du theor`eme et ecrire que
f(x+z) f(x)+Df(x)(z). On a donc f(x)+Df(x)(
yx
2
) f(
x+y
2
). Comme f
est strictement convexe, ceci entrane que f(x) +Df(x)(
yx
2
) <
1
2
(f(x) +f(y)),
do` u le resultat.
() La methode de demonstration est la meme que pour le 1.
Proposition 3.12 (Caracterisation des points tels que f( x) = inf
E
f)
Soit E espace vectoriel norme et f une fonction de E dans IR. On suppose
que f C
1
(E,IR) et que f est convexe. Soit x E. Alors :
f( x) = inf
E
f Df( x) = 0.
En particulier si E = IR
N
alors f( x) = inf
xIR
N
f(x) f( x) = 0.
80 CHAPITRE 3. OPTIMISATION
Demonstration
() Supposons que f( x) = inf
E
f alors on sait (voir Proposition 3.2) que
Df( x) = 0 (la convexite est inutile).
() Si f est convexe et dierentiable, dapr`es la proposition 3.11, on a :
f(y) f( x)+Df( x)(yx) pour tout y E et comme par hypoth`ese Df( x) = 0,
on en deduit que f(y) f( x) pour tout y E. Donc f( x) = inf
E
f.
Proposition 3.13 (2`eme caracterisation de la convexite) Soit E = IR
N
et f C
2
(E,IR). Soit H
f
(x) la hessienne de f au point x, i.e. (H
f
(x))
i,j
=

2
i,j
f(x). Alors
1. f est convexe si et seulement si H
f
(x) est symetrique et positive pour tout
x E (c.` a.d. H
f
(x)
t
= H
f
(x) et H
f
(x)y y 0 pour tout y IR
N
)
2. f est strictement convexe si H
f
(x) est symetrique denie positive pour
tout x E. (Attention la reciproque est fausse.)
Demonstration
Demonstration de 1.
() Soit f convexe, on veut montrer que H
f
(x) est symetrique positive. Il
est clair que H
f
(x) est symetrique car
2
i,j
f =
2
j,i
f car f est C
2
. Par denition,
H
f
(x) = D(f(x)) et f C
1
(IR
N
,IR
N
). Soit (x,y) E
2
, comme f est
convexe et de classe C
1
, on a, grace `a la proposition 3.11 :
f(y) f(x) +f(x) (y x). (3.2.7)
Soit C
2
(IR,IR) denie par (t) = f(x +t(y x)). Alors :
f(y) f(x) = (1) (0) =
_
1
0

(t)dt = [

(t)(t 1)]
1
0

_
1
0

(t)(t 1)dt,
cest`a dire : f(y) f(x) =

(0) +
_
1
0

(t)(1 t)dt. Or

(t) = f(x + t(y


x)) (y x), et

(t) = D(f(x +t(y x))(y x) (y x) = H


f
(x +t(y x))(y x) (y x).
On a donc :
f(y)f(x) = f(x)(yx)+
_
1
0
H
f
(x+t(yx))(yx)(yx)(1t)dt. (3.2.8)
Les inegalites (3.2.7) et (3.2.8) entranent :
_
1
0
H
f
(x +t(y x))(y x) (y
x)(1 t)dt 0 x,y E. On a donc :
_
1
0
H
f
(x +tz)z z(1 t)dt 0 x,z E. (3.2.9)
En xant x E, on ecrit (3.2.9) avec z = y, > 0, y IR
N
. On obtient :

2
_
1
0
H
f
(x +ty)y y(1 t)dt 0 x,y E, > 0, et donc :
_
1
0
Hf(x +ty)y y(1 t)dt 0 > 0.
3.2. OPTIMISATION SANS CONTRAINTE 81
Pour (x,y) E
2
xe, H
f
(x + ty) tend vers H
f
(x) uniformement lorsque
0, pour t [0,1]. On a donc :
_
1
0
H
f
(x)y y(1 t)dt 0, c.`a.d.
1
2
H
f
(x)y y 0.
Donc pour tout (x,y) (IR
N
)
2
, H
f
(x)y y 0 donc H
f
(x) est positive.
() Montrons maintenant la reciproque : On suppose que H
f
(x) est positive
pour tout x E. On veut demontrer que f est convexe ; on va pour cela utiliser
la proposition 3.11 et montrer que : f(y) f(x) + f(x) (y x) pour tout
(x,y) E
2
. Gr ace `a (3.2.8), on a :
f(y) f(x) = f(x) (y x) +
_
1
0
H
f
(x +t(y x))(y x) (y x)(1 t)dt.
Or H
f
(x + t(y x))(y x) (y x) 0 pour tout couple (x,y) E
2
, et
1 t 0 sur [0,1]. On a donc f(y) f(x) + f(x) (y x) pour tout couple
(x,y) E
2
. La fonction f est donc bien convexe.
Demonstration de 2.
() On suppose que H
f
(x) est strictement positive pour tout x E, et
on veut montrer que f est strictement convexe. On va encore utiliser la ca-
racterisation de la proposition 3.11. Soit donc (x,y) E
2
tel que y ,= x. Alors :
f(y) = f(x)+f(x)(yx)+
_
1
0
H
f
(x +t(y x))(y x) (y x)
. .
>0 si x=y
(1 t)
. .
=0 si t]0,1[
dt.
Donc f(y) > f(x)+f(x)(yx) si x ,= y, ce qui prouve que f est strictement
convexe.
Contre-exemple Pour montrer que la reciproque de 2. est fausse, on propose
le contre-exemple suivant : Soit N = 1 et f C
2
(IR,IR), on a alors H
f
(x) =
f

(x). Si f est la fonction denie par f(x) = x


4
, alors f est strictement convexe
car f

(x) = 12x
2
0, mais f

(0) = 0.
Cas dune fonctionnelle quadratique Soient A /
N
(IR), b IR
N
, et
f la fonction de IR
N
dans IR
N
denie par f(x) =
1
2
Ax x b x. Alors
f C

(IR
N
,IR). Le calcul du gradient de f et de sa hessienne font lobjet
de lexercice 46 : on montre que
f(x) =
1
2
(Ax +A
t
x) b.
Donc si A est symetrique f(x) = Axb. Le calcul de la hessienne de f donne :
H
f
(x) = D(f(x)) =
1
2
(A +A
t
).
On en deduit que si A est symetrique, H
f
(x) = A. On peut montrer en parti-
culier (voir exercice 46) que si A est symetrique denie positive alors il existe
un unique x IR
N
tel que f( x) f(x) pour tout x IR
N
, et que ce x est aussi
lunique solution du syst`eme lineaire Ax = b.
82 CHAPITRE 3. OPTIMISATION
3.2.3 Exercices
Exercice 44 (Calcul dierentiel)
Corrige detaille en page 191 Soit f C
2
(IR
N
,IR).
1/ Montrer que pour tout x IR
N
, il existe un unique vecteur a(x) IR
N
tel que Df(x)(h) = a(x) h pour tout h IR
N
.
Montrer que (a(x))
i
=
i
f(x).
2/ On pose f(x) = (
1
f(x), . . . ,
1
f(x))
t
. Soit lapplication denie de
IR
N
dans IR
N
par (x) = f(x). Montrer que C
1
(IR
N
,IR
N
) et que
D(x)(y) = A(x)y, o` u A(x))
i,j
=
2
i,j
f(x).
3/ Soit f C
2
(IR
3
,IR) la fonction denie par f(x
1
,x
2
,x
3
) = x
2
1
+ x
2
1
x
2
+
x
2
cos(x
3
). Donner la denition et lexpression de Df(x), f(x),Df, D
2
f(x),
H
f
(x).
Exercice 45 (Convexite et continuite)
Suggestions en page 146.
1. Soit f : IR IR. On suppose que f est convexe.
(a) Montrer que f est continue.
(b) Montrer que f est localement lipschitzienne.
2. Soit N 1 et f : IR
N
IR. On suppose que f est convexe.
(a) Montrer f est bornee superieurement sur les bornes (cest-`a-dire :
pour tout R > 0, il existe m
R
t.q. f(x) m
R
si la norme de x est
inferieure ou egale `a R).
(b) Montrer que f est continue.
(c) Montrer que f est localement lipschitzienne.
(d) On remplace maintenant IR
N
par E, e.v.n. de dimension nie. Mon-
trer que f est continue et que f est localement lipschitzienne.
3. Soient E un e.v.n. de dimension innie et f : E IR. On suppose que f
est convexe.
(a) On suppose, dans cette question, que f est bornee superieurement
sur les bornes. Montrer que f est continue.
(b) Donner un exemple de.v.n. (note E) et de fonction convexe f : E
IR t.q. f soit non continue.
Exercice 46 (Minimisation dune fonctionnelle quadratique)
Corrige detaille en page 192
Soient A /
N
(IR), b IR
N
, et f la fonction de IR
N
dans IR denie par
f(x) =
1
2
Ax x b x.
1. Montrer que f C

(IR
N
,IR) et calculer le gradient et la matrice hessienne
de f en tout point.
2. Montrer que si A est symetrique denie positive alors il existe un unique
x IR
N
qui minimise f, et que ce x est lunique solution du syst`eme lineaire
Ax = b.
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 83
3.3 Algorithmes doptimisation sans contrainte
Soit E = IR
N
et f C(E,IR). On suppose quil existe x E tel que
f( x) = inf
E
f. On cherche `a calculer x (si f est de classe C
1
, on a necessairement
f( x) = 0). On va donc maintenant developper des algorithmes (ou methodes
de calcul) du point x qui realise le minimum de f.
3.3.1 Methodes de descente
Denition 3.14 Soient f C(E,IR) et E = IR
N
.
1. Soit x E, on dit que w E 0 est une direction de descente en x sil
existe
0
> 0 tel que
f(x +w) f(x) [0,
0
]
2. Soit x E, on dit que w E 0 est une direction de descente stricte
en x si sil existe
0
> 0 tel que
f(x +w) < f(x) ]0,
0
].
3. Une methode de descente pour la recherche de x tel que f( x) = inf
E
f
consiste ` a construire une suite (x
n
)
n
de la mani`ere suivante :
(a) Initialisation x
0
E ;
(b) Iteration n: on suppose x
0
. . . x
n
connus (n 0) ;
i. On cherche w
n
direction de descente stricte de x
n
ii. On prend x
n+1
= x
n
+
n
w
n
avec
n
> 0 bien choisi.
Proposition 3.15 Soient E = IR
N
, f C
1
(E,IR), x E et w E 0 ;
alors
1. si w direction de descente en x alors w f(x) 0
2. si f(x) ,= 0 alors w = f(x) est une direction de descente stricte en
x.
Demonstration
1. Soit w E 0 une direction de descente en x alors par denition,

0
> 0 tel que f(x +w) f(w), [0,
0
].
Soit la fonction de IR dans IR denie par : () = f(x + w). On a
C
1
(IR,IR) et

() = f(x +w) w. Comme w est une direction de


descente, on peut ecrire : () (0), [0,
0
], et donc
]0,
0
[,
() (0)

0;
en passant `a la limite lorsque tend vers 0, on deduit que

(0) 0, c.`a.d.
f(x) w 0.
84 CHAPITRE 3. OPTIMISATION
2. Soit w = f(x) ,= 0. On veut montrer quil existe
0
> 0 tel que si
]0,
0
] alors f(x + w) < f(x) ou encore que () < (0) o` u est la
fonction denie en 1 ci-dessus. On a :

(0) = f(x) w = [f(x)[


2
< 0.
Comme

est continue, il existe


0
> 0 tel que si [0,
0
] alors

() <
0. Si ]0,
0
] alors () (0) =
_

(t)dt < 0, et on a donc bien


() < (0) pour tout ]0,
0
], ce qui prouve que w est une direction de
descente stricte en x.
Algorithme du gradient `a pas xe Soient f C
1
(E,IR) et E = IR
N
. On
se donne > 0.
_

_
Initialisation: x
0
E,
Iteration n: x
n
connu, (n 0)
w
n
= f(x
n
),
x
n+1
= x
n
+w
n
.
(3.3.10)
Theor`eme 3.16 (Convergence du gradient `a pas xe) Soient E = IR
N
et f C
1
(E,IR) On suppose que :
1. > 0 tel que (f(x) f(y)) (x y) |x y|
2
, (x,y) E
2
,
2. M > 0 tel que |f(x) f(y)| M|x y|, (x,y) E
2
,
alors :
1. f est strictement convexe,
2. f(x) + quand [x[ +,
3. il existe un et un seul x E tel que f( x) = inf
E
f (consequence de 1. et 2.),
4. si 0 < <
2
M
2
alors la suite (x
n
)
nIN
construite par (3.3.10) converge
vers x lorsque n + .
La demonstration de ce theor`eme fait lobjet de lexercice 47.
Algorithme du gradient `a pas optimal Lidee de lalgorithme du gradient
`a pas optimal est dessayer de calculer `a chaque iteration le param`etre qui mi-
nimise la fonction dans la direction de descente donnee par le gradient. Soient
f C
1
(E,IR) et E = IR
N
, cet algorithme secrit :
_

_
Initialisation : x
0
IR
N
.
Iteration n: x
n
connu.
On calcule w
n
= f(x
n
).
On choisit
n
0 tel que
f(x
n
+
n
w
n
) f(x
n
+w
n
) 0.
On pose x
n+1
= x
n
+
n
w
n
.
(3.3.11)
Les questions auxquelles on doit repondre pour sassurer du bien fonde de
ce nouvel algorithme sont les suivantes :
1. Existetil
n
tel que f(x
n
+
n
w
n
) f(x
n
+w
n
), 0?
2. Comment calculeton
n
?
3. La suite (x
n
)
nIN
construite par lalgorithme convergetelle?
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 85
La reponse aux questions 1. et 3. est apportee par le theor`eme suivant :
Theor`eme 3.17 (Convergence du gradient `a pas optimal)
Soit f C
1
(IR
N
,IR) telle que f(x) + quand [x[ +. Alors :
1. La suite (x
n
)
nIN
est bien denie par (3.3.11). On choisit
n
> 0 tel
que f(x
n
+
n
w
n
) f(x
n
+ w
n
) 0 (
n
existe mais nest pas
necessairement unique).
2. La suite (x
n
)
nIN
est bornee et si (x
n
k
)
kIN
est une sous suite convergente,
i.e. x
n
k
x lorsque k +, on a necessairement f(x) = 0. De plus
si f est convexe on a f(x) = inf
IR
N
f
3. Si f est strictement convexe on a alors x
n
x quand n +, avec
f( x) = inf
IR
N
f
La demonstration de ce theor`eme fait lobjet de lexercice 48. On en donne
ici les idees principales.
1. On utilise lhypoth`ese f(x) + quand [x[ + pour montrer que la
suite (x
n
)
nIN
construite par (3.3.11) existe : en eet, `a x
n
connu,
1er cas : si f(x
n
) = 0, alors x
n+1
= x
n
et donc x
p
= x
n
p n,
2`eme cas : si f(x
n
) ,= 0, alors w
n
= f(x
n
) est une direction de des-
cente stricte.
Dans ce deuxi`eme cas, il existe donc
0
tel que
f(x
n
+w
n
) < f(x
n
), ]0,
0
]. (3.3.12)
De plus, comme w
n
,= 0, [x
n
+ w
n
[ + quand + et donc
f(x
n
+ w
n
) + quand +. Il existe donc M > 0 tel que si
> M alors f(x
n
+w
n
) f(x
n
). On a donc :
inf
IR

+
f(x
n
+w
n
) = inf
[0,M]
f(x
n
+w
n
).
Comme [0,M] est compact, il existe
n
[0,M] tel que f(x
n
+
n
w
n
) =
inf
[0,M]
f(x
n
+w
n
). De plus on a grace `a (3.3.12) que
n
> 0.
2. Le point 2. decoule du fait que la suite (f(x
n
))
nIN
est decroissante, donc
la suite (x
n
)
nIN
est bornee (car f(x) + quand [x[ +). On
montre ensuite que si x
n
k
x lorsque k + alors f( x) = 0 (ceci est
plus dicile, les etapes sont detaillees dans lexercice 48).
Reste la question du calcul de
n
. Soit la fonction de IR
+
dans IR denie
par : () = f(x
n
+ w
n
). Comme
n
> 0 et (
n
) () pour tout IR
+
,
on a necessairement

(
n
) = f(x
n
+
n
w
n
) w
n
= 0. Considerons le cas
dune fonctionnelle quadratique, i.e. f(x) =
1
2
Ax xb x, A etant une matrice
symetrique denie positive. Alors f(x
n
) = Ax
n
b, et donc f(x
n
+
n
w
n
)
w
n
= (Ax
n
+
n
Aw
n
b)w
n
= 0. On a ainsi dans ce cas une expression explicite
de
n
:

n
=
(b Ax
n
) w
n
Aw
n
w
n
,
(en eet, Aw
n
w
n
,= 0 car A est symetrique denie positive).
86 CHAPITRE 3. OPTIMISATION
Dans le cas dune fonction f generale, on na pas en general de formule
explicite pour
n
. On peut par exemple le calculer en cherchant le zero de f

par la methode de la secante ou la methode de Newton. . .


Lalgorithme du gradient `a pas optimal est donc une methode de minimisa-
tion dont on a prouve la convergence. Cependant, cette convergence est lente
(en general lineaire), et de plus, lalgorithme necessite le calcul du param`etre

n
optimal.
Algorithme du gradient `a pas variable Dans ce nouvel algorithme, on ne
prend pas forcement le param`etre optimal pour , mais on lui permet detre
variable dune iteration `a lautre. Lalgorithme secrit :
_

_
Initialisation: x
0
IR
N
.
Iteration: On suppose x
n
connu; soit w
n
= f(x
n
) o` u : w
n
,= 0
(si w
n
= 0 lalgorithme sarrete).
On prend
n
> 0 tel que f(x
n
+
n
w
n
) < f(x
n
).
On pose x
n+1
= x
n
+
n
w
n
.
(3.3.13)
Theor`eme 3.18 (Convergence du gradient `a pas variable)
Soit f C
1
(IR
N
,IR) une fonction telle que f(x) + quand [x[ +,
alors :
1. On peut denir une suite (x
n
)
nIN
par (3.3.13).
2. La suite (x
n
)
nIN
est bornee. Si x
n
k
x quand k + et si f(x
n
k
) 0
quand n + alors f(x) = 0. Si de plus f est convexe on a f(x) =
inf
IR
N
f
3. Si f(x
n
) 0 quand n + et si f est strictement convexe alors
x
n
x et f( x) = inf
IR
N
f.
Demonstration : Elle est facile `a partir de la demonstration du theor`eme
precedent : reprendre en ladaptant lexercice 48.
3.3.2 Exercices
Exercice 47 (Convergence de lalgorithme du gradient `a pas xe)
Suggestions en page 147, corrige detaille en page 193
Soit f C
1
(IR
N
,IR) (N 1). On suppose que f verie :
> 0 t.q. (f(x) f(y)) (x y) [x y[
2
, x,y IR
N
, (3.3.14)
M > 0 t.q. [f(x) f(y)[ M[x y[, x,y IR
N
. (3.3.15)
1. Montrer que
f(y) f(x) f(x) (y x) +

2
[y x[
2
, x,y IR
N
.
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 87
2. Montrer que f est strictement convexe et que f(x) quand [x[ .
En deduire quil existe un et un seul x IR
N
t.q. f(x) f(x) pour tout
x IR
N
.
3. Soient ]0,(2/M
2
)[ et x
0
IR
N
. Montrer que la suite (x
n
)
nIN
denie
par x
n+1
= x
n
f(x
n
) (pour n IN) converge vers x.
Exercice 48 (Convergence de lalgorithme du gradient `a pas optimal)
Suggestions en page 147, corrige detaille en page 194
Soit f C
2
(IR
N
,IR) t.q. f(x) quand [x[ . Soit x
0
IR
N
. On va
demontrer dans cet exercice la convergence de lalgorithme du gradient `a pas
optimal.
1. Montrer quil existe R > 0 t.q. f(x) > f(x
0
) pour tout x / B
R
, avec
B
R
= x IR
N
, [x[ R.
2. Montrer quil existe M > 0 t.q. [H(x)y y[ M[y[
2
pour tout y IR
N
et tout x B
R+1
(H(x) est la matrice hessienne de f au point x, R est
donne `a la question 1).
3. (Construction de la suite (x
n
)
nIN
de lalgorithme du gradient `a pas
optimal.) On suppose x
n
connu (n N). On pose w
n
= f(x
n
). Si
w
n
= 0, on pose x
n+1
= x
n
. Si w
n
,= 0, montrer quil existe > 0 t.q.
f(x
n
+w
n
) f(x
n
+w
n
) pour tout 0. On choisit alors un
n
> 0 t.q.
f(x
n
+
n
w
n
) f(x
n
+w
n
) pour tout 0 et on pose x
n+1
= x
n
+
n
w
n
.
On consid`ere, dans les questions suivantes, la suite (x
n
)
nIN
ainsi construite.
4. Montrer que (avec R et M donnes aux questions precedentes)
(a) la suite (f(x
n
))
nIN
est une suite convergente,
(b) x
n
B
R
pour tout n IN,
(c) f(x
n
+w
n
) f(x
n
)[w
n
[
2
+(
2
/2)M[w
n
[
2
pour tout [0,1/[w
n
[].
(d) f(x
n+1
) f(x
n
) [w
n
[
2
/(2M), si [w
n
[ M.
(e) f(x
n+1
) +f(x
n
) [w
n
[
2
/(2M), avec M = sup(M,

M),

M = sup[f(x)[, x B
R
.
5. Montrer que f(x
n
) 0 (quand n ) et quil existe une sous suite
(n
k
)
kIN
t.q. x
n
k
x quand k et f(x) = 0.
6. On suppose quil existe un unique x IR
N
t.q. f(x) = 0. Montrer que
f(x) f(x) pour tout x IR
N
et que x
n
x quand n .
Exercice 49 (Fonction non croissante `a linni)
Suggestions en page 147.
Soient N 1, f C
2
(IR
N
,IR) et a IR. On suppose que A = x
IR
N
; f(x) f(a) est un ensemble borne de IR
N
et quil existe M IR t.q.
[H(x)y y[ M[y[
2
pour tout x, y IR
N
(o` u H(x) designe la matrice hessienne
de f au point x).
1. Montrer quil existe x A t.q. f(x) = minf(x), x IR
N
(noter quil
ny a pas necessairement unicite de x).
88 CHAPITRE 3. OPTIMISATION
2. Soit x A t.q. f(x) ,= 0. On pose T(x) = sup 0; [x,x f(x)]
A. Montrer que 0 < T(x) < + et que [x,x T(x)f(x)] A (o` u
[x,x T(x)f(x)] designe lensemble tx + (1 t)(x T(x)f(x)),t
[0,1].
3. Pour calculer une valeur appochee de x (t.q. f(x) = minf(x),x IR
N
),
on propose lalgorithme suivant:
Initialisation: x
0
A,
Iterations: Soit k 0. Si f(x
k
) = 0, on pose x
k+1
= x
k
. Si f(x
k
) ,= 0,
On choisit
k
[0,T(x
k
)] t.q. f(x
k

k
f(x
k
)) = minf(x
k
f(x
k
)),
0 T(x
k
) (La fonction T est denie `a la question 2) et on pose
x
k+1
= x
k

k
f(x
k
).
(a) Montrer que, pour tout x
0
A, lalgorithme precedent denit une
suite (x
k
)
kIN
A (cest `a dire que, pour x
k
A, il existe bien
au moins un element de [0,T(x
k
)], note
k
, t.q. f(x
k

k
f(x
k
) =
minf(x
k
f(x
k
)), 0 T(x
k
)).
(b) Montrer que cet algorithme nest pas necessairement lalgorithme du
gradient `a pas optimal. [on pourra chercher un exemple avec N = 1.]
(c) Montrer que f(x
k
) f(x
k+1
)
|f(x
k
)|
2
2M
, pour tout k IN.
4. On montre maintenant la convergence de la suite (x
k
)
kIN
construite `a la
question precedente.
(a) Montrer quil existe une sous suite (x
kn
)
nIN
et x A t.q. x
kn
x,
quand n , et f(x) = 0.
(b) On suppose, dans cette question, quil existe un et un seul element
z A t.q. f(z) = 0. Montrer que x
k
z, quand k , et que
f(z) = minf(x),x A.
3.3.3 Algorithmes du gradient conjugue
La methode du gradient conjugue a ete decouverte en 1952 par Hestenes
et Steifel pour la minimisation de fonctionnelles quadratiques, cest-`a -dire de
fonctionnelles de la forme
f(x) =
1
2
Ax x b x,
o` u A /
N
(IR) est une matrice symetrique denie positive et b IR
N
. On
rappelle (voir section (3.2.2) et exercice (46)) que f( x) = inf
IR
N
f A x = b.
Denition 3.19 (Vecteurs conjugues) Soit A /
N
(IR) une matrice syme-
trique denie positive,
1. Deux vecteurs v et w de IR
N
0 sont dits A-conjugues si Av w =
w Av = 0.
2. Une famille (w
(1)
, . . . ,w
(p)
) de IR
N
0 est dite A-conjuguee si w
(i)

Aw
(j)
= 0 pour tout couple (i,j) 1, . . . ,p
2
tel que i ,= j.
Proposition 3.20 Soit A /
N
(IR) une matrice symetrique denie positive,
(w
(1)
, . . . ,w
(p)
) une famille de IR
N
, alors :
1. si la famille (w
(1)
, . . . ,w
(p)
) est A-conjuguee alors elle est libre ;
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 89
2. dans le cas o` u p = N, si la famille (w
(1)
, . . . ,w
(N)
) est A-conjuguee alors
cest une base de IR
N
.
Demonstration: Le point 2. est immediat d`es quon a demontre le point 1.
Supposons donc que (w
(1)
, . . . ,w
(p)
) est une famille A-conjuguee, i.e. w
(i)
,= 0, i
et w
(i)
Aw
(j)
= 0 si i ,= j ; soit (
i
)
i=1,...,p
IR, supposons que

p
i=1

i
w
(i)
= 0,
on a donc

p
i=1

i
w
(i)
Aw
(j)
= 0 et donc
j
w
(j)
Aw
(j)
= 0. Or w
(j)
Aw
(j)
,= 0
car w
(j)
,= 0 et A est symetrique denie positive. On en deduit que
j
= 0 pour
j = 1, . . . ,p. La famille (w
(1)
, . . . ,w
(p)
) est donc libre.
Proposition 3.21 Soit A /
N
(IR) une matrice symetrique denie positive,
b IR
N
et f une fonction denie de IR
N
dans IR
N
par f(x) =
1
2
Ax x b x.
On suppose que la suite (x
(n)
)
n
est denie par :
Initialisation x
(0)
IR
N
Iteration n x
(n+1)
= x
(n)
+
n
w
(n)
o` u
1) w
(n)
,= 0 est une direction de descente stricte en x
(n)
2)
n
est optimal dans la direction w
(n)
.
Si la famille (w
(0)
, . . . ,w
(N1)
) est une famille A-conjuguee alors x
(N)
= x
avec A x = b.
Demonstration Soit w
(n)
direction de descente stricte en x
(n)
et
n
optimal
dans la direction w
(n)
; alors
n
> 0 et f(x
(n+1)
) w
(n)
= 0, cest-`a-dire
(Ax
(n+1)
b) w
(n)
= 0 (3.3.16)
On va montrer que
(Ax
(N)
b) w
(p)
= 0, p 0, . . . ,N 1.
Comme (w
(0)
, . . . ,w
(N1)
) est une base de IR
N
, on en deduit alors que Ax
(N)
=
b, cest-`a-dire x
(N)
= x. Remarquons dabord grace `a (3.3.16) que (Ax
(N)
b)
w
(N1)
= 0. Soit maintenant p < N 1. On a :
Ax
(N)
b = A(x
(N1)
+
N1
w
(N1)
) b = Ax
(N1)
b +
N1
Aw
(N1)
.
On a donc en iterant,
Ax
(N)
b = Ax
(p+1)
b +
N1
Aw
(N1)
+. . . +
p+1
Aw
(p+1)
, p 1
. On en deduit que
(Ax
(N)
b) w
(p)
= (Ax
(p+1)
b) w
(p)
+
N1

j=p+1
(
i
Aw
j
w
(p)
).
Comme les directions w
i
sont conjuguees, on a donc (Ax
(N)
b) w
(p)
= 0 pour
tout p = 0 . . . N 1 et donc Ax
(N)
= b.
Le resultat precedent sugg`ere de rechercher une methode de minimisation
de la fonction quadratique f selon le principe suivant : Pour x
(0)
. . . x
(n)
connus,
w
(0)
, . . . ,w
(n1)
connus, on cherche w
(n)
tel que :
1. w
(n)
soit une direction de descente stricte en x
(n)
,
90 CHAPITRE 3. OPTIMISATION
2. w
(n)
soit A-conjugue avec w
(p)
pour tout p < n.
Si on arrive `a trouver w
(n)
on prend alors x
(n+1)
= x
(n)
+
n
w
(n)
avec
n
optimal
dans la direction w
(n)
. La propriete precedente donne x
(N)
= x avec A x = b.
Denition 3.22 (Methode du gradient conjugue) Soit A /
N
(IR)
une matrice symetrique denie positive, b IR
N
et f(x) =
1
2
Ax x b x.
_

_
Initialisation
Soit x
(0)
IR
N
, et soit r
(0)
= b Ax
(0)
= f(x
(0)
).
1) Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x,
auquel cas lalgorithme sarrete.
2) Si r
(0)
,= 0, alors on pose w
(0)
= r
(0)
, et on choisit
0
optimal
dans la direction w
(0)
.
On pose alors x
(1)
= x
(0)
+
0
w
(0)
.
Iteration 1 n N 1 :
On suppose x
(0)
, . . . ,x
(n)
et w
(0)
, . . . ,w
(n1)
connus et on pose
r
(n)
= b Ax
(n)
.
1) Si r
(n)
= 0 on a Ax
(n)
= b donc x
(n)
= x
auquel cas lalgorithme sarrete.
2) Si r
(n)
,= 0, alors on pose w
(n)
= r
(n)
+
n1
w
(n1)
avec
n1
tel que w
(n)
Aw
(n1)
= 0,
et on choisit
n
optimal dans la direction w
(n)
;
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
.
(3.3.17)
Theor`eme 3.23 Soit A une symetrique denie positive, A /
N
(IR), b IR
N
et f(x) =
1
2
Ax xb x alors (3.3.17) denit une suite (x
(n)
)
n=0,...,p
avec p N
telle que x
(N)
= x avec A x = b.
Demonstration
Initialisation Si r
(0)
= 0, alors Ax
(0)
= b et donc x
(0)
= x auquel cas p = 0.
Si r
(0)
,= 0, comme w
(0)
= r
(0)
= b Ax
(0)
= f(x
(0)
), w
(0)
est une direction
de descente stricte ; il existe donc
0
qui minimise la fonction denie de IR
dans IR par () = f(x
(0)
+w
(0)
). La valeur de
0
est obtenue en demandant
que

() = 0, ce qui donne :
0
=
r
(0)
w
(0)
Aw
(0)
w
(0)
. Lelement x
(1)
= x
(0)
+
0
w
(0)
est donc bien deni. Notons que r
(1)
= Ax
(1)
b = r
(0)

0
Aw
(0)
, et donc
r
(1)
w
(0)
= 0.
Iteration n
On suppose x
(0)
, . . . ,x
(n)
et w
(0)
, . . . ,w
(n)
connus, et on pose r
(n)
= bAx
(n)
.
Si r
(n)
= 0 alors Ax
(n)
= b et donc x
(n)
= x auquel cas lalgorithme sarrete
et p = n.
Si r
(n)
,= 0, on pose w
(n)
= r
(n)
+
n1
w
(n1)
. Comme w
(n1)
,= 0, on peut
choisir
n1
tel que w
(n)
Aw
(n1)
= 0, c.`a.d. (r
(n)
+
n1
w
(n1)
) Aw
(n1)
= 0,
en prenant

n1
=
r
(n)
Aw
(n1)
w
(n1)
Aw
(n1)
.
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 91
Montrons maintenant que w
(n)
est une direction de descente stricte en x
(n)
.
On a :
w
(n)
(f(x
(n)
)) = (r
(n)
+
n1
w
(n1)
) (f(x
(n)
))
= (f(x
(n)
) +
n1
w
n1
) (f(x
n
))
= [f(x
(n)
)[
2

n1
w
(n1)
f(x
(n)
).
Or w
(n1)
f(x
(n)
) = 0 car
n1
est le param`etre de descente optimal en
x
(n1)
dans la direction w
(n1)
, on a donc :
w
(n)
f(x
(n)
) = [f(x
(n)
)[
2
= [r
(n)
[
2
> 0
ceci donne que w
(n)
est une direction de descente stricte en x
(n)
On peut choisir

n
> 0 optimal en x
(n)
dans la direction w
(n)
, et le calcul de
n
(similaire `a
celui de letape dinitialisation) donne

n
=
r
(n)
w
(n)
Aw
(n)
w
(n)
. (3.3.18)
On peut donc bien denir x
(n+1)
= x
(n)
+
n
w
(n)
. Remarquons que ce choix de

n
entrane que
r
(n)
w
(n1)
= 0. (3.3.19)
Pour pouvoir appliquer la proposition 3.21, il reste `a montrer que la famille
w
(0)
, . . . ,w
(n)
est A-conjuguee. Ceci est lobjet de la proposition 3.24 qui suit.
Gr ace `a cette proposition, on obtient que si r
(n)
,= 0, n = 0, . . . ,N1, la famille
(w
(0)
, . . . ,w
(N1)
) est donc A-conjuguee, et w
(n)
est une direction de descente
stricte en x
(n)
pour tout n N 1. On en deduit par la proposition 3.21 que
x
(N)
= x.
Proposition 3.24 Sous les hypoth`eses et notations de la denition 3.22, soit
n IN tel que 1 n N, si r
(q)
,= 0 pour 0 q n, les proprietes suivantes
sont veriees :
1. r
(n)
w
(q)
= 0, q = 0, . . . , n 1,
2. Vect(r
(0)
, . . . , r
(n)
) = Vect(r
(0)
, . . . , A
n
r
(0)
),
3. Vect(w
(0)
, . . . , w
(n)
) = Vect(r
(0)
, . . . , A
n
r
(0)
),
4. w
(n)
Aw
(q)
= 0, q = 0, . . . , n 1,
5. r
(n)
r
(q)
= 0, q = 0, . . . , n 1,
o` u V ect(w
(0)
, . . . , w
(n)
) designe lespace vectoriel engendre par les vecteurs w
(0)
,
. . . , w
(n)
. En particulier, la famille (w
(0)
, . . . , w
(N1)
) est A-conjuguee.
Lespace Vect(r
(0)
, . . . ,A
n
r
(0)
) est appele espace de Krylov. La demonstration
de cette proposition se fait par recurrence, et necessite les petits resultats
preliminaires suivants :
Lemme 3.25 Sous les hypoth`eses et notations de la denition 3.22, on a :

n
=
r
(n)
r
(n)
w
(n)
Aw
(n)
, (3.3.20)
92 CHAPITRE 3. OPTIMISATION
r
(n)
= r
(n1)
+
n1
Aw
(n1)
, (3.3.21)
r
(n)
r
(n1)
= 0, (3.3.22)

n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
, (3.3.23)
Demonstration :
1. Comme
n
est le param`etre optimal dans la direction w
(n)
, on sait (voir
(3.3.18)) que

n
=
r
(n)
w
(n)
Aw
(n)
w
(n)
.
Or par denition, w
(n)
= r
(n)
+
n1
w
(n1)
, et donc w
(n)
r
(n)
= r
(n)
r
(n)
+

n1
w
(n1)
r
(n)
. Il ne reste plus `a remarquer que w
(n1)
r
(n)
= 0 en raison
de loptimalite de
n1
(voir (3.3.19)). On en deduit que

n
=
r
(n)
r
(n)
w
(n)
Aw
(n)
.
2. Par denition, x
(n)
= x
(n1)
+
n1
w
(n1)
, donc Ax
(n)
= Ax
(n1)
+

n1
Aw
(n1)
, ce qui entrane r
(n)
= r
(n1)
+
n1
Aw
(n1)
.
3. Par denition, et grace `a (3.3.21), on a :
r
(n)
r
(n1)
= r
(n1)
r
(n1)
+
n1
Aw
(n1)
r
(n1)
.
Or w
(n1)
= r
(n1)
+
n1
w
(n2)
, et donc r
(n1)
= w
(n1)

n1
w
(n2)
. On
en deduit que
r
(n)
r
(n1)
= r
(n1)
r
(n1)

n1
Aw
(n1)
w
(n1)

n1

n1
Aw
(n1)
w
(n2)
.
Or Aw
(n1)
w
(n2)
= 0 et par (3.3.20), on a r
(n1)
r
(n1)

n1
Aw
(n1)

w
(n1)
= 0.
4. Par denition,

n1
=
r
(n)
Aw
(n1)
w
(n1)
Aw
(n1)
.
Or par (3.3.21), on a :
Aw
(n1)
=
1

n1
(r
(n1)
r
(n)
).
On conclut grace `a (3.3.22) et (3.3.20).
Demonstration de la proposition (3.24)
On demontre les proprietes 1. `a 5 par recurrence.
Etudions tout dabord le cas n = 1. Remarquons que r
(1)
w
(0)
= 0 en vertu
de (3.3.19) (on rappelle que cette propriete decoule du choix optimal de
0
).
On a grace `a (3.3.21) :
r
(1)
= r
(0)

0
Aw
(0)
= r
(0)

0
Ar
(0)
,
car w
(0)
= r
(0)
. On a donc V ect(r
(0)
,r
(1)
) = V ect(r
(0)
,Ar
(0)
).
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 93
De plus, comme w
(0)
= r
(0)
, et w
(1)
= r
(1)
+
1
w
(0)
, on a
V ect(r
(0)
,r
(1)
) = V ect(w
(0)
,w
(1)
).
On en deduit que 2. et 3. sont vraies pour n = 1.
Enn, on a bien w
(1)
Aw
(0)
= 0 car w
(0)
et w
(1)
sont conjuguees, et r
(0)

r
(1)
= 0 en vertu de (3.3.22).
On a ainsi montre que les proprietes 1. `a 5. sont veriees au rang n = 1.
Supposons maintenant que ces proprietes soient veriees jusquau rang n, et
demontrons quelles le sont encore au rang n + 1.
1. En vertu de (3.3.21), et par les hypoth`eses de recurrence 1. et 4., on a :
r
(n+1)
w
(q)
= r
(n)
w
(q)

n
Aw
(n)
w
(q)
= 0, q n 1.
De plus, (3.3.22) entrane r
(n+1)
w
(n)
= 0
2. Montrons que V ect(r
(0)
,r
(1)
. . . ,r
(n+1)
) = V ect(r
(0)
,Ar
(0)
, . . . ,A
(n+1)
r
(0)
).
Pour ce faire, commen cons par remarquer que
r
(n+1)
V ect(r
(0)
,Ar
(0)
. . . ,A
(n+1)
r
(0)
).
En eet, en vertu de (3.3.21), on a : r
(n+1)
= r
(n)

n
Aw
(n)
, et par hypoth`ese
de recurrence, on a
r
(n)
V ect(r
(0)
,Ar
(0)
. . . ,A
n
r
(0)
), et w
(n)
V ect(r
(0)
,Ar
(0)
. . . ,A
n
r
(0)
).
Montrons maintenant que A
n+1
r
(0)
V ect(r
(0)
,r
(1)
. . . ,r
(n+1)
). Comme r
(n+1)

V ect(r
(0)
,Ar
(0)
. . . ,A
(n+1)
r
(0)
), il existe une famille (
k
)
k=0,...,n+1
telle que
r
(n+1)
=
n+1

k=0

k
A
k
r(0) =
n

k=0

k
A
k
r(0) +
n+1
A
n+1
r
(0)
.
Or grace `a la propriete 1. on sait que r
(n+1)
w
(q)
= 0, q n, et donc r
(n+1)
,
V ect(w
(0)
,w
(1)
. . . ,w
(n)
). On a donc
n+1
,= 0, et on peut donc ecrire
A
n+1
r
(0)
=
1

n+1
(r
(n+1)

k=0

k
A
k
r
(0)
) V ect(r
(0)
,r
(1)
. . . ,r
(n+1)
),
par hypoth`ese de recurrence.
3. Montrons maintenant que
V ect(w
(0)
,w
(1)
. . . ,w
(n+1)
) = V ect(r
(0)
,Ar
(0)
. . . ,A
n+1
r
(0)
).
On a : w
(n+1)
= r
(n+1)
+
n
w
(n)
. Or on vient de montrer que
r
(n+1)
V ect(r
(0)
,Ar
(0)
. . . ,A
n+1
r
(0)
),
et par hypoth`ese de recurrence, w
(n)
V ect(r
(0)
,Ar
(0)
. . . ,A
n
r
(0)
). On a donc
bien w
(n+1)
V ect(r
(0)
,Ar
(0)
. . . ,A
n+1
r
(0)
).
Montrons que reciproquement, A
n+1
r
(0)
) V ect(w
(0)
,w
(1)
. . . ,w
(n+1)
). On
a montre en 2. que
A
n+1
r
(0)
=
1

n+1
(r
(n+1)

k=0

k
A
k
r
(0)
).
94 CHAPITRE 3. OPTIMISATION
Or r
(n+1)
= w
(n+1)

n
w
(n)
V ect(w
(0)
,w
(1)
. . . ,w
(n+1)
), et
n

k=0

k
A
k
r
(0)
) V ect(r
(0)
,r
(1)
. . . ,r
(n)
) = V ect(w
(0)
,w
(1)
. . . ,w
(n)
),
par hypoth`ese de recurrence. On en deduit que
A
n+1
r
(0)
V ect(w
(0)
,w
(1)
. . . ,w
(n)
).
4. On veut maintenant montrer que w
(n+1)
Aw
(q)
= 0, q n. Pour q = n,
cette propriete est veriee en raison du choix de w
(n+1)
(conjuguee avec w
(n)
).
Pour q < n, on calcule :
w
(n+1)
Aw
(q)
= r
(n+1)
Aw
(q)
+
n
w
(n)
Aw
(q)
. (3.3.24)
Or w
(n)
Aw
(q)
= 0 pour tout q n 1 par hypoth`ese de recurrence. De
plus, toujours par hypoth`ese de recurrence, w
(q)
V ect(r
(0)
,Ar
(0)
. . . ,A
q
r
(0)
),
et donc
Aw
(q)
V ect(r
(0)
,Ar
(0)
. . . ,A
q+1
r
(0)
) = V ect(w
(0)
,w
(1)
. . . ,w
(q+1)
).
On a montre en 1. que r
(n+1)
w
(k)
= 0 pour tout k n, on a donc r
(n+1)

Aw
(q)
= 0, et en reportant dans (3.3.24), on obtient donc que w
(n+1)
Aw
(q)
= 0
pour tout q n.
5. Il reste `a montrer que r
(n+1)
r
(q)
= 0 pour tout q n. Pour q = n, on
la demontre dans le lemme 3.25. Pour q n 1, on a
r
(n+1)
r
(q)
= (r
(n)

n
Aw
(n)
) r
(q)
= r
(n)
r
(q)

n
Aw
(n)
r
(q)
.
Or r
(n)
r
(q)
= 0 par hypoth`ese de recurrence, et Aw
(n)
r
(q)
= w
(n)
Ar
(q)
; or
Ar
(q)
V ect(r
(0)
, . . . ,r
(q)
et w
(n)
r
(k)
= 0 pour tout k n 1 par hypoth`ese
de recurrence 1. On en deduit que r
(n+1)
r
(q)
= 0.
Ceci termine la demonstration de la proposition (3.24).
Remarque 3.26 (Gradient conjugue preconditionne)
1. On a vu que
n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
et que
n
=
r
(n)
r
(n)
w
(n)
Aw
(n)
.
On peut calculer le nombre doperations necessaires pour calculer x (c.` a.d.
pour calculer x
(N)
, sauf dans le cas miraculeux o` u x
(N)
= x pour n < N) et
montrer (exercice) que :
N
gc
= 2N
3
+O(N
2
)
On rappelle que le nombre doperations pour Choleski est
N
3
6
donc la methode
nest pas interessante comme methode directe car elle demande 12 fois plus
doperations que Choleski.
2. On peut alors se demander si la methode est interessante comme methode
iterative, c.` a.d. si on peut esperer que x
(n)
soit proche de x pour n N.
Malheureusement, si la dimension N du syst`eme est grande, ceci nest pas le
cas en raison de laccumulation des erreurs darrondi. Il est meme possible de
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 95
devoir eectuer plus de N iterations pour se rapprocher de x. Cependant, dans
les annees 80, des chercheurs se sont rendus compte que ce defaut pouvait etre
corrige ` a condition dutiliser un preconditionnement. Donnons par exemple
le principe du preconditionnement dit de Choleski incomplet.
On calcule une approximation de la matrice de Choleski de A c.` a.d. quon
cherche L triangulaire inferieure inversible telle que A soit proche de LL
t
, en
un sens ` a denir. Si on pose y = L
t
x, alors le syst`eme Ax = b peut aussi secrire
L
1
A(L
t
)
1
y = L
1
b, et le syst`eme (L
t
)
1
y = x est facile ` a resoudre car L
t
est
triangulaire superieure. Soit B /
N
(IR) denie par B = L
1
A(L
t
)
1
. Alors
B
t
= ((L
t
)
1
)
t
A
t
(L
1
)
t
= L
1
A(L
t
)
1
= B
et donc B est symetrique. De plus,
Bx x = L
1
A(L
t
)
1
x x = A(L
t
)
1
x (L
t
)
1
x,
et donc Bx x > 0 si x ,= 0. La matrice B est donc symetrique denie positive.
On peut donc appliquer lalgorithme du gradient conjugue ` a la recherche du
minimum de la fonction f denie par
f(y) =
1
2
By y L
1
b y.
On en deduit lexpression de la suite (y
(n)
)
nIN
et donc (x
(n)
)
nIN
.
On peut alors montrer que lalgorithme du gradient conjugue preconditionne
ainsi obtenu peut secrire directement pour la suite (x
(n)
)
nIN
, de la mani`ere
suivante :
Iteration n On pose r
(n)
= b Ax
(n)
,
on calcule s
(n)
solution de LL
t
s
(n)
= r
(n)
.
On pose alors
n1
=
s
(n)
r
(n)
s
(n1)
r
(n1)
et w
(n)
= s
(n)
+
n1
w
(n1)
.
Le param`etre optimal
n
a pour expression :
n
=
s
(n)
r
(n)
Aw
(n)
w
(n)
, et on pose
alors x
(n+1)
= x
(n)
+
n
w
(n)
.
Le choix de la matrice L peut se faire par exemple dans le cas dune matrice
creuse, en eectuant une factorisation LL
t
incompl`ete, qui consiste ` a ne rem-
plir que certaines diagonales de la matrice L pendant la factorisation, et laisser
les autres ` a 0.
On peut generaliser le principe de lalgorithme du gradient conjugue `a une
fonction f non quadratique. Pour cela, on reprend le meme algorithme que
(3.3.17), mais on adapte le calcul de
n1
et
n
.
Iteration n:
A x
(0)
, . . . ,x
(n)
et w
(0)
, . . . ,w
(n1)
connus, on calcule r
(n)
= f(x
(n)
).
Si r
(n)
= 0 alors Ax
(n)
= b et donc x
(n)
= x auquel cas lalgorithme sarrete.
Si r
(n)
,= 0, on pose w
(n)
= r
(n)
+
n1
w
(n1)
o` u
n1
peut etre choisi de
dierentes mani`eres :
1`ere methode (FletcherReeves)

n1
=
r
(n)
r
(n)
r
(n1)
r
(n1)
,
96 CHAPITRE 3. OPTIMISATION
2`eme methode (PolakRibi`ere)

n1
=
(r
(n)
r
(n1)
) r
(n)
r
(n1)
r
(n1)
.
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
, o` u
n
est choisi, si possible, optimal
dans la direction w
(n)
.
La demonstration de la convergence de lalgorithme de PolakRibi`ere fait
lobjet de lexercice 50 page 100.
En resume, la methode du gradient conjugue est tr`es ecace dans le cas
dune fonction quadratique `a condition de lutiliser avec preconditionnement.
Dans le cas dune fonction non quadratique, le preconditionnement nexiste pas
et il vaut donc mieux la reserver au cas N petit.
3.3.4 Methodes de Newton et QuasiNewton
Soit f C
2
(IR
N
,IR) et g = f C
1
(IR
N
,IR
N
). On a dans ce cas :
f(x) = inf
IR
N
f g(x) = 0.
Si de plus f est convexe alors on a g(x) = 0 f(x) = inf
IR
N
f. Dans ce cas
dequivalence, on peut employer la methode de Newton pour minimiser f en
appliquant lalgorithme de Newton pour chercher un zero de g = f. On a
D(f) = H
f
o` u H
f
(x) est la matrice hessienne de f en x. La methode de
Newton secrit dans ce cas :
_
Initialisation x
(0)
IR
N
,
Iteration n H
f
(x
(n)
)(x
(n1)
x
(n)
) = f(x
(n)
).
(3.3.25)
Remarque 3.27 La methode de Newton pour minimiser une fonction f convexe
est une methode de descente. En eet, si H
f
(x
n
) est inversible, on a x
(n+1)

x
(n)
= [H
f
(x
(n)
)]
1
(f(x
(n)
)) soit encore x
(n+1)
= x
(n)
+
n
w
(n)
o` u
n
= 1
et w
(n)
= [H
f
(x
(n)
)]
1
(f(x
(n)
)). Si f est convexe, H
f
est une matrice
symetrique positive (dej` a vu). Comme on suppose H
f
(x
(n)
) inversible par hy-
poth`ese, la matrice H
f
(x
(n)
) est donc symetrique denie positive.
Donc w
(n)
est alors une direction de descente stricte si w
(n)
,= 0 (donc
f(x
(n)
) ,= 0). On en deduit que
w
(n)
f(x
(n)
) = [H
f
(x
(n)
)]
1
f(x
(n)
) f(x
(n)
) > 0
ce qui est une condition susante pour que w
(n)
soit une direction de descente
stricte.
La methode de Newton est donc une methode de descente avec w
(n)
=
H
f
(x
(n)
)(f(x
(n)
)) et
n
= 1.
On peut aussi remarquer, en vertu du theor`eme 2.16 page 62, que si f
C
3
(IR
N
,IR), si x est tel que f( x) = 0 et si H
f
( x) = D(f)( x) est inversible
alors il existe > 0 tel que si x
0
B( x,), alors la suite (x
(n)
)
n
est bien denie
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 97
par (3.3.25) et x
(n)
x lorsque n +. De plus, dapr`es la proposition 2.14,
il existe > 0 tel que [x
(n+1)
x[ [x
(n)
x[
2
pour tout n IN.
Remarque 3.28 (Sur limplantation numerique) La convergence de la methode
de Newton est tr`es rapide, mais necessite en revanche le calcul de H
f
(x), qui
peut saverer impossible ou trop co uteux.
On va maintenant donner des variantes de la methode de Newton qui evitent le
calcul de la matrice hessienne.
Proposition 3.29 Soient f C
1
(IR
N
,IR), x IR
N
tel que f(x) ,= 0, et soit
B /
N
(IR) une matrice symetrique denie positive ; alors w = Bf(x) est
une direction de descente stricte en x.
Demontration On a : w f(x) = Bf(x) f(x) < 0 car B est
symetrique denie positive et f(x) ,= 0 donc w est une direction de des-
cente stricte en x. En eet, soit la fonction de IR dans IR denie par () =
f(x + w). Il est clair que C
1
(IR,IR),

() = f(x + w) w et

(0) =
f(x) w < 0. Donc
0
> 0 tel que

() < 0 si ]0,
0
[. Par le theor`eme
des accroissements nis, () < (0) ]0,
0
[ donc w est une direction de
descente stricte.
Methode de Broyden Une premi`ere idee pour construire une methode de
type quasi Newton est de prendre comme direction de descente en x
(n)
le vecteur
w
(n)
= (B
(n)
)
1
(f(x
(n)
)) o` u la matrice B
(n)
est censee approcher H
f
(x
(n)
)
(sans calculer la derivee seconde de f). On suppose x
(n)
,x
(n1)
et B
(n1)
connus.
Voyons comment on peut determiner B
(n)
. On peut demander par exemple que
la condition suivante soit satisfaite :
f(x
(n)
) f(x
(n1)
) = B
(n)
(x
(n)
x
(n1)
). (3.3.26)
Ceci estun syst`eme `a N equations et N N inconnues, et ne permet donc pas
determiner enti`erement la matrice B
(n)
si N > 1. Voici un moyen possible pour
determiner enti`erement B
(n)
, d u `a Broyden. On pose s
(n)
= x
(n)
x
(n1)
, on
suppose que s
(n)
,= 0, et on pose y
(n)
= f(x
(n)
) f(x
n1
). On choisit alors
B
(n)
telle que :
_
B
(n)
s
(n)
= y
(n)
B
(n)
s = B
(n1)
s, s s
(n)
(3.3.27)
On a exactement le nombre de conditions quil faut avec (3.3.27) pour
determiner enti`erement B
(n)
. Ceci sugg`ere la methode suivante :
Initialisation Soient x
(0)
IR
N
et B
(0)
une matrice symetrique denie po-
sitive. On pose w
(0)
= (B
(0)
)
1
(f(x
(0)
)) ; alors w
(0)
est une direction
de descente stricte sauf si f(x
(0)
) = 0.
On pose alors x
(1)
= x
(0)
+
(0)
w
(0)
, o` u
(0)
est optimal dans la direction
w
(0)
.
Iteration n On suppose x
(n)
, x
(n1)
et B
(n1)
connus, (n 1), et on calcule
B
(n1)
par (3.3.27). On pose w
(n)
= (B
(n)
)
1
(f(x
(n)
)). On choisit
(n)
optimal en x
(n)
dans la direction w
(n)
, et on pose x
(n+1)
= x
(n)
+
(n)
w
(n)
.
Le probl`eme avec cet algorithme est que si la matrice est B
(n1)
symetrique
denie positive, la matrice B
(n)
ne lest pas forcement, et donc w
(n)
nest pas
forcement une direction de descente stricte. On va donc modier cet algorithme
dans ce qui suit.
98 CHAPITRE 3. OPTIMISATION
Methode de BFGS (Broyden-Fletcher-Goldfarb-Shanno On cherche
B
(n)
proche de B
(n1)
, telle que B
(n)
verie (3.3.26) et telle que si B
(n1)
est symetrique denie positive alors B
(n)
est symetrique denie positive. On
munit /
N
(IR) dune norme induite par un produit scalaire (par exemple si
A /
N
(IR) et A = (a
i,j
)
i,j=1,...,N
on prend |A| =

_
N

i,j=1
a
2
i,j
.) /
N
(IR) est
alors un espace de Hilbert.
On suppose x
(n)
, x
(n1)
, B
(n1)
connus, et on denit
(
n
= B /
N
(IR)[B symetrique, veriant (3.3.26),
qui est une partie de /
N
(IR) convexe fermee non vide. On choisit alors B
(n)
=
P
Cn
B
(n1)
o` u P
Cn
designe la projection orthogonale sur (
n
. La matrice B
(n)
ainsi denie existe et est unique ; elle est symetrique dapr`es le choix de (
n
. On
peut aussi montrer que si B
(n1)
symetrique denie positive alors B
(n)
lest
aussi.
Avec un choix convenable de la norme sur /
N
(IR), on obtient le choix
suivant de B
(n)
si s
(n)
,= 0 et f(x
(n)
) ,= 0 (sinon lalgorithme sarrete) :
B
(n)
= B
(n1)
+
y
(n)
(y
(n)
)
t
(s
(n)
)
t
y
(n)

B
(n1)
s
(n)
(s
(n)
)
t
B
(n1)
(s
(n)
)
t
B
(n1)
s
(n)
. (3.3.28)
Lalgorithme obtenu est lalgorithme de BFGS (Broyden, Fletcher,...).
Algorithme de BFGS
_

_
Initialisation On choisit x
(0)
IR
N
et B
(0)
symetrique denie positive
( par exemple B
(0)
= Id) et on pose w
(0)
= B
(0)
f(x
(0)
)
si f(x
(0)
) ,= 0, on choisit
(0)
optimal dans la direction w
(0)
,
et donc w
(0)
est une direction de descente stricte.
On pose x
(1)
= x
(0)
+
(0)
w
(0)
.
Iteration n A x
(n)
, x
(n1)
et B
n1
connus (n 1)
On suppose s
(n)
= x
(n)
x
(n1)
y
(n)
= f(x) f(x
(n1
)
si s
(n)
,= 0 et f(x
(n)
) ,= 0, on choisit B
(n)
veriant (3.3.28)
On calcule w
(n)
= (B
(n)
)
1
(f(x
(n)
))
(donc w
(n)
est une direction de descente stricte en x
(n)
).
On calcule
(n)
optimal dans la direction w
(n)
et on pose x
(n+1)
= x
(n)
+
(n)
w
(n)
.
(3.3.29)
On donne ici sans demonstration le theor`eme de convergence suivant :
Theor`eme 3.30 (Fletcher, 1976) Soit f C
2
(IR
N
,IR) telle que f(x) +
quand [x[ +. On suppose de plus que f est strictement convexe (donc il
existe un unique x IR
N
tel que f( x) = inf
IR
N f) et on suppose que la matrice
hessienne H
f
( x) est symetrique denie positive.
Alors si x
(0)
IR
N
et si B
(0)
est symetrique denie positive, lalgorithme
BFGS denit bien une suite x
(n)
et on a x
(n)
x quand n +
De plus, si x
(n)
,= x pour tout n, la convergence est super lineaire i.e.
[
x
(n+1)
x
x
(n)
x
[ 0 quand n +.
3.3. ALGORITHMES DOPTIMISATION SANS CONTRAINTE 99
Pour eviter la resolution dun syst`eme lineaire dans BFGS, on peut choisir de
travailler sur (B
(n)
)
1
au lieu de B
(n)
.
_

_
Initialisation Soit x
(0)
IR
N
et K
(0)
symetrique denie positive
telle que
0
soit optimal dans la direction K
(0)
f(x
(0)
) = w
(0)
x
(1)
= x
(0)
+
0
w
(0)
Iteration n: A x
(n)
,x
(n1)
,K
(n1)
connus, n 1,
on pose s
(n)
= x
(n)
x
(n1)
, y
(n)
= f(x
(n)
) f(x
(n1)
) et K
(n)
= P
Cn
K
(n1)
On calcule w
(n)
= K
(n)
f(x
(n)
) et on choisit
n
optimal dans la direction w
(n)
.
On pose alors x
(n+1)
= x
(n)
+
n
w
(n)
.
(3.3.30)
Remarquons que le calcul de la projection de P
Cn
K
(n1)
peut seectuer avec
la formule (3.3.28) o` u on a remplace B
(n1)
par K
(n1)
. Malheureusement,
on obtient experimentalement une convergence nettement moins bonne pour
lalgorithme de quasi-Newton modie (3.3.30) que pour lalgorithme de BFGS
(3.3.28).
3.3.5 Resume sur les methodes doptimisation
Faisons le point sur les avantages et inconvenients des methodes quon a vues
sur loptimisation sans contrainte.
Methodes de gradient : Ces methodes necessitent le calcul de f(x
(n)
).
Leur convergence est lineaire (donc lente).
Methode de gradient conjugue : Si f est quadratique (c.`a.d. f(x) =
1
2
Ax
x b x avec A symetrique denie positive), la methode est excellente si
elle est utilisee avec un preconditionnement (pour N grand). Dans le cas
general, elle nest ecace que si N nest pas trop grand.
Methode de Newton: La convergence de la methode de Newton est ex-
cellente (convergence localement quadratique) mais necessite le calcul de
H
f
(x
(n)
) (et de f(
(n)
)). Si on peut calculer H
f
(x
(n)
), cette methode est
parfaite.
Methode de quasi Newton: Lavantage de la methode de quasi Newton
est quon ne calcule que f(x
(n)
) et pas H
f
(x
(n)
)). La convergence est
super lineaire. Par rapport `a une methode de gradient o` u on calcule w
(n)
=
f(x
(n)
), la methode BFGS necessite une resolution de syst`eme lineaire :
w
(n)
= (B
(n)
)
1
(f(x
(n)
)).
QuasiNewton modie :
Pour eviter la resolution de syst`eme lineaire dans BFGS, on peut choisir de
travailler sur (B
(n)
)
1
au lieu de B
(n)
, pour obtenir lalgorithme de quasi
Newton (3.3.30). Cependant, on perd alors en vitesse de convergence.
Comment faire si on ne veut (ou peut) pas calculer f(x
(n)
)?
On peut utiliser des methodes sans gradient, c.`a.d. quon choisit a priori
les directions w
(n)
. Ceci peut se faire soit par un choix deterministe, soit
par un choix stochastique.
Un choix deterministe possible est de calculer x
(n)
en resolvant N probl`emes
de minimisation en une dimension despace. Pour chaque direction i =
100 CHAPITRE 3. OPTIMISATION
1, . . . ,N, on prend w
(n,i)
= e
i
, o` u e
i
est le i-`eme vecteur de la base cano-
nique, et pour i = 1, . . . ,N, on cherche IR tel que :
f(x
(n)
1
,x
(n)
2
, . . . ,, . . . ,x
(n)
N
) f(x
(n)
1
,x
(n)
2
, . . . ,t, . . . ,x
(n)
N
),t IR.
Remarquons que si f est quadratique, on retrouve la methode de Gauss
Seidel.
3.4 Exercices
Exercice 50 (Methode de Polak-Ribi`ere)
Suggestions en page 147, corrige detaille en page 197
Dans cet exercice, on demontre la convergence de la methode de Polak-Ribi`ere
(methode de gradient conjugue pour une fonctionnelle non quadratique) sous
des hypoth`eses simples sur f.
Soit f C
2
(IR
N
,IR). On suppose quil existe > 0, t.q. [y[
2

H(x)y y [y[
2
pour tout x, y IR
N
. (H(x) est la matrice hessienne de f au
point x.)
1. montrer que f est strictement convexe, que f(x) quand [x[ et
que le spectre 1T(H(x)) de H(x) est inclus dans [,] pour tout x IR
N
.
On note x lunique point de IR
N
t.q. f(x) f(x) pour tout x IR
N
(lexistence et lunicite de x est donne par la question precedente). On
cherche une approximation de x en utilisant lalgorithme de Polak-Ribi`ere:
initialisation. x
(0)
IR
N
. On pose g
(0)
= f(x
(0)
). Si g
(0)
= 0, lal-
gorithme sarrete (on a x
(0)
= x). Si g
(0)
,= 0, on pose w
(0)
= g
(0)
et
x
(1)
= x
(0)
+
0
w
(0)
avec
0
optimal dans la direction w
(0)
.
iteration. x
(n)
, w
(n1)
connus (n 1). On pose g
(n)
= f(x
(n)
). Si
g
(n)
= 0, lalgorithme sarrete (on a x
(n)
= x). Si g
(n)
,= 0, on pose

n1
= [g
(n)
(g
(n)
g
(n1)
)]/[g
(n1)
g
(n1)
], w
(n)
= g
(n)
+
n1
w
(n1)
et x
(n+1)
= x
(n)
+
n
w
(n)
avec
n
optimal dans la direction w
n
. (Noter
que
n
existe bien.)
On suppose dans la suite que g
(n)
,= 0 pour tout n IN.
2. Montrer (par recurrence sur n) que g
(n+1)
w
(n)
= 0 et g
(n)
g
(n)
=
g
(n)
w
(n)
, pour tout n IN.
3. On pose
J
(n)
=
_
1
0
H(x
(n)
+
n
w
(n)
)d.
Montrer que g
(n+1)
= g
(n)
+
n
J
(n)
w
(n)
et que
n
= (g
(n)
w
(n)
)/(J
(n)
w
(n)

w
(n)
) (pour tout n IN).
4. Montrer que [w
(n)
[ (1 + /)[g
(n)
[ pour tout n IN. [Utiliser, pour
n 1, la question precedente et la formule donnant
n1
.]
5. Montrer que x
(n)
x quand n .
Exercice 51 (Algorithme de quasi Newton)
Corrige detaille en page 200
3.4. EXERCICES 101
Soit A /
N
(IR) une matrice symetrique denie positive et b IR
N
. On pose
f(x) = (1/2)Ax x b x pour x IR
N
. On rappelle que f(x) = Ax b.
Pour calculer x IR
N
t.q. f(x) f(x) pour tout x IR
N
, on va utiliser un
algorithme de quasi Newton, cest-`a-dire :
initialisation. x
(0)
IR
N
.
iteration. x
(n)
connu (n 0. On pose x
(n+1)
= x
(n)

n
K
(n)
g
(n)
avec
g
(n)
= f(x
(n)
), K
(n)
une matrice symetrique denie positive `a determiner et

n
optimal dans la direction w
(n)
= K
(n)
g
(n)
. (Noter que
n
existe bien.)
Partie 1. Calcul de
n
. On suppose que g
(n)
,= 0.
1. Montrer que w
(n)
est une direction de descente stricte en x
(n)
et calculer
la valeur de
n
(en fonction de K
(n)
et g
(n)
).
2. On suppose que, pour un certain n IN, on a K
(n)
= (H(x
(n)
))
1
(o` u
H(x) est la matrice hessienne de f en x, on a donc ici H(x) = A pour
tout x IR
N
). Montrer que
n
= 1.
3. Montrer que la methode de Newton pour calculer x converge en une
iteration (mais necessite la resolution du syst`eme lineaire A(x
(1)
x
(0)
) =
b Ax
(0)
. . . )
Partie 2. Methode de Fletcher-Powell. On prend maintenant K
(0)
= Id et
K
(n+1)
= K
(n)
+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)

(K
(n)
y
(n)
)(K
(n)
(y
(n)
)
t
K
(n)
y
(n)
y
(n)
, n 0, (3.4.31)
avec s
(n)
= x
(n+1)
x
(n)
et y
(n)
= g
(n+1)
g
(n)
= As
(n)
.
On va montrer que cet algorithme converge en au plus N iterations (cest-
`a-dire quil existe n N + 1 t.q. x
N+1
= x.)
1. Soit n IN. On suppose, dans cette question, que s
(0)
, . . . ,s
(n1)
sont des
vecteurs A-conjugues et non-nuls et que K
(0)
, . . . ,K
(n)
sont des matrices
symetriques denies positives t.q. K
(j)
As
(i)
= s
(i)
si 0 i < j n (pour
n = 0 on demande seulement K
(0)
symetrique denie positive).
(a) On suppose que g
(n)
,= 0. Montrer que s
(n)
,= 0 (cf. Partie I) et que,
pour i < n,
s
(n)
As
(i)
= 0 g
(n)
s
(i)
= 0.
Montrer que g
(n)
s
(i)
= 0 pour i < n. [On pourra remarquer que
g
(i+1)
s
(i)
= g
(i+1)
w
(i)
= 0 et (g
(n)
g
(i+1)
)s
(i)
= 0 par lhypoth`ese
de conjugaison de s
(0)
, . . . ,s
(n1)
.] En deduire que s
(0)
, . . . ,s
(n)
sont
des vecteurs A-conjugues et non-nuls.
(b) Montrer que K
(n+1)
est symetrique.
(c) Montrer que K
(n+1)
As
(i)
= s
(i)
si 0 i n.
(d) Montrer que, pour tout x IR
N
, on a
K
(n+1)
xx =
(K
(n)
x x)(K
(n)
y
(n)
y
(n)
) (K
(n)
y
(n)
x)
2
K
(n)
y
(n)
y
(n)
+
(s
(n)
x)
2
As
(n)
s
(n)
.
102 CHAPITRE 3. OPTIMISATION
En deduire que K
(n+1)
est symetrique denie positive. [On rappelle
(inegalite de Cauchy-Schwarz) que, si K est symetrique denie posi-
tive, on a (Kx y)
2
(Kx x)(Ky y) et legalite a lieu si et seulement
si x et y sont colineaires.]
2. On suppose que g
(n)
,= 0 si 0 n N 1. Montrer (par recurrence
sur n, avec la question precedente) que s
(0)
, . . . ,s
(N1)
sont des vecteurs
A-conjugues et non-nuls et que K
(N)
As
(i)
= s
(i)
si i < N. En deduire que
K
(N)
= A
1
,
N
= 1 et x
(N+1)
= A
1
b = x.
3.5 Optimisation sous contraintes
3.5.1 Denitions
Soit E = IR
N
, soit f C(E,IR), et soit K un sous ensemble de E. On
sinteresse `a la recherche de u K tel que :
_
u K
f( u) = inf
K
f
(3.5.32)
Ce probl`eme est un probl`eme de minimisation avec contrainte (ou sous
contrainte) au sens o` u lon cherche u qui minimise f en astreignant u a etre dans
K. Voyons quelques exemples de ces contraintes (denies par lensemble K),
quon va expliciter `a laide des p fonctions continues, g
i
C(E,IR) i = 1 . . . p.
1. Contraintes egalites. On pose K = x E, g
i
(x) = 0 i = 1 . . . p. On
verra plus loin que le probl`eme de minimisation de f peut alors etre resolu
grace au theor`eme des multiplicateurs de Lagrange (voir theor`eme 3.37).
2. Contraintes inegalites. On pose K = x E, g
i
(x) 0 i = 1 . . . ,p.
On verra plus loin que le probl`eme de minimisation de f peut alors etre
resolu grace au theor`eme de KuhnTucker (voir theor`eme 3.41).
Programmation lineaire. Avec un tel ensemble de contraintes K, si de
plus f est lineaire, cest-`a-dire quil existe b IR
N
tel que f(x) = bx,
et les fonctions g
i
sont anes, cest-`a-dire quil existe b
i
IR
N
et
c
i
IR tels que g
i
(x) = b
i
x + C
i
, alors on dit quon a aaire ` un
probl`eme de programmation lineaire. Ces probl`emes sont souvent
resolus numeriquement `a laide de lalgorithme de Dantzig, invente
vers 1950.
Programmation quadratique. Avec le meme ensemble de contraintes
K, si de plus f est quadratique, cest-`a-dire si f est de la forme
f(x) =
1
2
Ax x b x, et les fonctions g
i
sont anes, alors on dit
quon a aaire ` un probl`eme de programmation quadratique.
3. Programmation convexe. Dans le cas o` u f est convexe et K est convexe,
on dit quon a aaire ` un probl`eme de programmation convexe.
3.5. OPTIMISATION SOUS CONTRAINTES 103
3.5.2 Existence Unicite Conditions doptimalite simple
Theor`eme 3.31 (Existence) Soit E = IR
N
et f C(E,IR).
1. Si K est un sous-ensemble ferme borne de E, alors il existe x K tel que
f( x) = inf
K
f.
2. Si K est un sous-ensemble ferme de E, et si f est croissante ` a linni,
cest` adire que f(x) + quand [x[ +, alors x K tel que
f( x) = inf
K
f
Demonstration
1. Si K est un sous-ensemble ferme borne de E, comme f est continue, elle
atteint ses bornes sur K, do` u lexistence de x.
2. Si f est croissante `a linni, alors il existe R > 0 tel que si |x| > R
alors f(x) > f(0); donc inf
K
f = inf
KBR
f, o` u B
R
designe la boule de centre
0 et de rayon R. Lensemble K B
R
est compact, car intersection dun
ferme et dun compact. Donc, par ce qui prec`ede, il existe x K tel que
f( x) = inf
KBR
f = inf
BR
f.
Theor`eme 3.32 (Unicite) Soit E = IR
N
et f C(E,IR). On suppose que f
est strictement convexe et que K est convexe. Alors il existe au plus un element
x de K tel que f( x) = inf
K
f.
Demonstration
Supposons que x et
=
x soient deux solutions du probl`eme (3.5.32), avec x ,=
=
x
Alors f(
1
2
x +
1
2
=
x) <
1
2
f( x) +
1
2
f(
=
x) = inf
K
f . On aboutit donc `a une
contradiction.
Des theor`emes dexistence 3.31 et dunicite 3.32 on deduit immediatement
le theor`eme dexistence et dunicite suivant :
Theor`eme 3.33 (Existence et unicite) Soient E = IR
N
, f C(E,IR
N
)
une fonction strictement convexe et K un sous ensemble convexe ferme de E. Si
K est borne ou si f est croissante ` a linni, cest` adire si f(x) + quand
|x| +, alors il existe un unique element x de K solution du probl`eme de
minimisation (3.5.32), i.e. tel que f( x) = inf
K
f
Remarque 3.34 On peut remplacer E = IR
N
par E espace de Hilbert de di-
mension innie dans le dernier theor`eme, mais on a besoin dans ce cas de
lhypoth`ese de convexite de f pour assurer lexistence de la solution (voir cours
de matrise).
Proposition 3.35 (Condition simple doptimalite) Soient E = IR
N
, f
C(E,IR) et x K tel que f( x) = inf
K
f. On suppose que f est dierentiable en x
1. Si x

K alors f( x) = 0.
2. Si K est convexe, alors f( x) (x x) 0 pour tout x K.
104 CHAPITRE 3. OPTIMISATION
Demonstration
1. Si x

K, alors il existe > 0 tel que B( x,) K et f( x) f(x)


x B( x,). Alors on a dej`a vu (voir preuve de la Proposition 3.2 page
77) que ceci implique f( x) = 0.
2. Soit x K. Comme x realise le minimum de f sur K, on a : f( x + t(x
x)) = f(tx + (1 t) x) f( x) pour tout t ]0,1], par convexite de K. On
en deduit que
f( x +t(x x)) f( x)
t
0 pour tout t ]0,1].
En passant `a la limite lorsque t tend vers 0 dans cette derni`ere inegalite,
on obtient : f( x) (x x) 0.
3.5.3 Conditions doptimalite dans le cas de contraintes
egalite
Dans tout ce paragraphe, on consid`erera les hypoth`eses et notations sui-
vantes :
f C(IR
N
,IR), g
i
C
1
(IR
N
,IR), i = 1 . . . p ;
K = u IR
N
, g
i
(u) = 0 i = 1 . . . p ;
g = (g
1
, . . . ,g
p
)
t
C
1
(IR
N
,IR
p
)
(3.5.33)
Remarque 3.36 (Quelques rappels de calcul dierentiel)
Comme g C
1
(IR
N
,IR
p
), si u IR
N
, alors Dg(u) L(IR
N
,IR
p
), ce qui re-
vient ` a dire, en confondant lapplication lineaire Dg(u) avec sa matrice, que
Dg(u) /
p,N
(IR). Par denition, Im(Dg(u)) = Dg(u)z, z IR
N
IR
p
, et
rang(Dg(u)) = dim(Im(Dg(u))) p. On rappelle de plus que
Dg(u) =
_
_
_
_
_
_
g
1
x
1
, ,
g
1
x
N
,
.
.
. ,
g
p
x
1
, ,
g
p
x
N
_
_
_
_
_
_
,
et que rang (Dg(u)) min(N,p). De plus, si rang (Dg(u)) = p, alors les vecteurs
(Dg
i
(u))
i=1...p
sont lineairement independants dans IR
N
.
Theor`eme 3.37 (Multiplicateurs de Lagrange) Soit u K tel que f( u) =
inf
K
f. On suppose que f est dierentiable en u et dim(Im(Dg( u)) = p (ou rang
(Dg( u)) = p), alors:
il existe (
1
, . . . ,
p
)
t
IR
p
telsquef( u) +
p

i=1

i
g
i
( u) = 0.
(Cette derni`ere egalite a lieu dans IR
N
)
Demonstration Pour plus de clarte, donnons dabord une idee geometrique
de la demonstration dans le cas N = 2 et p = 1. On a dans ce cas f C
1
(IR
2
,IR)
3.5. OPTIMISATION SOUS CONTRAINTES 105
et K = (x,y) IR
2
g(x,y) = 0, et on cherche u K tel que f(u) = inf
K
f.
Tra cons dans le rep`ere (x,y) la courbe g(x,y) = 0, ainsi que les courbes de ni-
veau de f. Si on se prom`ene sur la courbe g(x,y) = 0, en partant du point P
0
vers la droite (voir gure 3.1), on rencontre les courbes de niveau successives de
f et on se rend compte sur le dessin que la valeur minimale que prend f sur la
courbe g(x,y) = 0 est atteinte lorsque cette courbe est tangente `a la courbe de
niveau de f : sur le dessin, ceci correspond au point P
1
o` u la courbe g(x,y) = 0
est tangente `a la courbe f(x,y) = 3. Une fois quon a passe ce point de tangence,
on peut remarquer que f augmente.
f(x) = 5
f(x) = 4 f(x) = 3
f(x) = 2
f(x) = 1
g(x) = 0
x
y
Fig. 3.1 Interpretation geometrique des multiplicateurs de Lagrange
On utilise alors le fait que si est une fonction contin ument dierentiable
de IR
2
dans IR, le gradient de est orthogonal `a toute courbe de niveau de
, cest-`a-dire toute courbe de la forme (x,y) = c, o` u c IR. (En eet, soit
(x(t),y(t)), t IR un parametrage de la courbe g(x,y) = c, en derivant par
rapport `a t, on obtient : g(x(t),y(t)) (x

(t),y

(t))
t
= 0). En appliquant ceci
`a f et g, on en deduit quau point de tangence entre une courbe de niveau de
f et la courbe g(x,y) = 0, les gradients de f et g sont colineaires. Et donc si
g(u) ,= 0, il existe ,= 0 tel que f(u) = g(u).
Passons maintenant `a la demonstration rigoureuse du theor`eme dans laquelle
on utilise le theor`eme des fonctions implicites
1
.
1. Theor`eme des fonctions implicites Soient p et q des entiers naturels, soit h
C
1
(IR
q
IR
p
,IR
p
), et soient ( x, y) IR
q
IR
p
et c IR
p
tels que h( x, y) = c. On suppose
que la matrice de la dierentielle D
2
h( x, y)( Mp(IR)) est inversible. Alors il existe > 0
106 CHAPITRE 3. OPTIMISATION
Par hypoth`ese, Dg( u) L(IR
N
,IR
p
) et Im(Dg( u)) = IR
p
. Donc il existe un
sous espace vectoriel F de IR
N
de dimension p, tel que Dg( u) soit bijective de
F dans IR
p
. En eet, soit (e
1
. . . e
p
) la base canonique de IR
p
, alors pour tout
i 1, . . . p, il existe y
i
IR
N
tel que Dg( x)y
i
= e
i
. Soit F le sous espace
engendre par la famille y
1
. . . y
p
; on remarque que cette famille est libre, car
si

p
i=1

i
y
i
= 0, alors

p
i=1

i
e
i
= 0, et donc
i
= 0 pour tout i = 1, . . . p. On
a ainsi montre lexistence dun sous espace F de dimension p telle que Dg( x)
soit bijective (car surjective) de F dans IR
p
.
Il existe un sous espace vectoriel G de IR
N
, tel que IR
N
= F

G. Pour
v F et w G, on pose g(w,v) = g(v + w) et

f(w,v) = f(v + w). On a donc

f C(GF, IR) et g C
1
(GF, IR). De plus, D
2
g(v,u) L(F, IR
p
), et pour
tout z F, on a D
2
g(w,v)z = Dg(v +w)z.
Soit ( v, w) F G tel que u = v+ w. Alors D
2
g( w, v)z = Dg( u)(z) pour tout
w F. Lapplication D
2
g( v, u est une bijection de F sur IR
p
, car, par denition
de F, Dg( u) est bijective de F sur IR
p
).
On rappelle que K = u IR
N
: g(u) = 0 et on denit K = (w,v)
GF, g(w,v) = 0. Par denition de

f et de g, on a
_
v, u K

f( u, v) f(u,v) (v,u) K
(3.5.34)
Dautre part, le theor`eme des fonctions implicites (voir note de bas de page
105) entrane lexistence de > 0 et > 0 tels que pour tout w B
G
( w,) il
existe un unique v B
F
( v,) tel que g(w,v) = 0. On note v = (w) et on denit
ainsi une application C
1
(B
G
( w,),B
F
( v,)).
On deduit alors de (3.5.34) que :

f( w,( w))

f(w,(w)), w B
G
( w,),
et donc
f( u) = f( w +( w) f(w +(w))w B
G
( w,).
En posant (w) =

f(w,(w)), on peut donc ecrire
( w) =

f( w,( w)) (w), w B
G
( w,).
On a donc, grace `a la proposition 3.35,
D( w) = 0. (3.5.35)
Par denition de , de

f et de g , on a :
D( v) = D
1

f( v,(( v)) +D
2

f( v,( v))D( v).
Dapr`es le theor`eme des fonctions implicites,
D( v) = [D
2
g( v,(( v))]
1
D
1
g( v,(( v)).
On deduit donc de (3.5.35) que
D
1

f( v,(( v))w + [D
2
g( v,(( v))]
1
D
1
g( v,(( v))w = 0, pour tout w G.
(3.5.36)
et > 0 tels que pour tout x B( x,), il existe un unique y B( y,) tel que h(x,y) = c.
on peut ainsi denir une application de B( x,) dans B( y,) par (x) = y. On a ( x) = y,
C
1
(IR
p
,IR
p
) et D(x) = [D
2
h(x,(x))]
1
D
1
h(x,(x)).
3.5. OPTIMISATION SOUS CONTRAINTES 107
De plus, comme D
2
g( v,(( v))]
1
D
2
g( v,(( v)) = Id, on a :
D
2

f( v,(( v))z D
2

f( v,(( v))D
2
g( v,(( v))]
1
D
2
g( v,(( v))z = 0, z F.
(3.5.37)
Soit x IR
N
, et (z,w) F G tel que x = z + w. En additionant (3.5.36) et
(3.5.37), et en notant = D
2

f( v,(( v))D
2
g( v,(( v))]
1
, on obtient :
Df( u)x + Dg( u)x = 0,
ce qui donne, en transposant : Df( u)+

p
i=1

i
g
i
( u) = 0, avec = (
1
, . . . ,
N
).
Remarque 3.38 (Utilisation pratique du theor`eme de Lagrange) Soit f
C
1
(IR
N
,IR), g = (g
1
, . . . ,g
p
)
t
avec g
i
C(IR
N
,IR) pour i = 1, . . . ,p., et soit
K = u IR
N
, g
i
(u) = 0, i = 1, . . . ,p.
Le probl`eme quon cherche ` a resoudre est le probl`eme de minimisation (3.5.32)
quon rappelle ici :
_
u K
f( u) = inf
K
f
Dapr`es le theor`eme des multiplicateurs de Lagrange, si u est solution de
(3.5.32) et Im(Dg( u)) = IR
p
, alors il existe (
1
, . . . ,
p
) IR
p
tel que u est
solution du probl`eme
_

_
f
x
j
( u) +
p

i=1

i
g
i
x
j
= 0,j = 1, . . . N,
g
i
( u) = 0, i = 1, . . . ,p.
(3.5.38)
Le syst`eme (3.5.38) est un syst`eme non lineaire de de (N +p) equations et ` a
(N +p) inconnues ( x, . . . , x
N
,
i
. . .
p
). Ce syst`eme sera resolu par une methode
de resolution de syst`eme non lineaire (Newton par exemple).
Remarque 3.39 On vient de montrer que si x solution de (3.5.32) et Im(Dg( x)) =
IR
p
, alors x solution de (3.5.38). Par contre, si x est solution de (3.5.38), ceci
nentrane pas que x est solution de (3.5.32).
Des exemples dapplication du theor`eme des multiplicateurs de Lagrange sont
donnes dans les exercices 53 page 108 et 54 page 109.
3.5.4 Contraintes inegalites
Soit f C(IR
N
,IR) et g
i
C
1
(IR
N
,IR) i = 1, . . . ,p, on consid`ere maintenant
un ensemble K de la forme : K = x IR
N
, g
i
(x) 0 i = 1 . . . p, et on
cherche `a resoudre le probl`eme de minimisation (3.5.32) qui secrit :
_
x K
f( x) f(x), x K.
Remarque 3.40 Soit x une solution de (3.5.32) et supposons que g
i
( x) < 0,
pour tout i 1, . . . ,p. Il existe alors > 0 tel que si x B( x,) alors g
i
(x) < 0
pour tout i = 1, . . . ,p.
On a donc f( x) f(x) x B( x,). On est alors ramene ` a un probl`eme
de minimisation sans contrainte, et si i f est dierentiable en x, on a donc
f( x) = 0.
108 CHAPITRE 3. OPTIMISATION
On donne maintenant sans demonstration le theor`eme de Kuhn-T ucker qui
donne une caracterisation de la solution du probl`eme (3.5.32).
Theor`eme 3.41 (KuhnTucker) Soit f C(IR
N
,IR), soit g
i
C
1
(IR
N
,IR),
pour i = 1, . . . ,p, et soit K = x IR
N
, g
i
(x) 0 i = 1 . . . p. On suppose quil
existe x solution de (3.5.32), et on pose I( x) = i 1, . . . ,p; [g
i
( x) = 0. On
suppose que f est dierentiable en x et que la famille (de IR
N
) g
i
( x),i I( x)
est libre. . Alors il existe une famille (
i
)
iI( x)
IR
+
telle que
f( x) +

iI( x)

i
g
i
( x) = 0.
Remarque 3.42 1. Le theor`eme de Kuhn-Tucker sapplique pour des en-
sembles de contrainte de type inegalite. Si on a une contraite de type
egalite, on peut evidemment se ramener ` a deux contraintes de type inegalite
en remarquant que h(x) = 0 = h(x) ) h(x) 0. Cependant, si
on pose g
1
= h et g
2
= h, on remarque que la famille g
1
( x),g
2
( x) =
h( x),h( x) nest pas libre. On ne peut donc pas appliquer le theor`eme
de Kuhn-Tucker sous la forme donnee precedemment dans ce cas (mais
on peut il existe des versions du theor`eme de Kuhn-Tucker permettant de
traiter ce cas, voir Bonans-Saguez).
2. Dans la pratique, on a interet ` a ecrire la conclusion du theor`eme de Kuhn-
Tucker (i.e. lexistence de la famille (
i
)
iI( x)
) sous la forme du syst`eme
de N +p equations et 2p inequations ` a resoudre suivant:
_

_
f( x) +
p

i=1

i
g
i
( x) = 0,

i
g
i
( x) = 0, i = 1, . . . ,p,
g
i
( x) 0, i = 1, . . . ,p,

i
0, i = 1, . . . ,p.
i = 1 . . . p
i0
g
i
( x) 0 i = 1 . . . p
3.5.5 Exercices
Exercice 52 (Sur lexistence et lunicite) Corrige en page 203
Etudier lexistence et lunicite des solutions du probl`eme (3.5.32), avec les don-
nees suivantes: E = IR, f : IR IR est denie par f(x) = x
2
, et pour les quatre
dierents ensembles K suivants:
(i) K = [x[ 1 ; (ii) K = [x[ = 1
(iii) K = [x[ 1 ; (iv) K = [x[ > 1.
(3.5.39)
Exercice 53 (Aire maximale dun rectangle `a perim`etre donne)
Corrige en page 204
1. On cherche `a maximiser laire dun rectangle de perim`etre donne egal `a 2.
Montrer que ce probl`eme peut se formuler comme un probl`eme de minimisation
de la forme (3.5.32), o` u K est de la forme K = x IR
2
; g(x) = 0. On donnera
f et g de mani`ere explicite.
3.5. OPTIMISATION SOUS CONTRAINTES 109
2. Montrer que le probl`eme de minimisation ainsi obtenu est equivalent au
probl`eme
_
x = ( x
1
, x
2
)
t


K
f( x
1
, x
2
) f(x
1
,x
2
), (x
1
,x
2
)
t


K,
(3.5.40)
o` u

K = K [0,1]
2
, K et f etant obtenus `a la question 1. En deduire que le
probl`eme de minimisation de laire admet au moins une solution.
3. Calculer Dg(x) pour x K et en deduire que si x est solution de (3.5.40)
alors x = (1/2,1/2). En deduire que le probl`eme (3.5.40) admet une unique
solution donnee par x = (1/2,1/2).
Exercice 54 (Fonctionnelle quadratique) Suggestions en page 148, cor-
rige en page 205
Soit f une fonction quadratique, i.e. f(x) =
1
2
Ax xb x, o` u A /
N
(IR) est
une matrice symetrique denie positive et b IR
N
. On suppose que la contrainte
g est une fonction lineaire de IR
N
dans IR, cest-`a-dire g(x) = d xc o` u c IR
et d IR
N
, et que d ,= 0. On pose K = x IR
N
, g(x) = 0 et on cherche `a
resoudre le probl`eme de minimisation (3.5.32).
1. Montrer que lensemble K est non vide, ferme et convexe. En deduire que
le probl`eme (3.5.32) admet une unique solution.
2. Montrer que si x est solution de (3.5.32), alors il existe IR tel que
y = ( x,)
t
soit lunique solution du syst`eme :
_
_
A d
d
t
0
_
_
_
_
x

_
_
=
_
_
b
c
_
_
(3.5.41)
Exercice 55 (Utilisation du theor`eme de Lagrange)
1. Pour (x,y) IR
2
, on pose : f(x,y) = y, g(x,y) = x
2
+y
2
1. Chercher le(s)
point(s) o` u f atteint son maximum ou son minimum sous la contrainte
g = 0.
2. Soit a = (a
1
, . . . ,a
N
) IR
N
, a ,= 0. Pour x = (x
1
, . . . ,x
N
) IR
N
, on
pose : f(x) =

N
i=1
[x
i
a
i
[
2
, g(x) =

N
i=1
[x
i
[
2
. Chercher le(s) point(s)
o` u f atteint son maximum ou son minimum sous la contrainte g = 1.
3. Soient A /
N
(IR) symetrique, B /
N
(IR) s.d.p. et b IR
N
. Pour
v IR
N
, on pose f(v) = (1/2)Av v b v et g(v) = Bv v. Peut-on
appliquer le theor`eme de Lagrange et quelle condition donne-t-il sur u si
f(u) = minf(v), v K avec K = v IR
N
; g(v) = 1?
Exercice 56 (Minimisation sans derivabilite)
Soient A /
N
(IR) une matrice s.d.p., b IR
N
, j : IR
N
IR une fonc-
tion continue, convexe, `a valeurs positives ou nulles (mais non necessairement
derivable, par exemple j(v) =

N
j=1

i
[v
i
[, avec
i
0 pour tout i 1, . . . ,N).
110 CHAPITRE 3. OPTIMISATION
Soit U une partie non vide, fermee convexe de IR
N
. Pour v IR
N
, on pose
J(v) = (1/2)Av v b v +j(v).
1. Montrer quil existe un et un seul u tel que :
u U, J(u) J(v), v U. (3.5.42)
2. Soit u U, montrer que u est solution de (3.5.42) si et seulement si
(Au b) (v u) +j(v) j(u) 0, pour tout v U.
Exercice 57
Soient f et g : IR
2
IR, denies par : f(x,y) = y, et g(x,y) = y
3
x
2
. On pose
K = (x,y) IR
2
; g(x,y) = 0.
1. Calculer le minimum de f sur K et le point (x,y) o` u ce minimum est
atteint.
2. Existe-t-il tel que Df(x,y) = Dg(x,y)?
3. Pourquoi ne peut-on pas appliquer le theor`eme des multiplicateurs de
Lagrange?
4. Que trouve-t-on lorsquon applique la methode dite de Lagrange pour
trouver (x,y)?
Exercice 58 (Application simple du theor`eme de Kuhn-Tucker) Cor-
rige en page 205
Soit f la fonction denie de E = IR
2
dans IR par f(x) = x
2
+y
2
et K = (x,y)
IR
2
; x + y 1. Justier lexistence et lunicite de la solution du probl`eme
(3.5.32) et appliquer le theor`eme de Kuhn-Tucker pour la determination de
cette solution.
3.6 Algorithmes doptimisation sous contraintes
3.6.1 Methodes de gradient avec projection
On rappelle le resultat suivant de projection sur un convexe ferme :
Proposition 3.43 (Projection sur un convexe ferme) Soit E un espace
de Hilbert, muni dune norme |.|
E
induite par un produit scalaire (.,.), et soit K
un convexe ferme non vide de E. Alors, tout x E, il existe un unique x
0
K
tel que |x x
0
| |x y| pour tout y K. On note x
0
= p
K
(x) la projection
orthogonale de x sur K. On a egalement :
x
0
= p
K
(x) si et seulement si (x x
0
,x
0
y) 0, y K.
Dans le cadre des algorithmes de minimisation avec contraintes que nous allons
developper maintenant, nous consid`ererons E = IR
N
, f C
1
(IR
N
,IR) une fonc-
tion convexe, et K ferme convexe non vide. On cherche `a calculer une solution
approchee de x, solution du probl`eme (3.5.32).
3.6. ALGORITHMES DOPTIMISATION SOUS CONTRAINTES 111
Algorithme du gradient `a pas xe avec projection sur K (GPFK)
Soit > 0 donne, on consid`ere lalgorithme suivant :
Algorithme (GPFK)
Initialisation: x
0
K
Iteration:
x
n
connu x
n+1
= p
K
(x
n
f(x
n
))
o` u p
K
est la projection sur K denie par la proposition 3.43.
Lemme 3.44 Soit (x
n
)
n
construite par lalgorithme (GPFK). On suppose que
x
n
x quand n +. Alors x est solution de (3.5.32).
Demonstration:
Soit p
K
: IR
N
K IR
N
la projection sur K denie par la proposition
3.43. Alors p
K
est continue. Donc si
x
n
x quand n + alors x = p
K
(xf(x)) et x K (car x
n
K et
K est ferme).
La caracterisation de p
K
(xf(x)) donnee dans la proposition 3.43 donne
alors :
(x f(x) x/x y) 0 pour tout y K, et comme > 0, ceci entrane
(f(x)/xy) pour tout y K. Or f est convexe donc f(y) f(x)+f(x)(y
x) pour tout y K, et donc f(y) f(x) pour tout y K, ce qui termine la
demonstration.
Theor`eme 3.45 (Convergence de lalgorithme GPFK) Soit f C
1
(IR
N
,IR),
et K convexe ferme non vide. On suppose que :
1. il existe > 0 tel que (f(x) f(y)[x y) [x y[
2
, pour tout
(x,y) IR
N
IR
N
,
2. il existe M > 0 tel que [f(x) f(y)[ M[x y[ pour tout (x,y)
IR
N
IR
N
,
alors :
1. il existe un unique element x K solution de (3.5.32),
2. si 0 < <
2
M
2
, la suite (x
n
) denie par lalgorithme (GPFK) converge
vers x lorsque n +.
Demonstration:
1. La condition 1. donne que f est strictement convexe et que f(x) +
quand [x[ +. Comme K est convexe ferme non vide, il existe donc
un unique x solution de (3.5.32).
2. On pose, pour x IR
N
, h(x) = p
K
(xf(x)). On a donc x
n+1
= h(x
n
).
Pour montrer que la suite (x
n
)
nIN
converge, il sut donc de montrer que
h est strictement contractante d`es que
0 < <
2
M
2
. (3.6.43)
Gr ace au lemme 3.46 demontre plus loin, on sait que p
K
est contractante. Or h
est denie par :
h(x) = p
K
(

h(x)) o` u

h(x) = x f(x).
112 CHAPITRE 3. OPTIMISATION
On a dej`a vu que

h est strictement contractante si la condition (3.6.43) est
veriee (voir theor`eme 3.16 page 84 et exercice 47 page 86), et plus precisement :
[

h(x)

h(y)[ (1 2 +M
2

2
)[x y[
2
.
On en deduit que :
[h(x)h(y)[
2
[p
K
(

h(x))p
K
(

h(y))[
2
[

h(x)

h(y))[
2
(12+
2
M
2
)[xy[
2
.
Lapplication h est donc strictement contractante d`es que 0 <
2
M
2
. La suite
(x
n
)
nIN
converge donc bien vers x = x
Lemme 3.46 (Propriete de contraction de la projection orthogonale)
Soit E un espace de Hilbert, K convexe ferme non vide de E et p
K
la projection
orthogonale sur K denie par la proposition 3.43, alors |p
K
(x) p
K
(y)|
E

|x y| pour tout (x,y) E
2
.
Demonstration Comme E est un espace de Hilbert,
|p
K
(x) p
K
(y)|
2
E
= (p
K
(x) p
K
(y)[p
K
(x) p
K
(y)).
On a donc
|p
K
(x) p
K
(y)|
2
E
= (p
K
(x) x +x y +y p
K
(y)[p
K
(x) p
K
(y))
E
= (p
K
(x) x[p
K
(x) p
K
(y))
E
+ (x y[p
K
(x) p
K
(y))
E
+ (y p
K
(y)[p
K
(x) p
K
(y))
E
.
Or (p
K
(x) x[p
K
(x) p
K
(y))
E
0 et (y p
K
(y)[p
K
(x) p
K
(y))
E
, do` u :
|p
K
(x) p
K
(y)|
E
(x y[p
K
(x) p
K
(y)),
et donc, grace `a linegalite de Cauchy-Schwarz,
|p
K
(x) p
K
(y)|
E
|x y| |p
K
(x) p
K
(y)| |x y|
E
.
Algorithme du gradient `a pas optimal avec projection sur K (GPOK)
Lalgorithme du gradient `a pas optimal avec projection sur K secrit :
Initialisation x
0
K
Iteration x
n
connu
w
n
= f(x
n
); calculer
n
optimal dans la direction w
n
x
n+1
= p
K
(x
n
+
n
w
n
)
La demonstration de convergence de cet algorithme se deduit de celle de
lalgorithme `a pas xe.
Remarque 3.47 On pourrait aussi utiliser un algorithme de type QuasiNewton
avec projection sur K.
Les algorithmes de projection sont simples `a decrire, mais ils soul`event deux
questions :
1. Comment calcule-t-on p
K
?
3.6. ALGORITHMES DOPTIMISATION SOUS CONTRAINTES 113
2. Que faire si K nest pas convexe?
On peut donner une reponse `a la premi`ere question dans les cas simples :
1er cas On suppose ici que K = C
+
= x IR
N
, x = (x
1
, . . . ,x
n
)
t
x
i
0 i.
Si y IR
N
y = (y
+
1 . . . y
N
)
t
, on peut montrer (exercice 3.6.3 page 116)
que
(p
K
(y))
i
= y
+
i
= max(y
i
,0), i 1, . . . ,N
2`eme cas Soit (
i
)
i=1,...,N
IR
N
et (
i
)
i=1,...,N
IR
N
tels que
i

i
pour tout
i = 1, . . . ,N. Si
K =

i=1,N
[
i
,
i
],
alors
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)), i = 1, . . . ,N
Dans le cas dun convexe K plus complique, ou dans le cas o` u K nest pas
convexe, on peut utiliser des methodes de dualite introduites dans le paragraphe
suivant.
3.6.2 Methodes de dualite
Supposons que les hypoth`eses suivantes sont veriees :
_
_
_
f (
1
(IR
N
,IR),
g
i
(
1
(IR
N
,IR),
K = x IR
N
, g
i
(x) 0 i = 1, . . . ,p, et K est non vide.
(3.6.44)
On denit un probl`eme primal comme etant le probl`eme de minimisation
dorigine, cest`adire
_
x K,
f( x) f(x), pour tout x K,
(3.6.45)
On denit le lagrangien comme etant la fonction L denie de IR
N
IR
p
dans
IR par :
L(x,) = f(x) + g(x) = f(x) +
p

i=1

i
g
i
(x), (3.6.46)
avec g(x) = (g
1
(x), . . . ,g
p
(x))
t
et = (
1
(x), . . . ,
p
(x))
t
.
On note C
+
lensemble deni par
C
+
= IR
p
, = (
1
, . . . ,
p
)
t
,
i
0 pour tout i = 1, . . . ,p.
Remarque 3.48 Le theor`eme de Kuhn-Tucker entrane que si x est solution
du probl`eme primal (3.6.45) alors il existe C
+
tel que D
1
L( x,) = 0 (cest
` adire Df( x) + Dg( x) = 0) et g( x) = 0.
114 CHAPITRE 3. OPTIMISATION
On denit alors lapplication M de IR
p
dans IR par :
M() = inf
xIR
N
L(x,), pour tout IR
p
. (3.6.47)
On peut donc remarquer que M() realise le minimum (en x) du probl`eme sans
contrainte, qui secrit, pour IR
p
xe :
_
x IR
N
L(x,) L(y,) pour tout x IR
N
,
(3.6.48)
Lemme 3.49 Lapplication M de IR
p
dans IR denie par (3.6.47) est concave
(ou encore lapplication -M est convexe), cest` adire que pour tous , IR
p
et pour tout t ]0,1[ on a M(t + (1 t)) tM() + (1 t)/(u)
Demonstration:
Soit , IR
p
et t ]0,1[ ; on veut montrer que M(t+(1 t)) tM() +
(1 t)M().
Soit x IR
N
, alors :
L(x,t + (1 t)) = f(x) + (t + (1 t))g(x)
= tf(x) + (1 t)f(x) + (t + (1 t))g(x).
On a donc L(x,t + (1 t)) = tL(x,) + (1 t)L(x,). Par denition de M,
on en deduit que pour tout x IR
N
,
L(x,t + (1 t)) tM() + (1 t)M()
Or, toujours par denition de M,
M(t + (1 t)) = inf
xIR
N
L(x,t + (1 t)) tM() + (1 t)M().
On consid`ere maintenant le probl`eme doptimisation dit dual suivant :
_
C
+
,
M() M() C
+
.
(3.6.49)
Denition 3.50 Soit L : IR
N
IR
p
IR et (x,) IR
N
C
+
. On dit que
(x,) est un point selle de L sur IR
N
C
+
si
L(x,) L(x,) L(y,) pour tout y IR et pour tout C
+
.
Proposition 3.51 Sous les hypoth`eses (3.6.44), soit L denie par L(x,) =
f(x) +g(x) et (x,) IR
N
C
+
un point selle de L sur IR
N
C
+
.
alors
1. x est solution du probl`eme (3.6.45),
2. est solution de (3.6.49),
3. x est solution du probl`eme (3.6.48) avec = .
3.6. ALGORITHMES DOPTIMISATION SOUS CONTRAINTES 115
On admettra cette proposition.
Reciproquement, on peut montrer que (sous des hypoth`eses convenables sur
f et g), si est solution de (3.6.49), et si x solution de (3.6.48) avec = ,
alors ( x,) est un point selle de L, et donc x est solution de (3.6.45).
De ces resultats decoule lidee de base des methodes de dualite : on cherche
solution de (3.6.49). On obtient ensuite une solution x du probl`eme (3.6.45),
en cherchant x comme solution du probl`eme (3.6.48) avec = (qui est un
probl`eme de minimisation sans contraintes). La recherche de la solution du
probl`eme dual (3.6.49) peut se faire par exemple par lalgorithme tr`es classique
dUzawa, que nous decrivons maintenant.
Algorithme dUzawa Lalgorithme dUzawa consiste `a utiliser lalgorithme
du gradient `a pas xe avec projection (quon a appele GPFK, voir page 111)
pour resoudre de mani`ere iterative le probl`eme dual (3.6.49). On cherche donc
C
+
tel que M() M() pour tout C
+
. On se donne > 0, et
on note p
C
+ la projection sur le convexe C
+
(voir proposition 3.43 page 110).
Lalgorithme (GPFK) pour la recherche de secrit donc :
Initialisation:
0
C
+
Iteration :
n+1
= p
C+
(
n
+M(
n
))
Pour denir compl`etement lalgorithme dUzawa, il reste `a preciser les points
suivants :
1. Calcul de M(
n
),
2. calcul de p
C
+() pour dans IR
N
.
On peut egalement sinteresser aux proprietes de convergence de lalgo-
rithme.
La reponse au point 2 est simple (voir exercice 3.6.3 page 116) : pour IR
N
,
on calcule p
C+
() = avec = (
1
, . . . ,
p
)
t
en posant
i
= max(0,
i
) pour
i = 1, . . . ,p, o` u = (
1
, . . . ,
p
)
t
.
La reponse au point 1. est une consequence de la proposition suivante (quon
admettra ici) :
Proposition 3.52 Sous les hypoth`eses (3.6.44), on suppose que pour tout
IR
N
, le probl`eme (3.6.48) admet une solution unique, notee x

et on suppose
que lapplication denie de IR
p
dans IR
N
par x

est dierentiable. Alors


M() = L(x

,), M est dierentiable en pour tout , et M() = g(x

).
En consequence, pour calculer M(), on est ramene `a chercher x

solution
du probl`eme de minimisation sans contrainte (3.6.48). On peut dont maintenant
donner le detail de literation generale de lalgorithme dUzawa :
Iteration de lalgorithme dUzawa. Soit
n
C
+
connu;
1. On cherche x
n
IR
N
solution de
_
x
n
IR
N
,
L(x
n
,
n
) L(x,
n
), x IR
N
(On
a donc x
n
= x
n
)
2. On calcule M(
n
) = g(x
n
)
116 CHAPITRE 3. OPTIMISATION
3.
n+1
=
n
+M(
n
) =
n
+g(x
n
) = ((
n+1
)
1
, . . . ,(
n+1
)
p
)
t
4.
n+1
= p
C
+(
n+1
), cest`a-dire
n+1
= ((
n+1
)
1
, . . . ,(
n+1
)
p
)
t
avec (
n+1
)
i
=
max(0,(
n+1
)
i
) pour tout i = 1, . . . ,p.
On a alors le resultat suivant de convergence de lalgorithme :
Proposition 3.53 (Convergence de lalgorithme dUzawa) Sous les hy-
poth`eses (3.6.44), on suppose de plus que :
1. il existe > 0 tel que (f(x) f(y)) (x y) [x y[
2
pour tout
(x,y) (IR
N
)
2
,
2. il existe M
f
> 0 [f(x) f(y)[ M
f
[x y[ pour tout (x,y) (IR
N
)
2
,
3. pour tout C
+
, il existe un unique x

IR
N
tel que L(x

,) L(x,)
pour tout x IR
N
.
Alors si 0 < <
2
M
f
2
, la suite ((x
n
,
n
))
n
IR
N
C
+
donnee par lalgo-
rithme dUzawa verie :
1. x
n
x quand n +, o` u x est la solution du probl`eme (3.6.45),
2. (
n
)
nIN
est bornee.
Remarque 3.54 (Sur lalgorithme dUzawa)
1. Lalgorithme est tr`es ecace si les contraintes sont anes : (i.e. si g
i
(x) =

i
x +
i
pour tout i = 1, . . . ,p, avec
i
IR
N
et
i
IR).
2. Pour avoir lhypoth`ese 3 du theor`eme, il sut que les fonctions g
i
soient
convexes. (On a dans ce cas existence et unicite de la solution x

du
probl`eme (3.6.48) et existence et unicite de la solution x du probl`eme
(3.6.45).)
3.6.3 Exercices
Exercice 59 (Exemple doperateur de projection)
Correction en page 206
1.Soit K = C
+
= x IR
N
, x = (x
1
, . . . ,x
n
)
t
, x
i
0, i = 1, . . . ,N.
(a) Montrer que K est un convexe ferme non vide.
(b) Montrer que pour tout y IR
N
, on a : (p
K
(y))
i
= max(y
i
,0).
2. Soit (
i
)
i=1,...,N
IR
N
et (
i
)
i=1,...,N
IR
N
tels que
i

i
pour tout
i = 1, . . . ,N. Soit K = x = (x
1
, . . . ,x
N
)
t
;
i

i
,i = 1, . . . ,N.
1. Montrer que K est un convexe ferme non vide.
2. Soit p
K
loperateur de projection denie `a la proposition 3.43 page 110.
Montrer que pour tout y IR
N
, on a :
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)), i = 1, . . . ,N
Exercice 60 (Methode de penalisation)
3.6. ALGORITHMES DOPTIMISATION SOUS CONTRAINTES 117
Soit f une fonction continue et strictement convexe de IR
N
dans IR, satis-
faisant de plus :
lim
|x|+
f(x) = +.
Soit K un sous ensemble non vide, convexe (cest `a dire tel que (x,y) K
2
, tx+
(1 t)y K, t ]0,1[), et ferme de IR
N
. Soit une fonction continue de IR
N
dans [0, + [ telle que (x) = 0 si et seulement si x K. Pour n IN, on
denit la fonction f
n
par f
n
(x) = f(x) +n(x).
1. Montrer quil existe au moins un element x
n
IR
N
tel que f
n
( x
n
) =
inf
xIR
N f
n
(x), et quil existe un unique element x
K
K tel que f( x
K
) =
inf
xK
f(x).
2. Montrer que pour tout n IN,
f( x
n
) f
n
( x
n
) f( x
K
).
3. En deduire quil existe une sous-suite ( x
n
k
)
kIN
et y K tels que x
n
k
y
lorsque k +.
4. Montrer que y = x
K
. En deduire que toute la suite ( x
n
)
nIN
converge vers
x
K
.
5. Deduire de ces questions un algorithme (dit de penalisation) de resolution
du probl`eme de minimisation suivant :
_
Trouver x
K
K;
f( x
K
) f(x), x K,
en donnant un exemple de fonction .
Exercice 61 (Convergence de lalgorithme dUZAWA)
Soient N, p IN

. Soit f C
1
(IR
N
,IR) (N 1) t.q.
> 0, (f(x) f(y)) (x y) [x y[
2
, x,y IR
N
.
Soit C M
p,N
(IR) (C est donc une matrice, `a elements reels, ayant p lignes
et N colonnes) et d IR
p
. On note D = x IR
N
, Cx d et (
+
= u IR
p
,
u 0.
On suppose D ,= et on sinteresse au probl`eme suivant :
x D, f(x) f(y), y D. (3.6.50)
1. Montrer que f(y) f(x)+f(x) (yx)+

2
[xy[
2
pour tout x,y IR
N
.
2. Montrer que f est strictement convexe et que f(x) quand [x[ .
En deduire quil existe une et une seule solution au probl`eme (3.6.50).
Dans la suite, on note x cette solution.
Pour u IR
p
et x IR
N
, on pose L(x,u) = f(x) +u (Cx d).
3. Soit u IR
p
(dans cette question, u est xe). Montrer que lapplication
x L(x,u) est strictement convexe (de IR
N
dans IR) et que L(x,u)
quand [x[ [Utiliser la question 1]. En deduire quil existe une et une
seule solution au probl`eme suivant :
118 CHAPITRE 3. OPTIMISATION
x IR
N
, L(x,u) L(y,u), y IR
N
. (3.6.51)
Dans la suite, on note x
u
cette solution. Montrer que x
u
est aussi lunique
element de IR
N
t.q. f(x
u
) +C
t
u = 0.
4. On admet que le theor`eme de Kuhn-Tucker sapplique ici (cf. cours). Il
existe donc u (
+
t.q. f(x) +C
t
u = 0 et u (Cx d) = 0. Montrer que
(x,u) est un point selle de L sur IR
N
(
+
, cest-`a-dire :
L(x,v) L(x,u) L(y,u), (y,v) IR
N
(
+
. (3.6.52)
Pour u IR
p
, on pose M(u) = L(x
u
,u) (de sorte que M(u) = infL(x,u),
x IR
N
). On consid`ere alors le probl`eme suivant :
u (
+
, M(u) M(v), v (
+
. (3.6.53)
5. Soit (x,u) IR
N
(
+
un point selle de L sur IR
N
(
+
(cest-`a-dire L(x,v)
L(x,u) L(y,u), pour tout (y,v) IR
N
(
+
). Montrer que x = x = x
u
(on
rappelle que x est lunique solution de (3.6.50) et x
u
est lunique solution
de (3.6.51)) et que u est solution de (3.6.53). [On pourra commencer par
montrer, en utilisant la premi`ere inegalite, que x D et u (Cx d) = 0.]
Montrer que f(x) +C
t
u = 0 et que u = P
C
+(u +(Cx d)), pour tout
> 0, o` u P
C
+ designe loperateur de projection orthogonale sur (
+
. [on
rappelle que si v IR
p
et w (
+
, on a w = P
C
+v ((vw)(wz) 0,
z (
+
).]
6. Deduire des questions 2, 4 et 5 que le probl`eme (3.6.53) admet au moins
une solution.
7. Montrer que lalgorithme du gradient `a pas xe avec projection pour trou-
ver la solution de (3.6.53) secrit (on designe par > 0 le pas de lalgo-
rithme) :
Initialisation. u
0
(
+
.
Iterations. Pour u
k
(
+
connu (k 0). On calcule x
k
IR
N
t.q.
f(x
k
) +C
t
u
k
= 0 (montrer quun tel x
k
existe et est unique) et on pose
u
k+1
= P
C
+(u
k
+(Cx
k
d)).
Dans la suite, on sinteresse `a la convergence de la suite (x
k
,u
k
)
kIN
donnee
par cet algorithme.
8. Soit t.q. 0 < < 2/|C|
2
avec |C| = sup[Cx[, x IR
N
t.q. [x[ = 1.
Soit (x,u) IR
N
(
+
un point selle de L sur IR
N
(
+
(cest-`a-dire veriant
(3.6.52)) et (x
k
,u
k
)
kIN
la suite donnee par lalgorithme de la question
precedente. Montrer que
[u
k+1
u[
2
[u
k
u[
2
(2 |C|
2
)[x
k
x[
2
, k IR
N
.
En deduire que x
k
x quand k .
Montrer que la suite (u
k
)
kIN
est bornee et que, si u est une valeur
dadherence de la suite (u
k
)
kIN
, on a f(x) +C
t
u = 0. En deduire que,
si rang(C)=p, on a u
k
u quand k et que u est lunique element
de (
+
t.q. f(x) +C
t
u = 0.
119
Chapitre 4
Equations dierentielles
4.1 Introduction
On sinteresse ici `a la resolution numerique dequations dierentielles avec
conditions initiales (ou probl`eme de Cauchy) :
_
x

(t) = f(x(t),t) t > 0,


x(0) = x
0
.
(4.1.1)
o` u f est une fonction de IR
N
IR `a valeurs dans IR
N
, avec N 1. Linconnue est
la fonction x de IR dans IR
N
. Souvent, t represente le temps, et on cherche donc
x de IR
+
dans IR
N
. On a donc aaire `a un syst`eme dierentiel dordre 1. De
nombreux exemples de probl`emes secrivent sous cette forme. Citons entre autres
les lois qui regissent la cinetique dun ensemble de reactions chimiques, ou encore
les equations regissant la dynamique des populations. Notons quun syst`eme
dierentiel faisant intervenir des dierentielles dordre superieur peut toujours
secrire sous la forme (4.8.26). Prenons par exemple lequation du second ordre
decrivant le comportement de lamortisseur dune voiture :
_
_
_
my +cy

+ky = 0,
y(0) = x
0
,
y

(0) = 0.
(4.1.2)
o` u m est la masse de la voiture, c le coecient damortissement et k la force
de rappel. Linconnue y est le deplacement de lamortisseur par rapport `a sa
position dequilibre. Pour se ramener `a un syst`eme dordre 1, on pose x
1
= y,
x
2
= y

, et le syst`eme amortisseur secrit alors pour linconnue x = (x


1
,x
2
)
t
:
_
x

(t) = f(x(t),t),
x(0) = ( x
0
,0)
t
,
avec f(x,t) =
_
x
2
,

1
m
(cx
2
+kx
1
)
_
. (4.1.3)
On rappelle que par le theor`eme de Cauchy-Lipschitz, si f C
1
(IR
N

IR,IR
N
) alors il existe T
M
> 0 et x C
2
([0,T
M
[,IR
N
) solution maximale de
(4.8.26), cest `a dire que x est solution de (4.8.26) sur [0,T
M
[, et que sil existe
> 0 et y C
2
([0,[,IR
N
) solution de (4.8.26) sur [0,[ alors T
M
et y = x
sur [0,[. De plus, par le theor`eme dexplosion en temps ni, si T
M
< + alors
[x(t)[ + quand t T
M
.
120 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
Remarque 4.1 (Hypoth`ese sur f) En fait, pour avoir existence et unicite
dune solution maximale de (4.8.26), on peut aaiblir lhypoth`ese f C
1
(IR
N

IR,IR
N
) en f C(IR
N
IR,IR
N
) qui soit lipschitzienne sur les bornes, cest
` a dire qui verie :
A > 0,M
A
IR
+
tel que t [0,T[, (x,y) B
A
B
A
,
[f(x,t) f(y,t)[ M
A
[x y[.
(4.1.4)
o` u [.[ designe une norme sur IR
N
et B
A
la boule de centre 0 et de rayon A. Il
est clair que si f C
1
(IR
N
IR,IR
N
) alors f verie (4.1.4), alors quelle nest
evidemment pas forcement globalement lipschitzienne (prendre f(x) = x
2
pour
sen convaincre).
Exemples
1. On suppose N = 1 ; soit la fonction f denie par f(z,t) = z
2
. On consid`ere
le probl`eme de Cauchy:
_
dx
dt
(t) = x
2
(t)
x(0) = 1
La fonction f est de classe C
1
, donc lipschitzienne sur les bornes (mais
pas globalement lipschitzienne). On peut donc appliquer le theor`eme de
Cauchy-Lipschitz qui nous donne existence et unicite dune solution maxi-
male. On cherche alors `a calculer une solution locale. Un calcul simple (voir
techniques de DEUG) donne x(t) =
1
1t
, et cette fonction tend vers +
lorsque t tend vers 1

. On en deduit que le temps maximal de la solution


est T
M
= 1, et on a donc comme solution maximale x(t) =
1
1t
t [0,1[.
2. Supposons que f C
1
(IR
N
IR,IR
N
), et soit x la solution maximale de
(4.8.26) sur [0,T
M
[. On suppose que pour tout 0 < T < +, il existe
a
T
> 0 et b
T
> 0 tels que
[f(z,t)[ a
T
[z[ +b
T
z IR
N
, t [0,T]
alors on peut facilement montrer grace au lemme de Gronwall
1
que T
M
=
+, car x(t) b
T
Te
aT t
et donc x reste bornee sur tout intervalle [0,T],
T IR.
Dans de nombreux cas, il nest pas possible dobtenir une expression analytique
de la solution de (4.8.26). Lobjet de ce chapitre est de presenter des methodes
pour obtenir des solutions (numeriques) approchees de la solution de (4.8.26).
Plus precisement, le probl`eme se pose avec les notations et hypoth`eses suivantes :
1. On rappelle que le lemme de Gronwall permet de dire que si C([0,T],IR
+
) est telle
que (t)
_
t
0
(s)ds + , avec 0, > 0 alors (t) e
t
pour t [0,T].
4.1. INTRODUCTION 121
Notations et hypoth`eses :
_

_
Soit f veriant lhypoth`ese (4.1.4))
et soit x solution maximale de (4.8.26) (denie sur [0,T
M
[),
on se donne T ]0,T
M
[, on cherche `a calculer x sur [0,T],
o` u x C
1
([0,T],IR
N
) est solution de (4.8.26).
On se donne une discretisation de [0,T], i.e. n IN et
(t
0
,t
1
, . . . ,t
n
) IR
n+1
tels que 0 < t
0
< t
1
< . . . < t
n
= T.
On pose h
k
= t
k+1
t
k
, k = 0, . . . ,n 1,
et h = maxh
0
, . . . ,h
n1
. Pour k = 1, . . . n, on cherche x
k
valeur approchee de x(t
k
) = x
k
,
et on appelle e
k
= x
k
x
k
lerreur de discretisation.
(4.1.5)
On cherche donc une methode qui permette le calcul de x
k
, pour k = 1, . . . ,n,
et telle que la solution approchee ainsi calculee converge, en un sens `a denir,
vers la solution exacte. On cherchera de plus `a evaluer lerreur de discretisation
e
k
, et plus precisement, `a obtenir des estimations derreur de la forme [e
k
[
Ch

, o` u C ne depend que de la solution exacte (et pas de h) ; donne alors


lordre de la convergence.
On etudiera ici les methodes de discretisation des equations dierentielles
dits schema `a un pas qui secrivent sous la forme suivante :
Denition 4.2 (Schema `a un pas) Avec les hypoth`eses et notations (4.1.5),
on appelle schema ` a un pas pour la resolution numerique de (4.8.26), un algo-
rithme de construction des valeurs x
k
qui secrit sous la forme suivante :
_

_
x
0
donne (approximation de x
0
)
x
k+1
x
k
h
k
= (x
k
,t
k
,h
k
), k = 0, . . . n 1,
(4.1.6)
o` u est une fonction de IR
N
IR
+
IR
+
` a valeurs dans IR.
Dans la denition du schema (4.1.6), il est clair que le terme
x
k+1
x
k
h
k
est obtenu
en cherchant une approximation de x

(t
k
) et que (x
k
,t
k
,h
k
) est obtenu en
cherchant une approximation de f(x
k
,t
k
). Le schema numerique est deni par
cette fonction .
Exemples :
1. Schema dEuler explicite Le schema dEuler explicite est deni par (4.1.6)
avec la fonction tr`es simple suivante :
(x
k
,t
k
,h
k
) = f(x
k
,t
k
). (4.1.7)
2. Schema Euler implicite
_

_
x
0
donne
x
k+1
x
k
h
k
= f(x
k+1
,t
k+1
). k = 0, . . . n 1,
(4.1.8)
On remarque que dans le schema dEuler implicite, le calcul de x
k+1
nest
pas explicite, il est donne de mani`ere implicite par (4.1.6) (do` u le nom
122 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
du schema). La premi`ere question `a se poser pour ce type de schema est
lexistence de x
k+1
. On montrera au theor`eme 4.13 que si lhypoth`ese
suivante est veriee :
D
1
f(y,t)z z 0 y IR
N
, z IR
N
, t 0, (4.1.9)
alors x
k+1
calcule par (6.4.61) est bien deni en fonction de x
k
, t
k
, et h
k
.
On peut donc bien ecrire le schema (6.4.61) sous la forme (4.1.6) avec
x
k+1
x
k
h
k
= (x
k
,t
k
,h
k
),
bien que la fonction ne soit denie ici quimplicitement et non explicite-
ment. Sous lhypoth`ese (4.1.9), ce schema entre donc bien dans le cadre des
schemas (4.1.6) etudies ici ; neanmoins, une propriete supplementaire dite
de stabilite inconditionnelle, est veriee par ce schema. Cette propriete
peut saverer tr`es importante en pratique et justie une etude separee
(voir section 4.7).
4.2 Consistance, stabilite et convergence
Denition 4.3 (Consistance) On se place sous les hypoth`eses et notations
(4.1.5) et on etudie le schema (4.1.6).
1. Pour k = 0, . . . ,n, on denit lerreur de consistance du schema (4.1.6) en
t
k
par :
R
k
=
x
k+1
x
k
h
k
(x
k
,t
k
,h
k
). (4.2.10)
2. Le schema est consistant si
max[R
k
[,k = 0 . . . n 1 0 lorsque h 0. (4.2.11)
3. Soit p IN

, le schema est consistant dordre p sil existe C IR


+
ne
dependant que de f,T, x
0
(et pas de h) tel que [R
k
[ Ch
p
, k = 1, . . . ,n
1.
Donnons maintenant une condition necessaire sur pour que le schema (4.1.6)
soit consistant.
Proposition 4.4 (Caracterisation de la consistance) Sous les hypoth`eses
et notations (4.1.5), si C(IR
N
IR
+
IR
+
,IR
N
) et si (z,t,0) = f(z,t) pour
tout z IR
N
et pour tout t [0,T], alors le schema (4.1.6) est consistant.
Demonstration Comme x C
1
([0,T],IR
N
) est la solution exacte de (4.8.26),
on peut ecrire que
x(t
k+1
) x(t
k
) =
_
t
k+1
t
k
x

(s)ds =
_
t
k+1
t
k
f(x(s),s)ds.
On en deduit que
R
k
=
x(t
k+1
) x(t
k
)
h
k
(x
k
,t
k
,h
k
) =
1
h
k
_
t
k+1
t
k
(f(x(s),s) (x
k
,t
k
,h
k
))ds.
4.3. TH

EOR
`
EME DE CONVERGENCE 123
Soit > 0, comme f est continue et (x
k
,t
k
,0) = f(x
k
,t
k
), il existe
1
tel que si
h
k

1
alors : [(x
k
,t
k
,h
k
)f(x
k
,t
k
)[ . On a donc par inegalite triangulaire,
[R
k
[ +
1
h
k
_
t
k+1
t
k
[f(x(s),s) f(x
k
,t
k
)[ds.
La fonction s f(x(s),s) est continue et donc uniformement continue sur
[t
k
,t
k+1
]. Il existe donc
2
tel que si h
2
, alors
1
h
k
_
t
k+1
t
k
[f(x(s),s) f(x
k
,t
k
)[ds .
On a ainsi montre que si h min(
1
,
2
), alors [R
k
[ 2, ce qui termine la
preuve de la proposition.
Notons que pour obtenir une consistance dordre p > 1, il est necessaire de
supposer que la solution x de (4.8.26) est dans C
p
(IR
+
,IR
N
).
Denition 4.5 (Stabilite) Sous les hypoth`eses (4.1.5), on dit que le schema
(4.1.6) est stable sil existe h

> 0 et R IR
+
tels que x
k
B
R
pour tout
k = 0, . . . ,N et pour tout h [0,h

[, o` u B
R
designe la boule de centre 0 et
de rayon R. On dit que le schema est inconditionnellement stable si de plus,
h

= +.
Denition 4.6 (Convergence) On se place sous les hypoth`eses et notations
(4.1.5).
1. Le schema (4.1.6) est convergent si, lorsquon suppose [e
0
[ = 0, on a
max
k=0,...,n
[e
k
[ 0 lorsque h 0.
2. Soit p IN

, le schema est convergent dordre p sil existe C IR


+
ne
dependant que de f,T, x
0
(et pas de h) tel que si on suppose [e
0
[ = 0,
alors
max
k=0,...,n
[e
k
[ Ch
p
.
4.3 Theor`eme de convergence
Theor`eme 4.7 On se place sous les hypoth`eses et notations (4.1.5).
1. On suppose que le schema (4.1.6) est consistant dordre p (i.e. il existe
p IN

et C IR
+
ne dependant que de T, f, x
0
tel que [R
k
[ Ch
p
.)
2. On suppose quil existe h

> 0 tel que pour tout A IR

+
, il existe M
A
> 0
tel que
(y,z) B
A
B
A
, t [0,T], h [0,h

],
[(y,t,h) (z,t,h)[ M
A
[y z[,
(4.3.12)
o` u B
A
designe la boule de rayon A. (Noter que cette hypoth`ese sur est
semblable ` a lhypoth`ese (4.1.4) Lipschitz sur les bornes faite sur f dans
la remarque 4.1 page 119).
124 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
Alors il existe h

> 0 (h

), > 0, et K > 0 (ne dependant que de


f, x
0
,T,h

,M
A
) tels que si
0 < h h

et [e
0
[ ,
alors
1. le schema est stable, au sens o` u x
k
B
2A
pour tout k = 0, . . . n, avec
A = max[x(t)[,t [0,T] < +.
2. le schema converge, et plus precisement, on a lestimation derreur sui-
vante : [e
k
[ K(h
p
+[e
0
[), pour tout k = 0, . . . ,n. (En particulier si e
0
= 0
on a [e
k
[ Kh
p
donc e
k
tend vers 0 au moins comme h
p
.)
Demonstration : Soit x C
2
([0,T],IR
N
) solution de (4.8.26), et soit A =
max[x(t)[,t [0,T] < + (car x est continue et [0,T] est compact). On a
donc x
k
B
A
= y IR
N
,[y[ A.
On va parachuter ici un choix de et h

qui permettront de montrer le


theor`eme par recurrence sur k, on montrera dans la suite de la demonstration
pourquoi ce choix convient.
On choisit :
1. h

> 0 tel que Ce


T(M2A+1)
(h

)
p

A
2
, o` u M
2A
est la constante de
Lipschitz de sur B
2A
dans lhypoth`ese (4.3.12),
2. > 0 tel que e
TM2A

A
2
.
On va maintenant montrer par recurrence sur k que si h h

et [e
0
[ ,
alors :
_
[e
k
[
k
h
p
+
k
[e
0
[,
x
k
B
2A
,
, (4.3.13)
avec
k
= Ce
t
k
M2A
(1 +h
0
) . . . (1 +h
k1
) et
k
= e
t
k
M2A
. (4.3.14)
Si on suppose (4.3.13) vraie, on peut terminer la demonstration du theor`eme :
en eet pour x 0, on a 1 +x e
x
, et donc : (1 +h
0
)(1 +h
1
) . . . (1 +h
k1
)
e
h0+h1+h
k1
= e
t
k
e
T
. On en deduit que
k
Ce
TM2A
e
T
= Ce
T(M2A+1)
, et
que
k
e
TM2A
.
On deduit alors de (4.3.13) et (4.3.14) que
[e
k
[ Ce
T(M2A+1)
h
p
+e
TM2A
[e
0
[
K(h
p
+[e
0
[) avec K = max(Ce
T(M2A+1)
,e
T(M2A
),
et que x
k
B
2A
.
Il ne reste donc plus qu` a demontrer (4.3.13) par recurrence sur k.
Pour k = 0, les formules (4.3.14) donnent
0
= C et
0
= 1. Or on a
bien [e
0
[
0
h
p
+ [e
0
[ car C 0. De plus, par denition de e
0
, on a
x
0
= x
0
e
0
, et donc : [x
0
[ [ x
0
[ + [e
0
[ A + A +
A
2
2A car, par
hypoth`ese e
TM2A

A
2
et donc
A
2
. On en deduit que x
0
B
2A
.
4.3. TH

EOR
`
EME DE CONVERGENCE 125
Supposons maintenant que les relations (4.3.13) et (4.3.14) sont vraies
jusquau rang k et demontrons quelles le sont encore au rang k + 1.
Par denition du schema (4.1.6) et de lerreur de consistance (4.2.10), on
a :
x
k+1
= x
k
+h
k
(x
k
,t
k
,h
k
)
x
k+1
= x
k
+h
k
( x
k
,t
k
,h
k
) +h
k
R
k
.
On a donc e
k+1
= e
k
+h
k
(( x
k
,t
k
,h
k
)(x
k
,t
k
,h
k
))+h
k
R
k
, ce qui entrane
que
[e
k+1
[ [e
k
[ +h
k
[( x
k
,t
k
,h
k
) (x
k
,t
k
,h
k
)[ +h
k
[R
k
[. (4.3.15)
Comme x
k
B
2A
et x
k
B
A
, en utilisant la propriete (4.3.12) de , on a
[( x
k
,t
k
,h
k
) (x
k
,t
k
,h
k
)[ M
2A
[ x
k
x
k
[.
De plus, comme le schema (4.1.6) est suppose consistant dordre p, on a
[R
k
[ Ch
p
. On peut donc deduire de (4.3.15) que
[e
k+1
[ [e
k
[(1 +M
2A
h
k
) +h
k
Ch
p
,
et, en utilisant lhypoth`ese de recurrence (4.3.13) :
[e
k+1
[ (1 +h
k
M
2A
)(
k
h
p
+
k
[e
0
[) +h
k
Ch
p
.
Comme 1 +u e
u
pour tout u 0, ceci entrane
[e
k+1
[
k+1
h
p
+
k+1
[e
0
[,
o` u
k+1
=
k
e
h
k
M2A
+Ch
k
et
k+1
=
k
e
h
k
M2A
= e
t
k+1
M2A
. Or

k
= Ce
t
k
M2A
(1 +h
0
) + (1 +h
k1
) C,
et donc

k+1

k
(e
h
k
M2A
+h
k
)
k
e
h
k
M2A
(1 +h
k
),
ce qui entrane
Ce
t
k
M2A
e
h
k
M2A
(1 +h
0
) (1 +h
k1
)(1 +h
k
) =
k+1
car t
k
+h
k
= t
k+1
.
Donc
[e
k+1
[
k+1
h
p
+
k
[e
0
[.
Il reste `a montrer que x
k+1
B
2A
. On a
[x
k+1
[ [ x
k+1
[ +[e
k+1
[ A +[e
k+1
[ car x
k
B
A
.
Or on vient de montrer que [e
k+1
[
k+1
h
p
+
k+1
[e
0
[, et

k+1
Ce
T(M2A+1)
et
k+1
e
TM2A
.
Donc
[e
k+1
[ Ce
T(M2A+1)
h

p
+e
TM2A

A
2
+
A
2
car on a choisi h

et pour !. . . On a donc nalement [x


k+1
[ A + A,
cest `a dire x
k+1
B
2A
.
126 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
On a donc bien montre (4.3.13) pour tout k = 0, . . . n. Ce qui donne la
conclusion du theor`eme.
Remarque 4.8 Dans le theor`eme precedent, on a montre que x
k
B
2A
pour
tout k = 1, . . . n. Ceci est un resultat de stabilite (cest ` a dire une estimation
sur la solution approchee ne dependant que des donnees T, x
0
, f et (ne depend
pas du maillage h)) conditionnelle, car on a suppose pour le demontrer que
h h

, o` u h

ne depend que de T, x
0
, f et .
Remarque 4.9 (Sur la demonstration du theor`eme de convergence)
Dans la plupart des ouvrages danalyse numerique, la convergence des sche-
mas de discretisation des equations dierentielles est obtenue ` a partir de la
notion de consistance et de la notion de stabilite par rapport aux erreurs (sou-
vent appelee stabilite tout court), notion quon introduira dans le paragraphe
suivant (voir denition 4.10). Il est en eet assez facile de voir (cf exercice 67
page 133) que si le schema (4.1.6) est consistant dordre p et stable par rapport
aux erreurs comme deni dans la denition 4.10, alors il est convergent, et plus
precisement, [e
k
[ K(h
p
+[e
0
[), pour tout k = 0, . . . ,n.
Il y a deux avantages ` a donner le theor`eme precedent. Dune part, ce theor`eme
est dune portee tr`es generale et sapplique facilement ` a de nombreux schemas,
comme on le verra sur des exemples (voir section 4.5).
Dautre part la preuve de convergence habituelle presente un defaut majeur :
la seule condition susante quon connaisse en general pour montrer quun
schema est stable par rapport aux donnees est que la fonction (.,t,h) soit globa-
lement lipschitzienne pour tout t [0,T] et pour tout h [0,h

] (voir proposition
4.12). Ceci revient ` a dire, dans le cas du schema dEuler explicite par exemple,
que f est globalement Lipschitizienne. Cette hypoth`ese est tr`es forte et rarement
veriee en pratique. Bien s ur, comme la solution x de (4.8.26) est bornee sur
[0,T], x vit dans un compact et on peut toujours modier f sur le complementaire
de ce compact pour la rendre globalement lipschitzienne. Cependant, cette ma-
nipulation necessite la connaissance des bornes de la solution exacte, ce qui est
loin detre facile ` a obtenir dans les applications pratiques.
4.4 Stabilite par rapport aux erreurs
Denition 4.10 (Stabilite par rapport aux erreurs) Sous les hypoth`eses
et notations (4.1.5), on dit que le schema (4.1.6) est stable par rapport aux
erreurs sil existe h

IR

+
et K IR
+
dependant de x
0
,f et (mais pas de h)
tels que si h h

et si
x
k+1
= x
k
+h
k
(t
k
,x
k
,h
k
),
y
k+1
= y
k
+h
k
(t
k
,y
k
,h
k
) +
k
,
pour k = 0, . . . ,n 1, (4.4.16)
o` u (
k
)
kIN
IR
+
est donnee, alors
[x
k
y
k
[ K([x
0
y
0
[ +
k1

i=0
[
i
[), pour tout k = 0, . . . ,n 1.
4.5. EXEMPLES 127
On peut alors enoncer le theor`eme de convergence suivant, dont la demons-
tration, tr`es simple, fait partie de lexercice 67 page 133.
Theor`eme 4.11 (Convergence) Sous les hypoth`eses et notations (4.1.5), on
suppose que le schema (4.1.6) est stable par rapport aux erreurs au sens de la
denition 4.10 et quil est consistant dordre p au sens de la denition 4.2.10.
Alors il existe K IR
+
ne dependant que de x
0
,f et (mais pas de h) tel que
[e
k
[ Kh
p
+[e
0
[, pour tout k = 0, . . . ,n.
Comme on la dit dans la remarque 4.9, ce theor`eme est dune portee moins
generale que le theor`eme 4.7 car il nest pas toujours facile de montrer la stabilite
par rapport aux erreurs, en dehors de la condition susante donnee dans la
proposition qui suit, et qui est rarement veriee en pratique.
Proposition 4.12 (Condition susante de stabilite) Sous les hypoth`eses
et notations (4.1.5), une condition susante pour que le schema (4.1.6) soit
stable par rapport aux erreurs est que
h

> 0,M > 0; (x,y) IR


N
IR
N
,h < h

, t [0,T],
[(x,t,h) (y,t,h)[ M[x y[.
(4.4.17)
La demonstration de cette proposition est laissee en exercice (exercice 67
page 133).
4.5 Exemples
On se place sous les hypoth`eses (4.1.5) et on etudie le schema (4.1.6). On
donne quatre exemples de schemas de la forme (4.1.6) :
Exemple 1 Euler explicite On rappelle que le schema secrit (voir (4.1.7)) :
x
k+1
x
k
h
k
= f(x
k
,t
k
),
On a donc (x
k
,t
k
,h
k
) = f(x
k
,t
k
).
On peut montrer (voir exercice 66 page 133) que :
si x C
1
(IR
+
,IR
N
), le schema est consistant dordre 1,
le theor`eme 4.7 sapplique [e
k
[ K(h + [e
0
[) pour h < h

. (La
convergence est assez lente, et le schema nest stable que condition-
nellement.)
Exemple 2 Euler ameliore Le schema secrit :
x
k+1
x
k
h
k
= f
_
x
k
+
h
k
2
f(x
k
,t
k
),t
k
+
h
k
2
_
= (x
k
,t
k
,h
k
) (4.5.18)
si x C
2
(IR
+
,IR
N
),le schema est consistant dordre 2,
le theor`eme 4.7 sapplique et [e
k
[ K(h
2
+[e
0
[) pour h h

.
La convergence est plus rapide.
128 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
Exemple 3 Heun
x
k+1
x
k
h
k
=
1
2
f(x
k
,t
k
) +
1
2
[f(x
k
+h
k
f(x
k
,t
k
),t
k+1
)]. (4.5.19)
si x C
2
(IR
+
,IR
N
), le schema est consistant dordre 2,
Le theor`eme 4.7 sapplique et [e
k
[ K(h
2
+[e
0
[), pour h h

.
Exemple 4 RK4 (Runge et Kutta, 1902) Les schemas de type Runge Kutta
peuvent etre obtenus en ecrivant lequation dierentielle sous la forme
x
k+1
x
k
=
_
t
k+1
t
k
f(x(t),t)dt, et en construisant un schema numerique
`a partir des formules dintegration numerique pour le calcul approche des
integrales. Le schema RK4 sobtient `a partir de la formule dintegration
numerique de Simpson :
A x
k
connu,
x
k,0
= x
k
x
k,1
= x
k
+
h
k
2
f(x
k,0
,t
k
)
x
k,2
= x
k
+
h
k
2
f(x
k,1
,t
k
+
h
k
2
)
x
k,3
= x
k
+ h
k
f(x
k,2
,t
k
+
h
k
2
)
x
k+1
x
k
h
k
=
1
6
f(x
k,0
,t
k
) +
1
3
f(x
k,1
,t
k
+
h
k
2
)
+
1
3
f(x
k,2
,t
k
+
h
k
2
) +
1
6
f(x
k,3
,t
k+1
)
= (x
k
,t
k
,h
k
)
On peut montrer (avec pas mal de calculs. . . ) que si x C
4
([0,T]) alors
le schema est consistant dordre 4. Le theor`eme 4.7 sapplique et [e
k
[
K(h
4
+[e
0
[), pour h h

.
4.6 Explicite ou implicite?
On lit souvent que les schemas implicites sont plus stables. Il est vrai
que lorsque la condition (4.1.9) donnee plus haut est veriee, le schema dEuler
implicite (6.4.61) est inconditionnellement stable, comme nous le verrons dans
la section suivante. Il est donc naturel de le preferer au schema explicite pour
lequel on na quun resultat de stabilite conditionnelle. Cependant, dans le cas
general, le choix nest pas si evident, comme nous allons le voir sur des exemples,
en etudiant le comportement respectif des schemas dEuler explicite et implicite.
4.6.1 Limplicite gagne...
Prenons dabord f(x,t) = x, N = 1 et x
0
= 1. Lequation dierentielle est
donc :
_
dx
dt
= x(t),
x(0) = 1,
4.6. EXPLICITE OU IMPLICITE? 129
dont la solution est clairement donnee par x(t) = e
t
. On suppose que le pas
est constant, cest `a dire h
k
= h k. Le schema dEuler explicite secrit dans ce
cas :
x
k+1
= x
k
hx
k
= (1 h)x
k
et donc
x
k
= (1 h)
k
, k = 0, . . . ,n, avec nh = T.
(4.6.20)
(On a donc n points de discretisation.) La valeur x
k
est censee etre une approxi-
mation de x(t
k
) = e
t
k
, et de fait, on remarque que pour n =
T
h
, on a
x
n
= (1 h)
T/h
e
T
quand h 0.
Lorsquon cherche par exemple `a obtenir le comportement de la solution
dune equation dierentielle dans les grands temps, on peut etre amene `a uti-
liser des pas de discretisation relativement grands. Ceci peut etre aussi le cas
dans des probl`emes de couplage avec dautres equations, les echelles de temps
des equations pouvant etre tr`es dierentes pour les dierentes equations. Que
se passe-t-il dans ce cas? Dans le cas de notre exemple, si on prend h = 2, on
obtient alors x
k
= (1)
k
, ce qui nest clairement pas une bonne approxima-
tion de la solution. Un des probl`emes majeurs est la perte de la positivite de
la solution. Dans un probl`eme dorigine physique o` u x serait une concentration
ou une densite, il est indispensable que le schema respecte cette positivite. On
peut noter que ceci nest pas en contradiction avec le theor`eme 4.7 qui donne
un resultat de convergence (i.e. de comportement lorsque h tend vers 0). Dans
lexemple present, le schema dEuler explicite (4.6.20) ne donne pas une solution
approchee raisonnable pour h grand.
Si on essaye maintenant de calculer une solution approchee `a laide du schema
dEuler implicite (6.4.61), on obtient
x
k+1
= x
k
hx
k+1
, c.`a.d. x
k+1
=
1
1 +h
x
k
et donc
x
k
=
1
(1 +h)
k
, k = 0, . . . n, avec nh = T.
Dans ce cas, la solution approchee reste proche de la solution exacte, et po-
sitive, meme pour des pas de discretisation grands. On pourrait en conclure un
peu hativement que le schema implicite est meilleur que le schema explicite.
On va voir dans lexemple qui suit quune telle conclusion est impossible.
4.6.2 Limplicite perd...
On consid`ere maintenant le probl`eme de Cauchy (4.8.26) avec f(y,t) = +y,
x
0
= 1. La solution est maintenant x(t) = e
t
. Si on prend un pas de discretisation
constant egal `a h, le schema dEuler explicite secrit :
x
k+1
= x
k
+hx
k
= (1 +h)x
k
, c.`a.d. x
k
= (1 +h)
k
.
On a donc
x
n
= (1 +h)
n
e
T
c.`a.d. lorsque n +.
Contrairement `a lexemple precedent, la solution approchee donnee par le schema
dEuler explicite reste raisonnable meme pour les grands pas de temps.
130 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
Si on essaye maintenant de calculer une solution approchee `a laide du schema
dEuler implicite (6.4.61), on obtient
x
k+1
= x
k
+hx
k+1
, c.`a.d. x
k+1
=
1
1 h
x
k
.
On remarque dune part que le schema implicite nest pas deni pour h = 1, et
que dautre part si h est proche de 1 (par valeurs superieures ou inferieures), la
solution approchee explose. De plus pour les valeurs de h superieures `a 1, on
perd la positivite de la solution (pour h = 2 par exemple la solution approchee
oscille entre les valeurs +1 et -1).
Dans le cadre de cet exemple, le choix explicite semble donc plus approprie.
4.6.3 Match nul
En conclusion de ces deux exemples, il semble que le meilleur schema
nexiste pas dans labsolu. Le schema de discretisation doit etre choisi en fonction
du probl`eme ; ceci necessite une bonne comprehension du comportement des
schemas en fonction des probl`emes donnes, donc une certaine experience. . .
4.7 Etude du schema dEuler implicite
On peut ecrire le schema dEuler implicite sous la forme dun schema (4.1.6),
si pour tout k = 0 . . . n 1, x
k
etant donne, il existe x
k+1
qui satisfait :
x
k+1
x
k
h
k
= f(x
k+1
,t
k+1
), k = 0 . . . n 1.
On va montrer dans le theor`eme suivant que ceci est le cas si la condition
(4.1.9) quon rappelle ici est veriee :
D
1
f(y,t)z z 0, y,z IR
N
, t [0,T].
On montrera aussi que sous cette hypoth`ese, on obtient un resultat de sta-
bilite inconditionnelle pour le schema dEuler implicite.
Theor`eme 4.13 On se place sous les hypoth`eses (4.1.5) et (4.1.9). Alors
1. (x
k
)
k=0...n
est bien denie par (6.4.61),
2. [e
k
[ [e
0
[ +h
_
t
k
0
[x

(s)[ds, k = 0 . . . n.
Demonstration:
1. Soit la fonction denie de [0,1] `a valeurs dans IR
N
par (t) = f((1t)y+
tz) ; en ecrivant que (1) (0) =
_
1
0

(s)ds, et en utilisant lhypoth`ese


(4.1.9), on deduit que :
(f(y,t) f(z,t),(y z)) 0, y,z IR
N
, t [0,T]. (4.7.21)
On veut alors montrer que si x
k
, h
k
, t
k
sont donnes, il existe un et un seul
y tel que
y x
k
h
k
= f(y,t
k
+ h
k
). A x
k
et t
k
xes, soit F la fonction de
4.7. ETUDE DU SCH

EMA DEULER IMPLICITE 131


IR
+
IR
N
`a valeurs dans IR
N
denie par F(h,y) = y x
k
hf(y,t
k
+h).
On consid`ere alors lequation
F(h,y) = 0. (4.7.22)
Pour h = 0, cette equation admet evidemment une unique solution y = x
k
.
Soit I =

h IR

+
t.q. (4.7.22) admette une solution pour tout h <

h.
On va montrer par labsurde que supI = +, ce qui demontre lexistence
et lunicite de y solution de (4.7.22).
Supposons que supI = H < +. Montrons dabord que H est atteint.
Soit (h
n
)
nIN
I telle que h
n
H lorsque n +, alors la suite
(y
n
)
nIN
denie par y
n
= x
k
+h
n
f(y
n
,t
k
+h
n
) est bornee : en eet,
y
n
= x
k
+h
n
(f(y
n
,t
k
+h
n
) f(0,t
k
+h)) +h
n
f(0,t
k
+h),
en prenant le produit scalaire des deux membres de cette egalite avec y
n
et en utilisant (4.7.21) et linegalite de Cauchy-Schwarz, on obtient que :
[y
n
[ [x
k
[ +H[f(0,t
k
+h)[.
Il existe donc une sous-suite (y
n
k
)
kIN
qui converge vers un certain Y
lorsque n +. Par continuite de f, on a Y = x
k
+ Hf(Y,t
k
+ H), et
donc H = max I.
Montrons maintenant que H ne peut pas etre egal `a sup I. On applique
pour cela le theor`eme des fonctions implicites `a F denie en (4.7.22). On
a bien F(H,Y ) = 0, et D
2
F(H,Y ) = Id HD
1
f(Y,t
k
+H) est inversible
grace `a lhypoth`ese (4.1.9). Donc il existe un voisinage de (H,Y ) sur lequel
(4.7.22) admet une solution, ce qui contredit le fait que H = sup I.
2. La demonstration de 2 se fait alors par recurrence sur k. Pour k = 0 la
relation est immediate. Lhypoth`ese de recurrence secrit
[e
k
[ [e
0
[ +h
_
t
k
0
[x

(s)[ds.
Par denition du schema (6.4.61) et de lerreur de consistance, on a :
x
k+1
= x
k
+h
k
f(x
k+1
,t
k+1
),
x
k+1
= x
k
+h
k
f( x
k+1
,t
k+1
) +h
k
R
k
.
avec (par integration par parties)
[R
k
[
_
t
k+1
t
k
[x

(s)[ds.
On a donc :
e
k+1
= x
k+1
x
k+1
= x
k
x
k
+h
k
(f( x
k+1
,t
k+1
) f(x
k+1
,t
k+1
)) +h
k
R
k
,
et donc
e
k+1
e
k+1
= e
k
e
k+1
+h
k
R
k
e
k+1
+h
k
(f( x
k+1
,t
k+1
)f(x
k+1
,t
k+1
))e
k+1
.
132 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
Gr ace `a lhypoth`ese (4.1.9) ceci entrane (par (4.7.21)) que
[e
k+1
[ [e
k
[ +h[R
k
[,
et donc
[e
k+1
[ [e
0
[ +h
_
t
k
0
[x

(s)[ds+
_
t
k+1
t
k
[x

(s)[ds = [e
0
[ +h
_
t
k+1
0
[x

(s)[ds.
Ce qui demontre le point 2.
Remarque 4.14 (Stabilite inconditionnelle du schema Euler implicite)
Le schema dEuler implicite (6.4.61) est inconditionnellement stable, au sens o` u
la suite (x
k
)
k=0,...,n
est majoree independamment de h. En eet :
[e
k
[ [e
0
[ +T
_
T
0
[x

(s)[ds = ,
[x
k
[ [ x
k
[ + max[x(s)[, s [0,T] + = .
4.8 Exercices
Exercice 62 (Condition de Lipschitz et unicite) Corrige en page 6.4 page
207
Pour a 0, on denit la fonction
a
: IR
+
IR
+
par:
a
(x) = x
a
. Pour quelles
valeurs de a la fonction
a
est-elle lipschitzienne sur les bornes?
On consid`ere le probl`eme de Cauchy suivant:
y

(t) =
a
(y(t)), t [0, +[
y(0) = 0.
(4.8.23)
Montrer que si
a
est lipschitzienne sur les bornes alors le probl`eme de Cauchy
(4.8.23) admet une solution unique, et que si
a
nest pas lipschitzienne sur les
bornes alors le probl`eme de Cauchy (4.8.23) admet au moins deux solutions.
Exercice 63 (Fonctions lipschitziennes sur les bornes) Corrige en page
6.4 page 208
Les fonctions suivantes sont elles lipschitziennes sur les bornes?
1.

1
: IR IR
x min(x
2
,
_
(x
2
+ 1)
2.

2
: IR
2
IR
2
(x,y) (x
2
xy,[y + 2xy[)
3.

3
: IR
2
+
IR
2
+
(x,y) (

x +y,x
2
+y
2
)
Exercice 64 (Loi de Malthus) Corrige en page ?? page ??
4.8. EXERCICES 133
On consid`ere une esp`ece dont la population (i.e. le nombre dindividus) a double
en 100 ans et triple en 200 ans. Montrer que cette population ne peut pas
satisfaire la loi de Malthus (on rappelle que la loi de Malthus secrit p

(t) = ap(t)
avec a > 0 independant de t).
Exercice 65 (Histoire de sardines) Corrige en page 6.4 page 208
Une famille de sardines tranquillement installees dans les eaux du Frioul a une
population qui crot selon la loi de Malthus p

(t) = 4p(t) o` u t est exprime


en jours. A linstant t = 0, un groupe de bonites voraces vient sy installer
egalement, et se met `a attaquer les pauvres sardines. Le taux de perte chez ces
derni`eres sel`eve a 10
4
p
2
(t) par jour, o` u p(t) est la population des sardines
au temps t. De plus, au bout dun mois de ce traitement, suite au degazement
intempestif dun super tanker au large du Planier, les sardines decident demigrer
vers des eaux plus claires au rythme de 10 pour cent de la population par jour
(on supposera que par miracle, le nombre de bonites reste constant...).
1. Modier la loi de Malthus pour prendre en compte les deux phenom`enes.
2. En supposant qu`a t = 0 le nombre de sardines est de 1 million, calculer
le nombre de sardines pour t > 0. Quel est le comportement de p(t) `a linni ?
Exercice 66 (Consistance et ordre des schemas) Corrige en page 6.4 page
208
On reprend les hypoth`eses et notations (4.1.5).
1. On rappelle que le schema dEuler explicite secrit (voir (4.1.7)) :
x
k+1
x
k
h
k
= f(x
k
,t
k
),
Montrer que le schema est consistant et convergent dordre 1.
2. Montrer que les schemas dEuler ameliore (4.5), et dHeun sont consistants
et convergents dordre 2.
3. Montrer que le schema RK4 est consistant et convergent dordre 4 (pour
les braves. . . )
4. Montrer que le schema dEuler implicite est consistant dordre 1.
Exercice 67 (Stabilite par rapport aux erreurs et convergence) Cor-
rige donne en page 209
On se place sous les hypoth`eses et notations (4.1.5) page 121, et on consid`ere le
schema (4.1.6) page 121 pour la resolution numerique de lequation dierentielle
(4.8.26) page 134.
1. Montrer que si le schema (4.1.6) est stable par rapport aux erreurs au sens
de la denition 4.10 page 126, et quil est consistant dordre p au sens de
la denition 4.3 page 122, alors il existe K IR
+
ne dependant que de
x
0
,f et (mais pas de h) tel que [e
k
[ Kh
p
+[e
0
[, pour tout k = 0 . . . n.
En deduire que si e
0
= 0 le schema converge.
2. Montrer que si est globalement Lipshitzienne, c.`a.d. si
h

> 0,M > 0; (x,y) IR


N
IR
N
,h < h

, t [0,T],
[(x,t,h) (y,t,h)[ M[x y[,
alors le schema est stable par rapport aux erreurs.
134 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
Exercice 68 (Schema dordre 2) Corrige en page ?? page ??
Soit f C
2
(IR
N
IR,IR
N
), N 1, x
0
IR
N
, et soit x solution maximale de
(E) (denie sur [0,T
M
[) :
_
dx
dt
(t) = f(x(t),t), t > 0,
x(0) = x
0
.
(E)
On se donne T ]0,T
M
[, et une discretisation de [0,T], denie par n IN
et (t
0
,t
1
, . . . ,t
n
) IR
n+1
tels que 0 = t
0
< t
1
< . . . < t
n
= T. On pose
h
k
= t
k+1
t
k
, k = 0, . . . ,n 1.
On consid`ere le schema de discretisation
_
x
0
donne (approximation de x
0
),
x
k+1
x
k
h
k
=
1
2
[f(x
k
,t
k
) +f(x
k
+h
k
f(x
k
,t
k
),t
k+1
)], k = 0, . . . n 1,
pour la resolution numerique de lequation dierentielle (E). Montrer que ce
schema est convergent dordre 2.
Exercice 69 (Algorithme du gradient `a pas xe et schema dEuler) Corrige
en page ?? page ??
Soit f C
2
(IR
N
,IR) strictement convexe et t.q. f(x) quand [x[ .
Soit x
0
IR
N
. On consid`ere les 2 probl`emes :
x IR
N
,
f(x) f(x), x IR
N
,
(4.8.24)
dx
dt
(t) = f(x(t)), t IR
+
,
x(0) = x
0
.
(4.8.25)
1. Montrer que lalgorithme du gradient `a pas xe (de pas note ) pour
trouver la solution de (6.4.57) (avec point de depart x
0
) est le schema
dEuler explicite pour la resolution approchee de (6.4.58) (avec pas de
temps ).
2. Montrer quil existe un unique x solution de (6.4.57).
3. Montrer que (6.4.58) admet une et une seule solution sur IR
+
et que cette
solution converge vers x (solution de (6.4.57)) quand t .
4. Expliciter le cas f(x) = (1/2)Axxbx avec A symetrique denie positive
et b IR
N
.
Exercice 70 (Methode de Taylor)
Corrige en page ?? page ??
Soit f C

(IR IR,IR), et x
0
IR, on consid`ere le probl`eme de Cauchy
suivant :
_
dx
dt
(t) = f(x(t),t) t > 0,
x(0) = x
0
,
(4.8.26)
dont on cherche `a calculer la solution sur [0,T], o` u T > 0 est donne. On se donne
un pas de discretisation h =
T
n
, avec n 1.
4.8. EXERCICES 135
Dans toute la suite, on note x
(k)
la derivee dordre k de x,
k
i
f la derivee
partielle dordre k de f par rapport `a la i-`eme variable,
k
i

j
f la derivee partielle
de f dordre k par rapport `a la i-`eme variable et dordre par rapport `a la j-`eme
variable (on omettra les symboles k et lorsque k = 1 ou = 1).
On denit f
(m)
C

(IR IR,IR) par


f
(0)
= f,
f
(m+1)
=
_

1
f
(m)
_
f +
2
f
(m)
, pour m 0.
(4.8.27)
1. Montrer que pour tout m IN, la solution x du probl`eme de Cauchy
(4.8.26) satisfait :
x
(m+1)
(t) = f
(m)
(x(t),t).
2. Calculer f
(1)
et f
(2)
en fonction des derivees partielles
1
f,
2
f,
1

2
f,

2
1
f,
2
2
f, et de f.
On denit pour p 1 la fonction
p
de IR IR `a valeurs dans IR par

p
(y,t,h) =
p1

j=0
h
j
(j + 1)!
f
(j)
(y,t).
Pour k = 1, . . . ,n, on note t
k
= kh. On denit alors la suite (x
k
)
k=0,n+1
IR
par
_
x
0
= x
0
,
x
k+1
= x
k
+ h
p
(x
k
,t
k
,h), pour k = 1, . . . ,n.
(4.8.28)
3. Montrer que dans le cas p = 1, le syst`eme (4.8.28) denit un schema de
discretisation vu en cours, dont on precisera le nom exact.
4. On suppose, dans cette question uniquement, que f(y,t) = y pour tout
(y,t) IR IR, et que x
0
= 1.
4.a/ Calculer
p
(y,t,h) en fonction de y et h.
4.b/ Montrer que x
k
=
_
_
p

j=0
h
j
j!
_
_
k
, pour k = 1, . . . ,n.
4.c/ Montrer que [x
k
x(t
k
)[
h
p
(p + 1)!
t
k
e
t
k
.
5. On revient au cas general f C

(IR IR,IR). Montrer que le schema


(4.8.28) est consistant dordre p. Montrer quil existe

h > 0, et C > 0 ne
dependant que de x
0
, T et f, tels que si 0 < h <

h, alors [x
k
x(t
k
)[ Ch
p
,
pour tout k = 0, . . . ,n + 1.
Exercice 71 (Schema dEuler implicite) Corrige en page ?? page ??
Soit f C
1
(IR,IR) telle que f(y) < 0 pour tout y ]0,1[ et f(0) = f(1) = 0.
Soit y
0
]0,1[. On consid`ere le probl`eme suivant :
y

(t) = f(y(t)), t IR
+
, (4.8.29)
y(0) = y
0
. (4.8.30)
136 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
Question 1.
1.1 Soit T IR
+
; on suppose que y C
1
([0,T[,IR) est solution de (6.4.59)-
(6.4.60). Montrer que 0 < y(t) < 1 pour tout t [0,T[ (On pourra raisonner
par labsurde et utiliser le theor`eme dunicite).
1.2 Montrer quil existe une unique fonction y C
1
([0, + [,IR) solution
de (6.4.59)-(6.4.60) et que y est une fonction strictement positive et strictement
decroissante.
Dans les questions suivantes on designe par y cette unique solution denie
sur [0, +[.
Question 2.
2.1 Montrer que y admet une limite IR lorsque t +.
2.2 Montrer que = 0 . (On pourra remarquer que, pour tout t 0, on a
y(t + 1) = y(t) +
_
t+1
t
f(y(s))ds).
Question 3. Soit y
0
]0,1[, on cherche `a approcher la solution exacte de
(6.4.59)-(6.4.60) par le schema dEuler implicite de pas h IR

+
, qui secrit :
y
n+1
= y
n
+hf(y
n+1
),n IN. (4.8.31)
3.1 Soit a ]0,1[. Montrer quil existe b ]0,1[ t.q.
b a
h
= f(b).
En deduire que pour y
0
]0,1[ xe, il existe (y
n
)
nIN
solution du schema dEuler
implicite (6.4.61) telle que y
n
]0,1[ pour tout n IN.
3.2 Soit (y
n
)
nIN
une suite construite `a la question 3.1. Montrer que cette
suite est decroissante et quelle tend vers 0 lorsque n tend vers linni.
Question 4. On suppose dans cette question que
f

(0) = < 0
Soit ]0,[.
4.1 Montrer que pour t susamment grand,
f(y(t))
y(t)
< .
4.2 En deduire quil existe C IR
+
t.q.
y(t) Ce
t
,t 0.
4.3 Montrer quil existe C IR

+
t.q. la solution du schema dEuler implicite
construite `a la question 3 verie :
y
n
C
_
1
1 +h
_
n
, n IN.
Exercice 72 (Methodes semi-implicite et explicite) Correction en page
6.4 page 213
4.8. EXERCICES 137
On sinteresse dans cet exercice au syst`eme dierentiel :
_
_
_
x

1
(t) = x
1
(t) x
1
(t)x
2
(t),
x

2
(t) =
x
2
(t)
x
1
(t)
,
t > 0, (4.8.32)
avec les conditions initiales
x
1
(0) = a, x
2
(0) = b, (4.8.33)
o` u a et b appartiennent `a lintervalle ]0,1[.
1. On pose x = (x
1
,x
2
)
t
. Montrer que le syst`eme (4.8.32)-(4.8.33) secrit
_
x

(t) = f(x(t)), t > 0,


x(0) = (a,b)
t
,
(4.8.34)
avec f C
1
((IR

+
)
2
,IR
2
).
2. Les questions suivantes sont facultatives : elles permettent de montrer que
le syst`eme (4.8.34) admet une solution maximale x C
1
([0, +[,(IR

+
)
2
).
Le lecteur presse par le temps pourra admettre ce resultat et passer `a la
question 3.
(a) Montrer quil existe > 0 et x C
1
([0,[,(IR

+
)
2
) solution de (4.8.34)
(on pourra utiliser, ainsi que dans la question suivante, le fait que f
est lipschitzienne sur tout pave [,A]
2
avec 0 < A < +).
(b) Soit > 0, montrer quil existe au plus une solution de (4.8.34)
appartenant `a C
1
([0,[,(IR

+
)
2
).
(c) Montrer que le syst`eme (4.8.34) admet une solution maximale x
C
1
([0, +[,(IR

+
)
2
). (Cette question est dicile : il faut raisonner par
labsurde, supposer que T < +, montrer que dans ce cas x nest
pas solution maximale. . . )
(d) Montrer que la solution maximale x verie x C

([0, +[,(IR

+
)
2
).
3. On consid`ere le schema suivant de discretisation du syst`eme (4.8.32)-
(4.8.33) : soit k le pas de discretisation, choisi tel que 0 < k <
1
2
.
_

_
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
x
(n)
1
x
(n+1)
2
,
x
(n+1)
2
x
(n)
2
k
=
x
(n+1)
2
x
(n)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(4.8.35)
(a) Montrer par recurrence sur n que les suites (x
(n)
1
)
nIN
et (x
(n)
2
)
nIN
donnees par (6.4.62) sont bien denies, decroissantes et strictement
positives.
(b) Montrer que le schema numerique (6.4.62) secrit sous la forme
x
(n+1)
x
(n)
k
= (x
(n)
,k), (4.8.36)
avec x
(n)
= (x
(n)
1
,x
(n)
2
)
t
, C

((IR

+
)
2
IR
+
,IR
2
) et (x,0) = f(x).
138 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
(c) (Consistance)
Soit T > 0. Pour n IN, on note t
n
= nk. Montrer quil existe
C(T) IR
+
tel que
x(t
n+1
) x(t
n
)
k
= (x(t
n
),k) +R
(n)
k
, pour tout n tel que nk T,
(4.8.37)
avec [R
(n)
k
[ C(T)k.
(d) (Stabilite)
Soit T > 0.
(i) Montrer que x
(n)
1
(1 k kb)
T
k
pour tout entier n tel que
nk T.
(ii) Montrer que
(1 k kb)
T
k
e
(1+b)T
lorsque k 0,
et en deduire que inf
0<k<
1
2
(1 k kb)
T
k
> 0.
(iii) En deduire quil existe a(T) > 0 et b(T) > 0 tels que
_
a(T) x
(n)
1
a,
b(T) x
(n)
2
b,
pour tout n tel que nk T. (4.8.38)
(e) (Convergence)
Soit T > 0. Montrer quil existe D(T) IR
+
tel que
[x
(n)
x(t
n
)[ D(T)k, pour tout n tel que nk T. (4.8.39)
En deduire la convergence du schema (6.4.62).
(f) On remplace maintenant le schema (6.4.62) par le schema dEuler
explicite pour le syst`eme (4.8.34). Ecrire ce schema. Montrer que
pour tout pas de discretisation k > 0, il existe des valeurs de n telles
que x
(n)
1
0 ou x
(n)
2
0. (On pourra montrer que si x
(n)
1
> 0 et
x
(n)
2
> 0 pour tout n IN, alors x
(n)
1
tend vers 0 lorsque n tend
vers +, et donc quil existe n tel que x
(n)
2
0, ce qui contredit
lhypoth`ese). Commenter.
Exercice 73
Soit f C
2
(IR
n
IR
+
,IR
n
), T > 0, et y
(0)
IR
n
. On designe par (.,.) le produit
scalaire euclidien sur IR
n
et |.| la norme associee. On suppose que:
(y,z) (IR
n
)
2
, (f(y,t) f(z,t),y z) 0. (4.8.40)
On consid`ere le syst`eme dierentiel :
y

(t) = f(y(t),t) t [0,T[, (4.8.41)


y(0) = y
(0)
. (4.8.42)
1. Montrer que pour tout y IR
n
et t [0,T[, on a :
(f(y,t),y)
1
2
(|f(0,t)|
2
+|y|
2
). (4.8.43)
4.8. EXERCICES 139
En deduire quil existe une unique solution y C
1
([0,T[,IR
n
) veriant (4.8.41)-
(4.8.42).
On se propose de calculer une solution approchee de y sur [0,T]. Pour cela,
on consid`ere une discretisation de lintervalle [0,T] de pas constant, note h, avec
h =
T
N
, o` u N IN

. Pour k = 0, . . . ,N, on note t


k
= kh, et on se propose
detudier lalgorithme suivant, o` u 0 1.
y
0
IR
n
est donne (4.8.44)
y
k,1
= y
k
+hf(y
k,1
,t
k
+h), pour k = 0, . . . ,N 1, (4.8.45)
y
k+1
= y
k
+hf(y
k,1
,t
k
+h) pour k = 0, . . . ,N 1, (4.8.46)
2. Montrer quil existe une unique solution (y
k
)
k=0,...,N
IR
n
de (4.8.44)-
(4.8.45)-(4.8.46).
Pour k = 0, . . . ,N 1, on pose y(t
k
) = y
k
, o` u y est la solution exacte de
(4.8.41)-(4.8.42), t
k,1
= t
k
+h, on denit y
k,1
par :
y
k,1
= y
k
+hf( y
k,1
,t
k,1
), (4.8.47)
et on denit lerreur de consistance R
k
du schema (4.8.44)-(4.8.45)-(4.8.46)
au point t
k
par :
R
k
=
y
k+1
y
k
h
f( y
k,1
,t
k,1
) (4.8.48)
3. Pour k = 0, . . . ,N, on pose y
k,1
= y(t
k,1
), et, pour k = 0, . . . ,N 1 on
pose:

R
k
=
1
h
(y
k,1
y
k
) f(y
k,1
,t
k,1
). (4.8.49)
Montrer que pour tout k = 0, . . . ,N 1 :
y
k,1
y
k,1
= h
_
f( y
k,1
,t
k,1
) f(y
k,1
,t
k,1
_
+h

R
k
, (4.8.50)
En deduire quil existe C
1
ne dependant que de y et de T t.q. : | y
k,1
y
k,1
|
C
1
h
2
.
4. Montrer quil existe C
2
ne dependant que de f,y et T t.q.
|y
k+1
y
k
hf(y
k
,t
k,1
) hR
k
| C
2
h
3
, k = 0, . . . ,N 1. (4.8.51)
5. Deduire des questions precedentes quil existe C
3
ne dependant que de y,f
et T t.q. :
|R
k
| C
3
((
1
2
)h +h
2
) (4.8.52)
et en deduire lordre du schema (4.8.44)-(4.8.45)-(4.8.46).
6. Montrer que pour tout k = 1, . . . ,N, on a :
_
y
k
y
k
,f(y
k,1
,t
k,1
)f( y
k,1
,t
k,1
)
_
h|f(y
k,1
,t
k,1
)f( y
k,1
,t
k,1
)|
2
. (4.8.53)
140 CHAPITRE 4. EQUATIONS DIFF

ERENTIELLES
7. Montrer que pour tout k = 0, . . . ,N, on a :
|e
k+1
hR
k
|
2
= |e
k
|
2
+2h(f(y
k,1
,t
k,1
)f( y
k,1
,t
k,1
),e
k
)+h
2
|f(y
k,1
,t
k,1
)f( y
k,1
,t
k,1
)|
2
.
(4.8.54)
8. Montrer que si
1
2
, on a :
|e
k
| |e
0
| +C
3
(h
2
+ (
1
2
)h), k = 1, . . . ,N. (4.8.55)
9. Soient (
k
)
kIN
IR
n
donnee et (z
k
)
kIN
IR
n
denie par :
z
0
IR
n
donne (4.8.56)
z
k,1
= z
k
+hf(z
k,1
,t
k,1
), pour k = 0, . . . ,N 1, (4.8.57)
z
k+1
= z
k
+ +
k
+hf(z
k,1
,t
k,1
) pour k = 0, . . . ,N 1, (4.8.58)
En sinspirant des questions 6 et 7, montrer que si
1
2
, on a :
|y
k+1
z
k+1
+
k
|
2
|y
k
z
k
|
2
, (4.8.59)
et en deduire que
|y
k
z
k
| |y
0
z
0
| +
k1

i=0
|
i
|. (4.8.60)
141
Chapitre 5
Suggestions pour les
exercices
On donne dans ce chapitre des suggestions pour eectuer les exercices donnes
en n des chapitres. Il est fortement conseille dessayer de faire les exercices
dabord sans ces indications, et de ne regarder les corriges detailles quune fois
lexercice acheve (meme si certaines questions nont pas pu etre eectuees), ceci
pour se preparer aux conditions dexamen. On ne donne pas de suggestion pour
les questions faciles, mais la correction detaillee est donnee au chapitre 6.
5.1 Exercices du chapitre 1
Suggestions pour lexercice 1 page 27 (Matrices symetriques
denies positives)
3. Utiliser la diagonalisation sur les operateurs lineaires associes.
Suggestions pour lexercice 3 page 27 (Normes induites par-
ticuli`eres)
1. Pour montrer legalite, prendre x tel que x
j
= sign(a
i0,j
) o` u i
0
est tel que

j=1,...,N
[a
i0,j
[

j=1,...,N
[a
i,j
[, i = 1, . . . ,N, et sign(s) designe le signe de
s.
2. Pour montrer legalite, prendre x tel que x
j0
= 1 et x
j
= 0 si j ,= j
0
, o` u
j
0
est tel que

i=1,...,N
[a
i,j0
[ = max
j==1,...,N

i=1,...,N
[a
i,j
[.
3. Utiliser le fait que A
t
A est une matrice symetrique positive pour montrer
linegalite, et pour legalite, prendre pour x le vecteur propre associe `a la plus
grande valeur propre de A.
Suggestions pour lexercice 7 page 28 (Rayon spectral)
1. Pour le sens direct, utiliser la proposition 1.9 page 20 du cours.
142 CHAPITRE 5. SUGGESTIONS POUR LES EXERCICES
2. On rappelle que limsup
k+
u
k
= lim
k+
sup
nk
u
n
, et liminf
k+
u
k
=
lim
k+
inf
nk
u
n
. Utiliser la question 1.
3. Utiliser le fait que liminf
k+
u
k
est une valeur dadherence de la suite
(u
k
)
kIN
(donc quil existe une suite extraite (u
kn
)
nIN
telle que uu
kn
liminf
k+
u
k
lorsque k +.
4. Raisonner avec
1

A o` u IR
+
est tel que (A) < et utiliser la question
2 pour deduire que
limsup
k+
|A
k
|
1
k
(A).
Raisonner ensuite avec
1

A o` u IR
+
est tel que liminf
k+
|A
k
|
1
k
< et
utiliser la question 3.
Suggestions pour lexercice 8 page 28 (Serie de Neumann)
1. Montrer que si (A) < 1, alors 0 nest pas valeur propre de Id + A et
Id A.
2. Utiliser le resultat de la question 1 de lexercice 7.
Suggestions pour lexercice 16 page 31 (Proprietes generales
du conditionnement)
3. On rappelle que si A a comme valeurs propres
1
, . . . ,
N
, alors A
1
a
comme valeurs propres
1
1
, . . . ,
1
N
et A
t
a comme valeurs propres
1
, . . . ,
N
.
4. Utiliser le fait que AA
t
est diagonalisable.
6. Soient 0 <
1

2
. . .
N
et 0 <
1

2
. . .
N
les valeurs propres
de A et B (qui sont s.d.p.). Montrer dabord que :
cond
2
(A +B)

N
+
N

1
+
1
.
Montrer ensuite que
a +b
c +d
max(
a
c
,
b
d
), (a,b,c,d) (IR

+
)
4
.
et conclure
Suggestions pour lexercice 12 page 30
2. Soit q le nombre de sur- ou sous-diagonales (p = 2q + 1). Compter le
nombre c
q
doperations necessaires pour le calcul des colonnes 1 `a q et N q +1
`a N, puis le nombre d
n
doperations necessaires pour le calcul des colonnes
n = q +1 N q. En deduire lestimation sur le nombre doperations necessaires
pour le calcul de toutes les colonnes, Z
p
(N), par :
2c
q
Z
p
(N)2c
q
+
Nq

n=q+1
c
n
.
5.1. EXERCICES DU CHAPITRE 1 143
Suggestions pour lexercice 18 page 32 (Valeurs propres et
vecteurs propres de A.)
Chercher les vecteurs propres IR
N
de A sous la forme
j
= (x
j
),
j = 1, . . . ,N o` u est introduite dans les indications de lenonce. Montrer que
les valeurs propres associees `a ces vecteurs propres sont de la forme :
k
=
2
h
2
(1 cos kh) =
2
h
2
(1 cos
k
N + 1
).
Suggestions pour lexercice 19 page 32 (Conditionnement
ecace)
Partie 1
1. Pour montrer que A est inversible, utiliser le theor`eme du rang.
2. Utiliser le fait que est un polynome de degre 2.
3. Pour montrer que |A
1
| =
1
8
, remarquer que le maximum de est atteint
en x = .5, qui correspond `a un point de discretisation car N est impair.
Partie 2 Conditionnement ecace
1. Utiliser la convergence uniforme. 2. Utiliser le fait que A = (1 . . . 1)
t
.
Suggestions pour lexercice 21 page 46 (Methode iterative
du gradient `a pas xe.)
1. Calculer le rayon spectral (B) de la matrice diteration B = Id A.
Calculer les valeurs de pour lesquelles (B) < 1 et en deduire que la methode
iterative du gradient `a pas xe converge si 0 < <
2
(A)
.
2. Remarquer que (Id A) = max([1
1
[,[1
N
1[, o` u
1
, . . . ,
N
sont les valeurs propres de A ordonnees dans le sens croissant. En tra cant les
graphes des valeurs prises par [1
1
[ et [1
N
1[en fonction de , en
deduire que le min est atteint pour =
2
1+N
.
Suggestions pour lexercice 22 page 46 (Non convergence
de la methode de Jacobi].)
Considerer dabord le cas a = 0.
Si a ,= 0, pour chercher les valeurs de a pour lesquelles A est symetrique
denie positive, calculer les valeurs propres de A en cherchant les racines du
polynome caracteristique. Introduire la variable telle que a = 1 .
Pour chercher les valeurs de a pour lesquelles la methode de Jacobi converge,
calculer les valeurs propres de la matrice diteration J denie en cours.
Suggestions pour lexercice 23 page 46 (Jacobi pour les ma-
trices `a diagonale dominante.)
Pour montrer que A est inversible, montrer que Ax = 0 si et seulement si
x = 0. Pour montrer que la methode de Jacobi converge, montrer que toutes
144 CHAPITRE 5. SUGGESTIONS POUR LES EXERCICES
les valeurs propres de la matrice A sont strictement inferieures `a 1 en valeur
absolue.
Suggestions pour lexercice 26 page 48 (Methode de Jacobi
et relaxation.)
1. Prendre pour A une matrice (2,2) symetrique dont les elements diagonaux
sont dierents lun de lautre.
2. Appliquer lexercice 25 page 47 en prenant pour T lapplication lineaire
dont la matrice est D et pour S lapplication lineaire dont la matrice est E+F.
4. Remarquer que (J) = max(
1
,
N
), et montrer que:
si
1
1, alors 2DA nest pas denie positive,
si
N
1, alors A nest pas denie positive.
6. Reprendre le meme raisonnement qu` a la question 2 `a 4 avec les matrices
M

et N

au lieu de D et E +F.
7. Chercher une condition qui donne que toutes les valeurs propres sont
strictement positives en utilisant la base de vecteurs propres ad hoc. (Utiliser la
base de IR
N
, notee f
1
, . . . , f
N
, trouvee `a la question 2.)
8. Remarquer que les f
i
de la question 2 sont aussi vecteurs propres de
J

et en deduire que les valeurs propres


()
i
de J

sont de la forme
()
i
=
(
i
1 1/). Pour trouver le param`etre optimal
0
, tracer les graphes des
fonctions de IR
+
dans IR denies par [
()
1
[ et [
()
N
[, et en conclure
que le minimum de max([
()
1
[,[
()
N
[) est atteint pour =
2
21N
.
Suggestions pour lexercice 28 page 49 (Methode de la puis-
sance pour calculer le rayon spectral de A.)
1. Decomposer x
0
sur une base de vecteurs propres orthonormee de A, et
utiliser le fait que
N
nest pas valeur propre.
2. a/ Raisonner avec y
(n)
= x
(n)
x o` u x est la solution de Ax = b et
appliquer la question 1.
b/ Raisonner avec y
(n)
= x
(n+1)
x
(n)
.
Suggestions pour lexercice 29 page 50 (Methode de la puis-
sance inverse)
Appliquer lexercice precedent `a la matrice B = (A Id)
1
.
Suggestions pour lexercice 30 page 50 (Convergence de
SOR.)
1. Calculer le determinant de A.
2. Calculer le determinant de
I
d
E.
3. Remarquer que les valeurs propres de L

annulent det(
1

Id + F
(
I
d
E)). Apr`es calcul de ce determinant, on trouve
1
= 1,
2
=
1
1+

2
,

3
=
1
1

2
.
Montrer que si <

2, (L

) = [
3
[ et que (L

) = [
1
[ si

2.
5.2. EXERCICES DU CHAPITRE 2 145
4. Utiliser lexpression des valeurs propres pour montrer que la methode
converge si >
2
1+

2
et que le param`etre de relaxation optimal est
0
= 1.
5.2 Exercices du chapitre 2
Suggestions pour lexercice 37 page 71 (Valeurs propres et
methode de Newton)
Ecrire le syst`eme sous la forme F(x,) = 0 o` u F est une fonction de IR
N+1
dans IR
N+1
et montrer que DF(,x) est inversible.
Suggestions pour lexercice 38 page 71 (Modication de la
methode de Newton)
1. Remarquer que si A /
N
(IR) et > 0, alors A
t
A+Id est symetrique
denie positive.
2. En introduisant la fonction denie par (t) = f(tx
n
+(1t)x), montrer
que f(x
n
) = (x
n
x)g(x
n
), o` u g(x) =
_
1
0
f

(tx +(1 t)x)dt. Montrer que g est


continue.
Montrer que la suite (x
n
)
nIN
verie x
n+1
x = a
n
(x
n
x), o` u
a
n
= 1
f

(x
n
)g(x
n
)
f

(x
n
)
2
+
,
et quil existe tel que si x
n
B(x,), alors a
n
]0,1[. Conclure.
3. Reprendre la meme methode que dans le cas N = 1 pour montrer que
la suite (x
n
)
nIN
verie x
n+1
x = D(x
n
)(x
n
x), o` u D ((IR
N
,/
N
(IR)).
Montrer que D(x) est symetrique et montrer alors que |D(x)|
2
< 1 en calculant
son rayon spectral. Conclure par continuite comme dans le cas precedent.
Suggestions pour lexercice 39 page 71 (Convergence de la
methode de Newton si f

(x) = 0)
Supposer par exemple que f

(x) > 0 et montrer que si x


0
est assez proche
de x la suite (x
n
)
nIN
est croissante majoree ou decroissante minoree et donc
convergente. Pour montrer que lordre de la methode est 1, montrer que
|x
n+1
x|
|x
n
x|

1
2
lorsque n +.
Suggestions pour lexercice 41 page 72 (Methode de New-
ton)
1. Pour montrer lunicite, utiliser la croissance de f et le caract`ere s.d.p. de
A.
2. Utiliser le theor`eme de convergence du cours.
146 CHAPITRE 5. SUGGESTIONS POUR LES EXERCICES
Suggestions pour lexercice 32 page 68 (Methode de mono-
tonie)
Pour montrer que la suite (v
(n)
)
nIN
est bien denie, remarquer que la ma-
trice A est inversible. Pour montrer quelle est convergente, montrer que les
hypoth`eses du theor`eme du point xe de monotonie vu en cours sont veriees.
Suggestions pour lexercice 42 page 72 (Methode de Stef-
fensen))
Exercice 24 (plus dicile. . . )
1. Utiliser la monotonie de f dans un voisinage de x.
2. Developper le denominateur dans lexpression de la suite en utilisant le
fait que f(x
n
+f(x
n
)) f(x
n
) =
_
1
0

(t)dt o` u (t) = f(x


n
+tf(x
n
)), puis que
f

(x
n
+ tf(x
n
)) =
_
t
0

(s)ds o` u (t) = f

(x
n
+ tf(x
n
)). Developper ensuite le
numerateur en utilisant le fait que f(x
n
) =
_
1
0

(t)dt o` u (t) = f(tx + (1


t)x
n
), et que f

(tx + (1 t)x
n
) =
_
1
0
(s)ds +(0), o` u (t) = f(x + (1 t)
n
).
3. La convergence locale et lordre 2 se deduisent des resultats de la question
2.
5.3 Exercices du chapitre 3
Suggestions pour lexercice 46 page 82 (Minimisation dune
fonctionnelle quadratique)
1. Calculer la dierentielle de f en formant la dierence f(x +h) f(x) et
en utilisant la de

finition. Calculer la hessienne en formant la dierence f(x +


h) f(x).
2. Utiliser le cours. . .
Suggestions pour lexercice 45 page 82 (Convexite et conti-
nuite)
1. (a) Pour montrer la continuite en 0, soit x ,= 0, [x[ < 1. On pose a =
sgn(x) (=
x
|x|
). Ecrire x comme une combinaison convexe de 0 et a
et ecrire 0 comme une combinaison convexe de x et a. En deduire
une majoration de [f(x) f(0)[.
(b) utiliser la continuite de f et la majoration precedente.
2. (a) Faire une recurrence sur N et pour x = (x
1
,y)
t
avec R < x
1
< R et
y IR
N1
(N > 1), majorer f(x) en utilisant f(+R,y) et f(R,y).
(b) Reprendre le raisonnement fait pour N = 1.
(c) Se ramener `a E = IR
N
.
3. (a) reprendre le raisonnement fait pour E = IR.
(b) On pourra, par exemple choisir E = C([0,1],IR). . .
5.3. EXERCICES DU CHAPITRE CHAPTEROPTIMISATION 147
Suggestions pour lexercice 47 page 86 (Algorithme du gra-
dient `a pas xe)
1. Introduire la fonction denie (comme dhabitude...) par (t) = f(tx +
(1 t)y), integrer entre 0 et 1 et utiliser lhypoth`ese (3.3.15) sur f(x + t(y
x)) f(x).
2. Utiliser le cours pour la stricte convexite et lexistence et lunicite de x,
et la question 1 pour montrer que f(x) + lorsque [x[ +.
3. Montrer grace aux hypoth`eses (3.3.15) et (3.3.16) que [x
n+1
x[
2
< [x
n

x[
2
(1 2 +M
2

2
).
Suggestions pour lexercice 48 page 87 (Algorithme du gra-
dient `a pas optimal)
2. Utiliser le fait que H est continue.
3. Etudier la fonction : IR
+
dans [R denie par () = f(x
n
+w
n
).
4. a. Montrer que f est minoree et remarquer que la suite (f(x
n
))
nIN
est
decroissante.
4.b se deduit du 4.a
4.c. Utiliser la fonction denie plus haut, la question 4.b. et la question 2.
4.d. Utiliser le fait que le choix de
n
est optimal et le resultat de 4.c.
4.e. Etudier le polynome du 2nd degre en deni par : P
n
() = f(x
n
)
[w
n
[
2
+
1
2
M[w
n
[
2

2
dans les cas o` u [w
n
[ M (fait
`
la quesiton 4.c) puis dans
le cas [w
n
[ M.
5. utiliser linegalite prouvee en 4.e. pour montrer que [w
n
[ 0 lorsque
n +.
6. Pour montrer que toute la suite converge, utiliser largument dunicite de
la limite, en raisonnant par labsurde (supposer que la suite ne converge pas et
aboutir `a une contradiction).
Suggestions pour lexercice 49 page 87 (Cas o` u f nest pas
croissante `a linni)
Sinspirer des techniques utilisees aux exercices 26 et 27 (il faut imperativement
les avoir fait avant...) .
Suggestions pour lexercice 50 page 100 (Methode de Polak-
Ribi`ere)
1. Utiliser la deuxi`eme caracterisation de la convexite. Pour montrer le com-
portement `a linni, introduire la fonction habituelle. . . ((t) = f(x +
ty)).
148 CHAPITRE 5. SUGGESTIONS POUR LES EXERCICES
2. Pour montrer la concurrence, utiliser le fait que si w
n
f(x
n
) < 0 alors
w
n
est une direction de descente stricte de f en x
n
, et que si
n
est optimal
alors f(x
n
+
n
w
n
) = 0.
3. Utiliser la fonction denie par () = f(x
n
+
n
w
n
).
4. Cest du calcul...
5. Montrer dabord que g
n
w
n
[w
n
[[g
n
[. Montrer ensuite (en utilisant
la bonne vieille fonction denie par (t) = f(x
n
+ t
n
), que g
n
0
lorsque n +.
Exercice 54 page 109 (Fonctionnelle quadratique)
1. Pour montrer que K est non vide, remarquer que comme d ,= 0, il existe
x IR
N
tel que d x = ,= 0. En deduire lexistence de x IR
N
tel que
d x = c.
2. Montrer par le theoreme de Lagrange que si x est solution de (3.5.32),
alors y = ( x,)
t
est solution du syst`eme (3.5.41), et montrer ensuite que
le syst`eme (3.5.41) admet une unique solution.
149
Chapitre 6
Corriges detailles des
exercices
6.1 Exercices du chapitre 1
Exercice 1 page 27 (Matrices symetriques denies positives)
1. Supposons quil existe un element diagonal a
i,i
negatif. Alors Ae
i
e
i
0
ce qui contredit le fait que A est denie positive.
2. Soit x IR
N
, decomposons x sur la base orthonormee (f
i
)
i=1,N
: x =

N
i=1
x
i
f
i
. On a donc :
Ax x =
N

i=1

i
x
2
i
. (6.1.1)
Montrons dabord que si les valeurs propres sont strictement positives alors
A est denie positive :
Supposons que
i
0, i = 1, . . . ,N. Alors pour x IR
N
, dapr`es (6.1.1),
Ax x 0 et la matrice A est positive.
Supposons maintenant que
i
0, i = 1, . . . ,N. Alors pour x IR
N
,
toujours dapr`es (6.1.1), (Ax x = 0) (x = 0), et et la matrice A est donc
bien denie.
Montrons maintenant la reciproque :
Si A est positive, alors Af
i
f
i
0, i = 1, . . . ,N et donc
i
0, i =
1, . . . ,N.
Si A est denie, alors (Af
i
f
i
= 0) ( = 0), i = 1, . . . ,N et donc

i
> 0, i = 1, . . . ,N.
3. Comme A est s.d.p., toutes ses valeurs propres sont strictement posi-
tives, et on peut donc denir lapplication lineaire S dans la base orthonormee
(f
i
)
i=1,N
par : S(f
i
) =

i
f
i
, i = 1, . . . ,N. On a evidemment S S = T, et
donc si on designe par B la matrice representative de lapplication S dans la
base canonique, on a bien B
2
= A.
150 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Corrige de lexercice 2 page 27 (Normes de lidentite)
Si |.| est une norme induite, alors par denition, |Id| = sup
xIR
N
,x
|Idx| =
1.
Si maintenant |.| nest quune norme matricielle, comme |Id| = |IdId|
|Id||Id|, et que |Id| ,= 0, on a bien le resultat demande.
Corrige de lexercice 3 page 27 (Normes induites parti-
culi`eres)
1. Par denition, |A|

= sup
xIR
N
,x=1
|Ax|

, et
|Ax|

= max
i=1,...,N
[

j=1,...,N
a
i,j
x
j
[ max
i=1,...,N
[

j=1,...,N
[a
i,j
[[x
j
[.
Or |x|

= 1 donc [x
j
[ 1 et
|Ax|

max
i=1,...,N
[

j=1,...,N
[a
i,j
[.
Posons maintenant = max
i=1,...,N
[

j=1,...,N
[a
i,j
[ et montrons quil existe
x IR
N
, |x|

= 1, tel que |Ax|

= . Pour s IR, on note sign(s) le signe


de s, cest `a dire sign(s) = s/[s[ si s ,= 0 et sign(0) = 0. Choisissons x IR
N
deni par x
j
= sign(a
i0,j
) o` u i
0
est tel que

j=1,...,N
[a
i0,j
[

j=1,...,N
[a
i,j
[,
i = 1, . . . ,N. On a bien |x|

= 1, et
|Ax|

= max
i=1,...,N
[
N

j=1
a
i,j
sgn(a
i0,j
)[.
Or, par choix de x, on a

j=1,...,N
[a
i0,j
[ = max
i=1,...,N

j=1,...,N
[a
i,j
[. On en
deduit que pour ce choix de x, on a bien |Ax| = max
i=1,...,N
[

j=1,...,N
[a
i,j
[.
2. Par denition, |A|
1
= sup
xIR
N
,x1=1
|Ax|
1
, et
|Ax|
1
=

i=1,...,N
[

j=1,...,N
a
i,j
x
j
[

j=1,...,N
[x
j
_
_
[

i=1,...,N
[a
i,j
[
_
_
max
j=1,...,N
[

i=1,...,N
[a
i,j
[

j=1,...,N
[x
j
[.
Et comme

j=1,...,N
[x
j
[ = 1, on a bien que |A|
1
max
j=1,...,N

i=1,...,N
[a
i,j
[.
Montrons maintenant quil existe x IR
N
, |x|
1
= 1, tel que |Ax|
1
=

i=1,...,N
[a
i,j
[. Il sut de considerer pour cela le vecteur x IR
N
deni par
x
j0
= 1 et x
j
= 0 si j ,= j
0
, o` u j
0
est tel que

i=1,...,N
[a
i,j0
[ = max
j=1,...,N

i=1,...,N
[a
i,j
[.
On verie alors facilement quon a bien |Ax|
1
= max
j=1,...,N

i=1,...,N
[a
i,j
[.
3. Par denition de la norme 2, on a :
|A|
2
2
= sup
xIR
N
,x2=1
Ax Ax = sup
xIR
N
,x2=1
A
t
Ax x.
Comme A
t
A est une matrice symetrique positive (car A
t
Ax x = Ax Ax 0),
il existe une base orthonormee (f
i
)
i=1,...,N
et des valeurs propres (
i
)
i=1,...,N
,
6.1. EXERCICES DU CHAPITRE 1 151
avec 0
1

2
. . .
N
tels que Af
i
=
i
f
i
pour tout i 1, . . . ,N. Soit
x =

i=1,...,N

i
f
i
IR
N
. On a donc :
A
t
Ax x =
_

i=1,...,N

i
f
i
_

_

i=1,...,N

i
f
i
_
=

i=1,...,N

2
i

i

N
|x|
2
2
.
On en deduit que |A|
2
2
(A
t
A).
Pour montrer quon a egalite, il sut de considerer le vecteur x = f
N
; on a
en eet |f
N
|
2
= 1, et |Af
N
|
2
2
= A
t
Af
N
f
N
=
N
= (A
t
A).
Corrige de lexercice 4 page 28 (Norme non induite)
1. On a |Id|
s
=

N et donc par lexercice 2 page 27, la norme |.|


s
ne
peut pas etre une norme induite si N > 1. Montrons que la norme |.|
s
est
matricielle. Soient A = (a
i,j
)
i=1,N,j=1,N
et B = (b
i,j
)
i=1,N,j=1,N
, et C = AB.
Alors |C|
2
s
=

N
i=1

N
j=1
_
N
k=1
a
i,k
b
k,j
_
2
.
Or si (u
k
)
k=1,N
et si (v
k
)
k=1,N
IR
N
, alors (inegalite de Cauchy-Schwarz) :
_
N

k=1
u
k
v
k
_
2

k=1
u
2
k
N

k=1
v
2
k
.
On a donc |C|
2
s

N
i=1

N
k=1
a
2
i,k

N
j=1

N
k=1
b
2
k,j
, et donc |C|
2
s
|A|
2
s
|B|
2
s
.
2. On obtient facilement que : Tr(A
t
A) =

N
i=1

N
k=1
a
2
k,i
= |A|
2
s
.
On a vu `a lexercice 3 page 27 que |A|
2
2
= (A
t
A) =
N
o` u
N
est la plus
grande valeur propre de A
t
A. Or la trace dune matrice diagonalisable est aussi
la somme de ses valeurs propres. On a donc |A|
2
2

N
i=1

i
= Tr(A
t
A). On en
conclut que
|A|
2
|A|
s
. (6.1.2)
De plus, |A|
2
s
= Tr(A
t
A) N(A
t
A). Donc |A|
s

N|A|
2
.
Enn, comme |Ax|
2
|A|
2
|x|
2
, on deduit de (6.1.2) que |Ax|
2
|A|
s
|x|
2
.
3. Soit |.| une norme induite, on a donc |Id| = 1 par le resultat de lexercice
2 page 27 ; alors pour N > 1, la norme ^ denie par ^(A) =
1
N
|A| verie
^(Id) =
1
N
< 1, ce qui prouve, toujours par lexercice 2 page 27, quelle nest
pas une norme matricielle.
Corrige de lexercice 5 page 28 (valeurs propres nulles dun
produit de matrices)
1. Soit ,= 0 valeur propre de AB, alors il existe v IR
n
, v ,= 0, ABv =
v. En multipliant `a gauche par B (ce quon peut faire car ABv IR
n
,
v IR
n
) on obtient que BABv = Bv, et on a donc BAw = w avec
w = Bv ; de plus, w ,= 0 car si w = Bv = 0 alors = 0 ce qui contredit
lhypoth`ese.
Le raisonnement est identique pour BA.
152 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
2. Supposons que = 0 est valeur propre de AB. Alors il existe x IR
n
;
x ,= 0, ABx = 0. Si Bx ,= 0, alors BA(Bx) = 0 avec Bx ,= 0 donc Bx est
vecteur propre de BA pour la valeur propre = 0.
Si Bx = 0, on distingue 2 cas :
Si ImA = IR
n
, lapplication lineaire associee `a A est donc surjective,
donc y IR
p
, y ,= 0, Ay = x. On a donc BAy = Bx = 0, et = 0
est donc valeur propre de BA.
Si ImA ,= IR
n
, alors lapplication lineaire associee `a A est non surjec-
tive, donc, par le miracle de la dimension nie, (et car n p), non
injective. Il existe donc y IR
n
, y ,= 0; Ay = 0, et donc BAx = 0, ce
qui entrane que est valeur propre nulle de BA.
Corrige de lexercice 6 page 28 (Rayon spectral)
Il sut de prendre comme norme la norme denie par : |x| =

N
i=1

2
i
o` u les
(
i
)
i=1,N
sont les composantes de x dans la base des vecteurs propres associes
`a A.
Pour montrer que ceci est faux dans le cas o` u A nest pas diagonalisable,
il sut de prendre A =
_
0 1
0 0
_
, on a alors (A) = 0, et comme A est non
nulle, |A| ,= 0.
Corrige de lexercice 7 page 28 (Rayon spectral)
1. Si (A) < 1, grace au resultat dapproximation du rayon spectral de la
proposition 1.9 page 20, il existe > 0 tel que (A) < 1 2 et une norme
induite |.|
A,
tels que |A|
A,
= (A) + = 1 < 1. Comme |.|
A,
est
une norme matricielle, on a |A
k
|
A,

k
0 lorsque k . Comme lespace
/
N
(IR) est de dimension nie, toutes les normes sont equivalentes, et on a donc
|A
k
| 0 lorsque k .
Montrons maintenant la reciproque : supposons que A
k
0 lorsque k ,
et montrons que (A) < 1. Soient une valeur propre de A et x un vecteur
propre associe. Alors A
k
x =
k
x, et si A
k
0, alors A
k
x 0, et donc
k
x 0,
ce qui nest possible que si [[ < 1.
2. Si (A) < 1, dapr`es la question precedente on a : |A
k
| 0 donc il
existe K IN tel que pour k K, |A
k
| < 1. On en deduit que pour k K,
|A
k
|
1/k
< 1, et donc en passant `a la limite sup sur k, limsup
k+
|A
k
|
1
k
1.
3. Comme liminf
k+
|A
k
|
1/k
< 1, il existe une sous-suite (k
n
)
n
nn IN
telle que A
kn
|
1/kn
tends < 1 lorsque n +, et donc il existe N tel que pour
n N, A
kn
|
1/kn
, avec ]0,1[. On en deduit que pour n N, A
kn
|
kn
,
et donc que A
kn
0 lorsque n +. Soient une valeur propre de A et x un
vecteur propre associe, on a : A
kn
x =
kn
x ; on en deduit que [[ < 1, et donc
que (A) < 1.
4. Soit IR
+
tel que (A) < . Alors (
1

A) < 1, et donc par la question


2,
limsup
k+
|A
k
|
1
k
< , > (A).
6.1. EXERCICES DU CHAPITRE 1 153
En faisant tendre vers (A), on obtient donc :
limsup
k+
|A
k
|
1
k
(A). (6.1.3)
Soit maintenant IR
+
tel que liminf
k+
|A
k
|
1
k
< . On a alors
liminf
k+
|(
1

A)
k
|
1
k
< 1 et donc par la question 3, (
1

A) < 1, donc (A) <


pour tout IR
+
tel que liminf
k+
|A
k
|
1
k
< . En faisant tendre vers
liminf
k+
|A
k
|
1
k
, on obtient donc
(A) liminf
k+
|A
k
|
1
k
. (6.1.4)
De (6.1.3) et (6.1.4), on deduit que
limsup
k+
|A
k
|
1
k
= liminf
k+
|A
k
|
1
k
= lim
k+
|A
k
|
1
k
= (A). (6.1.5)
5. Si |.| est une norme matricielle, alors |A
k
| |A|
k
et donc dapr`es la
question precedente, (A) |A|.
Corrige de lexercice 8 page 28 (Serie de Neumann)
1. Si (A) < 1, les valeurs propres de A sont toutes dierentes de 1 et 1.
Donc 0 nest pas valeur propre des matrices Id A et Id + A, qui sont donc
inversibles.
2. Suppposons que (A) < 1. Il est facile de remarquer que
(
N

k=0
A
k
)(Id A) = Id A
N+1
. (6.1.6)
Si rho(A) < 1, dapr`es la question 1. de lexercice 7 page 28, on a A
k
0
lorsque k 0. De plus, IdA est inversible. On en deduit que la serie de terme
general A
k
est absolument convergente et donc convergente et en passant `a la
limite dans (6.1.6), on a donc (Id A)
1
=

+
k=0
A
k
.
Reciproquement, si (A) 1, la serie ne peut pas converger en raison du
resultat de la question 1 de lexercice 7 page 28.
Corrige de lexercice 9 page 29 (Normes matricielles)
1. Comme (A) < 1, la serie de terme general A
j
converge (voir exercice
8) et donc on a

j=1
|A
j
x| < +. Dautre part, il est immediat que
|x|

0, et si |x|

= 0 alors |A
j
x|

= 0. De plus si x et y sont des


vecteurs de IR
N
, alors
|x +y|

j=0
|A
j
(x +y)|

j=0
|A
j
x| +|A
j
y| = |x|

+|y|

.
Enn, si IR, il est facile de verier que |x|

= [[|x|

.
154 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
2. Par denition, |Ax|

j=0
|A
j+1
x| =

j=1
|A
j
x| = |x|

|x|.
Donc si |x|

= 1, on a |Ax|

= 1 |x|.
La fonction x |x| atteint son minimum sur lensemble x IR
N
; |x|

=
1, et celui-ci est dierent de 0 car |.| est une norme.
On deduit de ceci que
|A|

= max
x=1
|Ax|

< 1,
3. On ne suppose plus que (A) < 1. Soit C > (A) donne, et soit B la
matrice denie par B =
1
C
A. On a donc (B) < 1. On peut donc appliquer
`a B la question prec

dente. Il existe donc une norme induite | |

telle que
|B|

< 1. On en deduit que


1
C
|A|

< 1, soit

A
|

< C. En choisissant
C (A) +, on a le resultat souhaite.
Remarquons que cette construction de norme a necessite la demonstration de
convergence de la serie, qui elle meme necessite la proposition 1.9 page 20 (voir
exercice 8. Cette construction ne peut donc etre employee comme demonstration
directe de la proposition 1.9 page 20.
Exercice 11 page 29 (Sur la methode LL
t
e)
Calculons le nombre doperations elementaires necessaires pour chacune des
methodes :
1. Le calcul de chaque coecient necessite N multiplications et N 1 ad-
ditions, et la matrice comporte N
2
coecients. Comme la matrice est
symetrique, seuls N(N + 1)/2 coecients doivent etre calcules. Le calcul
de A
2
necessite necessite donc e
(2N1)N(N+1)
2
operations elementaires.
Le nombre doperations elementaires pour eectuer la decomposition LL
t
de A
2
necessite
N
3
3
+
N
2
2
+
N
6
(cours).
La resolution du syst`eme A
2
x = b necessite 2N
2
operations (N
2
pour la
descente, N
2
pour la remontee, voir cours).
Le nombre total doperations pour le calcul de la solution du syst`eme
A
2
x = b par la premi`ere methode est donc
(2N1)N(N+1)
2
+
N
3
3
+
3N
2
2
+
N
6
=
4N
3
3
+O(N
2
) operations.
2. La decomposition LL
t
de A necessite
N
3
3
+
N
2
2
+
N
6
, et la resolution des
syst`emes LL
t
y = b et LL
t
x = y necessite 4N
2
operations. Le nombre
total doperations pour le calcul de la solution du syst`eme A
2
x = b par la
deuxi`eme methode est donc
N
3
3
+
9N
2
2
+
N
6
=
N
3
3
+O(N
2
) operations.
Pour les valeurs de N assez grandes, il est donc avantageux de choisir la deuxi`eme
methode.
Exercice 12 page 30 (Decomposition LL
t
dune matrice bande)
On utilise le resultat de conservation du prol de la matrice enonce dans le
cours. Comme A est symetrique, le nombre p de diagonales de la matrice A est
forcement impair si A; notons q =
p1
2
le nombre de sous- et sur-diagonales non
6.1. EXERCICES DU CHAPITRE 1 155
nulles de la matrice A, alors la matrice L aura egalement q sous-diagonales non
nulles.
1. Cas dune matrice tridiagonale. Si on reprend lalgorithme de construc-
tion de la matrice L vu en cours, on remarque que pour le calcul de la colonne
n + 1, avec 1 n < N 1, on a le nombre doperations suivant :
Calcul de
n+1,n+1
= (a
n+1,n+1

k=1

n+1,k

n+1,k
)
1/2
> 0 :
une multiplication, une soustraction, une extraction de racine, soit 3 operations
elementaires.
Calcul de
n+2,n+1
=
_
a
n+2,n+1

k=1

n+2,k

n+1,k
_
1

n+1,n+1
:
une division seulement car
n+2,k
= 0.
On en deduit que le nombre doperations elementaires pour le calcul de la co-
lonne n + 1, avec 1 n < N 1, est de 4.
Or le nombre doperations pour la premi`ere et derni`ere colonnes est inferieur
`a 4 (2 operations pour la premi`ere colonne, une seule pour la derni`ere). Le
nombre Z
1
(N) doperations elementaires pour la decomposition LL
t
de A peut
donc etre estime par : 4(N 2) Z
1
(N) 4N, ce qui donne que Z
1
(N) est de
lordre de 4N (le calcul exact du nombre doperations, inutile ici car on demande
une estimation, est 4N 3.)
2. Cas dune matrice `a p diagonales.
On cherche une estimation du nombre doperations Z
p
(N) pour une matrice
`a p diagonales non nulles (ou q sous-diagonales non nulles) en fonction de N.
On remarque que le nombre doperations necessaires au calcul de

n+1,n+1
= (a
n+1,n+1

k=1

n+1,k

n+1,k
)
1/2
> 0, (6.1.7)
et
i,n+1
=
_
a
i,n+1

k=1

i,k

n+1,k
_
1

n+1,n+1
, (6.1.8)
est toujours inferieur `a 2q + 1, car la somme

n
k=1
fait intervenir au plus q
termes non nuls.
De plus, pour chaque colonne n + 1, il y a au plus q + 1 coecients
i,n+1
non nuls, donc au plus q +1 coecients `a calculer. Donc le nombre doperations
pour chaque colonne peut etre majore par (2q + 1)(q + 1).
On peut donc majorer le nombre doperations z
q
pour les q premi`eres co-
lonnes et les q derni`eres par 2q(2q + 1)(q + 1), qui est independant de N (on
rappelle quon cherche une estimation en fonction de N, et donc le nombre z
q
est O(1) par rapport `a N.)
Calculons maintenant le nombre doperations x
n
necessaires une colonne
n = q +1 `a N q 1. Dans (6.1.7) et (6.1.8), les termes non nuls de la somme
sont pour k = iq, . . . ,n, et donc on a (ni+q+1) multiplications et additions,
156 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
une division ou extraction de racine. On a donc
x
n
=
n+q+1

i=n+1
_
2(ni+q+1)+1
_
=
q+1

j=1
_
2(j+q+1)+1
_
= (q+1)(2q+3)2
q+1

j=1
j = (q+1)
2
.
Le nombre z
i
doperations necessaires pour les colonnes n = q + 1 `a N q 1
est donc
z
i
= (q + 1)
2
(N 2q).
Un encadrement du nombre doperations necessaires pour la decomposition
LL
t
dune matrice `a p diagonales est donc donnee par:
(q + 1)
2
(N 2q) Z
p
(N) (q + 1)
2
(N 2q) + 2q(2q + 1)(q + 1), (6.1.9)
et que, `a q constant, Z
p
(N) = O((q +1)
2
N)). Remarquons quon retrouve bien
lestimation obtenue pour q = 1.
3. Dans le cas de la discretisation de lequation u

= f traitee dans le
cours page 18, on a q = 1 et la methode de Choleski necessite de lordre de 4N
operations elementaires, alors que dans le cas de la discretisation de lequation
u = f traitee dans le cours page 25-26, on a q =

N et la methode de
Choleski necessite de lordre de N
2
operations elementaires (dans les deux cas
N est le nombre dinconnues).
On peut noter que lencadrement (6.1.9) est interessant d`es que q est dordre
inferieur `a N

, < 1.
Exercice 15 page 30
1. (a) Linverse de la matrice A verie les quatre equations suivantes :
_
_
_
X A
1
= 0, X
1
A = 0,
AX Id = 0, XAId = 0.
Les quantites e
1
, e
2
, e
3
et e
4
sont les erreurs relatives commises sur
ces quatre equations lorsquon remplace X par B; en ce sens, elles
mesurent la qualite de lapproximation de A
1
.
(b) On remarque dabord que comme la norme est matricielle, on a
|MP| |M||P| pour toutes matrices M et P de M
N
(IR). On
va se servir de cette propriete plusieurs fois par la suite.
() Comme B = A
1
+E, on a
e
1
=
|E|
|A
1
|

|A
1
|
|A
1
|
= .
() Par denition,
e
2
=
|B
1
A|
|A|
=
|(A
1
+E)
1
A|
|A|
.
6.1. EXERCICES DU CHAPITRE 1 157
Or
(A
1
+E)
1
A = (A
1
(Id +AE))
1
A
= (Id +AE)
1
A A
= (Id +AE)
1
(Id (Id +AE))A
= (Id +AE)
1
AEA.
On a donc
e
2
|(Id +AE)
1
||A||E|.
Or par hypoth`ese, |AE| |A||E| cond(A) < 1 ; on en
deduit, en utilisant le theor`eme 1.11, que :
|(Id +AE))
1
|
1
1 |AE|
, et donc e
2

cond(A)
1 cond(A)
.
() Par denition, e
3
= |ABId| = |A(A
1
+E) Id| = |AE|
|A||E| |A||A
1
| = cond(A).
() Enn, e
4
= |BA Id| = |(A
1
+ E)A Id| |EA|
|E||A| cond(A).
(c) () Comme B = A
1
(Id +E

), on a
e
1
=
|A
1
(Id +E

) A
1
|
|A
1
|
|Id +E

Id| .
() Par denition,
e
2
=
(Id+E

)
1
AA
A
=
(Id+E

)
1
(A(Id+E

)A)
A
|(Id +E

)
1
||Id (Id +E

)|

1
car < 1 (theor`eme 1.1).
() Par denition, e
3
= |AB Id| = |AA
1
(Id + E

) Id| =
|E

| .
() Enn, e
4
= |BA Id| = |A
1
(Id + E

)A Id| = |A
1
(A +
E

A A)| |A
1
||AE

| cond(A).
2. (a) On peut ecrire A+
A
= A(Id+A
1

A
). On a vu en cours (theor`eme
1.11) que si |A
1

A
| < 1, alors la matrice Id+A
1

A
est inversible.
Or |A
1

A
| |A
1
||
A
|, et donc la matrice A +
A
est inversible
si |
A
| <
1
|A
1
|
.
(b) On peut ecrire |(A +
A
)
1
A
1
| = |(A+
A
)
1
(Id(A+
A
)A
1
|
|(A +
A
)
1
||Id Id
A
A
1
| |(A +
A
)
1
|
A
||A
1
|. On en
deduit le resultat.
Exercice 10 page 29 (Decompositions LL
t
et LDL
t
)
1. On pose L =
_
1 0
1
_
et D =
_
0
0
_
.
158 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Par identication, on obtient = 2, =
1
2
et =
1
2
.
Si maintenant on essaye decrire A = LL
t
avec L =
_
a 0
b c
_
, on obtient
c
2
=
1
2
ce qui est impossible dans IR.
En fait, on peut remarquer quil est normal que A nadmette pas de decom-
position LL
t
, car elle nest pas denie positive. En eet, soit x = (x
1
,x
2
)
t
IR
2
,,
alors Ax x = 2x
1
(x
1
+x
2
), et en prenant x = (1, 2)
t
, on a Ax x < 0.
2. 2. Reprenons en ladaptant la demonstration du theor`eme 1.3. On raisonne
donc par recurrence sur la dimension.
1. Dans le cas N = 1, on a A = (a
1,1
). On peut donc denir L = (
1,1
) o` u

1,1
= 1, D = (a
1,1
), d
1,1
,= 0, et on a bien A = LDL
t
.
2. On suppose que, pour 1 p N, la decomposition A = LDL
t
sobtient
pour A /
p
(IR) symetrique denie positive ou negative, avec d
i,i
,= 0
pour 1 i N et on va demontrer que la propriete est encore vraie
pour A /
N+1
(IR) symetrique denie positive ou negative. Soit donc
A /
N+1
(IR) symetrique denie positive ou negative ; on peut ecrire A
sous la forme :
A =
_

_
B a
a
t

_
(6.1.10)
o` u B /
N
(IR) est symetrique denie positive ou negative (calculer Axx
avec x = (y,0)
t
, avec y IR
N
pour le verier), a IR
N
et IR.
Par hypoth`ese de recurrence, il existe une matrice M /
N
(IR) M =
(m
i,j
)
N
i,j=1
et une matrice diagonale

D = diag(d
1,1
,d
2,2
, . . . ,d
N,N
) dont les
coecients sont tous non nuls, telles que :
(a) m
i,j
= 0 si j > i
(b) m
i,i
= 1
(c) B = M

DM
t
.
On va chercher L et D sous la forme :
L =
_

_
M 0
b
t
1
_

_
, D =
_

D 0
0
_

_
, (6.1.11)
avec b IR
N
, IR tels que LDL
t
= A. Pour determiner b et , calculons
LDL
t
avec L et D de la forme (6.1.11) et identions avec A:
LDL
t
=
_

_
M 0
b
t
1
_

_
_

D 0
0
_

_
_

_
M
t
b
0 1
_

_
=
_

_
M

DM
t
M

Db
b
t

DM
t
b
t

Db +
_

_
On cherche b IR
N
et IR tels que LDL
t
= A, et on veut donc que les
egalites suivantes soient veriees :
M

Db = a et b
t

Db + = .
6.1. EXERCICES DU CHAPITRE 1 159
La matrice M est inversible (en eet, le determinant de M secrit det(M) =

N
i=1
1 = 1). Par hypoth`ese de recurrence, la matrice

D est aussi inver-
sible. La premi`ere egalite ci-dessus donne : b =

D
1
M
1
a. On calcule alors
= b
t
M
1
a. Remarquons quon a forcement ,= 0, car si = 0,
A = LDL
t
=
_

_
M

DM
t
M

Db
b
t

DM
t
b
t

Db
_

_
qui nest pas inversible. En eet, si on cherche (x,y) IR
N
IR solution
de
_

_
M

DM
t
M

Db
b
t

DM
t
b
t

Db
_

_
_

_
x
y
_

_
=
_

_
0
0
_

_
,
on se rend compte facilement que tous les couples de la forme (M
t
by,y)
t
,
y IR, sont solutions. Le noyau de la matrice nest donc pas reduit `a 0 et
la matrice nest donc pas inversible. On a ainsi montre que d
N+1,N+1
,= 0
ce qui termine la recurrence.
3. On reprend lalgorithme de decomposition LL
t
:
Soit A /
N
(IR) symetrique denie positive ou negative ; on vient de mon-
trer quil existe une matrice L /
N
(IR) triangulaire inferieure telle que
i,j
= 0
si j > i,
i,i
= 1, et une matrice D /
N
(IR) diagonale inversible, telles que et
A = LDL
t
. On a donc :
a
i,j
=
N

k=1

i,k
d
k,k

j,k
, (i,j) 1 . . . N
2
. (6.1.12)
1. Calculons la 1`ere colonne de L; pour j = 1, on a :
a
1,1
= d
1,1
donc d
1,1
= a
1,1
,
a
2,1
=
2,1
d
1,1
donc
2,1
=
a
2,1
d
1,1
,
a
i,1
=
i,1

1,1
donc
i,1
=
a
i,1

1,1
i 2 . . . N.
2. On suppose avoir calcule les n premi`eres colonnes de L. On calcule la
colonne (n + 1) en prenant j = n + 1 dans (1.2.8)
Pour i = n + 1, a
n+1,n+1
=
n

k=1

2
n+1,k
d
k,k
+d
n+1,n+1
donc
d
n+1,n+1
= a
n+1,n+1

k=1

2
n+1,k
d
k,k
. (6.1.13)
On proc`ede de la meme mani`ere pour i = n + 2 . . . N ; on a :
a
i,n+1
=
n+1

k=1

i,k
d
k,k

n+1,k
=
n

k=1

i,k
d
k,k

n+1,k
+
i,n+1
d
n+1,n+1

n+1,n+1
160 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
et donc, comme on a montre dans la question 2 que les coecients d
k,k
sont tous non nuls, on peut ecrire :

i,n+1
=
_
a
i,n+1

k=1

i,k
d
k,k

n+1,k
_
1
d
n+1,n+1
. (6.1.14)
Exercice ?? page ?? (Sur la methode LL
t
)
Calculons le nombre doperations elementaires necessaires pour chacune des
methodes :
1. Le calcul de chaque coecient necessite N multiplications et N 1 ad-
ditions, et la matrice comporte N
2
coecients. Comme la matrice est
symetrique, seuls N(N + 1)/2 coecients doivent etre calcules. Le calcul
de A
2
necessite necessite donc
(2N1)N(N+1)
2
operations elementaires.
Le nombre doperations elementaires pour eectuer la decomposition LL
t
de A
2
necessite
N
3
3
+
N
2
2
+
N
6
(cours).
La resolution du syst`eme A
2
x = b necessite 2N
2
operations (N
2
pour la
descente, N
2
pour la remontee, voir cours).
Le nombre total doperations pour le calcul de la solution du syst`eme
A
2
x = b par la premi`ere methode est donc
(2N1)N(N+1)
2
+
N
3
3
+
5N
2
2
+
N
6
=
4N
3
3
+O(N
2
) operations.
2. La decomposition LL
t
de A necessite
N
3
3
+
N
2
2
+
N
6
, et la resolution des
syst`emes LL
t
y = b et LL
t
x = y necessite 4N
2
operations. Le nombre
total doperations pour le calcul de la solution du syst`eme A
2
x = b par la
deuxi`eme methode est donc
N
3
3
+
9N
2
2
+
N
6
=
N
3
3
+O(N
2
) operations.
Pour les valeurs de N assez grandes, il est donc avantageux de choisir la deuxi`eme
methode.
Corrige de lexercice 16 page 31 (proprietes generales du
conditionnement)
1. Comme | | est une norme induite, cest donc une norme matricielle. On
a donc pour toute matrice A M
N
(IR),
|Id| |A| |A
1
|
ce qui prouve que cond(A) 1.
Par denition,
cond(A) = |A| |(A)
1
|
= [[ |A|
1
[[
|A
1
| = cond(A)
2. Soient A et B des matrices inversibles, alors AB est une matrice inversible
et
cond(AB) = |AB| |(AB)
1
| = |AB| B
1
A
1
|
|A| |B| |B
1
| |A
1
|,
6.1. EXERCICES DU CHAPITRE 1 161
car | | est une norme matricielle. Donc cond(AB) cond(A)cond(B).
3. Par denition, on a cond
2
(A) = |A|
2
|A
1
|
2
. Or on a vu `a lexercice
3 que |A|
2
= ((A
t
A))
1/2
=

N
. On a donc |A
1
|
2
= (((A
1
)
t
A
1
))
1/2
=
_
(AA
t
)
1
)
_
1/2
. Et ((AA
t
)
1
) =
1

1
o` u
1
est la plus petite valeur propre de
la matrice AA
t
. Or les valeurs propres de AA
t
sont les valeurs propres de A
t
A
(si est valeur propre de AA
t
associee au vecteur propre x alors est valeur
propre de AA
t
associee au vecteur propre A
t
x).
On a donc cond
2
(A) =
_

1
.
Si A est s.d.p., alors A
t
A = A
2
et
i
=
2
i
o` u
i
est valeur propre de la
matrice A. On a dans ce cas cond
2
(A) =

N

1
.
4. Si cond
2
(A) = 1, alors
_
N
1
= 1 et donc toutes les valeurs propres de A
t
A
sont egales. Comme A
t
A est symetrique denie positive (car A est inversible), il
existe une base orthonormee (f
1
. . . f
N
) telle que A
t
Af
i
= f
i
, i et > 0 (car
A
t
A est s.d.p.). On a donc A
t
A = Id A
t
=
2
A
1
avec =

. En posant
Q =
1

A, on a donc Q
t
=
1

A
t
= A
1
= Q
1
.
Reciproquement, si A = Q, alors A
t
A =
2
Id,
N
1
= 1, et donc cond
2
(A) =
1.
5. A M
N
(IR) est une matrice inversible. On suppose que A = QR o` u Q
est une matrice orthogonale. On a donc :
cond
2
(A) = |A|
2
|A
1
|
2
= |QR|
2
|R
1
Q
t
|
2
.
On a aussi cond
2
(A) =
_

1
o` u
1
. . .
N
sont les valeurs propres de A
t
A.
Or A
t
A = (QR)
t
(QR) = R
t
Q
1
QR = R
t
R. Donc cond
2
(A) = cond
2
(R).
6. Soient 0 <
1

2
. . .
N
et 0 <
1

2
. . .
N
les valeurs propres
de A et B (qui sont s.d.p.). Alors cond
2
(A + B) =

N

1
, o` u 0 <
1
. . .
N
sont les valeurs propres de A +B.
a) On va dabord montrer que
cond
2
(A +B)

N
+
N

1
+
1
.
Remarquons en premier lieu que si A est s.d.p., alors
cond
2
(A) =
sup
x=1
Ax x
inf
x2=1
Ax x
En eet, si A est s.d.p., alors sup
x2=1
Ax x =
N
; il sut pour sen rendre
compte de decomposer x sur la base (f
i
)
i=1...N
. Soit x =
N

i=1

i
f
i
. Alors :
Ax x =
N

i=1

2
i

i

N

2
i
=
N
. Et Af
N
f
N
=
N
.
162 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
De meme, Axx
1

2
i
=
1
et Axx =
1
si x = f
1
. Donc inf
x=1
Axx =

1
.
On en deduit que si A est s.d.p., cond
2
(A) =
sup
x=1
Ax x
inf
x=1
Ax x
Donc cond
2
(A +B) =
sup
x=1
(A +B)x x
inf
x=1
(A +B)x x
Or sup
x=1
(Ax x +Bx x) sup
x=1
Ax x + sup
x=1
Bx x =
N
+
N
et inf
x=1
(Ax x +Bx x) inf
x=1
Ax x + inf
x=1
Bx x =
1
+
1
donc
cond
2
(A +B)

N
+
N

1
+
1
.
b) On va montrer que
a +b
c +d
max(
a
c
,
b
d
), (a,b,c,d) (IR

+
)
4
.
Supposons que
a +b
c +d

a
c
alors (a+b)c (c+d)a cest `a dire bc da donc
bc + bd da + db soit b(c + d) d(a + b) ; donc
a+b
c+d

b
d
. On en deduit
que cond
2
(A +B) max(cond
2
(A),cond
2
(B)).
Corrige de lexercice 18 page 32 (Valeurs propres et vec-
teurs propres de A.)
1. Pour montrer que Aest denie positive (car A est evidemment symetrique),
on va montrer que Ax x > 0 si x ,= 0.
On a
Ax x =
1
h
2
_
x
1
(2x
1
x
2
) +
n1

i=2
x
i
(x
i1
+ 2x
i
x
i+1
) + 2x
2
N
x
N1
x
N
_
On a donc
h
2
Ax x = 2x
2
1
x
1
x
2

N1

i=2
x
i
x
i1
+
N1

i=2
2x
2
i

N

i=3
x
i
x
i1
+ 2x
2
N
x
N1
x
N
=
N

i=1
x
2
i
+
N

i=2
x
2
1i
+x
2
N
2
N

i=1
x
i
x
i1
=
N

i=2
(x
i
x
i1
)
2
+x
2
1
+x
2
N
0.
De plus, Ax x = 0 x
2
1
= x
N
= 0 et x
i
= x
i1
pour i = 2 `a N, donc x = 0.
6.1. EXERCICES DU CHAPITRE 1 163
Pour chercher les valeurs propres et vecteurs propres de A, on sinspire des
valeurs propres et vecteurs propres du probl`eme continu, cest`adire des valeurs
et fonctions telles que
_

(x) = (x) x ]0,1[


(0) = (1) = 0
(6.1.15)
(Notons que ce truc ne marche pas dans nimporte quel cas.)
Lensemble des solutions de lequation dierentielle

= est un espace
vectoriel dordre 2, donc est de la forme (x) = cos

x+ sin

x ( 0)
et et dont determines par les conditions aux limites (0) = = 0 et
(1) = cos

+ sin

= 0 ; on veut ,= 0 car on cherche ,= 0 et donc


on obtient = k
2

2
. Les couples (,) veriant (6.1.15) sont donc de la forme
(k
2

2
, sin kx).
2. Pour k = 1 `a N, posons
(k)
i
= sin kx
i
, o` u x
i
= ih, pour i = 1 `a N, et
calculons A
(k)
:
(A
(k)
)
i
= sink(i 1)h + 2 sink(ih) sink(i + 1)h.
En utilisant le fait que sin(a + b) = sin a cos b + cos a sinb pour developper
sin k(1 i)h et sin k(i + 1)h, on obtient (apr`es calculs) :
(A
(k)
)
i
=
k

(k)
i
, i = 1, . . . ,N,
o` u
k
=
2
h
2
(1 cos kh) =
2
h
2
(1 cos
k
N + 1
)
On a donc trouve N valeurs propres
1
. . .
N
associees aux vecteurs propres

(1)
. . .
(N)
de IR
N
tels que
(k)
i
= sin
ki
N + 1
, i = 1 . . . N.
Remarque : Lorsque N + (ou h 0), on a

(h)
k
=
2
h
2
_
1 1 +
k
2

2
h
2
2
+O(h
4
)
_
= k
2

2
+O(h
2
)
Donc

(h)
k
k
2

2
=
k
h 0.
Calculons cond
2
(A). Comme A est s.d.p., on a cond
2
(A) =

N

1
=
1 cos
N
N+1
1 cos

N+1
.
On a : h
2

N
= 2(1 cos
N
N+1
) 4 et
1

2
lorsque h 0. Donc
h
2
cond
2
(A)
4

2
lorsque h 0.
Corrige de lexercice 19 page 32 (Conditionnement ecace)
Partie 1
1. Soit u = (u
1
. . . u
N
)
t
. On a
Au = b
_
1
h
2
(u
i
u
i1
) +
1
h
2
(u
i
u
i+1
) = b
i
, i = 1, . . . N,
u
0
= u
N+1
= 0.
164 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Supposons b
i
0, i = 1, . . . ,N, et soit j 0, . . . ,N + 1 tel que u
j
=
min(u
i
, i = 0, . . . ,N + 1).
Si j = 0 ou N + 1, alors u
i
0 i = 0,N + 1 et donc u 0.
Si j 1, . . . ,N, alors
1
h
2
(u
j
u
j1
) +
1
h
2
(u
j
u
j+1
) 0
et comme u
j
u
j1
0 et u
j
u
j+1
0, ceci entrane que u
j
= u
j1
et
u
j
= u
j+1
, ce qui nest possible que si u
i
= u
0
= 0, i = 1,N, auquel cas u = 0.
Montrons maintenant que A est inversible. On vient de montrer que si Au 0
alors u 0. On en deduit par linearit que si Au 0 alors u 0, et donc que
si Au = 0 alors u = 0. Ceci dmontre que lapplication linaire reprsente par la
matrice A est injective donc bijective (car on est en dimension nie).
2. Soit C([0,1],IR) tel que (x) =
1
2
x(1 x) et
i
= (x
i
), i = 1,N, o` u
x
i
= ih.
(A)
i
est le developpement de Taylor `a lordre 2 de

(x
i
), et comme est
un polynome de degre 2, ce developpement est exact. Donc (A)
i
=

(x
i
) = 1.
3. Soient b IR
N
et u IR
N
tels que Au = b. On a :
(A(u |b|))
i
= (Au)
i
|b|(A)
i
= b
i
|b|.
Prenons dabord

b
i
= b
i
+|b| 0, alors par la question (1),
u
i
+|b|
i
0 i = 1 . . . N.
Si maintenant on prend

b
i
= b
i
|b| 0, alors
u
i
|b|
i
0 i = 1 . . . N.
On a donc |b|
i
|b|
i
.
On en deduit que |u|

|b| ||

; or ||

=
1
8
. Do` u |u|


1
8
|b|.
On peut alors ecrire que pour tout b IR
N
,
|A
1
b|


1
8
|b|, donc
|A
1
b|

|b|

1
8
, do` u |A
1
|
1
8
.
On montre que |A
1
| =
1
8
en prenant le vecteur b deni par b(x
i
) = 1,
i = 1, . . . ,N. On a en eet A
1
b = , et comme N est impair, i 1, . . . ,N
tel que x
i
=
1
2
;or ||

= (
1
2
) =
1
8
.
4. Par denition, on a |A| = sup
x=1
|Ax|, et par la question 1 de lexer-
cice 3 page 27, on sait que |A| = max
i=1,N

j=1,N
[a
i,j
[, ce qui demontre le
resultat.
6.1. EXERCICES DU CHAPITRE 1 165
5. Gr ace aux questions 3 et 4, on a, par denition du conditionnement pour
la norme | |, cond(A) = |A||A
1
| =
1
2h
2
.
On a vu en cours que
|
u
|
|u|
cond(A)
|
b
|
|b|
o` u cond(A) = |A| |A
1
|
Partie 2 Conditionnement ecace
1. Soient
(h)
et f
(h)
les fonctions constantes par morceaux denies par

h
(x) =
_
(ih) =
i
si x ]x
i

h
2
, x
i
+
h
2
[, i = 1, . . . ,N,
0 si x [0,
h
2
] ou x ]1
h
2
,1].
et
f
(h)
(x) =
_
f(ih) = b
i
si x ]x
i

h
2
, x
i
+
h
2
[,
f(ih) = 0 si x [0,
h
2
] ou x ]1
h
2
,1].
Comme f C([0,1],IR) et (
2
([0,1],IR), la fonction f
h
(resp.
h
) converge
uniformement vers f (resp. ) lorsque h 0. On a donc
h
N

i=1
b
i

i
=
_
1
0
f
(h)
(x)
(h)
(x)dx
h0
_
1
0
f(x)(x)dx.
Comme b
i
> 0 et f
i
> 0 i = 1, . . . ,N, on a evidemment S
N
=
N

i=1
b
i

i
> 0 et
S
N

_
1
0
f(x)(x)dx = > 0.
Donc il existe N
0
IN tel que si N N
0
, S
N


2
, et donc S
N
=
min(S
0
,S
1
. . . S
N0
,

2
) > 0.
2. On a N|u| = N sup
i=1,N
[u
i
[

N
i=1
u
i
. Dautre part, A = (1 . . . 1)
t
donc u A =
N

i=1
u
i
; or u A = A
t
u = Au car A est symetrique.
Donc u A =
N

i=1
b
i

i


h
dapr`es la question 1.
Comme
u
= A
1

b
, on a donc
|
u
| |A
1
| |
b
|,
soit
|
u
|
|u|

1
8
1

hN|
b
|
|f|

|b|
.
Ceci entrane
|
u
|
|u|

|f|

8
|
b
|
|b|
.
166 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
3. Le conditionnement cond(A) calcule dans la partie 1 (question 5) est
dordre 1/h
2
, et donc tend vers linni lorsque le pas du maillage tend vers 0,
alors quon vient de montrer dans la partie 2 que la variation relative
u
u
est
inferieure `a une constante multipliee par la variation relative de

b

b
. Cette
derni`ere information est nettement plus utile et rejouissante pour la resolution
eective du syst`eme lineaire.
Corrige de lexercice 20 page 33 (Conditionnement, reaction
diusion 1d)
1. Pour k = 1 `a N, calculons BU
k
:
(BU
k
)
j
= sink(j 1)h + 2 sink(jh) sin k(j + 1)h, o` u h =
1
N + 1
.
En utilisant le fait que sin(a +b) = sin a cos b +cos a sinb pour developper
sin k(1 j)h et sin k(j + 1)h, on obtient (apr`es calculs) :
(BU
k
)
j
=
k
(U
k
)
j
, j = 1, . . . ,N,
o` u
k
= 2(1 cos kh) = 2(1 cos
k
N + 1
). On peut remarquer que pour
k = 1, . . . ,N,, les valeurs
k
sont distinctes.
On a donc trouve les N valeurs propres
1
. . .
N
de B associees aux vec-
teurs propres U
1
, . . . ,U
N
de IR
N
tels que (U
k
)
j
= sin
kj
N + 1
, j = 1, . . . ,N.
2. Comme A = Id+
1
h
2
B, les valeurs propres de la matrice A sont les valeurs

i
= 1 +
1
h
2

i
.
3. Comme A est symetrique, le conditionnement de A est donne par
cond
2
(A) =

N

1
=
1 +
2
h
2
(1 cos
N
N + 1
)
1 +
2
h
2
(1 cos

N + 1
)
.
Corrige de lexercice 21 page 46 (Methode iterative du
gradient `a pas xe)
1. On peut reecrire literation sous la forme : x
n+1
= (Id A)x
n
+ b. La
matrice diteration est donc B = Id A. La methode converge si et
seulement si (B) < 1; or les valeurs propres de B sont de la forme 1
i
o` u
i
est v.p. de A. On veut donc :
1 < 1
i
< 1, i = 1, . . . ,N.
cest`adire 2 <
i
et
i
< 0, i = 1, . . . ,N.
Comme A est symetrique denie positive,
i
> 0, i = 1, . . . ,N, donc il
faut > 0.
De plus, on a :
(2 <
i
i = 1, . . . ,N) ( <
2

i
i,1, . . . ,N) ( <
2

N
).
6.1. EXERCICES DU CHAPITRE 1 167
La methode converge donc si et seulement si 0 < <
2
(A)
.
2. On a : (Id A) = sup
i
[1
i
[ = max([1
1
[,[1
N
[). Le minimum
de (Id A) est donc obtenu pour
0
tel que 1
0

1
=
0

N
1,
cest`adire (voir Figure (6.1)
0
=
2

1
+
N
.
1
[1 (1
1
)[
[1 (1
N
)[
max([1 (1
1
),[1 (1
N
)[)

0
1
1
1
N

Fig. 6.1 Graphes de [1
1
[ et [1
N
[ en fonction de .
Corrige de lexercice 22 page 46 ([Non convergence de la
methode de Jacobi])
Si a = 0, alors A = Id, donc A est s.d.p. et la methode de Jacobi converge.
Si a ,= 0, posons a = (1 ), et calculons le polynome caracteristique de
la matrice A en fonction de la variable .
P() = det

a a a
a a a
a a a

= a
3
det

1 1
1 1
1 1

= a
3
(
3
3 + 2).
On a donc P() = a
3
( 1)
2
( + 2). Les valeurs propres de la matrice A sont
donc obtenues pour = 1 et = 2, cest`adire :
1
= 1 a et
2
= 1 + 2a.
La matrice A est denie positive si
1
> 0 et
2
> 0, cest`adire si
1
2
<
a < 1.
La methode de Jacobi secrit :
X
(n+1)
= D
1
(D A)X
(n)
,
avec D = Id dans le cas present ; donc la methode converge si et seulement si
(D A) < 1.
Les valeurs propres de D A sont de la forme = 1 o` u est valeur
propre de A. Les valeurs propres de D A sont donc
1
== a (valeur propre
168 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
double) et
2
= 2a.. On en conclut que la methode de Jacobi converge si et
seulement si 1 < a < 1 et 1 < 2a < 1, i.e.
1
2
< a <
1
2
.
La methode de Jacobi ne converge donc que sur lintervalle ]
1
2
,
1
2
[ qui est
strictement inclus dans lintervalle ]
1
2
,1[ des valeurs de a pour lesquelles la
matrice A est s.d.p..
Corrige de lexercice 23 page 46 (Jacobi pour les matrices
`a diagonale dominante stricte)
Pour montrer que A est inversible, supposons quil existe x IR
N
tel que
Ax = 0; on a donc
N

j=1
a
ij
x
j
= 0.
Pour i 1, . . . ,,N, on a donc
[a
i,i
[[x
i
[ = [a
i,i
x
i
[ = [

j;i=j
a
i,j
x
j
[

j;i=j
[a
i,j
[|x|

, i = 1, . . . ,N.
Si x ,= 0, on a donc
[x
i
[

j;i=j
a
i,j
x
j
[
[a
i,i
[
|x|

< |x|

, i = 1, . . . ,N
, ce qui est impossible pour i tel que
[x
i
[ = |x|

.
Montrons maintenant que la methode de Jacobi converge : Avec le forma-
lisme de la methode II du cours, on a
M = D =
_

_
a
11
0
.
.
.
0 a
NN
_

_, et N = M A.
La matrice diteration est
J = M
1
N = D
1
N =
_

_
a
1
1,1
0
.
.
.
0 a
1
N,N
_

_
_

_
0 a
i,j
.
.
.
a
i,j
0
_

_
=
_

_
0
a1,2
a1,1
. . .
.
.
.

a1,1
aN,N
. . . 0
_

_.
Cherchons le rayon spectral de J : soient x IR
N
et IR tels que Jx = x,
alors

j;i=j

a
i,j
a
i,i
x
j
= x
i
, et donc [[[x
i
[

j;i=j
[a
i,j
[
|x|

[a
i,i
[
.
Soit i tel que [x
i
[ = |x|

et x ,= 0, on deduit de linegalite precedente que


[[

j;i=j
|ai,j|
|aii|
< 1 pour toute valeur propre . On a donc (J) < 1. Donc la
methode de Jacobi converge.
6.1. EXERCICES DU CHAPITRE 1 169
Corrige de lexercice 23 page 46 (Jacobi pour les matrices
`a diagonale dominante forte)
1. (a) Le raisonnement de discretisation fait en cours am`ene au syst`eme
suivant :
_

u
i+1
+u
i1
2u
i
h
2
+u
i
= f(x
i
), i 1 N,
u
0
= 0,u
N+1
= 1.
Ce syst`eme peut se mettre, apr`es elimination de u
0
et u
N+1
sous la
forme Ax = b avec A = (a
i,j
)
i,j=1,N
o` u:
_

_
a
i,i
=
2
h
2
+, i = 1, . . . ,N,
a
i,j
=
1
h
2
, i = 1, . . . ,N, j = i 1,
a
i,j
= 0, i = 1, . . . ,N, [i j[ > 1.
et b = (f(x
1
),f(x
2
), . . . ,f(x
N1
),f(x
N
)) +
1
h
2
.
(b) Dans le cas o` u > 0, il est facile de voir que A est une matrice `a
diagonale dominante stricte, et on a vu en exercice (Exercice 19) que
dans ce cas la methode de Jacobi converge.
(c) Dans le cas o` u = 0, calculons (J). Soit une valeur propre de
J associee au vecteur propre x. On a donc Jx = x, cest-`a-dire
D
1
(E +F)x = x, soit encore (E +F)x = Dx, ce qui donne
(D (E +F))x = Ax = D(Id J)x =
2
h
2
(1 )x.
On en deduit que est valeur propre de J associee `a x si et seulement
si = 1
1
2
h
2
o` u est valeur propre de A; Or on a vu (exercice
15) que les valeurs propres de A sont de la forme
2
h
2
(1 coskh),
k = 1,N 1, o` u N =
1
h
est le nombre de points de discretisation. On
en deduit que les valeurs propres de J sont de la forme
k
= coskh,
k = 1,N 1. En consequence, (J) < 1.
2. (a) Si A est symetrique denie positive alors Ae
i
e
i
> 0 pour tout
vecteur e
i
de la base canonique. Tous les coecients diagonaux sont
donc strictement positifs, et donc aussi inversibles. On en deduit que
la matrice D est inversible et que la methode de Jacobi est bien
denie.
(b) i. Soit une valeur propre de J associee au vecteur propre x. On
a donc Jx = x, cest-`a-dire D
1
(E + F)x = x, soit encore
(E +F)x = Dx. On a donc
[

j=i
a
i,j
x
j
[ = [[[a
i,i
[[x
i
[.
Soit i tel que [x
i
[ = max
j=1,N
[x
j
[. Notons que [x
i
[ , = 0 car x est
vecteur propre, donc non nul. En divisant legalite precedente
par [x
i
[, on obtient:
[[

j=i
[a
i,j
[
[a
i,i
[
1,
par hypoth`ese. On en deduit que (J) 1.
170 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
ii. Soit x IR
N
tel que Jx = x avec [[ = 1. Alors
[

j=i
a
i,j
x
j
[ = [a
i,i
[[x
i
[, pour tout i = 1, . . . N. (6.1.16)
On a donc

j=i
[a
i,j
[[x
i
[ [a
i,i
[[x
i
[ = [

j=i
a
i,j
x
j
[

j=i
[a
i,j
[[x
j
[ pour tout i = 1, . . . N.
(6.1.17)
Si A est diagonale, alors en vertu de (6.1.16), x
i
= 0 pour tout
i = 1, . . . ,N. Supposons maintenant A non diagonale. On deduit
alors de (6.1.17) que
[x
i
[
[x
j
[
1 pour tout i ,= j.
Donc [x
i
[ = [x
j
[ pour tout i,j.
Comme de plus, par hypoth`ese,
[a
i0,i0
[ >

j=i0
[a
i0,j
[,
on a donc, si [x
i0
[ , = 0,

j=i0
[a
i0,j
[[x
i0
[ < [a
i0,i0
x
i0
[

j=i0
[a
i0,j
x
i0
[,
ce qui est impossible. On en deduit que x = 0.
On a ainsi prouve que J nadmet pas de valeur propre de module
egal `a 1, et donc par la question precedente, (J) < 1, ce qui
prouve que la methode converge.
iii. La matrice A de la question 1 est `a diagonale fortement domi-
nante. Donc la methode de Jacobi converge.
Corrige de lexercice 25 page 47 (Diagonalisation dans IR )
1. Montrons que T est inversible. Soit x tel que Tx = 0, alors (Tx,x) = 0 et
donc x = 0 car T est denie positive. Lapplication T est donc injective,
et comme on est en dimension nie, T est bijective donc inversible.
Lapplication denie de E
2
dans IR par :
(x,y) (x,y)
T
= (Tx,y)
est une application bilineaire car T est lineaire, symetrique car T est
symetrique, denie positive car T est denie positive donc cest un produit
scalaire.
2. Montrons que T
1
S est symetrique pour le produit scalaire (,)
T
. Soient
x,y E,
(T
1
Sx,y)
T
= (TT
1
Sx,y) = (Sx,y)
= (x,Sy) car S est symetrique
= (x,TT
1
Sy)
6.1. EXERCICES DU CHAPITRE 1 171
et comme T est symetrique,
(T
1
Sx,y)
T
= (Tx,T
1
Sy)
= (x,T
1
Sy)
T
donc T
1
S est symetrique pour le produit scalaire (,)
T
.
Montrons maintenant quil existe (f
1
, . . . ,f
N
) (IR
N
)
N
et (
1
, . . . ,
N
)
IR
N
tel que T
1
Sf
i
=
i
f
i
i 1,N avec (Tf
i
,f
j
) =
ij
. Dapr`es le
lemme 1.15 page 25, comme T
1
S est symetrique pour le produit scalaire
(,)
T
, il existe f
i
, . . . ,f
N
(IR
N
)
N
et (
1
. . .
N
) IR
N
tels que Tf
i
=

i
f
i
pour tout i = 1, . . . ,N, et (f
i
f
j
)
T
= (Tf
i
f
j
) =
i,j
. Do` u le resultat.
Corrige de lexercice 26 page 48 (Methode de Jacobi et
relaxation)
1. J = D
1
(E +F) peut ne pas etre symetrique, meme si A est symetrique :
En eet, prenons A =
_
2 1
1 1
_
.
Alors
J = D
1
(E +F) =
_
1
2
0
0 1
__
0 1
1 0
_
=
_
0
1
2
1 0
_
,=
_
0 1
1
2
0
_
.
donc J nest pas symetrique.
2. On applique lexercice precedent pour lapplication lineaire T de matrice
D, qui est, par hypoth`ese, denie positive (et evidemment symetrique
puisque diagonale) et S = E +F, symetrique car A est symetrique.
Il existe donc (f
1
. . . f
N
) base de E et (
1
. . .
N
) IR
N
tels que
Jf
i
= D
1
(E +F)f
i
=
i
f
i
, i = 1, . . . ,N, et (Df
i
,f
j
) =
ij
.
3. Par denition de J, tous les elements diagonaux de J sont nuls et donc sa
trace egalement. Or TrJ =
N

i=1

i
. Si
i
> 0 i = 1, . . . ,N, alors TrJ > 0,
donc i
0
;
i
0 et comme
1

i0
, on a
1
0. Un raisonnement
similaire montre que
N
0.
4. La methode de Jacobi converge si et seulement si (J) < 1 (theor`eme
1.22 page 38). Or, par la question precedente, (A) = max(
1
,
N
).
Supposons que
1
1, alors
1
= , avec 1. On a alors D
1
(E +
F)f
1
= f
1
ou encore (E+F)f
1
= Df
1
, ce qui secrit aussi (D+E+
F)f
1
= D(1 )f
1
cest`adire (2D A)f
1
= Df
1
avec 0. On en
deduit que ((2D A)f
1
,f
1
) = 0, ce qui contredit le fait que 2D A
est denie positive. En consequence, on a bien
1
1.
Supposons maintenant que
N
= 1. On a alors D
1
(E + F)f
1
=
f
N
, soit encore (E +F)f
N
= Df
N
. On en deduit que Af
N
= (D
E F)f
N
= D(1 )f
N
= Df
N
avec 0. On a alors(Af
N
,f
N
) 0,
ce qui contredit le fait que A est denie positive.
5. Par denition, on a :D x
(n+1)
s = (E + F)x
(n)
+ b et x
(n+1)
= x
(n+1)
+
(1 )x
(n)
. On a donc x
(n+1)
= [D
1
(E +F)x
(n)
+D
1
b] +(1 )x
(n)
cest`adire x
(n+1)
= [Id(IdD
1
(E+F))]x
(n)
+D
1
b,, soit encore
172 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
1

Dx
(n+1)
= [
1

D(D(E+F))]x
(n)
+b. On en deduit que M

x
(n+1)
=
N

x
(n)
+b avec M

=
1

D et N

=
1

DA.
6. La matrice diteration est donc maintenant J

= M
1

qui est symetrique


pour le produit scalaire (,)
M
donc en reprenant le raisonnement de la
question 2, il existe une base (

f
1
, . . . ,

f
N
) (IR
N
)
N
et (
1
, . . .
N
) IR
N
tels que
J


f
i
= M

1
N


f
i
= D
1
_
1

D A
_

f
i
=
i

f
i
i = 1, . . . N, et
1

D

f
i

f
j
=
ij
.
Supposons
1
1, alors
1
= , avec 1 et D
1
(
1

D A)

f
1
=

f
1
, ou encore
1

D A

f
1
=
1

D

f
1
. On a donc
2

D A

f
1
= (1
)
1

D

f
1
, ce qui entrane (
2

DA)

f
1


f
1
0. Ceci contredit lhypoth`ese
2

D A denie positive.
De meme, si
N
1, alors
N
= avec 1. On a alors
(
1

DA)

f
N
=
1

D

f
N
,
et donc A

f
N
= (1)
1

D

f
N
ce qui entrane en particulier que A

f
N


f
N

0 ; or ceci contredit lhypoth`ese A denie positive.
7. On cherche une condition necessaire et susante pour que
_
2

DA
_
x x > 0, x ,= 0, (6.1.18)
ce qui est equivalent `a
_
2

D A
_
f
i
f
i
> 0, i = 1, . . . ,N, (6.1.19)
o` u les (f
i
)
i=1,N
sont les vecteurs propres de D
1
(E+F). En eet, (f
i
)
i=1=1...N
est une base de IR
N
, et
_
2

D A
_
f
i
=
_
2

DD + (E +F)
_
f
i
=
_
2

1
_
Df
i
+
i
Df
i
=
_
2

1 +
i
_
Df
i
.
(6.1.20)
On a donc en particulier
_
2

DA
_
f
i
f
j
= 0 is i ,= j, ce qui prouve que
(6.1.18) est equivalent `a (6.1.19).
De (6.1.19), on deduit, grace au fait que (Df
i
,f
i
) = 1,
__
2

DA
_
f
i
,f
i
_
=
_
2

1 +
i
_
.
On veut donc que
2

1+
1
> 0 car
1
= inf
i
, cest`adire :
2

<
1
1,
ce qui est equivalent `a : <
2
1
1
.
6.1. EXERCICES DU CHAPITRE 1 173
8. La matrice diteration J

secrit :
J

=
_
1

D
_
1
_
1

D A
_
= I

, avec I

= D
1
(
1

D A).
Soit une valeur propre de I

associee `a un vecteur propre u; alors :


D
1
_
1

D A
_
u = u, i.e.
_
1

D A
_
u = Du.
On en deduit que
(D A)u +
_
1

1
_
Du = Du, soit encore
D
1
(E +F)u =
_
1
1

+
_
u.
Or f
i
est vecteur prore de D
1
(E + F) associee `a la valeur propre
i
(question 2). On a donc :
D
1
(E + F)f
i
=
i
f
i
=
_
1
1

+
_
f
i
,
ce qui est vrai si
i
= 1
1

+ , cest`adire =
i
1
1

. Donc

()
i
=
_

i
1
1

_
est valeur propre de J

associee au vecteur propre


f
i
.
On cherche maintenant `a minimiser le rayon spectral
(J

) = sup
i
[(
i
1
1

)[
On a (
1
1
1

) (
i
1
1

) (
N
1
1

), et (
N
1
1

)
(
1
1
1

) (
i
1
1

) ; donc
(J

) = max
_
[(
N
1
1

)[,[ (
1
1
1

[)
_
dont le minimum est atteint (voir Figure 6.1 pour
(1
1
) 1 = 1 (1
N
) cest`adire =
2
2
1

N
.
Corrige de lexercice 27 page 49 (Jacobi et Gauss-Seidel)
1.a. Soit (, ,= 0 et x (
N
, soit x

= (x
1
,x
2
, . . . ,
k1
x
k
,
N1
x
N
)
t
,
et soit est valeur propre de J associee au vecteur propre x. Calculons (E +
1

F)x

:
((E +
1

F)x

)
i
= a
i,i1

i2
x
i1
+
1

a
i,i+1

i
x
i+1
=
i1
(a
i,i1
x
i1
+
a
i,i+1
x
i+1
=
i1
((E +F)x)
i
= (Dx

)
i
.
174 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
1
1
1N
1
11
[(1
1
) + 1[
[(1
N
) + 1[
max([(1
N
) + 1[,[(1
1
) + 1[)
2
21N

Fig. 6.2 Determination de la valeur de realisant le minimum du rayon


spectral.
On a donc (E+
1

F)x

= Dx

. En prenant = dans legalite precedente,


on obtient :
1

Fx

= (D E)x

, et donc (D E)
1
Fx

=
2
x

. deduire que
si ,= 0 est valeur propre de J alors
2
est valeur propre de G (associee au
vecteur propre x

).
1.b. Reciproquement, supposons maintenant que
2
est valeur propre non
nulle de G, alors il existe y IR
N
,y ,= 0 tel que (D E)
1
Fy =
2
y. Soit
x IR
N
tel que y = x

, cest-`a-dire x
i
=
1i
y
i
, pour i = 1, . . . ,N. On en
deduit que
1

Fx

=
2
(D E)x

, et donc (E +
1

F)x

= Dx

.
Il est alors facile de verier (calculs similaires `a ceux de la question 1.a) que
(E +F)x = Dx, do` u on deduit que est valeur propre de J.
2. De par la question 1, on a nalement que (, ,= 0 est valeur propre
de J si et seulement si
2
(, ,= 0 est valeur propre de G.
On en deduit que (G) = (J)
2
.
On a donc en particuler que (G) < 1 si et seulement si (G) < 1, ce qui
prouve que les methodes de Jacobi et Gauss-Seidel convergent ou divergent
simultanement.
De plus, on a vu en TD que si B designe la matrice diteration dune methode
ierative x
(n+1)
= Bx
(n)
+c pour la resolution de Ax = b, alors
|x
(n+1)
x|
|x
(n)
x|
(B) lorsque n +.
On en deduit que lorsquelle converge, la methode de Gauss-Seidel converge plus
rapidement que la methode de Jacobi.
3.1 Soit L

la matrice diteration de la methode SOR associee `a A, et soit

une valeur propre de L

= (
1

DE)
1
(
1

D+F). Il existe donc yin(


N
,y ,= 0,
tel que
(1 D +F)y =

(DE)y.
6.1. EXERCICES DU CHAPITRE 1 175
Ceci secrit encore : (F +

E)y = (

11+)Dy, et aussi, en notant une


valeur propre non nulle de J,
(

1 +
F +

1 +
E)y = Dy,
soit encore
(E +
1

F)y = Dy, (6.1.21)


avec
=

1 +
et
1

1 +
.
Ceci est possible si

1 + ,= 0, ,= 0, et

1 +

1 +
. (6.1.22)
Remarquons tout dabord quon a forcement

,= 1 . En eet, sinon, le
vecteur propre y associe `a

verie Fy = Ey, ce qui est impossible pour


]0,2[ et y ,= 0.
On a egalement ,= 0 car ,= 0 et ,= 0.
Voyons maintenant pour quelles valeurs de

la relation (6.1.22) est veriee.


La relation (6.1.22) est equivalente `a (

1 +)
2
= (

)() ce qui revient


`a dire que

=
2

, o` u

est solution de lequation

+ 1 = 0. (6.1.23)
La relation (6.1.22) est donc veriee pour

=
2

, o` u

est racine de
lequation
2

+1 = 0. Soit donc
+

et

les racines (ou eventuellement


la racine double) de cette equation (qui en admet toujours car on la resoud dans
().
Donc si ,= 0 est valeur propre de J associee au vecteur propre x, en vertu
de (6.1.21) et de la question 1.a, les valeurs

telles que

= (

)
2
o` u

est
solution de (6.1.23) sont valeurs propres de la matrice L

associes au vecteurs
propres x
(

).
Reciproquement, si

=
2

, o` u

est solution de lequation (6.1.23), est


valeur propre de L

, alors il existe un vecteur y ,= 0 tel que L

y =

y. Soit
x IR
N
tel que x

= y (i.e. x
i
=
1i

y
i
pour i = 1, . . . ,N). On a alors :
((1 )D +F)x

=
2

(D E)x

, soit encore (E + F)x

= (
2


(1 ))Dx

. Or
2

(1 ) =

grace a (6.1.23), et donc (E +F)x

Dx

. On verie facilement que ceci entrane (E + F)x = Dx. on a ainsi


montre que est valeur propre de J.
On a montre que ,= 0 est valeur propre de J si et seulement si

=
2

, o` u

est solution de lequation (6.1.23). On en deduit que (L

) = max
valeur propre de J
[

[;
2

+1 = 0. est valeur propre de L

telles que = (
+

)
2
et

= (

)
2
sont valeurs propres de la matrice L

associes au vecteurs propres x


(

) et x

.
En deduire que
(L

) = max
valeur propre de J
[

[;
2

+ 1 = 0.
176 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Corrige de lexercice 28 page 49 (Methode de la puissance
pour calculer le rayon spectral de A)
1. Comme A est une matrice symetrique, A est diagonalisable dans IR. Soit
(f
1
, . . . ,f
N
) (IR
N
)
N
une base orthonormee de vecteurs propres de A
associee aux valeurs propres (
1
, . . . ,
N
) IR
N
. On decompose x
(0)
sur
(f
i
)
i=1...N
: x
(0)
=

N
i=1

i
f
i
. On a donc Ax
(0)
=

N
i=1

i
f
i
et A
n
x
(0)
=

N
i=1

n
i

i
f
i
.
On en deduit :
x
(n)

n
N
=
N

i=1
_

i

N
_
n

i
f
i
.
Comme
N
nest pas valeur propre,
lim
n+
(

i

N
)
n
= 0 si
i
,=
N
. (6.1.24)
Soient
1
, . . . ,
p
les valeurs propres dierentes de
N
, et
p+1
, . . . ,
N
=

N
. On a donc
lim
n+
x
(n)

n
N
=

N
i=p+1

i
f
i
= x, avec Ax =
N
x.
De plus, x ,= 0 : en eet, x
(0)
/ (Ker(A
N
Id))

= V ectf
1
, . . . ,f
p
, et
donc il existe i p + 1, . . . ,N tel que
i
,= 0.
Pour montrer (b), remarquons que :
|x
(n+1)
| =
N

i=1

n+1
i

i
et |x
(n)
| =
N

i=1

n
i

i
car (f
1
, . . . ,f
N
) est une base orthonormee. On a donc
|x
(n+1)
|
|x
(n)
|
=
n
N
|
x
(n+1)

n+1
N
|
|
x
(n)

N
|

N
|x|
|x|
=
N
lorsque n +.
2. a) La methode I secrit `a partir de x
(0)
connu : x
(n+1)
= Bx
(n)
+c pour
n 1, avec c = (I B)A
1
b. On a donc
x
(n+1)
x = Bx
(n)
+ (Id B)x x
= B(x
(n)
x).
(6.1.25)
Si y
(n)
= x
(n)
x, on a donc y
(n+1)
= By
(n)
, et dapr`es la question
1a) si y
(0)
, Ker(B
N
Id) o` u
N
est la plus grande valeur propre
de B, (avec [
N
[ = (B)et
N
non valeur propre), alors
|y
(n+1)
|
|y
(n)
|
(B) lorsque n +,
cest`adire
|x
(n+1)
x|
|x
(n)
x|
(B) lorsque n +.
6.1. EXERCICES DU CHAPITRE 1 177
b) On applique maintenant 1a) `a y
(n)
= x
(n+1)
x
(n)
avec
y
(0)
= x
(1)
x
(0)
o` u x
(1)
= Ax
(0)
.
On demande que x
(1)
x
(0)
/ Ker(B
N
Id)

comme en a), et on
a bien y
(n+1)
= By
(n)
, donc
|y
(n+1)
|
|y
(n)
|
(B) lorsque n +.
Corrige de lexercice 29 page 50 (Methode de la puissance
inverse)
Comme 0 < [
i
[ < [
j
[ pour tout j ,= i, la matrice A Id est
inversible. On peut donc appliquer lexercice 14 `a la matrice B = (AId)
1
.
Les valeurs propres de B sont les valeurs de
1

j

, j = 1, . . . ,N, o` u les
j
sont
les valeurs propres de A.
Comme [
i
[ < [
j
[, j ,= i, on a (B) =
1
[
i
[
.
Or,
1

i

est valeur propre de B et
1

i
ne lest pas. En eet, si
1

i
etait valeur propre, il existerait j tel que
1

i
=
1

j

, ce qui est impossible
car [
i
[ < [
j
[ pour j ,= i. Donc (B) =
1

i

.
On a egalement Ker(B
1

i

Id) = Ker(A
i
Id), donc
x
(0)
/ (Ker(B
1

Id))

= (Ker(A
i
Id)

.
On peut donc appliquer lexercice 28 page 49 qui donne 1 et 2.
Corrige de lexercice 31 page 50 (Methode des directions
alternees)
1. On a vu en cours quune methode iterative denie par
_
u
(0)
IR
n
,
u
(k+1)
= Bu
(k)
+c
converge si et seulement si (B) < 1.
Mettons donc lalgorithme (1.3.40) sous la forme (6.1.26). On a :
(Y +Id)u
(k+1)
= X[(X +Id)
1
(Y u
(k)
+b)]
+b soit encore
u
(k+1)
= (Y +Id)
1
X(X +Id)
1
Y u
(k)
(Y +Id)
1
X(X +Id)
1
b + (Y +Id)
1
b.
On peut donc bien ecrire la methode (1.3.40) sous la forme 6.1.26 avec
B = (Y +Id)
1
X(X +Id)
1
Y.
178 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Donc la methode converge si et seulement si (B) < 1.
Il reste `a montrer quelle converge vers u solution de Au = b. Soit u =
lim
u+
u
(k)
. On veut montrer que Au = b.
Comme u
(k)
converge et que u
(k+1/2)
est deni par (1.3.40), on a aussi
que u
(k+1/2)
converge.
Soit v = lim
h+
u
(k+1/2)
. On a donc, en passant `a la limite dans (1.3.40) :
(X +Id)v = Y u + b (6.1.26)
(Y +Id)u = Xv + b (6.1.27)
En additionnant et retranchant ces deux equations, on obtient :
(Xv +Y u +Id(u +v) = Y u Xv + 2b) (6.1.28)
(Xv Y u +Id(v u) = Y u +Xv (6.1.29)
Lequation (6.1.29) entrane Id(v u) = 0, cest`a dire v = u car ,= 0,
et en reportant dans (6.1.28), on obtient :
(X +Y )u + 2u = (X +Y )u +b
soit encore
(X +Y +Id)u = b, cest`adire Au = b.
2. On veut montrer que si X +

2
Id et Y +

2
Id sont denies positives, alors
((X +Id)
1
Y (Y +Id)
1
X) < 1.
a) Grace `a lexercice 1, on sait que les valeurs propres de (Y +Id)
1
X(X+
Id)
1
Y sont egales aux valeurs propres de Y (Y + Id)
1
X(X +
Id)
1
.
On a donc ((Y +Id)
1
X(X+Id)
1
Y ) = (X(X+Id)
1
Y (Y +
Id)
1
).
b) Comme les matrices X(X+Id)
1
et Y (Y +Id)
1
sont symetriques,
on a :
(Y (Y +Id)
1
X(X +Id)
1
) = |Y (Y +Id)
1
X(X +Id)
1
|
2
|Y (Y +Id)
1
|
2
|X(X +Id)
1
|
2
et donc
(Y (Y +Id)
1
X(X+Id)
1
) (X(X+Id)
1
)(Y (Y +Id)
1
)
c) Soit valeur propre de X(X +Id)
1
.
Soit valeur propre de X, associee au vecteur propre w. On a Xw =
w et (X +Id)w = ( +)w. Donc
Xw =

+
(X +Id)w.
On en deduit que =

+
est valeur propre de X(X + Id)
1
associe au vecteur propre w.
6.2. CORRIG

E DES EXERCICES DU CHAPITRE 2 179


Pour que (X(X+Id)
1
) < 1, il faut et il sut donc que [

+
[ <
1 pour toute valeur propre de .
Or comme > 0, si 0, [

+
[ =

+
< 1. Si < 0, il faut
distinguer le cas , auquel cas [

+
[ =

+
< 1 du cas
] ,0[.
Remarquons quon ne peut pas avoir = car la matrice X +Id
est supposee denie positive. Donc on a dans ce dernier cas :
[

+
[ =

+
et la condition (X(X +Id)
1
) entrane
< +
cest`adire
>

2
ce qui est equivalent `a dire que la matrice X+

2
Id est denie positive.
d) On peut donc conclure que si les matrices (X +

2
Id) et (Y +

2
Id)
sont denies positives, alors () < 1 (grace `a b) et c)) et donc la
methode (1.3.40) converge.
6.2 Corrige des exercices du chapitre 2
Corrige de lexercice 32 page 68 (Methode de monotonie)
Montrons que la suite v
(n)
est bien denie. Supposons v
(n)
connu; alors
v
(n+1)
est bien deni si le syst`eme
Av
(n+1)
= d
(n)
,
o` u d
(x)
est deni par : d
(n)
i
=
i
f(v
(n)
i
) + b
i
pour i = 1, . . . ,N, admet une
solution. Or, grace au fait que Av 0 v 0, la matrice A est inversible, ce
qui prouve lexistence et lunicite de v
(n+1)
.
Montrons maintenant que les hypoth`eses du theor`eme de convergence du
point xe de monotonie sont bien satisfaites.
On pose R
()
i
(u) =
i
f(u
i
) +b
i
. Le syst`eme `a resoudre secrit donc :
Au = R
()
(u)
Or 0 est soussolution car 0
i
f(0) + b
i
(grace au fait que f(0) = 0, > 0
et b
i
0).
Cherchons maintenant une sursolution, cest`adire u IR
N
tel que
u R
()
( u).
Par hypoth`ese, il existe > 0 et u
()
0 tel que
(Au
()
)
i
= f(u
()
i
) +b
i
.
180 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Comme < et b
i
0, on a
(Au
()
)
i

i
f(u
()
i
) +b
i
= R
()
i
(u
()
).
Donc u
()
est sursolution. Les hypoth`eses du theor`eme dont bien veriees, et
donc v
(n)
u lorsque n +, o` u u est tel que A u = R( u).
Corrige de lexercice 35 page 70 (Newton et logarithme)
La methode de Newton pour resoudre ln(x) = 0 secrit :
x
k+1
x
k
= x
k
ln(x
k
).
Pour que la suite (x
k
)
kIN
soit bien denie, il faut que x
(0)
> 0. Montrons
maintenant que:
1. si x
(0)
> e, alors x
1
< 0,
2. si x
(0)
]1,e[, alors x
(1)
]0,1[,
3. si x
(0)
= 1, alors x
k
= 1 pour tout k,
4. si x
0
]0,1[ alors la suite (x
(k)
)
kIN
est strictement croissante et majoree
par 1.
Le plus simple pour montrer ces proprietes est detudier la fonction denie
par : (x) = xxln x, dont la derivee est :

(x) = ln x. Le tableau de variation


de est donc :
[0 1 e +[
[ [ [ [

(x) [ + 0 e [
[ [ [ [
[ 1 [ [
(x) [ [ [ [
[0 + [ + 0 [
Gr ace `a ce tableau de variation, on a immediatement les proprietes 1. `a 4.
La convergence vers 1 est une consequence immediate du theor`eme du cours (on
peut aussi lobtenir en passant `a la limite dans le schema).
Corrige de lexercice 36 page 70 (Methode de Newton pour
le calcul de linverse)
1. (a) Soit g la fonction denie de IR

dans IR par g(x) =


1
x
a. Cette
fonction est continue et derivable pour tout x ,= 0, et on a : g

(x) =

1
x
2
. Lalgorithme de Newton pour la recherche dun zero de cette
fonction secrit donc bien :
_
x
(0)
donne,
x
(n+1)
= x
(n)
(2 ax
(n)
).
(6.2.30)
(b) Soit (x
(n)
)
nIN
denie par (6.2.30). Dapr`es le theor`eme du cours, on
sait que la suite (x
(n)
)
nIN
converge de localement (de mani`ere qua-
dratique) dans un voisinage de
1
a
. On veut determiner ici lintervalle
6.2. CORRIG

E DES EXERCICES DU CHAPITRE 2 181


de convergence precisement. On a x
(n+1)
= (x
(n)
) o` u est la fonc-
tion denie par de IR dans IR par (x) = x(2 ax). Le tableau de
variation de la fonction est le suivant:
x [ 0
1
a
2
a

(x) [ + 0
(x) [
1
a

(6.2.31)
Il est facile de remarquer que lintervalle ]0,
1
a
[ est stable par et que
(]
1
a
,
2
a
[) =]0,
1
a
[ Donc si x
(0)
]
1
a
,
2
a
[ alors x
(1)
]0,
1
a
[, et on se ram`ene
au cas x
(0)
]0,
1
a
[.
On montre alors facilement que si x
(0)
]0,
1
a
[, alors x
(n+1)
x
(n)
pour tout n, et donc la suite (x
(n)
)
nIN
est croissante. Comme elle
est majoree (par
1
a
), elle est donc convergente. Soit sa limite, on a
= (2 a), et comme x
(0)
> 0, on a =
1
a
.
Il reste maintenant `a montrer que si x
(0)
] ,0[]
2
a
, + [ alors
lim
n+
x
(n)
= . On montre dabord facilement que si x
(0)

] ,0[, la suite (x
n
)
nIN
est decroissante. Elle admet donc une
limite nie ou innie. Appelons cette limite. Celle-ci verie: =
(2 a). Si est nie, alors = 0 ou =
1
a
ce qui est impossible car
x
(0)
< 0. On en deduit que = .
Enn, letude des variations de la fonction montre que si x
(0)

]
2
a
, +[, alors x
(1)
] ,0[, et on est donc ramene au cas pecedent.
2. (a) Lensemble GL
N
(IR) est ouvert car image reciproque de louvert IR

par lapplication continue qui a une matrice associe son determinant.


(b) Lapplication T est clairement denie de GL
N
(IR) dans GL
N
(IR).
Montrons quelle est derivable. Soit H GL
N
(IR) telle que B + H
soit inversible. Ceci est vrai si |H||B
1
| < 1, et on a alors, dapr`es
le cours :
(B +H)
1
=
_
B(Id + B
1
H)
_
1
=
+

k=0
(B
1
H)
k
B
1
.
On a donc :
T(B+H)T(B) =
+

k=0
(B
1
H)
k
B
1
B
1
= (Id+
+

k=1
(B
1
H)
k
Id)B
1
=
+

k=1
(B
1
H)
k
B
1
.
On en deduit que
T(B +H) T(B) +B
1
HB
1
=
+

k=2
(B
1
H)
k
B
1
.
Lapplication qui `a H associe B
1
HB
1
est clairement lineaire, et
de plus,
|T(B +H) T(B) +B
1
HB
1
| |B
1
|
+

k=2
(|B
1
||H|)
k
.
182 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Or |B
1
||H| < 1 par hypoth`ese. On a donc
|T(B +H) T(B) B
1
HB
1
|H|
| |B
1
|
3
|H|
+

k=0
(|B
1
||H|)
k
0 as |H| 0.
On en deduit que lapplication T est dierentiable et que DT(B)(H) =
B
1
HB
1
.
(c) La methode de Newton pour la recherche dun zero de la fonction g
secrit:
_
B
0
GL
N
(IR),
Dg(B
n
)(B
n+1
B
n
) = g(B
n
).
Or, dapres la question precedente, Dg(B
n
)(H) = (B
n
)
1
H(B
n
)
1
.
On a donc
Dg(B
n
)(B
n+1
B
n
) = (B
n
)
1
(B
n+1
B
n
)(B
n
)
1
.
La methode de Newton secrit donc :
_
B
0
GL
N
(IR),
(B
n+1
B
n
) = (Id B
n
A)B
n
.
(6.2.32)
soit encore
_
B
0
GL
N
(IR),
B
n+1
= 2B
n
B
n
AB
n
.
(6.2.33)
(d) Par denition, on a :
Id AB
n+1
= Id A(2B
n
B
n
AB
n
) = Id 2AB
n
+AB
n
AB
n
.
Comme les matrices Id et AB
n
commutent, on a donc :
Id AB
n+1
= (Id AB
n
)
2
.
Une recurrence immediate montre alors que Id AB
n
= (Id
AB
0
)
2
n
. On en deduit que la suite IdAB
n
converge (vers la matrice
nulle) lorsque n + ssi (Id AB
0
) < 1, et ainsi que la suite B
n
converge vers A
1
si et seulement si (Id AB
0
) < 1.
Corrige de lexercice 37 page 71 (Valeurs propres et methode
de Newton)
On ecrit le syst`eme sous la forme F(x,) = 0 o` u F est une fonction de IR
N+1
dans IR
N+1
denie par
F(y) = F(x,) =
_
Ax x
x x 1
_
,
et on a donc
DF(,x)(z,) =
_
Az

z x
2 x z
_
,
6.2. CORRIG

E DES EXERCICES DU CHAPITRE 2 183


Supposons que DF(x,)(z,) = 0, on a alors Az

z x = 0 et 2 x z = 0.
En multipliant la premi`ere equation par x et en utilisant le fait que A est
symetrique, on obtient :
z A x

z x x x = 0, (6.2.34)
et comme A x =

x et x x = 1, ceci entrane que = 0. En revenant `a (6.2.34)
on obtient alors que Ax

x = 0, c.`a.d. que x Ker(A

Id) = IR x car

est
valeur propre simple. Or on a aussi x z = 0, donc z x ce qui nest possible
que si z = 0. On a ainsi montre que Df( x,

) est injective, et comme on est


en dimension nie, Df( x,

) est bijective. Dnc, dapr`es le theor`eme du cours, la


methode de Newton est localement convergente.
Corrige de lexercice 38 page 71 (Modication de la methode
de Newton)
1. Si A /
N
(IR) et > 0, alors A
t
A+Id est symetrique denie positive.
En prenant A = Df(x
n
), on obtient que la matrice Df(x
n
)
t
Df(x
n
) + Id est
symetrique denie positive donc inversible, ce qui montre que la suite (x
n
)
nIN
est bien denie.
2. Soit la fonction denie par (t) = f(tx
n
+ (1 t)x), alors (0) =
f(x) = 0 et (1) = f(x
n
). Donc
f(x
n
) = (1) (0) =
_
1
0

(t)dt = (x
n
x)
_
1
0
f

(tx
n
+ (1 t)x)dt.
On a donc
f(x
n
) = (x
n
x)g(x
n
), (6.2.35)
o` u g(x) =
_
1
0
f

(tx+(1t)x)dt. La fonction g est continue car f C


1
(IR
N
,IR
N
),
et g(x) f

( x) lorsque x x.
La suite (x
n
)
nIN
est denie par
x
n+1
= x
n

(x
n
)
f

(x
n
)
2
+
f(x
n
).
En utilisant (6.2.35), on a donc :
x
n+1
x = a
n
(x
n
x), o` u a
n
= 1
f

(x
n
)g(x
n
)
f

(x
n
)
2
+
.
Soit a la fonction denie par :
a(x) = 1
f

(x)g(x)
f

(x)
2
+
; on a a( x) = 1
f

( x)
2
f

(x)
2
+
]2,1 2[, o` u > 0,
et comme g est continue, il existe IR

+
t.q. si x ]x ,x + [, alors
a(x) ],1[. Donc si x
0
]x,x+[, on a a
0
],1[ et x
1
x = a
0
(x
0
x),
et par recurrence sur n, a
n
],1 [ et x
n
x =

n1
i=0
a
i
(x
0
x) 0 lorsque
n +, ce qui prouve la convergence locale de la methode.
184 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
3. Par denition de la methode, on a :
x
n+1
x = x
n
x (Df(x
n
)
t
Df(x
n
) +Id)
1
Df(x
n
)
t
f(x
n
)
En posant, pour t IR, (t) = f(tx
n
+ (1 t)x), on a :
f(x
n
) f(x) =
_
1
0

(t)dt
= G(x
n
)(x
n
x),
o` u G C(IR
N
,/
N
(IR)) est denie par
G(x) =
_
1
0
Df(tx + (1 t)x)dt.
On a donc :
x
n+1
x = H(x
n
)(x
n
x), (6.2.36)
o` u H ((IR
N
,/
N
(IR)) est denie par :
H(x) = Id (Df(x)
t
Df(x) +Id)
1
Df(x)
t
G(x).
On veut montrer que |H(x
n
)| < 1 si x
n
est susamment proche de x. On va
pour cela utiliser la continuite de H autour de x. On a :
H(x) = Id (Df(x)
t
Df(x) +Id)
1
Df(x)
t
Df(x).
La matrice B = Df(x)
t
Df(x) est evidemment symetrique. On a donc :
H(x)
t
= (Id (B +Id)
1
B)
t
= Id B(B +Id)
1
Pour montrer que H(x) est symetrique, il reste `a montrer que B et (B+Id)
1
commutent.
Or (B +Id)(B +Id)
1
= Id.
Donc B(B +Id)
1
= Id (B +Id)
1
= (B +Id)
1
(B +Id) (B +Id)
1
= (B +Id)
1
B.
On en deduit que H(x) est symetrique. On a donc |H(x)|
2
= (Hx)). Calculons
le rayon spectral de H(x). Comme Df(x)
t
Df(x) est diagonalisable dans IR, il
existe (
1
, . . . ,
N
) IR
N
et (f
1
, . . . ,f
N
) base orthonormee telle que :
Df(x)
t
Df(x) f
i
=
i
f
i
, i = 1, . . . ,N.
De plus
i
> 0, i = 1, . . . ,N. On a :
H(x)f
i
= f
i
(Df(x)
t
Df(x) +Id)
1

i
f
i
6.2. CORRIG

E DES EXERCICES DU CHAPITRE 2 185


Or (Df(x)
t
Df(x) +Id)f
i
= (
i
+)f
i
, donc
Df(x)
t
Df(x) +Id)
1
f
i
=
1

i
+
f
i
. On en deduit que
H(x)f
i
=
i
f
i
, i = 1, . . . ,N, o` u
i
= 1

i

i
+
.
On a donc 0 <
i
< 1 et donc (H( x)) < 1. On en deduit que |H(x)|
2
< 1, et
par continuite il existe > 0 tel que si x B(x,) alors |H(x)|
2
< 1.
On deduit alors de (6.2.36) que la methode est localement convergente.
Corrige de lexercice 39 page 71 (Convergence de la methode
de Newton si f

(x) = 0)
Comme f

(x) ,= 0, on peut supposer par exemple f

(x) > 0; par continuite


de f

, il existe donc > 0 tel que f

(x) < 0 si x ]x ,x[ et f

(x) > 0 si
x ]x,x+[, et donc f est decroissante sur ]x,x[ (et croissante sur ]x,x+[).
Supposons x
0
]x,x +[, alors f

(x
0
) > 0 et f

(x
0
) > 0.
On a par denition de la suite (x
n
)
nIN
,
f

(x
0
)(x
1
x
0
) = f(x
0
)
= f(x) f(x
0
)
= f

(
0
)(x x
0
), o` u
0
]x,x
0
[
Comme f

est strictement croissante sur ]x,x +[, on a f

(
0
) < f

(x
0
) et donc
x
1
]x,x
0
[.
On montre ainsi par recurrence que la suite (x
n
)
nIN
verie
x
0
> x
1
> x
2
. . . > x
n
> x
n+1
> . . . > x.
La suite (x
n
)
nIN
est donc decroissante et minoree, donc elle converge. Soit x
sa limite; comme
f

(x
n
)(x
n+1
x
n
) = f(x
n
) pour tout n IN,
on a en passant `a la limite : f(x) = 0, donc x = x.
Le cas f

(x) < 0 se traite de la meme mani`ere.


Montrons maintenant que la methode est dordre 1. Par denition, la methode
est dordre 1 si
|x
n+1
x|
|x
n
x|
IR

+
.
Par denition de la suite (x
n
)
nIN
, on a :
f

(x
n
)(x
n+1
x
n
) = f(x
n
) (6.2.37)
Comme f (
2
(IR) et f

(x) = 0, il existe
n
]x,x
n
[ et
n
]x,x
n
[ tels que
f

(x
n
) = f

(
n
)(x
n
x) et f(x
n
) =
1
2
f

(
n
)(x x
n
)
2
. On deduit donc de
(6.2.37) que
f

(
n
)(x
n+1
x
n
) =
1
2
f

(
n
)(x
n
x),
soit f

(
n
)(x
n+1
x) = (
1
2
f

(
n
) +f

(
n
))(x
n
x)
186 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Donc
|x
n+1
x|
|x
n
x|
= [1
1
2
f

(
n
)
f

(
n
)
[
1
2
lorsque n +.
La methode est donc dordre 1.
On peut obtenir une methode dordre 2 en appliquant la methode de Newton
`a f

.
Corrige de lexercice 40 page 71 (Modication de la methode
de Newton)
1. On a evidemment x
(0)
= x
0
I. Supposons que x
(n)
I et montrons
que x
(n+1)
I. Par denition, on peut ecrire :
x
(n+1)
= x
(n)

f(x
(n)
) f(x
0
)
f

(y)

f(x
0
)
f

(y)
.
Donc
x
(n+1)
x
0
= x
(n)
x
0

(
n
)(x
(n)
n
x
0
) f(x
0
)
f

(y)
, o` u
n
[x
0
,x
(n)
].
On en deduit que
x
(n+1)
x
0
= (1
f

(
n
)
f

(y)
)(x
(n)
n
x
0
)
f(x
0
)
f

(y)
.
Ceci entrane :
[x
(n+1)
x
0
[ =
1
[f

(y)[
[f

(
n
) f

(y)[[x
(n)
x
0
[ +
[f(x
0
)[
f

(y)

1
2
c +
c
2
= c.
Donc x
(n+1)
I.
2. On a :
x
(n+1)
x = x
(n)
x
f(x
(n)
) f( x)
f

(y)

f( x)
f

(y)
.
Donc[x
(n+1)
x[ [x
(n)
x[[f

(y) f

(
n
)[
1
[f

(y)[
o` u
n
[ x,x
(n)
];
Par hypoth`ese, on a donc
[x
(n+1)
x[ [x
(n)
x[
1
2

c
2
[x
(n)
x[.
On en deduit par recurrence que
[x
(n)
x[
c
2
n
[x
(0)
x[.
Ceci entrane en particulier que
x
(n)
x
n +.
6.2. CORRIG

E DES EXERCICES DU CHAPITRE 2 187


Il reste `a montrer que la convergence est au moins lineaire. On a :
[x
(n+1)
x[
[x
(n)
x[
= [f

(y) f

(x
(n)
)[
1
[f

(y)[
Donc
[x
(n+1)
x[
[x
(n)
x[
[1
f

( x)
f

(y)
[ = 0
n +
La convergence est donc au moins lineaire, elle est lineaire si f

( x) ,= f

(y)
et superlineaire si f

( x) = f

(y).
3. Le fait de remplacer y par y
(n)
ne change absolument rien `a la preuve de
la convergence de x
(n)
vers x. Par contre, on a maintenant :
[x
(n+1)
x[
[x
(n)
x[
= [f

(y
n
) f

(
n
)[
1
[f

(y
n
)[
= [1
f

(
n
)
f

(y
n
)
[
Or f

(
n
)
n+
f

( x) et donc si f

(y
n
)
n+
f

( x) la convergence devient
superlineaire.
4. Lalgorithme pour N 1 se generalise en :
_
x
(0)
= x
0
x
(n+1)
= x
(n)
(DF(y))
1
f(x
(n)
).
On a donc
x
(n+1)
x
0
= x
(n)
x
0
(DF(y))
1
(f(x
(n)
) f(x
0
)) +(DF(y))
1
f(x
0
).
Or f(x
(n)
) f(x
(0)
) = (1) (0)
=
_
1
0

(t)dt.
o` u (t) = f(tx
(n)
+ (1 t)x
(0)
)

(t) = Df(tx
(n)
+ (1 t)x
(0)
)(x
(n)
x
(0)
)
Donc
x
(n+1)
x
(0)
= (x
(n)
x
(0)
)
_
1 (Df(y))
1
_
1
0
Df(tx
n
) + (1 t)x
(0)
)dt
_
+ (Df(y))
1
f(x
0
)
= (x
(n)
x
(0)
)(Df(y))
1
(
_
1
0
_
Df(y) Df(tx
(n)
+ (1 t)x
(0)
)dt
_
+ (Df(y))
1
f(x
0
).
On en deduit que :
|x
(n+1)
x
(0)
| |x
(n)
x
(0)
||(Df(y))
1
|
_
1
0
|Df(y) Df(tx
(n)
+ (1 t)x
(0)
)|dt
(6.2.38)
+ |(Df(y))
1
||f(x
0
)|.
188 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Si on suppose que x
(n)
I, alors
tx
(n)
+ (1 t)x
(0)
I.
Lhypoth`ese (iii) generalisee `a la dimension N secrit :
|Df(x) Df(y)|
1
2
(x,y) I
2
,
si on suppose de plus que
(ii) |f(x
0
)|
c
2
et
(iv) |(Df(x))
1
| x I, alors 6.2.38 donne que
|x
(n+1)
x
(0)
| |x
(n)
x
(0)
|
1
2
+
c
2
c.
ce qui prouve que x
(n+1)
I.
On montre alors de la meme mani`ere que x
(n)
n
x, (car |x
(n+1)
x|
1
2
|x
(n)
x|).
Corrige de lexercice 41 page 72 (Methode de Newton)
1. Soient u et v solutions du syst`eme non lineaire considere. On a alors :
(A(u v))
i
+
i
(f(u
i
) f(v
i
)) = 0 pour tout i = 1, . . . ,N.
Donc
N

i=1
(A(u v))
i
(u v)
i
+
N

i=1

i
(f(u
i
) f(v
i
))(u
i
v
i
) = 0.
Comme f est croissante, on a f(u
i
) f(v
i
)(u
i
v
i
) 0 i = 1, . . . ,N.
On en deduit que A(u v) (u v) = 0. Comme A est symetrique denie
positive, ceci entrane u = v.
2. Soit F la fonction de IR
N
dans IR
N
denie par :
(F(u))
i
= (Au)
i
+
i
f(u
i
), i = 1, . . . ,N.
Comme f (
2
(IR,IR), on a F (
2
(IR
N
,IR
N
). La methode de Newton de
recherche dun zero de F secrit
u
(n+1)
= u
(n)
+ (DF(u
(n)
))
1
F(u
(n)
).
Dapr`es un theor`eme du cours, la methode de Newton converge localement
(avec convergence dordre 2) si la matrice jacobienne DF( u) est inversible,
o` u u est lunique solution de F( u) = 0.
Calculons DF( u) :
on a
(F(u))
i
= (Au)
i
+
i
f(u
i
), pour i = 1, . . . ,N, et donc
6.2. CORRIG

E DES EXERCICES DU CHAPITRE 2 189


(DF(u) v)
i
= (Av)
i
+
i
f

(u
i
)v
i
= ((A + D)v)
i
.
o` u D = diag(
1
f

(u
1
), . . . ,
N
f

(u
N
)). Comme
i
> 0 et f

(u
i
) 0 pour
tout i = 1,N, la matrice A+D est symetrique denie positive donc DF( u)
est inversible.
On en deduit que la methode de Newton converge localement.
Corrige de lexercice 42 page 72 (Methode de Steensen)
1. Comme f

(x) ,= 0, il existe > 0 tel que f soit strictement monotone


sur B(x, ); donc si f(x) = 0 et x B(x, ) alors x = x. De plus, comme
x + f(x) x lorsque x x, il existe tel que si x B(x,), alors
f(x + f(x) B(x, ). Or si x B(x,), on a :f(x) ,= 0 si x ,= x, donc
x+f(x) ,= x et comme x+f(x) B(x, ) o` u f est strictement monotone,
on a f(x) ,= f(x +f(x)) si x ,= x. On en deduit que si x
n
B(x,), alors
f(x
n
+ f(x
n
)) ,= f(x
n
) (si x
n
,= x) et donc x
n+1
est deni par x
n+1
=
(f(x
n
))
2
f(x
n
+f(x
n
)) f(x
n
)
. Ceci est une forme de stabilite du schema).
2. Montrons maintenant que la suite (x
n
)
nIN
verie :
x
n+1
x = a(x
n
)(x
n
x)
2
si x
n
,= x et x
0
B(x,),
o` u a est une fonction continue. Par denition de la suite (x
n
)
nIN
, on a :
x
n+1
x = x
n
x
(f(x
n
))
2
f(x
n
+f(x
r
)) f(x
n
)
. (6.2.39)
Soit
n
: [0,1] IR la fonction denie par :

n
(t) = f(x
n
+tf(x
n
))
On a
n
(
2
(]0,1[,IR),
n
(0) = f(x
n
) et
n
(1) = f(x
n
+ f(x
n
)).
On peut donc ecrire :
f(x
n
+f(x
n
)) f(x
n
) =
n
(1)
n
(0) =
_
1
0

n
(t)dt
Ceci donne :
f(x
n
+f(x
n
)) f(x
n
) =
_
1
0
f

(x
n
+tf(x
n
))f(x
n
)dt
On pose maintenant
n
(t) = f

(x
n
+ tf(x
n
)), et on ecrit que
n
(t) =
_
t
0

n
(s)ds +
n
(0).
On obtient alors :
f(x
n
+f(x
n
))f(x
n
) = f(x
n
)
_
f(x
n
)
_
1
0
_
t
0
f

(x
n
+sf(x
n
))ds +f

(x
n
)
_
.
(6.2.40)
190 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Soit b ((IR,IR) la fonction denie par :
b(x) =
_
1
0
__
t
0
f

(x +sf(x))ds
_
dt.
Comme f ((IR,IR), on a b(x)
1
2
f

(x) lorsque x x
Legalite (6.2.40) secrit alors :
f(x
n
+f(x
n
)) f(x
n
) = (f(x
n
))
2
b(x
n
) +f(x
n
)f

(x
n
). (6.2.41)
Comme x
0
B(x,), on a x
n
B(x,) et donc f(x
n
) ,= 0 si x
n
,= x.
Donc pour x
n
,= x, on a grace `a (6.2.39) et (6.2.41) :
x
n+1
x = x
n
x
f(x
n
)
f(x
n
)b(x
n
) +f

(x
n
))
(6.2.42)
On a maintenant f(x
n
) = f(x) f(x
n
) =
_
1
0

(t)dt o` u (
2
(IR,IR)
est denie par (t) = f(tx + (1 t)x
n
).
Donc
f(x
n
) =
_
1
0
f

(tx + (1 t)x
n
)(x x
n
)dt.
Soit (
1
(IR,IR) la fonction denie par (t) = f

(tx + (1 t)x
n
),
on a (0) = f

(x
n
) et donc :
f(x
n
) =
_
1
0
__
t
0
(f

(sx + (1 s)x
n
)(x x
n
) +f

(x
n
)) ds(x x
n
)
_
dt
Soit c ((IR,IR) la fonction denie par
c(x) =
_
1
0
__
t
0
f

(sx + (1 s)x)ds
_
dt,
on a c(x)
1
2
f

(x) lorsque x x et :
f(x
n
) = c(x)(x x
n
)
2
+f

(x
n
)(x x
n
) (6.2.43)
De (5) et(1.3.40), on obtient :
x
n+1
x = (x
n
x)
_
1 +
c(xn)(xnx)f

(xn)
f(xn)b(xn)+f

(xn)
_
=
(xnx)
f(xn)b(xn)+f

(xn)
_
c(x
n
)(x x
n
)
2
b(x
n
) f

(x
n
)(x x
n
)b(x
n
)
+ f

(x
n
) +c(x
n
)(x
n
x) f

(x
n
))
On en deduit :
(x
n+1
x) = (x
n
x)
2
a(x
n
) (6.2.44)
o` u
a(x) =
c(x)b(x)(x x) +f

(x)b(x)b +c(x)
f(x) +f

(x)
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 191


La fonction a est continue en tout point x tel que
D(x) = f(x)b(x) +f

(x) ,= 0.
Elle est donc continue en x puisque D(x) = f(x)b(x) +f

(x) = f

(x) ,= 0.
De plus, comme f, f

et b sont continues, il existe un voisinage de x sur


lequel D est non nulle et donc a continue.
3. Par continuite de a, pour tout > 0, il existe

> 0 tel que si x


B(x,

) alors
(7) [a(x) a(x)[ .
Calculons
a(x) =
f

(x)b(x) +c(x)
f

(x)
=
1
2
f

(x)
1 +f

(x)
f

(x)
= .
Soit = min(
1
,
1
2( + 1)
) ; si x B(x,), alors [a(x)[ +1 grace `a (7),
et [x x[
1
2( + 1)
.
On deduit alors de (6) que si x
n
B(x,), alors
[x
n+1
x[
1
2
[x
n
x[.
Ceci entrane dune part que x
n+1
B(x,) et dautre part, par recurrence,
la convergence de la suite (x
n
)
nIN
vers x.
Il reste `a montrer que la convergence est dordre 2.
Gr ace `a (6), on a :
[x
n+1
x[
[x
n
x[
2
= [a(x
n
)[.
Or on a montre `a letape 3 que a est continue et que a(x) IR. On
a donc une convergence dordre au moins 2.
6.3 Corrige des exercices du chapitre 3
Exercice 44 page 82
1/ Par denition, T = Df(x) est une application lineaire de IR
N
dans IR
N
,
qui secrit donc sous la forme : T(h) =

N
i=1
a
i
h
i
= a h. Or lapplication T
depend de x, donc le vecteur a aussi.
Montrons maintenant que (a(x))
i
=
i
f(x), pour 1 i N Soit h
(i)
IR
N
deni par h
(i)
j
= h
i,j
, o` u h > 0 et
i,j
designe le symbole de Kronecker, i.e.

i,j
= 1 si i = j et
i,j
= 0 sinon. En appliquant la denition de la dierentielle
avec h
(i)
, on obtient:
f(x +h
(i)
) f(x) = Df(x)(h(i)) +|h
(i)
|(h
(i)
),
cest`adire :
f(x
1
, . . . ,x
i1
,x
i
+h,x
i1
, . . . ,x
N
) f(x
1
, . . . ,x
N
) = (a(x))
i
h +h(h
(i)
).
192 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
En divisant par h et en faisant tendre h vers 0, on obtient alors que (a(x))
i
=

i
f(x).
2/ Comme f C
2
(IR
N
,IR), on a (
i
f(x) C
1
(IR
N
,IR), et donc
C
1
(IR
N
,IR
N
). Comme D(x) est une application lineaire de IR
N
dans IR
N
,
il existe une matrice A(x) carree dordre N telle que D(x)(y) = A(x)y pour
tout y IR
N
. Il reste `a montrer que (A(x))
i,j
=
2
i,j
f(x). Soit h
(i)
IR
N
deni
`a la question preceedente, pour i, j = 1, . . . ,N, on a
(D(x)(h
(j)
))
i
= (A(x)h
(j)
)
i
=
N

k=1
a
i,k
(x)h
(j)
)
k
= ha
i,j
(x).
Or par denition de la dierentielle,

i
(x +h
(j)
)
i
(x) = (D(x)(h
(j)
))
i
+|h
(j)
|
i
(h
(j)
),
ce qui entrane, en divisant par h et en faisant tendre h vers 0 :
j

i
(x) = a
i,j
(x).
Or
i
(x) =
i
f(x), et donc (A(x))
i,j
= a
i,j
(x) =
2
i,j
f(x).
3/ Soit f C
2
(IR
3
,IR) la fonction denie par f(x
1
,x
2
,x
3
) = x
2
1
+ x
2
1
x
2
+
x
2
cos(x
3
). Donner la denition et lexpression de f(x), Df(x), Df, D
2
f(x),
H
f
(x), D
2
f. Calculons les derivees partielles de f.

1
f(x
1
,x
2
,x
3
) = 2x
1
(1 +x
2
),

2
f(x
1
,x
2
,x
3
) = x
2
1
+ cos(x
3
),

3
f(x
1
,x
2
,x
3
) = x
2
sin(x
3
).
On a donc f(x) = (2x
1
(1+x
2
),x
2
(x
2
1
+cos(x
3
)), x
2
sin(x
3
))
t
. Lapplication
Df(x) est une application lineaire de IR
3
dans IR, denie par
Df(x)(y) = (2x
1
(1 +x
2
))y
1
+x
2
(x
2
1
+ cos(x
3
))y
2
x
2
sin(x
3
)y
3
. (6.3.45)
Lapplication Df appartient `a C
1
(IR
3
,L(IR
3
,IR), et elle est denie par (6.3.45).
Calculons maintenant les derivees partielles secondes :

2
1,1
f(x) = 2(1 + x
2
),
2
1,2
f(x) = 2x
1
,
2
1,3
f(x) = 0,

2
2,1
f(x) = 2x
1
,
2
2,2
f(x) = 0,
2
2,3
f(x) = sin(x
3
)),

2
3,1
f(x) = 0,
2
3,2
f(x) = sin(x
3
),
2
3,3
f(x) = x
2
cos(x
3
).
La matrice H
f
(x) est denie par H
f
(x)
i,j
=
2
i,j
f(x), pour i,j = 1,ldots,3. Lap-
plication D
2
f(x) est une application lineaire de IR
3
dans L(IR
3
,IR), denie par
D
2
f(x)(y) =
x,y
et (D
2
f(x)(y))(z) =
x,y
(z) = H
f
(x)y z. Enn, lappli-
cation D
2
est une fonction continue de IR
3
dans L(IR
3
,L(IR
3
,IR)), denie par
D
2
f(x)(y) =
x,y
pour tout x, y IR
3
.
Corrige de lexercice 46 page 82 (Minimisation dune fonc-
tionnelle quadratique)
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 193


1. Puisque f(x) =
1
2
Ax x b x, f C

(IR
N
,IR). Calculons le gradient de
f :
f(x +h) =
1
2
A(x +h) (x +h) b (x +h)
=
1
2
Ax x +
1
2
Ax h +
1
2
Ah x +
1
2
Ah h b x b h
= f(x) +
1
2
(Ax h +Ah x) b h +
1
2
Ah h
= f(x) +
1
2
(Ax +A
t
x) h b h +
1
2
Ah h.
Et comme |Ah h| |A|
2
|h|
2
, on a :
f(x) =
1
2
(Ax +A
t
x) b. (6.3.46)
Si A est symetrique f(x) = Ax b. Calculons maintenant la hessienne de f.
Dapr`es (6.3.46), on a :
f(x +h) =
1
2
(A(x +h) +A
t
(x +h)) b = f(x) +
1
2
(Ah +A
t
h)
et donc H
f
(x) = D(f(x)) =
1
2
(A+A
t
). On en deduit que si A est symetrique,
H
f
(x) = A.
2. Si A est symetrique denie positive, alors f est strictement convexe. De
plus, si A est symetrique denie positive, alors f(x) + quand [x[ +.
En eet,
Ah h [h[
2
o` u est la plus petite valeur propre de A, et > 0
f(h)

2
|h|
2
|b||h|; or |bh| |b| |h|
f(h) |h|
_
h
2
b
_
quand h +
On en deduit lexistence et lunicite de x qui minimise f. On a aussi :
f( x) = 0 f( x) = inf
IR
N
f
Par la question 1. x est donc lunique solution du syst`eme A x = b.
Corrige de lexercice 47 page 86 (Convergence de lalgo-
rithme du gradient `a pas xe)
1. Soit la fonction denie de IR dans IR
N
par : (t) = f(x+t(yx)). Alors
(1) (0) =
_
1
0
f(x +t(y x)) (y x)dt, et donc :
f(y) f(x) =
_
1
0
f(x +t(y x)) (y x)dt.
On a donc :
f(y)f(x)f(x)(yx) =
_
1
0
(f(x+t(yx))(yx)f(x)(yx))dt,
194 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
cest `a dire :
f(y) f(x) f(x) (y x) =
_
1
0
(f(x +t(y x)) f(x))
. .
t(yx)
2
(y x)dt.
Gr ace `a la premi`ere hypoth`ese sur f, ceci entrane :
f(y) f(x) f(x) (y x)
_
1
0
t[y x[
2
dt =

2
[y x[
2
> 0 si y ,= x.
(6.3.47)
2. On deduit de la question 1 que f est strictement convexe. En eet, grace
`a la question 1, pour tout (x,y) E
2
, f(y) > f(x) + f(x) (y x) ; et
dapr`es la premi`ere caracterisation de la convexite, voir proposition 3.11
p.47, on en deduit que f est strictement convexe.
Montrons maintenant que f(y) + quand [y[ +.
On ecrit (6.3.47) pour x = 0: f(y) f(0) +f(0) y +

2
[y[
2
.
Comme f(0) y [f(0)[(y), on a donc
f(y) f(0) [f(0)[ [y[ +

2
[y[
2
, et donc :
f(y) f(0) +[y[
_

2
[y[ [f(0)[
_
+ quand [y[ +.
3. On pose h(x) = x f(x). Lalgorithme du gradient `a pas xe est un
algorithme de point xe pour h.
x
n+1
= x
n
f(x
n
) = h(x
n
).
Gr ace au theor`eme 2.3 page 55, on sait que h est strictement contractante si
0 < <
2
M
2
.
Donc x
n
x unique point xe de h, cest`adire x = h( x) = x f( x).
Ceci entrane
f( x) = 0 donc f( x) = inf
E
f car f est convexe .
Corrige de lexercice 48 page 87 (Convergence de lalgo-
rithme du gradient `a pas optimal)
1. On sait que f(x) + lorsque [x[ +. Donc A > 0, R IR
+
;
[x[ > R f(x) > A. En particulier pour A = f(x
0
) ceci entrane:
R IR
+
; x B
R
f(x) > f(x
0
).
2. Comme f C
2
(IR
N
,IR), sa hessienne H est continue, donc |H| atteint
son max sur B
R+1
qui est un ferme borne de IR
N
. Soit M = max
xBR+1
|H(x)|,
on a H(x)y y My y M[y[
2
.
3. Soit w
n
= f(x
n
).
Si w
n
= 0, on pose x
n+1
= x
n
.
Si w
n
,= 0, montrons quil existe > 0 tel que
f(x
n
+ w
n
) f(x
n
+w
n
) > 0.
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 195


On sait que f(x) + lorsque [x[ +.
Soit : IR
+
IR denie par () = f(x
n
+ w
n
). On a (0) = f(x
n
) et
() = f(x
n
+w
n
) + lorsque +.
En eet si +, on a [x
n
+ w
n
[ +. Donc etant continue,
admet un minimum, atteint en , et donc IR
+
; f(x
n
+ w)
f(x
n
+w
n
) > 0.
4. a) Montrons que la suite (f(x
n
))
nIN
est convergente. La suite (f(x
n
))
nIN
verie
f(x
n+1
) f(x
n
).
De plus f(x) +lorsque [x[ +donc f est bornee inferieurement.
On en conclut que la suite (f(x
n
))
nIN
est convergente.
b) Montrons que x
n
B
R
n IN. On sait que si x / B
R
alors f(x) >
f(x
0
). Or la suite (f(x
n
))
nIR
est decroissante donc f(x
n
) f(x
0
)n,
donc x
n
B
R
, n IN.
c) Montrons que f(x
n
+w
n
) f(x
n
)[w
n
[
2
+

2
2
M[w
n
[
2
, [0,
1
[w
n
[
].
Soit denie de IR
+
dans IR par () = f(x
n
+w
n
). On a
() = (0) +

(0) +

2
2

( ), o` u ]0,[.
Or

() = f(x
n
+w
n
) w
n
et

() = H(x
n
+w
n
)w
n
w
n
. Donc
() = (0)
..
0
+ f(x
n
)
. .
wn
w
n
+

2
2
H(x
n
+ w
n
)w
n
w
n
.
Si [0,
1
[w
n
[
] on a
[x
n
+ w
n
[ [x
n
[ +
1
[w
n
[
[w
n
[
R + 1,
donc x
n
+ w
n
B
R+1
et par la question 2,
H(x
n
+ w
n
)w
n
w
n
M[w
n
[
2
.
On a donc bien
() = f(x
n
+w
n
) f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
.
d) Montrons que f(x
n+1
) f(x
n
)
[w
n
[
2
2M
si [w
n
[ M.
Comme le choix de
n
est optimal, on a
f(x
n+1
) = f(x
n
+
n
w
n
) f(x
n
+w
n
), IR
+
.
donc en particulier
f(x
n+1
) f(x
n
+w
n
), [0,
1
[w
n
[
].
196 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
En utilisant la question precedente, on obtient
f(x
n+1
) f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
= (), [0,
1
[w
n
[
].
(6.3.48)
Or la fonction atteint son minimum pour
[w
n
[
2
+M[w
n
[
2
= 0
cest`adire M = 1 ou encore =
1
M
ce qui est possible si
1
[w
n
[

1
M
(puisque 6.3.48 est vraie si
1
[w
n
[
).
Comme on a suppose [w
n
[ M, on a donc
f(x
n+1
) f(x
n
)
[w
n
[
2
M
+
[w
n
[
2
2M
= f(x
n
)
[w
n
[
2
2M
.
e) Montrons que f(x
n+1
) + f(x
n
)
[w
n
[
2
2

M
o` u

M = sup(M,

M) avec

M = sup[f(x)[, x C
R
.
On sait par la question precedente que si
[w
n
[ M, on a f(x
n+1
) f(x
n
)
[w
n
[
2
2M
.
Montrons que si [w
n
[ M, alors f(x
n+1
) + f(x
n
)
[w
n
[
2
2

M
. On
aura alors le resultat souhaite.
On a
f(x
n+1
) f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
, [0,
1
[w
n
[
].
Donc
f(x
n+1
) min
[0,
1
|wn|
]
[f(x
n
) [w
n
[
2
+

2
2
M[w
n
[
2
]
. .
Pn()
1er cas si [w
n
[ M, on a calcule ce min `a la question c).
si [w
n
[ M, la fonction P
n
() est decroissante sur [0,
1
[w
n
[
] et le
minimum est donc atteint pour =
1
[w
n
[
.
Or P
n
_
1
[w
n
[
_
= f(x
n
) [w
n
[ +
M
2
f(x
n
)
[w
n
[
2
f(x
n
)
[w
n
[
2
2

M
.
5. Montrons que f(x
n
) 0 lorsque n +. On a montre que n,
[w
n
[
2
2

M(f(x
n
) f(x
n+1
)). Or la suite (f(x
n
))
nIN
est convergente.
Donc [w
n
[ 0 lorsque n +et w
n
= f(x
n
) ce qui prouve le resultat.
La suite (x
n
)
nIN
est bornee donc (n
k
)
kIN
et x IR
N
; x
n
k
x lorsque
k + et comme f(x
n
k
) 0, on a, par continuite, f( x) = 0.
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 197


6. On suppose ! x IR
N
tel que f( x) = 0. Montrons que f( x) f(x)
x IR
N
et que x
n
x quand n +. Comme f est croissante `a
linni, il existe un point qui realise un minimum de f, et on sait quen ce
point le gradient sannule; en utilisant lhypoth`ese dunicite, on en deduit
que ce point est forcement x, et donc f( x) f(x) pour tout x IR
N
.
Montrons maintenant que la suite (x
n
)
nIN
converge vers x. En raison de
lhypot`ese dunicite, on a forcement x = x, et on sait quon a convergence
dune sous-suite de (x
n
)
nIN
vers x par la question 5. Il reste donc `a mon-
trer que cest toute la suite qui converge. Supposons quelle ne converge
pas; alors
> 0; k IN, n
k
k et [x
n
k
x[ > (6.3.49)
Mais dapr`es la question 5), on peut extraire de la suite (x
n
k
)
kIN
une
soussuite qui converge, ce qui contredit (6.3.49). Donc la suite (x
n
)
nIN
converge.
Corrige de lexercice 50 page 100 (Methode de Polak-Ribi`ere)
1. Montrons que f est strictement convexe et croissante `a linni. Soit la
fonction de IR dans IR denie par
(t) = f(x +t(y x)).
On a C
2
(IR,IR), (0) = f(x) et (1) = f(y), et donc :
f(y) f(x) = (1) (0) =
_
1
0

(t)dt.
En integrant par parties, ceci entrane :
f(y) f(x) =

(0) +
_
1
0
(1 t)

(t)dt. (6.3.50)
Or

(t) = (x + t(y x)) (y x) et donc

(t) = H(x +t(y x))(y


x) (y x). On a donc par hypoth`ese

(t) [y x[
2
.
On deduit alors de 6.3.50 que
f(y) f(x) +f(x) (y x) +

2
[y x[
2
. (6.3.51)
Linegalite 6.3.51 entrane la stricte convexite de f et sa croissance `a linni
(voir demonstration de la convergence du gradient `a pas xe, exercice 27).
Il reste `a montrer que lensemble 1T(H(x)) des valeurs propres de H(x)
est inclus dans [,]. Comme f C
2
(IR,IR), H(x) est symetrique pour
tout x IR, et donc diagonalisable dans IR. Soit 1T(H(x)) ; il existe
donc y IR
N
, y ,= 0 tel que H(x)y = y, et donc y y y y y y,
1T(H)(x)). On en deduit que 1T(H(x)) [,].
198 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
2. Montrons par recurrence sur n que g
(n+1)
w
(n)
= 0 et g
(n)
g
(n)
= g
(n)
w
(n)
pout tout n IN.
Pour n = 0, on a w
(0)
= g
(0)
= f(x
(0)
).
Si f(x
(0)
) = 0 lalgorithme sarrete. Supposons donc que f(x
(0)
) ,= 0.
Alors w
(0)
= f(x
(0)
) est une direction de descente stricte. Comme
x
(1)
= x
(0)
+
0
w
(0)
o` u
0
est optimal dans la direction w
(0)
, on a g
(1)

w
(0)
= f(x
(1)
) w
(0)
= 0. De plus, on a evidemment g
(0)
w
(0)
=
g
(0)
g
(0)
.
Supposons maintenant que g
(n)
w
(n1)
= 0 et g
(n1)
g
(n1)
= g
(n1)

w
(n1)
, et montrons que g
(n+1)
w
(n)
= 0 et g
(n)
g
(n)
= 0.
Par denition, on a :
w
(n)
= g
(n)
+
n1
w
(n1)
, donc
w
(n)
g
(n)
= g
(n)
g
(n)
+
n1
w
(n1)
g
(n)
= g
(n)
g
(n)
par hypoth`ese de recurrence. On deduit de cette egalite que w
(n)
g
(n)
> 0
(car g
(n)
,= 0) et donc w
(n)
est une direction de descente stricte en x
(n)
.
On a donc f(x
(n+1)
) w
(n)
= 0, et nalement g
(n+1)
w
(n)
= 0.
3. Par denition, g
(n)
= f(x
(n)
); or on veut calculer g
(n+1)
g
(n)
=
f(x
(n+1)
) +f(x
(n)
). Soit la fonction de IR dans IR denie par :
(t) = f(x
(n)
+t(x
(n+1)
x
(n)
)).
On a donc :
(1) (0) = g
(n+1)
g
(n)
=
_
1
0

(t)dt.
Calculons

(t) = H(x
(n)
+t(x
(n+1)
x
(n)
))(x
(n+1)
x
(n)
). Et comme
x
(n+1)
= x
(n)
+
n
w
(n)
, on a donc :
g
(n+1)
g
(n)
=
n
J
n
w
(n)
. (6.3.52)
De plus, comme g
(n+1)
w
(n)
= 0 (question 1), on obtient par (6.3.52) que

n
=
g
(n)
w
(n)
J
n
w
(n)
w
(n)
(car J
n
w
(n)
w
(n)
,= 0, puisque J
n
est symetrique denie positive).
4. Par denition, on a w
(n)
= g
(n)
+
n1
w
(n1)
, et donc
[w
(n)
[ [g
(n)
[ +[
n1
[[w
(n1)
[. (6.3.53)
Toujours par denition, on a :

n1
=
g
(n)
(g
(n)
g
(n1)
)
g
(n1)
g
(n1)
.
Donc, par la question 3, on a :

n1
=

n
g
(n)
J
(n1)
w
(n1)
g
(n1)
g
(n1)
.
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 199


En utilisant la question 2 et `a nouveau la question 3, on a donc :

n1
=
J
(n1)
w
(n1)
g
(n)
J
(n1)
w
(n1)
w
(n1)
,
et donc

n1
=
[J
(n1)
w
(n1)
g
(n)
[
J
(n1)
w
(n1)
w
(n1)
,
car J
(n1)
est symetrique denie positive.
De plus, en utilisant les hypoth`eses sur H, on verie facilement que
[x[
2
J
(n)
x x [x[
2
x IR
N
.
On en deduit que

n1

[J
(n1)
w
(n1)
g
(n)
[
[w
(n1)
[
2
.
On utilise alors linegalite de CauchySchwarz :
[J
(n1)
w
(n1)
g
(n)
[ |J
(n1)
|
2
[w
(n1)
[ [g
(n1)
[
[w
(n1)
[ [g
(n1)
[.
On obtient donc que

n1

[g
(n1)
[
[w
(n1)|
,
ce qui donne bien grace `a (6.3.53) :
[w
(n)
[ [g
(n)
[(1 +

).
5. Montrons dabord que la suite (f(x
(n)
))
nIN
converge. Comme f(x
(n+1)
) =
f(x
(n)
+
n
w
(n)
) f(x
(n)
+w
(n)
) 0, on a donc en particulier
f(x
(n+1)
) f(x
(n)
). La suite (f(x
(n)
))
nIN
est donc decroissante. De
plus, elle est minoree par f( x). Donc elle converge, vers une certaine
limite IR, lorsque n tend vers +.
La suite (x
(n)
)
nIN
est bornee : en eet, comme f est croissante `a linni,
il existe R > 0 tel que si [x[ > R alors f(x) f(x
(0)
). Or f(x
(n)
)
f(x
(0)
) pout tout n IN, et donc la suite (x
(n)
)
nIN
est incluse dans
la boule de rayon R.
Montrons que f(x
(n)
) 0 lorsque n +.
On a, par denition de x
(n+1)
,
f(x
(n+1)
) f(x
(n)
+w
(n)
), 0.
En introduisant la fonction denie de IR dans IR par (t) =
f(x
(n)
+ tw
(n)
), on montre facilement (les calculs sont les memes
que ceux de la question 1) que
f(x
(n)
+w
(n)
) = f(x
(n)
)+f(x
(n)
)w
(n)
+
2
_
1
0
H(x
(n)
+tw
(n)
)w
(n)
w
(n)
(1t)dt,
200 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
pour tout 0. Gr ace `a lhypoth`ese sur H, on en deduit que
f(x
(n+1)
) f(x
(n)
) + f(x
(n)
) w
(n)
+

2

2
[w
(n)
[
2
, 0.
Comme f(x
(n)
) w
(n)
= g
(n)
w
(n)
= [g
(n)
[
2
(question 2) et
comme [w
(n)
[ [g
(n)
[(1 +

) (question 4), on en deduit que :


f(x
(n+1)
) f(x
(n)
) [g
(n)
[
2
+
2
[g
(n)
[
2
=
n
(), 0,
o` u =

2
2
+(1 +

)
2
. La fonction
n
est un polynome de degre 2 en
, qui atteint son minimum lorsque

n
() = 0, i.e. pour =
1
2
. On
a donc, pour =
1
2
,
f(x
(n+1)
) f(x
(n)
)
1
4
[g
(n)
[
2
,
do` u on deduit que
[g
(n)
[
2
4(f(x
(n)
) f(x
(n+1)
) 0
n+
On a donc f(x
(n)
) 0 lorsque n +.
La suite (x
(n)
)
nIN
etant bornee, il existe une soussuite qui converge
vers x IR
N
, comme f(x
(n)
) 0 et comme
nablaf est continue, on a f(x) = 0. Par unicite du minimum (f est
croissante `a linni et strictement convexe) on a donc x = x.
Enn on conclut `a la convergence de toute la suite par un argument
classique (voir question 6 de lexercice 48 page 87).
Corrige de lexercice 51 page 100 (Algorithme de quasi
Newton)
Partie 1
1. Par denition de w
(n)
, on a :
w
(n)
f(x
(n)
) = K
(n)
f(x
(n)
) f(x
(n)
) < 0
car K est symetrique denie positive.
Comme
n
est le param`etre optimal dans la direction w
(n)
, on a
f(x
(n)
+
n
w
(n)
) w
(n)
= 0, et donc Ax
(n)
w
(n)
+
n
Aw
(n)
w
(n)
=
b w
(n)
; on en deduit que

n
=
g
(n)
w
(n)
Aw
(n)
w
(n)
.
Comme w
(n)
= K
(n)
g
(n)
, ceci secrit encore :

n
=
g
(n)
K
(n)
g
(n)
AK
(n)
g
(n)
K
(n)
g
(n)
.
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 201


2. Si K
(n)
= A
1
, la formule precedente donne immediatement
n
= 1.
3. La methode de Newton consiste `a chercher le zero de f par lalgo-
rithme suivant (`a literation 1) :
H
f
(x
(0)
)(x
(1)
x
(0)
) = f(x
(0)
),
(o` u H
f
(x) designe la hessienne de f au point x) cest`adire
A(x
(1)
x
(0)
) = Ax
(0)
+b.
On a donc Ax
(n)
= b, et comme la fonction f admet un unique
minimum qui verie Ax = b, on a donc x
(1)
= x, et la methode
converge en une iteration.
Partie 2 Methode de FletcherPowell.
1. Soit n IN, on suppose que g
(n)
,= 0. Par denition, on a s
(n)
=
x
(n+1)
x
(n)
=
n
K
(n)
g
(n)
, avec
n
> 0. Comme K
(n)
est symetrique
denie positive elle est donc inversible ; donc comme g
(n)
,= 0, on a
K
(n)
g
(n)
,= 0 et donc s
(n)
,= 0.
Soit i < n, par denition de s
(n)
, on a :
s
(n)
As
(i)
=
n
K
(n)
g
(n)
As
(i)
.
Comme K
(n)
est symetrique,
s
(n)
As
(i)
=
n
g
(n)
K
(n)
As
(i)
.
Par hypoth`ese, on a K
(n)
As
(i)
= s
(i)
pour i < n, donc on a bien que
si i < n
s
(n)
As
(i)
= 0 g
(n)
s
(i)
= 0.
Montrons maintenant que g
(n)
s
(i)
= 0 pour i < n.
On a
g
(i+1)
s
(i)
=
i
g
(i+1)
K
(i)
g
(i)
=
i
g
(i+1)
w
(i)
.
Or g
(i+1)
= f(x
(i+1)
) et
i
est optimal dans la direction w
(i)
.
Donc
g
(i+1)
s
(i)
= 0.
On a
(g
(n)
g
(i+1)
) s
(i)
= (Ax
(n)
Ax
(i+1)
) s
(i)
=
n1

k=i+1
(Ax
(k+1)
Ax
(k)
) s
(i)
=
n1

k=i+1
As
(k)
s
(i)
,
= 0
Par hypoth`ese de Aconjugaison de la famille (s
(i)
)
i=1,k1
on
deduit alors facilement des deux egalites precedentes que g
(n)

s
(i)
= 0. Comme on a montre que g
(n)
s
(i)
= 0 si et seulement
si s
(n)
As
(i)
= 0, on en conclut que la famille (s
(i)
)
i=1,...,n
est
Aconjuguee, et que les vecteurs s
(i)
sont non nuls.
202 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
2. Montrons que K
(n+1)
est symetrique. On a :
(K
(n+1)
)
t
= (K
(n)
)
t
+
(s
(n)
(s
(n)
)
t
)
t
s
(n)
y
(n)

[(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
]
t
K
(n)
y
(n)
y
(n)
= K
(n+1)
,
car K
(n)
est symetrique.
3. Montrons que K
(n+1)
As
(i)
= s
(i)
si 0 i n. On a :
K
(n+1)
As
(i)
= K
(n)
As
(i)
+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)
As
(i)

(K
(n)
y
(n)
)(K
(n)
(y
(n)
)
t
K
(n)
y
(n)
y
(n)
As
(i)
.
(6.3.54)
Considerons dabord le cas i < n. On a
s
(n)
(s
(n)
)
t
As
(i)
= s
(n)
[(s
(n)
)
t
As
(i)
] = s
(n)
[s
(n)
As
(i)
] = 0
car s
(n)
As
(i)
= 0 si i < n. De plus, comme K
(n)
est symetrique,
on a :
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
As
(i)
= K
(n)
y
(n)
(y
(n)
)
t
K
(n)
As
(i)
.
Or par la question (c), on a K
(n)
As
(i)
= s
(i)
si 0 i n. De
plus, par denition, y
(n)
= As
(n)
. On en deduit que
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
As
(i)
= K
(n)
y
(n)
(As
(n)
)
t
s
(i)
= K
(n)
y
(n)
(s
(n)
)
t
As
(i)
= 0
puisque on a montre en (a) que les vecteurs s
(0)
, . . . ,s
(n)
sont
A-conjugues. On deduit alors de (6.3.54) que
K
(n+1)
As
(i)
= K
(n)
As
(i)
= s
(i)
.
Considerons maintenant le cas i = n. On a
K
(n+1)
As
(n)
= K
(n)
As
(n)
+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)
As
(n)

(K
(n)
y
(n)
)(K
(n)
(y
(n)
)
t
K
(n)
y
(n)
y
(n)
As
(n)
,
et comme y
(n)
= As
(n)
,, ceci entrane que
K
(n+1)
As
(n)
= K
(n)
As
(n)
+s
(n)
K
(n)
y
(n)
= s
(n)
.
4. Pour x IR
N
, calculons K
(n+1)
x x:
K
(n+1)
x x = K
(n)
x x+
s
(n)
(s
(n)
)
t
s
(n)
y
(n)
x x
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
K
(n)
y
(n)
y
(n)
x x.
Or s
(n)
(s
(n)
)
t
x x = s
(n)
(s
(n)
x) x = (s
(n)
x)
2
, et de meme,
(K
(n)
y
(n)
)(K
(n)
y
(n)
)
t
x x = (K
(n)
y
(n)
x)
2
. On en deduit que
K
(n+1)
x x = K
(n)
x x +
(s
(n)
x)
2
s
(n)
y
(n)

(K
(n)
y
(n)
x)
2
K
(n)
y
(n)
y
(n)
.
En remarquant que y
(n)
= As
(n)
, et en reduisant au meme denominateur,
on obtient alors que
K
(n+1)
xx =
(K
(n)
x x)(K
(n)
y
(n)
y
(n)
) (K
(n)
y
(n)
x)
2
(K
(n)
y
(n)
y
(n)
)
+
(s
(n)
x)
2
As
(n)
s
(n)
.
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 203


Montrons maintenant que K
(n+1)
est symetrique denie positive.
Comme K
(n)
est symetrique denie positive, on a grace `a linegalite
de Cauchy-Schwarz que (K
(n)
y
(n)
x)
2
(K
(n)
x x)(K
(n)
y
(n)
) avec
egalite si et seulement si x et y
(n)
sont colineaires. Si x nest pas
colineaire `a y
(n)
, on a donc donc clairement
K
(n+1)
x x > 0.
Si maintenant x est colineaire `a y
(n)
, i.e. x = y
(n)
avec IR

+
, on
a, grace au fait que y
(n)
= As
(n)
,
(s
(n)
x)
2
As
(n)
s
(n)
=
2
(s
(n)
As
(n)
)
2
As
(n)
s
(n)
> 0, et donc K
(n+1)
x x > 0.
On en deduit que K
(n+1)
est symetrique denie positive.
5. On suppose que g
(n)
,= 0 si 0 n N 1. On prend comme hy-
poth`ese de recurrence que les vecteurs s
(0)
, . . . ,s
(n1)
sont A-conjugues
et non-nuls, que K
(j)
As
(i)
= s
(i)
si 0 i < j n et que les matrices
K
(j)
sont symetriques denies positives pour j = 0, . . . ,n.
Cette hypoth`ese est veriee au rang n = 1 grace `a la question 1 en
prenant n = 0 et K
(0)
symetrique denie positive.
On suppose quelle est vraie au rang n. La question 1 prouve quelle
est vraie au rang n + 1.
Il reste maintenant `a montrer que x
(N+1)
= A
1
b = x. On a en eet
K
(N)
As
(i)
= s
(i)
pour i = 0 `a N 1. Or les vecteurs s
(0)
, . . . ,s
(n1)
sont A-conjugues et non-nuls : ils forment donc une base. On en
deduit que K
(N)
A = Id, ce qui prouve que K
(N)
= A
1
, et donc,
par denition de x
(N+1)
, que x
(N+1)
= A
1
b = x.
6.3.1 Exercices
Exercice 52 page 108 (Sur lexistence et lunicite)
La fonction f : IR IR denie par f(x) = x
2
est continue, strictement
convexe, et croissante `a linni. Etudions maintenant les proprietes de K dans
les quatre cas proposes :
(i) Lensemble K = [x[ 1 est ferme borne et convexe. On peut donc
appliquer le theor`eme dexistence et dunicite 3.33 page 103. En remarquant
que f(x) 0 pour tout x IR et que f(0) = 0, on en deduit que lunique
solution du probl`eme (3.5.32) est donc x = 0.
(ii) Lensemble K = [x[ = 1 est ferme borne mais non convexe. Le
theor`eme dexistence 3.31 page 103 sapplique donc, mais pas le theor`eme duni-
cite 3.32 page 103. De fait, on peut remarquer que K = 1,1, et donc
f(x),x K = 1. Il existe donc deux solutions du probl`eme (3.5.32) : x
1
= 1
et x
1
= 1.
204 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
(iii) Lensemble K = [x[ 1 est ferme, non borne et non convexe. Ce-
pendant, on peut ecrire K = K
1
K
2
o` u K
1
= [1, + [ et K
2
=] , 1]
sont des ensembles convexes fermes. On peut donc appliquer le theor`eme 3.33
page 103: il existe un unique x
1
IR et un unique x
2
IR solution de (3.5.32)
pour K = K
1
et K = K
2
respectivement. Il sut ensuite de comparer x
1
et x
2
.
Comme x
1
= 1 et x
2
= 1, on a existence mais pas unicite.
(iv) Lensemble K = [x[ > 1 nest pas ferme, donc le theor`eme 3.31 page
103 ne sapplique pas. De fait, il nexiste pas de solution dans ce cas, car on a
lim
x1
+f(x) = 1, et donc inf
K
f = 1, mais cet inmum nest pas atteint.
Exercice 53 page 108 (Maximisation de laire dun rectangle
`a perim`etre donne)
1. On peut se ramener sans perte de generalite au cas du rectangle [0,x
1
]
[0,x
2
], dont laire est egale `a x
1
x
2
et de perim`etre 2(x
1
+ x
2
). On veut donc
maximiser x
1
x
2
, ou encore minimiser x
1
x
2
. Pourx = (x
1
,x
2
)
t
IR
2
, posons
f(x
1
,x
2
) = x
1
x
2
et g(x
1
,x
2
) = x
1
+x
2
. Denissons
K =
_
x = (x
1
,x
2
)
t
(IR
+
)
2
tel que x
1
+x
2
= 1
_
.
Le probl`eme de minimisation de laire du rectangle de perim`etre donne et egal
`a 2 secrit alors :
_
_
_
_
x
1
x
2
_
K
f( x
1
, x
2
) f(x
1
,x
2
) (x
1
,x
2
) K
(6.3.55)
2. Comme x
1
et x
2
sont tous deux positifs, puisque leur somme doit etre
egale `a 1, ils sont forcement tous deux inferieurs `a 1. Il est donc equivalent
de resoudre (6.3.55) ou (3.5.40). Lensemble

K est un convexe ferme borne, la
fonction f est continue, et donc par le theor`eme 3.31 page 103, il existe au moins
une solution du probl`eme (3.5.40) (ou (6.3.55)).
3. Calculons g : g(x) = (1,1)
t
, donc rang Dg(x,y) = 1. Par le theor`eme
de Lagrange, si x = (x
1
,x
2
)
t
est solution de (6.3.55), il existe IR tel que
_
f( x, y) + g( x, y) = 0,
x + y = 1.
Or f( x, y) = ( x, y)
t
, et g( x, y) = (1,1)
t
. Le syst`eme precedent secrit
donc :
y + = 0 x + = 0 x + y = 1.
On a donc
x = y =
1
2
.
6.3. CORRIG

E DES EXERCICES DU CHAPITRE 3 205


Exercice 54 page 109 (Fonctionnelle quadratique)
1. Comme d ,= 0, il existe x IR
N
tel que d x = ,= 0. Soit x =
c

x alors
d x = c. Donc lensemble K est non vide. Lensemble K est ferme car noyau
dune forme lineaire continue de IR
N
dans IR, et K est evidemment convexe.
La fonction f est strictement convexe et f(x) + quand [x[ +, et donc
par les theor`emes 3.31 et 3.32 il existe un unique x solution de (3.5.32).
2. On veut calculer x. On a : Dg(x)z = d z, et donc Dg(x) = d
t
. Comme
d ,= 0 on a rang(Dg(x)) = 1, ou encore Im(Dg(x)) = IR pour tout x. Donc le
theor`eme de Lagrange sapplique. Il existe donc IR tel que f( x)+g( x) =
0, cest-`a-dire A x b + d = 0. Le couple ( x,) est donc solution du probl`eme
suivant:
_
A x b +d = 0,
d x = c
, (6.3.56)
qui secrit sous forme matricielle : By = e, avec B =
_
_
A d
d
t
0
_
_
/
N+1
(IR),
y =
_
x

_
IR
N+1
et e =
_

_
b
c
_

_
IR
N+1
. Montrons maintenant que B est
inversible. En eet, soit z
_
x

_
IR
N+1
, avec x IR
N
et IR tel que
Bz = 0. Alors
_
_
A d
d
t
0
_
_
_
x

_
= 0.
Ceci entrane Axd = 0 et d
t
x = d x = 0. On a donc Ax x(d x) = 0. On
en deduit que x = 0, et comme d ,= 0, que = 0. On a donc nalement z = 0.
On en conclut que B est inversible, et quil existe un unique (x,)
t
IR
N+1
solution de (6.3.56) et et x est solution de (3.5.32).
Exercice 58 page 110 (Application simple du theor`eme de
Kuhn-Tucker
La fonction f denie de E = IR
2
dans IR par f(x) = x
2
+ y
2
est continue,
strictement convexe et croissante `a linni. Lensemble K qui peut aussi etre
deni par : K = (x,y) IR
2
; g(x,y) 0, avec g(x,y) = 1 x y est convexe
et ferme. Par le theor`eme 3.33 page 103, il y a donc existence et unicite de la
solution du probl`eme (3.5.32). Appliquons le theor`eme de Kuhn-Tucker pour la
determination de cette solution. On a :
g(x,y) =
_
1
1
_
et f(x,y) =
_
2x
2y
_
.
206 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Il existe donc IR
+
tel que :
_

_
2x = 0,
2y = 0,
(1 x y) = 0,
1 x y 0,
0.
Par la troisi`eme equation de ce syst`eme, on deduit que = 0 ou 1 x y = 0.
Or si = 0, on a x = y = 0 par les premi`ere et deuxi`eme equations, ce qui est
impossible en raison de la quatri`eme. On en deduit que 1 x y = 0, et donc,
par les premi`ere et deuxi`eme equations, x = y =
1
2
.
Exercice 3.6.3 page 116 (Exemple doperateur de projec-
tion)
2. Soit p
K
loperateur de projection denie `a la proposition 3.43 page 110,
il est facile de montrer que, pour tout i = 1, . . . ,N,:
(p
K
(y))
i
= y
i
si y
i
[
i
,
i
],
(p
K
(y))
i
=
i
si y
i
<
i
,
(p
K
(y))
i
=
i
si y
i
>
i
,
ce qui entrane
(p
K
(y))
i
= max(
i
, min(y
i
,
i
)) pour tout i = 1, . . . ,N.
Exercice 60 page 116 (Methode de penalisation)
1. La fonction f
n
est continue. De plus, comme f(x) +lorsque x +
et (x) 0, on a f
n
(x) + lorsque x +. On a donc existence de x
n
par le theor`eme 3.4 page 77.
Comme K est un sous-ensemble convexe ferme non vide de IR
N
et que f
est continue et strictement convexe, et f(x) + lorsque x +, on a
existence et unicite de x
K
par le theor`eme 3.33 page 103.
2. On a f
n
( x
n
) = f( x
n
) + n( x
n
) f( x
n
) par hypoth`ese sur . Comme
x
K
K, on a f
n
( x
K
) = f( x
K
), et comme x
n
realise le minimum de f
n
, on a
f
n
( x
n
) f
n
( x
K
) = f( x
K
).
3. Du resultat precedent, on deduit que la suite (f( x
n
))
nIN
est bornee
independamment de n; Comme la fonction f est croissante `a linni, on en
deduit que la suite ( x
n
)
nIN
est egalement bornee. On peut donc en extraire
une sous-suite ( x
n
k
)
kIN
qui converge vers un certain y K lorsque k +.
Montrons maintenant que (y) = 0. On a f(x
n
k
) + n(x
n
k
)) f(x
K
). En
faisant tendre k vers + dans cette inegalite, on en deduit que (y) = 0 par
continuite de la fonction . Ceci prouve que y K.
4. En passant `a la limite dans linegalite f( x
n
k
) +n( x
n
k
)) f( x
K
) lorsque
k tend vers +, on a donc f(y) f( x
K
). Or y K et x
K
est lunique element
realisant le minimum de f sur K. On a donc y = x
K
. Par unicite de la limite,
cest donc toute la suite qui converge vers x
K
. On utilise pour cela le raison-
nement habituel par labsurde : on suppose que la suite ( x
n
)
nIN
ne converge
6.4. CORRIG

E DES EXERCICES DU CHAPITRE CHAPTER4 207


pas vers x
K
. Donc il existe > 0 tel que pour tout IN, il existe n

tel
que x
n

, B( x
K
,). On peut alors refaire le raisonnement des questions 2. et 3.
sur la suite ( x
n

)
IN
qui est bornee, et dont on peut extraire une sous suite qui
converge vers x
K
, ce qui contredit le fait que x
n

, B( x
K
,) pour tout IN.
5. Lalgorithme de penalisation est alors le suivant : On prend par exemple
(x) = d(x,K) (distance de x `a K). La fonction ainsi denie est bien continue,
positive, et telle que (x) = 0 si et seulement si x K (car K est ferme). On se
donne n grand par exemple n = 10
4
, et on resoud le probl`eme de minimisation
sans contrainte sur f
n
, par exemple par lalgorithme du gradient `a pas xe. On
esp`ere alors que lapproximation de x
n
ainsi calculee sera aussi proche de x
K
.
Algorithme penalisation
Initialisation
x
0
donne, > 0 donne
Iteration k (jusqu`a convergence)
x
k+1
= x
k
f(x
k
)
6.4 Corrige des exercices du chapitre 4
Corrige de lexercice 62 page 132 (Condition de Lipschitz
et unicite)
Pour a 1, la fonction
a
: IR
+
IR
+
denie par:
a
(x) = x
a
est
contin ument dierentiable, et sa derivee est

a
(x) = ax
a1
. Elle est donc lip-
schitzienne sur les bornes. Si a = 0, la fonction
a
est constante et egale `a 1, et
donc encore lipschitzienne sur les bornes.
Soit maintenant a ]0,1[, supposons que soit lipschitzienne sur les bornes.
Alors, pour tout A > 0, il existe M
A
> 0 tel que [
a
(x)[ /
A
[x[. Ceci entrane
que la fonction x [
a(x)
x
[ est bornee sur B(0,A). Mais [
a(x)
x
[ = [x
a1
[ +
lorsque x 0. Ceci montre que la fonction
a
nest pas lipachitzienne sur les
bornes si a ]0,1[.
Par le theor`eme de Cauchy-Lipschitz, si
a
est lipschitzienne sur les bornes,
alors le probl`eme (4.8.23) admet une unique solution qui est la solution constante
et egale `a zero.
Si
a
est lipschitzienne sur les bornes, i.e. si a ]0,1[, la fonction nulle est
encore solution du probl`eme (4.8.23), mais on peut obtenir une autre solution
denie par (calcul elementaire de separation de variable) :
y
a
(t) = [(1 a)t]
1
1a
.
(Notons que cette fonction nest denie que pour a ]0,1[.)
208 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
Corrige de lexercice 63 page 132 (Fonctions lipschitziennes
sur les bornes)
Les fonctions suivantes sont elles lipschitziennes sur les bornes?
1.

1
: IR IR
x min(x
2
,
_
(x
2
+ 1)
2.

2
: IR
2
IR
2
(x,y) (x
2
xy,[y + 2xy[)
3.

3
: IR
2
+
IR
2
+
(x,y) (

x +y,x
2
+y
2
)
Corrige de lexercice 64 page 132 (Loi de Malthus)
On consid`ere une esp`ece dont la population (i.e. le nombre dindividus) a
double en 100 ans et triple en 200 ans. Montrer que cette population ne peut pas
satisfaire la loi de Malthus (on rappelle que la loi de Malthus secrit p

(t) = ap(t)
avec a > 0 independant de t).
Corrige de lexercice 65 page 133 (Histoire de sardines)
Une famille de sardines tranquillement installees dans les eaux du Frioul a
une population qui crot selon la loi de Malthus p

(t) = 4p(t) o` u t est exprime


en jours. A linstant t = 0, un groupe de bonites voraces vient sy installer
egalement, et se met `a attaquer les pauvres sardines. Le taux de perte chez ces
derni`eres sel`eve a 10
4
p
2
(t) par jour, o` u p(t) est la population des sardines
au temps t. De plus, au bout dun mois de ce traitement, suite au degazement
intempestif dun super tanker au large du Planier, les sardines decident demigrer
vers des eaux plus claires au rythme de 10 pour cent de la population par jour
(on supposera que par miracle, le nombre de bonites reste constant...).
1. Modier la loi de Malthus pour prendre en compte les deux phenom`enes.
2. En supposant qu` a t = 0 le nombre de sardines est de 1 million, calculer
le nombre de sardines pour t > 0. Quel est le comportement de p(t) `a linni ?
Corrige de lexercice 66 page 133 (Consistance et ordre des
schemas)
Exercice 74 (Consistance et ordre des schemas)
On reprend les hypoth`eses et notations (4.1.5).
1. On rappelle que le schema dEuler explicite secrit (voir (4.1.7)) :
x
k+1
x
k
h
k
= f(x
k
,t
k
),
Montrer que le schema est consistant et convergent dordre 1.
2. Montrer que les schemas dEuler ameliore (4.5), et dHeun sont consistants
et convergents dordre 2.
6.4. CORRIG

E DES EXERCICES DU CHAPITRE CHAPTER4 209


3. Montrer que le schema RK4 est consistant et convergent dordre 4 (pour
les braves. . . )
4. Montrer que le schema dEuler implicite est consistant dordre 1.
Corrige de lexercice 67 page 133 (Stabilite par rapport aux
erreurs et convergence)
1. Par denition du schema (4.1.6) et de lerreur de consistance (4.2.10), on
a :
x
k+1
= x
k
+h
k
(x
k
,t
k
,h
k
)
x
k+1
= x
k
+h
k
( x
k
,t
k
,h
k
) +h
k
R
k
.
Comme le schema (4.1.6) est suppose stable par rapport aux donnees, on a en
prenant y
k
= x
k
et
k
= h
k
R
k
dans (4.4.16) page 126 :
e
k+1
K([x
0
x
0
[ +
k1

i=0
[h
i
R
i
[) pour tout k = 0, . . . ,n 1.
Comme le schema est consistant dordre p, on a R
i
Ch
p
et donc par linegalite
precedente : e
k+1
K[e
0
[ +

Ch
p
) o` u

C R
+
ne depend que de f,T, x
0
(et pas
de h). On en deduit que le schema est convergent dordre p.
2. Soient (x
k
)
k=0,...,n1
et (y
k
)
k=0,...,n1
veriant (4.4.16), cest `a dire :
x
k+1
= x
k
+h
k
(x
k
,t
k
,h
k
),
y
k+1
= y
k
+h
k
(y
k
,t
k
,h
k
) +
k
,
pour k = 0, . . . ,n 1,
alors grace `a lhypoth`ese sur le caract`ere lipschitzien de , on a :
[x
k+1
y
k+1
[ (1 +h
k
M)[x
k
y
k
[ +[
k
[ e
h
k
M
[x
k
y
k
[ +[
k
[.
On en deduit par recurrence sur k que
[x
k
y
k
[ e
t
k
M
[e
0
[ +
k1

i=0
e
(t
k
ti+1)M
[
i
[ K([e
0
[ +
k

i=0
[
i
[),
avec K = e
TM
. On a donc ainsi montre que le schema (4.1.6) est stable par
rapport aux erreurs.
Corrige de lexercice 68 page 134 (Schema dordre 2)
A FAIRE
Soit f C
2
(IR
N
IR,IR
N
), N 1, x
0
IR
N
, et soit x solution maximale
de (E) (denie sur [0,T
M
[) :
_
dx
dt
(t) = f(x(t),t), t > 0,
x(0) = x
0
.
(E)
On se donne T ]0,T
M
[, et une discretisation de [0,T], denie par n IN
et (t
0
,t
1
, . . . ,t
n
) IR
n+1
tels que 0 = t
0
< t
1
< . . . < t
n
= T. On pose
210 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
h
k
= t
k+1
t
k
, k = 0, . . . ,n 1.
On consid`ere le schema de discretisation
_
x
0
donne (approximation de x
0
),
x
k+1
x
k
h
k
=
1
2
[f(x
k
,t
k
) +f(x
k
+h
k
f(x
k
,t
k
),t
k+1
)], k = 0, . . . n 1,
pour la resolution numerique de lequation dierentielle (E). Montrer que ce
schema est convergent dordre 2.
Corrige de lexercice 69 page 134 (Algorithme du gradient
`a pas xe et schema dEuler)
A FAIRE
Soit f C
2
(IR
N
,IR) strictement convexe et t.q. f(x) quand [x[ .
Soit x
0
IR
N
. On consid`ere les 2 probl`emes :
x IR
N
,
f(x) f(x), x IR
N
,
(6.4.57)
dx
dt
(t) = f(x(t)), t IR
+
,
x(0) = x
0
.
(6.4.58)
1. Montrer que lalgorithme du gradient `a pas xe (de pas note ) pour
trouver la solution de (6.4.57) (avec point de depart x
0
) est le schema
dEuler explicite pour la resolution approchee de (6.4.58) (avec pas de
temps ).
2. Montrer quil existe un unique x solution de (6.4.57).
3. Montrer que (6.4.58) admet une et une seule solution sur IR
+
et que cette
solution converge vers x (solution de (6.4.57)) quand t .
4. Expliciter le cas f(x) = (1/2)Axxbx avec A symetrique denie positive
et b IR
N
.
Corrige de lexercice 70 page 134 (Methode de Taylor)
1. Soit x solution du probl`eme de Cauchy (4.8.26). Montrons par recurrence
que
x
(m+1)
(t) = f
(m)
(x(t),t).
Pour m = 0, on a x
(1)
(t) = f(x(t),t) = f
(0)
(x(t),t). Supposons que
x
(p+1)
(t) = f
(p)
(x(t),t) pour p = 0, . . . ,m,
et calculons x
(m+2)
(t). On a
x
(m+2)
(t) =
1
f
(m)
(x(t),t)x

(t) +
2
f
(m)
(x(t),t)
=
1
f
(m)
(x(t),t)f(x(t),t) +
2
f
(m)
(x(t),t)
= f
(m+1)
(x(t),t).
2. On a f
(1)
=
2
f + (
1
f)f, et f
(2)
= (
1
f
(1)
)f + (
2
f
(1)
), soit encore
f
(2)
=
_

2
f + (
2
1
)f + (
1
f)
2
_
+
2
2
+ (
1

2
f)f + (
1
f)(
2
f).
6.4. CORRIG

E DES EXERCICES DU CHAPITRE CHAPTER4 211


3.Dans le cas p = 1, on a
p
(y,t,h) = f(y,t) et donc le schema (4.8.28)
secrit :
_
x
0
= x
0
,
x
k+1
= x
k
+hf(x
k
,t
k
), pour k = 1, . . . ,n.
On reconnat le schema dEuler explicite.
4.a/ Puisque f(y,t) = y , on a f
(k)
= f pour tout k, et donc

p
(y,t,h) =
p1

j=0
h
j
(j + 1)!
f(y,t).
4.b/ Par denition,
x
1
= x
0
+hf( x
0
,0) = x
0
+h
p1

j=0
h
j
(j + 1)!
x
0
= 1 +h
p1

j=0
h
j
(j + 1)!
=
p

j=0
h
j
(j + 1)!
.
Supposons que
x
k
=
_
_
p

j=0
h
j
j!
_
_
k
pour k = 1, . . . ,,
et montrons que cette relation est encore veriee au rang + 1. On a bien:
x
+1
= x

+h
p1

j=0
h
j
j!
x

=
p

j=0
h
j
j!
x

,
ce qui termine la recurrence.
4.c/ Comme x est la solution de (4.8.26) pour f(y,t) = y et x
0
= 1, on a
evidemment x(t) = e
t
, et donc x(t
k
) = e
hk
.
Le resultat de la question 4.b/ permet de deduire que
x
k
=
_

p
j=0
h
j
j!
_
k
=
_
e
h
R(h)
_
k
,
avec 0 < R(h) < e
h h
p+1
(p+1)!
. On a donc
x
k
= e
k
h
_
1
R(h)
e
h
_
k
= e
k
h(1 a)
k
,
avec a =
R(h)
e
h
]0,1[. On en deduit que
0 x
k
x
k
e
k
h
_
1 (1 a)
k
_
.
Comme k 1 et a ]0,1[, on en deduit (par recurrence sur k) que (1a)
k

1 ka. On a donc
0 x
k
x
k
kae
kh
ke
t
k
h
p+1
(p + 1)!
t
k
e
t
k
h
p
(p + 1)!
.
212 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
5. Un developpement de Taylor montre que
x
k+1
=
p

j=0
h
j
j!
x
(j)
(t
k
) +C
k,h
h
p+1
= x
k
+
p

j=1
h
j1
j!
f
(j1)
( x
k
,t
k
) +C
k,h
h
p+1
,
avec C
k,h
C IR
+
. On a donc
x
k+1
x
k
h
=
p

j=1
h
j1
j!
f
(j1)
( x
k
,t
k
) +C
k,h
h
p
=
p1

j=0
h
j
(j + 1)!
f
(j)
( x
k
,t
k
) +C
k,h
h
p
=
p
( x
k
,t
k
,h) +C
k,h
h
p
.
Le schema est donc consistant dordre p. Il sut alors dappliquer le theor`eme
4.7 page 123 (car
p
est de classe C

donc lipschitzienne sur les bornes) pour


obtenir lexistence de

h > 0 et C > 0 ne dependant que de x
0
, T et f, tels que
si 0 < h <

h, alors [x
k
x(t
k
)[ Ch
p
, pour tout k = 0, . . . ,n + 1.
Corrige de lexercice ?? page ?? (Schema dEuler implicite)
A FAIRE
Soit f C
1
(IR,IR) telle que f(y) < 0 pour tout y ]0,1[ et f(0) = f(1) = 0.
Soit y
0
]0,1[. On consid`ere le probl`eme suivant :
y

(t) = f(y(t)), t IR
+
, (6.4.59)
y(0) = y
0
. (6.4.60)
Question 1.
1.1 Soit T IR
+
; on suppose que y C
1
([0,T[,IR) est solution de (6.4.59)-
(6.4.60). Montrer que 0 < y(t) < 1 pour tout t [0,T[ (On pourra raisonner
par labsurde et utiliser le theor`eme dunicite).
1.2 Montrer quil existe une unique fonction y C
1
([0, + [,IR) solution
de (6.4.59)-(6.4.60) et que y est une fonction strictement positive et strictement
decroissante.
Dans les questions suivantes on designe par y cette unique solution denie
sur [0, +[.
Question 2.
2.1 Montrer que y admet une limite IR lorsque t +.
2.2 Montrer que = 0 . (On pourra remarquer que, pour tout t 0, on a
y(t + 1) = y(t) +
_
t+1
t
f(y(s))ds).
Question 3. Soit y
0
]0,1[, on cherche `a approcher la solution exacte de
(6.4.59)-(6.4.60) par le schema dEuler implicite de pas h IR

+
, qui secrit :
y
n+1
= y
n
+hf(y
n+1
),n IN. (6.4.61)
6.4. CORRIG

E DES EXERCICES DU CHAPITRE CHAPTER4 213


3.1 Soit a ]0,1[. Montrer quil existe b ]0,1[ t.q.
b a
h
= f(b).
En deduire que pour y
0
]0,1[ xe, il existe (y
n
)
nIN
solution du schema dEuler
implicite (6.4.61) telle que y
n
]0,1[ pour tout n IN.
3.2 Soit (y
n
)
nIN
une suite construite `a la question 3.1. Montrer que cette
suite est decroissante et quelle tend vers 0 lorsque n tend vers linni.
Question 4. On suppose dans cette question que
f

(0) = < 0
Soit ]0,[.
4.1 Montrer que pour t susamment grand,
f(y(t))
y(t)
< .
4.2 En deduire quil existe C IR
+
t.q.
y(t) Ce
t
,t 0.
4.3 Montrer quil existe C IR

+
t.q. la solution du schema dEuler implicite
construite `a la question 3 verie :
y
n
C
_
1
1 +h
_
n
, n IN.
Corrige de lexercice 4.8 page 137 (Methodes semi-implicite
et explicite)
1.
_

_
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
x
(n)
1
x
(n+1)
2
,
x
(n+1)
2
x
(n)
2
k
=
x
(n+1)
2
x
(n)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(6.4.62)
On a x
(0)
1
= a > 0 et x
(0)
2
= b > 0. De plus, on a
x
(1)
2
=
1
1 +
k
a
b,
donc x
(1)
2
est bien deni, et 0 < x
(1)
2
< x
(0)
2
= b. Or x
(1)
1
= a k(a + ab)
et comme a et b appartiennent `a ]0,1[, on a a + ab ]0,2[, et comme
0 < k < 1/2, on en deduit que 0 < x
(1)
1
< x
(0)
1
= a.
Supposons que les suites soient bien denies, decroissantes et strictement
positives jusquau rang n, et verions-le au rang n + 1. On a
214 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
x
(n+1)
2
=
1
1 +
k
x
(n)
1
x
(n)
2
, (6.4.63)
et donc en utilisant lhypoth`ese de recurrence, on obtient que x
(n+1)
2
< x
(n)
2
et 0 < x
(n+1)
2
< b.
De plus
x
(n+1)
1
= x
(n)
1
kx
(n)
1
kx
(n)
1
x
(n+1)
2
= x
(n)
1
(1 k kx
(n+1)
2
), (6.4.64)
et donc grace au fait que 0 < x
(n+1)
2
< b (et donc 1 k kx
(n+1)
2
>
1 k kb, et `a lhypoth`ese de recurrence, on deduit que x
(n+1)
1
< x
(n)
1
et
0 < x
(n+1)
1
< a.
2. Apr`es calcul, on obtient que le schema numerique (6.4.62) secrit sous la
forme
x
(n+1)
x
(n)
k
= (x
(n)
,k), (6.4.65)
avec x
(n)
= (x
(n)
1
,x
(n)
2
)
t
, et o` u C

((IR

+
)
2
IR
,
+
IR
2
) est denie par
(x,k) =
_
_
x
1
(1 +
x
1
x
2
x
1
+k
)

x
2
x
1
+k
_
_
, (6.4.66)
et on verie bien que C

((IR

+
)
2
IR
+
,IR
2
) (en fait est de classe
C

sur IR
2
+
IR
+
0 IR
+
0.) et que (x,0) = f(x). Ceci montre
que pour (x
(n)
1
,x
(n)
2
) (IR

+
)
2
et k > 0, le couple (x
(n+1)
1
,x
(n+1)
2
) est bien
deni par (6.4.62) de mani`ere unique.
3. Comme x C

([0, +[,(IR

+
)
2
), on a
[
x(t
n+1
) x(t
n
)
k
x

(t
n
)[ k max
[0,T]
[x

[,
et
[(x(t
n
),k) (x(t
n
),0)[ k max
[0,T]
[D
2
(x(t),t)[.
Or la solution exacte x sur [0,T] vit dans un borne [,]
2
de R

+
, et ses
derivees atteignent ses bornes sur le compact [0,T], donc il existe C(T)
IR
+
tel que max
[0,T]
[x

[ C(T) et max
[0,T]
[D
2
(x(t),t)[ C(T). Comme
de plus (x(t
n
),0) = f(x(t
n
), on en deduit par inegalite triangulaire que
[R
(n)
k
[ C(T)k.
4. (Stabilite)
(i) Soit T > 0. De (6.4.64) et du fait que 0 < x
(n)
2
< b on deduit que
x
(n+1)
1
x
(n)
1
(1 k kb),
et donc par recurrence sur n que
x
(n)
1
x
(0)
1
(1 k kb)
n
,
6.4. CORRIG

E DES EXERCICES DU CHAPITRE CHAPTER4 215


Donc pour tout entier n tel que nk T, on a n
T
k
, et comme
1 k kb > 0 (car k < 1/2), on a x
(n)
1
(1 k kb)
T
k
.
(ii) On a (1 k kb)
T
k
= exp(
T
k
ln(1 k kb)), et ln(1 k kb) est
equivalent `a k kb dans un voisinage de k = 0. On en deduit que
(1 k kb)
T
k
e
(1+b)T
lorsque k 0.
La fonction denie par (k) = (1 k kb)
T
k
est continue, stric-
tement positive sur [0,1/2], et sa limite lorsque k tend vers 0 est
minoree par un nombre strictement positif. Donc la fonction est elle-
meme minoree par un nombre strictement positif. On en deduit que
inf
0<k<
1
2
(1 k kb)
T
k
> 0.
(iii) Dapr`es les resultats des questions 3 (a) et 3 (d) (ii), on a a(T)
x
(n)
1
a, pour tout n tel que nk T, avec a(T) = inf
0<k<
1
2
(1 k
kb)
T
k
.
En utilisant ce resultat (et la question 3 (a)), on deduit alors de
(6.4.63) que
x
(n+1)
2

1
1 +
k
a(T)
x
(n)
2
,
et donc que
x
(n)
2

_
1
1 +
k
a(T)
_T
k
x
(0)
2
,
Une etude similaire `a celle de la question precedente montre que la
fonction
k
_
1
1 +
k
a(T)
_T
k
est continue et strictement positive sur [0,1/2] et sa limite lorsque k
tend vers 0 est strictement positive. On en deduit que b(T) x
(n)
2

b, pour tout n tel que nk T, avec
b(T) = b inf
k[0,1/2]
_
1
1 +
k
a(T)
_T
k
> 0.
5. (Convergence) Soit T > 0. On ne peut pas appliquer directement le
theor`eme du cours car nest pas lipschitzienne sur les bornes, mais il
sut de remarquer que :
la solution exacte sur [0,T] vit dans un borne [,]
2
de R

+
.
le schema est inconditionnellement stable : x
(n)
[a(T),a] [b(T),b].
Or la fonction est de classe C
1
sur [A,B]
2
R

+
, o` u A = min(,a(T),b(T))
et B = max(,a,b). Donc elle est lipschitzienne par rapport `a la premi`ere
variable sur le pave [A,B]
2
. La demonstration par recurrence faite en cours
dans le cas globalement lipschitzienne sadapte donc tr`es facilement. (elle
est meme plus facile car e
0
= 0 et le pas de discretisation est constant. . . )
216 CHAPITRE 6. CORRIG

ES D

ETAILL

ES DES EXERCICES
6. On remplace maintenant le schema (6.4.62) par le schema dEuler expli-
cite. Celui secrit :
_

_
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
x
(n)
1
x
(n)
2
,
x
(n+1)
2
x
(n)
2
k
=
x
(n)
2
x
(n)
1
,
x
(0)
1
= a, x
(0)
2
= b.
(6.4.67)
Supposons x
(n)
1
> 0 et x
(n)
2
> 0 pour tout n. La premi`ere equation de
(6.4.62) donne alors que
x
(n+1)
1
x
(n)
1
k
= x
(n)
1
,
et donc x
(n+1)
1
< (1 k)x
(n)
1
. On en deduit par recurrence que x
(n)
1
<
(1 k)
n
a 0 lorsque n 0 (on supposera que k < 1 pour que le schema
soit bien deni. Donc pour un pas de temps k donne, il existe n tel que
x
(n)
1
k. Or pour cette valeur de n,
x
(n+1)
2
= x
(n)
2
(1
k
x
(n)
1
) 0,
ce qui contredit lhypoth`ese x
(n)
2
> 0 pour tout n.
Ceci montre que le schema dEuler explicite nest franchement pas bon
dans ce cas. (Etudier si le coeur vous en dit le schema totalement impli-
cite...)