Vous êtes sur la page 1sur 14

Chapitre VI

Methodes´

Lineair´

Iterati´

es

ves – Equations Non

En pratique, on est souvent confronte´ a` la resolution´

a-dire`

d’un systeme`

d’equations´

pour une fonction

donnee,´

on cherche un point

non lineaires.´

C’est-

tel que

 

(0.1)

En gen´ eral,´ il n’y a pas d’algorithme fini pour trouver une solution. On est donc oblige´ d’utiliser des methodes´ iterati´ ves. Sans hypotheses` supplementaires,´ on ne sait rien sur l’existence d’une solution de (0.1). Par exemple, pour il n’y a pas de solution, pour il y en a une infinite.´ Mais, le theor´ eme` d’inversion locale nous fournit un resultat´ sur l’unicite´ locale: si et si la matrice jacobienne est inversible, il existe un voisinage de et un voisinage de tels que soit bijective. Ceci implique que est la seule solution de (0.1) dans le voisinage de .

Bibliographie sur ce chapitre

P. Deuflhard (2004): Newton Methods for Nonlinear Problems. Affine Invariance and Adaptive Algorithms. Springer Ser. Comp. Math. 35, Springer, Berlin. J.M. Ortega & W.C. Rheinboldt (1970): Iterative Solution of Nonlinear Equations in Several Vari- ables. Academic Press, New York. A.M. Ostrowski (1966): Solution of Equations and Systems of Equations. Academic Press, New York, 2nd edition. [MA 65/27]

VI.1

Methode´

des approximations successives

On considere` le probleme` du calcul d’un point fixe de l’application ; c.-a-d.,` on cherche tel que

(1.1)

Les problemes` (0.1) et (1.1) sont equi´ valents et il y a beaucoup de possibilites´ pour ecrire´ (0.1) sous la forme (1.1). Par exemple, on peut definir´ comme ou (ici est soit un nombre non-nul, soit une matrice bien choisie). Pour resoudre´ (1.1), on se donne une approximation initiale (arbitraire) et on considere` la methode´ iterati´ ve

(1.2)

Methodes´

Iter´ atives – Equations Non Lineair´

es

Si la suite

est une solution de (1.1). Mais que peut-on dire sur l’erreur?

converge, disons vers

, et si la fonction

135

est continue en , la limite

Theor´ eme` 1.1 Si est fois continumentˆ differ´ entiable et si est une solution de (1.1), l’erreur satisfait

Demonstr´

ation.

Comme

, on obtient

(1.3)

satisfait Demonstr´ ation. Comme , on obtient (1.3) On peut tirer plusieurs conclusions de la formule

On peut tirer plusieurs conclusions de la formule (1.3):

si

direction du vecteur propre va etreˆ agrandie – l’iteration´ ne converge pas vers .

possede`

une valeur propre

satisfaisant

, la composante de

dans la

si toutes les valeurs propres de satisfont , on peut choisir une norme dans telle que pour la norme matricielle correspondante . Ceci et (1.3) impliquent que, pour suffisamment petit, on a ou` est un nombre entre et . L’erreur converge donc vers zero.´

, on peut appliquer la methode´ d’Euler im-

Exemple.

Pour resoudre´

numeriquement´

plicite

(1.4)

un pas de longueur . L’equation´ est suffisamment petit, les valeurs

qui definit´

(1.4) est dej´ a` sous la forme (1.1) avec

propres de

Criter` e pour arreterˆ

implicitement l’approximation de la solution apres`

. Si

sont petites et l’iteration´

l’iteration.´

(1.2) converge.

En pratique, on s’interesse´

qui satis-

comme approximation de la solution des`

a` une approximation

fasse

tol. Une possibilite´ est d’accepter tol.

que

Le critere`

qui va suivre est base´ sur l’hypothese`

que

soit une contraction et que

avec

En appliquant l’inegalit´

e´ du triangle a` l’identite´

(en cas de convergence), on obtient

Le facteur de contractivite´ peut etreˆ

estime´ par

(1.5)

L’idee´

est d’arreterˆ

l’iteration´

quand

et d’accepter

comme approximation de la solution.

tol

(1.6)

136

10 0

10

10

10

10

2

4

6

8

0 10 20
0
10
20
Methodes´ Iter´ atives – Equations Non Lineair´ es 10 0 10 2 10 4 10
Methodes´
Iter´ atives – Equations Non Lineair´
es
10 0
10
2
10
4
10
6
10
8
0
10
20

FIG. VI.1: Convergence des iterations´

(1.7)

Exemples.

Pour les deux iterations´

des iterations´ (1.7) Exemples. Pour les deux iterations´ (1.7) la norme euclidienne de l’erreur de est

des iterations´ (1.7) Exemples. Pour les deux iterations´ (1.7) la norme euclidienne de l’erreur de est

des iterations´ (1.7) Exemples. Pour les deux iterations´ (1.7) la norme euclidienne de l’erreur de est

(1.7)

la norme euclidienne de l’erreur de est dessinee´ dans la figure VI.1 (a` gauche pour la premiere` iteration´ et a` droite pour la deuxieme).` On peut bien observer la convergence lineaire.´ Le rayon spectral de vaut et respectivement. C’est la raison pour laquelle la premiere` iteration´ converge plus rapidement que la seconde. Le dessin a` droite montre aussi que la convergence n’est pas necessairement´ monotone (pour la norme ). Donc, le coefficient de (1.6) peut etreˆ plus grand que memeˆ si l’iteration´ converge.

VI.2

Methodes´

iterati´

ves pour systemes`

lineair´

es

Pour la resolution´

(2.1)

il y a des situations ou` les methodes´ iterati´ ves sont tres` utiles. Par exemple, si la matrice possede` une tres` grande dimension et si beaucoup d’el´ ements´ de sont nuls (matrice creuse), ce qui est le

cas pour les discretisations´

Pour se ramener a` un probleme` de point fixe, on considere` une decomposition´

(“splitting”) et on definit´

(2.2)

Le choix de la decomposition´ est important pour la performance de la methode.´ D’une part, doit etreˆ choisie telle que le systeme` (2.2) soit beaucoup plus facile a` resoudre´ que le systeme` (2.1). D’autre part, les valeurs propres de la matrice doivent satisfaire pour que l’iteration´ (2.2) converge.

des systemes`

lineaires´

vees´

des equations´

aux deri´

partielles.

l’iteration´

Il y a beaucoup de possibilites´

de definir´

la decomposition´

. Si l’on denote´

.

.

.

.

.

.

.

.

.

.

.

.

et (afin que

. . . ) les iterations´
.
.
.
) les iterations´

Jacobi :

,

;

.

.

.

.

.

.

.

les plus connues sont:

Methodes´

Iter´ atives – Equations Non Lineair´

es

137

Pour ces deux methodes,´ la matrice est choisie de maniere` a` ce que le systeme` (2.2) soit tres` facile a` resoudre.´ Un avantage de la methode´ de Gauss-Seidel est le fait que pour le calcul de

la composante

que pour . Une iteration´ devient donc

. Alors, on peut utiliser la memeˆ variable pour

du vecteur

du vecteur

on n’a besoin que des composantes

simplement:

for

vecteur on n’a besoin que des composantes simplement: for . Une modification interessante´ de cet algorithme

vecteur on n’a besoin que des composantes simplement: for . Une modification interessante´ de cet algorithme

.

Une modification interessante´

de cet algorithme est la methode´

SOR (“successive over-relaxation”):

(2.3)

ou`

programmer que la prec´ edente.´

est un parametre`

donne´ (pour , SOR se reduit´

a` Gauss-Seidel). Elle est aussi simple a`

Les resultats´

suivants demontrent´

la convergence dans quelques situations particulieres.`

Theor´ eme`

2.1 Si la matrice

est “diagonale dominante”, c.-a-d.`

2.1 Si la matrice est “diagonale dominante”, c.-a-d.` pour (2.4) alors l’iter´ ation de Jacobi converge.

pour

(2.4)

alors l’iter´ ation de Jacobi converge.

Demonstr´ ation. Pour la methode´ de Jacobi, on a . La condition (2.4) implique que (voir la formule (4.5) du chapitre IV).

implique que (voir la formule (4.5) du chapitre IV). Pour etudier´ la convergence de la methode´

Pour etudier´

la convergence de la methode´

sous la forme equi´

valente

SOR (en particulier pour Gauss-Seidel), on l’ecrit´

ou encore

avec

et definie´

positive et si

(2.5)

par

Theor´

(2.3), converge.

ation.

Demonstr´

eme`

2.2 Si

est symetrique´

, l’iter´ ation SOR, definie´

Il faut demontrer´

que toutes les valeurs propres de

satisfont . Soient

une valeur propre et

le vecteur propre correspondant:

Comme

, la formule (2.6) devient

En multipliant (2.6) et (2.7) avec , on obtient pour

(observer que

(2.6)

(2.7)

)

(2.8)

On en deduit´

ce qui implique .

multipliant (2.6) et (2.7) avec , on obtient pour (observer que (2.6) (2.7) ) (2.8) On

138

Methodes´

Iter´ atives – Equations Non Lineair´

es

Pour quelques matrices, on connaˆıt la valeur de qui minimise le rayon spectral de et, par consequent,´ qui accel´ ere` la convergence par rapport a` l’iteration´ de Gauss-Seidel. D’autres methodes´ iterati´ ves pour des systemes` lineaires´ sont SSOR (“symmetric successive over-relaxation”) et la methode´ du gradient conjugue´ (avec preconditionnement).´ Voir le livre de Golub & Van Loan, dej´ a` mentionne´ au chapitre IV, et les livres classiques L.A. Hageman & D.M. Young (1981): Applied Iterative Methods. Academic Press, New York. R.S. Varga (1962): Matrix Iterative Methods. Prentice Hall, Englewood Cliffs, New Jersey.

VI.3

Methode´

de Newton

Considerons´

le probleme`

de la resolution´

d’un systeme`

d’equations´

non lineaires´

(3.1)

ou` la fonction est supposee´ etreˆ au moins une fois differentiable.´ Si est une approximation de la solution cherchee,´ on linearise´ autour de

et on calcule le zero´

mation, on obtient l’algorithme suivant:

de cette linearisation.´

Si l’on rep´ ete`

cette procedure´

for

calculer et

end for

(systeme`

lineaire´

a` resoudre)´

avec la nouvelle approxi-

Exemple 3.1 La methode´

d’Euler implicite (voir (1.4)), appliquee´

a` l’equation´

differentielle´

,

non lineaire´

avec pour valeurs initiales , , nous conduit a` l’equation´

(3.2)

L’iteration´

et on est oblige´ d’utiliser un autre algorithme. La methode´

(1.2) ne converge que pour

suffisamment petit. Par exemple, pour

de Newton

elle diverge

converge sans difficulte´ avec tableau VI.1 pour les valeurs de

sans difficulte´ avec tableau VI.1 pour les valeurs de si l’on commence l’iteration´ avec et et

si l’on commence l’iteration´

avec

et

et les erreurs, mesurees´

dans la norme euclidienne).

(voir le

TAB. VI.1: Convergence de la methode´

de Newton

erreur
erreur

Methodes´

Iter´ atives – Equations Non Lineair´

es

139

Pour etudier´

serie´

de Taylor:

la convergence de la methode´

de Newton, considerons´

un terme de plus dans la

(3.3)

Si l’on pose

dans cette formule (avec

comme solution de (3.1)) et si l’on soustrait

(definition´

de ), on obtient pour l’erreur

la formule

On vient de demontrer´

le resultat´

suivant:

Theor´ eme` 3.2 Supposons que soit 3 fois continumentˆ differ´ entiable et que soit in- versible dans un voisinage de (solution de (3.1)). Alors, pour suffisamment proche de , l’erreur de la methode´ de Newton satisfait

Donc, la convergence de cette methode´

est quadratique.

(3.4)

la convergence de cette methode´ est quadratique. (3.4) Ce theor´ eme` montre la convergence locale de

Ce theor´ eme` montre la convergence locale de la methode´ de Newton, c.-a-d.,` si est proche

de (3.1), la suite converge vers . Concernant la convergence globale, on en

sait tres` peu et on ne sait analyser seulement que quelques cas de fonctions simples. L’exemple le plus connu est

d’une solution

(

) pour lequel l’iteration´

ou

devient

d’une solution ( ) pour lequel l’iteration´ ou devient Il est interessant´ de determiner´ les ensembles

Il est interessant´

de determiner´

les ensembles (bassins d’attraction)

(3.5)

(3.6)

converge vers

(3.7)

pour les trois solutions , de . Un calcul par ordinateur donne la figure VI.2. Les du domaine blanc entraˆınent une convergence vers , ceux du domaine gris vers et ceux du domaine noir vers . On observe que la suite ne converge pas necessairement´ vers la solution la plus proche de .

Calcul numerique´

de la matrice jacobienne

En pratique, il arrive souvent que la forme analytique de la matrice est inconnue. Dans cette

situation on approche les el´ ements´

de la matrice jacobienne par

(3.8)

140

Methodes´ Iter´ atives – Equations Non Lineair´ es 1 1
Methodes´
Iter´ atives – Equations Non Lineair´
es
1
1

FIG. VI.2: Bassins d’attraction pour l’iteration´

(3.6)

Mais comment doit-on choisir le ? Pour simplifier la notation, considerons´ une fonction a` une variable et notons-la par .

Un dev´ eloppement en serie´

de Taylor montre que

(3.9)

En consequence,´ doit etreˆ petit pour que l’erreur de la discretisation´ ne soit pas trop grande. D’autre part, la soustraction dans (3.9) est tres` mal conditionnee.´ Une etude´ des erreurs d’arrondi montre que l’expression obtenue par un calcul en virgule flottante vaut

ou`

eps (eps est la precision´

de l’ordinateur, voir section II.3). L’idee´ grandeur :

les deux erreurs soient de la memeˆ

eps

Donc, on prend par exemple

eps

ou

erreurs soient de la memeˆ eps Donc, on prend par exemple eps ou eps est de

eps

est de choisir

afin que

(3.10)

(3.11)

Methodes´

Iter´ atives – Equations Non Lineair´

es

Modifications de la methode´

de Newton

141

Si la dimension du probleme` (3.1) est tres` grande et/ou l’ev´ aluation de la matrice est tres` couteuse,ˆ on peut remplacer la definition´ de par

(3.12)

LR de , ce qui facilite

grandement la resolution´ des systemes` lineaires´ successifs. Mais on perd la convergence quadra-

(1.2) avec

est non nul en gen´ eral.´ En cas de mauvaise convergence, on remplace la definition´

tique car (3.12) n’est rien d’autre qu’une iteration´

Dans ce cas, il suffit de calculer une fois pour toutes la decomposition´

de par

et

et on determine´

de fac¸on a` ce que

soit minimale.

(3.13)

VI.4

Methode´

de Gauss-Newton

Dans ce paragraphe, on va s’interesser´ a` des systemes` non lineaires´ surdetermin´ es.´ On considere` une fonction ou` et on cherche une solution de . Evidemment, comme on a plus de conditions que d’inconnues, ce probleme` ne possede` en gen´ eral´ pas de solu- tion. On se contente donc de trouver un vecteur tel que

Si

est differentiable,´

pour que

la fonction

est aussi differentiable´ , c.-a-d.`

necessaire´

soit un minimum local est d’avoir

(4.1)

et une condition

(4.2)

Une possibilite´ pour resoudre´ (4.1) est d’appliquer une methode´ iterati´ ve, par exemple la methode´

de Newton, au systeme`

Une autre possibilite´ est de lineariser´ dans (4.1) autour d’une approximation de la solution et de calculer de

(4.2). Ceci necessite´

le calcul de la deuxieme`

deri´

vee´

de .

(4.3)

Une rep´ etition´ for

de cette idee´

donne l’algorithme suivant (methode´

calculer et

determiner´

de

de Gauss-Newton)

(moindres carres)´

end for Pour calculer

on peut soit resoudre´

les equations´

normales (section IV.6)

soit calculer la decomposition´

QR de et appliquer l’algorithme de la section IV.7.

(4.4)

142

Methodes´

Iter´ atives – Equations Non Lineair´

es

Etude de la convergence

Pour etudier´

la convergence de la methode´

de Gauss-Newton, dev´ eloppons la fonction

de la methode´ de Gauss-Newton, dev´ eloppons la fonction en serie´ de Taylor. Pour ceci, calculons

en serie´

de Taylor. Pour ceci, calculons

la fonction en serie´ de Taylor. Pour ceci, calculons Matriciellement, la formule (4.6) s’ecrit´ ou` est

la fonction en serie´ de Taylor. Pour ceci, calculons Matriciellement, la formule (4.6) s’ecrit´ ou` est

Matriciellement, la formule (4.6) s’ecrit´

ou`

est l’application bilineaire´

definie´

par

ou` est l’application bilineaire´ definie´ par Avec cette notation, la formule de Taylor donne (4.5) (4.6)

Avec cette notation, la formule de Taylor donne

(4.5)

(4.6)

(4.7)

(4.8)

Soit maintenant

soustrayant (4.4), nous obtenons ainsi le resultat´

une solution de (4.1). Elle satisfait

suivant.

. En posant

dans (4.8) et en

Theor´

que le rang de soit maximal et que

eme`

4.1 Supposons que

(avec

) soit

fois continumentˆ

differ´ entiable,

suffisamment

soit une solution de (4.1). Alors, pour

proche de , l’erreur

de la methode´

de Gauss-Newton satisfait

de , l’erreur de la methode´ de Gauss-Newton satisfait Une consequence´ de cette formule est :

Une consequence´

de cette formule est :

en gen´ eral,´

on a convergence quadratique si ;

si est trop grand, la methode´

la convergence est lineaire;´

diverge.

Terminons ce chapitre avec une application typique de cet algorithme.

Exemple (Identification de parametr` es). La figure VI.3 montre une photographie de la Vallee´ Blanche (prise par G. Wanner). On y reconnaˆıt le Col des Grandes Jorasses, l’Aiguille du Geant,´

l’Aiguille Blanche de Peterey, l’Aiguille du Tacul, le Petit Rognon et l’Aiguille du Moine. La figure VI.4 est une copie d’une carte geographique´ de cette region.´ Le probleme` consiste a` trouver la position de la camera,´ ses caracteristiques´ (foyer) et les angles d’inclinaison.

Pour la formulation mathematique´

de ce probleme,`

nous avons choisi des coordonnees´

sur la photographie (figure VI.3, l’origine est au centre) et des coordonnees´ sur la carte ( represente´ l’altitude). Les valeurs mesurees´ pour les points reconnus sont donnees´ dans le tableau VI.2.

Methodes´

Iter´ atives – Equations Non Lineair´

es

143

Methodes´ Iter´ atives – Equations Non Lineair´ es 143 F IG . VI.3: Photographie de la

FIG. VI.3: Photographie de la Vallee´

Blanche

TAB. VI.2: Les donnees´

pour le probleme`

“Vallee´

Blanche”

1. Col des Grandes Jorasses 2. Aiguille du Geant´ 3. Aig. Blanche de Peterey 4.
1. Col des Grandes Jorasses
2. Aiguille du Geant´
3. Aig. Blanche de Peterey
4. Aiguille de Tacul
5. Petit Rognon
6. Aiguille du Moine

Pour fixer les inconnues, notons par ( la position du foyer de la camera,´ par le vecteur la direction de vue avec norme correspondant a` la distance du plan du film et par l’angle de rotation de la camera´ autour du vecteur . On a donc parametres` a` trouver. De plus, considerons´ la base orthogonale

a` trouver. De plus, considerons´ la base orthogonale (4.9) dont les deux vecteurs vecteur dans l’espace

a` trouver. De plus, considerons´ la base orthogonale (4.9) dont les deux vecteurs vecteur dans l’espace

a` trouver. De plus, considerons´ la base orthogonale (4.9) dont les deux vecteurs vecteur dans l’espace

a` trouver. De plus, considerons´ la base orthogonale (4.9) dont les deux vecteurs vecteur dans l’espace

(4.9)

dont les deux vecteurs

vecteur dans l’espace qui montre du centre

est donne´ par

et

engendrent le plan du film,

etant´

horizontal et vertical. Alors, le

sur le film

de la lentille vers le point

Alors, le sur le film de la lentille vers le point     ou` Les conditions

 

 

ou`

Les conditions a` satisfaire sont que les vecteurs

la lentille vers le point     ou` Les conditions a` satisfaire sont que les vecteurs

et

soient
soient

144

Methodes´

Iter´ atives – Equations Non Lineair´

es

144 Methodes´ Iter´ atives – Equations Non Lineair´ es F IG . VI.4: La region de

FIG. VI.4: La region de la Vallee´

Blanche

colineaires.´

considerer´

Ceci donne deux conditions pour chaque . Mais, par symetrie,´ les trois conditions (pour chaque )

il est plus naturel de

conditions pour chaque . Mais, par symetrie,´ les trois conditions (pour chaque ) il est plus

conditions pour chaque . Mais, par symetrie,´ les trois conditions (pour chaque ) il est plus

conditions pour chaque . Mais, par symetrie,´ les trois conditions (pour chaque ) il est plus

(4.10)

Methodes´

Iter´ atives – Equations Non Lineair´

es

145

En tout, ceci donne la fonction

.

conditions pour

inconnues. Voici le programme FORTRAN pour

En appliquant la methode´ de Gauss-Newton a` ce systeme` avec comme valeurs initiales

on obtient la

solution , , avec une precision´ de chiffres (voir le tableau VI.3). On a donc bien trouve´ la position de la camera.´ C’est a` l’Aiguille Verte (altitude 4122) que Gerhard a pris cette photo.

,

,

,

, ,

,

, apres`

peu d’iterations´

TAB. VI.3: Convergence de la methode´

de Gauss-Newton

a pris cette photo. , , , , , , , apres` peu d’iterations´ T AB

146

Methodes´

Iter´ atives – Equations Non Lineair´

es

VI.5

Exercices

1. Pour une fonction

, considrons l’itration

dfinie par

(a)

(b)

Donner une interprtation gomtrique.

Dmontrer que l’erreur

, o

est une racine simple de

avec

, satisfait

(5.1)

(c)

(d)

Dduire de (b) que

avec

Soit un polynme, nous avons que le travail pour valuer et est approxima- tivement le mme. Supposons que le cot des oprations d’additions, de soustractions, de mul- tiplications et de divisions sont ngligeables par rapport l’valuation de . Quelle mthode choisiriez-vous entre la mthode de Newton et la mthode de la scante (5.1) pour calculer une racine de travail gal?

2. Soit et continumentˆ differentiable.´ Pour un supposons que et que soit inversible. Montrer que

est la seule direction ayant la propiet´ e´ suivante:

Pour toute matrice inversible , il existe tel que pour

Methodes´

Iter´ atives – Equations Non Lineair´

es

147