Académique Documents
Professionnel Documents
Culture Documents
En pratique, on est souvent confront a la r solution dun syst` me d quations non lin aires. Ceste` e e e e a-dire pour une fonction ` donn e, on cherche un point e tel que
En g n ral, il ny a pas dalgorithme ni pour trouver une solution. On est donc oblig dutiliser e e e des m thodes it ratives. e e Sans hypoth` ses suppl mentaires, on ne sait rien sur lexistence dune solution de (0.1). Par e e exemple, pour il ny a pas de solution, pour il y en a une innit . Mais, e le th or` me dinversion locale nous fournit un r sultat sur lunicit locale: si e e e e et si la matrice jacobienne est inversible, il existe un voisinage de et un voisinage de tels soit bijective. Ceci implique que est la seule solution de (0.1) dans le voisinage que de . Bibliographie sur ce chapitre P. Deuhard (2004): Newton Methods for Nonlinear Problems. Afne Invariance and Adaptive Algorithms. Springer Ser. Comp. Math. 35, Springer, Berlin. J.M. Ortega & W.C. Rheinboldt (1970): Iterative Solution of Nonlinear Equations in Several Variables. Academic Press, New York. A.M. Ostrowski (1966): Solution of Equations and Systems of Equations. Academic Press, New York, 2nd edition. [MA 65/27]
Les probl` mes (0.1) et (1.1) sont equivalents et il y a beaucoup de possibilit s pour ecrire (0.1) sous e e la forme (1.1). Par exemple, on peut d nir comme e ou (ici est soit un nombre non-nul, soit une matrice bien choisie). Pour r soudre (1.1), on se donne une approximation initiale e (arbitraire) et on consid` re la e m thode it rative e e (1.2)
X T YWVR E
C 76 54
H G F E
4 B 0) 321&$
" #! 4
(0.1)
4 B C B D X
M thodes It ratives Equations Non Lin aires e e e converge, disons vers , et si la fonction Si la suite est une solution de (1.1). Mais que peut-on dire sur lerreur?
D monstration. Comme e
On peut tirer plusieurs conclusions de la formule (1.3): si poss` de une valeur propre e satisfaisant , la composante de dans la direction du vecteur propre va etre agrandie lit ration ne converge pas vers . e si toutes les valeurs propres de satisfont , on peut choisir une norme dans telle que pour la norme matricielle correspondante . Ceci et (1.3) impliquent que, pour sufsamment petit, on a o` est un nombre entre u et . Lerreur converge donc vers z ro. e , on peut appliquer la m thode dEuler ime (1.4)
qui d nit implicitement lapproximation de la solution apr` s un pas de longueur . L quation e e e (1.4) est d j` sous la forme (1.1) avec ea . Si est sufsamment petit, les valeurs propres de sont petites et lit ration (1.2) converge. e Crit` re pour arr ter lit ration. En pratique, on sint resse a une approximation e qui satise e e ` fasse tol. Une possibilit est daccepter e comme approximation de la solution d` s e que tol. Le crit` re qui va suivre est bas sur lhypoth` se que soit une contraction et que e e e avec
tol
a b
et daccepter
x A4 8 E x
(1.5)
(1.6)
a (% 4
a b
" a x 1 y x (% 1 vsuFa(1 A4 8 ! 54 whb ! 4 ftbft(% % E E Ta E T eca eca A4 Y 4 E " y a x v u a% E e ca Q x (% Q w( 54 8 Pft(%
" pg f
" t #r us
a T d ena T a vx fdbmb x f a f
a b
, on obtient
4
E
4
4 E a (%
a x (% x
T a a bsR(% 548 E
qa hbpi
136
100 102 104 106 108 0
est dessin e dans la gure VI.1 (` gauche pour la e a la norme euclidienne de lerreur de premi` re it ration et a droite pour la deuxi` me). On peut bien observer la convergence lin aire. Le e e ` e e rayon spectral de vaut et respectivement. Cest la raison pour laquelle la premi` re it ration converge plus rapidement que la seconde. Le dessin a droite montre aussi que e e ` la convergence nest pas n cessairement monotone (pour la norme e ). Donc, le coefcient de (1.6) peut etre plus grand que m me si lit ration converge. e e
il y a des situations o` les m thodes it ratives sont tr` s utiles. Par exemple, si la matrice poss` de u e e e e une tr` s grande dimension et si beaucoup d l ments de sont nuls (matrice creuse), ce qui est le e ee cas pour les discr tisations des equations aux d riv es partielles. e e e Pour se ramener a un probl` me de point xe, on consid` re une d composition ` e e e (splitting) et on d nit lit ration e e
Le choix de la d composition e est important pour la performance de la m thode. e Dune part, doit etre choisie telle que le syst` me (2.2) soit beaucoup plus facile a r soudre que e ` e doivent satisfaire le syst` me (2.1). Dautre part, les valeurs propres de la matrice e pour que lit ration (2.2) converge. e Il y a beaucoup de possibilit s de d nir la d composition e e e . Si lon d note e
. . .
..
et
(an que
Jacobi : Gauss-Seidel :
.. . .. .
..
.. . .. .
. . .
PT
e fn 4 e " 4 d"p" y e 4 wT P fn e
" T P
B zTV uVV BT TP P BwuVwu p dr dd" r e A4 y!& 4 "" e 0 e f n # 4 d"d" e 4 " !B ey4
r PD
u a e c a r sbuVftb
(2.1)
(2.2)
af
a jh a b
{jzT " r
y x x
jjx#VU} jA#S} A4@8 E " ~ " ~ |jh r b a a a 0) by2oT xw#u ftjh eca " a jh eca ftb T
(1.7)
137
est choisie de mani` re a ce que le syst` me (2.2) soit tr` s e ` e e Pour ces deux m thodes, la matrice e facile a r soudre. Un avantage de la m thode de Gauss-Seidel est le fait que pour le calcul de ` e e la composante du vecteur on na besoin que des composantes du vecteur . Alors, on peut utiliser la m me variable pour e que pour . Une it ration devient donc e simplement: for . Une modication int ressante de cet algorithme est la m thode SOR (successive over-relaxation): e e
e e , SOR se r duit a Gauss-Seidel). Elle est aussi simple a e ` ` o` est un param` tre donn (pour u programmer que la pr c dente. e e Les r sultats suivants d montrent la convergence dans quelques situations particuli` res. e e e Th or` me 2.1 Si la matrice e e
D monstration. Pour la m thode de Jacobi, on a e e implique que (voir la formule (4.5) du chapitre IV).
Pour etudier la convergence de la m thode SOR (en particulier pour Gauss-Seidel), on l crit e e sous la forme equivalente
ou encore
D monstration. Il faut d montrer que toutes les valeurs propres de e e une valeur propre et le vecteur propre correspondant:
Comme
On en d duit e
ce qui implique
g sg T T wy T T r yy D u f u f ! " #! j D s f bsg T T r AFovr f u f A S s If u !B " u T 5 mV bw D T B T T u mSVYvoV1Fo " u B T T 5 P VI5vmSQFm ! g F r r w " B T T e u QvmSQFg 1 fn mV F fn oP HbAF Pftb e u u a eca u a B T T e ca u vbAvmVQFo 1 ftb5 V
avec
, on obtient pour
(observer que
B !u fn z fn e T e
a
ec fda
4 1 jQ 4
eca ftb
ec fta
a b
(2.3)
(2.4)
. La condition (2.4)
(2.5)
(2.7) )
(2.8)
138
Pour quelques matrices, on connat la valeur de qui minimise le rayon spectral de et, par cons quent, qui acc l` re la convergence par rapport a lit ration de Gauss-Seidel. Dautres e ee ` e m thodes it ratives pour des syst` mes lin aires sont SSOR (symmetric successive over-relaxation) e e e e et la m thode du gradient conjugu (avec pr conditionnement). Voir le livre de Golub & Van Loan, e e e d j` mentionn au chapitre IV, et les livres classiques ea e L.A. Hageman & D.M. Young (1981): Applied Iterative Methods. Academic Press, New York. R.S. Varga (1962): Matrix Iterative Methods. Prentice Hall, Englewood Cliffs, New Jersey.
o` la fonction u est suppos e etre au moins une fois diff rentiable. Si e e une approximation de la solution cherch e, on lin arise e e autour de
et on calcule le z ro de cette lin arisation. Si lon r p` te cette proc dure avec la nouvelle approxie e e e e mation, on obtient lalgorithme suivant: for calculer et (syst` me lin aire a r soudre) e e ` e end for
Exemple 3.1 La m thode dEuler implicite (voir (1.4)), appliqu e a l quation diff rentielle e e ` e e , avec pour valeurs initiales , , nous conduit a l quation ` e non lin aire e (3.2)
a a #h r b ` ` !jh 3w#Dk " |aboT#h5 a oi #h a T k T T a ah T eca T k T u a a T a #oTpefctaj V bopftbh ay oi #S V#(h bpjr k jya #z b hk T T a k T
si lon commence lit ration avec e et (voir le et les erreurs, mesur es dans la norme euclidienne). e
erreur
xw#!6k "
Lit ration (1.2) ne converge que pour sufsamment petit. Par exemple, pour e et on est oblig dutiliser un autre algorithme. La m thode de Newton e e
elle diverge
F 8
`
efn n n y n e fn
`
" T r j3jz
jjjjjjjjjj{jzT rwwr rw w " jfjjjjjj{jzT wrw w " rjjjjjfjjjj{jzT r w " wwww " jfjjjrjjjjj{jzT jjjjjjjjjjj3jzT " a jh
!g
(3.1) est
jjjjfjjjjj3 wr r " jjjjjjjjjj3 r wr r " w r " jjjjjjj3 jjjjjjj3 " jjjjjjjjjj3jr " a b
r w s
T T u5h y 8 h h
139
Pour etudier la convergence de la m thode de Newton, consid rons un terme de plus dans la e e s rie de Taylor: e
Si lon pose
(d nition de e
Th or` me 3.2 Supposons que e e soit 3 fois contin ment diff rentiable et que u e soit inversible dans un voisinage de (solution de (3.1)). Alors, pour sufsamment proche de , lerreur de la m thode de Newton satisfait e (3.4)
Ce th or` me montre la convergence locale de la m thode de Newton, c.-` -d., si e e e a est proche dune solution de (3.1), la suite converge vers . Concernant la convergence globale, on en sait tr` s peu et on ne sait analyser seulement que quelques cas de fonctions simples. Lexemple le e plus connu est ou
(3.5)
(3.6)
converge vers
(3.7)
pour les trois solutions , de . Un calcul par ordinateur donne la gure VI.2. Les du domaine blanc entranent une convergence vers , ceux du domaine gris vers et ceux du domaine noir vers . On observe que la suite ne converge pas n cessairement vers la solution la plus proche de . e
En pratique, il arrive souvent que la forme analytique de la matrice est inconnue. Dans cette situation on approche les el ments e de la matrice jacobienne par (3.8)
" " e ~ " " e j r d"d" r r dd" r su r dd" r r pd" r T "" "" e j q 8 @9
q a i
8
`
" a x v u a a a u e c a % a Q x (% Q wph(% r (% hb 88 ft(T |b 8 T a a eca ftb 4 bR(% a T eca a |bmftb hb 8 p|b ua 4 4 I ua T a ua " a T x v ua T a T a Q x bm 1 sphbm r bm hb 88 r phbo hb 8 p|b g
dans cette formule (avec ), on obtient pour lerreur la formule
(3.3)
h T mh pw h wy V T y fpwT
xQ x (% Q wph(% r (% hb 88 fn 1|b 8 A ft(% " a x v u a a a e a eca q4 a w T ec w " a u y a r VT a a gfda y h r i 4 qa bpi
a b
4
PT p A
T a a 4 bsR(% 4
r q w (UT6T ` 4
{hm u
140
F IG . VI.2: Bassins dattraction pour lit ration (3.6) e Mais comment doit-on choisir le ? Pour simplier la notation, consid rons une fonction a une e ` variable et notons-la par . Un d veloppement en s rie de Taylor montre que e e
En cons quence, doit etre petit pour que lerreur de la discr tisation ne soit pas trop grande. e e Dautre part, la soustraction dans (3.9) est tr` s mal conditionn e. Une etude des erreurs darrondi e e montre que lexpression obtenue par un calcul en virgule ottante vaut
o` u eps (eps est la pr cision de lordinateur, voir section II.3). Lid e est de choisir an que e e les deux erreurs soient de la m me grandeur : e
R
ou
eps
" u 1H Vi
"
eps
e
(3.9)
d (@
(3.10)
(3.11)
141
Si la dimension du probl` me (3.1) est tr` s grande et/ou l valuation de la matrice e e e co teuse, on peut remplacer la d nition de u e par
Dans ce cas, il suft de calculer une fois pour toutes la d composition LR de e , ce qui facilite grandement la r solution des syst` mes lin aires successifs. Mais on perd la convergence quadrae e e tique car (3.12) nest rien dautre quune it ration (1.2) avec e et est non nul en g n ral. e e En cas de mauvaise convergence, on remplace la d nition de e par (3.13)
Si est diff rentiable, la fonction e est aussi diff rentiable et une condition e n cessaire pour que soit un minimum local est davoir e , c.-` -d. a
Une possibilit pour r soudre (4.1) est dappliquer une m thode it rative, par exemple la m thode e e e e e de Newton, au syst` me (4.2). Ceci n cessite le calcul de la deuxi` me d riv e de e e e e e . Une autre possibilit est de lin ariser e e dans (4.1) autour dune approximation de la solution et de calculer de
Une r p tition de cette id e donne lalgorithme suivant (m thode de Gauss-Newton) e e e e for calculer et d terminer e de (moindres carr s) e end for Pour calculer
`
i
z
absbftb u a eca 320 a y x ab1|b upab abx aba 8 hp 89 " |" b dp" r r r r ! s
H
e
et on d termine e
de facon a ce que `
soit minimale.
8
est tr` s e
(3.12)
(4.1)
a b
(4.2)
(4.3)
(4.4)
142
Etude de la convergence
Pour etudier la convergence de la m thode de Gauss-Newton, d veloppons la fonction e e
o` u
Soit maintenant une solution de (4.1). Elle satisfait soustrayant (4.4), nous obtenons ainsi le r sultat suivant. e
Th or` me 4.1 Supposons que e e (avec ) soit fois contin ment diff rentiable, u e soit maximal et que soit une solution de (4.1). Alors, pour sufsamment que le rang de proche de , lerreur de la m thode de Gauss-Newton satisfait e
Terminons ce chapitre avec une application typique de cet algorithme. Exemple (Identication de param` tres). La gure VI.3 montre une photographie de la Vall e e e Blanche (prise par G. Wanner). On y reconnat le Col des Grandes Jorasses, lAiguille du G ant, e lAiguille Blanche de Peterey, lAiguille du Tacul, le Petit Rognon et lAiguille du Moine. La gure VI.4 est une copie dune carte g ographique de cette r gion. Le probl` me consiste a trouver e e e ` la position de la cam ra, ses caract ristiques (foyer) et les angles dinclinaison. e e Pour la formulation math matique de ce probl` me, nous avons choisi des coordonn es e e e sur la photographie (gure VI.3, lorigine est au centre) et des coordonn es e sur la carte ( repr sente laltitude). Les valeurs mesur es pour les points reconnus sont donn es dans le e e e tableau VI.2.
r b x
54 4 m 4 " a T x v ua T a a X ua T a Q y x bF Q bF r b iA |b |hbF |b 8 1|b 8 A ||b hb 8 5 a ua a
en g n ral, la convergence est lin aire; e e e on a convergence quadratique si ; si est trop grand, la m thode diverge. e
dr h r
" a x 1 y x (% 1 vsupha(% r |ab A hb X |b 8 1|b 8 A Vift(% a a a T eca e fn T a a 4 Fb(% a b 8 4
bj e Q g
. En posant
" Q bj bj e Q u bjQbj e Q b j p y # e " j bjQbj e Q r p y b X 8 1 8 5 p r A !g 8 u X w Yg 54
r 8 A m X 54 4
(4.5)
(4.6)
(4.7)
(4.8)
dans (4.8) et en
143
F IG . VI.3: Photographie de la Vall e Blanche e TAB . VI.2: Les donn es pour le probl` me Vall e Blanche e e e
1. 2. 3. 4. 5. 6.
Col des Grandes Jorasses Aiguille du G ant e Aig. Blanche de Peterey Aiguille de Tacul Petit Rognon Aiguille du Moine
Pour xer les inconnues, notons par ( la position du foyer de la cam ra, par le vecteur e la direction de vue avec norme correspondant a la distance du plan du lm et par langle ` de rotation de la cam ra autour du vecteur e . On a donc param` tres a trouver. De plus, e ` consid rons la base orthogonale e
dont les deux vecteurs et engendrent le plan du lm, etant horizontal et vertical. Alors, le vecteur dans lespace qui montre du centre de la lentille vers le point sur le lm est donn par e o` u
et
a |j r h r r a x k y w u y 4 y u y u y 54 y wu y A4 zT 4 T
jj jj jj jjr jf jj a b
jj3#T r " jj3#T " jf3# " jj3# r " jj3# w " jj3# r " a
r a y r ae a a f
pr 54 r r hr
x# r " jjx# " x#zT " jjx# " x#zT " jjx#zT " a
a zk a f u u
k y su y 4 k r 4 T
a ay ae
dr A4 r
144
F IG . VI.4: La region de la Vall e Blanche e colin aires. Ceci donne deux conditions pour chaque . Mais, par sym trie, il est plus naturel de e e consid rer les trois conditions (pour chaque ) e
T a h # h T a b T a
a aa e y
(4.10)
w r s
jjx#T " jjx#T " jjx#T " jjx#T " x# " jjx# " jjx# "
rw " jjx#T rw " jjx#T rw " jjx#T rw " jjx#T jx#T r " w " jjx#T jjx# "
jA#T " jA#T " jA#T " jA#T " jA#T " jjx#T " jjxp6T "
w " j3#T w " j3#T w " j3#T j3#T " f3#T " wj3#T " j3# " 4
j j j wjjw j j j a
w j w j w jj w w wjj jj ww jj a #h
En appliquant la m thode de Gauss-Newton a ce syst` me avec comme valeurs initiales e ` e , , , , , , , apr` s peu dit rations on obtient la e e solution , , avec une pr cision de chiffres (voir le tableau VI.3). On e a donc bien trouv la position de la cam ra. Cest a lAiguille Verte (altitude 4122) que Gerhard a e e ` pris cette photo.
Y
jf! jgh jj!I w 4 j jj h jj T {@ 3A 2 A 2 511@@t ! 1 F@ ' 2 3 2 5 1!@@t @{ 2 F'vAA2 @5 1)@@@@{1!At@A 3 t e 1{t3@' A{t@@ ( ! ! 0{ 2 ( ! 0 {! @@ 2 ( ! 0A)A"{! @ 2 Q @@0(1FF {@ e Qt@51@{{{t@'1!Q @t5@{t p 1 t @ ' 1! Q@ p5 11{{@ 5 5t A@ 1HA 1He @() Av1 e0A 5' '!@A'{@( ( e Ad 1'@'Q@'!t d { A {A )( '! ' { 1{ '! @'A11@{&t{ 5 @% e @ A$A# A@" Q At A{AQ5@1!vt{ @ 5 e A @ @ t 3tAA@@ 1QttA A @@ @ @ tAA@@@@ t @t@ (@xt @A (t (@{vA@ 1Ae (@ tt @Q ttA @ { $A@ A15@Q A@ t { @ @ @ 1 Q @ tA y 5 ut$F1A55 1@ 5 e 6 w g
conditions pour
146
VI.5 Exercices
(d) Soit un polynme, nous avons que le travail pour valuer et est approximativement le mme. Supposons que le cot des oprations dadditions, de soustractions, de mul. Quelle mthode tiplications et de divisions sont ngligeables par rapport lvaluation de choisiriez-vous entre la mthode de Newton et la mthode de la scante (5.1) pour calculer une travail gal? racine de
`f
yiG `
h SQ
est la seule direction ayant la propi t suivante: ee Pour toute matrice inversible , il existe tel que pour
C B 4 DT%e i h f y i G ` VYU ` Q g d f
C B DT4
& C
C B DT4
4 e fn G ` DCB 8 dW R `
C B 4 DT%e
7 4 9 x 5
` DCB 8 4 7 x
2. Soit et que
supposons que
G Q R
G C DB
G C B DT4
84
d $ d
G C B bDT4
p G 8
U B v
avec
avec
G C B bDT4
G Vh 8B 4 4 v 88
G h uB
,o
Q iR
E HefnteFetrsqfte a a p eca af a 9 gR e
E yiw e x p
U G C B TF DT4
a 9
eca fte
R SQ
7 A@864 9 7 5
, considrons litration
, satisfait
G C B bDT4
G C B DT4
147