Vous êtes sur la page 1sur 23

Chapitre 4

Résolution d’équations non


linéaires

Dans ce chapitre, nous passons en revue les principales méthodes numé-


riques qui existent pour trouver une racine d’une équation ou d’un système
non linéaire. Au delà des méthodes elles-mêmes, nous insisterons sur l’étude
de leur comportement. En particulier, une question importante qui sera
abordée est la notion de convergence des méthodes. C’est cette question
cruciale qui peut être déterminante dans le choix d’une méthode par rapport
à une autre.
Pour mettre les idées en place, et pour commencer, nous recherchons une
racine de l’équation
f (x) = 0. (4.1)
A l’exception de la recherche des racines d’un polynôme, il n’existe pas
de méthode capable de rechercher toutes les racines de (4.1). Toutes les
méthodes que nous développons ici sont itératives, c’est-à-dire qu’elles cons-
truisent une suite (xn ) avec la propriété que
lim xn = x̄,
n→∞

où f (x̄) = 0. En règle générale, il est très difficile de prévoir vers quelle
racine x une méthode converge. Si la racine trouvée n’est pas celle souhaitée,
il faudra recommencer l’algorithme avec un autre point de départ.
Nous commençons ce chapitre par la méthode la plus simple et que
nous avons également présentée brièvement dans l’introduction, à savoir la
méthode de la dichotomie ou bisection.

51
52 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

4.1 Méthode de la bisection


Supposons que l’on cherche à localiser une racine d’une fonction continue
f (x). Si de plus, on connaı̂t deux points a0 et b0 tels que f (a0 ) < 0 et
f (b0 ) > 0. On suppose sans perte de généralité que a0 < b0 . Dès lors, le
théorème des valeurs intermédiaires nous garantit qu’une racine x de f existe
sur l’intervalle [a0 , b0 ]. L’algorithme de la bisection consiste à définir xi :=
ai−1 +bi−1
2
. Si f (xi ) < 0, alors ai := xi et bi := bi−1 . Si, en revanche, f (xi ) > 0,
alors ai := ai−1 et bi := xi . Il n’est pas difficile de prouver que la méthode de
la bisection converge vers une racine x avec un taux de convergence linéaire.
Proposition 4.1 Soit x̄ une racine (supposée unique) de f sur l’intervalle
[a0 , b0 ]. Alors on a
(b0 − a0 )
|x̄ − xn | ≤ .
2n
Démonstration: La taille de l’intervalle [ai , bi ] est exactement divisée par 2 à
chaque itération. De plus, comme la racine x̄ se trouve soit dans la première,
soit dans la deuxième partie de l’intervalle, on en déduit que la distance entre
x̄ et xn est inférieure ou égale à la moitié de la taille de l’intervalle à l’itération
n. Le résultat découle ensuite du fait que la taille de l’intervalle à l’itération
−a0
n est égal à b20n−1 .

La méthode de la bisection admet donc un taux de convergence linéaire. Par


souci de précision, nous rappelons ici la définition du taux de convergence
qui avait été abordé dans l’introduction.
Définition 4.1 Lorsque yn → y avec |yn − y| ≤ c0 cpn , pour c0 , p > 0 et
0 < c < 1, on dit que la suite (yn ) a un taux de convergence d’ordre p.
Lorsque p = 1 comme dans le cas de la méthode de la bisection, on parle
de convergence linéaire. Pour p > 1 en général, on parle de convergence
superlinéaire et pour p = 2, de convergence quadratique.
Comme dit précédemment, la méthode de la bisection est très facile à
mettre en oeuvre et admet une bonne stabilité. Le seul point négatif est
qu’elle nécessite deux points de départ a0 et b0 qui peuvent être difficiles à
trouver. Dans certains cas, de tels points n’existent même pas. Par exemple,
pour une fonction qui admet une racine double, il est impossible de mettre
la méthode de la bisection en oeuvre au voisinage de la racine. De plus, la
méthode nécessite la continuité de la fonction. Des résultats erronés peuvent
apparaı̂tre si on néglige ce point.
4.2. MÉTHODE DU POINT FIXE 53

4.2 Méthode du point fixe


La force de la méthode de la bisection est sa robustesse. Sa faiblesse est
le relatif mauvais ordre de convergence. La méthode du point fixe ne corrige
pas cette faiblesse. Il est néanmoins intéressant de l’étudier car il s’agit d’une
méthode que nous appliquerons plus tard dans le cas de systèmes linéaires.
Supposons à nouveau que nous cherchions une solution à f (x) = 0. Par
ailleurs, imaginons que nous arrivions à réécrire l’équation sous la forme
x = g(x). Arrêtons nous quelques instants sur cette réécriture. Il s’agit en
réalité d’une opération plus simple qu’il n’y paraı̂t sauf si nous ne disposons
pas de la forme analytique de f . C’est ce que l’exemple suivant tente de
montrer.

Exemple 4.1 Supposons que nous cherchions la racine de l’équation donnée


dans le chapitre 1
x3 + x − 1 = 0.
Il existe plusieurs façons de réécrire l’équation sous la forme x = g(x). On
écrira, par exemple,

x = −x3 + 1

x = 3 −x + 1
x = x3 + 2x − 1
1
x= 2 .
x +1
Nous comparerons plus tard l’efficacité de ces différentes réécritures et nous
verrons qu’elles sont loin d’être équivalentes pour les performances de la
méthode du point fixe. Le but de cet exemple est surtout de montrer qu’il
existe souvent un grand nombre de façons d’obtenir la forme x = g(x).

La méthode du point fixe est encore plus simple à mettre en oeuvre que
la méthode de la bisection. L’algorithme s’écrit en effet en une ligne

xk+1 = g(xk ).

Il faut bien entendu choisir un point de départ x1 . Graphiquement, on part


d’un point x1 , on calcule la valeur g(x1 ) (trait vertical), on reporte cette
valeur sur l’abscisse (trait horizontal) et on itère. La Figure 4.1 représente
54 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

cos x1 x2
cos x3
cos x x4
0.8

cos x4
0.6
cos x2
x3
0.4

x
0.2

x1
0 0.2 0.4 0.6 0.8

Fig. 4.1 – 4 itérations de la méthode du point fixe pour x = cos x

Itération xk cos xk
1 0 1
2 1 0.5403
3 0.5403 0.8576
4 0.8576 0.6543
5 0.6543 0.7935
6 0.7935 0.7014
7 0.7014 0.7640
8 0.7640 0.7221

Tab. 4.1 – 8 itérations de la méthode du point fixe pour x = cos x


4.2. MÉTHODE DU POINT FIXE 55

Itération xk x3k + 2xk − 1 Itération xk x3k + 2xk − 1


1 1 2 1 0 −1
2 2 11 2 −1 −4
3 11 1352 3 −4 −73

Tab. 4.2 – 3 itérations divergentes de la méthode du point fixe

x1

x2
x3
x2
x3
x1

Fig. 4.2 – La méthode converge pour |g $ (x)| < 1 et diverge pour |g $ (x)| > 1

quelques itérations de la méthode du point fixe dans le cas de l’équation


x = cos x. Le tableau 4.1 indique les 8 premières itérations. Sur la Figure et
en faisant quelques itérations, on remarque que la méthode converge vers une
solution de l’équation. Il n’en est pourtant pas toujours ainsi. Considérons à
présent la troisième version que nous avons écrite dans l’Exemple 4.1 pour
résoudre x3 + x − 1 = 0. On va calculer des valeurs successives xk+1 =
x3k + 2xk − 1. Si on part de x1 = 1 ou de x1 = 0, on obtient le tableau 4.2 avec
les deux suites. Dans les deux cas, la méthode diverge assez rapidement. Ce
sera d’ailleurs le cas pour tout point x1 choisi (sauf la racine évidemment). Ce
que l’on peut remarquer, c’est que c’est |g $ (x)| qui détermine si la méthode
converge ou pas. Pour une valeur absolue inférieure à 1 au voisinage de la
racine, la méthode peut être convergente. Dans le cas d’une valeur abso-
lue supérieure à 1, la méthode diverge. C’est ce qu’indique intuitivement la
Figure 4.2. Le théorème suivant formalise une condition suffisante de conver-
gence relativement générale. Nous verrons par la suite que la condition intui-
tive |g $ (x)| < 1 en est un cas particulier.
Théorème 4.1 Soit g(x) une fonction dont x̄ est un point fixe g(x̄) = x̄.
Considérons l’intervalle I = {x | |x − x̄| ≤ r} pour r > 0. Si g satisfait la
56 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

condition de Lipschitz

|g(x) − g(x̄)| ≤ L|x − x̄| pour tout x ∈ I,

avec 0 < L < 1, alors l’itération xk+1 = g(xk ) converge vers x̄ pour tout
point de départ x1 ∈ I.

Démonstration: Nous allons prouver que


(i) tous les itérés xn appartiennent à I,
(ii) dans l’intervalle I, la racine x̄ est unique,
(iii) les itérés xn convergent vers x̄.
Nous démontrons le point (i) par récurrence. Par hypothèse, x1 appartient
à I. Supposons alors que xn−1 appartient à I, on en déduit

|xn − x̄| = | g(xn−1 ) − g(x̄)|


≤ L|xn−1 − x̄|
≤ r,

c’est-à-dire que xn appartient également à I.


En ce qui concerne l’unicité (point (ii)), remarquons que s’il y avait deux
points fixes x̄ et ȳ, on aurait

|x̄ − ȳ| = |g(x̄) − g(ȳ)| ≤ L|x̄ − ȳ| < |x̄ − ȳ|.

Cette contradiction indique que l’on doit avoir x̄ = ȳ.


Quant au point (iii), on obtient successivement :

|xn − x̄| ≤ L|xn−1 − x̄| (4.2)


≤ L2 |xn−2 − x̄|
..
.
≤ Ln−1 |x1 − x̄|

d’où, pour n → ∞, xn → x̄ puisque L < 1.

Un cas particulier intéressant du Théorème 4.1 est quand la valeur absolue


de la dérivée est inférieure à 1 sur tout l’intervalle.
4.2. MÉTHODE DU POINT FIXE 57

Proposition 4.2 Soit g une fonction dérivable qui admet un point fixe x̄.
Considérons l’intervalle I = {x | |x − x̄| ≤ r}. Si pour tout x ∈ I, on a

|g $ (x)| ≤ C < 1,

alors l’itération xk+1 = g(xk ) converge vers x̄ pour tout point de départ x1 ∈
I.

Démonstration: Nous allons montrer que l’hypothèse du Théorème 4.1 est


satisfaite. Nous avons en effet, pour tout x ∈ I,

|g(x) − g(x̄)| = |g $ (ξ)(x − x̄)| (4.3)


= |g $ (ξ)||x − x̄|
≤ C|x − x̄|,

où (4.3) est obtenu en vertu du théorème de la moyenne pour un ξ entre x


et x̄.

Il est intéressant de remarquer que (4.2) implique que l’ordre de conver-


gence de la méthode est linéaire. Il est également important de voir que plus
L est petit, plus la méthode sera rapide. Nous avons également vu que la
preuve de la Proposition 4.2 implique que si |g $ (x)| ≤ C sur l’intervalle, nous
avons C ≤ L. A nouveau, une borne peu élevée sur la dérivée mènera à une
convergence plus rapide.

Exemple 4.2 Si on reprend les expressions trouvées dans l’Exemple 4.1, on


trouve des comportements totalement différents en fonction de g(x). Reportons-
les dans le tableau suivant.
g(x) g $ (x) Borne de Intervalle de
$
|g (x)| sur [0, 1] convergence autour
de x̄ ≈ 0.682
−x3 + 1 −3x2 3 ∅
√ 1
! 1 " 32 3
3
−x + 1 − 2 +∞ (2x̄ − 1 + 3 , 1 − ( 13 ) 2 )
3(−x+1) 3
≈ (0.5565, 0.8075)
x3 + 2x − 1 3x2 + 2 5 ∅
1
x2 +1
−2x
(x2 +1)2
1 R
58 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

Remarquons que le Théorème 4.1 produit une condition suffisante de


convergence. La condition n’est cependant pas toujours nécessaire. Dans
l’Exemple 4.2, on peut prouver, par exemple, que la deuxième forme pro-
duit une convergence pour tout point de départ dans (0, 1). Il arrive, en
effet, quelquefois que dans le courant de l’agorithme, on retombe presque par
hasard dans une zone où il y a convergence.

4.3 Méthode de la sécante


4.3.1 Exposé de la méthode
Jusqu’à présent, toutes les méthodes que nous avons vues jouissent d’une
convergence linéaire, dans le cas où elles convergent. Nous allons à présent
améliorer la méthode de la bisection et obtenir un processus dont l’ordre de
convergence est superlinéaire. L’idée de la méthode de la sécante est assez
similaire à celle de la bisection. A chaque itération, on conserve les deux
derniers itérés xi−1 et xi . Mais cette fois, nous ne nécessitons aucune hy-
pothèse sur le signe des deux itérés. A la place, nous allons approximer la
fonction f par la droite qui relie les deux points (xi−1 , f (xi−1 )) et (xi , f (xi ))
et rechercher la racine de cette droite. Cette racine sera le nouvel itéré xi+1 .
Mathematiquement, on calcule l’itéré par la formule

f (xi )(xi − xi−1 )


xi+1 = xi − .
f (xi ) − f (xi−1 )

L’interprétation géométrique est indiquée sur la Figure 4.3. On voit qu’il


s’agit d’une amélioration par rapport à la bisection. En effet, dans certains
cas, la méthode de la bisection trouve par hasard de très bons itérés. Mais à
cause de son extrême rigidité (l’obligation de toujours diviser l’intervalle par
2), elle doit parfois s’éloigner de ces bonnes approximations de la racine. La
méthode de la sécante, quant à elle, tire parti de la valeur donnée par f (xi )
et non pas uniquement de son signe.

Exemple 4.3 Appliquons la méthode de la sécante pour trouver la racine


réelle de f (x) = x3 +x−1 = 0. Nous partons, comme dans le cas présenté dans
l’Exemple 1.2, des itérés x1 = 0 et x2 = 1. Pour une meilleure comparaison
des méthodes, nous reportons les résultats de la sécante et de la bisection en
parallèle dans le tableau suivant. Nous reportons 6 chiffres après la virgule.
4.3. MÉTHODE DE LA SÉCANTE 59

f(x)

x i+1 x i x i−1
Fig. 4.3 – Interprétation géométrique de la méthode de la sécante

Itération Sécante Bisection


xi f (xi ) xi f (xi )
1 0 -1.000000 0 -1.000000
2 1 1.000000 1 1.000000
3 0.500000 -0.375000 0.500000 -0.375000
4 0.636364 -0.105935 0.750000 0.171875
5 0.690052 0.018636 0.625000 -0.130859
6 0.682020 -0.000737 0.687500 0.012451
7 0.682326 -0.000005 0.656250 -0.061127
8 0.682328 0.000000 0.671875 -0.024830
9 0.682328 0.000000 0.679688 -0.006314
10 0.682328 0.000000 0.683594 0.003037

4.3.2 Convergence de la méthode de la sécante


Il est clair à partir de l’exemple que la méthode converge plus rapidement
vers la racine. Nous allons maintenant analyser cet ordre de convergence.

Théorème 4.2 La méthode de la sécante jouit d’une convergence d’ordre


60 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

1+ 5
2
≈ 1.618. En d’autres termes, on a
|xn+1 − x̄| ≤ C|xn − x̄|1.618 ,
pour C > 0 et où f (x̄) = 0.
La preuve de ce théorème est extrêmement technique et dépasse le cadre
de ce cours. On peut néanmoins essayer de comprendre comment un ordre
de convergence aussi bizarre peut apparaı̂tre. L’idée est que l’on peut écrire
l’erreur comme
# $
1 f $$ (x̄)
en+1 := (xn+1 − x̄) ≈ − en en−1
2 f $ (x̄)
≈ Ken en−1 .
En prenant le logarithme de la dernière expression et en notant zi = log |Kei |,
on peut écrire
zn+1 ≈ zn + zn−1 .
Ceci est une relation de récurrence qui ressemble à s’y méprendre à la suite
de Fibonacci. On peut montrer que tout élément de cette récurrence peut
s’écrire comme
zn = Aαn + Bβ n
où α et β sont les racines de l’équation quadratique provenant de la récurrence
z 2 = z + 1.
√ √
1+ 5
On a par conséquent, α = 2
et β = 1−2 5 . On aura donc
% √ &n % √ &n
1+ 5 1− 5
log |Ken | ≈ A +B
2 2
% √ n&
1+ 5
≈A
2
puisque dans ce cas-ci, c’est le terme puissance de α qui domine. On a donc
finalement
n
|Ken | ≈ 10Aα
n−1
|Ken−1 | ≈ 10Aα ,
c’est-à-dire
|en |
≈ C.
|en−1 |α
Il s’agit bien entendu d’un essai d’explication et non d’une preuve rigoureuse.
4.4. MÉTHODE DE NEWTON-RAPHSON 61

4.3.3 Extension de la méthode de la sécante


La méthode de la sécante se base sur l’approximation linéaire de la fonc-
tion à partir des deux itérés précédents. Rien n’empêche d’utiliser plus d’itérés
précédents et de produire une approximation polynomiale d’un degré plus
élevé. On peut, par exemple, considérer les trois précédents itérés (xn , f (xn )),
(xn−1 , f (xn−1 )) et (xn−2 , f (xn−2 )) pour créer un polynôme de degré 2 qui
approxime notre fonction f . C’est ce qu’on appelle la méthode de Müller.
Deux problèmes apparaissent. Premièrement, ayant un polynôme quadra-
tique, nous aurons le choix entre 2 points (les 2 racines du polynôme) comme
nouvel itéré. Cette question est résolue en général en prenant la racine la plus
proche de xn . Le deuxième problème apparaı̂t lorsque le polynôme créé n’a
que des racines complexes. Il ne sera alors pas possible de continuer sur la
droite réelle. Néanmoins, ce problème peut également être un avantage. La
méthode de Müller est en effet la seule méthode qui, partant d’un point réel,
peut converger vers une racine complexe (si une telle racine est recherchée).
A nouveau, l’ordre de convergence est assez technique à analyser. On peut
prouver que son ordre de convergence est environ de 1.84, ce qui améliore la
méthode de la sécante, mais pas drastiquement.

4.4 Méthode de Newton-Raphson


4.4.1 Idée de la méthode
Nous allons encore améliorer le taux de convergence en profitant de l’infor-
mation de la dérivée de f si celle-ci est disponible. Le principe de la méthode
est, une fois de plus, d’approximer la fonction f par une droite. Mais au
lieu de considérer la droite reliant (xn , f (xn )) à (xn−1 , f (xn−1 )), nous allons
considérer l’approximation linéaire donnée en xn par le développement en
série de Taylor tronqué au terme linéaire. Rappelons que nous avons
(x − xn )2 $$
f (x) = f (xn ) + (x − xn )f $ (xn ) + f (xn ) + · · ·
2
Si nous approximons f uniquement par les deux premiers termes de cette
série, nous obtenons f (x) = f (xn ) + (x − xn )f $ (xn ). Une approximation
d’une racine de cette fonction est donc
f (xn )
x = xn − $ .
f (xn )
62 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

f(x)

x i+1 x i
Fig. 4.4 – Interprétation géométrique de la méthode de Newton-Raphson

L’algorithme de Newton-Raphson consiste à considérer cette approximation


comme itéré suivant. Nous aurons donc

f (xn )
xn+1 = xn − .
f $ (xn )

L’interprétation géométrique de la méthode est indiquée sur la Figure 4.4. A


partir du point (xn , f (xn )), on trace la tangente à f et recherchons l’inter-
section de cette tangente avec l’axe des abscisses. Cela donne l’itéré suivant.

4.4.2 Convergence de la méthode de Newton-Raphson


Etudions à présent le taux de convergence de la méthode de Newton-
Raphson. Le théorème suivant prouve que la méthode jouit d’une convergence
d’ordre quadratique.

Théorème 4.3 Soit x̄, une racine de f . Si f $ (x̄) )= 0, la méthode de Newton-


Raphson converge quadratiquement vers x̄ dans un voisinage de x̄, c’est-à-dire

|xn − x̄| ≤ C|xn−1 − x̄|2 ,

pour C > 0, n suffisamment grand, et x suffisamment proche de x̄.


4.4. MÉTHODE DE NEWTON-RAPHSON 63

f(x) f(x)

x1 x3 x2

Fig. 4.5 – Deux cas de non-convergence pour la méthode de Newton-Raphson

Démonstration: Ecrivons l’erreur réalisée à l’itération n. Nous avons


f (xn−1 )
|xn − x̄| = |xn−1 − x̄ − |. (4.4)
f $ (xn−1 )
Par le théorème de Taylor, nous avons
f $$ (ξn )
0 = f (x̄) = f (xn−1 ) + f $ (xn−1 )(x̄ − xn−1 ) + (x̄ − xn−1 )2 ,
2!
pour ξn compris entre x et xn−1 . Utilisant l’expression de f (xn−1 ), on peut
donc réécrire (4.4) comme

f $ (xn−1 ) f $$ (ξn )
|xn − x̄| = |(xn−1 − x̄) + (x̄ − x n−1 ) + (x̄ − xn−1 )2 |
f $ (xn−1 ) 2f $ (xn−1 )
f $$ (ξn )
=| $
(x̄ − xn−1 )2 |
2f (xn−1 )
≤ C|xn−1 − x̄|2
f "" (ξn )
car f $ (x̄) )= 0 par hypothèse et dès lors, on peut prouver que f " (x̄)
est borné
dans un voisinage de x̄.

Lorsque l’on se trouve proche de la racine, la méthode de Newton-Raphson


converge extrêmement vite. Malheureusement, cette convergence n’est pas
globale. Pour certains points de départ, en effet, il peut arriver que la méthode
diverge ou cycle, elle aussi. Cela peut être aisément illustré. La Figure 4.5
indique quelques mauvais cas qui peuvent se produire. Dans le cas de plu-
sieurs racines pour f , il n’est, en général, pas évident de savoir a priori quels
points de départ convergeront vers quelles racines. C’est la raison pour la-
quelle la méthode de Newton sera souvent utilisée pour améliorer rapidement
64 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

une approximation obtenue par une autre méthode plus robuste (comme par
exemple la bisection). Enfin, il y a un cas particulier important pour lequel
la méthode n’admet pas une convergence quadratique. Nous avons vu, en ef-
fet, que la convergence quadratique n’est obtenue dans le Théorème 4.3 que
pour f $ (x̄) )= 0. Dans le cas d’une racine multiple, et donc avec f $ (x̄) = 0, la
méthode converge néanmoins mais seulement linéairement.
Théorème 4.4 Soit x̄ une racine de f . Si f $ (x̄) = 0, l’itéré de la méthode
de Newton-Raphson converge linéairement vers x̄ dans un voisinage de x̄.
Démonstration: On a xn = xn−1 − ff"(x n−1 )
(xn−1 )
. On peut donc écrire l’erreur
' '
' f (x n−1 ) '
|xn − x̄| = ''xn−1 − x̄ − $ '. (4.5)
f (xn−1 ) '
Remarquons que nous ne pouvons plus utiliser le même développement de
Taylor d’ordre 2 qu’auparavant car cela nécessitait de borner f $$ /f $ au voisi-
nage de x̄. Nous pouvons cependant utiliser un développement d’ordre 1 et
écrire
0 = f (x̄) = f (xn−1 ) + f $ (ξn )(x̄ − xn−1 ).
Nous pouvons maintenant réécrire (4.5) comme
f $ (ξn )
|xn − x̄| = |xn−1 − x̄ + (xn−1 − x̄)|
f $ (xn−1 )
f $ (ξn )
= |(1 + $ )(xn−1 − x̄)|. (4.6)
f (xn−1 )
Cette fois, nous pouvons borner l’expression |f $ (ξn )/f $ (xn )| car ξn est compris
entre x̄ et xn . Dans un voisinage de x̄, on a dès lors que |f $ (x̄)| ≤ |f $ (ξn )| ≤
|f $ (xn )|. On peut donc déduire de (4.6) que
|xn − x̄| ≤ C|xn−1 − x̄|,
avec C > 0.

Si on sait à l’avance que l’on cherche une racine double, il est possible de re-
trouver un ordre quadratique de convergence. Pour une racine de multiplicité
m, les itérations
f (xn )
xn+1 = xn − m $
f (xn )
produisent à nouveau une convergence quadratique.
4.4. MÉTHODE DE NEWTON-RAPHSON 65

4.4.3 Lien avec d’autres méthodes


La méthode du point fixe Lorsque nous avons étudié les méthodes de
point fixe pour résoudre un problème f (x) = 0, nous avons dit qu’il existe
une multitude de façons de réécrire l’équation afin de résoudre le problème
x = g(x). Une manière simple de faire est de remarquer que l’on peut toujours
écrire g comme g(x) = x − af (x) où a est une constante. Il s’agit d’une
expression très similaire à celle de la méthode de Newton-Raphson. En réalité,
c’est comme si la méthode de Newton-Raphson était une méthode de point
fixe où l’on a choisi a = f " (x1 n ) . En revanche la méthode de Newton-Raphson
utilise une valeur a différente à chaque itération. Ce détail permet de passer
d’un ordre de convergence linéaire à quadratique.

La méthode de la sécante Que se passe-t-il si nous ne disposons pas


d’une expression analytique de la dérivée de f ? Nous ne pourrons alors pas
utiliser la méthode de Newton-Raphson telle quelle. Nous verrons plus tard
dans ce cours comment approximer la dérivée d’une fonction. Il est déjà
possible d’appliquer la définition et de considérer f $ (xn ) ≈ f (xxn−1 )−f (xn )
n−1 −xn
. En
utilisant cette approximation numérique de la dérivée, on retombe en réalité
sur la méthode de la sécante. Il est intéressant de remarquer que le fait
d’utiliser cette approximation ramène l’ordre de convergence de 2 à 1.618.

Optimisation La méthode de Newton-Raphson est souvent utilisée pour


maximiser ou minimiser une fonction f deux fois dérivable. On parle alors de
méthode de Newton. Dans ce cas, on se base sur le fait que l’on recherche un
point x̄ où la dérivée f $ (x̄) = 0. Le principe de la méthode est exactement le
même. On part d’un point x1 , et on itère

f $ (xn )
xn+1 = xn − .
f $$ (xn )

Dans ce cas, il conviendra bien entendu ensuite de vérifier si l’on obtient un


minimum ou un maximum. Dans le cas d’optimisation de fonctions convexes
ou concaves, la question ne se pose plus puisqu’elles admettent un extre-
mum unique qui est soit un mimumum (cas d’une fonction convexe) soit un
maximum (cas d’une fonction concave).
66 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

4.5 Résolution de systèmes d’équations


Dans certains cas, il est possible d’adapter les méthodes que nous venons
de voir à la résolution de systèmes d’équations. Dans cette section, nous
allons donc nous attarder à la résolution de F (x) = 0 où F : Rn *→ Rn et
où x et 0 sont considérés comme des vecteurs de dimension n. Remarquons
tout d’abord qu’il n’est pas possible d’adapter la méthode de la bisection
au cas multidimensionnel. Par contre, la méthode du point fixe et celle de
Newton-Raphson s’adaptent sans trop de problèmes au cas de la résolution
d’un système non-linéaire.

4.5.1 Méthode du point fixe pour un système


Si nous souhaitons résoudre F (x) = 0, on peut à nouveau écrire de
manière équivalente x = G(x) pour une certaine fonction G. Il existe d’ailleurs
une multitude de choix pour G. La méthode du point fixe appliquée aux
systèmes est totalement similaire au cas à une variable. On part d’un “point”
(qui est ici un vecteur) x1 . Ensuite on itère xk+1 = G(xk ). La condition de
Lipschitz est à nouveau suffisante pour garantir la convergence.

Proposition 4.3 Soit G : Rn *→ Rn une fonction dont x̄ est un point fixe


G(x̄) = x̄. Considérons la boule B = {x | +x − x̄+ ≤ r} pour r > 0. Si G
satisfait la condition de Lipschitz

+g(x) − g(x̄)+ ≤ L+x − x̄+ pour tout x ∈ B,

avec 0 < L < 1, alors l’itération xk+1 = G(xk ) converge vers x̄ pour tout
point de départ x1 ∈ B.

Démonstration: La preuve est totalement similaire à celle du Théorème 4.1


où l’on remplace les valeurs absolues par des normes.

Nous ne pouvons pas répéter telle quelle la condition suffisante de convergence


qui existait sur la dérivée de g. Néanmoins il existe une condition similaire
sur la Jacobienne de G. Rappelons que l’on peut écrire

G = (G1 (x1 , . . . , xn ), . . . , Gn (x1 , . . . , xn )).


4.5. RÉSOLUTION DE SYSTÈMES D’ÉQUATIONS 67

La Jacobienne de G s’écrit
 ∂G1 ∂G1

∂x1
··· ∂xn
 .. ... .. 
J(x) =  . . .
∂Gn ∂Gn
∂x1
··· ∂xn

Formellement, la condition +J(x)+ ≤ 1 est suffisante pour obtenir la conver-


gence. En pratique, le choix de la norme 2 traditionnelle sur les matrices
donne n conditions.

Proposition 4.4 Soit G : Rn *→ Rn une fonction différentiable qui admet


un point fixe x̄. Considérons la boule B = {x | +x − x̄+ ≤ r}. Si pour tout
x ∈ B, on a
n '
.
'
' ∂G1 (x) '
' '
' ∂xi ' < 1
i=1
..
.
n '
. '
' ∂Gn (x) '
' '
' ∂xi ' < 1
i=1

alors l’itération xk+1 = G(xk ) converge vers x̄ pour tout point de départ
x1 ∈ B.

Exemple 4.4 Nous cherchons à résoudre le problème

x2 + y 2 = 4 (4.7)
cos(xy) = 0. (4.8)

Les courbes des solutions à (4.7) et (4.8) sont représentées sur la Figure
4.6. On voit que le problème admet 8 racines. Il est évidemment possible de
résoudre le problème analytiquement. Mais nous allons procéder ici numéri-
quement. Premièrement, nous remarquons que le problème est symétrique.
Si x = a, y = b est une solution, on aura aussi x = b, y = a mais également
x = −a, y = b, x = −a, y = −b et ainsi de suite comme solutions. Contentons-
nous donc de rechercher une solution (x, y) avec x, y ≥ 0. Pour appliquer la
68 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

cos(xy)=0

0
x2+y2−4=0

−1

−2

−3
−3 −2 −1 0 1 2 3

Fig. 4.6 – Le système (4.7)-(4.8)

méthode du point fixe, on doit d’abord écrire les équations (4.7)-(4.8) sous
une forme x = G(x). On pourra par exemple écrire
/
x = G1 (x, y) = 4 − y 2 (4.9)
y = G2 (x, y) = y + cos(xy). (4.10)

Il est utile à présent d’analyser ces réécritures. Premièrement, on voit que


l’on peut écrire (4.9) puisqu’on s’intéresse à une solution avec x ≥ 0. Voyons
maintenant si la méthode a une chance de converger. On calcule

∂G1 (x, y) ∂G1 (x, y) y


=0 = −/ (4.11)
∂x ∂y 4 − y2
∂G2 (x, y) ∂G2 (x, y)
= −y sin(xy) = 1 − x sin(xy). (4.12)
∂x ∂y

Remarquons que dans les dérivées partielles de G2 , si on considère (x, y)


proche de la racine, comme cos(xy) ≈ 0, on aura sin(xy) ≈ 1. Cela suggère
que la somme des valeurs absolues des deux dérivées partielles sera proche
4.5. RÉSOLUTION DE SYSTÈMES D’ÉQUATIONS 69

Itération k xk yk F1 (xk , yk ) F2 (xk , yk ) G1 (xk , yk ) G2 (xk , yk )


1 1 1 -2.0000 0.5403 1.7321 1.5403
2 1.7321 1.5403 1.3725 -0.8899 1.2757 0.6504
3 1.2757 0.6504 -1.9495 0.6751 1.8913 1.3255
4 1.8913 1.3255 1.3338 -0.8052 1.4977 0.5203
5 1.4977 0.5203 -1.4862 0.7115 1.9311 1.2317
6 1.9311 1.2317 1.2465 -0.7228 1.5757 0.5089
7 1.5757 0.5089 -1.2582 0.6953 1.9342 1.2043
8 1.9342 1.2043 1.1912 -0.6878 1.5968 0.5165
9 1.5968 0.5165 -1.1835 0.6788 1.9322 1.1952
10 1.9322 1.1952 1.1619 -0.6733 1.6036 0.5220
11 1.6036 0.5220 -1.1562 0.6697 1.9307 1.1917
12 1.9307 1.1917 1.1476 -0.6668 1.6062 0.5248

Tab. 4.3 – La méthode du point fixe avec la forme (4.9)-(4.10)

de x + y − 1 (en supposant que les deux dérivées partielles sont négatives).


Comme on a x2 + y 2 = 4, on a aussi x2 + y 2 + 2xy − 2xy = 4 c’est-à-dire
(x + y)2 − 2xy = 4. En d’autres termes, dans le quadrant x, y ≥ 0, on a
x + y ≥ 2. Les formes (4.11)-(4.12) risquent donc bien de ne pas converger
car il y a de grandes chances que
' ' ' '
' ∂G2 (x, y) ' ' ∂G2 (x, y) '
' '+' '≈x+y−1≥1
' ∂x ' ' ∂y '

aux alentours de la racine. Peut-on s’en sortir ? Pour cela, il suffit de voir que
pour obtenir (4.10), on s’est servi du fait que F2 (x, y) = 0 est équivalent à
y = y + F2 (x, y). Mais on aurait pu également écrire y = y + F2 (x, y)/2. Cela
nous donne une deuxième forme des équations (4.7)-(4.8)
/
x = G1 (x, y) = 4 − y 2 (4.13)
1
y = G2 (x, y) = y + cos(xy). (4.14)
2
Nous lançons donc la méthode du point fixe avec les deux formes (4.9)-(4.10)
et (4.13)-(4.14) en partant de (x1 , y1 ) = (1, 1). Les valeurs obtenues sont
renseignées dans le Tableau 4.3 et le Tableau 4.4.
Il est intéressant de noter qu’aucune des deux formes ne diverge. Cepen-
dant, la première forme ne converge pas. Si on analyse attentivement les
70 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

Itération k xk yk F1 (xk , yk ) F2 (xk , yk ) G1 (xk , yk ) G2 (xk , yk )


1 1 1 -2.0000 0.5403 1.7321 1.2702
2 1.7321 1.2702 0.6133 -0.5885 1.5449 0.9759
3 1.5449 0.9759 -0.6609 0.0631 1.7457 1.0074
4 1.7457 1.0074 0.0625 -0.1868 1.7277 0.9140
5 1.7277 0.9140 -0.1795 -0.0084 1.7789 0.9098
6 1.7789 0.9098 -0.0077 -0.0477 1.7811 0.8860
7 1.7811 0.8860 -0.0428 -0.0072 1.7931 0.8824
8 1.7931 0.8824 -0.0064 -0.0114 1.7948 0.8767
9 1.7948 0.8767 -0.0100 -0.0027 1.7976 0.8753
10 1.7976 0.8753 -0.0024 -0.0027 1.7983 0.8740
11 1.7983 0.8740 -0.0024 -0.0009 1.7989 0.8736
12 1.7989 0.8736 -0.0007 -0.0007 1.7991 0.8732

Tab. 4.4 – La méthode du point fixe avec la forme (4.13)-(4.14)

valeurs, on voit que la méthode cycle. Les valeurs obtenues pour (xk , yk ) se
répètent approximativement toutes les deux itérations. Quand on analyse la
valeur donnée par F (xk , yk ), on voit que nous ne sommes pas proches d’une
racine. La deuxième forme, quant à elle, converge vers une racine. Calcu-
lons, pour les deux formes, la valeur de la Jacobienne à la racine trouvée
(1.7989, 0.8736). On obtient repsectivement
# $ # $
0 −0.49 0 −0.49
J1 ≈ , J2 ≈ .
−0.87 −0.8 −0.44 0.1

On voit que la condition de la Proposition 4.4 est respectée pour la deuxième


forme et pas pour la première. Rappelons que, par symétrie, (0.87, 1.8) est
également une racine du problème. Si on calcule les Jacobiennes en ce point,
on obtient
# $ # $
0 −2.06 0 −2.06
J1 ≈ , J2 ≈ .
−1.8 0.13 −0.9 0.56

On voit qu’aucune des deux formes ne pourra converger vers cette racine.
4.5. RÉSOLUTION DE SYSTÈMES D’ÉQUATIONS 71

4.5.2 Méthode de Newton-Raphson pour un système


La méthode de Newton qui, nous l’avons vu, est un cas particulier amélioré
de la méthode du point fixe, peut aussi être étendue relativement aisément
au cas d’un système d’équations. La méthode converge, à nouveau, assez
bien. C’est pour cette raison que la méthode est très populaire. Cependant la
question de la convergence globale est de nouveau très délicate. Dans le cas
de plusieurs racines, il est en effet très difficile de prévoir vers quelle racine
le processus sera attiré. La forme de la méthode de Newton dans le cas d’un
système est très similaire au cas unidimensionnel. Pour rendre les notations
plus claires, dans cette section, les vecteurs seront soulignés. Nous noterons
dès lors les différents itérés xk et les différentes variables xi . Supposons à
nouveau que l’on veuille résoudre F (x) = 0 où F : Rn *→ Rn . En partant
d’un vecteur de départ x1 , on calcule
# $−1
∂F (xk )
xk+1 = xk − F (xk ),
∂x
0 1
∂F (xk )
où ∂x
représente la Jacobienne de F calculée en xk . On voit que dans
ce cas, au lieu de diviser par la dérivée, on devra résoudre un système linéaire
où le membre de gauche est la matrice Jacobienne. On peut donc réécrire le
processus comme
xk+1 = xk − ∆k
où ∆k ∈ Rn est solution du système linéaire
 ∂F1 (xk ) ∂F1 (xk )     
∂x1
· · · ∂xn ∆k,1 F1 (x k )
 .. .. ..   ..   .. 
 . . .   .  =  . .
∂Fn (xk ) ∂Fn (xk )
··· ∆k,n Fn (xk )
∂x1 ∂xn

Exemple 4.5 Nous tentons à nouveau de résoudre le système (4.7)-(4.8), à


savoir

x2 + y 2 − 4 = 0
cos(xy) = 0.

On va devoir résoudre un système où le membre de gauche est la Jacobienne


de F et le membre de droite la valeur F au point de départ. Calculons tout
72 CHAPITRE 4. RÉSOLUTION D’ÉQUATIONS NON LINÉAIRES

Itération k xk yk F1 (xk , yk ) F2 (xk , yk )


1 0.1000 1.0000 -2.9900 0.9950
2 10.0163 1.5034 98.5865 -0.7962
3 5.0018 2.1246 25.5316 -0.3604
4 1.8476 3.5417 11.9571 0.9663
5 4.5137 0.4628 16.5879 -0.4953
6 2.6698 0.5256 3.4040 0.1669
7 1.9936 0.7221 0.4958 0.1309
8 1.8229 0.8501 0.0456 0.0211
9 1.8000 0.8724 0.0010 0.0005
10 1.7994 0.8729 0.0000 0.0000

Tab. 4.5 – 10 itérations de la méthode de Newton pour le système (4.7)-(4.8)

d’abord la Jacobienne de F . On obtient


# $
∂F 2x 2y
= .
∂x −y sin(xy) −x sin(xy)

A chaque étape, on doit donc résoudre le système


# $# $ # 2 $
2xk 2yk ∆k,1 xk + yk2 − 4
= .
−yk sin(xk yk ) −xk sin(xk yk ) ∆k,2 cos(xk yk )

Il faut maintenant se demander quel va être le point de départ de la méthode.


Remarquons qu’en prenant un vecteur de la forme (a, a) (comme (1, 1) dans
l’exemple précédent), on obtient une Jacobienne singulière. De même, choi-
sir 0 dans l’une des composantes mène à une Jacobienne singulière. Nous
choisissons donc (0.1, 1). Le système à résoudre est donc, pour la première
itération,
# $# $ # $
0.2 2 ∆1,1 −2.99
1 = .
− sin(0.1) − 10 sin(0.1) ∆1,2 cos(0.1)

On obtient comme solution ∆1 = (−9.9163, −0.5034)T et donc x2 = x1 −


∆1 = (10.0163 1.5034)T . Les différentes itérations suivantes sont reportées
dans la Tableau 4.5.
Une fois encore, on voit que pour des itérés très proches de la racine, la
méthode converge très vite. Bien qu’ayant convergé vers la même racine que
4.5. RÉSOLUTION DE SYSTÈMES D’ÉQUATIONS 73

précédemment, cette fois, rien n’empêche de converger vers n’importe laquelle


des 8 racines. La difficulté de trouver une valeur initiale qui n’annule pas le
déterminant de la Jacobienne indique une des difficultés de la méthode de
Newton. Si dans le courant de l’algorithme, on trouve une Jacobienne proche
de la singularité, l’itéré suivant risque d’être très éloigné et de rendre la
convergence difficile.

Vous aimerez peut-être aussi