Universit Claude Bernard, Lyon I Licence Sciences, Technologies & Sant

43, boulevard 11 novembre 1918 Spcialit Mathmatiques

69622 Villeurbanne cedex, France L. Pujo-Menjouet
pujo@math.univ-lyon1.fr

Analyse numrique
Troisime anne de licence

1
 Prambule

Lanalyse numrique a commenc bien avant la conception des ordinateurs et leur utilisation
quotidienne que nous connaissons aujourdhui. Les premires mthodes ont t dveloppes pour
essayer de trouver des moyens rapides et efficaces de sattaquer des problmes soit fastidieux r-
soudre cause de leur grande dimension (systmes plusieurs dizaines dquations par exemple),
soit parce quil nexiste pas solutions explicites connues mme pour certaines quations assez
simples en apparence.
Ds que les premiers ordinateurs sont apparus, ce domaine des mathmatiques a pris son envol et
continue encore se dvelopper de faon trs soutenue.
Les applications extraordinairement nombreuses sont entres dans notre vie quotidienne directe-
ment ou indirectement. Nous les utilisons dsormais sans nous en rendre compte mais surtout en
ignorant la plupart du temps toute la thorie, lexpertise, le dveloppement des comptences et lin-
gniosit des chercheurs pour en arriver l. Nous pouvons tlphoner, communiquer par satellite,
faire des recherches sur internet, regarder des films o plus rien nest rel sur lcran, amlio-
rer la scurit des voitures, des trains, des avions, connatre le temps quil fera une semaine
lavance,...et ce nest quune infime partie de ce que lon peut faire.
Le but de ce cours et sinitier aux bases de lanalyse numrique en esprant quelles veilleront de
lintrt, de la curiosit et pourquoi pas une vocation.

F IGURE 1 Entre le Tintin dessin la main dans les annes 6 par Herg et celui mis lcran
par Spielberg, un monde numrique les spare. Un peu comme les premiers dveloppements la
main des pionniers du numrique et les effets dernier cri des plus puissants des ordinateurs.

2
Table des matires

1 Les systmes linaires 5

1.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1 Gestion des erreurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.2 Exemple de problme menant la rsolution dun systme linaire . . . . . 6
1.2 Quelques rappels sur les matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2.2 Lien avec les applications linaires . . . . . . . . . . . . . . . . . . . . . . 9
1.2.3 Oprations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.2.4 Trace et dterminant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.5 Matrice et produit scalaire . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.6 Valeurs propres, vecteurs propres et rduction de matrices . . . . . . . . . 16
1.3 Normes vectorielles et matricielles . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.3.1 Rappels sur les normes vectorielles . . . . . . . . . . . . . . . . . . . . . 18
1.3.2 Boules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3.3 Normes matricielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.4 Conditionnement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.4 Mthodes directes de rsolution de systmes linaires . . . . . . . . . . . . . . . . 24
1.4.1 Principe des mthodes directes . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.2 Pivot de Gauss - Dcomposition LU . . . . . . . . . . . . . . . . . . . . . 25
1.4.3 Cas des matrices symtriques dfinies positives :la factorisation de Cholesky 28
1.4.4 Factorisation QR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.5 Mthodes itratives de rsolution de systmes linaires . . . . . . . . . . . . . . . 28
1.5.1 Principe des mthodes itratives . . . . . . . . . . . . . . . . . . . . . . . 29
1.5.2 Trois mthodes classiques . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.5.3 Critre gnral de convergence, tude des suites ditres de matrices . . . 31
1.5.4 Quelques cas particuliers de convergence . . . . . . . . . . . . . . . . . . 32
1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres . . . . . . . 33
1.6.1 Motivation : modes propres . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.6.2 Difficults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.6.3 Conditionnement spectral . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.6.4 Mthode de la puissance . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.6.5 Gnralisation de la mthode de la puissance : la mthode QR . . . . . . . 37
3
TABLE DES MATIRES TABLE DES MATIRES

2 Rsolution approche dquations non linaires 41

2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.2 Dichotomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.3 Mthode de type point fixe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.3.1 Thorme-nonc gnral . . . . . . . . . . . . . . . . . . . . . . . . . . 42
2.3.2 Construction de mthodes pour f (x) = 0 . . . . . . . . . . . . . . . . . . 43
2.3.3 Vitesse de convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.4 Mthode de Newton . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.4.1 Principe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.4.2 Thorme de convergence . . . . . . . . . . . . . . . . . . . . . . . . . . 45
2.5 Mthode de la scante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.6 Ordre dune mthode itrative . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.7 Systmes dquations non linaires . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.7.1 Point fixe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
2.7.2 Mthode de Newton dans Rn . . . . . . . . . . . . . . . . . . . . . . . . . 48
2.7.3 Retour sur les systmes linaires et aux mthodes itratives . . . . . . . . . 48

3 Interpolation et approximation (polynomiales) 49

3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2 Interpolation polynomiale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.1 Interpolation de Lagrange . . . . . . . . . . . . . . . . . . . . . . . . . . 50
3.2.2 Interpolation dHermite . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.3 Approximation polynomiale au sens des moindres carrs . . . . . . . . . . . . . . 54

4
Chapitre 1

Les systmes linaires

(a) Johann Carl Friedrich Gauss
(1777- 1855), mathmaticien, as-
tronome et physicien allemand.
Considr comme lun des plus
grands mathmaticiens de tous les
temps, nous utiliserons ici une m-
thode numrique qui porte son
nom.
(b) Charles Gustave Jacob Ja- (c) Andr-Louis Cholesky (1875-
cobi (1804-1851), un mathma- 1918 ), polytechnicien et officier
ticien allemand surtout connu franais, ingnieur topographe et
pour ses travaux sur les int- godsien. On lui doit une mthode
grales elliptiques, les quations que lon prsentera ici
aux drives partielles et leur
application la mcanique ana-
lytique. On lui doit une m-
thode que lon prsentera ici

F IGURE 1.1 Quelques mathmaticiens clbres lis ltude des nombres entiers, rationnels et
rels.

1.1 Introduction
1.1.1 Gestion des erreurs
Il arrive souvent lors de calcul que nous soyons obligs de donner une valeur approche de la
solution (0,333 pour 1/3 par exemple), cest ce que lon appelle la reprsentation des nombres
5
1.1 Introduction Les systmes linaires

en virgule flottante (8 ou 16 chiffres significatifs aprs la virgule). Il se peut galement quune

mthode employe pour rsoudre un problme ne nous amne pas exactement la solution mais
ct, on dit alors que lon a une approximation de la solution (cest souvent le cas pour les
problmes non linaires que nous verrons dans le chapitre suivant et moins frquent pour les pro-
blmes linaires). Le but est de pouvoir matriser ces erreurs de sorte quelles ne saccumulent
pas au cours des oprations successives. Cest un des chevaux de bataille des numriciens qui ne
souhaitent pas voir leurs approximation sloigner des solutions exactes, ce qui rendrait leur travail
compltement inefficace.
Lobjectif est donc de chercher laborer des mthodes numriques qui namplifient pas trop les
erreurs darrondi au cours des calculs. Intuitivement, nous imaginons bien que cette amplifica-
tion est dautant plus grande que le nombre doprations est important (additions, multiplications,
etc.).Nous cherchons donc rduire le nombre doprations au maximum et par voie de cons-
quence le temps de calcul.
A titre dexemple, pour calculer le dterminant dune matrice carre 24 24 par la mthode clas-
sique de Cramer il faudrait plus de 20 ans un ordinateur capable de faire 1015 oprations la
seconde (un Peta-flops) ! On voit donc quil est plus que ncessaire de trouver des mthodes beau-
coup plus efficaces que celle-l.
Nous introduirons donc les notions de stabilit et defficacit. Et suivant les mthodes utilises,
nous aurons affaire tel ou tel type derreur. Pour les systmes linaires par exemple nous tudie-
rons deux types de mthodes bien distinctes :
1. les mthodes directes : qui consistent en des algorithmes qui permettent de calculer la
solution exacte (mis part les erreurs darrondis en virgule flottante) en un nombre fini
dopration,
2. les mthodes itratives : qui consistent en lapproche de la solution exacte x par une suite
(xn )n2N de solutions approches. Nous arrtons alors les calculs lorsque nous atteignons
un certain xn0 . Nous avons alors une erreur de troncature due lapproximation de la so-
lution exacte que nous mesurons laide dune norme approprie (suivant la dimension de
lespace dans lequel x se trouve) kx xn0 k.

1.1.2 Exemple de problme menant la rsolution dun systme linaire

On considre lquation diffrentielle du second ordre pose sur lintervalle [0, 1],

u00 (x) + c(x)u(x) = f (x) pour tout x 2]0, 1[,

dfinie en 0 et 1 par

u(0) = et u(1) = ,

o et sont des rels donns, f : [0, 1] ! R est continue et donne, et c : [0, 1] ! R+ est une
fonction continue positive donne.
Linconnue est ici la fonction u : [0, 1] ! R qui est de classe C 2 .
On discrtise cette quation par ce que lon appelle la mthode des diffrences finies (voir chapitre
sur les quations diffrentielles). On se donne un nombre fini de points dans [0, 1] espacs gale
1
distance h. Nous avons alors pour tout n 2 N , h = que lon appelle le pas du maillage.
n
6
Les systmes linaires 1.1 Introduction

j
On note pour tout j = 0, ..., n, xj = .
n
Nous allons essayer alors de calculer une valeur approche de la solution u aux points x0 ,...xn .
Nous passons donc dun problme continu un problme discret.
Pour tout i = 0, ..., n on pose ci = c(xi ), fi = f (xi ) et ui la valeur approche des u(xi ) calcule
par le schma numrique.
Le problme est le suivant : comment approcher u00 (xi ) ?
Une des mthodes consiste dabord estimer :
1. la drive premire :
on approche u0 (xi ) par un taux daccroissement. Et on a le choix :
-soit
u(xi ) u(xi 1 ) u i ui 1
u0 (xi ) ' ' ,
xi xi 1 h
-soit
u(xi+1 ) u(xi ) ui+1 ui
u0 (xi ) ' ' .
xi+1 xi h
Tout le problme quand nous construisons une telle mthode est de savoir comment contr-
ler le '. Nous voulons que la solution approche ui soit proche de la solution exacte
u(xi ). Une notion que nous utiliserons pour cela sera la consistance (voir chapitre sur les
quations diffrentielles).
Si on considre la seconde mthode, comme u 2 C 2 , nous utilisons une dveloppement de
Taylor lordre 1 entre xi et xi+1 ,
h2 00
u(xi+1 ) = u(xi ) + hu0 (xi ) + u (i ), o i 2]xi , xi+1 [.
2
Ce qui nous donne par un calcul simple :
u(xi+1 ) u(xi ) h
u0 (xi ) = u00 (i ).
h 2
Nous voyons donc que la diffrence entre la valeur exacte de la drive et son approxi-
h
mation par le taux daccroissement est gal u00 (i ), cest dire de lordre de h. Nous
2
choisissons alors h trs petit (cest dire le nombre n de points entre 0 et 1 trs grand).
2. la drive seconde :
on considre la seconde mthode ci-dessus, et on fait applque Taylor lordre 3 (en suppo-
sant que u soit drivable jusqu lordre 4 sur [0,1])
-entre xi et xi+1 :
h2 00 h3 h4
u(xi+1 ) = u(xi ) + hu0 (xi ) + u (xi ) + u000 (xi ) + u(4) (1i ),
2 6 24
-entre xi 1 et xi :
h2 00 h3 000 h4
u(xi 1 ) = u(xi ) hu0 (xi ) + u (xi ) u (xi ) + u(4) (2i ),
2 6 24
o 1i 2]xi , xi+1 [ et 2i 2]xi 1 , xi [.
En faisant la somme nous avons
7
1.1 Introduction Les systmes linaires

u(xi+1 ) 2u(xi ) + u(xi 1 ) h4 (4)

u00 (xi ) = (u (1i ) + u(4) (2i )),
h2 24
ce qui nous permet dcrire
ui+1 2ui + ui 1
u00 (xi ) '
h2
et lerreur locale est donc de lordre de h2 .
Si lon pose u(0) = u0 et u(1) = un , le schma ainsi obtenu est finalement :
8
> ui+1 + 2ui ui 1
< + ci ui = fi , pour tout i = 1, ..., n 1,
h2
> u0 = ,
:
un = .
Nous avons bien n+1 quations n+1 inconnues, que nous pouvons crire sous forme matricielle

(An + Cn )Un = bn , (1.1)

o
10
0 1 f1 +
2 1 0 0 0 1
c1 0 0 B h2 C
B 1 2 1 0C B f2 C
B .. C B 0 c2 0 C B C
B .. .. .. C B C B .. C
An = B 0 . . . . C , Cn = B .. . . . . .. C , b nB . C
B .. .. .. .. C @. . . . A B C
@ . . . . 1 A B f n 2 C
0 0 cn 1 @ A
0 0 1 2 f n1 + 2
h
0 1
u1
et Un = @ ... A .
B C
un 1

Notons qutant donn que la matrice An + Cn est symtrique dfinie positive, alors elle est inver-
sible et le systme (1.1) possde une unique solution.
Une question que nous pouvons nous poser est la suivante :
-Comment valuer lerreur ? Si pour tout i = 1, ..., n, nous avons u(xi ) la solution exacte et ui la
solution approche, nous pouvons montrer que lerreur note
max |u(xi ) ui |,
0in

est de lordre de h2 .

Remarque Nous pouvons faire plusieurs remarques ce stade du cours :

1. le systme linaire (1.1) peut devenir trs grand, et donc difficile voire impossible r-
soudre la main,
2. pour tracer une courbe rgulire reliant les valeurs discrtes approches u0 , u1 , ..., un des
solutions nous devrons utiliser une mthode appele mthode dinterpolation,
8
Les systmes linaires 1.2 Quelques rappels sur les matrices

3. enfin, pour montrer lexistence et lunicit de la solution de ce systme nous avons utilis
un rsultat de cours dalgbre sur les matrices (matrice symtrique dfinie positive). Etant
donn que nous souhaitons que ce cours soit le plus autonome possible, nous allons faire
un rappel (non exhaustif) de plusieurs rsultats sur les matrices. Pour plus de dtails, nous
vous conseillons de vous replonger dans votre cours dalgbre linaire.

1.2 Quelques rappels sur les matrices

Dans toute la suite, K dsignera le corps des scalaires qui vaudra soit R pour les rels, soit C pour
les complexes.

1.2.1 Notations
Soient m, n 2 N . Une matrice de type (m, n) sur K est un tableau de scalaires (rels ou com-
plexes) m lignes et n colonnes
0 1
a11 a12 a1n
B a21 a22 a2n C
B C
A = B .. .. ... .. C
@ . . . A
am1 am2 amn
Nous notons Mmn (K) lensemble des matrices (m, n) sur K.
Si m = n, nous notons juste Mn (K) lensemble des matrices carres (n, n) sur K.
De plus, quand aucune autre notation ne sera prcise, nous noterons Aij le coefficient de la matrice
A lintersection de la ligne i et de la colonne j.

1.2.2 Lien avec les applications linaires

Vecteurs
Soit E un espace vectoriel sur K de dimension n 2 N (appel galement K-espace vectoriel).
Soit B = (ej )1jn une base de E. Tout vecteur x de E admet une dcomposition unique
n
X
x= xj e j ,
j=1

o les scalaires xj sont les composantes de x dans la base B.

Lorsquune base est fixe, on peut identifier E Kn . On notera alors x = (xj )1jn .
En notation matricielle, le vecteur x sera toujours reprsent par le vecteur colonne
0 1
x1
B x2 C
B C
x = B .. C .
@.A
xn
Avec nos notations, x est une matrice de type (n, 1).
9
1.2 Quelques rappels sur les matrices Les systmes linaires

Reprsentation matricielle dune application linaire

Soient E et F deux K-espaces vectoriels de dimension finie avec dim E = n et dim F = m. Nous
fixons deux bases :
B = (ej )1jn une base de E et B 0 = (fj )1jm une base de F .
Soit u : E ! F une application linaire. Tout x 2 E scrit alors
Xn
x= xj e j ,
j=1

et donc par linarit,

n
X
u(x) = xj u(ej ).
j=1

Pour chaque indice j, u(ej ) est un vecteur de F qui se dcompose dans la base B 0 , autrement dit
il existe des scalaires (aij )1i,jm tels que
m
X
u(ej ) = aij fi .
i=1
On a alors
n X
X m
u(x) = xj aij fi .
j=1 i=1

Ainsi, relativement aux bases B et B , lapplication linaire u est reprsente par la matrice
0
0 1
a11 a12 a1n
B a21 a22 a2n C
B C
A = B .. .. . . .. C.
@ . . . . A
am1 am2 amn
De telle sorte que les composantes de u(x) dans B 0 sobtiennent en faisant le produit de la matrice
A par le vecteur colonne des composantes de x dans B (voir la section (1.2.3) pour le calcul du
produit de deux matrices). On a alors
0 1 0 1
(u(x))1 x1
B (u(x))2 C B x2 C
B C B C
B .. C = A B .. C .
@ . A @.A
(u(x))m xn
Le jme vecteur colonne de A que lon crit
0 1
a1j
B a3j C
B C
B .. C .
@ . A
amj
reprsente le vecteur u(ej ) dans la base de B 0 .
inversement, une matrice donne A 2 Mmn (K), on peut associer une application linaire cano-
nique u : Kn ! Km de matrice A associe dans les bases canoniques de Kn et Km .
10
Les systmes linaires 1.2 Quelques rappels sur les matrices

Noyau, image et rang

Soit A 2 Mmn (K). Le noyau, limage et le rang sont dfinis comme tant le noyau, limage et le
rang de lapplication linaire u canonique associe A.
Autrement dit limage de A est dfinie par

Im(A) = {y 2 Km , il existe x 2 Kn , Ax = y},

et le noyau de A par

ker(A) = {x 2 Kn , Ax = 0}.

Enfin, le rang de A not rg(A) est dfini par dim(Im(A)).

On rappelle que

u est surjective si et seulement si rg(A) = m,

u injective si et seulement si ker(A) = {0},

rg(A) + dim(ker(A)) = n.

1.2.3 Oprations
Somme
Nous pouvons ajouter deux matrices de mmes dimensions (m, n), et nous avons naturellement

(A + B)ij = Aij + Bij pour tous i = 1, ..., m et j = 1, ..., n.

Multiplication par un scalaire

Pour 2 K et A une matrice (m, n), le produit A est une matrice (m, n) et

(A)ij = Aij pour tous i = 1, ..., m et j = 1, ..., n.

Produit de deux matrices

Si A 2 Mmn (K) et B 2 Mnp (K), nous pouvons faire le produit AB, il sagit dune matrice de
Mmp (K), et
n
X
(AB)ij = Aik Bkj pour tous i = 1, ..., m et j = 1, ..., p.
k=1

Remarque Si u : Kn ! Km (respectivement Si u : Kp ! Kn ) est lapplication linaire ca-

nonique associe A (respectivement B), alors AB est la matrice dans les bases canoniques de
u v : Kp ! Km .
11
1.2 Quelques rappels sur les matrices Les systmes linaires

Transpose
Si A 2 Mmn (K), la transpose de A note AT , est la matrice de Mnm (K) dfinie par
(AT )ij = Aji pour tous i = 1, ..., n et j = 1, ..., m.
Si A 2 Mmn (R), nous avons les rsultats suivants :
1. (AT )T = A,
2. (A + B)T = AT + B T ,
3. ( A)T = AT , 2 R,
4. (AB)T = B T AT ,
5. (A 1 )T = (AT ) 1 .

Matrice adjointe
Si A 2 Mmn (K), la matrice adjointe de A, note A , est la matrice de Mnm (K) dfinie par
(A )ij = Aji pour tous i = 1, ..., n et j = 1, ..., m.
Remarque Notons que la matrice adjointe dune matrice A coefficients complexes est la ma-
trice transpose de la matrice conjugue de A, autrement dit
A = AT .

Si A 2 Mmn (R), nous avons les rsultats suivants :

1. (A ) = A,
2. (A + B) = A + B ,
3. ( A) = A , 2 C,
4. (AB) = B A ,
5. (A 1 ) = (A ) 1 .

Matrices particulires
Une matrice carre A 2 Mn (K) de coefficients (aij ) 2 K pour tous i, j = 1, ..., n. est
1. diagonale : si ai j = 0 pour tout i 6= j. On note en gnral A = diag(a11 , a22 , ..., ann ),
2. une matrice diagonale de taille n particulire est la matrice identit In dont tous les coeffi-
cients valent 1, autrement dit In = diag(1, 1, ..., 1),
3. triangulaire suprieure si aij = 0 pour tout i > j,
4. triangulaire infrieure si aij = 0 pour tout i < j,
5. symtrique si A est relle et si A = AT ,
6. hermitienne si A est complexe et si A = A ,
7. orthogonale si A est relle et si AAT = AT A = In ,
8. unitaire si A est complexe et si AA = A A = In ,
9. normale si AA = A A.
Remarque Une matrice lments rels est hermitienne si et seulement si elle est symtrique
12
Les systmes linaires 1.2 Quelques rappels sur les matrices

1.2.4 Trace et dterminant

Trace
Soit A 2 Mn (K) une matrice carre de coefficients (aij ) 2 K pour tous i, j = 1, ..., n, sa trace est
la somme de ses termes diagonaux
n
X
Tr(A) = aii .
i=1

On a les proprits suivantes

Tr(A + B) = Tr(A) + Tr(B), Tr(AB) = Tr(BA).

Dterminant
Le dterminant dune matrice carre (n, n) est not det(A) ou encore

a11 a12 a1n

a21 a22 a2n
det A = .. .. .. .. .
. . . .
am1 am2 amn

Il est dfini par la formule suivante

X
det A = "( )a1 (1) ...an (n)
2Sn

o Sn est le groupe des permutations, cest dire des bijections de {1, ..., n} dans lui-mme, et
pour tout 2 Sn , "( ) est la signature de .
Les dterminants possdent les proprits suivantes :
1. det In = 1,
2. det AT = det A,
3. det A = det A,
4. det(AB) = det A det B,
5. pour tout scalaire 2 K, det(A) = n det A,
6. le dterminant dune matrice triangulaire (a fortiori diagonale) est gal au produit de ses
termes diagonaux.

Inverse
On dit que la matrice carre A de taille n est inversible sil existe une matrice B de taille n telle
que AB = BA = In .
La matrice B est appele inverse de A et note A 1 .
13
1.2 Quelques rappels sur les matrices Les systmes linaires

Inverse et oprations
Nous avons les rsultats suivants sur les inverses :

(AB) 1
= B 1 A 1 , (AT ) 1
= (A 1 )T , (A ) 1
= (A 1 ) .

Caractrisation dune matrice inversible

Thorme 1 (MATRICE INVERSIBLE)

Soit A 2 Mn (K). Les propositions suivantes sont quivalentes

1. A est inversible,
2. det A 6= 0,
3. Ax = 0 a pour seule solution x = 0,
4. pour tout b 2 Kn , Ax = b possde une unique solution.

1.2.5 Matrice et produit scalaire

Dans cette section, nous travaillerons dans Kn , mais toutes les dfinitions se gnralisent un
espace vectoriel sur K de dimension n, une fois fixe une base.
Lapplication < ., . >: Kn Kn ! K dfinie par
n
X
T
< x, y > = y x = x y = T
xj yj si K = R,
j=1
Xn
< x, y > = y x = x y = xj y j si K = C,
j=1

est appel produit scalaire euclidien sur Rn si K = R, hermitien sur Cn si K = C, ou encore

produit scalaire canonique si lon ne prcise pas le corps.
Deux vecteurs x et y de Kn sont orthogonaux si

< x, y >= 0.

Une famille de vecteurs de Kn , (x1 , ..., xp ) est orthonormale si pour tous 1 j, k p,

j k 1 si j = k,
< x , x >= jk =
0 si j 6= k.

Produit scalaire et transpose ou adjointe

1. Cas rel :
pour toute matrice A 2 Mn (R), tous vecteurs x, y 2 Rn ,
< Ax, y >=< x, AT y >.
14
Les systmes linaires 1.2 Quelques rappels sur les matrices

Si A est orthogonale, elle conserve le produit scalaire euclidien : autrement dit pour tous
vecteurs x, y 2 Rn ,
< Ax, y >=< x, AT Ay >=< x, y >.
2. Cas complexe :
de mme, pour toute matrice A 2 Mn (C), tous vecteurs x, y 2 Cn ,
< Ax, y >=< x, A y >.
Si A est unitaire, elle conserve le produit scalaire hermitien : autrement dit pour tous
vecteurs x, y 2 Cn ,
< Ax, y >=< x, A Ay >=< x, y >.

Matrices positives, dfinitions

1. Cas rel :
soit A une matrice symtrique relle dans Mn (R). On peut lui associer une forme quadra-
tique sur Rn
n
X
T
x 7!< Ax, x >= x Ax = aij xi xj .
i,j=1

Nous dirons que A est une matrice dfinie positive si cette forme quadratique vrifie
< Ax, x >> 0 pour tout x 2 Rn , x 6= 0,
et nous dirons que A est une matrice positive si elle vrifie seulement
< Ax, x > 0 pour tout x 2 Rn .
2. Cas complexe :
Soit A une matrice hermitienne dans Mn (C). On peut lui associer une forme hermitienne
sur Cn
Xn
x 7!< Ax, x >= xT Ax = aij xi xj .
i,j=1

Nous remarquerons que cette quantit est toujours relle. Il est assez facile de montrer en
effet, en utilisant la dfinition du produit scalaire et en lappliquant < Ax, x > que lon a
lgalit :
< Ax, x >= < Ax, x >.
Nous dirons que A est dfinie positive si cette forme hermitienne vrifie
< Ax, x >> 0 pour tout x 2 Cn , x 6= 0,
et nous dirons que A est une matrice positive si elle vrifie seulement
< Ax, x > 0 pour tout x 2 Cn .
15
1.2 Quelques rappels sur les matrices Les systmes linaires

1.2.6 Valeurs propres, vecteurs propres et rduction de matrices

Dfinitions

(a) Cas des matrices complexes :

soit A 2 Mn (C) une matrice carre de taille n coefficients complexes. Les valeurs
propres de A sont les n racines complexes (distinctes ou confondues) du polynme
caractristique de A dfini par
PA ( ) = det(A In ),
et sont donnes par 1 , ..., n ou 1 (A), ..., n (A).
La multiplicit dune valeur propre est sa multiplicit en tant que racine de PA . Une
valeur propre de multiplicit gale un est dite simple.
Le spectre de A est lensemble des valeurs propres de A (sous ensemble de C), il est
not sp(A).
Le rayon spectral de la matrice A est le nombre rel positif dfini par
(A) = max{| i (A)|, 1 i n},
o |.| dsigne le module dun nombre complexe.

A toute valeur propre de A est associ (au-moins) un vecteur x 2 Cn non nul tel que
Ax = x. On dit alors que x est un vecteur propre de A associ la valeur propre .
On appelle sous-espace propre associ la valeur propre le sous-espace vectoriel de Cn :
E = ker(A In ) = {x 2 Cn , Ax = x}.
Rappelons les expressions de la trace et le dterminant en fonction des valeurs propres
n
X n
Y
Tr(A) = i (A), det(A) = i (A).
i=1 i=1

3. Cas des matrices relles :

pour les matrices coefficients rels, deux points de vue sont possibles :
(a) nous pouvons voir A 2 Mn (R) comme une matrice coefficients complexes, et nous
reprenons alors la dfinition des valeurs propres et vecteurs propres donns plus haut.
Ces quantits sont alors a priori respectivement dans C et Cn .
(b) nous ne sortons pas du corps des rels : les valeurs propres de A 2 Mn (R) sont les ra-
cines relles du polynme caractristique. Un vecteur propre associ la valeur propre
2 R est alors un vecteur x non nul de Rn tel que Ax = x.
Le sous-espace propre associ la valeur propre 2 R est alors le sous-espace vectoriel
de Rn :
E = ker(A In ) = {x 2 Rn , Ax = x}.
Notons quavec cette dernire dfinition, une matrice peut ne pas avoir de valeurs
propres.

Remarque
16
Les systmes linaires 1.2 Quelques rappels sur les matrices

1. Attention : dans la suite de ce cours, la dfinition de rayon spectral fait intervenir les
valeurs propres dans C mme pour une matrice relle : que A soit dans Mn (C) ou dans
Mn (R) son rayon spectral est dfini comme
(A) = max{| |, racines dans C de PA }.
2. Pour la rduction (diagonalisation,...) des matrices relles, il est important de prciser
dans quel corps nous raisonnons : R ou C.

Quelques rsultats sur la rduction des matrices

Soit E un K-espace vectoriel de dimension n et u : E ! E un application linaire reprsente par

la matrice A = (aij ) relativement une base B = (ej ).
Relativement une autre base de E, B 0 = (e0j ), la mme application linaire u est reprsente par
la matrice

B=P 1
AP ,

o P est la matrice de passage de la base B = (ej ) la base B 0 = (e0j ). P est la matrice inversible
dont le jme vecteur colonne est form des composantes du vecteur e0j dans la base (ej ).
Une mme application linaire est donc reprsente par diffrentes matrices selon la base choisie.
Le problme de rduction de matrices est de trouver une base pour laquelle la matrice est la plus
simple possible, le cas dune matrice diagonale tant le plus favorable.

Diagonalisation

Une matrice A est dite diagonalisable sur K sil existe une matrice P 2 Mn (K) inversible telle
que P 1 AP soit diagonale.
Cette diagonale contient alors exactement les valeurs propres de A, et les vecteurs colonnes de P
sont des vecteurs propres de A.
Autrement dit, une matrice est diagonalisable si et seulement sil existe une base de vecteurs
propres.

Thorme 2 (MATRICE DIAGONALISABLE)

La matrice A 2 Mn (K) est diagonalisable sur R (respectivement sur C) si et seulement

si
1. ses valeurs propres sont toutes dans R (respectivement dans C),
2. pour chacune de ses valeurs propres , la dimension du sous-espace propre E
est gale la multiplicit de (en tant que racine du polynme caractristique).

De ce qui prcde nous pouvons dduire le corollaire suivant :

17
1.3 Normes vectorielles et matricielles Les systmes linaires

Corollaire 1 (VALEURS PROPRES SIMPLES)

Une matrice dont toutes les valeurs propres sont simples est diagonalisable.

Thorme 3 (MATRICE SYMETRIQUE DIAGONALISABLE)

1. Matrices normales :
soit A 2 Mn (C) une matrice normale (cest dire que AA = A A). Alors il
existe une matrice unitaire U (cest dire U U = U U = In ) telle que U AU soit
diagonale, autrement dit U AU = diag( 1 , ..., n ) o 1 , ..., n sont les valeurs
propres de A.
2. Matrices symtriques relles :
une matrice symtrique relle est diagonalisable dans une base orthonormale,
autrement dit, il existe une matrice orthogonale O ( O T O = OO T = In ) telle
que O T AO soit diagonale.

Triangularisation
Il existe des matrices relles ou complexes qui ne sont pas diagonalisables. Mais dans C, nous
pouvons toujours triangulariser une matrice, autrement dit, pour toute matrice A 2 Mn (C), il
existe une matrice inversible P 2 Mn (C) telle que P 1 AP soit une matrice triangulaire.
La rduction sous forme de Jordan, vue en deuxime anne de licence donne une forme rduite
simple. Mais nous nutiliserons pas ce rsultat dans ce cours-ci. Voici un rsultat plus facile
montrer qui nous suffira.

Thorme 4 (FACTORISATION DE SCHUR)

Pour toute matrice A 2 Mn (C), il existe une matrice unitaire U telle que U AU soit
triangulaire.

1.3 Normes vectorielles et matricielles

Etant donn que nous allons travailler sur les matrices : tudier la convergence de suites de ma-
trices, mesurer des erreurs, etc., il est important de donner quelques rsultats utiles qui nous servi-
ront doutils pour les mthodes de rsolution de systmes linaires.

1.3.1 Rappels sur les normes vectorielles

Ici, K = R ou C.
18
Les systmes linaires 1.3 Normes vectorielles et matricielles

Dfinition 1 (NORME DE VECTEUR)

Une norme sur Kn est une application k.k : Kn ! R+ telle que

1. pour tout x 2 Kn , kxk = 0K implique x = 0n ,
2. pour tout x 2 Kn , pour tout 2 K, k xk = | |kxk,
3. pour tous x, y 2 K , kx + yk kxk + kyk (ingalit triangulaire).
n

Les normes usuelles que lon utilisera le plus souvent sont :

1. la norme
X n
kxk1 = |xj |
j=1

2. la norme associe au produit scalaire (appele aussi norme euclidienne sur Rn ) :

n
!1/2
p X
kxk2 = < x, x > = |xj |2
j=1
1
3. la norme l (appele galement norme du sup) :
kxk1 = max |xj |,
1jn

4. la norme l , pour 1 p < +1 :

p

n
!1/p
X
kxkp = |xj |p .
j=1

1.3.2 Boules
Dfinissons maintenant les boules ouvertes et fermes.
-Pour les boules ouvertes centres en a 2 Kn de rayon r > 0 :
B(a, r) = {x 2 Kn tel que kx ak < r}
-Pour les boules fermes centres en a 2 Kn de rayon r > 0 :
B(a, r) = {x 2 Kn tel que kx ak| r}

Thorme 5 (NORMES QUIVALENTES)

Sur Kn , toutes les normes sont quivalentes.

Autrement dit, si N1 et N2 sont deux normes, il existe deux rels c et C strictement
positifs, tels que pour tout x 2 Kn ,

cN2 (x) N1 (x) CN2 (x).

On choisit la norme qui convient le mieux suivant le contexte du problme considr.

19
1.3 Normes vectorielles et matricielles Les systmes linaires

1.3.3 Normes matricielles

2
1. Mn (K) vu comme Kn :
Nous considrons Mn (K) comme un K-espace vectoriel de dimension n2 . Nous pouvons
dfinir toutes les normes lp , avec 1 p < 1 de la faon suivante :
n Xn
!1/p
X
p
kAklp = |aij | .
i=1 j=1

Pour p = 2, nous notons

n X
n
!1/2
X
kAkF = kAkl2 = |aij |2 , (norme de Frobenius)
i=1 j=1

et
kAkl1 = max |aij |.
1i,jn

Mais en gnral, ces normes nont pas de bonnes proprits par rapport au produit matriciel.
Do la section suivante.
2. Normes matricielles :

Dfinition 2 (NORME MATRICIELLE)

Une norme matricielle est une norme sur Mn (K) qui vrifie de plus
|||AB||| |||A||||||B|||,
pour tous A, B 2 Mn (K).

Exemple
(a) La norme de Frobenius est une norme matricielle,
(b) la norme |||A|||l1 nest pas une norme matricielle comme nous lavons dfinie dans la
section prcdente.
3. Normes subordonnes : nonons une manire de construire des normes matricielles.

Dfinition 3 (NORME MATRICIELLE SUBORDONNE)

Nous nous donnons une norme vectorielle k.k sur K. Nous lui associons ensuite une
norme sur Mn (K), note encore |||.||| que nous dfinissons pour tout A 2 Mn (K) par
kAxk
|||A||| = sup
x2Kn \{0n } kxk

Nous lappellerons norme subordonne la norme vectorielle k.k.

20
Les systmes linaires 1.3 Normes vectorielles et matricielles

Proprit 1 (PROPRITS DES NORMES SUBORDONNES)

Soient A 2 Mn (K) et x 2 Kn , pour toute norme matricielle subordonne,

kAxk |||A|||kxk.

Proprit 2 (PROPRITS DES NORMES SUBORDONNES)

Soit |||.||| une norme subordonne. Nous avons alors les proprits suivantes :
kAxk
(a) |||A||| = sup = sup kAxk,
x2Kn \{0n } kxk kxk=1
|||A||| est bien dfinie, autrement dit le sup est bien < +1,
(b) le sup est atteint, cest dire quil existe un x 2 Kn \{0n } tel que kAxk =
|||A|||kxk,
(c) |||.||| est une norme matricielle,
(d) |||In ||| = 1.

Nous pouvons alors dfinir les normes subordonnes aux normes vectorielles k.k1 , k.k2 ,
k.k1 de la faon suivante :

Proprit 3 (NORMES SUBORDONNES CLASSIQUES)

n
X
(a) |||A|||1 = max |aij |,
j=1,...,n
i=1
Xn
(b) |||A|||1 = max |aij |,
i=1,...,n
j=1
p p
(c) |||A|||2 = (A A) = (AA ) = |||A |||2 ,
(d) si en plus A est normale (A A = AA ), alors |||A|||2 = (A).

1.3.4 Conditionnement
Lobjectif de cette section est de rpondre la question suivante : peut-on dire a priori quune
matrice est sensible aux erreurs et des petites perturbations en gnral ?
Dans toute la section, nous allons considrer A 2 Mn (K) une matrice inversible. Et nous consid-
21
1.3 Normes vectorielles et matricielles Les systmes linaires

rons le systme
Ax = b, (1.2)
o b et x sont des vecteurs de Kn .
Plusieurs cas se prsentent nous.
1. Cas 1 : si nous perturbons b
Nous considrons ici le systme suivant

A(x + x) = b + b, (1.3)

o b et x sont des vecteurs de Kn considrs comme des petites perturbations de b et x

respectivement.
Le systme (1.3) scrit alors
Ax + A x = b + b,
et comme x est solution de (1.2) il vient
1
x=A b.
Avec une norme subordonne, nous obtenons
1
k xk = kA bk |||A 1 |||k bk.
Dautre part,
kbk = kAxk |||A|||kxk,
et donc
1 |||A|||
,
kxk kbk
en supposant bien entendu que x 6= 0n (ce que nous supposons pour avoir la norme subor-
donne) et que b 6= 0n , mais ce cas l serait trivial puisqutant donn que la matrice A est
inversible la seule solution serait alors x = 0n ).
Ainsi, on obtient
k xk k bk
(|||A||||||A 1 |||) .
kxk kbk
2. Cas 2 : si nous perturbons A :
Nous considrons maintenant le systme suivant

(A + A)(x + x) = b. (1.4)

Dans ce cas l, en dveloppant, nous obtenons

Ax + A(x + x) + A x = b,
soit encore
x= A 1 ( A(x + x)).
Ainsi, en considrant les normes,
22
Les systmes linaires 1.3 Normes vectorielles et matricielles

k xk = kA 1 A(x + x)k,
|||A 1 A|||kx + xk,
|||A 1 |||||| A|||kx + xk.
Et finalement
k xk ||| A|||
(|||A 1 ||||||A|||) ,
kx + xk |||A|||
en supposant bien entendu que la perturbation x nannule pas le vecteur x et A soit une
matrice non nulle.

Dfinition 4 (CONDITIONNEMENT DE A)

La quantit cond(A) = |||A 1 ||||||A||| est appele conditionnement de A relativement la

norme matricielle |||.|||.

Nous pouvons alors noncer un rsultat plus prcis via le thorme suivant.

Thorme 6 (CONDITIONNEMENT OPTIMAL)

Soient A 2 Mn (K) une matrice inversible et |||.||| sa norme subordonne.

1. Pour b 2 Kn , b 6= 0n et b 2 Kn , si Ax = b et A(x + x) = b + b, alors
k xk k bk
cond(A) .
kxk kbk
Cette majoration est optimale. Cest dire quil existe b 6= 0n et b tels que
k xk k bk
= cond(A) .
kxk kbk
2. Pour tout A 2 Mn (K) et pour tout b 2 Mn (K), si si Ax = b et (A + A)(x +
x) = b, alors
k xk ||| A|||
cond(A) .
kx + xk |||A|||
Cette majoration est optimale. Cest dire quil existe A matrice non nulle et A
telles que
k xk ||| A|||
= cond(A) .
kx + xk |||A|||

Il arrive que certains systmes linaires soient trs sensibles aux erreurs, cest dire mal condi-
tionns, indpendamment de la mthode de rsolution utilise. Nous allons donc noncer quelques
proprits sur les conditionnements de matrices qui pourront nous tre fortement utiles dans des
cas pratiques.
23
1.4 Mthodes directes de rsolution de systmes linaires Les systmes linaires

Proprit 4 (PROPRITS DES CONDITIONNEMENTS)

Soit A 2 Mn (K) une matrice inversible, nous avons les proprits suivantes :
1. cond(A) 1,
2. cond(A) = cond(A 1 ),
3. cond(A) = cond(A), pour tout 2 K/{0},
n (A)
4. cond2 (A) = |||A|||2 |||A 1 |||2 = o 0 < 1 (A) < ... < n (A) sont les
1 (A)
racines carres des valeurs propres de A A (valeurs singulires de A),
| max (A)|
5. si A est normale alors cond2 (A) = , o max (A) et min (A) sont res-
| min (A)|
pectivement la plus grande et la plus petite valeur propre en module de A,
6. si U est unitaire, cond2 (U ) = 1.

Remarque Remdes un mauvais conditionnement.

Malheureusement il ny a pas de mthode universelle. Une solution possible est lquilibrage.
Il sagit de remplacer Ax = b par un systme quivalent BAx = Bb, o B est inversible.
Sil ny a pas de 0 sur la diagonale, D = diag(a11 , ..., ann ) est inversible et on rsout le systme
D 1 Ax = D 1 b.
Nous avons parfois cond(D 1 A cond(A).

1.4 Mthodes directes de rsolution de systmes linaires

un systme linaire est la donne de n quations m inconnues du type
8
>
< a11 x1 + a12 x2 + ... + a1m xm = b1 ,
..
> .
: a x + a x + ... + a x = b .
n1 1 n2 2 nm m n

Les inconnues ici sont x1 , x2 ,...xm .

Sous forme matricielle, ce systme scrit

Ax = b

o
0 1 0 1 0 1
x1 b1 a11 a12 a1n
B x2 C B b2 C B a21 a22 a2n C
B C B C B C
x = B .. C 2 Km , b = B .. C 2 Kn et, A = B .. .. .. .. C 2 Mnm (K).
@ . A @.A @ . . . . A
xm bn am1 am2 amn

Trois cas se prsentent :

24
Les systmes linaires 1.4 Mthodes directes de rsolution de systmes linaires

1. si n < m : il y a moins dquations que dinconnues. Le systme est sous-dtermin.

Lensemble des solutions est un sous espace affine,
2. si n > m : il y a plus dquations que dinconnues. Le systme est sur-dtermin,
3. si n = m = il y a exactement le mme nombre dquations que dinconnues. Dans la suite
nous considrerons (sauf exceptions) ces systmes carrs.
Dans ce cas, il existe une unique solution x Ax = b pour tout vecteur b 2 Kn si et
seulement si A 2 Mnn (K) est inversible.
Il existe plusieurs mthodes pour rsoudre ces systmes : les mthodes directes et les mthodes it-
ratives. Commenons par tudier les mthodes directes comme lindique lintitul de cette section.

1.4.1 Principe des mthodes directes

Nous nous ramenons en un nombre fini doprations un systme simple rsoudre en gnral
triangulaire (parfois une matrice orthogonale). Ces mthodes reviennent souvent crire une d-
composition de la matrice A = BC, o B et C ont des proprits particulires.
Ainsi rsoudre Ax = b quivaut rsoudre B(Cx) = b ce qui est quivalent rsoudre
By = b,
puis
Cx = y.
La plus clbre des mthodes est appele pivot de Gauss.

1.4.2 Pivot de Gauss - Dcomposition LU

Le pivot de Gauss (ou mthode dlimination de Gauss), permet de dcomposer la matrice A en
produit de deux matrices LU o :
-L est une matrice triangulaire infrieure (Lower en anglais),
-U est une matrice triangulaire suprieure (Upper en anglais).
Nous avons le rsultat suivant.

Lalgorithme de Gauss

Thorme 7 (PIVOT DE GAUSS)

Pour toute matrice A 2 Mn (K), il existe une matrice inversible M telle que T = M A
soit triangulaire.

Remarque
1. Ce rsultat reste vrai pour A non inversible, mais alors T nest pas inversible non plus et
on ne peut rsoudre le systme triangulaire obtenu.
2. Ce rsultat nest pas un thorme de rduction de matrice.

25
1.4 Mthodes directes de rsolution de systmes linaires Les systmes linaires

La factorisation LU

Nous allons montrer ici que lalgorithme permettant de prouver le rsultat du thorme de la section
prcdente permet dcrire (dans certains cas)

A = LU ,

o L est une matrice triangulaire infrieure et U est une matrice triangulaire suprieure.
Par consquent, rsoudre le systme Ax = b revient rsoudre les deux systmes triangulaires

Ly = b,
U x = y.

Cette mthode est intressante quand on doit rsoudre beaucoup de systmes du type

Axj = bj ,

parce que L et U sont calcules une fois pour toute et nous navons plus qu les utiliser pour
chacun des cas.
Notation : on notera dans la suite de ce chapitre, la matrice
0 1
a11 a12 a1k
Ba21 a22 a2k C
B C
k (A) = B .. .. .. .. C 2 Mk (K).
@ . . . . A
ak1 ak2 akk

Thorme 8 (DCOMPOSITION LU )

Soit A 2 Mn (K). Si pour tout 1 k n, la matrice k (A) est inversible (autrement

dit det k (A) 6= 0), alors il existe une unique dcomposition de A de la forme A = LU
avec L une matrice triangulaire infrieure ne possdant que des 1 sur la diagonale, et U
une matrice triangulaire infrieure.

La mthode de Crout

Cette mthode permet de calculer la dcomposition LU = A

(voir dtails en cours).

Complexit de la mthode de Crout

Il faut environ 2n3 /3 oprations pour calculer les matrices LU . Pour rsoudre un systme tri-
angulaire il faut n2 oprations. Rien voir avec le nombre doprations de lordre de (n + 1)!
ncessaires.
26
Les systmes linaires 1.4 Mthodes directes de rsolution de systmes linaires

Application au calcul du dterminant et de linverse

-pour le dterminant :
une fois obtenue la dcomposition A = LU , nous avons

det A = det L det U .

Il est facile de remarquer que det L = 1. Par consquent,

Q
n
det A = det U = uii .
i=1

-pour linverse :
on note

A 1 = (x1 |...|xn ),

o chacun des vecteurs xi est solution de Axi = ei , avec ei le ime vecteur de la base canonique
(compos de 0 partout sauf la ime composante qui vaut 1). Nous procdons alors de la faon
suivante :
- nous calculons la dcomposition LU ,
- nous rsolvons

Lyi = ei ,
pour tout i = 1, ..., n.
U x i = yi ,

Au total le nombre doprations sera de lordre de 8n3 /3.

Recherche de pivot

Si nous tombons sur un pivot nul, nous procdons une permutation. Si nous tombons sur un pivot
trs petit, nous lutilisons alors au risque de commettre de grosses erreurs de calculs darrondis.
Comment y remdier ?
Nous procdons la recherche de pivot.
-pivot partiel : nous recherchons le plus grand coefficient de la ligne (ou de la colonne) considre
et nous faisons une permutation avant de continuer.
-pivot total : nous cherchons le plus grand coefficient dans toute la matrice.
Complexit des algorithmes de tri :
-n2 log2 (n) pour le pivot partiel,
-n3 log2 (n) pour le pivot total.
Or, n2 log2 (n) = o(n3 ) donc en gnral on utilise le pivot partiel.
27
1.5 Mthodes itratives de rsolution de systmes linaires Les systmes linaires

1.4.3 Cas des matrices symtriques dfinies positives :la factorisation de

Cholesky
Thorme 9 (CHOLESKY)

Si A 2 Mn (K) est une matrice symtrique relle dfinie positive, il existe au-moins une
matrice B triangulaire infrieure telle que

A = BB T .

De plus, on peut imposer que les coefficients diagonaux de B soient strictement positifs
et alors la dcomposition est unique.

Complexit : nous calculons B par identification BB T = A. Nous obtenons alors un ordre en n3 /6

additions, n3 /6 multiplications et n extractions de racines, ce qui est moins que la mthode LU .

1.4.4 Factorisation QR
Thorme 10 (DCOMPOSITION QR)

Soit A 2 Mn (K) une matrice inversible. Il existe un unique couple (Q, R) tel que Q est
orthogonale et R est une matrice triangulaire suprieure diagonale strictement positive
telles que A = QR.

Remarque Rsoudre Ax = b est alors quivalent rsoudre le systme

Qy = b,
Rx = y.

Sachant que Qy = b sinverse facilement en donnant car Q 1

= QT et donc y = QT b.

La preuve sinspire du procd dorthogonalisation de Gram-Schmidt.

1.5 Mthodes itratives de rsolution de systmes linaires

Dans la section prcdente, nous avons vu les mthodes appeles mthodes directes car elles four-
nissent des solutions exactes (aux erreurs darrondis prs bien entendu, ce qui nest pas rien).Cependant,
ces calculs peuvent tre lourds pour de trs grandes matrices.
Une alternative consiste faire converger des suites vers la solutions. Nous perdrons alors lexac-
titude de la solution, mais nous gagnerons en rapidit dexcution dans lapproximation de la
solution (suivant le degr de prcision voulu).
28
Les systmes linaires 1.5 Mthodes itratives de rsolution de systmes linaires

1.5.1 Principe des mthodes itratives

Nous dcomposons A inversible sous la forme A = M N . Nous avons alors
Ax = b quivalent M x = N x + b.
Sous cette forme, nous cherchons approcher la solution du problme par la mthode itrative
suivante :

x0 2 K n donn,
M xk+1 = N xk + b, pour tout entier k 0.
A chaque itration, nous devons rsoudre un systme linaire de matrice M pour calculer xk+1 en
fonction de xk .
La mthode est intressante quand M est facile inverser (ou plutt le systme facile r-
soudre).
Montrons que cette mthode, si elle converge, approche bien la solution de Ax = b.
Soit x 2 Kn solution de Ax = b.
Supposons que la suite (xk )k2N converge vers x0 2 Kn nous avons
lim kxk x0 k = 0
k!+1

pour une norme quelconque.

Comme M et N sont linaires, elles sont continues (nous sommes en dimension finie), donc la
limite k ! +1 dans M xk+1 = N xk + b. Nous obtenons
M x1 = N x1 + b, soit encore Ax1 = b.
Et comme A est inversible, par unicit de la solution nous avons x1 = x
-tude de la convergence :
Notons ek = xk x, lerreur commise au rang k. La mthode converge si et seulement si lim ek =
k!+1
0 ou encore lim kek k = 0.
k!+1
Pour tout k 2 N, on a
ek+1 = xk+1 x.
Nous choisirons M inversible dans cette dcomposition. De telle sorte que
M xk+1 = N xk + b,
quivalent
1 1
xk+1 = M N xk + M b.
De mme
Ax = b = M x N x,
qui est quivalent
1 1
x=M Nx + M b.
29
1.5 Mthodes itratives de rsolution de systmes linaires Les systmes linaires

Nous pouvons en dduire que

ek+1 = M 1
N ek .
Par une rcurrence immdiate nous obtenons
ek = (M 1
N )k e0 .
Nous dmontrerons dans les sections suivantes les rsultats permettant dnoncer le thorme de
convergence.

Thorme 11 (CONVERGENCE DE LA MTHODE ITRATIVE)

Soit A 2 Mn (K) une matrice inversible. La mthode itrative associe la dcompo-

sition A = M N , avec M inversible, converge si et seulement si le rayon spectral
(M 1 N ) < 1.

Tout le problme consiste ds lors bien choisir la dcomposition M N . Les trois dcompositions
proposes ci-dessous sont les trois mthodes les plus connues.

1.5.2 Trois mthodes classiques

Nous crivons
A=D E F,
de la faon suivante
0 1
F
@ D A
E
o D = diag(a11 , ..., ann ), et E et F sont des matrices triangulaires dfinies par

aij si i > j, aij si i < j,
(E)ij = et (F )ij =
0 sinon, 0 sinon,
Nous supposerons que A ne possde pas de zros sur sa diagonale.

Mthode de Jacobi
Dans cette mthode, nous prenons
M = D, et N = E + F ,
lavantage de cette mthode est que dans ce cas l, M est trs facile inverser. La mthode de
Jacobi sexprime alors par la suite

x0 2 K n donn,
Dxk+1 = (E + F )xk + b, pour tout entier k 0.
30
Les systmes linaires 1.5 Mthodes itratives de rsolution de systmes linaires

Mthode de Gauss-Seidel

Dans cette mthode, nous prenons

M =D E, et N = F .

La mthode de Gauss-Seidel sexprime alors par la suite

x0 2 K n donn,
(D E)xk+1 = F xk + b, pour tout entier k 0.

Mthode de relaxation

Cest une mthode intermdiaire entre les deux mthodes prcdentes. Nous mettons un peu de
diagonale de chaque ct en posant Dans cette mthode, nous prenons

1 1 !
M= D E, et N = D + F,
! !

o ! 6= 0 est un paramtre de relaxation. La mthode de relaxation sexprime alors par la suite

(
x0 2 K n donn,
1 1 !
( D E)xk+1 = ( D + F )xk + b, pour tout entier k 0.
! !

1.5.3 Critre gnral de convergence, tude des suites ditres de matrices

Lien entre rayon spectral et normes matricielles

Thorme 12 (CONVERGENCE DE LA MTHODE ITRATIVE)

1. Pour toute norme matricielle sur Mn (C) et pour toute matrice A 2 Mn (C),
(A) kAk.
2. Pour toute matrice A 2 Mn (C) et pour tout " > 0, il existe une norme subordon-
ne telle que kAk (A) + ". Attention : dans ce cas l la norme k.k dpend de
A et de ".

31
1.5 Mthodes itratives de rsolution de systmes linaires Les systmes linaires

Suites ditrs de matrices

Thorme 13 (CONVERGENCE ET QUIVALENCES)

Soit B 2 Mn (C) les assertions suivantes sont quivalentes :

1. lim B k = 0 (autrement dit lim Bk = 0 pour |||.||| norme quelconque sur
k!+1 k!+1
Mn (C),
2. pour tout x 2 Cn , lim B k x = 0 (autrement dit lim kB k xk = 0 pour k.k
k!+1 k!+1
norme quelconque sur Mn (C),
3. (B) < 1,
4. il existe une norme matricielle telle que |||B||| < 1.

1.5.4 Quelques cas particuliers de convergence

Cas des matrices symtriques (ou hermitiennes)

Thorme 14 (CONVERGENCE ET MATRICE SYMTRIQUE)

Soit A 2 Mn (R) une matrice symtrique relle, dfinie, positive. Nous la dcomposons
sous la forme A = M N , o M est inversible. Alors
1. M T + N est symtrique,
2. si de plus M T + N est dfinie positive, alors (M 1
N ) < 1.

Applications

1. Si A est symtrique, si A et 2D A sont dfinies positives alors la mthode de Jacobi

converge.

2. Si A est symtrique dfinie positive, alors la mthode de Gauss-Seidel converge.

3. Si A est symtrique dfinie positive, et si 0 < ! < 2, alors la mthode de relaxation

converge.
32
Les systmes linaires 1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres

Matrice diagonale strictement dominante

Dfinition 5 (MATRICE A DIAGONALE STRICTEMENT DOMINANTE)

On dit que A 2 Mn (C) est diagonales strictement dominantes si pour tout 1 i n,

P
|aii | > |aij |.
j6=i

Thorme 15 (CONVERGENCE MATRICE DIAGONALE STRICT. DOM.)

Si A 2 Mn (C) est diagonales strictement dominante, alors la mthode de Jacobi

converge.

Remarque Une matrice diagonale strictement dominante est inversible.

1.6 Mthodes numriques de calcul de valeurs propres et vec-

teurs propres
1.6.1 Motivation : modes propres
Exemple Ltude des valeurs est par exemple un outil fondamental pour ltude des vibrations de
structures mcaniques : comme pour la rsistance aux sismes dans la construction dimmeubles.
Un modle trs simplifi alternant les murs de masse m1 avec des ressorts de raideur ki o i =
1, .., 3. Le principe fondamental de la dynamique nous permet dcrire le systme dquations :
8
< m1 y100 + k1 y1 + k2 (y1 y2 ) = 0,
00
m2 y2 + k2 (y2 y1 ) + k3 (y2 y3 ) = 0,
:
m3 y300 + k3 (y3 y2 ) = 0.

Notons
0 1 0 1 0 1
y1 (t) m1 0 0 k 1 + k2 k2 0
y(t) = @y2 (t)A , M = @ 0 m2 0 A et M = @ k2 k2 + k3 k 3 A.
y3 (t) 0 0 m3 0 k3 k3

Le systme se rcrit alors

M y 00 (t) + Ky(t) = 0.

Nous cherchons des solutions priodiques en temps s sous la forme

y(t) = y(0)ei!t ,
33
1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres Les systmes linaires

o y(0) est le vecteur condition initiale.

Alors

y 00 (t) = ! 2 ei!t y(0).

Nous obtenons alors

( ! 2 M y(0) + Ky(0))ei!t = 0, pour tout t > 0.

Soit encore,
1
(M K)y(0) = ! 2 y(0).

Les modes qui peuvent se propager sont telles que ! 2 est valeur propre de M 1
K.

1.6.2 Difficults
La recherche des lments propres est un problme beaucoup plus difficile que celui de la rso-
lution de systmes linaires. cest un problme dalgbre linaire mais ce nest pas un problme
linaire. Les valeurs propres de A + B ne sont en gnral pas la somme de celles de A et de celles
de B.
Il nexiste pas de mthode directe (calcul exacte en un nombre fini dtapes). Les valeurs propres
sont les racines dun polynme. Depuis Galois et Abel, nous savons que ce nest pas possible au-
del du degr 5.
Par consquent, il ny a que des mthodes itratives pour rsoudre ce problme.
Il ny a pas de mthodes pour laquelle nous savons prouver la convergence pour toute matrice.
Nous ne calculerons pas le polynme caractristique puis ses racines pour calculer les valeurs
propres (sauf ventuellement pour des petites matrices (infrieur ou gal 3).

1.6.3 Conditionnement spectral

Nous nous intressons lamplification des erreurs, ici pour le problme de recherche des valeurs
propres.

Exemple Considrons le bloc de Jordan suivant

0 1 0 1
0 1 0 0 1 0
B . . C B . .. C
B0 0 . . .. C B0 0 .. .C
A = B. . . C 2 Mk (C) , et pour " > 0, A(") = B . .. . . C.
@ .. .. . . 1A @ .. . 1A
.
0 0 0 " 0 0

Le polynme caractristique de A(") est X"(x) = xn " (matrice compagne) dont les racines sont
"1/n ei2k/n , pour k = 0, ..., n 1.
Une erreur dordre " (par exemple 10 20 ), entranera une erreur dordre "1/n sur les valeurs
propres. Par exemple, pour n = 20, cela donnerait "1/n = 10 1 .
Cette matrice est mal conditionne pour le problme de recherche de valeurs propres.
34
Les systmes linaires 1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres

-Pour les matrices diagonalisables :

nous dfinissons le conditionnement spectral par

(A) = inf {cond(P ), inversible telle que P 1

AP diagonale}.

Proprit 5 (PROPRITS CONDITIONNEMENT SPECTRAL)

Soit A 2 Mn (K), nous avons les proprits suivantes :

1. (A) 1,
2. (A) = 1 pour A normale (symtrique orthogonale, unitaire)

Thorme 16 (LOCALISATION DES VALEURS PROPRES AVEC PERTURBATION)

Soit A 2 Mn (K) une matrice diagonalisable, de valeurs propres 1, ..., n. Soit |||.||| une
norme subordonne telle que

|||diag( 1 , ..., n )||| = max | i |.

1in

Cest bon pour |||.|||1 , |||.|||2 , |||.|||1 . [

Le spectre de A + A (o A est une matrice quelconque) est inclus dans Di ,
1in
o

Di = {z 2 C tel que |z i| (A)||| A|||}.

Remarque
1. Nous obtenons une majoration de lerreur et non de lerreur relative.

2. Ne pas confondre le conditionnement pour la rsolution de systmes linaires et le condi-

tionnement spectral.
Par exemple :
0 1
2 1 0 0
B 1 2 1 0 C
B ..C
B . .
.. .. .. C
An = B 0 . .C 2 Mn (R),
B . . C
@ .. .. ... ..
. 1A
0 0 1 2
La matrice An est symtrique donc (An ) = 1 pour tout n 2 N .
4 2
Dun autre ct cond2 (An ) n ! +1.
n!+1 2 n!+1

35
1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres Les systmes linaires

1.6.4 Mthode de la puissance

Soient A 2 Mn (C) et y0 2 Cn . La mthode de la puissance est base sur litration suivante.
Pour tout k 0,
yk+1 = Ayk .
Alors pour tout k 0,
yk = Ak y0 .
Et comme on a
1/k
lim Ak = (A).
k!+1

Autrement dit, Ak se comporte pour k suffisamment grand comme (A)k In .

La mthode de la puissance permet de calculer une valeur propre approche de la plus grande
valeur propre en module et un vecteur propre associ.
Thorme 17 (CALCUL DES VECTEURS PROPRES ET VALEURS PROPRES)

Soit A 2 Mn (K) une matrice diagonalisable, de valeurs propres 1, ..., n telles que

| 1| > | 2| ... | n |.

Notons (v1 , v2 , ..., vn ) une base de vecteurs propres tels que

kvi k2 = 1 pour tout i = 1, ..., n.

Soient y0 2 Cn et (yk )k2N dfinie par

yk+1 = Ayk pour tout k 2 N.

n
X
Nous crivons y0 = ai vi . Nous supposons que ai 6= 0.
i=1
Alors
!!
k
2
yk = k
1 a1 v 1 + O .
k!+1 1

De plus le quotient de Raleygh satisfait

!
k
hAyk , yk i 2
= 1 + O .
kyk k2 k!+1 1

Enfin,
k
1 yk
lim =q
k!+1 | 1 |k kyk kk
un vecteur associ 1

36
Les systmes linaires 1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres

Remarque
1. Si A est symtrique, il existe
! une base orthonorme de vecteurs propres et la convergence
2k
2
est dordre 0 .
k!+1 1

2. On peut encore montrer un rsultat de convergence dans des cas plus gnraux o
| 1| > | 2| ... | n |.

et A est non diagonalisable. La convergence est cependant moins rapide.

3. A a une seule valeur propre de plus grand module, mais pas ncessairement simple.
4. La mthode de la puissance ne marche plus quand A admet deux valeurs propres de mme
module.
5. En pratique, kyk k crot exponentiellement donc pour viter un overflow on normalise yk
chaque tape de la faon suivante :
Axk
xk+1 = , pour tout k 0.
kAxk k
Alors pour tout k 2 N,
Ak x0
xk = .
kAk x0 k
Pour trouver la valeur propre de A la plus proche dun donn, on utilise ce quon appelle
la mthode de la puissance inverse :
(A In )yk+1 = yk , pour tout k 2 N.
Si 1 est proche de on a
1 1
pour tout i 6= 1.
| 1 | | i |

1.6.5 Gnralisation de la mthode de la puissance : la mthode QR

Supposons | 1 | > | 2 | ... | n |. Nous cherchons calculer 1 et 2. Nous considrons y0 ,
z0 2 C tels que < y0 , z0 >= 0 (orthogonaux).
n

Pour k 0, nous posons

yk+1 = Ayk ,
zk+1 = Azk k+1 yk+1 ,

o k+1 est choisi tel que < yk+1 , zk+1 >= 0.

Alors

y k = Ak y 0 ,
z k = Ak z 0 k yk ,

37
1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres Les systmes linaires

o k est dfini est que < zk , yk >= 0.

Il sagit ici de combiner la mthode de la puissance avec la projection sur yk? .
Xn n
X
Nous posons y0 = ai vi et z0 = bi vi .
i=1 i=1
tudions z :
k

n X
X n
k k
< yk , zk >= 0 = i j ai (bj k aj ) < vj , vi >.
i=1 j=1

b1
Le terme prpondrant correspond i = j = 1 donc k ' , et
a1
!!
k
k 2
a1 (b1 k a1 ) 1 1+ O =
k!+1 1
!!
k
2
a1 (b1 k a2 )
k
2 < v2 , v1 > + O .
k!+1 1

Donc
!!
k
2
zk = k
2 (b2 k a2 ) v2 < v2 , v1 > v1 + O ,
k!+1 1

autrement dit kk sapproche de v2 < v2 , v1 > v1 qui est le projet orthogonal de v2 sur v1? .
Pour rcuprer 1 et 2 , nous crivons

yk zk
Uk = , .
kyk k2 kzk k2
Alors

1
lim Uk AUk =
k!+1 0 2

Ainsi,
1. Le terme (1, 1) de la matrice prcdente est tel que
hAyk , yk i
lim = 1
k!+1 kyk k2

2. Le terme (2, 2) de la matrice prcdente est tel que

hAzk , zk i
lim = 2
k!+1 kzk k2

3. Le terme (2, 1) de la matrice prcdente est tel que

hAyk , zk i
lim =0
k!+1 kyk k2 kzk k2

38
Les systmes linaires 1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres

Pour obtenir toutes les valeurs propres, nous partons de n vecteurs orthogonaux, et nous utilisons
le mme principe.
La rcriture de cette mthode sous la forme suivante constitue la dcomposition QR de la re-
cherche des valeurs propres. Cest la mthode la plus utilise en pratique, elle a t introduite dans
les annes 60.
Lalgorithme dcrit prcdemment peut se rcrire

AUk = Uk+1 Rk+1 ,

o R est triangulaire suprieure.

nous choisissons Un orthogonale telle que pour tout k 2 N,

zk+1 = AUk ,
Uk+1 Rk+1 = Zk+1 ,
cest la dcomposition QR.
Lalgorithme QR est le suivant

1. A0 = A,
2.
pour tout k 2 N,
Ak = Qk Rk , (dcompostion QR)
Ak+1 = Rk Qk , (dfinition de Ak+1 ).
Nous avons ainsi

A0 = Q0 R0 , A1 = R0 Q0 , A2 = R2 Q1 = Q2 R2 , etc.

Pour tout k 2 N, QR est orthogonale (ou unitaire), cest dire que QTk Qk = In ou Qk Qk = In, et
donc

Ak+1 = QTk Ak Qk .

Toutes mes matrices Ak sont semblables, cest dire quelles ont les mmes valeurs propres.
La mthode QR converge pour beaucoup plus de matrice que celles pour lesquelles nous savons
montrer un thorme de convergence.
Quentend-on par converger ici ?
Nous voulons que les matrices Ak deviennent simples : triangulaires ou diagonales.

39
1.6 Mthodes numriques de calcul de valeurs propres et vecteurs propres Les systmes linaires

40
Chapitre 2

Rsolution approche dquations non

linaires

(a) Sir Isaac Newton (b) Thomas Simpson (1710-1761), (c) Stefan Banach (1892-1945),
(16421727), Newton qui mathmaticien anglais gnralisa la mathmaticien polonais est lun
partage avec Gottfried Wilhelm mthode de Newton au calcul itra- des fondateurs de lanalyse fonc-
Leibniz la dcouverte du calcul tif des solutions dune quation non tionnelle, qui lon doit entre
infinitsimal, a galement dve- linaire, en utilisant les drives autre un thorme ponyme du
lopp une mthode ponomyme point fixe.
pour trouver un point fixe.

F IGURE 2.1 Quelques mathmaticiens clbres lis ltude des nombres entiers, rationnels et
rels.

2.1 Introduction
Le problme est ici de rsoudre des quations de la forme

f (x) = 0,
41
2.2 Dichotomie Rsolution approche dquations non linaires

f est dfinie dun sous-ensemble de R valeurs dans R.

Cela parat simple mais nous verrons plusieurs mthodes pour y arriver. Nous dirons la fin de ce
chapitre un mot sur les systmes dquations non-linaires o cette fois-ci f : D Rn ! R, o
n 2.

2.2 Dichotomie
Cette mthode repose sur le thorme des valeurs intermdiaires. En particulier :
si f : [a, b] ! R continue et si f (a)f (b) < 0, alors il existe c 2]a, b[ tel que f (c) = 0.

2.3 Mthode de type point fixe

2.3.1 Thorme-nonc gnral
Nous nous intressons ici la rsolution de lquation

'(x) = x.

Thorme 1 (MTHODE DU POINT FIXE)

Soit E un R espace vectoriel norm complet. Soit ' : E ! E une fonction contrac-
tante. Il existe K 2]0, 1[, tel que pour tous x, y 2 E

k'(x) '(y)k Kkx yk.

Alors :
1. ' admet un unique point fixe x 2 E,
2. pour tout xk 2 E, la suite dfinie par
xk+1 = '(xk ),
converge vers x .

Ici, nous utiliserons ce thorme avec E = R (ou R ) ou E = [a, b].

Nous allons donner caractrisation du caractre contractant laide de la drive pour les fonctions
' dfinies sur [a, b].
Supposons ' de classe C 1 sur [a, b]. Si ' est contractante, nous avons pour tous x, y 2 [a, b]

|'(x) '(y)| K|x y|,

quivalent

|'0 (x)| K pour tout x 2 [a, b],

quivalent
42
Rsolution approche dquations non linaires 2.3 Mthode de type point fixe

|'0 (x)| 1 pour tout x 2 [a, b].

Pour montrer cette caractrisation, on utilise dautre part, le thorme des accroissements finis :

|'(x) '(y)| sup |'0 (t)||x y|.

t2[a,b]

2.3.2 Construction de mthodes pour f (x) = 0

Le but ici est de trouver ' tel que rsoudre f (x) = 0 soit quivalent rsoudre '(x) = x.
1. Un premier choix simple serait de prendre '(x) = x f (x).
Supposons f de classe C 1 sur [a, b]. Alors ' lest aussi et nous avons

'0 (x) = 1 f 0 (x), pour tout x 2 [a, b].

Nous souhaitons nous assurer de lexistence dun rel positif K < 1 tel que

|'0 (x)| K,

cest dire

|1 f 0 (x)| K,

ou encore
1 K f 0 (x) 1 + K. (2.1)

En particulier, f 0 (x) > 0 pour tout x 2 [a, b]. Donc f doit tre strictement croissante sur
[a, b].
Par consquent, la condition (2.1) est assez restrictive.
2. Un choix moins contraignant rside dans le choix suivant de ' :

'(x) = x f (x),

o est un rel non nul choisir convenablement. Dans ce cas l,

|'0 (x)| K pour tout x 2 [a, b]

est quivalent
1 K f 0 (x) 1 + K. (2.2)

Nous devons encore avoir f 0 de signe constant mais la condition (2.3) reste beaucoup moins
contraignant que la condition (2.1) pour un bien choisi.
Ce qui prcde permet de dduire ce que nous appellerons la mthode de la corde, dcrite par la
suite :

x0 2 [a, b] quelconque,
xk+1 = xk f (xk ).
43
2.4 Mthode de Newton Rsolution approche dquations non linaires

2.3.3 Vitesse de convergence

Nous reprenons le cadre du thorme gnral du point fixe :
soient E un espace de Banach, x lunique point fixe de ' et K la constante de contraction.
Si nous notons en = kxn x k pour tout n 2 N, alors

en+1 = kxn x k = k'(xn ) x k = k'(xn ) '(x )k Kkxn x k.

Autrement dit

en+1 Ken , pour tout n 2 N.

Par rcurrence immdiate, nous obtenons

en K n e0 , pour tout n 2 N,

par consquent, lim en = 0 au plus la mme vitesse que K n .

n!+1
Par consquent, plus K est petit, plus la convergence sera rapide.
Si nous regardons ce que a donne pour la mthode de la corde cite un peu plus haut, daprs (2.3)
nous avons, sous rserve que f soit de classe C 1 ,

1 K f 0 (x) 1 + K. (2.3)

Ce qui pour un x fix, nous donne pour le cas limite o K = 0,

1
= .
f 0 (x)
Cest lide de la mthode de Newton : en chaque point, nous cherchons le meilleur (qui va
dpendre du point x).

2.4 Mthode de Newton

2.4.1 Principe
La dernire remarque ici conduit lcriture suivante
8
< x0 2 [a, b] donn,
f (xn )
: xn+1 = xn , n 2 N.
f 0 (xn )
Une autre manire de voir la mthode de Newton est la suivante.
Nous cherchons rsoudre f (x) = 0 en se donnant un point de dpart x0 . Nous ne savons pas en
gnral rsoudre une quation non linaire, mais nous savons rsoudre une quation affine.
Lide ici est de remplacer le problme non linaire f (x) = 0 par un problme affine g(x) = 0, o
g est la meilleure approximation affine de f au voisinage de x0 .
De faon naturelle on identifie la reprsentation de g la tangente la courbe de f au point
dabscisse x0 si f est de classe C 1 au voisinage de x0 . En effet,
44
Rsolution approche dquations non linaires 2.4 Mthode de Newton

f (x) = f (x0 ) + f 0 (x0 )(x x0 ) + o (x x0 ).

x!x0

Nous posons donc

g(x) = f (x0 ) + f 0 (x0 )(x x0 ),

et nous dfinissons x1 tel que g(x1 ) = 0. Notons que x1 est bien dfini si f 0 (x0 ) 6= 0.
En ritrant le procd, nous obtenons la dfinition suivante
8
< x0 2 [a, b] donn,
f (xn )
: xn+1 = xn , n 2 N.
f 0 (xn )

2.4.2 Thorme de convergence

Thorme 2 (THORME DE CONVERGENCE)

Soit f : [a, b] ! R une fonction de classe C 2 sur [a, b]. Nous supposons quil existe
x 2]a, b[ tel que f (x ) = 0 et f 0 (x ) 6= 0. Alors il existe " > 0 tel que pour tout
x 2 [x ", x + "], la suite des itrs de Newton
f (xn )
xn+1 = xn , pour tout n 2 N,
f 0 (xn )
1. soit bien dfinie pour tout n 2 N,
2. reste dans [x ", x + "],
3. converge vers x quand n tend vers +1,
4. admette lexistence dun C > 0 tel que
|xn+1 x | C|xn x |2 , pour tout n 2 N.

Remarque La vitesse de convergence est telle que

en+1 e2n .

En gnral au bout de 3 ou 4 itrations, nous obtenons une prcision de 10 8

10 16
.

Remarque Cette mthode possde quand mme quelques limites :

1. il faut connatre la drive f 0 en chacun des points de la suite, ce qui peut tre problma-
tique quand f provient de donnes exprimentales,
2. il faut partir dun point assez proche de la solution cherche en gnral, donc nous avons
besoin dinformations a priori prcises sur f et x .
Une des solutions pour palier ce problme est dutiliser la mthode de dichotomie pour
localiser assez grossirement x avant dappliquer la mthode de Newton.

45
2.5 Mthode de la scante Rsolution approche dquations non linaires

2.5 Mthode de la scante

Lide ici, est de ne pas utiliser f 0 et donc de remplacer la drive f 0 (xn ) par une diffrence finie
f (xn ) f (xn 1 )
dn = .
xn xn 1
La mthode scrit alors
8
< x0 , x1 2 [a, b] donns,
xn xn 1
: xn+1 = xn f (xn ) , n 2 N .
f (xn ) f (xn 1 )
Cest une mthode deux pas : elle permet de calculer xn+1 en fonction des deux valeurs prc-
dentes xn et xn 1 .

Thorme 3 (MTHODE DE LA SCANTE)

Soit f : [a, b] ! R une fonction de classe C 2 sur [a, b]. Nous supposons quil existe
x 2]a, b[ tel que f (x ) = 0 et f 0 (x ) 6= 0. Alors il existe " > 0 tel que pour tout
x 2 [x ", x + "], la suite de la mthode de la scante dfinis par
xn xn 1
xn+1 = xn f (xn ) , n 2 N ,
f (xn ) f (xn 1 )
1. soit bien dfinie pour tout n 2 N,
2. reste dans [x ", x + "],
3. converge vers x quand n tend vers +1,

2.6 Ordre dune mthode itrative

Soit (xn )n2N une suite dapproximation de x , solution de f (x ) = 0.
Nous notons
en+1 = |xn x | pour tout n 2 N.
Nous disons que la mthode itrative est dordre 1 si est le sup des rels pour lesquels il
existe C > 0 tel que
en+1 Cen pour tout n 2 N.
1. Une mthode dordre 1 converge sil existe un constante c 1 telle que
en+1 Cen pour tout n 2 N.
2. Pour les mthodes dordre > 1, il faut que lerreur initiale soit suffisamment petite.
n 1 n 1 n
en C 1+ +...+ (e0 ) (Ce0 ) .
1
46
Rsolution approche dquations non linaires 2.7 Systmes dquations non linaires

Rappelons en effet que

n n
1
1+ + ... + n 1
= .
1 1
Par consquent, plus est grand, plus la convergence est rapide.
(a) Mthode de Newton : ordre 2,
p
1+ 5
(b) Mthode scante : ordre ,
2
(c) Mthode du point fixe : ordre 1,
(d) Mthode de dichotomie : ordre 1.

2.7 Systmes dquations non linaires

Considrons le problme

f (x) = 0,

o cette fois-ci f : Rn ! Rn .

2.7.1 Point fixe

Le thorme du point fixe sapplique dans Rn . Nous considrons alors la fonction ' : Rn ! Rn
dfinie par

'(x) = x f (x),

(ou '(x) = x f (x)), 6= 0 est choisir).

Pour appliquer le thorme du point fixe, il faut que ' soit contractante. Il faut trouver une norme
sur Rn pour laquelle il existe K < 1 tel que pour tous x, y 2 R,

k'(x) '(y)k Kkx yk.

Remarque Si ' est de classe C 2 , nous avons encore une ingalit des accroissements finis sur
Rn .
Si nous fixons J'(x) , la jacobienne de ' au point x dfinie par

@'i
J' (x) = (x),
@xj 0i,jn

alors

k'(x) '(y)k sup |||J' (tx + (1 t)y)|||kx yk.

t2[0,1]

47
2.7 Systmes dquations non linaires Rsolution approche dquations non linaires

2.7.2 Mthode de Newton dans Rn

Cest peu prs la mme ide que dans R. Nous remplaons f au voisinage du point considr par
sa meilleure approximation affine
f (x) = f (x0 ) + Df (x0 )(x x0 ) + o kx x0 k,
x!x0

ou encore
f (x) = f (x0 ) + Jf (x0 )(x x0 ) + o kx x0 k.
x!x0

On pose
g(x) = f (x0 ) + Jf (x0 )(x x0 ),
et x1 est dfini par g(x1 ) = 0, et on obtient, si Jf (x0 ) est inversible
1
x1 = x0 (Jf (x0 )) f (x0 ).
La mthode scrit alors

x0 , 2 R d donn,
1
xn+1 = xn (Jf (x0 )) f (xn ), n 2 N .
On a un rsultat de convergence similaire celui vu pour d = 1.

2.7.3 Retour sur les systmes linaires et aux mthodes itratives

Nous cherchons rsoudre Ax = b, o b est un vecteur de Rn donn et A 2 Mn (R) est une
matrice inversible.
Nous crivons A = M N , M inversible et nous proposons lalgorithme suivant :

x0 , 2 R d donn,
M xk+1 = N xk + b, k 2 N .
Ce qui se rcrit pour tout k 2 N par
1 1
xk+1 = M N xk + M b.
Si nous posons
f : Rn ! Rn ,
x 7! M 1 N x + M 1
b,
alors pour tout k 2 N
xk+1 = f (xk ).
Si la suite (xk )k2N converge, elle converge vers un point fixe de f .
Soit k.k une norme de Rn .
Alors pour tous x, y 2 Rn ,
1 1
kf (x) f (y)k = kM N (x y)k |||M N |||kx yk.
Si pour une norme |||M 1
N ||| < 1 on a f contractante et le thorme du point fixe sapplique.

48