Académique Documents
Professionnel Documents
Culture Documents
EPUUniversite de Tours
D
epartement Informatique
2007-2008
ANALYSE NUMERIQUE
Chapitre 2
solution de syste
`mes line
aires
Re
1
Introduction
a1n
a2n
u=
...
ann
x1
x2
et b =
...
xn
b1
b2
...
bn
1.1
Complexit
e et ordre dune m
ethode
Les formules de Cramer donnent, par exemple, dans tous les cas o`
u detA 6= 0,
lecriture theorique exacte de la solution (entendre des n composantes de la solution) comme quotients de determinants.
0
Le denombrement des operations elementaires (additions, multiplications, soustractions, divisions...confondues) requises fait apparaitre que cette methode co
ute
Nn (n + 1)2 n! calculs,
par exemple N5 = 4319, N10 4 108 et N30 2, 3 1035 ... Cest enorme!
, On cherche plutot des methodes dans lesquelles le nombre doperations elementaires
est de type polynomial de type O(np ) avec p le plus petit possible.
1.2
Classification des m
ethodes
(a) M
ethodes directes
Elles fournissent une solution exacte (aux erreurs de troncature pr`es) en un nombre
fini doperations. Les methodes usuelles sont :
Gauss : avec pivot partiel ou total,
Decomposition LU : L triangulaire inferieure, U triangulaire superieure,
Cholesky : decomposition BB t si A est symetrique definie positive,
Householder: decomposition QR, Q orthogonale et R triangulaire superieure.
(b) M
ethodes it
eratives
Le probl`eme initial : trouver u tel que Au = b secrit sous la forme M u = N u + b, si
on decompose A = M N ,...et devient un probl`eme de point fixe lie au processus
iteratif
(3)
up+1 = M 1 N up + M 1 b
u0 terme dinitialisation
up+1 = Bup + c
o`
u la matrice B et le vecteur c sont definis `a partir de A et b.
Ces methodes iteratives qui font apparatre des suites de vecteurs, rendent necessaire
lemploi de normes ( une structure metrique ) dans les espaces vectoriels, pour
mesurer la convergence.
1.3
Rappels matriciels
i et le determinant, detA =
i .
1in
1in
2
2.1
M
ethodes directes
Cas des matrices triangulaires
2.2
M
ethode de Gauss: principe g
en
eral
Il sagit de construire une suite finie de matrices A(k) et de vecteurs-second membreb(k) (lexposant (k) indique ici le numero dordre dans la suite). On ecrit (2) sous
la forme A(1) u = b(1) , et on construit n syst`emes equivalents A(k) u = b(k) pour
aboutir `a une matrice A(n) triangulaire superieure.
Cette methode repose sur des combinaisons lineaires des lignes de la matrice A et
des memes lignes de la matrice colonne b.
Avec des notations evidentes, la matrice A(k) etant obtenue, le principe est de mul(k)
aik
tiplier la ki`eme ligne de cette matrice par
et dajouter `a la ligne i pour
(k)
akk
k + 1 i n.
Autrement dit pour une methode avec pivots naturels non nuls :
(k)
a
1ik
1jn
ij
(k+1)
0
k+1in
1jk
aij
=
(k) (k)
a
a
(k)
aij ik (k)kj k + 1 i n k + 1 j n
akk
bi
b(k)
i
(k)
bi
1ik
(k) (k)
aik bk
(k)
akk
k+1in
1 2 3 4
0
3 2 3 7
5
A=
5 18 29 23 et b = 1
4 4 0 29
25
successivement
1 2 3 4
3 2 3 7
5 18 29 23
4 4 0 29
1 2
3
4
0 4
6
5
0 8 14
3
0 4 12 13
1 2 3
4
0 4 6
5
0 0
2
7
0 0 6 18
1 2 3 4
0 4 6 5
0 0
2
7
0 0
0
3
0
5
1
25
0
5
1
25
0
5
11
30
0
5
11
3
2.3
D
ecomposition LU
2.4
M
ethode de Cholesky
Th
eor`
eme 2.3 Si A est une matrice symetrique definie positive, il existe une matrice triangulaire inferieure B telle que A = BB t
De plus si on impose la positivite des coefficients diagonaux de B la decomposition
est unique.
Ecriture algorithmique
Lidee est de construire la matrice B colonne par colonne - en partant bien s
ur dune
matrice A symetrique definie positive!
Lecriture A = BB t donne pour la premi`ere colonne :
a11 = b211 et ai1 = bi1 b11 pour tout 1 i n;
on en deduit sans peine b11 et bi1 .
Supposant construites les k 1 premi`eres colonnes, on obtient :
j=k1
j=k
X
X
u
b2kj , do`
akk =
b2kj = b2kk +
j=1
j=1
bkk
v
u
j=k1
X
u
= takk
b2kj
j=1
j=1
bik =
aik
Pj=k1
j=1
bij bkj
bkk
3
3.1
M
ethodes it
eratives
Normes et conditionnement dune matrice
D
efinition 3.1 Une norme dans un e.v. de matrices est matricielle si
quelles que soient les matrices A et B on a : ||AB|| ||A||.||B||.
Pour toute norme dans Rn , la norme matricielle subordonn
ee dune matrice
||Ax||
est ||A|| = sup
.
x6=0 ||x||
Le conditionnement de la matrice est cond(A) = ||A||.||A1 ||;
cest un param`etre, lie `a la norme utilisee, qui mesure la sensibilite des calculs aux
propagations derreurs.
proposition 3.1 Soit A une matrice inversible, b un vecteur non nul, A et b des
perturbations de A et b.
On note u, u + u et u + 0 u les solutions respectives des syst`emes :
Au = b, A(u + u) = b + b et (A + A)(u + 0 u) = b.
||b||
|| 0 u||
||A||
||u||
cond(A)
et
cond(A)
.
Alors
0
||u||
||b||
||u + u||
||A||
Dans plusieurs cas on peut evaluer le conditionnement de la matrice A. En particulier pour la norme euclidienne , on note le conditionnement cond2 (A) relatif `a
cette norme:
Th
eor`
eme 3.2 Si M et m sont les plus grande et plus petite valeurs propres de
M
At A alors [Cond2 (A)]2 =
.
m
Si A est symetrique reelle, et si n et 1 sont les plus grande et plus petite valeurs
|n |
propres de A, alors Cond2 (A) =
.
|1 |
Si A est orthogonale Cond2 (A) = 1.
3.2
G
en
eralit
es sur la convergence
Lobjectif est de construire une suite de vecteurs (up ) qui converge vers la solution
de (2). Cette convergence est fortement liee aux normes utilisees quil convient de
preciser. On compl`ete les rappels initiaux par les resultats suivants:
proposition 3.3 Une norme subordonnee est une norme matricielle.
Les normes subordonnees associees aux normes usuelles `1 , `2 et ` de Rn sont
donnees par
i=n
X
||A||1 = max
|aij |
1jn
i=1
||A|| = max
j=n
X
|aij |
j=1
p
(At A) o`
u (M )
1in
||A||2 =
Pour la suite des iterees (il sagit cette fois des puissances successives ) dune matrice,
on a le resultat de convergence :
proposition 3.4
lim Ak = 0 v Rn
lim Ak v = 0
Nous avons enfin le deux resultat suivant qui nous sera utile pour la suite :
proposition 3.5 Soit A une matrice carree quelconque. Alors,
1) Pour toute norme matricielle subordonnee k k, on a (A) 6 kAk.
2) Si (A) < 1, alors il existe une norme matricielle subordonnee k k telle que
kAk < 1.
3.3
Convergence des m
ethodes it
eratives
Th
eor`
eme 3.6 Les trois propositions suivantes sont equivalentes:
(i) La methode (5) est convergente.
(ii) (B) < 1
(iii) ||B|| < 1 pour au moins une norme matricielle.
Remarque : Entre le rayon spectral dune matrice A quelconque et toute norme
matricielle, on a toujours la relation : (A) ||A||
Le probl`eme est donc de trouver une decomposition de A qui fournit une matrice B
inversible convenable (cest `a dire (B) < 1) et sil y en a plusieurs de determiner
la meilleure. En notant A = D E F = M N
7
E et N =
1
D
+ F o`
u est un param`etre positif.
3.4
Comparaisons - Efficacit
e des m
ethodes it
eratives
Dans certains cas particuliers on peut relier entre eux les rayons spectraux de
differentes methodes.
Th
eor`
eme 3.9 Soit A une matrice tridiagonale, alors les rayons spectraux des
methodes de Gauss-Seidel et de Jacobi sont relies par
(BGS ) = [(BJ )]2
Ainsi, pour ce type de matrices, les deux methodes convergent ou divergent simultanement et si elles convergent Gauss-Seidel est plus rapide.
Preuve : on utilise les proprietes du spectre et des polynomes caracteristiques.
3.5
Applications et remarques
4.1
Fonctionnelles quadratiques
D
efinition 4.1 Une fonctionnelle quadratique sur Rn est une application
Rn 7 R du type :
J(v) =
1
< Av, v > < b, v > o`
u A Mn (R) symetrique
2
9
4.2
Th
eor`
eme 4.2 Soient la matrice rectangulaire B Mm,n (R) (m, n N ) et le
vecteur c Rm fixes
u Rn est solution du probl`eme de minimisation
||Bu c|| = minn ||Bv c||
vR
4.3
M
ethode de gradient `
a pas fixe
Pour une matrice A symetrique definie positive, on consid`ere la fonctionnelle quadratique elliptique :
1
J(v) = < v, Av > < b, v >,
2
et le probl`eme
(6)
0<<2
1
o`
u 1 , n plus petite et plus grande v.p. de A
2n
10
4.4
Gradient conjugu
e
J etant une fonctionnelle quadratique elliptique, on ameliore la convergence en construisant des directions de descente(dp ) qui sont conjugu
ees par rapport `a A au
sens < dp , Adk >= 0 si p 6= k.
Algorithme (on a ecrit u.v le produit scalaire < Au, v >) :
u0 arbitrairement choisi, soit d0 = J(u0 ) la premi`ere direction de descente
J(uk ).dk
puis uk+1 = uk rk dk avec rk =
dk .Adk
k+1 )||2
||J(u
et dk+1 = J(uk+1 ) +
dk
||J(uk )||2
et un test darret.
Th
eor`
eme 4.4 Soit J une fonctionnelle quadratique elliptique de Rn , la methode
de gradient conjugue converge en n iterations au plus.
REMARQUES
1) Comme theoriquement on obtient le minimum en n iterations, donc apr`es un
nombre fini doperations elementaires, on range parfois la methode de gradient conjugue dans les methodes directes de resolution de Au = b. Mais dans la pratique,
les erreurs de calculs font perdre lorthogonalite des directions de descente alors la
convergence est rapide, mais peut exiger plus de n iterations.
2) On ameliore la methode en incorporant un pr
econditionnement qui reduit les
ereurs dans les calculs intermediaires et qui ameliore donc la qualite de lorthogonalite
pratique des directions de descente.
On transforme le probl`eme Au = b pour A symetrique definie positive, en
= c pour A = (U 1 )t AU o`
le probl`eme Av
u U est une matrice inversible symetrique
definie positive.
Compl
ements : M
ethode de Householder
(8)
|| = kvk2
w = v e1
r = ( v1 )
q = w c
(9)
p = q/r
Hc = c pw
Th
eor`
eme 5.3 Soit A une matrice inversible de taille n. Alors il existe une matrice
orthogonale Q telle que QA soit une matrice triangulaire superieure. La matrice Q
est en fait le produit de n matrices de Householder.
Le principe est de passer de A(k) `a A(k+1) en multipliant par une matrice de
Householder H (k) . En utilisant la remarque ci-dessus, on voit que pour resoudre le
syst`eme Ax = b, il nest pas besoin de calculer la matrice Q (ainsi que toutes les
matrices de Householder `a chaque etape). En effet, il suffit dappliquer la transformation au second-membre, en utilisant (9), on arrive `a A(n) x = b(n) , qui est un
syst`eme triangulaire, donc facile `a resoudre.
Nombre doperation necessaires pour resoudre le syst`eme par cette methode : de
lordre de 4n3 /3, soit le double de Gauss. Mais cette methode est plus stable et
employees dans les methodes dapproximations des moindre carres.
12