Vous êtes sur la page 1sur 97

Chapitre 3

Systmes dquations algbriques


Dept. Math. et Stat.
Universit Laval
25 fvrier 2009
Dept. Math. et Stat. (Universit Laval) MAT-18996 1 / 97
1
Introduction
2
limination de Gauss
3
Dcomposition LU
4
Effets de larithmtique ottante
5
Conditionnement dune matrice
6
Systmes non linaires
Dept. Math. et Stat. (Universit Laval) MAT-18996 2 / 97
Introduction Introduction
On a rsolu une quation de la forme
f (x) = 0 o x R et f (x) R (i.e. f : R : R)
On complique encore les choses : deux grandes familles de problmes
possibles :
les systmes dquations linaires de n quations et n inconnues :
Ax = b
o A est une matrice carre inversible et b un vecteur
(F : R
n
: R
n
avec F(x) = Ax b et on cherche F(x) = 0)
les systmes non linaires : F(x) = 0 o F : R
n
: R
n
est une
application n variables : n quations non-linaires dpendant de
n variables.
Dept. Math. et Stat. (Universit Laval) MAT-18996 3 / 97
Introduction Introduction
Beaucoup dapplications dans le domaine de lingnierie exigent de
rsoudre des systmes dquations qui comportent souvent un grand
nombre dinconnues. On rencontre ces applications, par exemple,
dans les domaines suivants :
la mcanique des uides : coulement de lair autour dun avion,
coulement dans une turbine hydraulique, diffusion dans les
artres dun mdicament enrobant des stents, etc.
la mcanique des solides : dformation dun matriau soumis
des contraintes extrieures, analyse des structures complexes,
etc.
Optimisation de la distribution des frquences sur des antennes,
ltrage de signaux, etc.
Dept. Math. et Stat. (Universit Laval) MAT-18996 4 / 97
Introduction Introduction
Comportement hygro-mcanique de lames de parquet en services
(priode de 42 jours, humidit relative augmente de 20%).
Ce calcul exige de rsoudre un premier systme linaire de 35890 quations
pour le mouvement de lhumidit puis un systme de 107670 quations pour
la dformation. Ces deux rsolutions sont faites au total 129 fois pour dcrire
le comportement divers moment dans le temps.
Dept. Math. et Stat. (Universit Laval) MAT-18996 5 / 97
limination de Gauss Gnralits
Un systme dquations linaires est un systme de n quations
linaires n inconnues
_

_
a
11
x
1
+a
12
x
2
+a
13
x
3
+ . . . +a
1n
x
n
= b
1
a
21
x
1
+a
22
x
2
+a
23
x
3
+ . . . +a
2n
x
n
= b
2
.
.
. =
.
.
.
a
n1
x
1
+a
n2
x
2
+a
n3
x
3
+ . . . +a
nn
x
n
= b
n
o a
ij
et b
j
sont connus pour i , j = 1, ..., n.
Exemple : Trouver x
1
, x
2
, x
3
solution de
_
_
_
2x
1
+3x
2
x
3
= 5
4x
1
+4x
2
3x
3
= 3
2x
1
+3x
2
x
3
= 1
Dept. Math. et Stat. (Universit Laval) MAT-18996 6 / 97
limination de Gauss Gnralits
criture matricielle :
Ax = b
o A dnote la matrice carre dordre n des coefcients du systme
linaire et b le vecteur du second membre.
A =
_
_
_
_
_
_
_
_
a
11
... a
1i
... a
1n
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a
i 1
... a
ii
... a
in
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a
n1
... a
ni
... a
nn
_
_
_
_
_
_
_
_
b =
_
_
_
_
_
_
_
_
b
1
.
.
.
b
i
.
.
.
b
n
_
_
_
_
_
_
_
_
x =
_
_
_
_
_
_
_
_
x
1
.
.
.
x
i
.
.
.
x
n
_
_
_
_
_
_
_
_
Exemple : Trouver x R
3
solution de
_
_
2 3 1
4 4 3
2 3 1
_
_
_
_
x
1
x
2
x
3
_
_
=
_
_
5
3
1
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 7 / 97
limination de Gauss Gnralits
Rappel dalgbre :
Trois noncs quivalents :
Le systme Ax = b admet une solution unique si et seulement si
la matrice A est de rang maximal (autant dinconnues que
dquations et pas dquation qui se rpte).
Le systme Ax = b admet une solution unique si et seulement si
det A = 0
Le systme Ax = b admet une solution unique si et seulement si
A est inversible.
Dans ce cas la solution est fournie par
x = A
1
b
La formule de Cramer : x
i
=
det A
i
det A
o A
i
est la matrice A dont la colonne i est remplace par b.
Dept. Math. et Stat. (Universit Laval) MAT-18996 8 / 97
limination de Gauss Gnralits
Remarque
La plupart du temps on traite des cas o la matrice est inversible
(matrice non-singulire). Ce qui assure lexistence dune solution.
Sauf dans de rare cas la formule de Cramer peut tre considrer
comme purement thorique (sans applications).
Sauf dans des cas particuliers il est plus rapide et simple de
rsoudre le systme linaire que dinverser la matrice (mme la
main).
Comment rsoudre efcacement des systmes linaires ?
Dept. Math. et Stat. (Universit Laval) MAT-18996 9 / 97
limination de Gauss Mthode des substitutions successives
Mthode des substitutions successives
La mthode la plus simpliste (et classique) consiste a liminer des
inconnues dans les quations par substitution successive :
_
2 3
3 4
__
x
1
x
2
_
=
_
8
11
_
De la premire quation on a
x
1
=
8 3x
2
2
Et en substituant dans la deuxime (liminant x
1
) on a
3(
8 3x
2
2
) +4x
2
= 11 x
2
= 2
Dept. Math. et Stat. (Universit Laval) MAT-18996 10 / 97
limination de Gauss Matrices diagonales
Pour une matrice quelconque cette approche est simple pour un
humain mais difcile traduire en algorithme. On doit abandonner
cette approche du moins sous cette forme.
Cette approche est plus simple dcrire pour certaines structures de
matrices.
Matrice diagonale
Facile lorsque le systme linaire a une matrice diagonale :
Ax =
_
_
_
_
_
a
11
0 0 . . . 0
0 a
22
0 . . . 0
.
.
.
.
.
.
0
0 ... 0 . . . a
nn
_
_
_
_
_
_
_
_
x
1
.
.
.
x
n
_
_
_
=
_
_
_
b
1
.
.
.
b
n
_
_
_
a
ii
x
i
= b
i
i = 1, ..., n
alors x
i
=
b
i
a
ii
. Solution unique ssi a
ii
= 0 i (det A =
n

i =1
a
ii
= 0)
Dept. Math. et Stat. (Universit Laval) MAT-18996 11 / 97
limination de Gauss Matrices triangulaires
Dnition 3.1
Une matrice est dite triangulaire infrieure (ou suprieure) si toutes
ces entres a
ij
sont nulles pour i < j (i > j resp.).
Triangulaire infrieure = nulle au dessus de la diagonale.
Triangulaire suprieure = nulle au dessous de la diagonale.
_
_
_
_
_
_
_
a
11
0 0 . . . 0
a
21
a
22
0 . . . 0
a
31
a
32
a
33
. . . 0
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a
n1
a
n2
a
n3
. . . a
nn
_
_
_
_
_
_
_
_
_
_
_
_
_
_
a
11
a
12
a
13
. . . a
1n
0 a
22
a
23
. . . a
2n
0 0 a
33
. . . a
3n
.
.
.
.
.
.
.
.
.
.
.
.
0 0 0 . . . a
nn
_
_
_
_
_
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 12 / 97
limination de Gauss Algorithmes de rsolution pour les matrices triangulaires
Matrice triangulaire
Les matrices triangulaires : rsoudre sucessivement en choisissant
lquation avec le moins dinconnues.
Matrice triangulaire infrieure : descente triangulaire (on
commence 1 on ni n en bas).
x
1
=
b
1
a
11
x
i
=
b
i

i 1

k=1
a
ik
x
k
a
ii
i = 2, ..., n
Matrice triangulaire suprieure : remonte triangulaire (on
commence n on ni 1 en haut).
x
n
=
b
n
a
nn
x
i
=
b
i

n

k=i +1
a
ik
x
k
a
ii
i = n 1, n 2, ..., 1
Dept. Math. et Stat. (Universit Laval) MAT-18996 13 / 97
limination de Gauss Unicit dans le cas des matrices triangulaires
Unicit dans le cas des matrices triangulaires
La remonte et la descente triangulaire nont de sens qua la condition
que les termes diagonaux soient tous non nuls.
Que se passe-til si cela nest pas le cas ?
Puisque le dterminant dune matrice triangulaire est le produit des
termes de la diagonale, alors
det A =
n

i =1
a
ii
= 0 a
ii
= 0 i
Donc lunicit de la solution impose que les termes diagonaux soient
tous non nuls. Dans le cas contraire le systme na pas une solution
unique et A nest pas inversible.
Dept. Math. et Stat. (Universit Laval) MAT-18996 14 / 97
limination de Gauss Exemple de rsolution
Exemple de remonte triangulaire
Soit rsoudre le systme
_
_
3 1 3
0 2 2
0 0 1
_
_
_
_
x
1
x
2
x
3
_
_
=
_
_
0
30
15
_
_
x
3
=
b
3
a
33
= 15 x
2
=
b
2

k=3
a
2k
x
k
a
22
=
30 2x
3
2
= 0
x
1
=
b
1

k=2
a
1k
x
k
a
11
=
0 1x
2
3x
3
3
= x
3
= 15
Dept. Math. et Stat. (Universit Laval) MAT-18996 15 / 97
limination de Gauss Comment exploiter les algorithmes des matrices triangulaires ?
Lalgorithme de remonte (ou de descente) est efcace. On sait que
lon peut transformer un systme quelconque en systme triangulaire.
On voudrait
une mthode de passage dun systme de quelconque vers un
systme triangulaire tout en conservant la solution du systme
original.
utiliser la remonte ou descente triangulaire.
Pour cela on va revoir les oprations lmentaires sur les systmes
linaires. On produira ensuite deux mthodes directes : la mthode
de Gauss et la mthode de la dcomposition LU.
Denition 3.2
Une mthode de rsolution dun systme linaire est dite directe si la
solution du systme peut tre obtenue en un nombre ni et
prdtermin doprations.
Dept. Math. et Stat. (Universit Laval) MAT-18996 16 / 97
limination de Gauss Comment exploiter les algorithmes des matrices triangulaires ?
Remarque sur les mthodes directes
Une mthode directes est essentiellement une mthode base
sur la remonte (descente). Pour de telle mthode on peut faire
un estim a priori du nombre doprations en virgule ottante et
du temps de calcul (une remonte ou une descente exige n
2
oprations lmentaires). La plupart du temps la limitation dans
lutilisation de mthodes directes vient de lespace mmoire requis
pour la rsolution.
loppose de ces mthodes on trouve les mthodes itratives.
Ces mthodes ne garantissent pas la convergence et ne peuvent
garantir un nombre xe doprations pour lobtention dune
solution. Cependant la plupart des mthodes itratives exigent
moins despace mmoire.
Dept. Math. et Stat. (Universit Laval) MAT-18996 17 / 97
limination de Gauss Transformation des matrices
Transformation = produit par une matrice
On veut garder la linarit du systme alors on transforme avec
les oprations de bases (+, , , ) avec des scalaires sur et
entre les lignes du systme.
Une transformation de ce type est reprsentable par une matrice
multipliant la matrice A et le vecteur b du systme :
WAx = Wb
Quels conditions sur W ? Si on a la solution (unique) de
WAx = Wb alors on veut que cette solution soit la solution de
Ax = b. Alors il faut que la matrice W soit inversible !
On sassurera de la validit de notre transformation en sassurant
que son dterminant est non nul (ou quel est inversible).
Dept. Math. et Stat. (Universit Laval) MAT-18996 18 / 97
limination de Gauss Transformation des matrices
Exemple
Soit
Ax =
_
_
10 6 2
4 4 1
3 2 1
_
_
_
_
x
1
x
2
x
3
_
_
=
_
_
44
21
14
_
_
Prenons
W =
_
_
1 1 1
0 1 1
0 0 1
_
_
WA =
_
_
3 0 0
1 2 0
3 2 1
_
_
Wb =
_
_
9
7
14
_
_
la solution x = (3 21)
T
correspond la solution du systme original.

W =
_
_
1 1 1
0 1 1
0 0 0
_
_


WA =
_
_
3 0 0
1 2 0
0 0 0
_
_
Wb =
_
_
9
7
0
_
_
Le systme nest plus valide : pas unicit donc pas correspondance
entre les deux problmes !
Dept. Math. et Stat. (Universit Laval) MAT-18996 19 / 97
limination de Gauss Oprations lmentaires sur les lignes
Pour rduire un systme linaire la forme triangulaire on utilise 3
oprations lmentaires sur les lignes
Multiplication dune ligne L
i
par une scalaire non nul :
L
i
L
i
Addition de deux lignes :
L
i
+ L
j
L
i
permuter deux lignes :
L
i
L
j
On sait quen multipliant ( gauche) le systme original par une
matrice inversible la solution sera inchange. On va montrer que les 3
oprations proposes correspondent a des produits par une matrice
inversible, nous assurant ainsi de conserver la solution originale.
Dept. Math. et Stat. (Universit Laval) MAT-18996 20 / 97
limination de Gauss Oprations sur les lignes : matrice M
A lopration multiplication de la ligne i par non nul : L
i
L
i
correspond le produit de Ax = b avec la matrice lmentaire M :
m
jj
= 1 j = 1, ..., i 1, 1 +1, ..., n m
ii
= m
jk
= 0 sinon
On sait que det M = donc la matrice est inversible si = 0
M =
_
_
_
_
_
_
_
1 0 . . . . . . 0
0
.
.
.
0 . . . 0
0 . . . . . . 0
0 . . . 1 . . .
0 . . . . . . 1
_
_
_
_
_
_
_
M
1
=
_
_
_
_
_
_
_
1 0 . . . . . . 0
0
.
.
.
0 . . . 0
0 . . .
1

. . . 0
0 . . . 1 . . .
0 . . . . . . 1
_
_
_
_
_
_
_
i
Dept. Math. et Stat. (Universit Laval) MAT-18996 21 / 97
limination de Gauss Oprations sur les lignes : matrice P
A lopration intervertir deux lignes du systme : L
i
L
j
correspond
le produit de Ax = b avec la matrice lmentaire P (matrice de
permutation) obtenue en permutant les lignes i et j de la matrice
identit
P = j
i
_
_
_
_
_
_
_
1 0 . . . . . . 0
0
.
.
.
0 . . . 0
0 . . . 0 1 0
0 1 0 . . .
0 . . . . . . 1
_
_
_
_
_
_
_
Puisque PP = I la matrice P est inversible et son inverse P
1
= P. On
a aussi que det P = 1
Dept. Math. et Stat. (Universit Laval) MAT-18996 22 / 97
limination de Gauss Oprations sur les lignes : matrice T
A lopration addition de deux lignes L
i
+ L
j
L
i
correspond le
produit de Ax = b avec la matrice lmentaire T
t
kk
= 1 k = 1, ..., n t
ij
= t
kl
= 0 sinon
On sait que det T = 1 alors T est inversible (il suft denlever ce que
lon a ajouter)
T = j
i
_
_
_
_
_
_
_
1 0 . . . . . . 0
0
.
.
.
0 . . . 0
0 . . . 1 . . . 0
0 1 . . .
0 . . . . . . 1
_
_
_
_
_
_
_
T
1
=
_
_
_
_
_
_
_
1 0 . . . . . . 0
0
.
.
.
0 . . . 0
0 . . . 1 . . . 0
0 1 . . .
0 . . . . . . 1
_
_
_
_
_
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 23 / 97
limination de Gauss Elimination de Gauss
La mthode dlimination de Gauss consiste utiliser les oprations
lmentaires an de rduire le systme sous la forme triangulaire
suprieure.
On distingue deux cas :
Sans pivotement : on ne permet pas la permutation de deux
lignes (la transformation P est interdite) ; dans certain cas on ne
pourra pas obtenir de matrice triangulaire sup. !
Avec pivotement : on permet la permutation des lignes ; dans ce
cas on obtiendra toujours une matrice triangulaire sup. si la
matrice est inversible.
Dans la pratique on ne construit pas les matrices (de types M,T et P)
ncessaires la transformation.
Cependant la mthode de Gauss est valide parce quelle consiste
multiplier le systme de dpart par une suite de matrices inversibles.
On verra plus tard comment ces matrices nous seront utiles.
Dept. Math. et Stat. (Universit Laval) MAT-18996 24 / 97
limination de Gauss Elimination de Gauss
Dans lapplication de la mthode de Gauss on procde par limination
des termes sous la diagonale en utilisant la notion de matrice
augmente.
Dnition
La matrice augmente du systme Ax = b est la matrice de dimension
n n +1 obtenu en ajoutant le membre de droite b la matrice A :
_

_
a
11
... a
1i
... a
1n
b
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a
i 1
... a
ii
... a
in
b
i
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
a
n1
... a
ni
... a
nn
b
n
_

_
Cette notation est trs utile puisque les oprations lmentaires
doivent tre faites sur la matrice A et sur b simultanment.
Dept. Math. et Stat. (Universit Laval) MAT-18996 25 / 97
limination de Gauss Retour
Un systme Ax = b a une solution unique ssi
det A = 0
A est inversible (non singulire)
# quations = # inconnues et pas dquations rptes
Les systmes diagonaux et trinagulaires (inf. et sup.) peuvent tre
rsolus par remonte ou descente triangulaire.
Transformation dun systme quelconque en systme
triangulaire : on veut passer de Ax = b vers

Ax =

b
avec

A triangulaire
la solution des deux systme doit tre la mme
Ax

= b

Ax

=

b
Dept. Math. et Stat. (Universit Laval) MAT-18996 26 / 97
limination de Gauss Retour
On a montrer que les bonnes transformations sont des produits
par des matrices inversibles et que les 3 oprations de bases :
multiplication dune ligne par un scalaire mne une matrice M
inversible
addition de deux lignes mne une matrice T inversible
permutation de deux lignes mne une matrice P inversible
Avec ces trois oprations on peut transformer un systme en
systme triangulaire.
Mthode de Gauss : utilisation de combinaisons de M, T et P
pour obtenir une matrice triangulaire suprieure. Deux choix :
Pas de permutations permises : peux mener des matrices
non-triangulaires
avec permutation : on peut toujours obtenir une matrice traingulaire.
Dans la pratique cette mthode ne tient pas compte des matrices
de transformation. Elles ne sont l que pour dmontrer que la
mthode de Gauss transforme de la bonne manire le systme de
dpart.
Dept. Math. et Stat. (Universit Laval) MAT-18996 27 / 97
limination de Gauss limination de Gauss sans permutation
Exemple 3.8
On applique la mthode de Gauss sur la matrice augmente
A =
_
_
2 1 2 10
6 4 0 26
8 5 1 35
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 28 / 97
limination de Gauss limination de Gauss avec permutation
Avec une permutation : Exemple 3.9
On applique la mthode de Gauss sur la matrice augmente
A =
_

_
1 1 2 1 2
2 2 5 3 4
1 3 3 3 2
1 1 4 5 2
_

_
Dept. Math. et Stat. (Universit Laval) MAT-18996 29 / 97
Dcomposition LU
Et si je veux changer b ?
Trois options :
1
Je recommence le processus avec la nouvelle valeur de b car je
dois transformer A et b simultanment dans la mthode de Gauss
2
jattend davoir TOUT les b que je veux et je fais Gauss sur la
matrice augmente de tout les b
3
Jessaie de garder linformation ayant servi la transsformation de
la matrice lors de la premire r solution pour rsoudre avec les
autres b
Revenons nos exemples pour voir ce quon peut faire en tenant
compte des matrices T,M et P cette fois
Dept. Math. et Stat. (Universit Laval) MAT-18996 30 / 97
Dcomposition LU
Exemple 3.8 revisit
On applique la mthode de Gauss sur la matrice augmente
A =
_
_
2 1 2 10
6 4 0 26
8 5 1 35
_
_
Mais on construit les 3 matrices T et on a
A = (T
1
1
T
1
2
T
1
3
)U = LU
Dept. Math. et Stat. (Universit Laval) MAT-18996 31 / 97
Dcomposition LU
Avec une permutation : Exemple 3.9 revisit
On applique la mthode de Gauss sur la matrice augmente
A =
_

_
1 1 2 1 2
2 2 5 3 4
1 3 3 3 2
1 1 4 5 2
_

_
Dans ce cas on a des T et un P et on a
PA = (P
4
T
1
1
T
1
2
T
1
3
P
4
T
1
5
)U = LU A = PLU
Dept. Math. et Stat. (Universit Laval) MAT-18996 32 / 97
Dcomposition LU
La dcomposition LU permet de rsoudre avec diffrents b
Cette dcomposition donne toute linformation ncessaire pour
rsoudre rptition. Puisque L et U sont construit on a
Ax = b (LU)x = b L(Ux) = b
Si on pose y = Ux alors la rsolution de Ax = b peut se faire en deux
temps :
1
rsoudre Ly = b par une descente triangulaire
2
rsoudre Ux = y par une remonte triangulaire
Une fois le problme rsolu pour un b, en ayant garder L je peux
changer le b et rsoudre nouveau sans refaire de transformation du
systme.
Dept. Math. et Stat. (Universit Laval) MAT-18996 33 / 97
Dcomposition LU
Remarques
la mthode de Gauss est une dcomposition LU o on jete L.
Plus la peine den parler (sauf pour les exercices :-)
les permutations causent des problmes (empchent davoir un
LU propre) on en reparlera.
Pour le moment on va faire comme si A tait permuter avant quon
arrive...
Unicit de LU
La dcomposition LU se fait grce aux transformations de Ax = b mais
on pourrait ajouter des transformations (superues). Par exemple on
pourrait nir en sassurant que les pivots (termes diagonaux non nuls)
soit tous gaux 1 en appliquant des transformations M. Donc la
dcomposition LU nest pas unique.
Dept. Math. et Stat. (Universit Laval) MAT-18996 34 / 97
Dcomposition LU Dcomposition de Crout
Pour viter les ambiguits possible (loprateur == est mal dni) on
voudrait assurer lunicit de la dcomposition. Pour se faire on va
imposer une conditions supplmentaire notre dcomposition.
Deux mthodes classiques
Dcomposition de type Matlab : L
ii
= 1 i (pas de division dans
la descente)
Dcomposition de Crout : U
ii
= 1 i (pas de division dans la
remonte)
Dcomposition de Crout
Algorithme compos de trois parties
1
factorisation LU avec U
ii
= 1 i
2
Rsolution de Ly = b par descente triangulaire
3
Rsolution de Ux = y par remonte triangulaire
Dept. Math. et Stat. (Universit Laval) MAT-18996 35 / 97
Dcomposition LU Dcomposition de Crout
Comment on fait la factorisation
Lire les pages 111-113 ou on introduit lalgorithme en traitant le cas
dune matrice 4 4.
On identie termes termes les composantes de L et U. noter que
cest un systme linaire de n
2
quations et inconnues qui a une
solution unique quand A est inversibles.
Une particularit de lapproche est que lon rsout alternativement
pour une colonne de L puis pour une ligne de U en commenant par la
colonne 1 donc on construit :
L
i 1
, U
1i
, ..., L
in1
, U
n1i
, L
in
Cette stratgie nous permettra de rduire lespace mmoire lors de la
factorisation.
Dept. Math. et Stat. (Universit Laval) MAT-18996 36 / 97
Dcomposition LU Dcomposition de Crout
Factorisation
L
i 1
= A
i 1
i = 1, ..., n, U
1i
=
A
1i
L11
i = 2, ..., n
i = 2, ..., n 1
L
ii
= A
ii

i 1
P
k=1
L
ik
U
ki
j = i +1, ..., n
L
ji
= A
ji

i 1
P
k=1
L
jk
U
ki
U
ij
=
A
ii

i 1
P
k=1
L
ik
U
kj
L
ii
L
nn
= A
nn

n1

k=1
L
nk
U
kn
descente sur Ly = b
y
1
=
b
1
L
11
y
i
=
b
i

i 1
P
k=1
L
ik
y
k
L
ii
i = 2, ..., n
remont sur Ux = y
x
n
= y
n
x
i
= y
i

n

k=i +1
U
ik
x
k
i = n 1, ..., 1
Dept. Math. et Stat. (Universit Laval) MAT-18996 37 / 97
Dcomposition LU Dcomposition de Crout
Remarque
Lalgo ne fonctionne que si L
ii
= 0 i .
Si on a pas fait de permutations alors det A = det Ldet U mais
det U = 1 et
det A = 0 det L = 0 L
ii
= 0 i
Si on a fait des permutations det A = det P det Ldet U Puisque
det P = 0 alors
det A = 0 det L = 0 L
ii
= 0 i
Donc si A est inversible lalgorithme va bien.
Dept. Math. et Stat. (Universit Laval) MAT-18996 38 / 97
Dcomposition LU Dcomposition de Crout
Remarque
Dun point de vue pratique une fois la factorisation LU faite on a plus
de raison de conserver la matrice A. En fait notre procdure de
factorisation est faite pour que lon puisse craser A au fur et
mesure de la factorisation. Ce qui permet de minimiser lespace de
stockage puisquon a pas simultanment A, L et U
Dept. Math. et Stat. (Universit Laval) MAT-18996 39 / 97
Dcomposition LU Dcomposition de Crout
Denition 3.4
La notation compacte de LU consiste a remplacer la matrice A par la
matrice
Les coefcients de la diagonale de U ne sont pas gard puisquils sont
tous gaux 1 mais on ne les nglige pas pour autant.
Cette notation revient stocker :
L + (U I) = L +U I
la place de A
Dept. Math. et Stat. (Universit Laval) MAT-18996 40 / 97
Dcomposition LU Dcomposition de Crout
Exemple 3.11
Utilisation de la dcomposition LU avec notation compacte pour
A =
_
_
3 1 2
1 2 3
2 2 1
_
_
b =
_
_
12
11
2
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 41 / 97
Dcomposition LU Dcomposition de Crout avec permutations
Permutations
On gardera un vecteur de permutation (position ou numrotation) qui
indiquera les permutations effectues sur la matrice. A la n de la
factorisation on obtient L, U et le vecteur de permutation.
Si ncessaire on reconstruit la matrice P en appliquant les
permutations sur une matrice identi. Mais cest normalement inutile.
Comment rsoudre une fois la factorisation termine?
Ax = b et PA = LU PAx = LUx = Pb Ly = Pb et Ux = y
On ne construit pas P mais on permutent b avec le vecteur de
permutation puis on rsoud par descente et remonte.
Voir exemple 3.12
ATTENTION P est en gnral le produit de plusieurs permutations
P = P
p
P
p1
..P
1
P
1
= P
1
P
2
...P
p
= P
T
Dept. Math. et Stat. (Universit Laval) MAT-18996 42 / 97
Dcomposition LU Factorisation de Choleski
Dans le cas dune matrice symtrique il est possible dconomiser de
lespace en imposant une condition supplmentaire la dcomposition
LU. On impose que
U = L
T
A = LL
T
A tant symtrique on ne stocke que sa partie infrieure et sa
diagonale. Alors on peut faire la mme chose sur la dcomposition et
ne stocke que L.
La construction est base sur Crout.
Dept. Math. et Stat. (Universit Laval) MAT-18996 43 / 97
Dcomposition LU Factorisation de Choleski
Algorithme de Choleski
L
11
= (A
11
)
1
2
L
i 1
=
A
i 1
L
ii
i = 2, ..., n
k = 2, ..., n i = k +1, ..., n
L
kk
= (A
kk

k1

j =1
L
2
kj
)
1
2
L
ik
=
A
ik

k1
P
j =1
L
ij
L
kj
L
ii
Remarques
Tout comme pour la dcomposition LU on peut introduire une
notation compacte et craser A lors de la cration de L
La factorisation nest pas unique : A = (L)(L
T
) =

L

L
T
on rend
la factorisation unique en imposant des pivots positifs : L
ii
> 0.
Dept. Math. et Stat. (Universit Laval) MAT-18996 44 / 97
Dcomposition LU Factorisation de Choleski
Exemple 3.13
Utilisation de la factorisation de Choleski avec notation compacte pour
A =
_
_
4 6 2
6 10 5
2 5 14
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 45 / 97
Dcomposition LU Existence de la factorisation de Choleski
Existence de la factorisation de Choleski
Soit
A =
_
1 2
2 6
_
On ne peut pas faire Choleski car L
11
=

A
11
nest pas rels.
En fait on aura pas existence de la factorisation si une des racines (les
pivots) nest pas relles
Dnition 3.5
Une matrice A est dnie positive ssi
Ax x > 0 x = 0
Dept. Math. et Stat. (Universit Laval) MAT-18996 46 / 97
Dcomposition LU Existence de la factorisation de Choleski
Condition pour lexistence de la factorisation de Choleski
On peut montrer que
A symtrique dnie positive A a une factorisation de Choleski
La vrication de la positivit est difcile, la meilleur approche :
appliquer la factorisation...
Dans le cas ou on na pas la positivit de la matrice on applique
simplement la factorisation LU
Dept. Math. et Stat. (Universit Laval) MAT-18996 47 / 97
Dcomposition LU Recap
partir de llimination de Gauss on a cr la mthode de
dcomposition LU
U est la matrice obtenue par Gauss et L est compose de
linformation jete par Gauss pour transformer la matrice en
triangulaire.
Le systme se rsout maintenant avec une descente (Ly = b)
suivie dune remonte (Ux = y).
la dcomposition nest pas unique
factorisation Doolittle (Matlab) : L
ii
= 1
factorisation Crout : U
ii
= 1 Cest elle que lon retient
Notation compacte : on crase A en la remplaant par L +U I
Les permutations sont excutes aprs chaque construction
dune colonne de L et sont stockes dans un vecteur.
PA = LU
Dept. Math. et Stat. (Universit Laval) MAT-18996 48 / 97
Dcomposition LU Recap
En utilisant les proprits des matrices triangulaires et de la
factorisation le dterminant de la matrice A :
det A = (det P
T
)(det L)(det U) = (det P
T
)(det L)
Puisque det P
T
= (1)
p
o p est le nombre de permutations
effectues on a
det A = (1)
p
n

i =1
L
ii
Lors dune factorisation le nombre doprations / est de lordre
de n
3
/3
Lors dune remonte ou descente le nombre doprations / est
de lordre de n
2
On cherche optimiser encore lalgorithme : pour certains cas o
la matrice est symtrique (A = A
T
) on peut modier la
dcomposition en imposant que U = L
T
. Cest la factorisation de
Choleski qui entraine une rduction en espace mmoire et un
algorithme simpli.
Dept. Math. et Stat. (Universit Laval) MAT-18996 49 / 97
Dcomposition LU Recap
La factorisation de Choleski est unique un signe prs. Pour la
rendre unique on impose L
ii
> 0
La factorisation de Choleski existe a une condition (3 versions
quivalentes) :
A est symtrique et dnie positive : A = A
T
et Ax x > 0 x = 0.
Les dterminant de A et des sous-matrices principales de A sont
tous strictement positifs.
Les valeurs propres de A sont toutes relles et strictement
positives.
Dans le monde rel (n > 10000) la meilleure faon de vrier
quune factorisation de Choleski existe est de lessayer. Les 3
conditions prsentes ici sont plus couteuse (numriquement)
que dessayer Choleski et de ne pas russir
Si la factorisation de Choleski nexiste pas on fait un LU ordinaire
ce qui implique que lon ne prote pas de la structure particulire
de A.
Dept. Math. et Stat. (Universit Laval) MAT-18996 50 / 97
Dcomposition LU Exemples pour lexistence de Choleski
Exemple dexistence de la factorisation de Choleski
Soit
A =
_
_
4 6 2
6 10 5
2 5 14
_
_
On calcule les dterminants des sous-matrices principales.
Exemple dexistence de la factorisation de Choleski
Soit
A =
_
1 2
2 6
_
Alors det A
11
= 1 < 0 et la factorisation de Choleski nexiste pas.
Dept. Math. et Stat. (Universit Laval) MAT-18996 51 / 97
Dcomposition LU Matrices tridiagonales
Il y a une autre structure de matrice souvent rencontre et pouvant
mener des simplication algorithmique et despace mmoire. Il sagit
de la matrice tridiagonales.
Dnition 3.6
Une matrice est tridiagonale si ses seuls termes non nuls sont situs
sur la diagonales principale et sur les deux diagonales adjacentes (au
dessus et au dessous de la diago. principale)
_

_
a
11
a
12
0 . . . 0
a
21
a
22
a
23
.
.
.
0
0 a
32
a
33
.
.
.
0
.
.
.
.
.
.
.
.
.
.
.
.
a
n1n
0 0 0 a
nn1
a
nn
_

_
=
_

_
D
1
S
1
0 . . . 0
I
1
D
2
S
2
.
.
.
0
0 I
2
D
3
.
.
.
0
.
.
.
.
.
.
.
.
.
.
.
.
S
n1
0 0 0 I
n1
D
n
_

_
Dept. Math. et Stat. (Universit Laval) MAT-18996 52 / 97
Dcomposition LU Matrices tridiagonales
Concernant les tridiagonales :
On stocke en mmoire les vecteurs D, I, S et b prenant au total
seulement 4n 2 rels. On fait encore plus dconomie si la
matrice est symtrique (on ignore S dans ce cas).
Lalgorithme de dcomposition est beaucoup plus simple. On
lobtient en appliquant la dcomposition de Crout pour ce cas
particulier. Voir page 125-126 pour lalgorithme.
On retrouve cette structure de matrice dans plusieurs applications
des mthodes numriques :
diffrences nies (approximation de la solution dquation
diffrentielle ordinaire)
splines cubiques (approximation par une cubique dune fonction
partir dun groupe de points) connus
Dept. Math. et Stat. (Universit Laval) MAT-18996 53 / 97
Dcomposition LU Retour sur linverse de A
Comment inverser A?
La mthode usuelle (i.e. la main) consiste a augmenter la matrice
avec la matrice identit et faire une limination jusqu ce quon ait
une identit gauche

En utilisant la dcomposition LU cela revient rsoudre n fois le


systme Ax = b avec b = e
i
(les vecteurs de la base euclidienne) pour
i=1,...,n.
Clairement il ne faut pas utiliser cette approche pour rsoudre un
problme : on ferait n rsolution et un produit matrice vecteur.
Dept. Math. et Stat. (Universit Laval) MAT-18996 54 / 97
Dcomposition LU Combien a cote ?
Nombre doprations /
Si on veut absolumment calculer linverse. Il faudra faire une
factorisation LU suivi de n descente et de n remonte. Utilisant les
ordres de grandeurs sur le nombre doprations / on a
n Ax = b A
1
b
10 333 1 333
100 333 333 1 333 333
1000 333 333 333 1 333 333 333
Pour un systme 1000 1000 on fait 10
9
oprations / de plus pour
rsoudre le systme.
1000 est un petit chiffre dans le monde rel...
Dept. Math. et Stat. (Universit Laval) MAT-18996 55 / 97
Dcomposition LU Exemple
Exemple 3.15
On se donne une matrice A obtenu par factorisation LU avec
permutation :
A =
_
_
0 2 1
1 0 0
3 0 1
_
_
L =
_
_
3 0 0
0 2 0
1 0 1/3
_
_
U =
_
_
1 0 1/3
0 1 1/2
0 0 1
_
_
Avec le vecteur de permutations
O =
_
_
3
1
2
_
_
On va calculer linverse. Il sagit SURTOUT dun exemple de rsolution
avec un vecteur de permutation
Dept. Math. et Stat. (Universit Laval) MAT-18996 56 / 97
Effets de larithmtique ottante Propagation derreurs
Exemple 3.16
Soit
A =
_
_
1.012 2.132 3.104
2.132 4.096 7.013
3.104 7.013 0.014
_
_
On veut appliquer la factorisation LU mais avec une mantisse xe de 4
chiffres.
Cette restriction engendre des perturbations par rapport la
factorisation humaine (mantisse innie). Quel est limpact de cette
perturbation lors de la rsolution?
Dept. Math. et Stat. (Universit Laval) MAT-18996 57 / 97
Effets de larithmtique ottante Propagation derreurs
Exemple 3.16 suite
Avec virgule ottante a 4 chiffres
L +U I =
_
_
1.012 2.107 3.067
2.132 0.3960 1.197
3.104 0.4730 8.940
_
_
Avec virgule ottante humaine :
L +U I =
_
_
1.012 2.106719... 3.067193...
2.132 0.395525... 1.197757...
3.104 0.473743... 8.939140
_
_
Quel sont les effets sur la solution de Ax = b pour b donn ?
Dept. Math. et Stat. (Universit Laval) MAT-18996 58 / 97
Effets de larithmtique ottante Propagation derreurs
Effet des oprations arithmtiques en virgules ottantes
On retourne aux considrations du chapitre 1. Pour le rsoudre un
systme Ax = b il est prvoir que des erreurs de troncatures vont
apparaitre.
On verra que pour certaines matrices les effets sur la solution seront
ngligeables. Pour certaines autres matrices les variations dans les
entres de la matrice induiront dimportantes erreurs dans la solution
obtenues. De telles matrices sont dites mal conditionnes
Dept. Math. et Stat. (Universit Laval) MAT-18996 59 / 97
Effets de larithmtique ottante Propagation derreurs
Exemple 3.17
Soit une matrice A et une perturbation

A de A
A =
_
1. 2
1.1 2
_
b =
_
10
10.4
_

A =
_
1. 2
1.05 2
_
La solution exacte avec A est (4, 3) et pour

A la solution est (8, 1).
Une petite variation de A produit une grande variation de la solution.
Puisque larithmetique ottante (mantisse nie) mnent de petites
perturbations dans la dcomposition LU. Il est possible que
dimportants effets apparaissent sur la solution du systme.
On peut produire dimportantes erreurs sur la solution numriques via
la dcomposition LU et le procd de descente et remonte.
Dept. Math. et Stat. (Universit Laval) MAT-18996 60 / 97
Effets de larithmtique ottante Propagation derreurs
Recettes simples pour viter les dgats
Dpendant de la matrice A on pourra avoir ou non de large erreurs. On
verra par la suite comment dtecter de telle matrice. Pour le moment
voici deux corrections simples appliquer lors de la rsolution pour
viter deux des principales causes derreurs :
division par des nombres trop petits (pivots trop petits)
la soustraction/addition avec des nombres ayant des ordres de
grandeurs trop loignes
Dept. Math. et Stat. (Universit Laval) MAT-18996 61 / 97
Effets de larithmtique ottante Propagation derreurs
Exemple 3.18
Soit
A =
_
0.0003 3.0000
1.0000 1.0000
_
b =
_
2.0001
1.0000
_
La solution est x = [1/3, 2/3]
T
, en faisant la dcomposition LU avec 4
chiffres on a
L+U I =
_
0.3000 10
3
0.1000 10
5
0.1000 10
1
0.9999 10
4
_
x =
_
0.6667 10
4
0.6667 10
0
_
La solution par LU est loin de la solution relle. Comment viter cette
erreur ?
On fait une division presque par zro cause de A
11
cest lui qui
modie U
12
et L
22
. Alors on va viter cette division en faisant une
permutation.
Dept. Math. et Stat. (Universit Laval) MAT-18996 62 / 97
Effets de larithmtique ottante Propagation derreurs
Encore des permutations...
Soit
A =
_
1.0000 1.0000
0.0003 3.0000
_
b =
_
1.0000
2.0001
_
en faisant la dcomposition LU avec 4 chiffres on a
L+U I =
_
0.1000 10
1
0.1000 10
1
0.3000 10
3
0.3000 10
1
_
x =
_
0.3333 10
0
0.6667 10
0
_
La solution par LU est proche de la solution relle.
Recette 1
On peut viter une partie des erreurs en faisant une permutation
systmatique des lignes lors de la dcomposition : on sassure davoir
TOUJOURS le pivot de plus grand en valeur absolue sur la diagonale.
Dept. Math. et Stat. (Universit Laval) MAT-18996 63 / 97
Effets de larithmtique ottante Propagation derreurs
Exemple 3.19
A =
_
_
1 6 9
2 1 2
3 6 9
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 64 / 97
Effets de larithmtique ottante Propagation derreurs
Exemple 3.20
A =
_
2.0000 100000
1.0000 1.0000
_
b =
_
100000
2.0000
_
La solution est x = [1.00002, 0.99998]
T
, en faisant la dcomposition
LU avec 4 chiffres on a
L+UI =
_
0.2000 10
1
0.5000 10
5
0.1000 10
1
0.5000 10
5
_
x =
_
0.0000 10
0
0.1000 10
1
_
La solution par LU est loin de la solution relle. Comment viter cette
erreur ?
En calculant L
22
on fait une soustraction de chiffres dordre de
grandeur trs diffrents (oprations viter Chap 1) cause de A
12
.
Alors on va viter cette oprations en multipliant la ligne par une
constante : utilisation dune transformation M.
Dept. Math. et Stat. (Universit Laval) MAT-18996 65 / 97
Effets de larithmtique ottante Propagation derreurs
Matrice M
On divise la premire ligne de A par 100000 ce qui donne
A =
_
0.2000 10
4
0.1000 10
1
0.1000 10
1
0.1000 10
1
_
b =
_
0.1000 10
1
0.2000 10
1
_
en faisant la dcomposition LU avec 4 chiffres AVEC permutation on a
L+U I =
_
0.1000 10
1
0.1000 10
1
0.2000 10
4
0.1000 10
1
_
x =
_
0.1000 10
1
0.1000 10
1
_
La solution par LU est proche de la solution relle.
Dept. Math. et Stat. (Universit Laval) MAT-18996 66 / 97
Effets de larithmtique ottante Propagation derreurs
Denition 3.7
Une mise lchelle dune matrice A consiste diviser chaque ligne
de A par le plus grand termes en valeur absolue de la ligne
correspondante.
Recette 2
On peut viter une partie des erreurs en faisant une mise lchelle
systmatique dune matrice avant la dcomposition.
Attention au dterminant
Lintroduction de matrice M un effet important sur le dterminant. Si
on multiplie une matrice par un scalaire on rcupre son dterminant
en divisant le dterminant de L par ce scalaire.
Dept. Math. et Stat. (Universit Laval) MAT-18996 67 / 97
Conditionnement dune matrice
On veut tudier le comportement de la solution calcule par rapport
la solution exacte pour un systme linaire. On va dabord introduite
une mesure de la distance dans lespace R
n
.
Denition 3.8
Une norme vectorielle est une application de R
n
dans R note
vriant
1
Positivit stricte :
x> 0 x R
n
, x = 0
2
R
x= ||x x R
n
3
Ingalit du triangle
x +y x+y x, y R
n
.
Dept. Math. et Stat. (Universit Laval) MAT-18996 68 / 97
Conditionnement dune matrice
Denition 3.9
La norme euclidienne dun vecteur x note x
2
est dnie par
x
2
=
_
x
2
1
+x
2
2
+ ... +x
2
n
_1
2
videmment la norme euclidienne est une norme vectoriel.
Dmonstration p 135-136
Denition 3.10
Il existe dautre norme sur R
n
.
La norme l
1
: x
1
=
n

i =1
|x
i
|
La norme l

: x

=
n
max
i =1
|x
i
|
Dept. Math. et Stat. (Universit Laval) MAT-18996 69 / 97
Conditionnement dune matrice
Denition 3.11
On peut aussi introduire une norme matricielle. On la dnie comme
une application A :A vriant
1
Positivit stricte :
A> 0 A, A = 0
2
R
A= ||A A
3
Ingalit du triangle
A +B A+B A, Bde dimensions compatibles
4
AB AB A, Bde dimensions compatibles
Une norme matricielle DOIT vrier 1-4.
Dept. Math. et Stat. (Universit Laval) MAT-18996 70 / 97
Conditionnement dune matrice
Norme induite
On peut construire une norme matricielle partir dune norme
vectorielle :
A= sup
x=1
Ax
Une telle norme est dite norme matricielle induite par la norme
vectorielle. On dit aussi que cette norme est subordonne la
norme vectorielle
Toute les normes ne sont pas induite
La norme de Frobenius dnie par
A
F
=
_
_
n

i =1
n

j =1
A
2
ij
_
_
1
2
est une norme matricielle, sapparentant la norme euclidienne mais
elle nest induite par aucune norme.
Dept. Math. et Stat. (Universit Laval) MAT-18996 71 / 97
Conditionnement dune matrice
Thorme 3.5
Les normes induites par les normes l
1
et l

sont
A
1
= sup
x
1
=1
Ax
1
= max
1j n
n

i =1
|A
ij
|
A

= sup
x

=1
Ax

= max
1i n
n

j =1
|A
ij
|
La norme A
1
consiste trouver la colonne dont la somme des
lments (en valeur absolue) est la plus grande.
La norme A

consiste trouver la ligne dont la somme des


lments (en valeur absolue) est la plus grande.
Dept. Math. et Stat. (Universit Laval) MAT-18996 72 / 97
Conditionnement dune matrice
Norme induite par la norme euclidienne
La norme induite par la norme euclidienne est dnie par
A
2
= sup
x
2
=1
Ax
2
=
_
(AA
T
)
_1
2
o est la plus grande valeur propre (en valeur absolue) de la matrice
AA
T
.
Pourquoi sintresser au norme matricielle? On va manipuler des
vecteurs rsultants de produit matrice vecteur. Ce qui nous amne
une dnition fort importante
Dept. Math. et Stat. (Universit Laval) MAT-18996 73 / 97
Conditionnement dune matrice
Dnition 3.12
On dit que la norme matricielle et la norme vectorielle sont
compatibles si
Ax Ax
pour toutes matrice A et vecteurs x de dimensions cohrentes.
Attention au mlange de normes : gauche norme vectorielle, droite
matricielle et vectorielle (respectivement).
Dept. Math. et Stat. (Universit Laval) MAT-18996 74 / 97
Conditionnement dune matrice
Normes compatibles
On peut montrer que
Ax
1
A
1
x
1
la norme 1 des matrices et vecteurs est
compatible
Ax

la norme des matrices et vecteurs est


compatible
Ax
2
A
F
x
2
la norme Frobenius des matrices est
compatible avec la norme euclidienne.
La dernire relation montre quil ny a pas de lien entre norme induite
et norme compatible.
Dept. Math. et Stat. (Universit Laval) MAT-18996 75 / 97
Conditionnement dune matrice
Soit le systme Ax = b et x

une solution obtenue par arithmtique


ottante. On veut tudier lerreur par rapport la solution exacte :
e = x x

Si tout va bien e= x x

est petit.
Posons r = b Ax

r est le rsidu de notre rsolution.


r = b Ax

= Ax Ax

= A(x x

) = Ae
On cherche avoir une borne infrieure et suprieure sur e. On va
se servir de la compatibilit des normes (on choisi une norme
compatible)
A
1
r = e e= A
1
r A
1
r
On a aussi
r = Ae Ae
Ce qui nous donne
r
A
e A
1
r
Dept. Math. et Stat. (Universit Laval) MAT-18996 76 / 97
Conditionnement dune matrice
r
A
e A
1
r
On veut faire apparaitre x dans cette relation (on voudrait lerreur
relative) alors on revient au systme :
b = Ax Ax
1
x

A
b
x= A
1
b A
1
b
1
A
1
b

1
x
En combinant ces deux ingalits on a
1
A
1
b

1
x

A
b
Dept. Math. et Stat. (Universit Laval) MAT-18996 77 / 97
Conditionnement dune matrice
On multiplie la dernire relation par e
e
A
1
b

e
x

A
b
e
et on a
r
AA
1
b

e
x

A
1
Ar
b
Denition 3.13
Le conditionnement dune matrice A not condA est dni par
condA = A
1
A
Dept. Math. et Stat. (Universit Laval) MAT-18996 78 / 97
Conditionnement dune matrice
Remarque
condA dpend de la norme matricielle utilise
Puisque 1 I parce que
A= AI AI
on a
1 I AA
1
A
1
A
et
1 condA <
Thorme 3.6
1
condA
r
b

e
x
CondA
r
b
Dept. Math. et Stat. (Universit Laval) MAT-18996 79 / 97
Conditionnement dune matrice
Concernant le conditionnement
1
condA
r
b

e
x
CondA
r
b
1
le terme du milieu reprsente lerreur relative
2
Si condA est prs de 1 alors
e
x

r
b
est la solution est bonne si r est petit.
3
si condA est grand alors lerreur relative peut tre grande.
4
mme si r est petit il est possible que lerreur soit grande
(manque le conditionnement petit)
5
Plus condA augmente plus lalgorithme de rsolution doit tre
prcis (pour rduire r )
Dept. Math. et Stat. (Universit Laval) MAT-18996 80 / 97
Conditionnement dune matrice
Concernant le conditionnement
1
condA
r
b

e
x
CondA
r
b
1
Mme si condA est petit si la rsolution est imprcise on pourra
avoir des rsultats errons (manque r est petit).
2
On peut montrer que
max
_
eb
xr
,
r x
eb
_
condA
3
condA dpend de la norme matricielle choisie (gneralement la
norme ) mais ne dpend pas de lalgorithme de rsolution du
systme. Cest une mesure de la sensibilit de la matrice au
perturbation lors de manipulations matricielles.
Dept. Math. et Stat. (Universit Laval) MAT-18996 81 / 97
Conditionnement dune matrice
Erreurs dans A
On veut rsoudre le systme Ax = b mais cause derreur de
troncature ou dans la mesure des lments de A on rsout plutt le
systme
(A +E)x = b
Soit x

solution du systme perturb et x la solution du systme


original.
x = A
1
b = A
1
((A +E)x

) = (I +A
1
E)x

= x

+A
1
Ex

Donc si les normes sont compatibles


e= x x

= A
1
Ex

A
1
Ex

Et on a
x x

condA
E
A
Dept. Math. et Stat. (Universit Laval) MAT-18996 82 / 97
Conditionnement dune matrice
Erreurs de troncature sur A
x x

condA
E
A
xx

approxime lerreur relative


E
A
ressemble lerreur relative sur les entres de la matrice A
Si condA est petit et E est petit alors lerreur relative sera
petite : bonne approximation de x
Si condA est grand on ne peut rien dire
Dept. Math. et Stat. (Universit Laval) MAT-18996 83 / 97
Conditionnement dune matrice
Erreurs dans A
x x

condA
E
A
Si E reprsente lerreur de troncature sur une machine alors
|E
ij
|
m
|A
ij
|
par dnition de la troncature donc

j
|E
ij
|
m

j
|A
ij
| E


m
A

do
x x


m
condA
Si le conditionnement est mauvais il faut plus de prcision sur les
nombres
Dept. Math. et Stat. (Universit Laval) MAT-18996 84 / 97
Conditionnement dune matrice
Quoi faire de condA?
On cest donn cette mesure quen fait-on?
Exemple 3.16 (3.24) Le conditionnement de A = 270.51
correspond une matrice sensible au perturbations. Ne veut pas
dire que je naurai pas la bonne solution mais que jai de bonne
chance dobtenir une solution erronnes sans un bon algorithme
Exemple 3.18 (3.26) condA = 4 ce qui est faible indiquant que si
tout va bien jaurai une bonne solution. Rappelons que sans
permutations la solution est mauvaise ce qui ne contredit pas le
conditionnement mais indique que mon algorithme est mauvais.
En incluant les permutations on obtient une bonne solution.
A =
_
1. 2
1.1 2
_
A
1
=
_
10. 10.
5.5 5.
_
cond A = 62 indiquant un mauvais conditionnement.
Dept. Math. et Stat. (Universit Laval) MAT-18996 85 / 97
Conditionnement dune matrice
Quoi faire de condA?
Est-ce que je peux diminuer le conditionnement en changeant de
norme ? Non, on a quivalence des normes faisant en sorte que
rien ne changera en prenant dautre norme.
Alors quoi ?
Mauvais conditionnement == appliquer les recettes 1 et 2
OBLIGATOIREMENT et tre critique des rsultats obtenus et
choisir avec soin lalgorithme de rsolution (contrler la qualit
autrement, de manire ad hoc)
Bon conditionnement == les recettes ne sont pas ncessaires, on
peut croire que tout va bien mais on doit encore tre critique des
rsultats obtenus (contrler la qualit autrement, de manire ad
hoc).
Dept. Math. et Stat. (Universit Laval) MAT-18996 86 / 97
Conditionnement dune matrice Retour
Dcomposition LU
Structures particulires menant des algo simplis et plus
efcaces :
A symtrique, dnie poisitive : Choleski
A tridiagonale
Effets de la reprsentation virgule ottante
Recette 1 : permutation des lignes aprs chaque construction de
colonne de L
Recette 2 : mise lchelle des lignes de la matrice
Conditionnement : un indicateur de la sensibilit du systme lors de
la rsolution
CondA + r = (Ax b) donne un verdict positif si les deux sont petits
CondA seul = rien
r = Ax b seul = rien
Dept. Math. et Stat. (Universit Laval) MAT-18996 87 / 97
Systmes non linaires
On cherche le ou les vecteurs x = (x
1
, x
2
, x
3
, . . . , x
n
) vriant les n
quations non linaires suivantes :
_

_
f
1
(x
1
, x
2
, x
3
, . . . , x
n
) = 0
f
2
(x
1
, x
2
, x
3
, . . . , x
n
) = 0
f
3
(x
1
, x
2
, x
3
, . . . , x
n
) = 0
.
.
. =
.
.
.
f
n
(x
1
, x
2
, x
3
, . . . , x
n
) = 0
Dept. Math. et Stat. (Universit Laval) MAT-18996 88 / 97
Systmes non linaires
Remarques
Pas de garantie sur lexistence dune solution.
Frquemment plus quune solution. La nature du problme permet
de choisir la bonne.
On peut gnraliser les mthodes du chapitre 2. En utilisant la
bonne notation le passage est sans douleurs.
Ces mthodes correspondent transformer le systme rsoudre
en une suite de systmes linaires produisant une suite de
solutions qui convergent vers la solution du systme non-linaire.
On prsentera la mthode de Newton (la plus utilise) et on se limitera
n = 2.
Dept. Math. et Stat. (Universit Laval) MAT-18996 89 / 97
Systmes non linaires
Soit un systme avec n = 2 possdant une solution
f
1
(x
1
, x
2
) = 0
f
2
(x
1
, x
2
) = 0
Soit x
0
= (x
0
1
, x
0
2
) un point de dpart et (x
1
, x
2
) une correction x
0
(comme au chap. 2) tel que
f
1
(x
0
1
+ x
1
, x
0
2
+ x
2
) = 0
f
2
(x
0
1
+ x
1
, x
0
2
+ x
2
) = 0
Appliquons Taylor aux deux fonctions (avec Taylor deux variables) en
x
0
:
0 = f
1
(x
0
1
+ x
1
, x
0
2
+ x
2
) = f
1
(x
0
1
, x
0
2
) +
f
1
x
1
(x
0
1
, x
0
2
)x
1
+
f
1
x
2
(x
0
1
, x
0
2
)x
2
+ ...
0 = f
2
(x
0
1
+ x
1
, x
0
2
+ x
2
) = f
2
(x
0
1
, x
0
2
) +
f
2
x
1
(x
0
1
, x
0
2
)x
1
+
f
2
x
2
(x
0
1
, x
0
2
)x
2
+ ...
Dept. Math. et Stat. (Universit Laval) MAT-18996 90 / 97
Systmes non linaires
Comme toujours on nglige les termes dordres suprieures en x
i
:
on fait une linarisation en x
i
. et on obtient comme approximation
f
1
(x
0
1
, x
0
2
) =
f
1
x
1
(x
0
1
, x
0
2
)x
1
+
f
1
x
2
(x
0
1
, x
0
2
)x
2
f
1
(x
0
1
, x
0
2
) =
f
1
x
1
(x
0
1
, x
0
2
)x
1
+
f
1
x
2
(x
0
1
, x
0
2
)x
2
Introduisant les matrices et vecteurs appropris on a

_
f
1
(x
0
1
, x
0
2
)
f
2
(x
0
1
, x
0
2
)
_
. .
R(x
0
1
,x
0
2
)
=
_
f
1
x
1
(x
0
1
, x
0
2
)
f
1
x
2
(x
0
1
, x
0
2
)
f
2
x
1
(x
0
1
, x
0
2
)
f
2
x
2
(x
0
1
, x
0
2
)
_
. .
J(x
0
1
,x
0
2
)
_
x
1
x
2
_
. .
x
J(x
0
1
, x
0
2
) est la matrice Jacobienne en (x
0
1
, x
0
2
) et R(x
0
1
, x
0
2
) le rsidu
en (x
0
1
, x
0
2
).
Dept. Math. et Stat. (Universit Laval) MAT-18996 91 / 97
Systmes non linaires
Si le dterminant de J appel Jacobien est non nul on peut inverser J
et on peut rsoudre en x :
x = J(x
0
1
, x
0
2
)
1
R(x
0
1
, x
0
2
)
Comme en dimension 1, la solution propose x
0
+ x nest pas
parfaite puisquon a nglig des termes dans Taylor. Alors on applique
la mthode de points xes :
x
0
donn
rsoudre J(x
n
)x = R(x
n
)
x
n+1
= x
n
+ x
Dept. Math. et Stat. (Universit Laval) MAT-18996 92 / 97
Systmes non linaires
Forme compacte dun systme non linaire
F(x) = 0
o x = (x
1
, x
2
, x
3
, . . . , x
n
) et F = (f
1
, f
2
, f
3
, . . . , f
n
)
Vecteurs : correction, rsidu
x = (x
1
, x
2
, x
3
, . . . , x
n
) R(x) = (f
1
(x), f
2
(x), f
3
(x), . . . , f
n
(x))
Matrice : jacobienne
J(x) =
_
_
_
_
_
_
f
1
x
1
f
1
x
2
. . .
f
1
x
n
f
2
x
1
f
2
x
2
. . .
f
2
x
n
.
.
.
.
.
.
.
.
.
.
.
.
f
n
x
1
f
n
x
2
. . .
f
n
x
n
_
_
_
_
_
_
=
_
_
_
_
_
f
1
(x)
f
2
(x)
.
.
.
f
n
(x)
_
_
_
_
_
Dept. Math. et Stat. (Universit Laval) MAT-18996 93 / 97
Systmes non linaires
tant donn
a
, un critre darrt
tant donn N, le nombre maximal ditrations
tant donn x
0
, une valeur initiale de la solution
1
Rsoudre le systme linaire
J(x
k
) x = R(x
k
)
Mettre jour la solution
x
k+1
= x
k
+ x
2
Si
||x||
||x
k+1
||
<
a
et ||R(x
k+1
)||
a
:
convergence atteinte
crire la solution x
k+1
: arrt
3
Si le nombre maximal ditrations N est atteint :
convergence non atteinte en N itrations : arrt
4
retour ltape 1
Dept. Math. et Stat. (Universit Laval) MAT-18996 94 / 97
Systmes non linaires
Remarques
ltape 1 de lalgorithme scrit aussi
x
k+1
= x
k
J(x
k
)
1
R(x
k
)
soulignant le lien avec la mthode de Newton en dimension 1.
Encore une fois la convergence de lalgorithme de Newton
dpend de la qualit de x
0
On peut montrer que si lalgorithme converge alors en gnral
x x
n+1
Cx x
n

2
e
n+1
Ce
n

2
Donc en gnral la convergence est quadratique.
Si la matrice jacobienne est singulire au point solution (det J = 0)
alors on perd la convergence quadratique. Cest lanalogue du cas
en dimension 1 : on perd la convergence quadratique si la racine
est de multiplicit suprieure 1 (f

(r ) = 0).
Dept. Math. et Stat. (Universit Laval) MAT-18996 95 / 97
Systmes non linaires
Remarques
Pour avoir la convergence quadratique on doit construire et
dcomposer (au sens de Crout) un matrice n n chaque
itration. Pour cela on doit fournir en plus des n fonctions les n
gradients de ces fonctions (n
2
drive partielles). Peut tre
coteux lorsque n est grand.
La mthode de Newton modie vite le calcul des drives
partielles en les remplaant par des approximations appeles
diffrences centres :
f
i
x
j

f
i
(x
1
, . . . , x
j 1
, x
j
+h, . . . , x
n
) f
i
(x
1
, . . . , x
j 1
, x
j
h, . . . , x
n
)
2h
Introduit une erreur dans le calcul de la matrice mais la
convergence est gnralement bonne.
Dept. Math. et Stat. (Universit Laval) MAT-18996 96 / 97
Systmes non linaires Yen a plus
FIN DU CHAPITRE! ! ! ! ! !
Message pas subliminal
Vendredi 18h30-20h30 PLT-1112, 2 feuilles recto-verso + calculatrice
FSG+ carte tudiante
Vendredi 18h30-20h30 PLT-1112, 2 feuilles recto-verso + calculatrice
FSG+ carte tudiante
Vendredi 18h30-20h30 PLT-1112, 2 feuilles recto-verso + calculatrice
FSG+ carte tudiante
Vendredi 18h30-20h30 PLT-1112, 2 feuilles recto-verso + calculatrice
FSG+ carte tudiante
Vendredi 18h30-20h30 PLT-1112, 2 feuilles recto-verso + calculatrice
FSG+ carte tudiante
Dept. Math. et Stat. (Universit Laval) MAT-18996 97 / 97