An CH I&ii

National School of Applied Sciences - Fès
Department of Electrical and Computer Engineering
M02: Numerical Analysis
Author
Prof. Safae ELHAJ-BEN-ALI
Université Sidi Mohamed Ben Abdellah, Fès
safae.elhajbenali@usmba.ac.ma
table of contents
Chap. I : What is Numerical Analysis ?

Chap. II : Numerical Methods for solving linear systems Ax = b
Chap. III : Root Finding of an equation with only one variable
Chap. IV : Polynomial Interpolation
Chap. V : Numerical Integration
Chap. VI : Numerical Solution for Ordinary Dierential Equations
Safae ELHAJ-BEN-ALI Cours

( d'analyse numérique
Université Sidi Mohamed Ben Abdellah, Fès safae.elhaj
2
Généralités sur l'Analyse Numérique
Table de matière
1 Généralités sur l'Analyse Numérique

Qu'est ce que l'analyse numérique ?
Analyse numérique et ordinateur
Dicultés liées à l'ordinateur
Dicultés liées à l'ordinateur
Les erreurs en analyse numérique
Norme et conditionnement
Conditionnement de matrices
2 Méthodes de résolution des systèmes Ax = b

3
Généralités sur l'Analyse Numérique Qu'est ce que l'analyse numérique ?
Qu'est ce que l'analyse numérique ?

4
L'analyse numérique est une branche des mathématiques appliquées née

après la fondation en 1947 de "The Institute of Numerical Analysis" à
l'Université de California de Los Angeles, dont l'objectif est de donner une
réponse numérique à des problèmes qui n'ont pas de solution analytique
(solution calculée à la main) où de concevoir et d'étudier des méthodes de
résolution de certains problèmes mathématiques, en général issus de la
modélisation de problèmes "réels", et dont on cherche à
calculer la solution à l'aide d'un ordinateur.
Discipline à l'interface des mathématiques et de l'informatique

5
L'analyse numérique est une branche des mathématiques appliquées née

après la fondation en 1947 de "The Institute of Numerical Analysis" à
l'Université de California de Los Angeles, dont l'objectif est de donner une
réponse numérique à des problèmes qui n'ont pas de solution analytique
(solution calculée à la main) où de concevoir et d'étudier des méthodes de
résolution de certains problèmes mathématiques, en général issus de la
modélisation de problèmes "réels", et dont on cherche à
calculer la solution à l'aide d'un ordinateur.
Discipline à l'interface des mathématiques et de l'informatique

5
Exemple
Calculer l'intégrale I = 01 e x dx .
R 2
Il est impossible de donner une valeur exacte à I , dans ce cas, on peut

appliquer des méthodes numériques pour évaluer la valeur de l'intégrale
donnée.
R1
0 e dx ' 1.4627.
2
On trouve que I = x

6
L'analyse numérique =⇒ Résultat approché
Conséquence : L'analyse numérique permet d'évaluer et de développer les

processus (Méthodes) de résolution de problèmes mathématiques par la
voie du calcul numérique à partir de données numériques accessibles (par
l'experience).
L'analyse numérique =⇒ Traitement de l'information

7

l'experience).

7

l'experience).

7
Généralités sur l'Analyse Numérique Analyse numérique et ordinateur
Analyse numérique et ordinateur

8
Depuis la deuxième guerre mondiale, les applications des mathématiques

s'étendent à tous les secteurs d'activité et ceci grâce aux ordinateurs et leur
rapidité de calcul, l'ordinateur est un outil incontournable pour simuler et
modéliser les systèmes, il existe souvent plusieurs façon d'approcher un
problème pour le résoudre =⇒ L'existence d'algorithme.
Denition
On appelle Algorithme, un processus ou une méthode numérique pour la
résolution d'un problème toujours à partir de données accessible, en général,
le problème d'analyse numérique se résume dans l'organigramme suivant :
Données d'entrée Algorithme Données de sortie

9
Depuis la deuxième guerre mondiale, les applications des mathématiques

s'étendent à tous les secteurs d'activité et ceci grâce aux ordinateurs et leur
rapidité de calcul, l'ordinateur est un outil incontournable pour simuler et
modéliser les systèmes, il existe souvent plusieurs façon d'approcher un
problème pour le résoudre =⇒ L'existence d'algorithme.
Denition
On appelle Algorithme, un processus ou une méthode numérique pour la
résolution d'un problème toujours à partir de données accessible, en général,
le problème d'analyse numérique se résume dans l'organigramme suivant :
Données d'entrée Algorithme Données de sortie

9
Denition
Un organigramme est une représentation schématique de toute les
possibilités pour résoudre un problème considéré c-à-d une succession de
calcul et de décision traduisant le processus de résolution.
Exemple
Considérant le système linéaire :
     
 a11 x1 + a12 x2 + a13 x3 = b1 a11 a12 a13 x1 b1
a21 x1 + a22 x2 + a23 x3 = b2 ⇐⇒  a21 a22 a23   x2  =  b2 
a31 x1 + a32 x2 + a33 x3 = b3 a31 a32 a33 x3 b3

⇐⇒ Ax = b
Pour résoudre Ax = b on procède par l'organigramme suivant

10
Denition
Un organigramme est une représentation schématique de toute les
possibilités pour résoudre un problème considéré c-à-d une succession de
calcul et de décision traduisant le processus de résolution.
Exemple
Considérant le système linéaire :
     
 a11 x1 + a12 x2 + a13 x3 = b1 a11 a12 a13 x1 b1
a21 x1 + a22 x2 + a23 x3 = b2 ⇐⇒  a21 a22 a23   x2  =  b2 
a31 x1 + a32 x2 + a33 x3 = b3 a31 a32 a33 x3 b3

⇐⇒ Ax = b
Pour résoudre Ax = b on procède par l'organigramme suivant

10

11
Remarque
Un organigramme considère toute les possibilités de calcul puis donne
une représentation du résultat (possibilité de visualiser les résultats
sous forme de tableau, graphe, gure).
Un algorithme peut être utile s'il satisfait un certain nombre de
conditions :
- Rapidité : Réduire au maximum le nombre des opérations menant
au résultat.
- Précision : Négliger toutes les erreurs commise au calcul c-à-d
savoir contenir les eets des erreurs (erreurs de
modélisation, de données, de représentation sur
ordinateur ou de troncature).
- Souple : L'algorithme doit être facilement transposable à des
problèmes diérents.
D'où, l'elaboration d'un algorithme nécessite beaucoup d'eort et présente
de nombreuses dicultés.
12
Remarque
conditions :
au résultat.
12
Remarque
conditions :
au résultat.
12
Remarque
conditions :
au résultat.
12
Remarque
conditions :
au résultat.
12
Remarque
conditions :
au résultat.
12
Remarque
conditions :
au résultat.
12
Remarque
conditions :
au résultat.
12
Remarque
conditions :
au résultat.
12
• Dicultés liées à l'ordinateur
Capacité de mémoire :
On considérera un réel comme connu numériquement si on connaît un
certain nombre de chires de son développement décimal et la précision
avec laquelle ce développement approchée est donnée.
Exemple
√
2 = 1.414213 ± 10−6 .
π = 3.14159 ± 10−5 .

13
• Dicultés liées à l'ordinateur
Capacité de mémoire :
On considérera un réel comme connu numériquement si on connaît un
certain nombre de chires de son développement décimal et la précision
avec laquelle ce développement approchée est donnée.
Exemple
√
2 = 1.414213 ± 10−6 .
π = 3.14159 ± 10−5 .

13
Les opérations algébrique sur ordinateur sont des approximations des

opérations algébriques des mathématiques.
Exemple
Associativité : u= (y +x)−x
y ;v= y +(x−x)
y
Calcul algébrique : ∀y 6= 0 on a u = v = 1.
Informatique : si x = 1 et y = 10−17 on aura u = 0 et v = 1 c-à-d
dans la parenthèse y + x l'ordinateur a négligé la valeur de y d'où
l'ordinateur ne prend pas en considération l'inniment petit.

14

Exemple
y ;v= y +(x−x)
y

14

Exemple
y ;v= y +(x−x)
y

14

Exemple
y ;v= y +(x−x)
y

14

Exemple
y ;v= y +(x−x)
y

14

Exemple
y ;v= y +(x−x)
y

14
Généralités sur l'Analyse Numérique Les erreurs en analyse numérique
Les erreurs commises dans les problèmes mathématiques peuvent être en

principe classées en quatre catégories.
Erreurs de modèle : Ces erreurs sont dues au fait que les modèles
mathématiques sont plus ou moins idéalisés, ce qui donne lieu à
plusieurs erreurs.
Exemple : Une planète n'est jamais parfaitement sphérique.
Erreurs d'entrée : L'information d'entrée est rarement exacte, par
exemple les mesures physiques ne sont jamais exactes.
Exemple : π, la gravité g , charge élémentaire e , ...
Erreurs d'algorithme : En plus des erreurs d'entrée, l'algorithme lui
même engendre des erreurs qui sont particulièrement dû aux
opérations arithmétiques et à la précision de l'ordinateur.
Erreurs de sortie : Elle sont engendrées par les erreurs précédentes et
la précision de l'ordinateur.
15

plusieurs erreurs.
15

plusieurs erreurs.
15

plusieurs erreurs.
15

plusieurs erreurs.
15
Erreur d'entrée + Erreur d'algorithme =⇒ Erreur de sortie
Mesure de l'erreur :
Soit x une valeur exacte d'une quantité et xb sa valeur approchée.
On peut envisager plusieurs façons pour mesurer l'erreur entre une valeur
approchée xb et une valeur exacte x .
→ L'erreur absolue :
On appelle erreur absolue de x la quantité abs = ∆x = |x − xb|. Autrement,
c'est la mesure de l'écart entre la valeur exacte et la valeur approchée.
Si x − xb ≤ 0 alors xb est une valeur approchée par excès.
→ L'erreur relative
On appelle erreur relative (Exprimé en pourcentage) de x la quantité
rel = |x| = x ..

∆x x−bx

16
rel = |x| = x ..

∆x x−bx

16
rel = |x| = x ..

∆x x−bx

16
rel = |x| = x ..

∆x x−bx

16
rel = |x| = x ..

∆x x−bx

16
rel = |x| = x ..

∆x x−bx

16
rel = |x| = x ..

∆x x−bx

16
Remarque
Puisque la valeur de x est inconnu donc on peut jamais calculer de façon
exacte ∆x . En pratique, on cherche à majorer l'erreur absolue ∆x en ∆x c et
estimer l'erreur relative en xb , en général, la majoration de l'erreur absolue
∆x
c
est donnée par le constructeur (tensiomètre, Thermomètre, balance, ... ).

17
Généralités sur l'Analyse Numérique Norme et conditionnement
Généralités sur les matrices : Norme et conditionnement

18
• Rappel d'algèbre linéaire Soit A une matrice carrée d'ordre n à valeurs

réelles.
1 Matrice symétrique : A = (aij ), At = A ou At = (bij ), bij = aji .
2 Matrice symétrique positive et dénie positive : une matrice est
dites semi-dénie positive ssi hAx, xi ≥ 0, ∀x ∈ Rn \ {0} (resp.
hAx, xi > 0, ∀x ∈ Rn \ {0} )
3 Matrice normale : ssi AA∗ = A∗ A.
4 Matrice orthogonale : ssi AA∗ = A∗ A=I.
5 Matrice diagonale : ssi aij = 0, ∀i 6= j .
6 Matrice triangulaire supérieur : ssi aij = 0, ∀i ≥ j .

19

réelles.
hAx, xi > 0, ∀x ∈ Rn \ {0} )

19

réelles.
hAx, xi > 0, ∀x ∈ Rn \ {0} )

19

réelles.
hAx, xi > 0, ∀x ∈ Rn \ {0} )

19

réelles.
hAx, xi > 0, ∀x ∈ Rn \ {0} )

19

réelles.
hAx, xi > 0, ∀x ∈ Rn \ {0} )

19

réelles.
hAx, xi > 0, ∀x ∈ Rn \ {0} )

19
1 Matrice triangulaire inférieur : ssi aij = 0, ∀i ≤ j .

2 Les valeurs propres d'une matrice A : sont les scalaires λ associés
aux vecteurs propres x tels que Ax = λx , autrement dit, ils sont les
racines du polynôme caractéristique de A car (A − λI )x = 0.
3 Les valeurs singulières d'une matrice A : les racines carrées des
valeurs propres de la matrice A ∗ A0 .
4 Matrice à diagonale strictement dominante :
|aji | ∀ i ∈ {1, ..., n}
X
|aii | >
i6=j
.

20

|aji | ∀ i ∈ {1, ..., n}
X
|aii | >
i6=j
.

20

|aji | ∀ i ∈ {1, ..., n}
X
|aii | >
i6=j
.

20

|aji | ∀ i ∈ {1, ..., n}
X
|aii | >
i6=j
.

20
Proposition
1 Le déterminant d'une matrice triangulaire est le produit de ses
éléments diagonaux.
2 Soient A et B deux matrices triangulaires inférieures (resp.
triangulaires supérieures). Alors la matrice AB est aussi triangulaire
inférieure (resp. triangulaire supérieure).
3 A une matrice triangulaire inférieure (resp. triangulaire supérieure),
alors, si A est inversible alors son inverse est triangulaire inférieure
(resp. triangulaire supérieure).

21
Proposition

21
Proposition

21
• Normes matricielles :
Denition
Étant donné E un espace vectoriel sur R ou C, on appelle norme sur E
notée k · k, toute application de E à valeur dans R+ et qui vérie :
1 kxk = 0 ⇐⇒ x = 0.
2 kλxk = |λ|kxk, ∀x ∈ E , ∀λ ∈ C.
3 kx + y k ≤ kxk + ky k, ∀x, y ∈ E .
Exemple
n
!1
p
p ≥ 1 (norme de Hölder).
X
x ∈ Cn , kxkp = |xk |p ,
k=1
p = 2 Norme euclidienne, elle correspond à la norme habituellement
utilisée pour la distance entre deux points dans le plan ou l'espace.
p = 1 est donnée par la somme des modules (ou valeurs absolues) des
coecients de x .
22
Denition
1 kxk = 0 ⇐⇒ x = 0.
2 kλxk = |λ|kxk, ∀x ∈ E , ∀λ ∈ C.
3 kx + y k ≤ kxk + ky k, ∀x, y ∈ E .
Exemple
n
!1
p
X
k=1
coecients de x .
22
Denition
1 kxk = 0 ⇐⇒ x = 0.
2 kλxk = |λ|kxk, ∀x ∈ E , ∀λ ∈ C.
3 kx + y k ≤ kxk + ky k, ∀x, y ∈ E .
Exemple
n
!1
p
X
k=1
coecients de x .
22
→ Normes matricielles induites
Soit E un K -espace vectoriel de dimension n muni d'une norme

(vectorielle) notée k · k.
k · k est une norme matricielle induite ou subordonnée si et seulement si
k · k est une norme dénie à partir d'une norme vectorielle par
kAxk
kAk = sup kAxk = sup (On a confondu les notations norme
kxk=1 x6=0 kxk
matricielle et norme vectorielle) qui vérie
kABk ≤ kAkkBk,
∀x ∈ E, kAxk ≤ kAkkxk.

23
→ Normes matricielles induites
Soit E un K -espace vectoriel de dimension n muni d'une norme

(vectorielle) notée k · k.
k · k est une norme matricielle induite ou subordonnée si et seulement si
k · k est une norme dénie à partir d'une norme vectorielle par
kAxk
kAk = sup kAxk = sup (On a confondu les notations norme
kxk=1 x6=0 kxk
matricielle et norme vectorielle) qui vérie
kABk ≤ kAkkBk,
∀x ∈ E, kAxk ≤ kAkkxk.

23
Proposition
Soit A = (aij ) une matrice carrée. Alors
kAxk1
|aij |.
X
kAk1 ≡ sup = max
x6=0 kxk1 j
i
kAxk2 p
= ρ(A∗ A) = ρ(AA∗ ) = kA∗ k2 où ρ(A)
p
kAk2 ≡ sup
x6=0 kxk2
désigne le rayon spectral de A c-à-d ρ(A) = max |λi (A)|.
i
kAxk∞
|aij |.
X
kAk∞ ≡ sup = max
x6=0 kxk∞ i
j
Démonstration.
Exercice.

24
Exemple
1 −1 0
 
1 Calculer kAk∞ , kAt k∞ , kAk1 et kAt k1 où A =  −1 1 −3 .
1 −1 −1
2 Calculer kAk∞ pour la matrice d'Hilbert suivante
1 12 · · · n1
 
 1 1 · · · n+1
 2 3 1

 .. .
. .
. .

 . . ··· . 
1 1 · · · 1
n n+1 2n−1
0 −1 1
 
3 Soit la matrice symétrique A =  −1 1 −1 , calculer la kAk2 .
1 −1 0
1 1

Soit la matrice non symétrique
0 1 , comparer %(A) et kAk2 .
4

25
Proposition
1 Si A est une matrice carrée d'ordre n de norme k · k (quelconque) alors
ρ(A) ≤ kAk on a l'égalité dans le cas où A est symétrique hermitienne.
2 Étant données une matrice A et > 0, il existe au moins une norme
matricielle induite k · kA, telle que
kAkA, ≤ ρ(A) + .

26
→ Convergence d'une suite de matrices
Denition

On note Ak = AA . . . A} = aijk pour A ∈ Mn (C) et k ∈ N∗ , on écrit
| {z
k fois
lim Ak = 0 ⇐⇒ lim aijk = 0 ⇐⇒ lim kAk k = 0

k→+∞ k→+∞ k→+∞
Theorème
Pour A une matrice carrée d'ordre n et k ∈ N∗ , les propriétés suivantes
sont équivalentes :
1 lim Ak = 0.
k→+∞
2 lim Ak x = 0, ∀x ∈ Cn .
k→+∞
3 ρ(A) < 1.
4 kAkp < 1 pour au moins un p ∈ {1, 2, ..., ∞}.
27
Denition

| {z
k fois

k→+∞ k→+∞ k→+∞
Theorème
1 lim Ak = 0.
k→+∞
2 lim Ak x = 0, ∀x ∈ Cn .
k→+∞
3 ρ(A) < 1.
27
Denition

| {z
k fois

k→+∞ k→+∞ k→+∞
Theorème
1 lim Ak = 0.
k→+∞
2 lim Ak x = 0, ∀x ∈ Cn .
k→+∞
3 ρ(A) < 1.
27
Démonstration.
(1) =⇒ (2) On a kAk xk ≤ kAk kkxk, ∀ la norme et le résultat se déduit.
(2) =⇒ (3) Supposons que ρ(A) ≥ 1, |λ| = ρ(A)
∃x ∈ Cn , x 6= 0 tel que Ax = λx =⇒ Ak x = λk x
Ak x −→ 0 =⇒ λk x −→ 0
k→+∞ k→+∞
absurde car λk ≥ 1.
(3) =⇒ (4) Soit = 1−ρ(A)
2 On sait qu'il existe au moins une norme
matricielle telle que
kAkp ≤ ρ(A) + < 1.
(4) =⇒ (1) Évidente car kAk k ≤ kAkk .

28
On peut maintenant étudier quelques propriétés des séries de matrices :
Theorème
Si A ∈ Mn (C) tel que ρ(A) < 1 alors In − A est inversible et
k
(In − A)−1 = lim
X
Ai .
k→+∞
i=0
Démonstration.
On a
ρ(A) < 1, ∀λ ∈ sp(A), alors (1 − λ) ∈ sp(I − A) =⇒ |λ| ≤ ρ(A) <
1 =⇒ 1 − λ 6= 0 =⇒ 0 6∈ sp(I − A) =⇒ (I − A) est inversible.
De plus (I − A)(I + A + . . . Ak ) = I − Ak+1 ,
=⇒ I + A + . . . Ak = (I − A)−1 − (I − A)−1 Ak+1 ,
k
Ai = (I − A)−1 , car Ak x −→ 0.
X
=⇒ lim
k→+∞ k→+∞
i=0

29
Theorème
k
(In − A)−1 = lim
X
Ai .
k→+∞
i=0
Démonstration.
On a
=⇒ I + A + . . . Ak = (I − A)−1 − (I − A)−1 Ak+1 ,
k
Ai = (I − A)−1 , car Ak x −→ 0.
X
=⇒ lim
k→+∞ k→+∞
i=0

29
Theorème
k
(In − A)−1 = lim
X
Ai .
k→+∞
i=0
Démonstration.
On a
=⇒ I + A + . . . Ak = (I − A)−1 − (I − A)−1 Ak+1 ,
k
Ai = (I − A)−1 , car Ak x −→ 0.
X
=⇒ lim
k→+∞ k→+∞
i=0

29
Généralités sur l'Analyse Numérique Conditionnement de matrices
Notions de conditionnement de matrice

30
Considérons le système linéaire suivant

10 7 8 7 32 1
      
x1
 7 5 6 5   x2   23 
de solution
 1 
  x3  = 
,
8 6 10 9 33 1
     
   
7 5 9 10 x4 31 1
On considère le système perturbé, où les seconds membres ont été
"légèrement" modiés, la matrice restant inchangée :
10 7 8 7 32.1 9.2
      
x1 + δx1
 7 5 6 5   x2 + δx2   22.9 
de solution
 −12.6 
  x3 + δx3  = 
,
8 6 10 9 33.1 4.5
     
   
7 5 9 10 x4 + δx4 30.9 −1.1
Autrement dit, une erreur relative de l'ordre de 300 1 sur les données (ici les
composantes du second membre) entraîne une erreur relative de 8.1736 sur
le résultat, soit une multiplication de l'erreur relative par 2452.
31
Considérons également le système où, cette fois, ce sont les éléments de la

matrice qui ont été "légèrement" modiées :
10 7 8.1 7.2 32
    
x1 + δx1
 7.08 5.04 6 5   x2 + δx2   23 
  x3 + δx3  = 
,
8 5.98 9.89 9 33
   
 
6.99 4.99 9 9.98 x4 + δx4 31
−81
 
 137 
de solution  −34 
 
22

32
Donc une petite perturbation sur les coecients de la matrice ou sur le

second membre entraîne une grosse perturbation sur la solution. C'est un
problème de stabilité. A cause des erreurs de mesure ou d'arrondi qui sont
inévitables on veut éviter le genre de situation présentée ci-dessus.
Un critère pour évaluer le degré d'instabilité du système est le nombre de
conditionnement de la matrice : si ce nombre est petit la matrice est dite
bien conditionnée et le système sera stable (c'est-à-dire peu sensible aux
perturbations).
Denition
Soit k · k une norme matricielle et A une matrice inversible. Le nombre de
conditionnement de A relativement à la norme matricielle choisie est
K(A) = cond(A) = kAkkA−1 k.
Lorsque k · k est la norme matricielle induite par la norme lp , avec
1 ≤ p ≤ ±∞, on note condp (A) ou Kp (A).

33
Donc une petite perturbation sur les coecients de la matrice ou sur le

second membre entraîne une grosse perturbation sur la solution. C'est un
problème de stabilité. A cause des erreurs de mesure ou d'arrondi qui sont
inévitables on veut éviter le genre de situation présentée ci-dessus.
Un critère pour évaluer le degré d'instabilité du système est le nombre de
conditionnement de la matrice : si ce nombre est petit la matrice est dite
bien conditionnée et le système sera stable (c'est-à-dire peu sensible aux
perturbations).
Denition
Soit k · k une norme matricielle et A une matrice inversible. Le nombre de
conditionnement de A relativement à la norme matricielle choisie est
K(A) = cond(A) = kAkkA−1 k.
Lorsque k · k est la norme matricielle induite par la norme lp , avec
1 ≤ p ≤ ±∞, on note condp (A) ou Kp (A).

33
→ Majoration des perturbations
On s'interesse maintenant à la résolution d'un système linéaire de la forme

Ax = b et à sa stabilité.
Theorème (Perturbation du second membre)

Soit x la solution de Ax = b et x + δx la solution de A(x + δx) = b + δb.
Alors, si k · k est une norme matricielle induite
kδxk kδbk
≤ K(A) .
kxk kbk
Démonstration.
Laissé en exercice.

34


kδxk kδbk
≤ K(A) .
kxk kbk
Démonstration.

34


kδxk kδbk
≤ K(A) .
kxk kbk
Démonstration.

34
Theorème (Perturbation du premier membre)

Soit x la solution de Ax = b et x + δx la solution de
(A + δA)(x + δx) = b . Alors, si k · k est une norme matricielle induite
kδxk kδAk
≤ K(A) .
kx + δxk kAk
Démonstration.

35
Donnons quelques propriétés immédiates de cond(A).

Theorème
Soit A une matrice inversible à coecients dans K = C, R.
1 K(αA) = K(A), ∀α 6= 0.
2 K(A) ≥ 1 si la norme matricielle est induite.
3 K2 (A) = µµmax
min
où µmax et µmin sont les plus grande et petite valeurs
singulières ∗ .
4 K2 (A) = 1 ⇐⇒ A = αQ où α ∈ K et Q est unitaire.
( ∗ : On appelle valeurs singulières de M les racines carrées des valeurs propres de
0
la matrice M ∗M )

36
Donnons quelques propriétés immédiates de cond(A).

Theorème
Soit A une matrice inversible à coecients dans K = C, R.
1 K(αA) = K(A), ∀α 6= 0.
2 K(A) ≥ 1 si la norme matricielle est induite.
3 K2 (A) = µµmax
min
où µmax et µmin sont les plus grande et petite valeurs
singulières ∗ .
4 K2 (A) = 1 ⇐⇒ A = αQ où α ∈ K et Q est unitaire.
( ∗ : On appelle valeurs singulières de M les racines carrées des valeurs propres de
0
la matrice M ∗M )

36
Démonstration.
1 Trivial.
2 On a AA−1 = I =⇒ kI k ≤ kAkkA−1 k, pour la norme induite
kI k = sup kIxk on a kI k = 1 =⇒ K(A) ≥ 1.
kxk=1
3 K22 (A) = kAk22 kA−1 k22 =? ρ(A∗ A)ρ((A−1 )∗ A−1 )?
ρ((A−1 )∗ A−1 ) = ρ((A∗ A)−1 ) = max{|λi |, λi valeur propore de (A∗ A)

1
=
min{|λi |, λi v. p. de A∗ A}
Donc K22 (A) = |λ|λmax |

min |
, λi v. p. de A∗ A,
=⇒ K2 (A) = µmin où µi est une valeur singulière de A.
µmax
4 Soit A une matrice inversible. On peut trouver U et V unitaires et

D = diag (µi ) telles ques A = UDV ∗ .
K(A) = 1
Safae ELHAJ-BEN-ALI ⇐⇒ µ =µ
Cours
( d'analyse ⇐⇒
numérique
Université ∀i, µ = µ ⇐⇒
Sidi Mohamed Ben Abdellah, Fès A = µUV
safae.elhaj
37
Remarque
1 Une matrice est bien conditionnée si K(A) est très proche de 1.
2 Une matrice unitaire est bien conditionnée.
3 Une matrice qui a un spectre large est mal conditionnée (K(A) >> 1).

38
Remarque
Si on change de norme matricielle, il existe des constantes K1 et K2
positives telles que
∀A ∈ Mn (R), K1 condk·k (A) ≤ condk·k0 (A) ≤ K2 condk·k (A).
La dernière propriété montre que si le conditionnement dans une norme est

mauvais, on n'a que très peu de chance de l'améliorer en changeant de
norme. Il faut recourir à d'autres méthodes pour améliorer le
conditionnement d'une matrice. par exemple pré-multiplier A par une bonne
matrice P dite de pré-conditionnement an que cond(PA) soit
sensiblement plus petit que cond(A). La recherche de telles matrices de
pré-conditionnement ne peut se faire qu'au cas par cas et est de toute
manière très dicile. Deux choix classiques sont de prendre pour P la
matrice diagonale formée des termes diagonaux de A. ou. si A = Id − B
avec kBk < 1. de prendre pour P la matrice Id + B .

39
Méthodes de résolution des systèmes Ax = b
Table de matière
1 Généralités sur l'Analyse Numérique
2 Méthodes de résolution des systèmes Ax = b

Méthodes directes de résolution de Ax = b
Méthodes itératives de résolution de Ax = b

40
Soit A ∈ Mn (R), le système Ax = b admet une solution unique si une des

conditions équivalentes suivantes est remplie :
1 A est inversible (i.e. det(A) 6= 0).
2 le système Ax = 0 admet seulement la solution nulle.
La solution du système peut être calculée par la formule de CRAMER
det(A) . Évaluons le nombre d'opérations nécessaire au calcul pour
xk = det(A k)
une matrice pleine.

n
Le calcul du det(A) = nécessite à peut prêt n!
X
→ ai,j (−1)i+j det(Ai,j )
j=1
additions et n ∗ n! multiplications. On a donc n(n + 1)! opérations à
eectuer.
→ Si on dispose d'un ordinateur qui eectue 2 × 1011 opérations par
seconde (l'Intel Core i7-3770). Pour résoudre un système 50 × 50. il
faudrait donc
50 × 51! 50 ∗ 51!
secondes, soit ' 1.225×1049 années.
2 × 10 11 2 × 10 × 3600 × 24 × 365
11

41

xk = det(A k)
une matrice pleine.

n
X
j=1
eectuer.
faudrait donc
50 × 51! 50 ∗ 51!
2 × 10 11 2 × 10 × 3600 × 24 × 365
11

41

xk = det(A k)
une matrice pleine.

n
X
j=1
eectuer.
faudrait donc
50 × 51! 50 ∗ 51!
2 × 10 11 2 × 10 × 3600 × 24 × 365
11

41

xk = det(A k)
une matrice pleine.

n
X
j=1
eectuer.
faudrait donc
50 × 51! 50 ∗ 51!
2 × 10 11 2 × 10 × 3600 × 24 × 365
11

41

xk = det(A k)
une matrice pleine.

n
X
j=1
eectuer.
faudrait donc
50 × 51! 50 ∗ 51!
2 × 10 11 2 × 10 × 3600 × 24 × 365
11

41

xk = det(A k)
une matrice pleine.

n
X
j=1
eectuer.
faudrait donc
50 × 51! 50 ∗ 51!
2 × 10 11 2 × 10 × 3600 × 24 × 365
11

41
Pour cette raison, des méthodes numériques alternatives aux formules

de CRAMER ont été développées.
Elles sont dites directes si elles fournissent la solution du système en
un nombre ni d'étapes, itératives si elles nécessitent (théoriquement)
un nombre inni d'étapes.
Notons dès à présent que le choix entre une méthode directe et une
méthode itérative pour la résolution d'un système dépend non
seulement de l'ecacité théorique des algorithmes, mais aussi du type
de matrice, des capacités de stockage en mémoire et enn de
l'architecture de l'ordinateur.

42


42


42
Méthodes de résolution des systèmes Ax = b Méthodes directes de résolution de Ax = b
Méthodes directes de résolution de Ax = b

43
La résolution de Ax = b est très simple dans plusieurs cas :

Si A est diagonale.
Si A est orthogonale : si At A = AAt = I , alors A−1 = At .
Si A est triangulaire supérieure ou inférieure.

44

Si A est diagonale.

44

Si A est diagonale.

44

Si A est diagonale.

44

Si A est diagonale.

44
Résolution d'un système triangulaire (supérieur)

45
Soit, donc le système linéaire suivant :



 a11 x1 + a12 x2 + a13 x3 + · · · + a1n xn = b1


 a22 x2 + a23 x3 + · · · + a2n xn = b2
. . . .

..

. . . .

. . . . .

 akk xk + · · · + akn xn = bk
. .

..

. .

. ··· . .




ann xn = bn

On remarque que le déterminant de la matrice A dénie par

 
a11 a12 a13 ··· · · · a1n
 0 a22 a23 ··· · · · a2n 
. . . . 
 
 . .. .. . . . 
 . . . . . . 
 ,
 0 ··· 0 akk · · · akn 
. . . . 
 
 . .. . .. . . 
 . . . . . .
0 ··· 0 ··· 0 ann
n
est non nul et égal à aii , donc ∀i, aii 6= 0.
Y
i=1
46



 a11 x1 + a12 x2 + a13 x3 + · · · + a1n xn = b1


 a22 x2 + a23 x3 + · · · + a2n xn = b2
. . . .

..

. . . .

. . . . .

. .

..

. .

. ··· . .




ann xn = bn


 
a11 a12 a13 ··· · · · a1n
 0 a22 a23 ··· · · · a2n 
. . . . 
 
 . .. .. . . . 
 . . . . . . 
 ,
 0 ··· 0 akk · · · akn 
. . . . 
 
 . .. . .. . . 
 . . . . . .
0 ··· 0 ··· 0 ann
n
Y
i=1
46



 a11 x1 + a12 x2 + a13 x3 + · · · + a1n xn = b1


 a22 x2 + a23 x3 + · · · + a2n xn = b2
. . . .

..

. . . .

. . . . .

. .

..

. .

. ··· . .




ann xn = bn


 
a11 a12 a13 ··· · · · a1n
 0 a22 a23 ··· · · · a2n 
. . . . 
 
 . .. .. . . . 
 . . . . . . 
 ,
 0 ··· 0 akk · · · akn 
. . . . 
 
 . .. . .. . . 
 . . . . . .
0 ··· 0 ··· 0 ann
n
Y
i=1
46



 a11 x1 + a12 x2 + a13 x3 + · · · + a1n xn = b1


 a22 x2 + a23 x3 + · · · + a2n xn = b2
. . . .

..

. . . .

. . . . .

. .

..

. .

. ··· . .




ann xn = bn


 
a11 a12 a13 ··· · · · a1n
 0 a22 a23 ··· · · · a2n 
. . . . 
 
 . .. .. . . . 
 . . . . . . 
 ,
 0 ··· 0 akk · · · akn 
. . . . 
 
 . .. . .. . . 
 . . . . . .
0 ··· 0 ··· 0 ann
n
Y
i=1
46
L'algorithme de résolution de ce système est le suivant

Algorithme
bn
• xn = ann .
n
X
aki xi
i=k+1
• Pour k = n − 1, . . . , 1, xk = bk
akk − akk .
Comptons le nombre d'opérations nécessaires pour résoudre ce système :

1 A chaque étape k : 1 division et n − k multiplications, soit n − k + 1
multiplications au sens large.
2 A chaque étape k : n − k additions si k ≤ n − 1.
Au total,
n n−1
(n − k + 1) +
X X
(n − k).
k=1 k=1
n(n+1) n(n−1)
opérations, c'est-à-dire 2 + 2 = n2 .
47

Algorithme
bn
• xn = ann .
n
X
aki xi
i=k+1
• Pour k = n − 1, . . . , 1, xk = bk
akk − akk .

Au total,
n n−1
(n − k + 1) +
X X
(n − k).
k=1 k=1
n(n+1) n(n−1)
47

Algorithme
bn
• xn = ann .
n
X
aki xi
i=k+1
• Pour k = n − 1, . . . , 1, xk = bk
akk − akk .

Au total,
n n−1
(n − k + 1) +
X X
(n − k).
k=1 k=1
n(n+1) n(n−1)
47

Algorithme
bn
• xn = ann .
n
X
aki xi
i=k+1
• Pour k = n − 1, . . . , 1, xk = bk
akk − akk .

Au total,
n n−1
(n − k + 1) +
X X
(n − k).
k=1 k=1
n(n+1) n(n−1)
47

Algorithme
bn
• xn = ann .
n
X
aki xi
i=k+1
• Pour k = n − 1, . . . , 1, xk = bk
akk − akk .

Au total,
n n−1
(n − k + 1) +
X X
(n − k).
k=1 k=1
n(n+1) n(n−1)
47

Algorithme
bn
• xn = ann .
n
X
aki xi
i=k+1
• Pour k = n − 1, . . . , 1, xk = bk
akk − akk .

Au total,
n n−1
(n − k + 1) +
X X
(n − k).
k=1 k=1
n(n+1) n(n−1)
47
La méthode de Gauss
On considère maintenant le système plein suivant :



 a11 x1 + a12 x2 + ···+ a1n xn = b1


 a21 x1 + a22 x2 + ···+ a2n xn = b2
. . . . .


. . . . .

. . . . .

 ak 1 x1 + ak 2 x2 + · · · + akn xn = bk
. . . . .


. . . . .

. . . . .




an1 x1 + an2 x2 + · · · + ann xn = bn

La méthode du pivot de GAUSS transforme le système Ax = b en un

système équivalent (ç-à-d ayant la même solution) de la forme Ux = y , où
U est une matrice triangulaire supérieure et y est un second membre
convenablement modié. Enn on résout le système triangulaire Ux = y .

48



 a11 x1 + a12 x2 + ···+ a1n xn = b1


 a21 x1 + a22 x2 + ···+ a2n xn = b2
. . . . .


. . . . .

. . . . .

 ak 1 x1 + ak 2 x2 + · · · + akn xn = bk
. . . . .


. . . . .

. . . . .




an1 x1 + an2 x2 + · · · + ann xn = bn



48



 a11 x1 + a12 x2 + ···+ a1n xn = b1


 a21 x1 + a22 x2 + ···+ a2n xn = b2
. . . . .


. . . . .

. . . . .

 ak 1 x1 + ak 2 x2 + · · · + akn xn = bk
. . . . .


. . . . .

. . . . .




an1 x1 + an2 x2 + · · · + ann xn = bn



48



 a11 x1 + a12 x2 + ···+ a1n xn = b1


 a21 x1 + a22 x2 + ···+ a2n xn = b2
. . . . .


. . . . .

. . . . .

 ak 1 x1 + ak 2 x2 + · · · + akn xn = bk
. . . . .


. . . . .

. . . . .




an1 x1 + an2 x2 + · · · + ann xn = bn



48
Le principe de la méthode est le suivant :

· · · + a1n xn

a11 x1 + a12 x2 + = b1
L(21) ← L2 − L1 ∗ aa21


a21 x1 + a22 x2 + · · · + a2n xn = b2


11


. . . . .

. . . . .


. . . . .


 ak 1 x1 + ak 2 x2 + · · · + akn xn = bk L(k1) ← Lk − L1 ∗ aa11
k1
. . . . .

. . . . .


. . . . .



L(n1) ← Ln − L1 ∗ aa11n1

an1 x1 + an2 x2 + ···+ ann xn = bn

donne 
 a11 x1 +a12 x2 + ···+ a1n xn = b1
(1 ) (1 ) (1)

0 ···+



 +a22 x2 + a2n xn = b2
 ... . . . .

. . . .


. . . .
(1 ) (1 ) (1)

 0 +ak 2 x2 + ···+ akn xn = bk
. . . . .

. . . . .

. . . . .



(1 ) (1 ) (1)


0 +an2 x2 + ···+ ann xn = bn

(1)
avec ∀j, k = 2, ..., n akj = akj − a1j ∗ ak 1
a11 et bk(1) = bk − b1 ∗ aak111 .
49
Le principe de la méthode est le suivant :

· · · + a1n xn

a11 x1 + a12 x2 + = b1
L(21) ← L2 − L1 ∗ aa21


a21 x1 + a22 x2 + · · · + a2n xn = b2


11


. . . . .

. . . . .


. . . . .


 ak 1 x1 + ak 2 x2 + · · · + akn xn = bk L(k1) ← Lk − L1 ∗ aa11
k1
. . . . .

. . . . .


. . . . .



L(n1) ← Ln − L1 ∗ aa11n1

an1 x1 + an2 x2 + ···+ ann xn = bn

donne 
 a11 x1 +a12 x2 + ···+ a1n xn = b1
(1 ) (1 ) (1)

0 ···+



 +a22 x2 + a2n xn = b2
 ... . . . .

. . . .


. . . .
(1 ) (1 ) (1)

 0 +ak 2 x2 + ···+ akn xn = bk
. . . . .

. . . . .

. . . . .



(1 ) (1 ) (1)


0 +an2 x2 + ···+ ann xn = bn

(1)
avec ∀j, k = 2, ..., n akj = akj − a1j ∗ ak 1
a11 et bk(1) = bk − b1 ∗ aak111 .
49
On recommence ainsi de proche en proche : à l'étape k on suppose que

(k)
akk est non nul (quitte à permuter avec les lignes en dessous). Si on ne
peut pas trouver de coecient diagonal non nul à ce stade c'est que la
matrice A n'est pas inversible. Détaillons l'étape k
(1) (1) (1) (1)

 
a11 a12 a13 ··· · · · a1n
(2) (2) (2)

0 a22 a23 ··· · · · a2n

.. ... ... .. .. ..
 
. . . .
 
 
.
 
0 0 (k) (k)
Ligne pivot numéro k : L(k)

··· akk · · · akn
.. .. .. ..
 k

... ...
 
. . . .
 
 
0 ··· 0 (k)
ank · · · ann
(k)

50
On recommence ainsi de proche en proche : à l'étape k on suppose que

(k)
akk est non nul (quitte à permuter avec les lignes en dessous). Si on ne
peut pas trouver de coecient diagonal non nul à ce stade c'est que la
matrice A n'est pas inversible. Détaillons l'étape k
(1) (1) (1) (1)

 
a11 a12 a13 ··· · · · a1n
(2) (2) (2)

0 a22 a23 ··· · · · a2n

.. ... ... .. .. ..
 
. . . .
 
 
.
 
0 0 (k) (k)
Ligne pivot numéro k : L(k)

··· akk · · · akn
.. .. .. ..
 k

... ...
 
. . . .
 
 
0 ··· 0 (k)
ank · · · ann
(k)

50
On eectue les opérations suivantes sur les lignes se trouvant en dessous de

Lk :
(k)
a(k+1)1
Lk+1 ← Lk+1 − Lk ∗ akk
(k)
.
.
.
(k)
Ln ← Ln − Lk ∗ aan(k)1
kk
de sorte que la matrice Ak devienne

 (1) (1) (1) (1) 
a11 a12 a13 ··· ··· a1n
(2) (2) (2)

 0 a22 a23 ··· ··· a2n 
. . . . . .
 
 . . . . . . 
 . . . . . . 
(k) (k)
 

 0 ··· 0 akk ··· akn .
. . . .
(k+1)
 
. . . .

 . . . 0 a(k+1)(k+1) .


. . .
 
. .
. . . . .
 
 . . . 0 . . 
(n)
0 0 0 0 ··· ann
Au bout de toutes ces manipulations on obtient une matrice triangulaire
supérieure U .
51

Lk :
(k)
a(k+1)1
(k)
.
.
.
(k)
kk

 (1) (1) (1) (1) 
a11 a12 a13 ··· ··· a1n
(2) (2) (2)

 0 a22 a23 ··· ··· a2n 
. . . . . .
 
 . . . . . . 
 . . . . . . 
(k) (k)
 

 0 ··· 0 akk ··· akn .
. . . .
(k+1)
 
. . . .

 . . . 0 a(k+1)(k+1) .


. . .
 
. .
. . . . .
 
 . . . 0 . . 
(n)
0 0 0 0 ··· ann
supérieure U .
51

Lk :
(k)
a(k+1)1
(k)
.
.
.
(k)
kk

 (1) (1) (1) (1) 
a11 a12 a13 ··· ··· a1n
(2) (2) (2)

 0 a22 a23 ··· ··· a2n 
. . . . . .
 
 . . . . . . 
 . . . . . . 
(k) (k)
 

 0 ··· 0 akk ··· akn .
. . . .
(k+1)
 
. . . .

 . . . 0 a(k+1)(k+1) .


. . .
 
. .
. . . . .
 
 . . . 0 . . 
(n)
0 0 0 0 ··· ann
supérieure U .
51

Lk :
(k)
a(k+1)1
(k)
.
.
.
(k)
kk

 (1) (1) (1) (1) 
a11 a12 a13 ··· ··· a1n
(2) (2) (2)

 0 a22 a23 ··· ··· a2n 
. . . . . .
 
 . . . . . . 
 . . . . . . 
(k) (k)
 

 0 ··· 0 akk ··· akn .
. . . .
(k+1)
 
. . . .

 . . . 0 a(k+1)(k+1) .


. . .
 
. .
. . . . .
 
 . . . 0 . . 
(n)
0 0 0 0 ··· ann
supérieure U .
51
Exemple
Soit le système linéaire
x + 2x2 + 3x3 + 4x4 =1

 1

2x1 + 3x2 + 4x3 + x4 =2

,
 3x1 + 4x2 + x3 + 2x4 =3
4x1 + x2 + 2x3 + 3x4 =4


Résolution par la méthode du pivot de GAUSS

x + 2x2 + 33 + 4x4 1 x + 2x2 + 33 + 4x4 1
 
 1  1
= =
L2 ← L2 − 2L1
 
2x1 + 3x2 + 4x3 + x4 2 0 − x2 − 2x3 − 7x4 0
 
= =
3x1 + 4x2 + x3 + 2x4 = 3 L3 ← L3 − 3L1 =⇒
0 − 2x2 − 8x3 − 10x4 = 0 L3 ← L3 − 2L2
L4 ← L4 − 4L1 L4 ← L4 − 7L2
 
 4x + x + 2x + 3x 4  0 − 7x − 10x − 13x 0
1 2 3 4 2 3 4
 
= =
x + 2x2 + 33 + 4x4 =1 x + 2x2 + 33 + 4x4 =1

 
 1  1
 
0 − x2 − 2x3 − 7x4 =0 0 − x2 − 2x3 − 7x4 =0
 
=⇒
0 + 0 − 4x3 + 4x4 =0 0 + 0 − 4x3 + 4x4 =0
0 + 0 + 4x3 + 36x4 =0 L4 ← L4 + L3 0 + 0 + 0 + 40x4 =0

 

 
Donc x4 = 0, x3 = 0, x2 = 0, x1 = 1,

52
Exemple
x + 2x2 + 3x3 + 4x4 =1

 1

2x1 + 3x2 + 4x3 + x4 =2

,
 3x1 + 4x2 + x3 + 2x4 =3
4x1 + x2 + 2x3 + 3x4 =4



x + 2x2 + 33 + 4x4 1 x + 2x2 + 33 + 4x4 1
 
 1  1
= =
L2 ← L2 − 2L1
 
2x1 + 3x2 + 4x3 + x4 2 0 − x2 − 2x3 − 7x4 0
 
= =
3x1 + 4x2 + x3 + 2x4 = 3 L3 ← L3 − 3L1 =⇒
0 − 2x2 − 8x3 − 10x4 = 0 L3 ← L3 − 2L2
L4 ← L4 − 4L1 L4 ← L4 − 7L2
 
 4x + x + 2x + 3x 4  0 − 7x − 10x − 13x 0
1 2 3 4 2 3 4
 
= =
x + 2x2 + 33 + 4x4 =1 x + 2x2 + 33 + 4x4 =1

 
 1  1
 
0 − x2 − 2x3 − 7x4 =0 0 − x2 − 2x3 − 7x4 =0
 
=⇒
0 + 0 − 4x3 + 4x4 =0 0 + 0 − 4x3 + 4x4 =0
0 + 0 + 4x3 + 36x4 =0 L4 ← L4 + L3 0 + 0 + 0 + 40x4 =0

 

 
Donc x4 = 0, x3 = 0, x2 = 0, x1 = 1,

52
Exemple
x + 2x2 + 3x3 + 4x4 =1

 1

2x1 + 3x2 + 4x3 + x4 =2

,
 3x1 + 4x2 + x3 + 2x4 =3
4x1 + x2 + 2x3 + 3x4 =4



x + 2x2 + 33 + 4x4 1 x + 2x2 + 33 + 4x4 1
 
 1  1
= =
L2 ← L2 − 2L1
 
2x1 + 3x2 + 4x3 + x4 2 0 − x2 − 2x3 − 7x4 0
 
= =
3x1 + 4x2 + x3 + 2x4 = 3 L3 ← L3 − 3L1 =⇒
0 − 2x2 − 8x3 − 10x4 = 0 L3 ← L3 − 2L2
L4 ← L4 − 4L1 L4 ← L4 − 7L2
 
 4x + x + 2x + 3x 4  0 − 7x − 10x − 13x 0
1 2 3 4 2 3 4
 
= =
x + 2x2 + 33 + 4x4 =1 x + 2x2 + 33 + 4x4 =1

 
 1  1
 
0 − x2 − 2x3 − 7x4 =0 0 − x2 − 2x3 − 7x4 =0
 
=⇒
0 + 0 − 4x3 + 4x4 =0 0 + 0 − 4x3 + 4x4 =0
0 + 0 + 4x3 + 36x4 =0 L4 ← L4 + L3 0 + 0 + 0 + 40x4 =0

 

 
Donc x4 = 0, x3 = 0, x2 = 0, x1 = 1,

52
Exemple
x + 2x2 + 3x3 + 4x4 =1

 1

2x1 + 3x2 + 4x3 + x4 =2

,
 3x1 + 4x2 + x3 + 2x4 =3
4x1 + x2 + 2x3 + 3x4 =4



x + 2x2 + 33 + 4x4 1 x + 2x2 + 33 + 4x4 1
 
 1  1
= =
L2 ← L2 − 2L1
 
2x1 + 3x2 + 4x3 + x4 2 0 − x2 − 2x3 − 7x4 0
 
= =
3x1 + 4x2 + x3 + 2x4 = 3 L3 ← L3 − 3L1 =⇒
0 − 2x2 − 8x3 − 10x4 = 0 L3 ← L3 − 2L2
L4 ← L4 − 4L1 L4 ← L4 − 7L2
 
 4x + x + 2x + 3x 4  0 − 7x − 10x − 13x 0
1 2 3 4 2 3 4
 
= =
x + 2x2 + 33 + 4x4 =1 x + 2x2 + 33 + 4x4 =1

 
 1  1
 
0 − x2 − 2x3 − 7x4 =0 0 − x2 − 2x3 − 7x4 =0
 
=⇒
0 + 0 − 4x3 + 4x4 =0 0 + 0 − 4x3 + 4x4 =0
0 + 0 + 4x3 + 36x4 =0 L4 ← L4 + L3 0 + 0 + 0 + 40x4 =0

 

 
Donc x4 = 0, x3 = 0, x2 = 0, x1 = 1,

52
Exemple
x + 2x2 + 3x3 + 4x4 =1

 1

2x1 + 3x2 + 4x3 + x4 =2

,
 3x1 + 4x2 + x3 + 2x4 =3
4x1 + x2 + 2x3 + 3x4 =4



x + 2x2 + 33 + 4x4 1 x + 2x2 + 33 + 4x4 1
 
 1  1
= =
L2 ← L2 − 2L1
 
2x1 + 3x2 + 4x3 + x4 2 0 − x2 − 2x3 − 7x4 0
 
= =
3x1 + 4x2 + x3 + 2x4 = 3 L3 ← L3 − 3L1 =⇒
0 − 2x2 − 8x3 − 10x4 = 0 L3 ← L3 − 2L2
L4 ← L4 − 4L1 L4 ← L4 − 7L2
 
 4x + x + 2x + 3x 4  0 − 7x − 10x − 13x 0
1 2 3 4 2 3 4
 
= =
x + 2x2 + 33 + 4x4 =1 x + 2x2 + 33 + 4x4 =1

 
 1  1
 
0 − x2 − 2x3 − 7x4 =0 0 − x2 − 2x3 − 7x4 =0
 
=⇒
0 + 0 − 4x3 + 4x4 =0 0 + 0 − 4x3 + 4x4 =0
0 + 0 + 4x3 + 36x4 =0 L4 ← L4 + L3 0 + 0 + 0 + 40x4 =0

 

 
Donc x4 = 0, x3 = 0, x2 = 0, x1 = 1,

52
Exemple
x + 2x2 + 3x3 + 4x4 =1

 1

2x1 + 3x2 + 4x3 + x4 =2

,
 3x1 + 4x2 + x3 + 2x4 =3
4x1 + x2 + 2x3 + 3x4 =4



x + 2x2 + 33 + 4x4 1 x + 2x2 + 33 + 4x4 1
 
 1  1
= =
L2 ← L2 − 2L1
 
2x1 + 3x2 + 4x3 + x4 2 0 − x2 − 2x3 − 7x4 0
 
= =
3x1 + 4x2 + x3 + 2x4 = 3 L3 ← L3 − 3L1 =⇒
0 − 2x2 − 8x3 − 10x4 = 0 L3 ← L3 − 2L2
L4 ← L4 − 4L1 L4 ← L4 − 7L2
 
 4x + x + 2x + 3x 4  0 − 7x − 10x − 13x 0
1 2 3 4 2 3 4
 
= =
x + 2x2 + 33 + 4x4 =1 x + 2x2 + 33 + 4x4 =1

 
 1  1
 
0 − x2 − 2x3 − 7x4 =0 0 − x2 − 2x3 − 7x4 =0
 
=⇒
0 + 0 − 4x3 + 4x4 =0 0 + 0 − 4x3 + 4x4 =0
0 + 0 + 4x3 + 36x4 =0 L4 ← L4 + L3 0 + 0 + 0 + 40x4 =0

 

 
Donc x4 = 0, x3 = 0, x2 = 0, x1 = 1,

52
. Cas d'un pivot nul
Il se peut que akk

(k)
= 0. Dans ce cas, il faut permuter les équations c-à-d.
chercher i > k tel que aik(k) 6= 0 et permuter les lignes i et k dans A(k) et
b (k) . Remarquons que puisque A est inversible, A(k) est inversible. Son
déterminant est :
(1) (2) (k−1)
det(A(k) ) = a11 a22 · · · ak−1k−1 det(A0 ),
où A0 est le bloc restant de taille (n − k + 1) × (n − k + 1). Cela montre

que det(A0 ) 6= 0, donc nécessairement l'un des termes aik(k) avec i > k est
non nul. Notons i0 l'un des entiers supérieurs à k tel que ai(k)
0k
6= 0, il faut
permuter les lignes k et i0 . Cela se fait en multipliant à gauche par une
matrice de permutation bien choisie. On en rappelle ici la dénition.

53
. Cas d'un pivot nul
Il se peut que akk

(k)
= 0. Dans ce cas, il faut permuter les équations c-à-d.
chercher i > k tel que aik(k) 6= 0 et permuter les lignes i et k dans A(k) et
b (k) . Remarquons que puisque A est inversible, A(k) est inversible. Son
déterminant est :
(1) (2) (k−1)
det(A(k) ) = a11 a22 · · · ak−1k−1 det(A0 ),
où A0 est le bloc restant de taille (n − k + 1) × (n − k + 1). Cela montre

que det(A0 ) 6= 0, donc nécessairement l'un des termes aik(k) avec i > k est
non nul. Notons i0 l'un des entiers supérieurs à k tel que ai(k)
0k
6= 0, il faut
permuter les lignes k et i0 . Cela se fait en multipliant à gauche par une
matrice de permutation bien choisie. On en rappelle ici la dénition.

53
Denition (Matrice de permutation)

Soient i et j deux entiers compris entre 1 et n et soit σ une permutation de
l'ensemble {1, 2, ...n}. On appelle matrice de permutation Pσ de terme
général
1, si i = σ(j)

[Pσ ]ij = δi,σ(j) =
0, sinon
Exemple
0 0 1
 
1 2 3

pour n = 3, i = 1 et j = 3 on a σ =
3 2 1 et Pσ =  0 1 0 .
1 0 0

54
Denition (Matrice de permutation)

Soient i et j deux entiers compris entre 1 et n et soit σ une permutation de
l'ensemble {1, 2, ...n}. On appelle matrice de permutation Pσ de terme
général
1, si i = σ(j)

[Pσ ]ij = δi,σ(j) =
0, sinon
Exemple
0 0 1
 
1 2 3

pour n = 3, i = 1 et j = 3 on a σ =
3 2 1 et Pσ =  0 1 0 .
1 0 0

54
. Choix du pivot
Si un pivot est très petit, sans pour autant être nul, le procédé d'élimination
ne s'arrête pas, mais le résultat peut être entaché d'erreurs considérables,
comme on va le voir dans l'exemple ci-dessous. Soit un petit nombre réel
et considérons le système de deux équations à deux inconnues
x + y = 1

x +y =2
Par élimination sans recherche de pivot, nous obtenons le système
équivalent suivant
=1

x + y
1 − y = 2 − 1
1
On a donc immédiatement la valeur de y :

1 − 2
y= ' 1.
1−
Par substitution, on obtient x :
1−y
x= ' 0.

55
. Choix du pivot
x + y = 1

x +y =2
équivalent suivant
=1

x + y
1 − y = 2 − 1
1

1 − 2
y= ' 1.
1−
1−y
x= ' 0.

55
. Choix du pivot
x + y = 1

x +y =2
équivalent suivant
=1

x + y
1 − y = 2 − 1
1

1 − 2
y= ' 1.
1−
1−y
x= ' 0.

55
. Choix du pivot
x + y = 1

x +y =2
équivalent suivant
=1

x + y
1 − y = 2 − 1
1

1 − 2
y= ' 1.
1−
1−y
x= ' 0.

55
. Choix du pivot
x + y = 1

x +y =2
équivalent suivant
=1

x + y
1 − y = 2 − 1
1

1 − 2
y= ' 1.
1−
1−y
x= ' 0.

55
. Choix du pivot
x + y = 1

x +y =2
équivalent suivant
=1

x + y
1 − y = 2 − 1
1

1 − 2
y= ' 1.
1−
1−y
x= ' 0.

55
. Choix du pivot
x + y = 1

x +y =2
équivalent suivant
=1

x + y
1 − y = 2 − 1
1

1 − 2
y= ' 1.
1−
1−y
x= ' 0.

55
Essayons maintenant l'élimination après avoir échangé les lignes dans le

système :
x +y =2

x + y = 1
Le même procédé d'élimination que précédemment conduit au système
équivalent suivant
=2

x +y
(1 − )y = 1 − 2
qui devient,
x +y =2

y =1
La solution, tout à fait acceptable cette fois-ci, est x = 1 et y = 1.

56

système :
x +y =2

x + y = 1
équivalent suivant
=2

x +y
(1 − )y = 1 − 2
qui devient,
x +y =2

y =1

56

système :
x +y =2

x + y = 1
équivalent suivant
=2

x +y
(1 − )y = 1 − 2
qui devient,
x +y =2

y =1

56

système :
x +y =2

x + y = 1
équivalent suivant
=2

x +y
(1 − )y = 1 − 2
qui devient,
x +y =2

y =1

56

système :
x +y =2

x + y = 1
équivalent suivant
=2

x +y
(1 − )y = 1 − 2
qui devient,
x +y =2

y =1

56

système :
x +y =2

x + y = 1
équivalent suivant
=2

x +y
(1 − )y = 1 − 2
qui devient,
x +y =2

y =1

56
Remarque
Comptant le nombre d'opération nécessaire dans la méthode de Gauss, au
3 2
total l'algorithme nécessite 2n +66n −2n . Ainsi, pour n très grand
l'algorithme devient instable et donne des résultats erronés.
Exemple
pour n = 50 on a 44150 opérations à faire.
Si on utilise le même l'Intel Core i7-3770, il faudrait donc
44150
2×1011 secondes, soit 2.21 × 10−8 secondes.

57
Remarque
Comptant le nombre d'opération nécessaire dans la méthode de Gauss, au
3 2
total l'algorithme nécessite 2n +66n −2n . Ainsi, pour n très grand
l'algorithme devient instable et donne des résultats erronés.
Exemple
44150

57
La méthode de factorisation LU
La factorisation LU d'une matrice A est une astuce très importante dans le

domaine de l'analyse numérique. Sa base est très simple, mais ses
applications sont très nombreuses et très utiles. Avant de montrer ces
applications, regardons ce qu'est la factorisation LU et comment l'obtenir.
La factorisation LU consiste à écrire une matrice non-singulière A comme
le produit de deux autres matrices L et U où L est une matrice triangulaire
inférieure ayant des 1 sur la diagonale et U une matrice triangulaire
supérieure.

58

supérieure.

58

supérieure.

58
Denition (Les mineurs principaux dominants)

Une sous-matrice k × k formé à partir de A en éliminant les n − k dernières
colonnes et les mêmes n − k dernières lignes, est appelée une sous-matrice
de A, d'ordre principal dominant k . Le déterminant d'une sous-matrice
principale dominante k × k est appelé le mineur principal dominant d'ordre
k de la matrice A.
 
a b c
Les mineurs principauts dominants de la matrice A= d e f  sont
g h i
∆1 = a .

a b
∆2 = det .
d e
∆3 = det(A).

59

k de la matrice A.
 
a b c
g h i
∆1 = a .

a b
∆2 = det .
d e
∆3 = det(A).

59

k de la matrice A.
 
a b c
g h i
∆1 = a .

a b
∆2 = det .
d e
∆3 = det(A).

59
Theorème (Décomposition LU de A)
Soit A = (aij ) une matrice carrée d'ordre n telle que les mineurs principaux
dominants soient non nuls. Alors il existe une matrice triangulaire inférieure
L dont les coecients diagonaux sont égaux à 1 et une matrice triangulaire
supérieure U telles que A = LU . De plus, une telle décomposition est
unique.
1 0 0 0
    
a11 a12 a13 a14 u11 u12 u13 u14
 a21
A=
a22 a23 a24 
 =  l21
 1 0 0 
 0
 u22 u23 u24 
1 0  0 0

 a31 a32 a33 a34   l31 l32 u33 u34 
a41 a42 a43 a44 l41 l42 l43 1 0 0 0 u44
| {z }| {z }
L U

60
Theorème (Décomposition LU de A)
Soit A = (aij ) une matrice carrée d'ordre n telle que les mineurs principaux
dominants soient non nuls. Alors il existe une matrice triangulaire inférieure
L dont les coecients diagonaux sont égaux à 1 et une matrice triangulaire
supérieure U telles que A = LU . De plus, une telle décomposition est
unique.
1 0 0 0
    
a11 a12 a13 a14 u11 u12 u13 u14
 a21
A=
a22 a23 a24 
 =  l21
 1 0 0 
 0
 u22 u23 u24 
1 0  0 0

 a31 a32 a33 a34   l31 l32 u33 u34 
a41 a42 a43 a44 l41 l42 l43 1 0 0 0 u44
| {z }| {z }
L U

60
Algorithme (Algorithme de factorisation LU )

Soit le système linéaire Ax = b.
Factorisation : On commence par factoriser la matrice A sous la forme
d'un produit de deux matrices A = LU . Les termes non nuls
de U et les termes non nuls en-dessous de la diagonale
principale de L sont mémorisés encore dans la matrice A et
sont ainsi calculées :
for k = 1 to n − 1 do
for i = k + 1 to n do
aik ← aakkik
for j = k + 1 to n do
aij ← aij − aik akj
end for
end for
end for

61
Algorithme
Résolution : Résoudre le système linéaire revient maintenant à résoudre successivement
1 le système triangulaire inférieur Ly = b : les éléments non nuls de la
matrice triangulaire inférieure L sont donné par lij = aij pour i = 1, ..., n
etj = 1, ..., i et lii = 1 pour tout i = 1, ..., n, donc l'algorithme s'écrit
y1 ← b1
for i = 2 to n do
si ← 0
for j = 1 to i − 1 do
si ← si + aij yj
end for
yi ← bi − si
end for
2 le système triangulaire supérieur Ux = y : les éléments non nuls de la
matrice triangulaire supérieure U sont donné par uij = aij pour
i = 1, ..., n et j = i, ..., n donc l'algorithme s'écrit

xn ← ayn
nn
for i = n − 1 to 1 do
si ← 0
for j = 1 to i − 1 do
si ← si + aij yj
end for
yi −si
xi ← aii
end for
62
Remarque
Comptant le nombre d'opération nécessaire dans la factorisation LU , au
3 2
total l'algorithme nécessite 2n +36n +n .
Remarque
Une fois que la décomposition est faite, la résolution de Ax = b se fait en
résolvant d'abord Ly = b, puis Ux = y par descente remontée. Cela
permet de traiter facilement les problèmes où plusieurs seconds membres
successifs avec la même matrice A apparaissent. Il faut alors calculer et
1)
stocker L et U . Remarquons que le stockage de U nécessite n(n+ 2 entrées,
n(n−1)
tandis que celui de L en demande 2 car il est inutile de stocker les

63
Remarque
Comptant le nombre d'opération nécessaire dans la factorisation LU , au
3 2
total l'algorithme nécessite 2n +36n +n .
Remarque
Une fois que la décomposition est faite, la résolution de Ax = b se fait en
résolvant d'abord Ly = b, puis Ux = y par descente remontée. Cela
permet de traiter facilement les problèmes où plusieurs seconds membres
successifs avec la même matrice A apparaissent. Il faut alors calculer et
1)
stocker L et U . Remarquons que le stockage de U nécessite n(n+ 2 entrées,
n(n−1)
tandis que celui de L en demande 2 car il est inutile de stocker les

63
. Décomposition PA = LU
On a vu que la décomposition A = LU est soumise à des conditions

sur la matrice inversible A.
Si le pivot est nul, la décomposition est impossible, à moins qu'on
puisse échanger les lignes.
Si ce pivot est "presque nul", on procédera aussi par un échange de
lignes.
Ceci conduira à une décomposition LU non de la matrice A mais de la
matrice PA, où P est une matrice de permutation.

64

lignes.

64

lignes.

64

lignes.

64

lignes.

64
Proposition
n
Y
det(A) = det(L) det(U) = ukk
k=1
Le calcul explicite de l'inverse d'une matrice peut être eectué en
utilisant la factorisation LU comme suit. En notant X l'inverse d'une
matrice régulière A, les vecteurs colonnes de X sont les solutions des
systèmes linéaires
Axi = ei , pour i = 1, ..., n.
En supposant que PA = LU , où P est la matrice de changement de

pivot partiel, on doit résoudre 2n systèmes triangulaires de la forme
Lyi = Pei , Uxi = yi , pour i = 1, ..., n,
c'est-à-dire une suite de systèmes linéaires ayant la même matrice

mais des seconds membres diérents.
65
Exercice
Soit les systèmes linéaires
1 2 3 4 1 1 2 3 4 10
         
x1 x1
 2 3 4 1 
  x2  =  2 
     2 3 4   x2  =  10 
1     
3 4 1 2   x3   3  et
3 4 1 2   x3   10 
 
 
4 1 2 3 x4 4 4 1 2 3 x4 10
1 Résoudre les systèmes linéaires par la méthode du pivot de GAUSS.

2 Factoriser la matrice A (sans utiliser la technique du pivot) et résoudre
les systèmes linéaires.
3 Calculer le déterminant de A.
4 Calculer A−1 .

66
Méthode de Cholesky
Dans le cas des matrices symétriques, on a une décomposition LU où L et

U sont transposées l'une de l'autre. Cela a un avantage pratique évident :
on avait vu que le stockage d'une matrice symétrique n × n ne nécessite
1)
que n(n+2 coecients, et donc dans ce cas, la décomposition LU nécessite
uniquement la sauvegarde de la matrice L c'est-à-dire la sauvegarde de
n(n+1)
2 coecients. On a alors la décomposition de Cholesky qui est décrite
par le résultat suivant.

67
Méthode de Cholesky
Dans le cas des matrices symétriques, on a une décomposition LU où L et

U sont transposées l'une de l'autre. Cela a un avantage pratique évident :
on avait vu que le stockage d'une matrice symétrique n × n ne nécessite
1)
que n(n+2 coecients, et donc dans ce cas, la décomposition LU nécessite
uniquement la sauvegarde de la matrice L c'est-à-dire la sauvegarde de
n(n+1)
2 coecients. On a alors la décomposition de Cholesky qui est décrite
par le résultat suivant.

67
Denition
Une matrice A, n × n est dénie positive et on note A 0 si chacun des
mineurs principaux dominants de A est > 0.
Exemple
 
a11 a12 a13
Soit A =  a12 a22 a23 , alors
a13 a23 a33

a11 a12 a13
a11 > 0, 11 12
a a
A0 > 0 et > 0.

⇐⇒ a12 a22 a23
a12 a22
a13 a23 a33

68
Denition
Une matrice A, n × n est dénie positive et on note A 0 si chacun des
mineurs principaux dominants de A est > 0.
Exemple
 
a11 a12 a13
Soit A =  a12 a22 a23 , alors
a13 a23 a33

a11 a12 a13
a11 > 0, 11 12
a a
A0 > 0 et > 0.

⇐⇒ a12 a22 a23
a12 a22
a13 a23 a33

68
Theorème
Soit A une matrice réelle symétrique dénie positive. Il existe une unique
matrice réelle B triangulaire inférieure, telle que tous ses éléments
diagonaux soient positifs et qui vérie : A = BB t .
Exemple
Pour comprendre voici un exemple dans le cas n = 2.
le principe
a b
On prend A = , alors puisque A 0 on a a > 0. On eectue la
b c
décomposition LU de A et on obtient
1 0

a b
A = LU = .
a 1
2
b
0 c − ba
En extrayant la diagonale de U , on obtient :
1 0 0 1 ba

a
A = LU = .
a 1 0 1
b2
b
0 c− a
Safae ELHAJ-BEN-ALI √
Cours
! safae.elhaj
69
Theorème
Soit A une matrice réelle symétrique dénie positive. Il existe une unique
matrice réelle B triangulaire inférieure, telle que tous ses éléments
diagonaux soient positifs et qui vérie : A = BB t .
Exemple
Pour comprendre voici un exemple dans le cas n = 2.
le principe
a b
On prend A = , alors puisque A 0 on a a > 0. On eectue la
b c
décomposition LU de A et on obtient
1 0

a b
A = LU = .
a 1
2
b
0 c − ba
En extrayant la diagonale de U , on obtient :
1 0 0 1 ba

a
A = LU = .
a 1 0 1
b2
b
0 c− a
Safae ELHAJ-BEN-ALI √
Cours
! safae.elhaj
69
Algorithme
for j = 1 to n do
for k = 1 to j − 1 do
2
ajj ← ajj − ajk
end for√
ajj ← ajj
for i = j + 1 to n do
for k = 1 to j − 1 do
aij ← aij − aik ajk
end fora
ij
aij ← ajj
end for
end for

70
Exemple
1 1 1 1
 
Soit A = 
 1 5 5 5  , Eectuer la factorisation de Cholesky de la

 1 5 14 14 
1 5 14 15
matrice A.

71
Remarque
3
Pour résoudre un système linéaire par cette méthode, il faut environ n6
2
additions et multiplications, n2 divisions et n extractions de racines carrées.
Exemple
22133

72
Remarque
3
Pour résoudre un système linéaire par cette méthode, il faut environ n6
2
additions et multiplications, n2 divisions et n extractions de racines carrées.
Exemple
22133

72
Proposition (Matrices non symétriques)

Soit A ∈ Mn (R) inversible. On suppose que A est non symétrique. On
cherche a résoudre le système Ax = b par la méthode de Cholesky. Ceci est
possible en remarquant que : Ax = b ⇐⇒ At Ax = At b Il ne reste
alors plus qu'à vérier que At A est symétrique dénie positive.

73
Méthodes de résolution des systèmes Ax = b Méthodes itératives de résolution de Ax = b
Méthodes itératives de résolution de Ax = b

74
Une alternative aux méthodes directes de type Gauss, LU ou Cholesky

présentées dans la section précédente est l'utilisation de méthodes
itératives. Dans ce type de méthodes on ne cherche pas à déterminer la
solution du système linéaire Ax = b, mais à construire une suite de
vecteurs {xk }k∈N qui converge vers la solution du problème.
Ces méthodes sont utilisées en particulier quand on a des matrices creuses,
pour lesquelles les produits matrices-vecteurs ont un coût essentiellement
proportionnel à la longueur des vecteurs. Si on a une suite {xk }k∈N qui
converge rapidement, alors le coût global de l'algorithme est bien plus
faible que celui d'une méthode directe.

75
Une alternative aux méthodes directes de type Gauss, LU ou Cholesky

présentées dans la section précédente est l'utilisation de méthodes
itératives. Dans ce type de méthodes on ne cherche pas à déterminer la
solution du système linéaire Ax = b, mais à construire une suite de
vecteurs {xk }k∈N qui converge vers la solution du problème.
Ces méthodes sont utilisées en particulier quand on a des matrices creuses,
pour lesquelles les produits matrices-vecteurs ont un coût essentiellement
proportionnel à la longueur des vecteurs. Si on a une suite {xk }k∈N qui
converge rapidement, alors le coût global de l'algorithme est bien plus
faible que celui d'une méthode directe.

75
Principe général
On veut résoudre le système suivant

Ax = b ⇐⇒ x + Ax − x = b
⇐⇒ x = (I − A)x + b.
| {z }
B
On est donc ramené à la recherche d'un point xe de l'application

x 7−→ Bx + b , pour cela on considère la suite dénie pour k ∈ N, par
x0 donné

xk+1 = Bxk + b.
(1)
La matrice B es appelée la matrice de la méthode itératives.

76
Principe général

Ax = b ⇐⇒ x + Ax − x = b
⇐⇒ x = (I − A)x + b.
| {z }
B

x0 donné

xk+1 = Bxk + b.
(1)

76
Principe général

Ax = b ⇐⇒ x + Ax − x = b
⇐⇒ x = (I − A)x + b.
| {z }
B

x0 donné

xk+1 = Bxk + b.
(1)

76
Principe général

Ax = b ⇐⇒ x + Ax − x = b
⇐⇒ x = (I − A)x + b.
| {z }
B

x0 donné

xk+1 = Bxk + b.
(1)

76
Principe général

Ax = b ⇐⇒ x + Ax − x = b
⇐⇒ x = (I − A)x + b.
| {z }
B

x0 donné

xk+1 = Bxk + b.
(1)

76
Denition
Le système itératif (1) est convergent si
lim xk = x, ∀x0 .
k→+∞
Remarque
Posons k = xk − x , pour k = 0, 1, ...
comme x = Bx + b et xk+1 = Bxk + b on a
k = Bxk−1 − Bx = Bk−1 = · · · = B k 0 .
lim xk = x ⇐⇒ lim k = 0 ⇐⇒ lim B k 0 = 0.
k→+∞ k→+∞ k→+∞
Donc le système itératif (1) est convergent si lim B k v = 0, ∀v
k→+∞
ce qui équivaut à lim kB v k = 0, ∀v pour toute norme vectorielle k · k.
k
k→+∞

77
Denition
Le système itératif (1) est convergent si
lim xk = x, ∀x0 .
k→+∞
Remarque
Posons k = xk − x , pour k = 0, 1, ...
comme x = Bx + b et xk+1 = Bxk + b on a
k = Bxk−1 − Bx = Bk−1 = · · · = B k 0 .
lim xk = x ⇐⇒ lim k = 0 ⇐⇒ lim B k 0 = 0.
k→+∞ k→+∞ k→+∞
Donc le système itératif (1) est convergent si lim B k v = 0, ∀v
k→+∞
ce qui équivaut à lim kB v k = 0, ∀v pour toute norme vectorielle k · k.
k
k→+∞

77
Convergence des méthodes itératives
Le résultat suivant donne le critère fondamental de convergence des

méthodes itératives.
Theorème
Les trois conditions suivantes sont équivalentes
1 Le système itérative (1) converge.
2 ρ(B) < 1.
3 On peut trouver une norme matricielle k · k telle que kBk < 1.
Démonstration.
La preuve du théorème se déduit du théorème 3 du chapitre 1.

78

Theorème
2 ρ(B) < 1.
Démonstration.

78

Theorème
2 ρ(B) < 1.
Démonstration.

78

Theorème
2 ρ(B) < 1.
Démonstration.

78
Les questions qui se posent alors sont les suivantes :

1 Comment choisir la matrice B pour que la méthode converge ?
2 Si deux matrices Bi conviennent quelle est la meilleure ,
c'est-à-dire celle pour laquelle la méthode est la plus rapide ou
demande le moins d'opérations etc ... ?

79


79


79
Les méthodes de Jacobi, de Gauss-Seidel et de relaxation
Nous allons présenter plusieurs façons d'obtenir une matrice B comme

ci-dessus à partir de la matrice originale A du système Ax = b. Supposons
que la matrice A puisse s'écrire A = M − N où la matrice M est "facile" à
inverser. Nous aurons alors
Ax = b ⇐⇒ Mx = Nx + b ⇐⇒ x = M −1 Nx + M −1 b.
la matrice B sera donc B = M −1 N mais en pratique nous verrons qu'on ne

calcule pas M −1 . La méthode itérative associée est
x0 donné

Mxk+1 = Nxk + b.
(2)

80

Ax = b ⇐⇒ Mx = Nx + b ⇐⇒ x = M −1 Nx + M −1 b.

x0 donné

Mxk+1 = Nxk + b.
(2)

80

Ax = b ⇐⇒ Mx = Nx + b ⇐⇒ x = M −1 Nx + M −1 b.

x0 donné

Mxk+1 = Nxk + b.
(2)

80

Ax = b ⇐⇒ Mx = Nx + b ⇐⇒ x = M −1 Nx + M −1 b.

x0 donné

Mxk+1 = Nxk + b.
(2)

80

Ax = b ⇐⇒ Mx = Nx + b ⇐⇒ x = M −1 Nx + M −1 b.

x0 donné

Mxk+1 = Nxk + b.
(2)

80
Il y a une innité de choix possibles pour M et N vériant A = M − N ,

nous allons en donner deux à titre d'exemples. L'idée est bien sûr de choisir
une matrice M particulièrement facile à inverser, par exemple diagonale, ou
bien triangulaire inférieure. Ces deux choix correspondent respectivement à
la méthode de Jacobi et à la méthode de Gauss-Seidel.
On décompose A en A = D − E − F où D est la matrice diagonale
contenant la diagonale de A, E est la partie triangulaire inférieure stricte
(sans la diagonale) de −A et F est la partie triangulaire supérieure stricte
de −A.

81
Il y a une innité de choix possibles pour M et N vériant A = M − N ,

nous allons en donner deux à titre d'exemples. L'idée est bien sûr de choisir
une matrice M particulièrement facile à inverser, par exemple diagonale, ou
bien triangulaire inférieure. Ces deux choix correspondent respectivement à
la méthode de Jacobi et à la méthode de Gauss-Seidel.
On décompose A en A = D − E − F où D est la matrice diagonale
contenant la diagonale de A, E est la partie triangulaire inférieure stricte
(sans la diagonale) de −A et F est la partie triangulaire supérieure stricte
de −A.

81
Exemple
Considérons la matrice
2 −1 1
 
A= 2 2 2  (3)
−1 −1 2
La décomposition de A sous la forme A = D − E − F décrite ci-dessus

s'écrit alors
2 −1 1 2 0 0 0 0 0 0 1 −1
       
A= 2 2 2 = 0 2 0  −  −2 0 0 − 0 0 −2 

−1 −1 2 0 0 2 1 1 0 0 0 0
| {z } | {z } | {z } | {z }
A D E F

82
Exemple
Considérons la matrice
2 −1 1
 
A= 2 2 2  (3)
−1 −1 2
La décomposition de A sous la forme A = D − E − F décrite ci-dessus

s'écrit alors
2 −1 1 2 0 0 0 0 0 0 1 −1
       
A= 2 2 2 = 0 2 0  −  −2 0 0 − 0 0 −2 

−1 −1 2 0 0 2 1 1 0 0 0 0
| {z } | {z } | {z } | {z }
A D E F

82
→ La méthode de JACOBI
La méthode de Jacobi correspond à la décomposition

M=D (diagonale) et N = E + F .
L'algorithme s'écrit alors
x0 donné

Dx (k+1) = (E + F )x (k) + b.
(4)
On suppose que D est inversible, c'est-à-dire aii 6= 0, 1 ≤ i ≤ n.

La matrice J = D −1 (E + F ) = In − D −1 A est appelée la matrice de Jacobi
de (4).
On peut donc décrire la méthode de Jacobi par l'expression suivante,
x (k+1) = D −1 (E + F )x (k) + D −1 b. (5)

83

x0 donné

Dx (k+1) = (E + F )x (k) + b.
(4)

de (4).
x (k+1) = D −1 (E + F )x (k) + D −1 b. (5)

83

x0 donné

Dx (k+1) = (E + F )x (k) + b.
(4)

de (4).
x (k+1) = D −1 (E + F )x (k) + D −1 b. (5)

83
Si on explicite (5), cela donne

(k+1)
X −aij bi
xi =
(k)
xj + . (6)
aii aii
i6=j
Dans (6) on voit que, pour calculer x (k+1) , on se sert uniquement des
valeurs x (k) calculées à l'itération précédente. Par exemple, pour calculer
(k+1)
xj , on utilise x1(k) , ..., xn(k) . Cependant, si on suppose que le processus
est convergent, lorsque l'on calcule xj(k) , on a déjà à sa disposition des
valeurs approchées plus précises de x̄1 , ..., x̄j−1 , à savoir x1(k) , ..., xj−
(k)
1.
L'idée de la méthode de Gauss-Seidel est donc d'utiliser à l'itération k
toutes les nouvelles valeurs qui ont déjà été calculées à l'itération k .

84
Si on explicite (5), cela donne

(k+1)
X −aij bi
xi =
(k)
xj + . (6)
aii aii
i6=j
Dans (6) on voit que, pour calculer x (k+1) , on se sert uniquement des
valeurs x (k) calculées à l'itération précédente. Par exemple, pour calculer
(k+1)
xj , on utilise x1(k) , ..., xn(k) . Cependant, si on suppose que le processus
est convergent, lorsque l'on calcule xj(k) , on a déjà à sa disposition des
valeurs approchées plus précises de x̄1 , ..., x̄j−1 , à savoir x1(k) , ..., xj−
(k)
1.
L'idée de la méthode de Gauss-Seidel est donc d'utiliser à l'itération k
toutes les nouvelles valeurs qui ont déjà été calculées à l'itération k .

84
→ La méthode de Gauss-Seidel
La méthode de Gauss-Seidel correspond à la décomposition
M =D −E (triangulaire inférieure) et N = F .
x0 donné

(D − E )xk+1 = Fxk + b.
(7)
On suppose que aii 6= 0, 1 ≤ i ≤ n, alors la matrice L1 = (D − E )−1 F est la matrice de
Gauss-Seidel. Autrement dit, pour k ≥ 1 on calcule les composantes de l'itérée x (k+1) à partir
des itérées de x (k)
i−1
 
(k+1) 1  X (k+1)
n
X (k)
xi = − (aij xj )− (aij xj ) + bi  .
aii j=1 j=i+1
la mise en oeuvre de l'algorithme de Gauss-Seidel est en réalité plus simple. A chaque itération,
il n'est, en eet, pas nécessaire de sauvegarder les itérées précédents. Chaque nouvelle valeur
calculée est automatiquement réutilisée pour les calculs suivants.
85
x0 donné

(D − E )xk+1 = Fxk + b.
(7)
i−1
 
(k+1) 1  X (k+1)
n
X (k)
xi = − (aij xj )− (aij xj ) + bi  .
aii j=1 j=i+1
85
x0 donné

(D − E )xk+1 = Fxk + b.
(7)
i−1
 
(k+1) 1  X (k+1)
n
X (k)
xi = − (aij xj )− (aij xj ) + bi  .
aii j=1 j=i+1
85
x0 donné

(D − E )xk+1 = Fxk + b.
(7)
i−1
 
(k+1) 1  X (k+1)
n
X (k)
xi = − (aij xj )− (aij xj ) + bi  .
aii j=1 j=i+1
85
x0 donné

(D − E )xk+1 = Fxk + b.
(7)
i−1
 
(k+1) 1  X (k+1)
n
X (k)
xi = − (aij xj )− (aij xj ) + bi  .
aii j=1 j=i+1
85
x0 donné

(D − E )xk+1 = Fxk + b.
(7)
i−1
 
(k+1) 1  X (k+1)
n
X (k)
xi = − (aij xj )− (aij xj ) + bi  .
aii j=1 j=i+1
85
→ La méthode de relaxation
On peut, dans certains cas, améliorer la convergence de l'algorithme de Gauss-Seidel en
introduisant un paramètre que l'on pourra modier en fonction de la matrice A de départ. Pour
ce faire, on introduit un facteur 0 < ω < 2. La méthode de relaxation est une méthode entre la
méthode de Jacobi et celle de Gauss-Seidel et correspond à la décomposition suivante, Pour
ω 6= 0, en posant
1 1−ω

M= D − E, N= D + F,
ω ω
la matrice de la méthode est
−1
1 1

Lω = D −E F+ −1 D .
ω ω

donné

x0
1 D − E x 1 (8)
k+1 = F + ω − 1 D xk + b.

ω
Il faut encore résoudre à chaque étape un système triangulaire inférieur où la matrice Lω n'est
pas plus compliquée que L1 . Si
ω = 1, on retrouve la méthode de Gauss-Seidel.
ω > 1, la méthode est dite de sur -relaxation.
ω < 1, la méthode est dite de sous -relaxation.
86
ω 6= 0, en posant
1 1−ω

M= D − E, N= D + F,
ω ω
−1
1 1

Lω = D −E F+ −1 D .
ω ω

donné

x0
1 D − E x 1 (8)
k+1 = F + ω − 1 D xk + b.

ω
86
ω 6= 0, en posant
1 1−ω

M= D − E, N= D + F,
ω ω
−1
1 1

Lω = D −E F+ −1 D .
ω ω

donné

x0
1 D − E x 1 (8)
k+1 = F + ω − 1 D xk + b.

ω
86
ω 6= 0, en posant
1 1−ω

M= D − E, N= D + F,
ω ω
−1
1 1

Lω = D −E F+ −1 D .
ω ω

donné

x0
1 D − E x 1 (8)
k+1 = F + ω − 1 D xk + b.

ω
86
ω 6= 0, en posant
1 1−ω

M= D − E, N= D + F,
ω ω
−1
1 1

Lω = D −E F+ −1 D .
ω ω

donné

x0
1 D − E x 1 (8)
k+1 = F + ω − 1 D xk + b.

ω
86
ω 6= 0, en posant
1 1−ω

M= D − E, N= D + F,
ω ω
−1
1 1

Lω = D −E F+ −1 D .
ω ω

donné

x0
1 D − E x 1 (8)
k+1 = F + ω − 1 D xk + b.

ω
86
ω 6= 0, en posant
1 1−ω

M= D − E, N= D + F,
ω ω
−1
1 1

Lω = D −E F+ −1 D .
ω ω

donné

x0
1 D − E x 1 (8)
k+1 = F + ω − 1 D xk + b.

ω
86
→ Résultat général
Theorème
Soit A une matrice symétrique dénie positive. On suppose que
A = M − N, avec M inversible.
Si la matrice symétrique M t + N est dénie positive alors ρ(M −1 N) < 1.

87
Theorème

87
Theorème

87
Démonstration.
Mt + N est symétrique :
M t + N = At + N t + N = A + N t + N = M + N t .
Comme A est symétrique dénie positive, l'application

1
v ∈ Rn , kv k = hv , Av i 2
dénit une norme sur Rn . On considère alors la norme matricielle k · k induite par cette
norme vectorielle
kM −1 Nk = kI − M −1 Ak = sup kv − M −1 Av k.
kv k=1
Soit v un vecteur tel que kv k = 1. On pose w = M −1 Av ,
kv − w k2 = (v − w )t A(v − w ) = 1 − w t M t w − w t Mw + w t Aw
= 1 − w t (M t + M − A)w
= 1 − w t (M t + N)w
v 6= 0 =⇒ w = M −1 Av 6= 0 =⇒ w t (M t + N)w > 0 Donc si la matrice symétrique

M t + N est dénie positive, on a
kv − w k2 = 1 − w t (M t + N)w < 1,
1
et donc ρ(M N) < 1.
−

88
Démonstration.
Mt + N est symétrique :
M t + N = At + N t + N = A + N t + N = M + N t .
Comme A est symétrique dénie positive, l'application

1
v ∈ Rn , kv k = hv , Av i 2
dénit une norme sur Rn . On considère alors la norme matricielle k · k induite par cette
norme vectorielle
kM −1 Nk = kI − M −1 Ak = sup kv − M −1 Av k.
kv k=1
Soit v un vecteur tel que kv k = 1. On pose w = M −1 Av ,
kv − w k2 = (v − w )t A(v − w ) = 1 − w t M t w − w t Mw + w t Aw
= 1 − w t (M t + M − A)w
= 1 − w t (M t + N)w
v 6= 0 =⇒ w = M −1 Av 6= 0 =⇒ w t (M t + N)w > 0 Donc si la matrice symétrique

M t + N est dénie positive, on a
kv − w k2 = 1 − w t (M t + N)w < 1,
1
et donc ρ(M N) < 1.
−

88
Proposition
On considère le système Ax = b. Si A est à diagonale strictement
dominante, c'est-à-dire si X
|aij | < |aii |
i6=j
pour tout i = 1, ..., n, alors la méthode de Jacobi converge pour tout point
de départ x (0) .
On peut montrer que cette condition sut également pour assurer la

convergence de l'algorithme de Gauss-Seidel.

89
Proposition
On considère le système Ax = b. Si A est à diagonale strictement
dominante, c'est-à-dire si X
|aij | < |aii |
i6=j
pour tout i = 1, ..., n, alors la méthode de Jacobi converge pour tout point
de départ x (0) .
On peut montrer que cette condition sut également pour assurer la

convergence de l'algorithme de Gauss-Seidel.

89
→ Convergence des méthodes de Gauss-Seidel et relaxation

Nous allons utiliser le résultat qui précède pour donner un critère de convergence
pour la méthode de relaxation.
Theorème
Soit A une matrice symétrique dénie positive.
0 < ω < 2 =⇒ La méthode de relaxation converge.
Démonstration.
On applique le résultat précédent.

On a A = M − N avec M = ω1 D − E et N = N = 1−ω D + F .
ω
1 1−ω

Mt + N = D − Et + D + Ft
ω ω
1 1−ω

= D+ D
ω ω
2−ω

= D
ω
0 < ω < 2 =⇒ 2−ω > 0. =⇒ 2−ω D est dénie positive. Donc d'après le théorème (18) on

ω ω
a la convergence.
90

Theorème
Démonstration.

ω
1 1−ω

Mt + N = D − Et + D + Ft
ω ω
1 1−ω

= D+ D
ω ω
2−ω

= D
ω

ω ω
a la convergence.
90

Theorème
Démonstration.

ω
1 1−ω

Mt + N = D − Et + D + Ft
ω ω
1 1−ω

= D+ D
ω ω
2−ω

= D
ω

ω ω
a la convergence.
90
Le résultat ci-dessus est une condition susante de convergence. En fait

c'est aussi une condition nécessaire comme le montre le résultat suivant :
Proposition
Soit A une matrice, alors pour tout ω 6= 0, ρ(Lω ) ≥ |ω − 1|.
Démonstration.
Soient (λi )i les valeurs propres de Lω . Alors,
det 1−ω
n
D + F
1 D − E = (1 − ω) .
Y
ω n
λi = det(Lω ) =
i=1
det ω
1
n n
=⇒ ρ(Lω ) ≥ λi = |1 − ω|.
Y

i=1


91

Proposition
Démonstration.
det 1−ω
n
D + F
1 D − E = (1 − ω) .
Y
ω n
λi = det(Lω ) =
i=1
det ω
1
n n
=⇒ ρ(Lω ) ≥ λi = |1 − ω|.
Y

i=1


91

Proposition
Démonstration.
det 1−ω
n
D + F
1 D − E = (1 − ω) .
Y
ω n
λi = det(Lω ) =
i=1
det ω
1
n n
=⇒ ρ(Lω ) ≥ λi = |1 − ω|.
Y

i=1


91
Corollaire
Si A est une matrice symétrique dénie positive, alors
0 < ω < 2 ⇐⇒ La méthode de relaxation converge.
Nous terminons cette section par un théorème de comparaison des

méthodes de Jacobi et de Gauss-Seidel dans un cas particulier. Nous
admettrons ce résultat.
Theorème
Soit A une matrice tridiagonale par blocs. Alors
ρ(L1 ) = ρ(J)2 .
Les deux méthodes convergent ou divergent donc simultanément. La

méthode de Gauss-Seidel va plus vite que la méthode de Jacobi.

92
Corollaire

Theorème
ρ(L1 ) = ρ(J)2 .


92
Corollaire

Theorème
ρ(L1 ) = ρ(J)2 .


92

An CH I&ii

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

An CH I&ii

Transféré par

Droits d'auteur :

Formats disponibles

National School of Applied Sciences - Fès

Department of Electrical and Computer Engineering

M02: Numerical Analysis

Université Sidi Mohamed Ben Abdellah, Fès

Chap. I : What is Numerical Analysis ?

Safae ELHAJ-BEN-ALI Cours

1 Généralités sur l'Analyse Numérique

2 Méthodes de résolution des systèmes Ax = b

Safae ELHAJ-BEN-ALI Cours

Qu'est ce que l'analyse numérique ?

Safae ELHAJ-BEN-ALI Cours

L'analyse numérique est une branche des mathématiques appliquées née

Discipline à l'interface des mathématiques et de l'informatique

L'analyse numérique est une branche des mathématiques appliquées née

Discipline à l'interface des mathématiques et de l'informatique

Il est impossible de donner une valeur exacte à I , dans ce cas, on peut

Safae ELHAJ-BEN-ALI Cours

L'analyse numérique =⇒ Résultat approché

Conséquence : L'analyse numérique permet d'évaluer et de développer les

L'analyse numérique =⇒ Traitement de l'information

Safae ELHAJ-BEN-ALI Cours

L'analyse numérique =⇒ Résultat approché

Conséquence : L'analyse numérique permet d'évaluer et de développer les

L'analyse numérique =⇒ Traitement de l'information

Safae ELHAJ-BEN-ALI Cours

L'analyse numérique =⇒ Résultat approché

Conséquence : L'analyse numérique permet d'évaluer et de développer les

L'analyse numérique =⇒ Traitement de l'information

Safae ELHAJ-BEN-ALI Cours

Analyse numérique et ordinateur

Safae ELHAJ-BEN-ALI Cours

Depuis la deuxième guerre mondiale, les applications des mathématiques

Safae ELHAJ-BEN-ALI Cours

Depuis la deuxième guerre mondiale, les applications des mathématiques

Safae ELHAJ-BEN-ALI Cours

Pour résoudre Ax = b on procède par l'organigramme suivant

Safae ELHAJ-BEN-ALI Cours

Pour résoudre Ax = b on procède par l'organigramme suivant

Safae ELHAJ-BEN-ALI Cours

Safae ELHAJ-BEN-ALI Cours

• Dicultés liées à l'ordinateur

Safae ELHAJ-BEN-ALI Cours

• Dicultés liées à l'ordinateur

Safae ELHAJ-BEN-ALI Cours

Les opérations algébrique sur ordinateur sont des approximations des

Safae ELHAJ-BEN-ALI Cours

Les opérations algébrique sur ordinateur sont des approximations des

Safae ELHAJ-BEN-ALI Cours

Les opérations algébrique sur ordinateur sont des approximations des

Safae ELHAJ-BEN-ALI Cours

Les opérations algébrique sur ordinateur sont des approximations des

Safae ELHAJ-BEN-ALI Cours

Les opérations algébrique sur ordinateur sont des approximations des

Safae ELHAJ-BEN-ALI Cours

Les opérations algébrique sur ordinateur sont des approximations des

Safae ELHAJ-BEN-ALI Cours

Les erreurs commises dans les problèmes mathématiques peuvent être en

Les erreurs commises dans les problèmes mathématiques peuvent être en

Les erreurs commises dans les problèmes mathématiques peuvent être en

Les erreurs commises dans les problèmes mathématiques peuvent être en

Les erreurs commises dans les problèmes mathématiques peuvent être en

Erreur d'entrée + Erreur d'algorithme =⇒ Erreur de sortie

Safae ELHAJ-BEN-ALI Cours

• Dicultés liées à l'ordinateur

• Dicultés liées à l'ordinateur

Donc une petite perturbation sur les coecients de la matrice ou sur le