Académique Documents
Professionnel Documents
Culture Documents
Numérique
Hicham EL
BOUJAOUI
Introduction
Systèmes
Chapitre 2
triangulaires
La méthode de
Méthodes directes
Gauss
La méthode de
décomposition
LU
Hicham EL BOUJAOUI
La méthode de
Cholesky
Université Ibn Zohr
ENSA, 2ème Année.
Année 2020-2021
Plan
Analyse
Numérique
Hicham EL
BOUJAOUI
1 Introduction
Introduction
Systèmes
triangulaires
2 Systèmes triangulaires
Opérations sur
les systèmes
linéaires
La méthode de
décomposition
LU
4 La méthode de Gauss
La méthode de
Cholesky
5 La méthode de décomposition LU
6 La méthode de Cholesky
1) Introduction
Analyse
Numérique
Hicham EL
BOUJAOUI
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse
Numérique
Méthode de Cramer : Si detA 6= 0 alors la solution du système
Hicham EL
BOUJAOUI (S) est donnée par la formule
Introduction
detAi
Systèmes xi = , 1≤i ≤n
triangulaires
detA
Opérations sur
les systèmes
linéaires avec Ai est la matrice A où la ième colonne est remplacée par b.
La méthode de
Gauss
Complexité : Le nombre d’opérations nécessaire pour calculer la
La méthode de
décomposition solution du système (S) par la Méthode de Cramer est :
LU
La méthode de
Cholesky
- (n + 1) déterminants à calculer avec n.n! − 1 opérations pour
calculer chaque déterminant.
- n division.
Hicham EL
BOUJAOUI
Introduction
Opérations sur
pour calculer x est presque 9 × 1027 .
les systèmes
linéaires
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse
Numérique
Hicham EL
BOUJAOUI
Introduction
Opérations sur
pour calculer x est presque 9 × 1027 .
les systèmes
linéaires
Avec un ordinateur de 1G de la ram qui effectue 109 opérations
La méthode de
Gauss par second, il fallait plus de 300 milliards d’années pour résoudre
La méthode de
décomposition
un système linéaire de taille 25 × 25.
LU
Hicham EL
BOUJAOUI
La méthode de
detA
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse
Numérique
Hicham EL
BOUJAOUI
La méthode de
detA
Gauss
La méthode de
décomposition Le nombre d’opérations nécessaire pour calculer A−1 est de
LU
La méthode de
l’ordre de n.n!.
Cholesky
Hicham EL
BOUJAOUI
Introduction
Dans ce chapitre, nous nous sommes intéressés à la résolution
Systèmes
du système (S) par les méthodes directes qui permettent de
triangulaires résoudre le système d’une manière exacte en un nombre fini
Opérations sur
les systèmes d’opérations.
linéaires
La méthode de
Gauss
Nous étudierons les méthodes suivantes :
La méthode de
décomposition
LU
Méthode de Gauss.
La méthode de
Cholesky
Méthode de décomposition LU.
Méthode de Cholesky.
2) Systèmes triangulaires
Analyse
Numérique
Considérons le système suivant :
Hicham EL
BOUJAOUI
a1,1 x1 + a1,2 x2 + ... + a1,n xn = b1
a2,2 x2 + ... + a2,n xn = b2
Introduction
. . . .
Systèmes
triangulaires (TS)
. . .
Opérations sur
. .
les systèmes
linéaires
an,n xn = bn
La méthode de
Gauss
Hicham EL
BOUJAOUI
Introduction
Systèmes
triangulaires Exemple
Opérations sur
les systèmes
linéaires
4x1 + 2x2 + 3x3 + 0x4 = 9
2x2 + x3 + 5x4 = 8
La méthode de
Gauss
9x3 − x4 = 8
La méthode de
x4 = 1
décomposition
LU
La méthode de
Cholesky
On trouve : x1 = x2 = x3 = x4 = 1
3) Opérations sur les systèmes linéaires
Analyse
Numérique
Hicham EL
On ne change pas la solution d’un système linéaire lorsque :
BOUJAOUI
Opérations sur
On permute deux colonnes : Ci ↔ Cj
les systèmes
linéaires
La méthode de
On multiplie une ligne par une constante non nulle : Li ← λLi
Gauss
La méthode de
décomposition On ajoute à une ligne un multiple d’une autre ligne :
LU
Li ← Li + λLj
La méthode de
Cholesky
Exemple
3x1 + x2 + 2x3 = 6 1
6x1 + 4x2 + x3 = 11 ⇒ x = 1
5x1 + 4x2 + x3 = 10 1
Analyse
Numérique
Hicham EL Permutons L2 et L3 :
BOUJAOUI
Introduction 3x1 + x2 + 2x3 = 6 1
Systèmes 5x1 + 4x2 + x3 = 10 ⇒ x = 1
triangulaires
6x1 + 4x2 + x3 = 11 1
Opérations sur
les systèmes
linéaires Multiplions la ligne L2 par 3 :
La méthode de
Gauss
La méthode de
3x1 + x2 + 2x3 = 6 1
décomposition
LU
18x1 + 12x2 + 3x3 = 33 ⇒ x = 1
5x1 + 4x2 + x3 = 10 1
La méthode de
Cholesky
Remplaçons la ligne L2 par L2 − 2L1 :
3x1 + x2 + 2x3 = 6 1
2x2 − 3x3 = −1 ⇒x = 1
5x1 + 4x2 + x3 = 10 1
4) La méthode de Gauss
Analyse
Numérique
La méthode de Gauss est la méthode de base la plus utilisée
Hicham EL pour résoudre les systèmes linéaires. Cette méthode consiste à
BOUJAOUI
transformer le système linéaire sous forme d’un système
Introduction triangulaire supérieure qu’on peut résoudre facilement en un
Systèmes
triangulaires
nombre fini d’opérations.
Opérations sur
les systèmes
linéaires
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
4) La méthode de Gauss
Analyse
Numérique
La méthode de Gauss est la méthode de base la plus utilisée
Hicham EL pour résoudre les systèmes linéaires. Cette méthode consiste à
BOUJAOUI
transformer le système linéaire sous forme d’un système
Introduction triangulaire supérieure qu’on peut résoudre facilement en un
Systèmes
triangulaires
nombre fini d’opérations.
Opérations sur Pour transformer le système sous forme d’un système
les systèmes
linéaires triangulaire, il suffit d’appliquer les opérations sur les systèmes
La méthode de vues dans le paragraphe précédent afin d’éliminer les inconnues
Gauss
d’une façon systématique jusqu’à l’obtention d’un système
La méthode de
décomposition triangulaire.
LU
La méthode de
Cholesky
4) La méthode de Gauss
Analyse
Numérique
La méthode de Gauss est la méthode de base la plus utilisée
Hicham EL pour résoudre les systèmes linéaires. Cette méthode consiste à
BOUJAOUI
transformer le système linéaire sous forme d’un système
Introduction triangulaire supérieure qu’on peut résoudre facilement en un
Systèmes
triangulaires
nombre fini d’opérations.
Opérations sur Pour transformer le système sous forme d’un système
les systèmes
linéaires triangulaire, il suffit d’appliquer les opérations sur les systèmes
La méthode de vues dans le paragraphe précédent afin d’éliminer les inconnues
Gauss
d’une façon systématique jusqu’à l’obtention d’un système
La méthode de
décomposition triangulaire.
LU
La méthode de
Considérons le système suivant :
Cholesky
a1,1 x1 + a1,2 x2 + ... + a1,n xn = b1
a2,1 x1 + a2,2 x2 + ... + a2,n xn = b2
(S1) ...
...
an,1 x1 + an,2 x2 + ... + an,n xn = bn
Hicham EL
éliminer x1 des lignes L2 jusqu’à Ln par la formule suivante :
BOUJAOUI
ai,1
Introduction Li ← Li − L1 avec i ∈ {2, 3, ..., n}
a1,1
Systèmes
triangulaires
Opérations sur
les systèmes
linéaires
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse Si a1,1 6= 0 ( dans ce cas a1,1 est appelé le pivot) alors on peut
Numérique
Hicham EL
éliminer x1 des lignes L2 jusqu’à Ln par la formule suivante :
BOUJAOUI
ai,1
Introduction Li ← Li − L1 avec i ∈ {2, 3, ..., n}
a1,1
Systèmes
triangulaires
Opérations sur
Ainsi, on obtient le système suivant :
les systèmes
linéaires
La méthode de
a1,1 x1 + a1,2 x2 + ... + a1,n xn = b1
(2) (2) (2)
Gauss
a2,2 x2 + ... + a2,n xn = b2
La méthode de
décomposition (S2) ...
LU
...
La méthode de (2) (2) (2)
Cholesky
an,2 x2 + ... + an,n xn = bn
avec :
(2) ai,1
ai,j = ai,j −
a1,j , i, j ∈ {2, 3, ..., n}
a1,1
(2) ai,1
bi = bi −
b1 , i ∈ {2, 3, ..., n}
a1,1
Analyse
Numérique (2)
Si a2,2 6= 0 alors on peut éliminer x2 des lignes L3 jusqu’à Ln d’une
Hicham EL
BOUJAOUI façon similaire en remplaçons la ligne Li du système (S2) par :
Introduction
(2)
Systèmes ai,2
triangulaires Li ← Li − (2)
L2 avec i ∈ {3, ..., n}
Opérations sur a2,2
les systèmes
linéaires
La méthode de
donnés par :
décomposition
LU
(2)
La méthode de
(3) (2) ai,2 (2)
ai,j = ai,j − (2) a2,j , i, j ∈ {3, ..., n}
Cholesky
a
2,2
(2)
(3) (2) ai,2 (2)
bi = bi − (2) b2 , i ∈ {3, ..., n}
a2,2
Analyse
Numérique
Hicham EL
BOUJAOUI
On poursuit l’élimination jusqu’à l’obtention du système
triangulaire suivant :
Introduction
Systèmes
(1) (1) (1) (1)
triangulaires
a1,1 x1 + a1,2 x2 + ... + a1,n xn = b1
(2) (2) (2)
Opérations sur
a2,2 x2 + ... + a2,n xn = b2
les systèmes
linéaires
La méthode de (Sn−1 ) . . . .
Gauss
. . .
La méthode de
décomposition
. .
(n) (n)
LU
an,n xn = bn
La méthode de
Cholesky
(1) (1) (1)
avec a1,1 = a1,1 , ..., a1,n = a1,n , b1 = b1 .
(1) (2)
Si l’un des pivots a1,1 , a2,2 , ... est nul, on permute sa ligne avec
une autre ligne dont le pivot est non nul.
Analyse
Numérique
Hicham EL Exemple
BOUJAOUI
x1 + x2 − 3x3 − 4x4 = −1
Introduction
2x1 + 2x2 + 2x3 − 3x4 =2
Systèmes
triangulaires
3x1 + 6x2 − 2x3 + x4 =8
Opérations sur
2x1 + x2 + 5x3 + x4 =5
les systèmes
linéaires
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse
Numérique
Hicham EL Exemple
BOUJAOUI
x1 + x2 − 3x3 − 4x4 = −1
Introduction
2x1 + 2x2 + 2x3 − 3x4 =2
Systèmes
triangulaires
3x1 + 6x2 − 2x3 + x4 =8
Opérations sur
2x1 + x2 + 5x3 + x4 =5
les systèmes
linéaires
La méthode de
Gauss
La méthode de
Complexité : Le nombre d’opérations nécessaire pour résoudre
décomposition
LU
un système linéaire à n équations et n inconnues par la méthode
La méthode de
4n3 + 9n2 − 7n
Cholesky de Gauss est :
6
Analyse
Numérique
Hicham EL Exemple
BOUJAOUI
x1 + x2 − 3x3 − 4x4 = −1
Introduction
2x1 + 2x2 + 2x3 − 3x4 =2
Systèmes
triangulaires
3x1 + 6x2 − 2x3 + x4 =8
Opérations sur
2x1 + x2 + 5x3 + x4 =5
les systèmes
linéaires
La méthode de
Gauss
La méthode de
Complexité : Le nombre d’opérations nécessaire pour résoudre
décomposition
LU
un système linéaire à n équations et n inconnues par la méthode
La méthode de
4n3 + 9n2 − 7n
Cholesky de Gauss est :
6
Pour n = 25, le nombre d’opérations nécessaire pour calculer x
est 11325.
Analyse
Numérique
La méthode de décomposition LU consiste à décomposer la
Hicham EL
BOUJAOUI matrice A sous la forme A = LU où L est une matrice triangulaire
Introduction
inférieure et U une matrice triangulaire supérieure.
Systèmes
triangulaires
Opérations sur
les systèmes
linéaires
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
5) La méthode de décomposition LU
Analyse
Numérique
La méthode de décomposition LU consiste à décomposer la
Hicham EL
BOUJAOUI matrice A sous la forme A = LU où L est une matrice triangulaire
Introduction
inférieure et U une matrice triangulaire supérieure.
Systèmes
triangulaires Dans ce cas, la résolution du système Ax = b se ramène à la
Opérations sur
les systèmes
résolution de deux systèmes triangulaires.
linéaires
La méthode de
décomposition Ax = b ⇔ LUx = b
LU
La méthode de
Cholesky
5) La méthode de décomposition LU
Analyse
Numérique
La méthode de décomposition LU consiste à décomposer la
Hicham EL
BOUJAOUI matrice A sous la forme A = LU où L est une matrice triangulaire
Introduction
inférieure et U une matrice triangulaire supérieure.
Systèmes
triangulaires Dans ce cas, la résolution du système Ax = b se ramène à la
Opérations sur
les systèmes
résolution de deux systèmes triangulaires.
linéaires
La méthode de
décomposition Ax = b ⇔ LUx = b
LU
La méthode de
Cholesky Si on pose y = Ux, alors
Ly = b
Ax = b ⇔
Ux = y
Hicham EL
où la matrice L ait des 1 sur la diagonale. On doit donc avoir :
BOUJAOUI
Introduction
1 0 ... 0 u1,1 u1,2 . . . u1,n
.. .. ..
Systèmes
triangulaires
l2,1 1 . .
0
u2,2 .
A= . .
..
.. .. .. .. ..
0 ..
Opérations sur
les systèmes . . . . .
linéaires
La méthode de
ln,1 . . . ln,n−1 1 0 ... 0 un,n
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse La décomposition LU n’est pas unique. Nous étudierons le choix
Numérique
Hicham EL
où la matrice L ait des 1 sur la diagonale. On doit donc avoir :
BOUJAOUI
Introduction
1 0 ... 0 u1,1 u1,2 . . . u1,n
.. .. ..
Systèmes
triangulaires
l2,1 1 . .
0
u2,2 .
A= . .
..
.. .. .. .. ..
0 ..
Opérations sur
les systèmes . . . . .
linéaires
La méthode de
ln,1 . . . ln,n−1 1 0 ... 0 un,n
Gauss
min(i,j)
La méthode de
X
décomposition Donc ai,j = li,k uk ,j et par suite
LU
k =1
La méthode de
Cholesky
i−1
X
a i,j − li,k uk ,j
k =1
ui,j = , j ≥i
li,i
j−1
X
ai,j − li,k uk ,j
k =1
l =
i,j uj,j , j <i
Analyse
Numérique
Hicham EL
BOUJAOUI Le calcul se fait alternativement entre les lignes de U et les
Introduction
colonnes de L.
Systèmes
triangulaires Exemple
Opérations sur
les systèmes Considérons la matrice
linéaires
La méthode de 2 1 −4
Gauss
La méthode de
A= 3 3 −5
décomposition
LU
4 5 −2
La méthode de
Cholesky
Analyse
Numérique
Hicham EL
BOUJAOUI Le calcul se fait alternativement entre les lignes de U et les
Introduction
colonnes de L.
Systèmes
triangulaires Exemple
Opérations sur
les systèmes Considérons la matrice
linéaires
La méthode de 2 1 −4
Gauss
La méthode de
A= 3 3 −5
décomposition
LU
4 5 −2
La méthode de
Cholesky On trouve
1 0 0 2 1 −4
3 3
A= 2 1 0 0 2 1
2 2 1 0 0 4
Analyse
Numérique
Hicham EL
BOUJAOUI
Utilité :
Introduction
Systèmes
Dans plusieurs situations, il y a plusieurs systèmes à
triangulaires résoudre avec la même matrice A et plusieurs seconds
Opérations sur
les systèmes
membres. Il est donc avantageux de décomposer A une
linéaires
seule fois et ensuite résoudre juste les systèmes
La méthode de
Gauss triangulaires.
La méthode de
décomposition
La décomposition LU permet de calculer l’inverse et le
LU déterminant de A d’une manière très simple :
La méthode de
Cholesky
A−1 = U −1 L−1
detA = det(L).det(U)
6) La méthode de Cholesky
Analyse
Numérique Definition
Hicham EL
BOUJAOUI Soit A ∈ Mn×n (R).
Introduction
A est définie positive si ∀x 6= 0 , x T Ax > 0.
Systèmes
triangulaires
Opérations sur
les systèmes
linéaires
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
6) La méthode de Cholesky
Analyse
Numérique Definition
Hicham EL
BOUJAOUI Soit A ∈ Mn×n (R).
Introduction
A est définie positive si ∀x 6= 0 , x T Ax > 0.
Systèmes
triangulaires
Analyse
Numérique Definition
Hicham EL
BOUJAOUI Soit A ∈ Mn×n (R).
Introduction
A est définie positive si ∀x 6= 0 , x T Ax > 0.
Systèmes
triangulaires
On a
x1
(x1 x2 x3 ) A x2 = x12 +(x1 −x2 )2 +(x2 −x3 )2 +x32 > 0 , ∀x 6= 0.
x3
Hicham EL
BOUJAOUI
Introduction
Proposition
Systèmes
triangulaires
Soit A ∈ Mn×n (R).
Opérations sur
les systèmes
linéaires A est définie positive ⇒ ai,i > 0 , ∀i = 1, ..., n.
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse
Numérique
Hicham EL
BOUJAOUI
Introduction
Proposition
Systèmes
triangulaires
Soit A ∈ Mn×n (R).
Opérations sur
les systèmes
linéaires A est définie positive ⇒ ai,i > 0 , ∀i = 1, ..., n.
La méthode de
Gauss
La méthode de Theorem
décomposition
LU
Soit A ∈ Mn×n (R).
La méthode de
Cholesky
A est symétrique définie positive si et seulement si il existe une
matrice L triangulaire inférieure inversible telle que A = LLT .
Analyse Pour déterminer L, on part de la relation A = LLT . On a
Numérique
Hicham EL
BOUJAOUI l1,1 0 ... 0 l1,1 l2,1 . . . ln,1
. . .. . . ..
Introduction l2,1 l2,2 . . 0 l2,2 . .
A= .
.
Systèmes
.. . .. . .. . .
0 .. .. .. l
triangulaires
n,n−1
Opérations sur
les systèmes ln,1 . . . ln,n−1 ln,n 0 ... 0 ln,n
linéaires
La méthode de
Gauss
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse Pour déterminer L, on part de la relation A = LLT . On a
Numérique
Hicham EL
BOUJAOUI l1,1 0 ... 0 l1,1 l2,1 . . . ln,1
. . .. . . ..
Introduction l2,1 l2,2 . . 0 l2,2 . .
A= .
.
Systèmes
.. . .. . .. . .
0 .. .. .. l
triangulaires
n,n−1
Opérations sur
les systèmes ln,1 . . . ln,n−1 ln,n 0 ... 0 ln,n
linéaires
La méthode de
Gauss On obtient donc :
La méthode de
décomposition
i
X i
X
LU
ai,j = li,k lk ,j = li,k lj,k
La méthode de
Cholesky k =1 k =1
Analyse Pour déterminer L, on part de la relation A = LLT . On a
Numérique
Hicham EL
BOUJAOUI l1,1 0 ... 0 l1,1 l2,1 . . . ln,1
. . .. . . ..
Introduction l2,1 l2,2 . . 0 l2,2 . .
A= .
.
Systèmes
.. . .. . .. . .
0 .. .. .. l
triangulaires
n,n−1
Opérations sur
les systèmes ln,1 . . . ln,n−1 ln,n 0 ... 0 ln,n
linéaires
La méthode de
Gauss On obtient donc :
La méthode de
décomposition
i
X i
X
LU
ai,j = li,k lk ,j = li,k lj,k
La méthode de
Cholesky k =1 k =1
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse
Numérique Pour les lignes i = 2, ..., n, on a :
Hicham EL
BOUJAOUI
i−1
X
2 2
Introduction
a
i,i
= li,k + li,i
Systèmes
triangulaires
k =1
i−1
X
Opérations sur
a = li,k lj,k + li,i lj,i
les systèmes
linéaires
i,j
k =1
La méthode de
Gauss
Hicham EL
BOUJAOUI
Exemple
Introduction
Considérons la matrice
Systèmes √
triangulaires 2 q0 0
Opérations sur
2 1 0 1 3
0
les systèmes A= 1 2 1 ⇒L= √
linéaires 2 q2
La méthode de 0 1 2 0 2 √2
Gauss 3 3
La méthode de
décomposition
LU
La méthode de
Cholesky
Analyse
Numérique
Hicham EL
BOUJAOUI
Exemple
Introduction
Considérons la matrice
Systèmes √
triangulaires 2 q0 0
Opérations sur
2 1 0 1 3
0
les systèmes A= 1 2 1 ⇒L= √
linéaires 2 q2
La méthode de 0 1 2 0 2 √2
Gauss 3 3
La méthode de
décomposition
LU
Remarque
La méthode de
Cholesky
Si la matrice A est symétrique définie positive, il est intérssant
d’utiliser la méthode de Cholesky qui demande une place
mémoire 2 fois inférieure à celle de la méthode LU car on ne doit
stocker que la matrice L. D’autre part sa complexité est 2 fois
inférieure puisque on doit calculer une seule matrice.