Vous êtes sur la page 1sur 99

Méthodes itératives pour la résolution de

systèmes linéaires

Polytech’Paris-UPMC

- p. 1/32
Pourquoi utiliser les méthodes itératives

On cherche à résoudre une équation de la forme :


Ax = b
Les méthodes directes fournissent la solution x̄ en un nombre fini
d’opérations.
Mais :

- p. 2/32
Pourquoi utiliser les méthodes itératives

On cherche à résoudre une équation de la forme :


Ax = b
Les méthodes directes fournissent la solution x̄ en un nombre fini
d’opérations.
Mais :
Si la taille du système est élevée, le nombre d’opérations est important,
or les erreurs de calcul dépendent directement du
nombre de calculs.

- p. 2/32
Pourquoi utiliser les méthodes itératives

On cherche à résoudre une équation de la forme :


Ax = b
Les méthodes directes fournissent la solution x̄ en un nombre fini
d’opérations.
Mais :
Si la taille du système est élevée, le nombre d’opérations est important,
or les erreurs de calcul dépendent directement du
nombre de calculs.

Elles utilisent des propriétés mathématiques nécessitant un calcul exact,


il est difficile de tenir compte des erreurs de calcul
dans ce processus

- p. 2/32
Pourquoi utiliser les méthodes itératives

On cherche à résoudre une équation de la forme :


Ax = b
Les méthodes directes fournissent la solution x̄ en un nombre fini
d’opérations.
Mais :
Si la taille du système est élevée, le nombre d’opérations est important,
or les erreurs de calcul dépendent directement du
nombre de calculs.

Elles utilisent des propriétés mathématiques nécessitant un calcul exact,


il est difficile de tenir compte des erreurs de calcul
dans ce processus
Donc le résultat n’est jamais rigoureusement égal à x̄.
Il peut même en être très différent.

- p. 2/32
Méthodes itératives

Les fonctions linéaires ont de bonnes propriétés : Pourquoi utiliser les méthodes
itératives
Méthodes itératives

ce sont des fonctions très régulières (C ) Principe Général
Posons le problème
Intuitivement

elles sont linéaires Un peu d’algèbre linéaire


L’utilisation de la formule de TAYLOR dans l’algo-
Méthode de J ACOBI
rithme de N EWTON sert justement à « linéariser »
Algorithme de G AUSS -S EIDEL
une fonction non linéaire

- p. 3/32
Méthodes itératives

Les fonctions linéaires ont de bonnes propriétés : Pourquoi utiliser les méthodes
itératives
Méthodes itératives

ce sont des fonctions très régulières (C ) Principe Général
Posons le problème
Intuitivement

elles sont linéaires Un peu d’algèbre linéaire


L’utilisation de la formule de TAYLOR dans l’algo-
Méthode de J ACOBI
rithme de N EWTON sert justement à « linéariser »
Algorithme de G AUSS -S EIDEL
une fonction non linéaire
Mais on ne peut pas utiliser l’algorithme de N EWTON.

- p. 3/32
Méthodes itératives

Les fonctions linéaires ont de bonnes propriétés : Pourquoi utiliser les méthodes
itératives
Méthodes itératives

ce sont des fonctions très régulières (C ) Principe Général
Posons le problème
Intuitivement

elles sont linéaires Un peu d’algèbre linéaire


L’utilisation de la formule de TAYLOR dans l’algo-
Méthode de J ACOBI
rithme de N EWTON sert justement à « linéariser »
Algorithme de G AUSS -S EIDEL
une fonction non linéaire
Mais on ne peut pas utiliser l’algorithme de N EWTON.
On construit une suite de vecteurs (xk ) k = 0, 1, ... qui tend
vers x̄.

- p. 3/32
Méthodes itératives

Les fonctions linéaires ont de bonnes propriétés : Pourquoi utiliser les méthodes
itératives
Méthodes itératives

ce sont des fonctions très régulières (C ) Principe Général
Posons le problème
Intuitivement

elles sont linéaires Un peu d’algèbre linéaire


L’utilisation de la formule de TAYLOR dans l’algo-
Méthode de J ACOBI
rithme de N EWTON sert justement à « linéariser »
Algorithme de G AUSS -S EIDEL
une fonction non linéaire
Mais on ne peut pas utiliser l’algorithme de N EWTON.
On construit une suite de vecteurs (xk ) k = 0, 1, ... qui tend
vers x̄.

Le point de départ est une approximation x0 de x̄ obtenue par


exemple par une méthode directe.

- p. 3/32
Méthodes itératives

Les fonctions linéaires ont de bonnes propriétés : Pourquoi utiliser les méthodes
itératives
Méthodes itératives

ce sont des fonctions très régulières (C ) Principe Général
Posons le problème
Intuitivement

elles sont linéaires Un peu d’algèbre linéaire


L’utilisation de la formule de TAYLOR dans l’algo-
Méthode de J ACOBI
rithme de N EWTON sert justement à « linéariser »
Algorithme de G AUSS -S EIDEL
une fonction non linéaire
Mais on ne peut pas utiliser l’algorithme de N EWTON.
On construit une suite de vecteurs (xk ) k = 0, 1, ... qui tend
vers x̄.

Le point de départ est une approximation x0 de x̄ obtenue par


exemple par une méthode directe.

Pour construire cette suite, on utilise la linéarité pour


décomposer la matrice A en une partie facilement inversible et
un reste.

- p. 3/32
Principe Général

On décompose la matrice A : A = M − N , Pourquoi utiliser les méthodes


itératives

de telle façon que M soit facilement inversible. Méthodes itératives


Principe Général
Posons le problème
Alors, Intuitivement

Un peu d’algèbre linéaire


Ax = b ⇔ Mx = Nx + b Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

On calcule la suite de vecteurs (xi ) à partir d’un vecteur x0 choisi


arbitrairement et de la relation :
M xk+1 = N xk + b ⇔ xk+1 = M −1 N xk + M −1 b

C’est à dire :
(
x0 donné
xk+1 = M −1 N xk + M −1 b

- p. 4/32
Posons le problème

Posons C = M −1 N , et d = M −1 b. Nous devons donc étudier la Pourquoi utiliser les méthodes


itératives

suite récurrente : (
Méthodes itératives
Principe Général

x0 donné Posons le problème


Intuitivement

xk+1 = Cxk + d Un peu d’algèbre linéaire

Méthode de J ACOBI
Avec :
Algorithme de G AUSS -S EIDEL
x̄ est point fixe de la fonction linéaire
x 7→ Cx + d
cette fonction est C ∞
il faut démontrer que c’est une fonction contractante.

- p. 5/32
Intuitivement

Pourquoi utiliser les méthodes

Sous quelles conditions la suite va-t-elle converger ? itératives


Méthodes itératives
Principe Général

Cela dépend-il de C ou d ? Posons le problème


Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 6/32
Pourquoi utiliser les méthodes
itératives
Méthodes itératives
Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

Un peu d’algèbre linéaire - p. 7/32


Normes matricielles

On appel norme matricielle une norme définie sur Mn (C) qui est Pourquoi utiliser les méthodes
itératives

compatible avec la multiplication de matrice. Méthodes itératives


Principe Général
C’est à dire : Posons le problème
Intuitivement
k.k : Mn (C) → IR+ Un peu d’algèbre linéaire

A 7→ kAk Normes matricielles


Exemple de normes
Exemple de norme induite
telle que Norme matricielle et norme
vectorielle
Rayon spectral
∀A, B ∈ Mn (C) et ∀λ ∈ C : Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 8/32
Normes matricielles

On appel norme matricielle une norme définie sur Mn (C) qui est Pourquoi utiliser les méthodes
itératives

compatible avec la multiplication de matrice. Méthodes itératives


Principe Général
C’est à dire : Posons le problème
Intuitivement
k.k : Mn (C) → IR+ Un peu d’algèbre linéaire

A 7→ kAk Normes matricielles


Exemple de normes
Exemple de norme induite
telle que Norme matricielle et norme
vectorielle
Rayon spectral
∀A, B ∈ Mn (C) et ∀λ ∈ C : Convergence
Preuve - 1
Preuve - 2
Séparation : kAk = 0 ⇔ A = (0), Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 8/32
Normes matricielles

On appel norme matricielle une norme définie sur Mn (C) qui est Pourquoi utiliser les méthodes
itératives

compatible avec la multiplication de matrice. Méthodes itératives


Principe Général
C’est à dire : Posons le problème
Intuitivement
k.k : Mn (C) → IR+ Un peu d’algèbre linéaire

A 7→ kAk Normes matricielles


Exemple de normes
Exemple de norme induite
telle que Norme matricielle et norme
vectorielle
Rayon spectral
∀A, B ∈ Mn (C) et ∀λ ∈ C : Convergence
Preuve - 1
Preuve - 2
Séparation : kAk = 0 ⇔ A = (0), Autres conditions
Cas d’une matrice symétrique
Conclusion
Homogénéité : kλAk = |λ| · kAk, Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 8/32
Normes matricielles

On appel norme matricielle une norme définie sur Mn (C) qui est Pourquoi utiliser les méthodes
itératives

compatible avec la multiplication de matrice. Méthodes itératives


Principe Général
C’est à dire : Posons le problème
Intuitivement
k.k : Mn (C) → IR+ Un peu d’algèbre linéaire

A 7→ kAk Normes matricielles


Exemple de normes
Exemple de norme induite
telle que Norme matricielle et norme
vectorielle
Rayon spectral
∀A, B ∈ Mn (C) et ∀λ ∈ C : Convergence
Preuve - 1
Preuve - 2
Séparation : kAk = 0 ⇔ A = (0), Autres conditions
Cas d’une matrice symétrique
Conclusion
Homogénéité : kλAk = |λ| · kAk, Méthode de J ACOBI

Inégalité triangulaire : kA + Bk ≤ kAk + kBk, Algorithme de G AUSS -S EIDEL

- p. 8/32
Normes matricielles

On appel norme matricielle une norme définie sur Mn (C) qui est Pourquoi utiliser les méthodes
itératives

compatible avec la multiplication de matrice. Méthodes itératives


Principe Général
C’est à dire : Posons le problème
Intuitivement
k.k : Mn (C) → IR+ Un peu d’algèbre linéaire

A 7→ kAk Normes matricielles


Exemple de normes
Exemple de norme induite
telle que Norme matricielle et norme
vectorielle
Rayon spectral
∀A, B ∈ Mn (C) et ∀λ ∈ C : Convergence
Preuve - 1
Preuve - 2
Séparation : kAk = 0 ⇔ A = (0), Autres conditions
Cas d’une matrice symétrique
Conclusion
Homogénéité : kλAk = |λ| · kAk, Méthode de J ACOBI

Inégalité triangulaire : kA + Bk ≤ kAk + kBk, Algorithme de G AUSS -S EIDEL

kA · Bk ≤ kAk · kBk.

- p. 8/32
Exemple de normes

Norme de Frobenius : Pourquoi utiliser les méthodes


itératives

∀A ∈ Mn (C) Méthodes itératives


Principe Général
qP Posons le problème
n Pn
p Intuitivement
kAkF = i=1 j=1 aij = tr (t AA))
Un peu d’algèbre linéaire
Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 9/32
Exemple de normes

Norme de Frobenius : Pourquoi utiliser les méthodes


itératives

∀A ∈ Mn (C) Méthodes itératives


Principe Général
qP Posons le problème
n Pn
p Intuitivement
kAkF = i=1 j=1 aij = tr (t AA))
Un peu d’algèbre linéaire
Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
Normes induites (ou subordonnées) : vectorielle

Soit k.kv une norme vectorielle définie sur Cn Rayon spectral


Convergence

la fonction qui ∀A ∈ Mn (C) associe Preuve - 1


Preuve - 2
Autres conditions

kAxkv Cas d’une matrice symétrique

kAk = max Conclusion

x∈Cn ,x6=0 kxkv Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL


est une norme matricielle dite norme matricielle induite ou
subordonnée

- p. 9/32
Exemple de norme induite

Soit la norme vectorielle k.k∞ : Pourquoi utiliser les méthodes


itératives

∀x ∈ Cn Méthodes itératives
Principe Général
Posons le problème

kxk∞ = max |xi | Intuitivement

1≤i≤n Un peu d’algèbre linéaire


Normes matricielles

Cette norme induit la norme matricielle k.k∞ sur Mn (C) : Exemple de normes
Exemple de norme induite

∀A ∈ Mn (C) Norme matricielle et norme


vectorielle
Rayon spectral
Convergence
Preuve - 1
kAk∞ = Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 10/32
Exemple de norme induite

Soit la norme vectorielle k.k∞ : Pourquoi utiliser les méthodes


itératives

∀x ∈ Cn Méthodes itératives
Principe Général
Posons le problème

kxk∞ = max |xi | Intuitivement

1≤i≤n Un peu d’algèbre linéaire


Normes matricielles

Cette norme induit la norme matricielle k.k∞ sur Mn (C) : Exemple de normes
Exemple de norme induite

∀A ∈ Mn (C) Norme matricielle et norme


vectorielle
Rayon spectral
n
X Convergence
Preuve - 1
kAk∞ = max |aij | Preuve - 2
1≤i≤n Autres conditions
j=1 Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 10/32
Norme matricielle et norme vectorielle

Définition On dit qu’une norme matricielle k.k est compatible avec Pourquoi utiliser les méthodes
itératives

une norme vectorielle k.kv si Méthodes itératives


Principe Général
∀x Posons le problème
Intuitivement

kAxkv ≤ kAk kxkv Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes

Propriétés : Exemple de norme induite


Norme matricielle et norme

Pour toute norme matricielle k.k, il existe une norme vectorielle vectorielle
Rayon spectral

avec laquelle elle est compatible. Il suffit de définir : Convergence


Preuve - 1
  Preuve - 2
x Autres conditions
1
 ...
Cas d’une matrice symétrique
 Conclusion
 x
 .k 0

kxkv =  .. Méthode de J ACOBI


 x  Algorithme de G AUSS -S EIDEL
 n 

Toute norme matricielle induite est compatible avec sa norme


vectorielle.

- p. 11/32
Rayon spectral

Définition Soit A ∈ Mn (C), on appel rayon spectral de la matrice Pourquoi utiliser les méthodes
itératives

A le nombre réel : Méthodes itératives


Principe Général
Posons le problème

ρ (A) = max |λi | Intuitivement

1≤i≤n Un peu d’algèbre linéaire


Normes matricielles

où λi sont les valeurs propres de A Exemple de normes


Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 12/32
Rayon spectral

Définition Soit A ∈ Mn (C), on appel rayon spectral de la matrice Pourquoi utiliser les méthodes
itératives

A le nombre réel : Méthodes itératives


Principe Général
Posons le problème

ρ (A) = max |λi | Intuitivement

1≤i≤n Un peu d’algèbre linéaire


Normes matricielles

où λi sont les valeurs propres de A Exemple de normes


Exemple de norme induite
Norme matricielle et norme

Remarque : ρ(.) n’est pas une norme. vectorielle


Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 12/32
Rayon spectral

Définition Soit A ∈ Mn (C), on appel rayon spectral de la matrice Pourquoi utiliser les méthodes
itératives

A le nombre réel : Méthodes itératives


Principe Général
Posons le problème

ρ (A) = max |λi | Intuitivement

1≤i≤n Un peu d’algèbre linéaire


Normes matricielles

où λi sont les valeurs propres de A Exemple de normes


Exemple de norme induite
Norme matricielle et norme

Remarque : ρ(.) n’est pas une norme. vectorielle


Rayon spectral
Convergence
Preuve - 1

Propriétés : Preuve - 2
Autres conditions
Pour toute norme matricielle k.k et pour toute matrice : Cas d’une matrice symétrique
Conclusion

ρ(A) ≤ kAk Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 12/32
Rayon spectral

Définition Soit A ∈ Mn (C), on appel rayon spectral de la matrice Pourquoi utiliser les méthodes
itératives

A le nombre réel : Méthodes itératives


Principe Général
Posons le problème

ρ (A) = max |λi | Intuitivement

1≤i≤n Un peu d’algèbre linéaire


Normes matricielles

où λi sont les valeurs propres de A Exemple de normes


Exemple de norme induite
Norme matricielle et norme

Remarque : ρ(.) n’est pas une norme. vectorielle


Rayon spectral
Convergence
Preuve - 1

Propriétés : Preuve - 2
Autres conditions
Pour toute norme matricielle k.k et pour toute matrice : Cas d’une matrice symétrique
Conclusion

ρ(A) ≤ kAk Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL


+
∀A ∈ Mn (C), ∀ǫ ∈ IR , ∃ une norme matricielle induite k.k∗ telle
que :
ρ(A) ≤ kAk∗ ≤ ρ(A) + ε

- p. 12/32
Convergence

Revenons sur la convergence de la suite : Pourquoi utiliser les méthodes


itératives

( Méthodes itératives
Principe Général
x0 donné Posons le problème
Intuitivement
xk+1 = Cxk + d
Un peu d’algèbre linéaire
Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 13/32
Convergence

Revenons sur la convergence de la suite : Pourquoi utiliser les méthodes


itératives

( Méthodes itératives
Principe Général
x0 donné Posons le problème
Intuitivement
xk+1 = Cxk + d
Un peu d’algèbre linéaire
Normes matricielles

Théorème ∀C ∈ Mn (C), s’il existe une norme matricielle induite Exemple de normes
Exemple de norme induite

k.k telle que Norme matricielle et norme


vectorielle
Rayon spectral

kCk < 1 Convergence


Preuve - 1
Preuve - 2

alors : Autres conditions


Cas d’une matrice symétrique

1. L’équation x = Cx + d admet une solution unique x̄. Conclusion

Méthode de J ACOBI
2. La suite xk → x̄ quelle que soit x0 .
Algorithme de G AUSS -S EIDEL

- p. 13/32
Preuve - 1

Existence de la solution : Pourquoi utiliser les méthodes


itératives
Méthodes itératives
Principe Général
Posons le problème

ρ(C) ≤ kCk < 1 Intuitivement

Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 14/32
Preuve - 1

Existence de la solution : Pourquoi utiliser les méthodes


itératives
Méthodes itératives
Principe Général
Posons le problème

ρ(C) ≤ kCk < 1 Intuitivement

Un peu d’algèbre linéaire

Donc les valeurs propres λ de C sont telles que kλk < 1. Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 14/32
Preuve - 1

Existence de la solution : Pourquoi utiliser les méthodes


itératives
Méthodes itératives
Principe Général
Posons le problème

ρ(C) ≤ kCk < 1 Intuitivement

Un peu d’algèbre linéaire

Donc les valeurs propres λ de C sont telles que kλk < 1. Normes matricielles
Exemple de normes
Exemple de norme induite
Cela signifie que la matrice I − C est inversible Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 14/32
Preuve - 1

Existence de la solution : Pourquoi utiliser les méthodes


itératives
Méthodes itératives
Principe Général
Posons le problème

ρ(C) ≤ kCk < 1 Intuitivement

Un peu d’algèbre linéaire

Donc les valeurs propres λ de C sont telles que kλk < 1. Normes matricielles
Exemple de normes
Exemple de norme induite
Cela signifie que la matrice I − C est inversible Norme matricielle et norme
vectorielle
Rayon spectral
Donc il existe une solution unique à l’équation Convergence
Preuve - 1
Preuve - 2
x = Cx + d Autres conditions
Cas d’une matrice symétrique
Conclusion

On appel x̄ cette solution Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 14/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes

= C(xk−1 ) + d − x̄
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes

= C(xk−1 ) + d − x̄
Exemple de norme induite
Norme matricielle et norme
vectorielle

Donc ek = Cek−1 pour k = 1, 2, . . . Rayon spectral


Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes

= C(xk−1 ) + d − x̄
Exemple de norme induite
Norme matricielle et norme
vectorielle

Donc ek = Cek−1 pour k = 1, 2, . . . Rayon spectral


Convergence

Nous avons alors : Preuve - 1


Preuve - 2
Autres conditions
k
e = Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes

= C(xk−1 ) + d − x̄
Exemple de norme induite
Norme matricielle et norme
vectorielle

Donc ek = Cek−1 pour k = 1, 2, . . . Rayon spectral


Convergence

Nous avons alors : Preuve - 1


Preuve - 2
Autres conditions
k k 0
e = C e Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes

= C(xk−1 ) + d − x̄
Exemple de norme induite
Norme matricielle et norme
vectorielle

Donc ek = Cek−1 pour k = 1, 2, . . . Rayon spectral


Convergence

Nous avons alors : Preuve - 1


Preuve - 2
Autres conditions
k k 0
e = C e Cas d’une matrice symétrique
Conclusion

Soit la norme matricielle induite k.k et sa norme vectorielle k.kv telle Méthode de J ACOBI

que kCk < 1 : Algorithme de G AUSS -S EIDEL

k
e ≤
v

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes

= C(xk−1 ) + d − x̄
Exemple de norme induite
Norme matricielle et norme
vectorielle

Donc ek = Cek−1 pour k = 1, 2, . . . Rayon spectral


Convergence

Nous avons alors : Preuve - 1


Preuve - 2
Autres conditions
k k 0
e = C e Cas d’une matrice symétrique
Conclusion

Soit la norme matricielle induite k.k et sa norme vectorielle k.kv telle Méthode de J ACOBI

que kCk < 1 : Algorithme de G AUSS -S EIDEL

k
e ≤ kCk e . k 0
v v

- p. 15/32
Preuve - 2

Convergence : Pourquoi utiliser les méthodes


itératives

Soit ek = xk − x̄ Méthodes itératives


Principe Général
On peut déduire une relation entre ek et ek−1 . Posons le problème
Intuitivement

Cek−1 = C(xk−1 − x̄) Un peu d’algèbre linéaire

= C(xk−1 ) − C(x̄) Normes matricielles


Exemple de normes

= C(xk−1 ) + d − x̄
Exemple de norme induite
Norme matricielle et norme
vectorielle

Donc ek = Cek−1 pour k = 1, 2, . . . Rayon spectral


Convergence

Nous avons alors : Preuve - 1


Preuve - 2
Autres conditions
k k 0
e = C e Cas d’une matrice symétrique
Conclusion

Soit la norme matricielle induite k.k et sa norme vectorielle k.kv telle Méthode de J ACOBI

que kCk < 1 : Algorithme de G AUSS -S EIDEL

k
e ≤ kCk e . k 0
v v

Donc ek → 0 et xk → x̄

- p. 15/32
Autres conditions

Connaissant C, comment savoir si la suite va converger ? Pourquoi utiliser les méthodes


itératives

Cas général : Méthodes itératives


Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 16/32
Autres conditions

Connaissant C, comment savoir si la suite va converger ? Pourquoi utiliser les méthodes


itératives

Cas général : Méthodes itératives


Principe Général
Posons le problème

Théorème Il y a équivalence entre les propositions suivantes : Intuitivement

Un peu d’algèbre linéaire


k
C est une matrice convergente ( i.e. C tend vers 0) Normes matricielles
Exemple de normes
Exemple de norme induite

ρ(C) < 1 Norme matricielle et norme


vectorielle
Rayon spectral
Convergence
Il existe une norme matricielle induite telle que kCk < 1 Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 16/32
Cas d’une matrice symétrique

Théorème Soit A une matrice symétrique définie positive, Si Pourquoi utiliser les méthodes
itératives
Méthodes itératives

A = M −N Principe Général
Posons le problème
Intuitivement

et si M +t N est définie positive (elle est forcement symétrique) Un peu d’algèbre linéaire

alors la suite Normes matricielles


Exemple de normes
Exemple de norme induite
k+1 −1 k
x = M Nx + d Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
est convergente Preuve - 1
Preuve - 2
idée de la preuve : Autres conditions

Si on considère la norme vectorielle définie par A : Cas d’une matrice symétrique


Conclusion

√ Méthode de J ACOBI
kxkA = t xAx
Algorithme de G AUSS -S EIDEL

Et sa norme matricielle induite k.k, alors


kAk < 1

- p. 17/32
Conclusion

Soit A une matrice, pour résoudre le système d’équations Ax = b, il Pourquoi utiliser les méthodes
itératives

faut décomposer A = M − N de tel façon que : Méthodes itératives


Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 18/32
Conclusion

Soit A une matrice, pour résoudre le système d’équations Ax = b, il Pourquoi utiliser les méthodes
itératives

faut décomposer A = M − N de tel façon que : Méthodes itératives


Principe Général
Posons le problème
M soit inversible. Intuitivement

Un peu d’algèbre linéaire


Normes matricielles
Exemple de normes
Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 18/32
Conclusion

Soit A une matrice, pour résoudre le système d’équations Ax = b, il Pourquoi utiliser les méthodes
itératives

faut décomposer A = M − N de tel façon que : Méthodes itératives


Principe Général
Posons le problème
M soit inversible. Intuitivement

Un peu d’algèbre linéaire

l’une des deux conditions suivantes soit vérifiée Normes matricielles


Exemple de normes
C = M −1 N ait un rayon spectral < 1 (le plus petit possible). Exemple de norme induite
Norme matricielle et norme
vectorielle
Rayon spectral
Convergence
Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 18/32
Conclusion

Soit A une matrice, pour résoudre le système d’équations Ax = b, il Pourquoi utiliser les méthodes
itératives

faut décomposer A = M − N de tel façon que : Méthodes itératives


Principe Général
Posons le problème
M soit inversible. Intuitivement

Un peu d’algèbre linéaire

l’une des deux conditions suivantes soit vérifiée Normes matricielles


Exemple de normes
C = M −1 N ait un rayon spectral < 1 (le plus petit possible). Exemple de norme induite
Norme matricielle et norme
vectorielle
Si A est symétrique définie positive, M +t N soit aussi définie Rayon spectral
Convergence
et positive. Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 18/32
Conclusion

Soit A une matrice, pour résoudre le système d’équations Ax = b, il Pourquoi utiliser les méthodes
itératives

faut décomposer A = M − N de tel façon que : Méthodes itératives


Principe Général
Posons le problème
M soit inversible. Intuitivement

Un peu d’algèbre linéaire

l’une des deux conditions suivantes soit vérifiée Normes matricielles


Exemple de normes
C = M −1 N ait un rayon spectral < 1 (le plus petit possible). Exemple de norme induite
Norme matricielle et norme
vectorielle
Si A est symétrique définie positive, M +t N soit aussi définie Rayon spectral
Convergence
et positive. Preuve - 1
Preuve - 2
Autres conditions
Cas d’une matrice symétrique
Comment choisir M et N ? Conclusion

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

- p. 18/32
Pourquoi utiliser les méthodes
itératives
Méthodes itératives
Principe Général
Posons le problème
Intuitivement

Méthode de J ACOBI Un peu d’algèbre linéaire

Méthode de J ACOBI
Exemple
Exemple (suite)
Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

Méthode de JACOBI - p. 19/32


Exemple

Pourquoi utiliser les méthodes


    itératives

1 1 0 0 Méthodes itératives
Principe Général

 −1 −1 1 ×x =  1 
    Posons le problème
Intuitivement

0 1 1 2 Un peu d’algèbre linéaire

Méthode de J ACOBI
Soit (x̄1 , x̄2 , x̄3 ) la solution. Si on connaît deux coordonnées de la Exemple
Exemple (suite)
solution, il est possible de calculer la troisième Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
La ligne 1 donne : x̄1 = . (suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 20/32
Exemple

Pourquoi utiliser les méthodes


    itératives

1 1 0 0 Méthodes itératives
Principe Général

 −1 −1 1 ×x =  1 
    Posons le problème
Intuitivement

0 1 1 2 Un peu d’algèbre linéaire

Méthode de J ACOBI
Soit (x̄1 , x̄2 , x̄3 ) la solution. Si on connaît deux coordonnées de la Exemple
Exemple (suite)
solution, il est possible de calculer la troisième Algorithme de J ACOBI

0 − 1 × x̄2 − 0 × x̄3 Lien avec le chapitre précédant


Lien avec le chapitre précédant
La ligne 1 donne : x̄1 = . (suite)
1 Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 20/32
Exemple

Pourquoi utiliser les méthodes


    itératives

1 1 0 0 Méthodes itératives
Principe Général

 −1 −1 1 ×x =  1 
    Posons le problème
Intuitivement

0 1 1 2 Un peu d’algèbre linéaire

Méthode de J ACOBI
Soit (x̄1 , x̄2 , x̄3 ) la solution. Si on connaît deux coordonnées de la Exemple
Exemple (suite)
solution, il est possible de calculer la troisième Algorithme de J ACOBI

0 − 1 × x̄2 − 0 × x̄3 Lien avec le chapitre précédant


Lien avec le chapitre précédant
La ligne 1 donne : x̄1 = . (suite)
1 Conditions de convergence

1 + 1 × x̄1 − 1 × x̄3 Diagonale strictement


dominante
La ligne 2 donne : x̄2 = . Cas des matrices symétriques
−1
Algorithme de G AUSS -S EIDEL

- p. 20/32
Exemple

Pourquoi utiliser les méthodes


    itératives

1 1 0 0 Méthodes itératives
Principe Général

 −1 −1 1 ×x =  1 
    Posons le problème
Intuitivement

0 1 1 2 Un peu d’algèbre linéaire

Méthode de J ACOBI
Soit (x̄1 , x̄2 , x̄3 ) la solution. Si on connaît deux coordonnées de la Exemple
Exemple (suite)
solution, il est possible de calculer la troisième Algorithme de J ACOBI

0 − 1 × x̄2 − 0 × x̄3 Lien avec le chapitre précédant


Lien avec le chapitre précédant
La ligne 1 donne : x̄1 = . (suite)
1 Conditions de convergence

1 + 1 × x̄1 − 1 × x̄3 Diagonale strictement


dominante
La ligne 2 donne : x̄2 = . Cas des matrices symétriques
−1
Algorithme de G AUSS -S EIDEL
2 − 0 × x̄1 − 1 × x̄2
La ligne 3 donne : x̄3 = .
1

- p. 20/32
Exemple (suite)

Si on ne connaît pas de coordonnées de la solution, mais que l’on Pourquoi utiliser les méthodes
itératives

en a des valeurs approchées : Méthodes itératives


Principe Général
Posons le problème

(x̃1 , x̃2 , x̃3 ) Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI
Exemple
Exemple (suite)
Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 21/32
Exemple (suite)

Si on ne connaît pas de coordonnées de la solution, mais que l’on Pourquoi utiliser les méthodes
itératives

en a des valeurs approchées : Méthodes itératives


Principe Général
Posons le problème

(x̃1 , x̃2 , x̃3 ) Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI

Il est possible d’itérer, c’est à dire de choisir une nouvelle Exemple


Exemple (suite)

approximation (x1 , x2 , x3 ) plus proche du résultat par les formules : Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 21/32
Exemple (suite)

Si on ne connaît pas de coordonnées de la solution, mais que l’on Pourquoi utiliser les méthodes
itératives

en a des valeurs approchées : Méthodes itératives


Principe Général
Posons le problème

(x̃1 , x̃2 , x̃3 ) Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI

Il est possible d’itérer, c’est à dire de choisir une nouvelle Exemple


Exemple (suite)

approximation (x1 , x2 , x3 ) plus proche du résultat par les formules : Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)

0 − 1 × x̃2 − 0 × x̃3 Conditions de convergence

x1 = Diagonale strictement
dominante
1 Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 21/32
Exemple (suite)

Si on ne connaît pas de coordonnées de la solution, mais que l’on Pourquoi utiliser les méthodes
itératives

en a des valeurs approchées : Méthodes itératives


Principe Général
Posons le problème

(x̃1 , x̃2 , x̃3 ) Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI

Il est possible d’itérer, c’est à dire de choisir une nouvelle Exemple


Exemple (suite)

approximation (x1 , x2 , x3 ) plus proche du résultat par les formules : Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)

0 − 1 × x̃2 − 0 × x̃3 Conditions de convergence

x1 = Diagonale strictement
dominante
1 Cas des matrices symétriques

1 + 1 × x̃1 − 1 × x̃3 Algorithme de G AUSS -S EIDEL

x2 =
−1

- p. 21/32
Exemple (suite)

Si on ne connaît pas de coordonnées de la solution, mais que l’on Pourquoi utiliser les méthodes
itératives

en a des valeurs approchées : Méthodes itératives


Principe Général
Posons le problème

(x̃1 , x̃2 , x̃3 ) Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI

Il est possible d’itérer, c’est à dire de choisir une nouvelle Exemple


Exemple (suite)

approximation (x1 , x2 , x3 ) plus proche du résultat par les formules : Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)

0 − 1 × x̃2 − 0 × x̃3 Conditions de convergence

x1 = Diagonale strictement
dominante
1 Cas des matrices symétriques

1 + 1 × x̃1 − 1 × x̃3 Algorithme de G AUSS -S EIDEL

x2 =
−1
2 − 0 × x̃1 − 1 × x̃2
x3 =
1

- p. 21/32
Exemple (suite)

Si on ne connaît pas de coordonnées de la solution, mais que l’on Pourquoi utiliser les méthodes
itératives

en a des valeurs approchées : Méthodes itératives


Principe Général
Posons le problème

(x̃1 , x̃2 , x̃3 ) Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI

Il est possible d’itérer, c’est à dire de choisir une nouvelle Exemple


Exemple (suite)

approximation (x1 , x2 , x3 ) plus proche du résultat par les formules : Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)

0 − 1 × x̃2 − 0 × x̃3 Conditions de convergence

x1 = Diagonale strictement
dominante
1 Cas des matrices symétriques

1 + 1 × x̃1 − 1 × x̃3 Algorithme de G AUSS -S EIDEL

x2 =
−1
2 − 0 × x̃1 − 1 × x̃2
x3 =
1

La méthode de JACOBI consiste à itérer tant que l’on n’est pas


assez proche du résultat.

- p. 21/32
Algorithme de J ACOBI

Pourquoi utiliser les méthodes


itératives
Données : A, b, x0 , n, ε et MAXITER Méthodes itératives
Principe Général
début Posons le problème

pour i = 1 à n faire
Intuitivement

xnew
i ← x0i Un peu d’algèbre linéaire

Méthode de J ACOBI
nb ← 0 Exemple

tant que (kAxnew − bk > ε) et (nb < MAXITER) faire


Exemple (suite)
Algorithme de J ACOBI

nb ← nb+1 Lien avec le chapitre précédant


Lien avec le chapitre précédant

pour i = 1 à n faire (suite)


Conditions de convergence

xold
i ← xnew
i
Diagonale strictement
dominante

pour i = 1 à n faire
Cas des matrices symétriques

X Algorithme de G AUSS -S EIDEL


bi − aij xold
j
j=1,j6=i
xnew
i ←
aii
fin

- p. 22/32
Lien avec le chapitre précédant

Soit la matrice A, on note : Pourquoi utiliser les méthodes


itératives
Méthodes itératives
Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI
Exemple
Exemple (suite)
  Algorithme de J ACOBI

a11 · · · a1n Lien avec le chapitre précédant


Lien avec le chapitre précédant
  (suite)
 . aij .. Conditions de convergence
 .

A =  . .  Diagonale strictement
 dominante
a ann
 n1 · · ·
 Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 23/32
Lien avec le chapitre précédant

Soit la matrice A, on note : Pourquoi utiliser les méthodes


itératives

D la matrice des éléments diagonaux de A Méthodes itératives


Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI
Exemple
Exemple (suite)
C’est à dire 
:    Algorithme de J ACOBI

a11 · · · a1n a11 Lien avec le chapitre précédant


Lien avec le chapitre précédant
   0  (suite)
 . aij .. .. Conditions de convergence
 .
  
A =  . . 
D = 
 .  Diagonale strictement
dominante
0
 
a ann ann
 n1 · · ·
   Cas des matrices symétriques
  
Algorithme de G AUSS -S EIDEL

- p. 23/32
Lien avec le chapitre précédant

Soit la matrice A, on note : Pourquoi utiliser les méthodes


itératives

D la matrice des éléments diagonaux de A Méthodes itératives


Principe Général
Posons le problème

E la matrice des éléments sous-diagonaux Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI
Exemple
Exemple (suite)
C’est à dire 
:    Algorithme de J ACOBI

a11 · · · a1n a11 Lien avec le chapitre précédant


Lien avec le chapitre précédant
   0  (suite)
 . aij .. .. Conditions de convergence
 .
  
A =  . . 
D = 
 .  Diagonale strictement
dominante
0
 
a ann ann
 n1 · · ·
   Cas des matrices symétriques
  
Algorithme de G AUSS -S EIDEL

 
0
 0 
 .. 
E =  a ij .
 

 i>j
0

 

- p. 23/32
Lien avec le chapitre précédant

Soit la matrice A, on note : Pourquoi utiliser les méthodes


itératives

D la matrice des éléments diagonaux de A Méthodes itératives


Principe Général
Posons le problème

E la matrice des éléments sous-diagonaux Intuitivement

Un peu d’algèbre linéaire

F la matrice des éléments sur-diagonaux Méthode de J ACOBI


Exemple
Exemple (suite)
C’est à dire 
:    Algorithme de J ACOBI

a11 · · · a1n a11 Lien avec le chapitre précédant


Lien avec le chapitre précédant
   0  (suite)
 . aij .. .. Conditions de convergence
 .
  
A =  . . 
D = 
 .  Diagonale strictement
dominante
0
 
a ann ann
 n1 · · ·
   Cas des matrices symétriques
  
Algorithme de G AUSS -S EIDEL

   
0 0 a ij
 0   i<j 
 ..   .. 
E =  a ij . F =  .
   
0
 
 i>j
0 0
  
   

- p. 23/32
Lien avec le chapitre précédant (suite)

L’algorithme de JACOBI décompose la matrice en la somme Pourquoi utiliser les méthodes


itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = Exemple
Exemple (suite)
Algorithme de J ACOBI
N = Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 24/32
Lien avec le chapitre précédant (suite)

L’algorithme de JACOBI décompose la matrice en la somme Pourquoi utiliser les méthodes


itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = D Exemple
Exemple (suite)
Algorithme de J ACOBI
N = Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 24/32
Lien avec le chapitre précédant (suite)

L’algorithme de JACOBI décompose la matrice en la somme Pourquoi utiliser les méthodes


itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = D Exemple
Exemple (suite)
Algorithme de J ACOBI
N = −E − F Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 24/32
Lien avec le chapitre précédant (suite)

L’algorithme de JACOBI décompose la matrice en la somme Pourquoi utiliser les méthodes


itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = D Exemple
Exemple (suite)
Algorithme de J ACOBI
N = −E − F Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
On appel matrice de JACOBI la matrice Conditions de convergence
Diagonale strictement
dominante
J = D −1 (−E − F ) Cas des matrices symétriques

= M −1 N Algorithme de G AUSS -S EIDEL

- p. 24/32
Conditions de convergence

D’après ce qui précède une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI
Exemple
Exemple (suite)
Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 25/32
Conditions de convergence

D’après ce qui précède une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
Posons le problème
D soit inversible Intuitivement

⇒les éléments diagonaux de A doivent être non nuls Un peu d’algèbre linéaire

Méthode de J ACOBI
Exemple
Exemple (suite)
Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 25/32
Conditions de convergence

D’après ce qui précède une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
Posons le problème
D soit inversible Intuitivement

⇒les éléments diagonaux de A doivent être non nuls Un peu d’algèbre linéaire

et ρ(J) < 1 (la valeur propre de plus grand module est < à 1) Méthode de J ACOBI
Exemple
Exemple (suite)
Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
(suite)
Conditions de convergence
Diagonale strictement
dominante
Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 25/32
Conditions de convergence

D’après ce qui précède une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
Posons le problème
D soit inversible Intuitivement

⇒les éléments diagonaux de A doivent être non nuls Un peu d’algèbre linéaire

et ρ(J) < 1 (la valeur propre de plus grand module est < à 1) Méthode de J ACOBI
Exemple
Exemple (suite)
Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
Remarques : (suite)
Conditions de convergence
Diagonale strictement
Pour un système linéaire donné, on peut inverser dominante
Cas des matrices symétriques

l’ordre des inconnues i.e. celui des colonnes de la matrice Algorithme de G AUSS -S EIDEL

l’ordre des équations i.e. celui des lignes de la matrice

- p. 25/32
Conditions de convergence

D’après ce qui précède une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
Posons le problème
D soit inversible Intuitivement

⇒les éléments diagonaux de A doivent être non nuls Un peu d’algèbre linéaire

et ρ(J) < 1 (la valeur propre de plus grand module est < à 1) Méthode de J ACOBI
Exemple
Exemple (suite)
Algorithme de J ACOBI
Lien avec le chapitre précédant
Lien avec le chapitre précédant
Remarques : (suite)
Conditions de convergence
Diagonale strictement
Pour un système linéaire donné, on peut inverser dominante
Cas des matrices symétriques

l’ordre des inconnues i.e. celui des colonnes de la matrice Algorithme de G AUSS -S EIDEL

l’ordre des équations i.e. celui des lignes de la matrice

Cette CNS est difficile à vérifier, mais il y a deux conditions


suffisantes.
Pour les matrices à diagonale strictement dominante.
Pour les matrice symétriques.

- p. 25/32
Diagonale strictement dominante

Définition Une matrice A est dite à diagonale strictement dominante si :


n
X
∀i, 1 ≤ i ≤ n, |aii | > |aij |
j=1,j6=i

- p. 26/32
Diagonale strictement dominante

Définition Une matrice A est dite à diagonale strictement dominante si :


n
X
∀i, 1 ≤ i ≤ n, |aii | > |aij |
j=1,j6=i

Théorème Si A est une matrice à diagonale strictement dominante, alors la


méthode de JACOBI est convergente quel que soit le vecteur initial x0 .
Preuve :

- p. 26/32
Diagonale strictement dominante

Définition Une matrice A est dite à diagonale strictement dominante si :


n
X
∀i, 1 ≤ i ≤ n, |aii | > |aij |
j=1,j6=i

Théorème Si A est une matrice à diagonale strictement dominante, alors la


méthode de JACOBI est convergente quel que soit le vecteur initial x0 .
Preuve :
Pn
Si |aii | > j=1,j6=i |aij |. ⇒ aii 6= 0

- p. 26/32
Diagonale strictement dominante

Définition Une matrice A est dite à diagonale strictement dominante si :


n
X
∀i, 1 ≤ i ≤ n, |aii | > |aij |
j=1,j6=i

Théorème Si A est une matrice à diagonale strictement dominante, alors la


méthode de JACOBI est convergente quel que soit le vecteur initial x0 .
Preuve :
Pn
Si |aii | > j=1,j6=i |aij |. ⇒ aii 6= 0
Pour démontrer la convergence, on peut prouver que kCk∞ < 1
a
avec C = D −1 (−E − F ). Donc Cii = 0, Cij = − aij
ii
pour i 6= j.

- p. 26/32
Diagonale strictement dominante

Définition Une matrice A est dite à diagonale strictement dominante si :


n
X
∀i, 1 ≤ i ≤ n, |aii | > |aij |
j=1,j6=i

Théorème Si A est une matrice à diagonale strictement dominante, alors la


méthode de JACOBI est convergente quel que soit le vecteur initial x0 .
Preuve :
Pn
Si |aii | > j=1,j6=i |aij |. ⇒ aii 6= 0
Pour démontrer la convergence, on peut prouver que kCk∞ < 1
a
avec C = D −1 (−E − F ). Donc Cii = 0, Cij = − aij pour i 6= j.
  ii 
n n n
X X X |aij | 
kCk∞ = max |Cij | = max  |Cij | = max  < 1, puisque
i
j=1
i
j=1
i |aii |
j=1,j6=i
A est à diagonale strictement dominante.

- p. 26/32
Cas des matrices symétriques

Théorème Si A et 2D − A sont symétriques définies positives, Pourquoi utiliser les méthodes


itératives

alors la méthode de JACOBI converge Méthodes itératives


Principe Général
Posons le problème
Intuitivement

preuve : Un peu d’algèbre linéaire


Si on pose Méthode de J ACOBI
Exemple

M = D Exemple (suite)
Algorithme de J ACOBI

N = −E − F Lien avec le chapitre précédant


Lien avec le chapitre précédant
(suite)
= D−A Conditions de convergence
Diagonale strictement
dominante

alors M +t N = 2D − A Cas des matrices symétriques

Algorithme de G AUSS -S EIDEL

- p. 27/32
Pourquoi utiliser les méthodes
itératives
Méthodes itératives
Principe Général
Posons le problème
Intuitivement

Algorithme de G AUSS -S EIDEL Un peu d’algèbre linéaire

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL


Algorithme de
Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 28/32


Algorithme de

Données : A, b, x0 , n, ε et MAXITER
début
pour i = 1 à n faire
xnew
i ← x0
i
nb ← 0
tant que (kAxnew − bk > ε) et (nb < MAXITER) faire
nb ← nb+1
pour i = 1 à n faire
xold
i ← x new
i
pour i = 1 à n faire
i−1
X Xn
bi − aij xold
j − aij xold
j
j=1 j=i+1
xnew
i ←
aii
fin

Algorithme de G AUSS -S EIDEL - p. 29/32


Algorithme de

Données : A, b, x0 , n, ε et MAXITER L’algorithme de G AUSS -S EIDEL


début modifie l’algorithme de JACOBI
pour i = 1 à n faire pour utiliser à chaque itération
xnew
i ← x0
i les valeurs xk+1
i déjà calculées
nb ← 0
tant que (kAxnew − bk > ε) et (nb < MAXITER) faire
nb ← nb+1
pour i = 1 à n faire
xold
i ← x new
i
pour i = 1 à n faire
i−1
X n
X
bi − aij xnew
j − aij xold
j
j=1 j=i+1
xnew
i ←
aii
fin

Algorithme de G AUSS -S EIDEL - p. 29/32


Algorithme de

Données : A, b, x0 , n, ε et MAXITER L’algorithme de G AUSS -S EIDEL


début modifie l’algorithme de JACOBI
pour i = 1 à n faire pour utiliser à chaque itération
xnew
i ← x0
i les valeurs xk+1
i déjà calculées
nb ← 0
tant que (kAxnew − bk > ε) et (nb < MAXITER) faire
nb ← nb+1
pour i = 1 à n faire
xold
i ← x new
i
pour i = 1 à n faire
i−1
X n
X
bi − aij xnew
j − aij xold
j
j=1 j=i+1
xnew
i ←
aii
fin

Algorithme de G AUSS -S EIDEL - p. 29/32


Résumé de G AUSS -S EIDEL

L’algorithme de G AUSS -S EIDEL décompose la matrice en la somme Pourquoi utiliser les méthodes
itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = Algorithme de G AUSS -S EIDEL


Algorithme de
N = Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 30/32


Résumé de G AUSS -S EIDEL

L’algorithme de G AUSS -S EIDEL décompose la matrice en la somme Pourquoi utiliser les méthodes
itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = D+E Algorithme de G AUSS -S EIDEL


Algorithme de
N = Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 30/32


Résumé de G AUSS -S EIDEL

L’algorithme de G AUSS -S EIDEL décompose la matrice en la somme Pourquoi utiliser les méthodes
itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = D+E Algorithme de G AUSS -S EIDEL


Algorithme de
N = −F Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 30/32


Résumé de G AUSS -S EIDEL

L’algorithme de G AUSS -S EIDEL décompose la matrice en la somme Pourquoi utiliser les méthodes
itératives

A = M − N et calcule la suite Méthodes itératives


Principe Général
Posons le problème
k+1 −1 k −1
x = M Nx + M b Intuitivement

Un peu d’algèbre linéaire

Avec : ( Méthode de J ACOBI

M = D+E Algorithme de G AUSS -S EIDEL


Algorithme de
N = −F Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion
On appel matrice de G AUSS -S EIDEL la matrice
GS = (D + E)−1 (−F )
= M −1 N

Algorithme de G AUSS -S EIDEL - p. 30/32


Condition de convergence

D’après ce qui précede, une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
Posons le problème
Intuitivement

Un peu d’algèbre linéaire

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL


Algorithme de
Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 31/32


Condition de convergence

D’après ce qui précede, une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
(D+E) est inversible Posons le problème
Intuitivement
⇒les éléments diagonaux de A doivent être non nuls.
Un peu d’algèbre linéaire

Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL


Algorithme de
Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 31/32


Condition de convergence

D’après ce qui précede, une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
(D+E) est inversible Posons le problème
Intuitivement
⇒les éléments diagonaux de A doivent être non nuls.
Un peu d’algèbre linéaire

et ρ(GS) < 1 avec GS = −(D + E)−1 F . Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL


Algorithme de
Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 31/32


Condition de convergence

D’après ce qui précede, une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
(D+E) est inversible Posons le problème
Intuitivement
⇒les éléments diagonaux de A doivent être non nuls.
Un peu d’algèbre linéaire

et ρ(GS) < 1 avec GS = −(D + E)−1 F . Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

Il y a aussi deux conditions suffisantes : Algorithme de


Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion

Algorithme de G AUSS -S EIDEL - p. 31/32


Condition de convergence

D’après ce qui précede, une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
(D+E) est inversible Posons le problème
Intuitivement
⇒les éléments diagonaux de A doivent être non nuls.
Un peu d’algèbre linéaire

et ρ(GS) < 1 avec GS = −(D + E)−1 F . Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

Il y a aussi deux conditions suffisantes : Algorithme de


Résumé de G AUSS -S EIDEL

Théorème Si A est une matrice à diagonale strictement Condition de convergence


Conclusion

dominante, alors la méthode de G AUSS -S EIDEL est convergente


quel que soit le vecteur initial x0 .

Algorithme de G AUSS -S EIDEL - p. 31/32


Condition de convergence

D’après ce qui précede, une condition nécessaire et suffisante Pourquoi utiliser les méthodes
itératives

(CNS) est que : Méthodes itératives


Principe Général
(D+E) est inversible Posons le problème
Intuitivement
⇒les éléments diagonaux de A doivent être non nuls.
Un peu d’algèbre linéaire

et ρ(GS) < 1 avec GS = −(D + E)−1 F . Méthode de J ACOBI

Algorithme de G AUSS -S EIDEL

Il y a aussi deux conditions suffisantes : Algorithme de


Résumé de G AUSS -S EIDEL

Théorème Si A est une matrice à diagonale strictement Condition de convergence


Conclusion

dominante, alors la méthode de G AUSS -S EIDEL est convergente


quel que soit le vecteur initial x0 .

Théorème Si A est une matrice symétrique définie positive alors


la méthode de G AUSS -S EIDEL est convergente quel que soit le
vecteur initial x0 .

Algorithme de G AUSS -S EIDEL - p. 31/32


Conclusion

Méthodes stables Pourquoi utiliser les méthodes


itératives
Méthodes itératives
Principe Général

Les conditions de convergences sont difficiles à mettre en Posons le problème


Intuitivement

œuvres Un peu d’algèbre linéaire

Méthode de J ACOBI

L’utilisation des matrices à diagonales dominantes est très Algorithme de G AUSS -S EIDEL

restrictive. Algorithme de
Résumé de G AUSS -S EIDEL
Condition de convergence
Conclusion
L’utilisation des conditions sur le rayon spectrale ou ou sur les
matrices symétriques définies positives nécessitent une
analyse mathématique préalable.

Méthode de relaxation.
Il y a d’autres méthode itératives algorithme du gradiant
conjugué, méthode de K RYLOV.

Algorithme de G AUSS -S EIDEL - p. 32/32