Vous êtes sur la page 1sur 78

Analyse Numérique Matricielle

M. Bergounioux-MAPMO

www.mathonec.com
2

www.mathonec.com
Chapitre 1

Produit hermitien

Dans tout ce qui suit E est un espace vectoriel sur un corps K qui est soit R, soit C. E
sera supposé de dimension finie (sauf mention explicite du contraire)

1.1 Formes linéaires - Dualité


1.1.1 Rappels
Définition 1.1.1 Soient E et F deux espaces vectoriels sur K. Une application ϕ de E dans F
est un isomorphisme si
ϕ est linéaire
ϕ est bijective
On rappelle qu’un application linéaire est injective si et seulement si son noyau ker ϕ est
réduit à t0u et surjective si et seulement si son image Im ϕ= F.
Théorème 1.1.1 Tout espace vectoriel de dimension finie n sur R est isomorphe à Rn .
Tout espace vectoriel de dimension finie n sur C est isomorphe à Cn et donc à R2n .
Démonstration - On la fait uniquement dans le cas où E est un R - ev. Soit pe1 ,    , en q une
base de E. Tout x P E s’écrit donc de manière unique

x xi ei avec xi P R, @i .

i 1
L’application ϕ : E Ñ Rn définie par
ϕpxq  px1 ,    , xn q
est un ismorphisme. On vérifie en effet qu’elle est linéaire, que Ker ϕ  t0u et grâce au
théorème du rang que dim Im ϕ = n, donc Im ϕ  Rn . l
Rappelons le théorème du rang :
Théorème 1.1.2 Soit ϕ une application linéaire de E vers F (K- ev de dimensions finies pas
nécessairement égales). Alors
dim Im ϕ dim Ker ϕ  dim E .

www.mathonec.com
4 CHAPITRE 1. PRODUIT HERMITIEN

1.1.2 Formes linéaires


Définition 1.1.2 Soit E un K- espace vectoriel. Une application linéaire de E dans K est appelée
forme linéaire.
En particulier si dim E ¥ 2, une forme linéaire sur E ne peut pas être bijective, à cause
du théorème du rang. En effet si f est une forme linéaire non identiquement nulle son
image est de dimension 1 et c’est un sous espace de K. Donc Im f  K et f est surjective.
On a donc dim Ker f = n-1. f n’est donc jamais injective. Son noyau est un hyperplan
vectoriel.
Théorème 1.1.3 L’ensemble des formes linéaires de E est un K -espace vectoriel de même dimen-
sion. C’est l’espace dual de E, noté E  .
Démonstration - E  est un espace vectoriel de manière évidente. Montrons qu’il est de
dimension finie en exhibant une base.
Soit pe1 ,    , en q une base de E. On définit la forme linéaire ei par
$
'  Ñ
& ei : E K

'
% x xi ei Þ Ñ xi
i 1 
C’est l’application qui à un vecteur associe sa coordonnée n˚ i ( ie projection).
La famille pe1 ,    , enq est une famille libre.
Soient pλ1 ,    , λn q P Kn tels que

λi ei 0,

i 1
c’est-à-dire

@x P E λi ei pxq  0 .
i 1 
Il suffit alors de choisir x  ej (j  1,    , n) pour obtenir λj  0. La famille est donc
libre.
La famille pe1 ,    , enq est une famille génératrice
Soit f P E  . On cherche pλ1 ,    , λn q P Kn tels que

f  λi ei .
i 1 
Remarquons que
ņ ņ ņ ņ
@x P E f pxq  f p xi ei q  xi f pei q  ei pxq f pei q  f pei q ei pxq,
i 1 
i 1 
i 1 
i 1
c’est-à-dire

f  f pei q ei .

i 1
On a donc λi  f pei q : la famille est bien génératrice.
C’est donc une base de E  appelée base duale : E  est de dimension n. l

www.mathonec.com
1.1. FORMES LINÉAIRES - DUALITÉ 5

1.1.3 Lien avec la topologie


Définition 1.1.3 (Norme) Une norme sur un K-espace vectoriel E (de dimension quelconque)
est une application N : E Ñ R vérifiant
– @λ P K, @x P E N pλxq  |λ|N pxq .
– @px, y q P E 2 N px y q ¤ N pxq N py q.
– @x P E N pxq ¥ 0 et N pxq  0 ðñ x  0.

Exemple 1.1.1bE  Rn ; x  px1,    , xnq


°n
– }x}2  ° i1 x2i : norme euclidienne
– }x}1  ni1 |xi|
– }x}8  max |xi|, i  1,    , n
– }x}p  p i1 |xi|pq1{p
°n

Définition 1.1.4 ( Équivalence des normes ) On dit que deux normes N1 et N2 sur E sont
équivalentes s’il existe λ1 , λ2 ¡ 0 tels que

@x P E λ1 N1 pxq ¤ N2 pxq ¤ λ2 N1 pxq .

Rappelons le résultat fondamental suivnat :


Théorème 1.1.4 Dans un espace vectoriel de dimension finie, toutes les normes sont équivalentes.

Exercice 1.1.1 Montrer que si E est un K-ev de dimension n :


1
n
}x}1 ¤ }x}8 ¤ }x}1 .
Une conséquence directe de ce théorème est le résultat suivant
Théorème 1.1.5 Soit E un K- espace vectoriel de dimension finie. Toute forme linéaire sur E
est continue

Remarque 1.1.1 En fait, ce résultat est vrai pour toute application linéaire d’un espace vectoriel
de dimension finie E dans un espace vectoriel de dimension finie F .

Pour démontrer ce théorème nous avons besoin du lemme suivant (vrai également dans
le cadre de la remarque ci-dessus) :
Lemme 1.1.1 Soit f une forme linéaire sur E. f est continue sur E si et seulement si f est
continue en 0.
Démonstration - La seule chose à montrer est le sens réciproque. Supposons f continue
en 0 :
@ε   0, Dη ¡ 0 }x} ¤ η ùñ |f pxq| ¤ ε .
Ici }  } est une nomre quelconque (à cause de l’équivalence) et on a utilisé le fait que
f p0q  0 car f est linéaire. Soit xo P E. Il est clair, grâce à la linéarité que

}x  xo} ¤ η ùñ |f px  xoq|  |f pxq  f pxoq| ¤ ε;

www.mathonec.com
6 CHAPITRE 1. PRODUIT HERMITIEN

f est donc continue en xo . l


Nous pouvons maintenant finir la démonstration du théorème 1.1.5 :
Démonstration - D’après le lemme il suffit de montre que si f est une forme linéaire sur E
elle est continue en 0. En réalité, on va montrer mieux : on va montrer que f est lipschit-
zienne en 0 c’est-à-dire
DM ¡ 0, @x P E |f pxq| ¤ M }x} .
La constante M dépend bien sûr de la norme choisie mais grâce à l’équiavlence des
normes ce résultat sera vrai pour tout norme si on le montre pour l’une d’entre elles.
Soit pe1 ,    , en q une base de E. Tout x P E s’écrit donc de manière unique

x xi ei avec xi P R, @i .

i 1
 
 ņ 
|f pxq| ¤ 


xi f pei q



i 1


¤ |xi| |f peiq|

i 1

¤ }x}8 |f peiq|

i 1

¤ }x}8 |f peiq| .
i1
loooomoooon
M
On a donc le résultat voulu avec la norme }  }8 . l

1.2 Formes bilinéaires et sesquilinéaires- Produit hermitien


Dans cette section E est un K- espace vectoriell quelconque de dimension pas nécessairement
finie.

1.2.1 Définitions
Définition 1.2.1 (Forme sesquilinéaire) Soit E un K-espace vectoriel (K  R ou C).
Une application Φ : px, y q ÝÑ Φpx, y q de E  E dans K est une forme sesquilinéaire si
@pλ, µq P K2 Φpλx1 µx2, yq  λΦpx1, yq µΦpx2 , y q
@pλ, µq P K2 Φpx, λy1 µy2q  λ̄Φpx, y1q µ̄Φpx, y2 q.
Cette définition est donnée dans le cas le plus général (K  C). Lorsque K  R, le
deuxième relation devient
@pλ, µq P R2 Φpx, λy1 µy2 q  λΦpx, y1 q µΦpx, y2 q.
L’application est dite alors bilinéaire.

www.mathonec.com
1.2. FORMES BILINÉAIRES ET SESQUILINÉAIRES- PRODUIT HERMITIEN 7

Définition 1.2.2 (Produit hermitien) Soit E un K-espace vectoriel (K  R ou C).


Une application Φ : px, y q ÝÑ Φpx, y q de E  E dans K définit un produit hermitien (si
K  C) ouproduit scalaire (si K  R) , si
1. Φ est sesquilinéaire
2. Φ est symétrique : Φpy, xq  Φpx, y q.
3. Φ est positive : Φpx, xq ¥ 0
4. Φ est définie : Φpx, xq  0 ùñ x  0 .
Ici µ̄ désigne le complexe conjugué de µ .
Le produit hermitien est défini par des propriétés algébriques mais on peut donner immé-
diatement un cadre analytique grâce à la proposition suivante :

Proposition 1.2.1 Soit E un K-espace vectoriel


a muni d’un produit hermitien Φ. L’application
N : E  E Ñ R définie par N pxq  Φpx, xq est une norme appelée norme hilbertienne
(euclidienne dans le cas K  R, hermitienne dans le cas K  C)

Désormais on note px, y qE  Φpx, yq (ou px, yq s’il n’y a pas ambiguité) et }x}E (ou }x}) la
norme qui en est issue.

a d’un produit hermitien est préhilbertien. Si de plus, il est


Définition 1.2.3 Un espace muni
complet pour la norme }x}  px, xq, c’est un espace de Hilbert.

Remarque 1.2.1 On prendra toujours implicitement K  C. Si E est un R-espace vectoriel, les


définitions et propriétés sont les mêmes. Il faut seulement prendre en compte le fait que si λ P R
alors λ  λ̄.

Donnons quelques exemples

Exemple 1.2.1 1. R est un Hilbert, px, y q  xy et }x}  |x|.


Ņ Ņ
2. RN est un Hilbert, ppx, y q  xi yi et }x}  p x2i q 2 .
1


i 1 
i 1
Ņ Ņ
3. CN est un Hilbert, px, y q  xi y¯i et }x}  p |xi|2q 1
2 .

i 1 i 1 
Exercice 1.2.1 Soit E  Rn muni du produit scalaire usuel p, q et A une matrice carrée d’ordre
n. À quelles conditions sur A l’application ϕ de E  E dans R définie par

@x, y P E 2 ϕpx, y q  pAx, y q ,

est-elle un produit scalaire ?


Même question lorsque E  Cn .

A propos de l’exercice précédent on rappelle les définitions suivantes :

www.mathonec.com
8 CHAPITRE 1. PRODUIT HERMITIEN

Définition 1.2.4 Soit A une matrice carrée à coefficients réels (d’ordre n). A est symétrique si
A  AJ où AJ désigne la matrice transposée.
A est positive si
@x P Rn pAx, xq ¥ 0 .
A est définie si
pAx, xq  0 ðñ x  0.
On se ramène facilement au cas des matrices symétriques définies positives grâce au
résultat suivant :

Exercice 1.2.2 Si B est une matrice carrée inversible, alors B J B est symétrique définie positive.

Exercice 1.2.3 Soit E l’ensemble des fonctions continues définies sur r0, 1s à valeurs complexes.
Parmi, les applications ϕ ci-dessous quelles sont celles qui définissent un produit hermitien sur
E?
1. ϕpf, g q  maxxPr0,1s tf pxq, g pxqu
2. ϕpf, g q  maxxPr0,1s t|f pxq|, |g pxq|u
»1
3. ϕpf, g q  f pxqg pxq dx
0
»1
4. ϕpf, g q  f pxq ḡ pxq dx
0
»1 2 {
5. ϕpf, g q  f pxqḡ pxq dx
0
6. ϕpf, g q  f p0qḡ p0q

Donnons quelques propriétés élémentaires d’un produit hermitien :

Proposition 1.2.2

@x P E, y P E }x y }2  }x}2 }y}2 2<px, y q ;

Démonstration - Il suffit de développer en tenant compte de la symétrie. l


Proposition 1.2.3 (Inégalité de Cauchy-Schwartz)

@x P E, y P E |px, yq| ¤ }x}}y}.


Démonstration -
1. Si y  0, il n’y a pas de problème.
2. On suppose que y  0 et quitte à diviser par }y }, on suppose que }y }  1. On veut
démontrer que |px, y q| ¤ }x}.

www.mathonec.com
1.2. FORMES BILINÉAIRES ET SESQUILINÉAIRES- PRODUIT HERMITIEN 9

On a
0 ¤ }x  px, yqy}2  }x}2 }px, yqy}2  px, px, yqyq  ppx, yqy, xq.
En effet, }a b}2  pa b, a bq  pa, a bq pb, a bq  pa, aq pa, bq pb, aq pb, bq
donc }a b}2  }a}2 pa, bq pa, bq }b}2 . Donc

}x  px, yqy}2  }x}2 |px, yq|2}y}2  px, yqpx, yq  px, yqpx, yq


 }x}2 |px, yq|2}y}2  2|px, yq|2  }x}2  |px, yq|2
car }y }  1 et finalement }x} ¥ |px, y q|. l
Proposition 1.2.4 (Identité du parallélogramme)

@x P E, y P E |}x y}2 }x  y}2  2p}x}2 }y}2q. (1.2.1)

Démonstration - }x y }2  }x}2 }y }2 2<px, y q et }x  y }2  }x}2 }y }2  2<px, y q d’où

}x y}2 }x  y}2  2p}x}2 }y}2q.


l
Corollaire 1.2.1 (Théorème de la médiane) Soit E un espace préhilbertien, muni du produit
p, q et de la norme associée }  }. Si x, y et z sont des éléments de E, on a l’identité suivante :
 
}2pz  x 2 y q}2 }x  y}2  2 }z  x}2 }z  y}2 (1.2.2)

Il suffit d’appliquer (1.2.1) avec x Ñ z  x et y Ñ z  y. l


Exercice 1.2.4 Montrer que si E est un K-ev de dimension n, on a

}x}2 ¤ }x}1 ¤ `n|x}2 .


Exercice 1.2.5 Soit E un e.v.n. sur R dont la norme vérifie l’identité du parallélogramme

p@px, yq P E 2q }x y }2 }x  y}2  2p}x}2 }y}2q.


On cherche à montrer que
 
ϕ : E2 Ñ R : px, yq ÞÑ 12 }x y }2  }x}2  }y }2

définit un produit scalaire tel que ϕpx, xq  }x}2 .


1. Vérifier que ϕpx, y q  ϕpy, xq, ϕpx, y q  ϕpx, y q, et ϕpx, 2y q  2ϕpx, y q.
2. Montrer que p@px, y, z q P E 3 q ϕpx y, z q  ϕpx, z q ϕpy, z q. (On pourra considérer
l’identité du parallélogramme avec px, y q, puis px z, y z q et enfin px y z, z q.)
3. En déduire que ϕpαx, y q  αϕpx, y q pour α P R. (Considérer d’abord le cas de α P Q.)

www.mathonec.com
10 CHAPITRE 1. PRODUIT HERMITIEN

1.2.2 Orthogonalité
Définition 1.2.5 (Orthogonalité)
Soit E préhilbertien. On dit que x et y sont orthogonaux (noté x K y) si px, y q  0.
Soit F un sous-ensemble de E. L’orthogonal de F est

FK
 ty P E | px, yq  0 @x P F u .
Un ensemble dénombrable B  tϕn , n P Nu est orthogonal si pϕn , ϕk q  0 pour tout n et tout
kn.
L’ensemble B est orthonormé si
"
1 si k  n
pϕn, ϕk q  δn,k  0 sinon

L’orthogonal de l’espace tout entier E K est réduit à t0u. Autrement dit, tout élément de
E orthogonal à tous les autres est nul. Ce résultat élémentaire nous servira souvent.

Proposition 1.2.5 Soient A et B deux sous-ensembles de E espace de Hilbert.


1. A € B ùñ B K € AK .
2. AK est fermé.
3. AK  ĀK
Démonstration - Montrons 1. Soit y P B K . Donc @x P B, px, y q  0 . Comme A € B, on a
donc @x P A , px, y q  0 , c’est-à-dire y P AK .
2. Soit pxn qnPN une suite de AK qui converge vers x dans E. Pour tout y P A nous avons
pxn, yq  0. De plus
|pxn  x, yq| ¤ }xn  x} }y} Ñ 0 ;
donc 0  pxn , y q Ñ px, y q. Par conséquent x P AK .
3. Montrons que ĀK  AK . Comme A € Ā il vient ĀK € AK , d’après 1.
Montrons l’inclusion inverse. Soit y P AK . On veut montrer que @ x P Ā px, y q  0. Pour
tout x P Ā, il existe une suite xn P A telle que xn Ñ x dans E. Comme py, xn q  0 @n, on
obtient py, xq  0 par passage à la limite. l
Exercice 1.2.6 Soit E l’espace vectoriel des fonctions continues sur un intervalle ra, as à
valeurs dans R (avec a ¡ 0). Soit Φ l’application de E  E dans R définie par
» a
Φpf, g q  f ptq g ptq dt.
a
Démontrer que Φ est un produit scalaire sur E. Déterminer AK lorsque A  t1u et A  tf P
E | f paireu.

Exercice 1.2.7 Déterminer la famille orthonormale obtenue en appliquant le procédé d’orthonor-


malisation de Gram-Schmidt aux familles de vecteurs de R3 :

www.mathonec.com
1.3. THÉORÈME DE PROJECTION 11

1. x1  r1, 1, 1sT , x2  r1, 0, 1sT , x3  r1, 1, 0sT .


2. x1  r1, 1, 0sT , x2  r1, 1, 2sT , x3  r2, 0, 1sT .

Exercice 1.2.8 Soit E l’espace vectoriel des fonctions continues sur r π2 , π


2 s à valeurs dans R.
On munit cet espace du produit scalaire suivant
» π

xf | g y  f pxq g pxqcos xdx .


2
(1.2.3)
 π2
1. Vérifiez qu’il s’agit bien d’un produit scalaire.
³
  xncos xdx. Calculer In pour n  0, 1, 2, 3, 4.
π
2
2. Soit In π
2

3. Soit pPn pxqqn¥0 la famille de polynômes orthonormée pour le produit scalaire (1.2.3), construite
par le procédé de Gram-Schmidt appliqué à la famille des monômes ppxn qqn¥0 . Calculer P0 ,
P1 , P2 .

1.3 Théorème de projection


1.3.1 Projection orthogonale
Théorème 1.3.1 (Projection orthogonale sur un sous-espace vectoriel fermé)
Soient H un espace de Hilbert (de norme }  }H ), V un sous-espace fermé de H et f P H. Il existe
un unique élément f˜ P V appelé projeté de f sur V , vérifiant :

}f  f˜}H  ginf
PV
}f  g}H .
De plus une condition nécessaire et suffisante pour que f˜ soit le projeté de f sur V est

@g P V g, f  f˜ H  0 , (1.3.4)

où p, qH désigne le produit hermitien de H associé à la norme }  }H .

Démonstration - Comme }f  g}H est minorée sur V , l’infimum existe et on peut trouver
une suite minimisante fn P V telle que }f  fn }H Ñ d  inf }f  g }H .
def
g PV
Montrons que la suite pfn q est de Cauchy : pour cela on applique le théorème de la
médiane (1.2.1) avec z  f, x  fn et y  fp . On obtient
 
}2pf  fn 2 fp q}2H }fn  fp}2H  2 }f  fp}2H }f  fn}2H
c’est-à-dire
 
}fn  fp}2H  2 }f  fp}2H }f  fn}2H  4}f  fn 2 fp }2H .

www.mathonec.com
12 CHAPITRE 1. PRODUIT HERMITIEN

Or
fn
2
fp
PV et par conséquent

}f  fn 2 fp }2H ¤ d2 ;
on obtient
 
}fn  fp}2H ¤ 2 }f  fp}2H }f  fn}2H  4 d2 .
Or lim }f  fp }H  d et lim }f  fn }H  d . Cela permet de conclure que la suite pfn q
pÑ 8 nÑ 8
est de Cauchy.
Comme H est un espace de Hilbert, il est complet et donc la suite fn converge vers une
limite f˜. L’espace V étant fermé cette limite est dans V . Enfin, il est clair que

d  lim }f  fp}H  }f  f˜}H .


pÑ 8
Nous avons donc l’existence d’un projeté de f sur V . L’unicité provient encore du théorème
de la médiane : supposons qu’il y ait deux éléments de V , f˜ et g̃ qui réalisent l’infimum.
L’égalité de la médiane appliquée à z  f, x  f˜ et y  g̃ donne comme précédemment :
 

}f˜  g̃}2H ¤ 2 loooomoooon


}f  f˜}2H loooomoooon
}f  g̃}2H   4 d2 ¤ 0 .
d2 d2
On en conclut que f˜  g̃.
Montrons maintenant la condition (1.3.4). On appelle f˜ le projeté de f sur V .


Soit g P V pg  0q. On peut supposer }g }H  1 puisque f  f ,  g


 0 ðñ
}g }H H

pf  f , gqH  0 . Nous avons par définition de f (avec K  R ou C)
˜

@α P K }f  f˜}2H ¤ }f  f˜  αgs }2H .


En développant, il vient
 
@α P K 0 ¤ |α|2  2< ᾱ f  f˜, gq H
.

En prenant α  f  f˜, g il vient
H

0 ¤ |α|2  2|α|2  |α|2.


Donc α  0. l
Réciproquement : supposons que (1.3.4) a lieu .

}f  g}2H  }f  f˜ f˜  g }2H  }f  f˜}2H }f˜  g}2H 2< f  f˜, f˜  g H
;

www.mathonec.com
1.3. THÉORÈME DE PROJECTION 13


or f˜  g PV donc (1.3.4) implique que < f  f˜, f˜  g  0. Finalement
H

}f  g}2H  }f  f˜}2H }f˜  g}2H ¥ }f  f˜}2H ,


et l’égalité a lieu si g  f˜. l
Tout élément f P H admet donc un unique projeté f  P V vérifiant
}f  f }  min
g PV
}f  g} .
Ce projeté est caractérisé par
@g P V pf  f , gq  0 ,
c’est-à-dire f  f  P V K. C’est pour cela qu’on dit que c’est le projeté orthogonal.
L’application
π: H Ñ V
f Þ Ñ f
est une projection orthogonale .

Proposition 1.3.1 La projection orthogonale π sur un sous-espace vectoriel fermé V est linéaire
et continue. De plus ker π  V K .

Démonstration - Soit f et g dans H et λ, µ dans C. On utilise la caractérisation


@v P V pf  πpf q, vq  0 et pg  πpgq, vq  0
Donc pλf µg  λπ pf q  µπ pg q, v q  0 @v P V ; par unicité du projeté orthogonal on
obtient π pλf µg q  λπ pf q µπ pg q, d’où la linéarité.
Appliquons la caractérisation de π pf q et π pg q avec v  π pf q  π pg q P V .
Il vient pf  π pf q, π pf q  π pg qq  0 et pg  π pg q, π pf q  π pg qq  0.
On fait la différence pour obtenir pf  g  pπ pf q  π pg qq, pπ pf q  π pg qqq  0. D’où
}πpf q  πpgq}2  pf  g, pπpf q  πpgqqq ¤ }f  g} }πpf q  πpgq} .
L’application π est non seulement continue mais lipschitzienne de rapport 1. l
Remarque 1.3.1 On peut définir plus généralement l’opérateur de projection de H sur un sous-
ensemble convexe fermé de H. L’existence et l’unicité du projeté se montrent exactement de la
même façon mais la caractérisation est différente. Dans ce cas l’opérateur de projection n’est pas
linéaire. Il reste continu. On trouvera des résultats plus détaillés dans [?].
Donnons à présent quelques propriétés utiles.
Théorème 1.3.2 Soit H un espace de Hilbert et F un sous espace vectoriel fermé de H. Alors
 F ` F K.
H
Démonstration - Soit x P H. Alors x  πF pxq x  πF pxq où πF est la projection ortho-
gonale de H sur F . Il est clair que πF pxq P F et nous avons vu que x  πF pxq P F K . Par
conséquent H  F F K . De plus, si x P F X F K alors px, xq  0. Donc x  0. l

www.mathonec.com
14 CHAPITRE 1. PRODUIT HERMITIEN

1.3.2 Cas où V est un espace de dimension finie


Supposons que V est un sous-espace de dimension finie (N ) de H, de base pϕ1 ,    , ϕN q.
Soit f  le projeté orthogonal de f P H sur V ; on peut écrire


f  λ i ϕi .

i 1

Comme f  f  P V K on obtient pf  f , ϕiq  0 pour tout i, et donc pf, ϕiq  pf , ϕiq,


pour tout i, c’est-à-dire


@i  1..N p λj ϕj , ϕi q  pf, ϕi q ,

j 1


@i  1..N λj pϕj , ϕi q  pf, ϕi q .
j 1 
On désigne par G la matrice N  N (à coefficients complexes) de terme général gij 
pϕi, ϕj q. Il s’agit de la matrice de Gram.
On peut donc déterminer pλi qi1, ,N en résolvant le système linéaire
 
λ1 pf, ϕ1q
GΛ  F , où Λ  
 ..  .. 
 . et F  . ;
λN pf, ϕN q
si la base est orthogonale, la matrice G est diagonale. l
Théorème 1.3.3 Si la famille pϕi q1¤i¤N est libre, La matrice de Gram est hermitienne (c’est-à-
dire vérifie G  ḠJ ), définie positive.

Démonstration - La matrice de Gram est hermitienne car le produit hermitien est symétrique
et donc gj,i  gi,j .
Montrons qu’elle est définie positive. Soit X  px1 , ..., xN q P CN et calculons pX, GX qCN :

Ņ Ņ Ņ
pX, GX qC  N xi pGX qi  xi ḡi,k x̄k

i 1 
i 1 
k 1

 
Ņ Ņ Ņ Ņ
 xi pϕi, ϕk qH x̄k  xi pϕk , ϕiqH x̄k

i 1 
k 1 
i 1 
k 1
 
Ņ Ņ Ņ Ņ
 xi px̄k ϕk , ϕiqH  x̄k ϕk , x̄i ϕi .

i 1 
k 1 
k 1 
i 1 H

www.mathonec.com
1.3. THÉORÈME DE PROJECTION 15


Posons X  x̄k ϕk ; on en déduit que

k 1

pX, GX qC  pX , X qH  }X }2H .
N

Par conséquent pX, GX qC ¥ 0 et la matrice G est positive. De plus si pX, GX qC  0,


N N

alors }X }2H  0 et donc X  0 car la famille pϕi q1¤i¤N est libre. Cela entraı̂ne que X  0
et la matrice G est définie (et donc en particulier inversible). l
Dans le cas où la base pϕi q1¤i¤N est orthogonale, on obtient λi 
pf, ϕi q
pϕ , ϕ q donc
i i

f 

pf, ϕiq ϕ ,
i1
pϕi, ϕiq i
et ci pf q 
pf, ϕiq est appelé coefficient de Fourier relativement à la base pϕ q
i 1¤i¤N .
pϕi, ϕiq

www.mathonec.com
16 CHAPITRE 1. PRODUIT HERMITIEN

www.mathonec.com
Chapitre 2

Analyse matricielle générale

Dans tout ce qui suit E est un espace vectoriel sur un corps K qui est soit R, soit C. E
sera supposé de dimension finie (sauf mention explicite du contraire). E est muni d’un
produit hermitien noté p , q.

2.1 Matrices hermitiennes


2.1.1 Endomorphismes adjoints - Matrices adjointes
Proposition 2.1.1 Soit E un K-ev de dimension finie muni d’un produit hermitien. Pour toute
application linéaire u de E dans E (endomorphisme) il existe une unique application linéaire u
appelée endomorphisme adjoint, telle que

@x, y P E 2 pupxq, yq  px, upyqq . (2.1.1)

Démonstration - Soit pe1 ,    , en q une base orthonormée de E (c’est toujours possible d’en
trouver une avec le procédé d’orthogonalisation de Schmidt). L’endomorphisme u est
entièrement déterminé par sa donnée sur cette base (c’est-à-dire par sa matrice dans cette
base). Posons

@i  1,    , n upei q  uij ej ;

j 1

remarquons que l’orthonormalité de la base implique : uij  pupeiq, ej q. Définissons main-


tenant l’endomorphisme u de la manière suivante :

@j  1,    , n u pej q  ūkj ek .

k 1

Fixons i et j dans t1,    , nu et calculons :



ņ ņ
pei, upej qq  ei, ūkj ek  ukj pei , ek q .

k 1 
k 1

17

www.mathonec.com
18 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

Comme la base pei q est orthonormée on obtient

pei, upej qq  uij  pupeiq, ej q .


On peut alors conclure avec la bilinéarité du produit hermitien que

ņ ņ ņ ņ
pupxq, yq  up xi ei q, yj ej  xi ȳj pupei q, ej q
i 1 
j 1  
i 1j 1

ņ ņ ņ ņ
 xi ȳj pei , u pej qq  xi ei , yj u pej q  px, upyqq .
 
i 1j 1 
i 1 
j 1

Nous avons donc montré l’existence de u .


Montrons maintenant l’unicité : s’il existe deux endomorphismes adjoints u1 et u2 vérifiant
(2.1.1) alors
@x, y px, u1 pyq  u2 pyqq  0 ;
donc pour tout y : u1 py q  u2 py q P E K . Donc u1 py q  u2 py q  0 , ceci pour tout y de E. On
a donc unicité. l

Proposition 2.1.2 Soit E un K-ev de dimension finie muni d’un produit hermitien et soit B une
base orthonormée. Soit u un endomorphisme de E et u l’endomorphisme adjoint. Si A désigne la
matrice de u dans la base B, la matrice u dans la base B est

A  ĀJ .
Cette matrice est la matrice adjointe de A

Démonstration - Nous avons établi dans la proposition précédente que si A est la matrice
de u dans une base orthonormée, avec A  puij q1¤i,j ¤n , la matrice de u dans cette même
base est A  pūji q1¤i,j ¤n . Cela signifie que A  ĀJ . l
On peut étendre la notion de matrice adjoint à des matrices qui ne sont pas carrées. Nous
avons les propriétés suivantes

Proposition 2.1.3 Soit A une matrice pn, pq à coefficients complexes. Soit A  ĀJ la matrice
adjointe. On a
1. pAB q  B  A
2. dim Im A = dim Im A (appelé rang de A)
3. ker A  pIm AqK
4. Im A  pker AqK

Démonstration - 1. Évident
2. Le rang de A est la dimension de la plus grande matrice B inversible extraite de A. Il
est clair que B̄ J est alors inversible et c’est la plus grande matrice extraite de A . Donc A

www.mathonec.com
2.1. MATRICES HERMITIENNES 19

et A ont même rang.


3. Soit y P kerA €. Donc A y  0 ; en identifiant l’endomorphisme u : Cn Ñ Cp à sa
matrice A , on a
@x P Cp px, AyqCp  pAx, yqCn  0 .
Donc y est orthogonal à tous les éléments de la forme Ax c’est-à-dire à Im A. Finalement
ker A € (Im AqK .
Réciproquement, soit y P pIm AqK . Comme pour tout élément x P Cp , Ax P Im A, nous
avons
@x P Cp pAx, yq  0 ,
c’est-à-dire
@x P C p px, Ayq  0 ,
et par conséquent A y P pCp qK  t0u.
4. Ce point se montre de la même manière en remarquant que pA q  A. l
Définition 2.1.1 Soit A une matrice carrée à coefficients complexes. On dit que
1. A est autoadjointe ou hermitienne si A  A
2. A est unitaire si AA  I (c’est-à-dire A1  A)
3. A est normale si AA  A A.
Une matrice hermitienne A à coefficients réels est appelée matrice symétrique.
Une matrice unitaire A à coefficients réels est appelée matrice orthogonale.

Proposition 2.1.4 Soit A une matrice unitaire. Alors l’image d’une base orthonormée par A est
encore une base orthonormée.
Réciproquement, si A est la matrice de passage d’une base orthonormée à une autre base ortho-
normée, alors A est unitaire.

Démonstration - soit B  pe1 ,    , en q une base orthonormée de Cn . L’image de B par A


(matrice unitaire ) est pAe1 ,    , Aen q. Montrons que c’est une famille orthonormée (et par
le théorème du rang, ce sera encore une base).
"
1 si i  j
@i, j pAei, Aej q  pei, AAej q  pei, ej q  δij  0 si i  j

car A A  I.
Réciproquement, la relation ci-dessus montre que si pAe1 ,    , Aen q est une base ortho-
normée, la matrice A vérifie A A  I l
Exemple 2.1.1 Les matrices orthogonales (à coefficients réels) de M2 pRq sont de la forme



A ou A 
cos θ sin θ cos θ sin θ
 sin θ cos θ sin θ  cos θ
où θ P r0, 2πs.

www.mathonec.com
20 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

2.1.2 Réduction des matrices hermitiennes et/ou unitaires


Quelques rappels

Définition 2.1.2 Soit A une matrice carrée d’ordre n (à coefficients complexes). On dit que λ est
valeur propre de A si on peut trouver xλ P Cn , xλ  0 tel que Axλ  λxλ . Le vecteur xλ est
appelé vecteur propre associé à la valeur propre λ.
L’ensemble des valeurs propres de A est le spectre de A.
L’espace propre associé à λ est
Eλ  kerpA  λI q .

On appelle rayon spectral de A

ρpAq  maxt|λi | , λi valeur propre de Au .

On appelle polynôme caractéristique de A :

PA pX q  detpA  XIn q .

Théorème 2.1.1 Soit A P Mn pCq. A possède n valeurs propres distinctes ou confondues.

Théorème 2.1.2 (Théorème de Cayley-Hamilton)


Soit A P Mn pK q telle que toutes les racines du polynôme caractéristique de A soient dans K.
Alors PA pAq  0.

On rappelle le résultat fondamental de diagonalisation d’une matrice

Théorème 2.1.3 Soit A P Mn pCq avec pour valeurs propres distinctes λi , i  1,    , p (p ¤ n).
La matrice A est diagonalisable si et seulement si

à
p
Cn  Eλi .

i 1

Nous terminons enfin par un résultat de triangularisation que nous admettrons

Théorème 2.1.4 (Décomposition de Schur) Toute matrice A de Mn pCq est triangularisable


(dans C) de la façon suivante : il existe U unitaire et T matrice triangulaire telles que

A  U T U 1 .

Ce théorème signifie que la matrice de passage U correspond à des bases orthonormées.

Etude spectrale des matrices hermitiennes

Proposition 2.1.5 Les valeurs propres d’une matrice hermitienne sont réelles.

www.mathonec.com
2.1. MATRICES HERMITIENNES 21

Démonstration - Soit A une matrice hermitienne ( A  A ) et λ une valeur propre de A.


Soit xλ un vecteur propre associé que l’on peut supposer de norme 1 : alors pAxλ , xλ q  λ.
De plus
pAxλ, xλq  pxλ, Axλq  pxλ, Axλq  λ̄ .
Donc λ  λ̄ : λ P R. l
Théorème 2.1.5 Soit A P Mn pCq. La matrice A est normale si et seulement si il existe une
matrice U unitaire telle que
A  U diag pλ1 ,    , λn qU 1
où pλ1 ,    , λn q sont les valeurs propres de A.
Démonstration - Notons D  diag pλ1,    , λnq. Si A  U DU 1  U DU  alors
AA  U DU  pU  q D U   U D lo  Uon D U  .
Uomo
I
 
Comme D est diagonale DD  D D. Donc
AA  U D DU   U D DU   A A .
La matrice A est normale.
Réciproquement , toute matrice A s’écrit A  U T U 1 avec T triangulaire et U unitaire
(décomposition de Schur). Comme A est normale, il vient
AA  U T U  U T  U   U T T  U   A A  U T  U  U T U   U T  T U  .
Donc U pT T   T  T qU   0 et par unicité de la décomposition de Schur on obtient
T T   T  T , où T est triangulaire. On montre ensuite (en calculant les coefficients non
diagoanux) qu’une matrice triangulaire et normale est nécessairement diagonale. l
Théorème 2.1.6 Soit A P Mn pCq. La matrice A est hermitienne si et seulement si elle est dia-
gonalisable dans une base orthonormée avec des valeurs propres réelles, autrement dit s’il existe
une matrice unitaire U telle que
A  U diag pλ1 ,    , λn qU 1
avec λi P R, pour tout i.
Démonstration - Une matrice hermitiennne est en particulier normale donc elle s’écrit
A  U diag pλ1 ,    , λn qU 1 ,
où U est unitaire. Nous avons déjà remarqué que les valeurs propres sont réelles.
Réciproquemement, il est facile de vérifier que si A  U diag pλ1 ,    , λn qU 1 , avec λi
réel, alors A  A. l
Corollaire 2.1.1 Une matrice réelle symétrique est diagonalisable dans une base othonormée de
valeurs propres : il existe Q matrice orthogonale (i.e. Q1  QJ ) telle que
A  Q diag pλ1 ,    , λn qQ1

www.mathonec.com
22 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

Matrices définies positives

Définition 2.1.3 (Matrice (semi-définie) positive)


Soit A une matrice carrée d’ordre n à coefficients réels ou complexes. On dit que A est semi-définie
positive si
@x P Cn pAx, xq ¥ 0
Attention cela ne signifie pas automatiquement que tous les coefficients de A sont po-
sitifs.

Définition 2.1.4 (Matrice définie positive)


Soit A une matrice carrée d’ordre n à coefficients réels ou complexes. . On dit que A est définie
positive si A est semi-définie positive et

pAx, xq  0 ô x  0 .
Proposition 2.1.6 Soit A P Mn pCq une matrice hermitienne. La matrice A est semi-définie po-
sitive si et seulement si toutes ses valeurs propres sont positives ou nulles.
Elle est positive si et seulement si toutes ses valeurs propres sont strictement positives.

2.1.3 Valeurs singulières


Dans cette section nous considérons des matrices à coefficients complexes non nécessairement
carrées. Le résultat suivant sera utile par la suite

Lemme 2.1.1 Si A P Mn,p pCq la matrice AA est hermitienne et ses valeurs propres sont réelles
positives.

La démonstration est laissée en exercice.

Définition 2.1.5 Les valeurs singulières d’une matrice A P Mn,p pCq sont définies par
a
µpAq  λpAA q

où λpAA q est valeur propre de la matrice AA

Remarque 2.1.1 il est indifférent de choisir AA ou A A car ces matrices ont les mêmes valeurs
propres.

Proposition 2.1.7 Les valeurs singulières d’une une matrice (carrée) normale A sont les modules
de ses valeurs propres. En particulier si A est hermitienne positive les valeurs singulières et les
valeurs propres sont les mêmes.

www.mathonec.com
2.1. MATRICES HERMITIENNES 23

Démonstration - Soit A une matrice (carrée) normale d’ordre n . On peut trouver une
matrice unitaire U et D  diag pλi q telles ques A  U DU  . Donc

AA  U DU U DU   U DDU  .


Les matrices AA et DD  diag p|λi |2 q sont donc semblables : elles ont les mêmes
valeurs propres. l
On termine par un théorème de décomposition (que nous admettrons)

Théorème 2.1.7 ( Décomposition en valeurs singulières (VSD)) Soit A P Mn,p pCq une
matrice ayant r valeurs singulières strictement positives. Il existe deux matrices unitaires U P
Mp pCq et V P Mn pCq, et une matrice diagonale Σ̃ P Mn,p pRq, telles que


A  V Σ̃U  , Σ̃ 
Σ 0
,
0 0

où Σ est une matrice diagonale formée des r valeurs singulières de A strictement positives. Par
convention ces valeurs singulières sont classées ainsi :

µ1 ¥ µ2 ¥    ¥ µr ¡ 0 .
2.1.4 Quotient de Rayleigh
Dans cette sous-section on va utiliser le fait que les valeurs propres d’une matrice
hermitienne sont réelles et que la matrice de passage intervenant dans la diagonalisation
est unitaire. V désigne (toujours) un C-espace vectoriel de dimension finie n muni du
produit hermitien p, q. Une base de V étant fixée, on identifiera les vecteurs de V avec les
vecteurs de leurs composantes dans Cn et les endomorphismes de V avec leurs matrices
dans la base choisie.

Définition 2.1.6 (Quotient de Rayleigh) Soit A une matrice carrée d’ordre n . Le quotient
de Rayleigh de A est l’application définie par

RA : V  t 0u Ñ C
v ÞÑ ppAv, vq
v, v q

Remarque 2.1.2 Si A est hermitienne, RA est à valeurs réelles et si α P C  t0u, RA pαv q 


αRA pv q. En particulier, la valeur prise sur un sous-espace vectoriel W de V est la même que celle
prise sur W X S pV q où S pV q est la sphère unité de V :

S pV q  tv P V | }v}  1 u .
Nous pouvons donner une caractérisation du spectre de A en termes de quotient de Ray-
leigh :

www.mathonec.com
24 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

Théorème 2.1.8 Soit A une matrice hermitienne de valeurs propores (distinctes ou confondues)
λ1 ¤ λ2 ¤    ¤ λn . Les vecteurs propres associés sont orthonormés et sont notés p1 , p2 ,    , pn .
Pour k P t1,    , nu on note par Vk le sous-espace engendré par tpi , 1 ¤ i ¤ k u et par Vk
l’ensemble des sous-espaces de V de dimension k. On note Vo  t0u et Vo  tVo u.
Les valeurs propres de A admettent les caractérisations suivantes : pour tout k P t1,    , nu
1. λk  RAppk q
2. λk  max RA pv q
v PV ,v 0
k

3. λk  min RA pv q
P K
v Vk1 ,v 0 
4. λk  Wmin max R pv q
PV vPW,v0 A
k

5. λk  max min RA pv q
W PV  v PW K ,v 0
k 1

6. De plus tRA pv q, v P V, v  0u  rλ1 , λn s € R .


En particulier

 mintRApvq | v P V  t0u u et λn  maxtRApvq | v P V  t0u u .


λ1

Démonstration - Soit U la matrice unitaire de colonnes pp1 ,    , pn q de sorte que

U  AU  diag pλi q 
def
D.

Soit v  0 et w  U v , c’est-à-dire tel que U w  v.


RA pv q 
pAv, vq  pAU w, U wq  pU AU w, wq  pDw, wq  R pwq .
pv, vq pU w, U wq pU U w, U wq pw, U wq D

Un vecteur v P Vk est de la forme v  vi pi  U w où

i 1

α1
 .. 
 . 
 
 
w  

αk
0
 .

 
 .. 
 .
0

Donc

λi |αi |2
RA pv q  RD pwq  
i 1
(2.1.2)

|αi|2


i 1

www.mathonec.com
2.2. NORMES MATRICIELLES 25

Démontrons maintenant les 6 assertions du théorème grâce à la relation ci-dessus.


1. Choisissons v  pk . Alors αi  0 pour tout i  k et αk  1. Donc RA ppk q  λk .
2. Pour tout v P Vk , RA pv q ¤ max λi , 1 ¤ i ¤ k  λk . L’inf est atteint pour v  pk .

3. Soit v P VkK1 : v est donc de la forme vi pi . Par conséquent
i k 

λi |αi |2
R A pv q  i k  ¥ λk ;

|αi| 2


i k

le maximum est atteint pour v  pk .


4. et 5. laissés en exercice.
6. On vient de voir que
@v  0 λ1 ¤ R A pv q ¤ λ n .
L’application RA atteint toutes ses valeurs si on la restreint à la sphère unité (voir re-
marque plus haut). Comme RA est continue sur la sphère unité toutes les valeurs de
rλ1, λns sont atteintes. l

2.2 Normes matricielles


Dans tout ce qui suit E est toujours une K espace vectoriel de dimension finie n
(K  R ou C). Pour plus de généralité on présentera les résultats dans C. E est donc
automatiquement un espace vectoriel normé isomorphe à Kn (toutes les normes sont
équivalentes).
L’ensemble Mn pKq des matrices carrées d’ordre n à coefficients dans K est un espace
vectoriel sur K de dimension n2 .

Définition 2.2.1 Une application N de Mn pKq vers R est une norme matricielle si les pro-
priétés suivantes sont satisfaites :
1.@pA, B q P MnpKq  MnpKq N pA B q ¤ N pAq N pB q.
2. @A P Mn pKq, @λ P K N pλAq  |λ|N pAq.
3. @A P Mn pKq, N pAq ¥ 0 et N pAq  0 ùñ A  0 .
4. @pA, B q P Mn pKq  Mn pKq N pAB q ¤ N pAqN pB q.

On notera }A}  N pAq.

Exemple 2.2.1 L’application A ÞÑ N pAq  max |ai,j | n’est pas une norme matricielle ; soit
1¤i,j ¤n
A une matrice dont tous les coefficients sont égaux à 1.

1  N pAq2   N pA2q  n

www.mathonec.com
26 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

Lorqu’on connaı̂t la norme d’un espace vectoriel de dimension n on peut alors construire
une norme matricielle qui lui est associée :
Proposition 2.2.1 (Norme induite) Soit V un K-espace vectoriel de dimension n muni d’une
norme (vectorielle) notée }  }. Alors l’application N : Mn pKq Ñ R définie par

N pAq  sup
}Av}
v 0 }v }

est une norme matricielle appelée norme induite ou subordonnée à la norme }  }. De plus

N pA q 
}Av}  sup }Av}  max }Av} ,
}v}¤1,v0 }v}
sup
}v}1 }v}1
et
@v P V }Av} ¤ N pAq }v} .
On notera désormais N pAq  }A} .
Démonstration - La démonstration de cette proposition est laissée en exercice. l

Exemple 2.2.2 Donnons quelques exemples de normes induites par les normes vectorielles « usuelles ».
1. La norme induite par la norme }  }1 est :

}A}1  sup }}Av }1  max ņ

v} 1 ¤j ¤n
|aij | .

v 0 1 
i 1

2. La norme induite par la norme }  }8 est :

}A}8  sup }}Av }8  max ņ

v} 1¤i¤n
|aij | .

v 0 8 
j 1

3. La norme induite par la norme }  }2 est :

}A}2  sup }}Av }2  a


ρpA Aq  }A }2 ,

v 0 v} 2

où ρpAq désigne le rayon spectral de A.


Si U est unitaire alors }A}2  }U A}2  }AU }2 .
Enfin si A est normale alors }A}2  ρpAq.
La démonstration des 2 premiers points est laissée en exercice. Le point 3 se démontre en
utilisant le quotient de Rayleigh. En effet
pAAv, vq  pAvA, vq  p }Av} q2 ,
RA A pv q 
pv, vq pv, vq }v}
et on a vu que ρpA Aq  maxtRA A pv q | v P V  t0u u. Donc
a a
}A}2  sup RAApvq  ρpAAq .

v 0

www.mathonec.com
2.2. NORMES MATRICIELLES 27

Remarque 2.2.1 }A}2 est la plus grande valeur singulière de A. De plus


si A est hermitienne (ou symétrique) a alors }A}2  ρpAq. De même
a donc normale,
si U est unitaire , alors }U }2  ρpU  U q  ρpI q  1 .

Toute norme induite est une norme matricielle. En revanche, la réciproque est fausse ,
comme nous le détaillons ci-dessous.

Proposition 2.2.2 (Norme de Frobenius ) Pour n entier ¥ 1, on définit l’application }}F par
g
f
f ņ a
}A}F  e |ai,j |2  tr pA Aq .
ij 1 
C’ est une norme matricielle mais ce n’est pas une norme induite si n ¥ 2.
Dautre part, elle est invariante par transformation unitaire :

@U unitaire }A}F  }U AU }F .


2
Démonstration - Si on stocke la matrice A sous la forme d’un vecteur de Cn on constate
2
que la norme de Frobenius est la norme euclidienne (vectorielle) de Cn . L’inégalité de
Cauchy-Schwarz permet de montrer que c’est aussi une norme matricielle. En effet, pour
toutes matrices A et B
 2  
ņ  ņ  ņ ņ ņ
}AB } 
2
F




aik bkj 

¤ |aik | 2
|bkj |
2


ij 1 k 1  ij 1  
k 1 k 1
 
ņ ņ
¤  |aik |
2 
|bkj |2  }A}2F }B }2F .

i,k 1 
j,k 1

Si N est une norme induite il est clair que N pI q  1. Or }I }F  `n. l


Corollaire 2.2.1 On peut comparer la norme de Frobenius et la norme induite par la norme
euclidienne :
}A}2 ¤ }A}F ¤ `n}A}2 ,
car ρpA Aq ¤ tr pA Aq ¤ nρpA Aq ;

On va voir que le rayon spectral joue un rôle important pour les normes matricielles. Il
existe des matrices (non hermitiennes bien sûr) pour lesquelles ρpAq   }A} pour toute
norme matricielle. Prenons par exemple la matrice


A
0 1
.
0 0

Son rayon spectral est nul alors qu’aucune quantité }A} ne peut être nulle puisque la
matrice A n’est pas nulle. Toutefois, pour une matrice donnée A on peut toujours trouver
une norme matricielle qui permette d’approcher supérieurement le rayon spectral.

www.mathonec.com
28 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

Théorème 2.2.1 1. Soit A une matrice carrée quelconque et }} une norme matricielle quelconque
(induite ou pas) sur Cn . Alors
ρpAq ¤ }A} .
2. Etant donnés une matrice A et ε ¡ 0, il existe au moins une norme matricielle induite }  }A,ε
telle que
}A}A,ε ¤ ρpAq ε.
Démonstration - 1. Soit x un vecteur propre associé à la valeur propre de A, λ réalisant
le rayon spectral (|λ|  ρpAq). Soit y un vecteur quelconque de Cn non nul. La matrice
B  xy  ( n  n) n’est pas nulle.
Comme }  } est une norme matricielle on a donc }AB } ¤ }A}}B }. De plus Axy   λxy  .
On obtient donc |λ|}xy  }  }Axy  } ¤ }A}}xy  } , c’est-à-dire |λ|  ρpAq ¤ }A} .
2. Soit A une matrice fixée (quelconque). On peut trouver U telle que U 1 AU  T soit
triangulaire (supérieure par exemple). On a donc

λ1 t12 t13  
 

 0
..
.    

U 1 AU  
. 



..
. 0
..
 

   0 λn1 tn1,n
0
  0
0 λn
où pλi q sont les valeurs propres de A. Soit δ  0 et Dδ  diag p1, δ, δ 2 ,    , δ n1 q. On a

λ1 δt12 δ 2 t13    δ n1 t1,n
 0
 λ2 δt23     

pU Dδ q ApU Dδ q   .. 
1
 . 0
..
.      .
 0  0 λn1 δtn1,n
0   0 λn
Soit ε ¡ 0 : fixons δ tel que
ņ  j i 
@i P t 1,    , n  1 u δ tij  ¤ε.

j i 1

On définit alors la norme matricielle suivante (induite par la norme 8) :

 }pU Dδ q1ApU Dδ q}8 .


}B } def
C’est la norme matricielle induite par la norme vectorielle suivante :
v ÞÑ }pU Dδ q1v}8 .
D’autre part on vérifie que
}A} ¤ ρpAq ε

en utilisant }B }8  1max |bij | . l
¤i¤n 
j 1
Terminons par un résultat qui sera utile quand on étudiera les suites de matrices.

www.mathonec.com
2.3. SUITES ET SÉRIES DE VECTEURS ET DE MATRICES 29

Théorème 2.2.2 1. Soit }  } une norme matricielle induite et B telle que }B }   1. Alors I B
est inversible et
}pI B q1} ¤ 1 1}B } .
2. Si I B est singulière alors }B } ¥ 1 pour toute norme matricielle.
Démonstration - 1. Calculons le noyau de I B. Supposons qu’il existe u  0 tel que
pI B qu  0. On a donc Bu  u d’où
}u}  }Bu} ¤ }B }}u}   }u} ,
ce qui est impossible. Donc u = 0 et I B est inversible. De plus, comme pI B q1 
I  B pI B q1 on a
}pI B q1} ¤ 1 }B } }pI B q1} ,
d’où le résultat.
2. Si I B est singulière, -1 est valeur propre de B et donc ρpB q ¥ 1. On nous savons que
pour toute norme matricielle }B } ¥ ρpB q ce qui permet de conclure. l

2.3 Suites et séries de vecteurs et de matrices


Dans tout ce qui suit les matrices considérées sont carrées.
Définition 2.3.1 Une suite de vecteurs pvk qk¥1 converge vers un vecteur v si pour toute norme
vectorielle }  } on a
lim }vk  v }  0 .
k Ñ 8
Une suite de matrice pAk qk¥1 converge vers une matrice A si pour toute norme matricielle }  }
on a
lim }Ak  A}  0 .
k Ñ 8
Remarquons que dans la définition précédente, il suffit qu’il existe une norme (vectorielle
ou matricielle) telle que la limite existe puisque toutes les normes sont équivalentes en
dimension finie.
Proposition 2.3.1 Soit pAk qk¥0 une suite de matrices (complexes) de coefficients aki,j . La suite de
matrice converge vers A de coefficient général ai,j si et seulement si les suites paki,j qk¥0 convergent
vers ai,j pour tous 1 ¤ i, j ¤ n.
Démonstration - Il sufffit de remarquer que pour tout k ¥0
@i, j |aki,j  ai,j | ¤ }Ak  A}8 .
l
Les séries de matrices (et de vecteurs) sont définies de manière analogue aux séries
numériques en considérant la suite des sommes partielles :

Sk  Ak .

i 1

www.mathonec.com
30 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

Donnons d’abord des critères de convergence d’une suite géométrique de matrices.


Théorème 2.3.1 Soit A P Mn pCq une matrice. Les quatre conditions sont équivalentes :
1.
k
lim Ak
Ñ 8
0
2. @v P Cn, kÑlim8 Ak v  0
3. ρpAq   1.
4. Il existe au moins une norme matricielle induite telle que }A}   1.
Démonstration - (1) ùñ(2) : pour tout v P Cn
}Ak v} ¤ }Ak }}v} Ñ 0 .
(2) ùñ(3) : Si ρpAq ¥ 1,il existe une valeur propre λ de module ¥ 1. Soi v un vecteur
propre associé :
}Ak v}  |λ|k }v} Ñ 8 .
1  ρpAq
(3) ùñ (4) : soit ε  ¡ 0. On sait qu’il existe au moins une norme matricielle
2
telle que
ρ pA q
}A} ¤ ρpB q ε
1
2
 1.
(4) ùñ (1) : évident car }Ak } ¤ }A}k . l
On peut maintenant étudier quelques propriétés des séries entières de matrices :
Définition 2.3.2 Une série entière de matrices est définie par
¸
ak Ak où pak qi¥1 est une suite complexe.
k

Théorème 2.3.2 Soit une série entière sur C de rayon de convergence R ¡ 0 :


 
¸8 
@z P C tel que |z| ¤ R 


ak 
z k

  8.

k 1

Pour °toute matrice A P Mn pCq dont le rayon spectral ρpAq est strictement plus petit que A la
série k Ak est convergente :
 
8
¸ ¸8 
ak Ak P MnpCq et




ak Ak 

  8.

k 1 
k 1

Démonstration - Comme ρpAq   R on sait qu’il existe une norme matricielle induite qui
vérifie aussi }A}   R (voir la démonstration du théorème précédent). On vérifei le critère
de Cauchy pour la suite des sommes partielles
 
 p 
 ¸  ¸
p

 ak Ak
 ¤ |ak |}A}k .
kj 1  
k j 1

www.mathonec.com
2.4. EXERCICES 31

Comme une série entière est absolument convergente sur son disque de convergence, le
fait que }A}   R implique que le membre de droite tend vers 0 quand j, p tendent vers
8, d’où la convergence de la série. l
Exemple 2.3.1 Soit A une matrice de rayon spectral ρpAq   1. La matrice I  A est inversible
et son inverse est donné par
8
¸
pI  Aq1  Ak .

k 0

Nous terminons par un résultat permettant de « mesurer » la vitesse de convergence.

Théorème 2.3.3 Soit B une matrice carrée et }  } une norme matricielle quelconque. Alors

k
lim
Ñ 8
}B k }1{k  ρpB q .
Démonstration - Comme ρpB q ¤ }B } pour toute norme matricielle, il vient

ρpB q  ρpB k q1{k ¤ }B k }1{k .


D’autre part, soit ε ¡ 0= la matrice Bε  ρpBBq vérifie ρpBε q   1 . Donc lim Bεk  0.
ε k Ñ 8
Par conséquent, il existe nε tel que

@k ¥ nε }Bεk } ¤ 1 ;
Donc }B k } ¤ pρpB q εqk et }B k }1{k ¤ ρpB q ε l

2.4 Exercices
1. Une matrice triangulaire et normale est diagonale.
2. Soit A P Mn pCq et σ pAq son spectre.
(a) Si A est unitaire, montrer que | detpAq|  1.
(b) On suppose A strictement triangulaire (i.e. triangulaire, dont les éléments dia-
gonaux sont nuls). Montrer que An  0.
(c) Si A est inversible, montrer que σ pA1 q  tλ1 | λ P σ pAqu.
(d) Montrer que σ pA q  tλ̄ | λ P σ pAqu.
(e) On suppose que A2  A, calculer σpAq.
(f) On suppose kerpAq  t0u, montrer que la matrice A A est définie positive.
3. Norme de Frobenius (ou norme de Schur)
(a) Montrer que la norme de Frobenius est une norme matricielle. On notera }A} 
ϕpAq, pour toute matrice A P Mn pCq.

www.mathonec.com
32 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

(b) On note pµi qni1 les valeurs singulières de la matrice A, montrer que }A}2 

tracepA Aq  µ2i .

i 1
(c) En déduire que }A}2 ¤ }A} ¤ `n}A}2.
`
(d) Montrer les équivalences `1n }A}p ¤ }A} ¤ n}A}p , pour p  1 et p  8.
`
(e) Montrer que pour toute matrice unitaire U P Mn pCq, on a }U }  n et }AU } 
}U A}  }A}.
4. Soient u et v deux vecteurs , u P Rm et v P Rn . Montrer que si A  uv t alors :
}A}2  }A}F  }u}2 }v}2 et }A}8  }u}8 }v}1 .
5. Soit A P Mn pCq. Montrer que ||A||p ¥ maxi,j |Aij | @p ¥ 1. Est-ce encore vrai pour
la norme de Frobenius ?
6. Soit Q P Mn pCq une matrice unitaire.
Montrer que ||Qx||2  ||x||2 @x P Cn .
Montrer que ||QA||2  ||AQ||2  ||A||2 @A P Mn pCq.
7. Soit H une matrice hermitienne définie positive . Montrer que l’application qui à x
associe }x}H  pHx, xq1{2 définit bien une norme vectorielle.
Soit } }H la norme matricielle associée. Calculer }A}H et retrouver le résultat clas-
sique }A}22  ρpA Aq avec H = Identité.
8. (a) Pour tout réel α, on note Aα la matrice


Aα  α 1
1 α
.

i. Quelles sont les valeurs propres de la matrice Aα ?


ii. Pour quelles valeurs de α, la matrice Aα est elle inversible ?
iii. Calculer les normes }Aα }1 , }Aα }2 et }Aα }8 .
(b) Mêmes questions pour la matrice

α 1 0
Bα   1 α 1 .
0 1 α

9. Soit A P Mn pCq. Montrer que A est normale si et seulement si


||Ax||2  ||Ax||2 @x P Cn.
10. Soit B la matrice  `
1{ `2 1 1
B   1{ 2 1` 1` .
0 3 { 2 3 { 2
Calculer une décomposition en valeurs singulières de B.
Calculer ||B ||1 , ||B ||2 , ||B ||8 et ||B ||F .

www.mathonec.com
2.4. EXERCICES 33

11. Soit q P R tel que 1 ¤ q. Soit x P Cn . Soit A P Mn pCq.


Montrer que
lim ||x||p  ||x||8
Ñ 8
p

et que
p
lim
Ñq,1¤p
||x||p  ||x||q .
Montrer que
p
lim
Ñ 8
||A||p  ||A||8
et que
p
lim
Ñq,1¤p
||A||p  ||A||q .
12. Montrer que pour tout vecteur u P Cn , on a }u}2  }max | px, uq |.
x}1

13. Soit A P Mm,n pCq une matrice de rang n. Pour toute norme }.} définie sur Cm ,
montrer que l’application x P Cn ÞÑ }Ax} est une norme sur Cn .
14. Soit A une matrice diagonale, montrer que pour tout p ¥ 1

}A}p  }A}8  1max |a |.


¤i¤n i,i
15. Montrer que pour toute matrice A, on a

}A}2  }x} max


}y} 1
| pAx, yq | .
2 2

16. Montrer les inégalités suivantes liant les normes matricielles }  }1 , }  }2 et }  }8

`
1
n
}A}2 ¤ }A}1 ¤ `n}A}2
1
n
}A}8 ¤ }A}1 ¤ n}A}8
` }A}8
1
n
¤ }A}2 ¤ `n}A}8.

www.mathonec.com
34 CHAPITRE 2. ANALYSE MATRICIELLE GÉNÉRALE

www.mathonec.com
Chapitre 3

Conditionnement des matrices

3.1 Sur la notion d’erreur

De quelles erreurs parlons-nous ? Erreur numérique = erreur sur les nombres

Machine Erreur de troncature (arrondi)

• Erreur de modélisation

Expérimentateur Erreur sur les données (bruit)


• Erreur numérique

• Erreur de programmation
Mathématicien Erreur de «!méthode!»

1. Erreur de troncature (arrondi) Exemples

x = 405,59 = (2-1 + 2-2+ 2-5 + 2-7+ 2-10 +0.44 x 2-13) 29

Représentation des nombres en machine : virgule flottante s!’écrit (en base 2)


x = 0,1100101011001 x 29

x ‘‘!=!’’ !± a 2b avec 0.5 <= a < 1 et b entier relatif


L!’erreur commise est de 2-13 x 29

La machine impose une borne supérieure pour |b| et le


En base 10 : 167,8935600 234108465
nombre de chiffres représentatifs de a

35

www.mathonec.com
36 CHAPITRE 3. CONDITIONNEMENT DES MATRICES

Accumulation des erreurs d’arrondi 2. Erreur sur les données (bruit)

Données issues de l’expérience ou de calculs antérieurs


Erreur finale importante si beaucoup d’opérations

«Bruit»

•Minimiser le nombre d’opérations

et Problème de «stabilité»
•Choisir une machine précise (continuité par rapport aux données)

Exemple des systèmes linéaires


10 7 8 7  32 +0,1 
   
7 5 6 5  23 -0,1 
A une petite perturbation des données doit correspondre A=  b=
 
8 6 10 9 33 +0,1
une petite perturbation de la solution
 
 7 5 9 10   31 -0,1 
Ax=b
A (x + dx ) = b + db
1  9,2 
 -12,6 
1
avec dx du même ordre que db x=
1 x + dx =  
  4,5 
1 -1,1 
 
 


10 7 8 + 0,1 7 + 0,2  32 3. Erreur de «


«méthode»
méthode»

 + 0,08    Pour représenter un phénomène continu


7 5 + 0,04 6 5  23 (dimension infinie) et faire des calculs
A=
8 6 10
- 0,02
9  b=
33 (dimension finie) on doit faire une discrétisation

   
- 0,11

 7 - 0,01 5 -0,01 9 10 - 0,02  31 


1 - 81
  
x=  
1 137
1 x+ dx =  
- 34
  
1 
 
22
  h … et donc commettre une erreur

Discrétisation en 2D : triangulation
Exemple : équation différentielle

dy
(x) = f(x,y) sur ]0,1[, y(0) = yo
dx Erreur due au
choix de la
méthode mais
Approximation de la dérivée contrôlée par
l’utilisateur
dy
y(x+h) = y(x) + ( x).h + o(h)
dx
par le taux de variation

dy
y(x+h) = y(x) + (x).h + o(h)
dx

www.mathonec.com
3.2. NOMBRE DE CONDITIONNEMENT D’UNE MATRICE 37

3.2 Nombre de conditionnement d’une matrice


Dans tout ce qui suit les matrices considérées ssont des matrices carrées d’ordre n,
inversibles. Nous commençons par un exemple pour illustrer la notion de stabilité :

Donc une petite perturbation sur les coefficients de la matrice ou sur le second membre
entraı̂ne une grosse perturbation sur la solution. C’est un problème de stabilité. Á cause
des erreurs de mesure ou d’arrondi qui sont inévitables on veut éviter le genre de situa-
tion présentée ci-dessus. Un critère pour évaluer le degré d’instabilité du système est le
nombre de conditionnement de la matrice : si ce nombre est petit la matrice est dite bien
conditionnée et le système sera stable (c’est-à-dire peu sensible aux perturbations).

Définition 3.2.1 Soit }  } une norme matricielle et A une matrice inversible. Le nombre de
conditionnement de A relativement à la norme matricielle choisie est

cond pAq  }A} }A1 } .

Lorsque }} est la norme matricielle induite par la norme `p , avec 1 ¤ p ¤ 8, on note condp pAq.

Donnons quelques propriétés immédiates de cond(A).

Théorème 3.2.1 Soit A une matrice inversible à coefficients dans K  R ou C.


1. cond (αA) = cond (A)
2. cond (A) ¥ 1 si la norme matricielle est induite.
3. cond2 pAq 
µmax
où µmax et µmin sont respectivement les plus grande et petite valeurs
µmin
singulières.
4. cond2 pAq  1 ðñ A  αQ où α P K et Q est unitaire.

Démonstration - 1. condpαAq  }αA} }pαAq1 } 


|α| }A} }A1} condpAq.
|α |
2. Si }  } est une norme induite alors }I }  1 et

1  }AA1 } ¤ }αA} }pαAq1 }  condpAq .

www.mathonec.com
38 CHAPITRE 3. CONDITIONNEMENT DES MATRICES

 ρpAAq  maxi λipAAq  maxi µ2i  µ2max.


3. }A}22
De la même façon }A1 }2  maxi   µmin. En particulier, si A est hermitienne
1 1
µ µ
i max
 
 λmax 
cond2 pAq  

 .

min

4. Soit A une matrice inversible. On peut trouver U et V unitaires et Σ  diagpµiq telles


ques A  U ΣV  .
cond2 pAq  1 ðñ µmax  µmin ðñ @i, µi  µ ðñ A  µU V  .
Donc cond2 pAq  1 ðñ A  µQ où Q est unitaire. l
Définition 3.2.2 A est dite bien conditionnée si le nombre de conditionnement de A est voisin
de 1.
Les matrices unitaires sont les mieux conditionnées possibles d’où leur utilisation fréquente.
Le déterminant ne constitue pas une indication de bon conditionnement (voir exercice).

3.3 Majoration des perturbations


On s’interesse maintenant à la résolution d’un système linéaire de la forme Ax  b et
à sa stabilité.

3.3.1 Perturbation du second membre


Théorème 3.3.1 Soit x la solution de Ax  b et x δx la solution de Apx δxq  b δb. Alors,
si }  } est une norme matricielle induite
}δx} ¤ condpAq }δb} .
}x} }b} (3.3.1)

Démonstration - Comme Apδxq  δb il vient δx  A1 δb. Donc }δx} ¤ }A1 } }δb} . Comme
b  Ax, il vient }b} ¤ }A} }x}. Donc en multipliant membre à menbre :
}b} }δx} ¤ }A} }x}}A1} }δb}  condpAq}x}}δb} ,
d’où le résultat. l
cond(A) est le plus petit nombre tel que (3.3.1) soit toujours vrai.

3.3.2 Perturbation de la matrice


Théorème 3.3.2 Soit x la solution de Ax  b et x δx la solution de pA δAqpx δxq  b.
Alors, si }  } est une norme matricielle induite
}δx} ¤ condpAq }δA} .
}x δx} }A} (3.3.2)

www.mathonec.com
3.4. CALCUL APPROCHÉ DE COND(A) 39

Démonstration - Comme

Ax  b  A δAqpx δxq  Ax δApx δxq Aδx

il vient δx  A1 δApx δxq. Donc }δx} ¤ }A1 } }δA} }x δx} . l


3.3.3 Retour sur l’exemple préliminaire

  
10 7 8 7 32 1
 7 5 6 5   23   1 
A
 8
 , b

 et x  

 .
6 10 9 33 1
7 5 9 10 31 1
Un calcul simple donne

}A}2  max |λi|  30, }b}2  60, }x}2  2,


}A1}2  max |λ1 |  min1|λ |  100 et cond2pAq  3000 .
i i

Dans le premier cas (perturbation du second membre) nous avons



0.1
 0.02, }∆x}2  1.64 , }∆x }2  0.82 ,
 0.1 
δb  
 0.1 , }∆b}2

}x} 2
0.1
et
cond2 pAq
}∆b}2  3000  0.02  1 .
}b}2 60

3.4 Calcul approché de cond(A)


Donnons maintenant un critère « pratique » pour estimer le nombre de conditionne-
ment. Pour cond2 (A), ill faut connaı̂tre les valeurs propres de AA . On préfère donc cond1
ou cond8 . Mais, pour cela, il faut évaluer }A1 }8 . Il n’est pas question de calculer A1 ce
qui demande 2n3 {3 opérations. On va dons essayer d’obtenir une bonne approximation
de
}A1}  max }A1y} .
y 0 }y }
}A1b} en choisissant le vecteur b astucieusement. Soit
On va donc évaluer le rapport
}b}
A  U ΣV  la décompositon en valeurs singulières de A avec Σ diagpµi q. Désignons
par pui q1¤i¤n et pvi q1¤i¤n les vecteurs colonnes de U et V respectivement. Comme U et

www.mathonec.com
40 CHAPITRE 3. CONDITIONNEMENT DES MATRICES

V sont unitaires ces vecteurs forment (respectivement) des bases othonormées. Un calcul
simple montre alors que

A µi ui v̄iJ .
i 1 
De la même façon , A1  V Σ1 U  et

A1  vj ūJ
1
j .
µ
j 1 j

Décomposons b sur la base pui q1¤i¤n :



b bi u i .

i 1

On a

ņ ņ ņ ņ ņ
x  A1 b  bi A1 ui  vj ūJ  ūoJ
1 1
bi j ui bi vj lo uoin .
jmo
  j 1
µj i1 j 1
µj
i 1 i 1
δi,j

x  A1 b 
1
bi vi .
µ
i1 i

Finalement  2
ņ ņ  bi 
}b} 
2
2 |b i | 2
et }x} 2
2    .
µ 

i 1 
i 1 i

Si bn  1 et bi  0 pour 1 ¤ i ¤ n  1 alors }}xb}}2  µ1  }A1}2.


| bn |
2 n

Sinon }x}2 ¥ |µ | et
n
}x}2 ¥ 1 |bn| .
}b} µ }b} 2 n 2

En pratique, pour obtenir une bonne approximation de }A1 }2 ( et de }A1 }1 et }A1 }8 )


il suffit que bn ne soit pas trop petite par rapport aux autres composantes.

3.5 Conditionnement du calcul de l’inverse d’une matrice


Supposons qu’on ait pu calculer l’inverse d’une matrice A : c’est nécessairement une
approximation notée X. Comment peut-on estimer la qualité d’une telle approximation
et quel critère choisir ? X peut/doit vérifier

X  A1  0 ou X 1  A  0 ou AX  I  0 ou XA  I  0 ;

www.mathonec.com
3.5. CONDITIONNEMENT DU CALCUL DE L’INVERSE D’UNE MATRICE 41

on peut donc mesurer la qualité de l’approximation par l’un des nombres suivants

c1 pX q 
}X  A1} , c pX q  }X 1  A} , c pX q  }AX  I } ou c pX q  }XA  I } .
}A1} 2 }A} 3 4

Mais pour X donné il se peut que l’un de ces nombres soit petit et un autre grand, comme
le montre l’exemple suivant :



A
3.03 8.99
, A 1  3.03 8.99
0.91 3.03 0.91 3.03

Alors
det pAq  1 , }A}2  µ1  10 , }A1}2  µ1  10 , cond2pAq  100
2



 3.02 8.96 , B 1 
3.12 8.96
B
0.94 3.12 0.94 3.02


B  A1 
0.01 0.03
0.03 0.09


B 1  A 
0.09 0.03
0.0.3 0.01
}B  A1}2  0.1 , }B  A1}2  0.01
}A1}2
}B 1  A}2  0.1 , }B 1  A}2  0.01
}A1}2



BA 
0.997 0.001
, BA  I 
0.03 0.001
, }BA  I }2  0.01
0.009 1.003 0.009 0.003



 0.7 0.9
, AB  I 
0.3 0.9
, }AB  I }2 1
AB
0.1 1.3 0.1 0.3

Théorème 3.5.1 Soit A et A δA inversibles. Alors

}pA δAq1  A1} ¤ condpAq }δA} .


}pA δAq1} }A} (3.5.3)

Démonstration - Comme pA δAq1 pA δAq  I , on a pA δAq1 pA δAqA1  A1


et donc pA δAq1 pI δA A1 q  A1 . On en déduit

pA δAq1  A1  pA δAq1 δA A1 q

et on conclut en prenant la norme. l

www.mathonec.com
42 CHAPITRE 3. CONDITIONNEMENT DES MATRICES

3.6 Exercices et travaux pratiques


3.6.1 Exercices
1. Erreurs relatives et conditionnement


(a) Soit A  . Calculer cond1 pAq.


1 100
0 1
(b) Considérons les systèmes suivants :



Ax  et Apx δxq 
100 100
.
1 0

Calculer la variation relative }δx}1 {}x}1 de la solution et celle du second membre


}δb}1{}b}1.
}δx}1 }b}1 ?
Quel est le facteur d’amplification de l’erreur, c’est-à -dire
}x}1 }δb}1
2. Déterminant et conditionnement
(a) Calculer en fonction de n le déterminant et le conditionnement de la matrice
A P Mn pRq définie par diag (1, 10, · · · , 10).
(b) Faire de même avec la matrice B P MnpRq définie par
$
& Bi,i  1, 1 ¤ i ¤ n,
Bi,i 1  2, 1 ¤ i ¤ n,
%
Bi,j  0, sinon.

(Remarque : on peut montrer que cond8 (B) = cond1 (B) = 3p2n  1q.)
(c) Qu’en concluez-vous ?
3. Notion de préconditionnement



108
Soit A  et ∆A 
1 0 0
0 106 1014
.
0
}∆A}2 ? En déduire
(a) Calculer le conditionnement de A en norme 2. Que vaut
}A}2
}∆x}2 , où Ax  pA ∆Aqpx ∆xq.
une estimation
}x}2
Soit 

D  1 0
0 106
.

(b) Exprimer DA et D∆A. Que vaut le conditionnement de DA en norme 2 ? En


}∆x}2 . Quelle conclusion en tirez-vous ?
déduire une estimation de
}x}2

www.mathonec.com
3.6. EXERCICES ET TRAVAUX PRATIQUES 43

3.6.2 Travaux-pratiques
1. Écrire une fonction permuteC qui permute deux colonnes d’une matrice donnée.
Les arguments d’entrée sont une matrice A et les indices i et j des colonnes à per-
muter.
Même question pour une fonction permuteL qui permute des lignes
2. On fixe la dimension n ¥ 2.
(a) À quoi correspond le vecteur u défini par les instructions :
a = eye (n,n) ; u= a( :,i)
où i est une entier compris entre 1 et n ?
(b) On rappelle que l’instruction rand(m,n) de Scilab renvoie une matrice de
taille m  n dont les coefficients sont des réels, compris entre 0 et 1, générés de
façon aléatoire.
Pour n fixé, on définit deux vecteurs u= rand(n,1) et v= rand(n,1). Déterminer
le vecteur w  v 
pu, vq u. Calculer le produit scalaire pw, uq.
}u}22
(c) Soit A une matrice carrée réelle (qu’on initialise avec la fonction rand) : on
définit les matrices B et C par B  0.5pA A1 q et C  0.5pA  A1 q.
i. Calculer le produit scalaire pCx, xq pour divers vecteurs x. Justifier le résultat
observé.
ii. Calculer le produit scalaire pBx, xq pour divers vecteurs x. Vérifier qu’il
est égal à pAx, xq et expliquer pourquoi.
3. On propose dans cet exercice de définir des fonctions renvoyant des matrices ayant
certaines propriétés que nous aurons à exploiter dans les exercices suivants. On
utilisera la fonction rand pour répondre aux questions. Il y a plusieurs solutions
possibles.
(a) Écrire une fonction MatSymetrique(n) renvoyant une matrice réelle symétrique
de taille n  n.
(b) Écrire une fonction MatReguliere(n) renvoyant une matrice réelle inver-
sible de taille n  n.
(c) Écrire une fonction MatReguliereI(n) renvoyant une matrice réelle trian-
gulaire inférieure inversible de taille n  n.
(d) Écrire une fonction MatReguliereS(n) renvoyant une matrice réelle trian-
gulaire supérieure inversible de taille n  n.
(e) Écrire une fonction MatHasard(m,n,p) renvoyant une matrice réelle de taille
m  n dont les coefficients sont choisis aléatoirement entre p et p.
(f) Écrire une fonction MatHasardBin(m,n) renvoyant une matrice réelle de
taille m  n dont les coefficients sont choisis aléatoirement parmi les deux
valeurs 0 et 1.

www.mathonec.com
44 CHAPITRE 3. CONDITIONNEMENT DES MATRICES

(g) Écrire une fonction MatHilbert(m,n,) renvoyant la matrice dite de Hilbert


H P Mm,n définie par ses coefficients

Hi,j i 1
j1
, 1 ¤ i ¤ m, 1 ¤ j ¤ n.
4. Soit A  r1 : 3; 4 : 6; 7 : 9; 10 : 12; 13 : 15s. Quel est son rang ? (commande rank).
Soient B et C deux matrices inversibles de taille respective 3  3 et 5  5 données
par la fonction MatReguliere de l’exercice précédent.
Comparer les rangs des matrices CA et AB. Justifier les résultats observés.
5. On définit la matrice A de taille n  n (faire varier n) par les instructions
A = rand(n,n) ; A = triu (A) - diag(diag(A))
Que fait la fonction triu ? Calculer les puissances de A. Justifier le résultat observé.
6. Soit H la matrice de Hilbert de taille 6  6.
(a) Calculer les valeurs propres λ de H.
(b) Calculer les vecteurs propres u de H.
(c) Vérifier les relations Hu  λu.
7. Comparer les spectres des matrices A et At avec A= rand(n,n) pour diverses
valeurs de n. Justifier la réponse.
8. Fixer la dimension n et pour deux vecteurs u, v de Rn choisis aléatoirement, calculer
les spectres des matrices In uv t . Que constate-t’on ? Démontrer rigoureusement
le résultat observé.
9. Pour diverses valeurs des entiers n et m, comaprer les spectres de AAt et At A où
A rand(n,m). Justifier les observations.
10. Soit A= MatSymetrique(n). Calculer les vecteurs propres ui et les valeurs propres

λi de A. Calculer λi ui uti . Comparer cette matrice avec la matrice A. Qu’observe-

k 1
t’on ?
11. Calculer la décomposition en valeurs singulières de la matrice B P MnpRq définie
par : $
& Bi,i  1, 1 ¤ i ¤ n,
Bi,i 1  2, 1 ¤ i ¤ n,
Bi,j  0, sinon.
%

En déduire cond2 pB q. Comparer avec la commande de Scilab correspondante. On


fera varier n.
12. Conditionnement des matrices de Hilbert
On considère la matrice symétrique Hn P Mn pRq définie par

pHnqi,j  i 1
j1
, 1 ¤ i, j ¤ n.
Calculer le déterminant de Hn pour 1 ¤ n ¤ 20. Tracer sur un graphe avec échelle
logarithmique le conditionnement de Hn en fonction de n. Qu’en conclure ? (Re-
marque : on peut calculer par récurrence le déterminant de Hn exactement).

www.mathonec.com
3.6. EXERCICES ET TRAVAUX PRATIQUES 45

13. On définit des matrices C, D et E de taille n  n par les instructions


C= MatReguliere(n) ; D = rand(n,n) ; E = D*inv(C)*D’ ;
On définit aussi par blocs les matrices A et M de taille 2n  2n
A=[C D’ ; D zeros(C)] ; M = [ C zeros(C) ; zeros(C) E ] ;
(a) Pour différentes valeurs de n, calculer le spectre de la matrice M 1 A. Que
constate-t’on ?
(b) Quel est l’intérêt de remplacer la résolution du système Ax  b par celle du
système équivalent M 1 Ax  M 1 b ?


(c) Soit λ une valeur propre de M 1 A avec M  C0 DC 0 1Dt et ru, vst P R2n
un vecteur propre non nul qui lui est associé. Montrer que pλ2  λ  1qDu  0.
(d) En déduire le spectre de la matrice M 1 A.
(e) Calculer le conditionnement en norme 2 de M 1 A, en supposant cette matrice
symétrique.
14. Préconditionnement polynômial Programmer l’algorithme de conditionnement
suivant : soit A telle que }I  A}   1. Soit Cn la matrice formée des n premiers
termes du développement en série entière de A1 :

¸ ņ
A1  pI  pI  Aqq1  I pI  Aq
k
, Cn I pI  Aqk .
¥
k 1 
k 1

condp CAq
condpAq
Calculer pour différentes valeurs de n.

www.mathonec.com
46 CHAPITRE 3. CONDITIONNEMENT DES MATRICES

www.mathonec.com
Chapitre 4

Méthodes directes de résolution des


systèmes linéaires

Dans tout ce qui suit les matrices considérées sont des matrices réelles carrées d’ordre
n, inversibles.
Le but de ce qui suit est de calculer la solution du système linéaire Ax  b. En pratique
on ne calcule jamais l’inverse de la matrice A pour résoudre le système (même si sur le
papier on a x  A1 b). C’est trop coûteux numériquement, l’inversion d’une matrice
d’ordre n nécessitant la résolution de n systèmes linéaires (en fait moins).
Le principe des méthodes directes est d’appliquer à la matrice A un certain nombre
d’opération algébriques pour la transformer : la méthode de Gauss se ramène ainsi à la
factorisation de A en une matrice L  U où L et U sont triangulaires. D’autres méthodes
conduisent à d’autres factorisations de A (factorisation QR par exemple).
L’idée de ces factorisations repose sur le fait qu’il est très facile de résoudre (de proche
en proche ) un système triangulaire et on va donc s’y ramener

4.1 La méthode de Gauss


4.1.1 Résolution d’un système triangulaire (inférieur)

Notons que la résolution d’un système triangulaire supérieur se fera de la même façon.
Soit, donc le système linéaire suivant :

a1,1 x1 a1,2 x2 a1,3 x3  a1,n xn  b1


a2,2 x2 a2,3 x3  a2,n xn  b2
.. .. .. .. ..
. . . . .
ak,k xk  ak,n xn  bk
.. .. ..
. . .
an,n xn  bn

47

www.mathonec.com
48CHAPITRE 4. MÉTHODES DIRECTES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

On remarque que le déterminant de la matrice T définie par



a1,1 a1,2 a1,3      a1,n

 0 a2,2 a2,3      a2,n 

 .. .. .. . .. .. .. 
 . . . .. . . . 
 
 

 0  0 ak,k ak,k 1
..
. ak,n 

 .. .. .. .. .. .. .. 
 . . . . . . .
0 0 0   0 an,n
¹
n
est non nul et égal à ai,i ; donc @i, ai,i  0. L’algorithme de résolution de ce sytème est

i 1
le suivant 7
7
7
7
xn  bn{an,n 

7
7
7 Pour k  n  1,    , 1, xk  bk  ak,i xi {ak,k
7 
i k 1
Comptons le nombre d’opérations nécessaires pour résoudre ce système :
1. À chaque étape k : 1 division et n  k multiplications, soit n  k 1 multiplications
au sens large.
2. À chaque étape k : n  k additions si k ¤n1.
Au total,
ņ n¸1 
pn  k 1q pn  kq
k 1  k 1 
n pn 1q npn  1q
opérations, c’est-à-dire
2 2
 n2 .
4.1.2 La méthode de Gauss
On considère maintenant le système « plein » suivant :
$
'
' a1,1 x1 a1,2 x2  a1,n xn  b1
'
'
'
'
'
a2,1 x1 a2,2 x2  a2,n xn  b2
'
& .. .. .. .. ..
. . . . .
'
'
'
ak,1 x1 ak,2 x2  ak,n xn  bk
'
' .. .. .. .. ..
'
' . . . . .
'
%
an,1 x1 an,2 x2  an,n xn  bn
Le principe de la méthode de Gauss est de faire des opérations algébriques linéaires
sur les lignes de la matrice, ce qui revient à multiplier à droite par une matrice M , jus-
qu’à ce qu’on obtienne une matrice triangulaire supérieure T : comme on fait les mêmes
opérations sur le vecteur du second membre, on obtient

Ax  b ùñ M Ax  T x  M b ;

www.mathonec.com
4.1. LA MÉTHODE DE GAUSS 49

le système obtenu alors est triangulaire et se résoud donc facilement. Toutefois on ne


calcule pas M explicitement.
Décrivons la méthode : on s ’arrange (quitte à effectuer une permutation de lignes) pour
que a1,1 soit non nul ; la ligne L1 est la ligne pivot qu’on va retrancher (avec un coefficient
ad-hoc) aux lignes suivantes de façon à faire aparaı̂tre des zéros en première colonne à
partir de la ligne 2. :
$
'
' a1,1 x1 a1,2 x2  a1,n xn  b1
'
'
'
'
'
a2,1 x1 a2,2 x2  a2,n xn  b2 L2 Ñ L2  L1  aa 2,1

'
1,1
'
& .. .. .. .. ..
. . . . .
'
'
'
ak,1 x1 ak,2 x2  ak,n xn  bk Lk Ñ Lk  L1  aa k,1
1,1
'
' .. .. .. .. ..
'
' . . . . .
'
'
% an,1 x1 an,2 x2  an,n xn  bn Ln Ñ Ln  L1  aa n,1
1,1

donne $
'
'
a1,1 x1 a1,2 x2  a1,n xn  b1
'
'
' 0
p1q
a x  p1q
a2,n xn  b2
p1q
'
' 2,2 2
'
' .. .. .. .. ..
& . . . . .
' 0
p1q
ak,2 x2  p1q
ak,n xn  p1q
bk
'
'
'
' .. .. .. .. ..
'
' . . . . .
'
'
%
0
p1q
an,2 x2  p1q
an,n xn  p1q
bn
avec
@j, k  2,    , n p1q  a
ak,j  a1,j  aak,1 et
p1q  b
bk  b1  aak,1 .
k,j k
1,1 1,1

On recommence ainsi de proche en proche : à l’étape k on suppose que ak,k est non
pk q
nul (quitte à permuter avec les lignes en dessous). Si on ne peut pas trouver de coefficient
diagonal non nul à ce stade c’est que la matrice A n’est as inversible. Détaillons l’étape k

pk q
a1,1
pkq
a1,2    pk q
a1,n

 0 a
pk q       ap2,nkq 

 2,2 
 



..
.
..
.
..
.   ..
. 

Ak   p kq
  pkq 
 0 ak,k ak,n Ligne pivot numéro k : Lk 
 .. .. .. .. 
 ..
. 
 . . . .
0  a
pkq   an,n
pkq
n,k

On effectue les opérations suivantes sur les lignes se trouvant en dessous de Lk :


pkq
Lk 1 Ñ Lk 1  Lk  k pk1,k
a
ak,k
q
..
.
pkq
Ln Ñ Ln  Lk  n,k
a
a
pkq
k,k

www.mathonec.com
50CHAPITRE 4. MÉTHODES DIRECTES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

de sorte que la matrice Ak devienne

 pkq pk q pkq
a1,1 a1,2    a1,n

 0 a
pkq  pkq
a2,n


 2,2 
 

..
.
..
.
..
.     ... 
Ak 1  
 0  pkq
ak,k     apk,n
kq 

 
 pk 1q 


..
. 0 0 ak 1,k 1   

0  0
..
.    apn,n
k 1q

Au bout de toutes ces manipulations on obtient une matrice triangulaire supérieure


T . Comme on agit sur les lignes en faisant des combinaisons linéaires cela revient à mul-
tiplier à gauche par une matrice M . Si on « traite »en même temps la matrice I on obtient
au bout des opérations la matrice M : en supposant qu’on n’ait pas fait de permutations
de lignes) cette matrice est triangulaire inférieure car on n’a agit que sur les lignes sous
la diagonale. Donc T  M A, M  M I. Si on pose L  M 1 on obtient le résultat :

Théorème 4.1.1 (décomposition


 LU de A) Soit A  pai,j q une matrice carrée d’ordre n telle
a1,1    a1,k
que les n sous-matrices ∆k   ... soient inversibles pour k  1,    , n.
 .. 
.
ak,1    ak,k
Alors il existe une matrice triangulaire inférieure L dont les coefficients diagonaux sont égaux à
1 et une matrice triangulaire supérieure U telles que A  LU . De plus, une telle décomposition
est unique.

Exemple 4.1.1 la matrice M mentionnée ci-dessus est un produit de différentes matrices « élémentaires »
de la forme suivante :

1. Matrice Πi pαq : Πi pαqA est la matrice dont la ligne i est la ligne i de la matrice A multipliée
par α

 
 

 1 0   


 0 1 0  

Πi pαq  ligne i Ñ

 0 0 α 0 

 


.
0 .. 0 1 

 .. 
 0 . 0 1 

Ò
colonne i

2. Matrice Si,j telle que la ligne i de la matrice Si,j A est égale à la somme des lignes i et j de

www.mathonec.com
4.1. LA MÉTHODE DE GAUSS 51

A ( pour i ¥ j)

1 0  

 0 1 0  


 0 0 1 0 


Si,j  ligne i Ñ 
 0 1 0 1 


 .. 
 0 . 0 1 

Ò Ò
colonne j colonne i

3. Matrice Pi,j qui permute les lignes i et j de la matrice A :



1 0  
 0

1 0 0  

 
ligne i Ñ 

0
..
. 0 1  




0 0 0 0  

Pi,j
ligne j Ñ 
 0  1 0 0 0 


 0  0 1 0 

 0 0 0 0 1 

Ò Ò
colonne i colonne j

Le résultat précédent est immédiat si on applique la méthode de Gauss sans permuta-


tion de lignes. Toutefois on peut adopter une stratégie de choix de la ligne pivot visant à
réduire les erreurs numériques. Expliquons par exemple la stratégie de pivot partiel :
On suppose avoir transformé la matrice de sorte que la ligne pivot « naturelle » est la
ligne k. On peut alors chercher l’élément paik ,k q réalisant maxi¥k |ai,k |. On permute en-
suite la ligne k et la ligne ik . Comme on divise par le plus grand coefficient possible, on
minimisera l’erreur numérique. Une stratégie de pivot total est aussi possible mais elle
implique des permutaions de colonnes et nous n’en parlerons donc pas.

4.1.3 Nombres d’opérations


On a vu que le nombre d’opérations était important puisque chaque opération élémen-
taire est entâchée d’un erreur de troncature. Pour passer de Ak à Ak 1 il faut n  k divi-
sions , pn  k 1qpn  k q  pn  k q2 pn  k q additions et autant de multiplications ; on
a donc en tout (k varie de 1 à n  1)

n¸1 
n¸1 
n¸1
n3  n
pn  kq2 pn  kq  pk2 kq 
3
additions

k 1 
k 1 
k 1

1
 npn2 1q divisions.

autant de multiplications et k

npn  1q
k 1

Le traitement du second membre donne de façon similaire opérations . On a


2

www.mathonec.com
52CHAPITRE 4. MÉTHODES DIRECTES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

n3  n
npn  1q  n3 n2  n opérations , soit Opn3 q opérations.
2 5
donc besoin de 2
3 3 3
Ce comptage est à rapprocher de la résolution par les formules de Cramer, puisqu’un
calcul de déterminant d’ordre n nécessite n! opérations.

4.1.4 Fin de la résolution


Une fois que la matrice A a été mise sous forme triangulaire on n’a plus qu’à résoudre
un système triangulaire :
Ax  b ùñ T x  M b ;

Lorsqu’on a plusieurs systèmes à résoudre (avec la même matrice A) il est intéressant


d’utiliser la décomposition LU de A . En effet

Ax  b ðñ LU x  b ðñ Ly  b et U x  y .
On est ramené à la résolution de deux sytèmes triangulaires.

4.1.5 La méthode de Gauss-Jordan


Supposons qu’on applique la procédure détaillée ci-dessu pour la réduction de la
matrice A à la fois sur les lignes au-dessous et au dessus de la ligne pivot de sorte qu’à
la fin de la manipulation on obtienne une matrice diagonale, puis par division de chaque
ligne par le coefficient diagonal la matrice identité : cela revient à multiplier la matrice A
à gauche par une matrice M : On obtient M A  I . Il est clair M  A1 et si on traite en
même temps la matrice I on obtient : M I  M . C’est la méthode de Gaus-Jordan pour le
calcul de l’inverse de A qui nécessite aussi Opn3 q opérations.

4.2 Méthode de Choleski


Nous allons donner une variante de la méthode de Gauss dans le cas où A est une
matrice symétrique réelle définie positive. Nous allons bien sûr exploiter la structure
particulière de A. Dans ce cas là la décomposition LU de A donne : A  LU . Soit D
la diagonale de U de sorte que A  LDV où V  D1 U et les coefficients diagonaux
de L et V sont égaux à 1. Comme A est symétrique A  At  V t DLt . L’unicité de la
décomposition LU implique que V t  L et DLt  U . Finalement , on obtient A  LDLt .
Comme A est définie positive la diagonale de D est strictement positive et on peut poser
D  ∆2 en imposant que la diagonale de ∆ soit strictement positive. On obtient alors
A  BB t avec B  L∆ triangulaire inférieure. Résumons ceci :

Théorème 4.2.1 Si A est symétrique définie positive, il existe au moins une matrice triangulaire
inférieure B telle que A  BB t . Si on impose de plus que les coefficients diagonaux de B sont
strictement positifs alors la factorisation est unique.

www.mathonec.com
4.2. MÉTHODE DE CHOLESKI 53

Nous avons démontré le résultat d’existence. L’unicité est immédiate. Détaillons l’algo-
rithme : on va chercher B sous forme triangulaire inférieure :

b1,1 0  
0 0

 b2,1 b2,2  00 

 



..
.  0 
..
.
..
. 

B  bk,1
       bk,k    0 

 . 
 ..  ..
.
..
.
bn,1 bn,2          bn,n

et résoudre le système A  BB t c’est-à-dire



@i, j ai,j  bi,k btk,j ;

k 1

comme bi,k  0 si k ¥ i 1 et btk,j  bj,k


inf¸p q
i,j
@i, j bi,k bj,k  ai,j . (4.2.1)

k 1

Nous allons construire les colonnes de B successivement. Commençons par la première :


i  1. La relation (4.2.1) donne
j 1: a1,1  b21,1 ùñ b1,1  `a1,1
j 2: a1,2  b1,1b2,1 ùñ b2,1  ab 1,2
1,1
..
.
j n: a1,n  b1,1bn,1 ùñ bn,1  ab1,n
1,1

On obtient ainsi la première colonne de B. Supposons avoir construit les i  1 premières


colonnes de B et construisons la j e .
i̧ 
i¸1
j i: ai,i  b2i,k  b2i,i b2i,k
k 1  k 1
loomoon
g connu
f i¸1
f
d’où bi,i  ea
i,i  b2i,k
k 1 

i¸1
ai,i 1  bi,k bi 1,k

j i 1 : bi  
k 1
1,i
bi,i
..
.
j n: 

www.mathonec.com
54CHAPITRE 4. MÉTHODES DIRECTES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

C’est la méthode de Choleski. Pour résoudre le système Ax  b il suffit alors de résoudre


les deux systèmes trinagulaires

Ax  b ðñ BB t x  b ðñ By  b et B tx  y .
Pour résoudre un système linéaire par cette méthode, il faut environ n3 {6 additions et
multiplications, n2 {2 divisions et n extractions de racines carrées.

4.3 Factorisation QR - Méthode de Householder


Dans cette section on va établir une autre décomposition des matrices A réelles inver-
sibles sous la forme cette fois QR où Q est une matrice orthogonale donc facile à inverser
puisque Q1  Qt et R est triangulaire. Cette décomposition est (elle aussi) basée sur
une suite de manipulations élémentaires sur la matrice A. Ces opérations élémentaires
qui visent à « othogonaliser » la matrice font intervenir des matrices de symétrie parti-
culières : les matrices de Householder

4.3.1 Les matrices de Householder


Soit v P Cn, v  0. La matrice

H pv q  I  2 vv
vv
est hermitienne et unitaire. C’est une matrice de Householder
vv  u
Remarque 4.3.1 On peut constater que H pv q.v  v . Soit u P v K : H pv qu  u  2  u
car v  u  0. Donc
v v

H pv q|vK  I|vK et H pv q|Cv  Id|Cv .

H pv q est donc la matrice de la symétrie orthogonale par rapport à v K .


Théorème 4.3.1 Soit a  pa1,    , anq P Cn tel que |ai| ¡ 0. Alors, il existe deux matrices
i2
de Householder H telles que les pn  1q dernières composantes du vecteur Ha soient nulles. Plus
précisément : soit α P R tel que a1  |a1 |eiα ; alors

H pa }a}2eiαe1qa  }a}2e1 et H pa  }a}2 eiα e1 qa  }a}2 e1 ,

où e1 désigne le premier vecteur de la base canonique pe1 ,    , en q.


Démonstration - Comme |ai| ¡ 0 les vecteurs a  }a}2e1 sont non nuls. En effet (si on

pose ε  1) le vecteur a ε}a}2 e1 a pour composantes pa1 ε}a}2 , a2 ,    , an q. Donc la
i 2

www.mathonec.com
4.3. FACTORISATION QR - MÉTHODE DE HOUSEHOLDER 55

matrice de Householder correspondante existe : notons Hε  H pa ε}a}e1q (pour alléger


les calculs on note }a}  }a}2 . )

Hε a  a  2
pa ε}a}e1qpa ε}a}e1 qa
pa ε}a}e1 qpa ε}a}e1q
Commençons par le numérateur de la fraction :

pa ε}a}e1 qpa ε}a}e1 qa  paa ε}a}e1 a ε}a}ae1 }a}2e1e1 qa


 }a}2a ε}a}3 e1 ε}a}a1 a }a}2a1e1 .
car a a  }a}2 et e1 a  a1 ; ceci donne

}a} }a}a ε}a}2 e1 εa1 a }a}a1e1  }a}p}a} εa1 qpa ε}a}e1 q .

De même
pa ε}a}e1 qpa ε}a}e1 q  }a}2 ε}a}a1 ε}a}a1 }a}2
 2p}a}2 ε}a}a1 q  2}a}p}a} εa1 q .
Finalement
pa ε}a}e1qpa ε}a}e1 qa  2}a}p}a} εa1qpa ε}a}e1q  a ε}a}e1 .
2
pa ε}a}e1 qpa ε}a}e1q 2}a}p}a} εa1 q

On obtient
H ε a  a  pa ε}a}e1 q  ε}a}e1 .
l

Remarque 4.3.2 Si |ai|  0 on directement Ia  a1e1. Si le vecteur a est réel, Ia  }a}e1

si a1 ¥ 0 et H pa  } } qa  }a}e1 si a1   0.
i 2
a e1
Si le vecteur a est réel, la première composante de Ha peut être choisie ¥ 0.

www.mathonec.com
56CHAPITRE 4. MÉTHODES DIRECTES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

En pratique
g
f
f ņ
1. On calcule }a}2  e |ai|2, puis
i 1
2. vε  a ε}a}2eiαe1, puis
vv
3.
2
 }a}2p}a}2 ε|a1|q.
4. Si b P Cn , Hb est calculé en calculant d’abord v  b puis

vb
Hb  b 
pvvq{2q v .
Si b est réel, on va éviter des divisions pare des nombres trop petits : on choisit

ε  1 si a1 ¡ 0 et v  a }a}e1 ,
ε  1 si a1   0 et v  a  }a}e1 .
4.3.2 Méthode de Householder et décomposition QR
L’idée est maintenant de trouver des matrices (de Householder ) H1 ,    Hn1 telles
que Hn1    H2 H1 A soit triangulaire supérieure. Nous présentons ci-dessous la méthode :
A1  A et k  1.
Etape k ¥ 1 : On suppose avoir trouvé des matrices de Householder H1, H2,    , Hk1
telles que
Ak  H k 1    H 1 A
soit de la forme : 
     

 0   

  
 0 0     


 . . .. 
Ak   . .   
 . . . 

 
 0 0     


 0 0  

  
 Ò
ak

Ÿ
k ième colonne
On va chercher Hk pour que Ak 1  Hk Ak soit de la même forme (avec décalage de la
colonne vers la gauche).

www.mathonec.com
4.3. FACTORISATION QR - MÉTHODE DE HOUSEHOLDER 57

Soit ak P Cnk 1 le vecteur colonne comme indiqué ci-dessus c’est-à-dire



ak,k
 ak 1,k 
ak 


..



 paj,k qk¤j¤n .
.
an,k

Si |aj,k | ¡ 0, il existe ṽk P Cnk 1 tel que H pṽk qak a toutes ses composantes nulles

j k 1
sauf la première (c’est-à-dire ak,k ). Posons

0


..
.

 Ð k  1 lignes
vk  

 0



 
ṽk Ð nk 1 lignes
vk P Cn et on peut voir que

| Ik1 0
H pvk q            .
0 | H pṽk q
p
Par conséquent la matrice Ak 1  Hk Ak est telles que aj,k k 1q  0 pour j  k 1,    , n.

Remarquons que si Ak est déjà de la forme Ak 1 ( i.e. |aj,k |  0), on pose Hk  I.
j k 1
Finalement , la matrice An ,  Hn1    H2 H1 A est triangulaire supérieure.
Théorème 4.3.2 Soit A une matrice carrée d’ordre n. Il existe une matrice unitaire Q et R tri-
angulaire supérieure telles que A  QR. De plus, on peut s’arranger pour que les éléments
diagonaux de R soient tous positifs.
Enfin, si A est inversible, la factorisation est unique.
Démonstration - On a vu ci-dessus que la matrice R  Hn1    H2 H1 A est triangulaire
supérieure. Donc A  pHn1    H2 H1 q1 R. La matrice Q  pHn1    H2 H1 q1 est uni-
taire. On a bien la décomposition voulue.
D’autre part, soit αj P R tel que Rj,j  |Rj,j |eαj et D  diag peαj q. La matrice Q̃  QD est
encore unitaire, R̃  D1 R est encore triangulaire et ses éléments diagonaux sont posi-
tifs. De plus A  Q̃R̃
Enfin supposons que A est inversible et qu’on ait deux décompositions :
A  Q1 R1  Q2R2 .
La matrice ∆ définie par ∆  Q Q1 est aussi égale à R2 R1 . Donc ∆  Q Q2 Q Q1  I.
2 1 1 2
Nous obtenons donc la factorisation de Choleski de I ; comme les coefficients diagonaux
de ∆  R2 R11 sont positifs, l’unicité de la décomposition donne ∆  I. l
Remarque 4.3.3 Si A est réelle, les matrices Hi sont réelles et Q et R le sont aussi. Q est
orthogonale.

www.mathonec.com
58CHAPITRE 4. MÉTHODES DIRECTES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

4.4 Exercices et travaux pratiques


1. On définit la matrice A = [ 1,2,3 ;4,5,6 ;7,8,9]. Calculer le déterminant de
A. Expliquer pourquoi le résultat n’est pas un entier.
2. Résolution d’un système triangulaire
(a) Ecrire une fonction Descente (A,b) qui retourne la solution du système
Ax  b où A est carrée triangulaire inférieure :

Données : A, b Résultat x
Pour i  1 à n
s0
Pour j  1 à i  1
s  s Ai,j xj
Fin j
xi  pbi  sq{Ai,i
Fin i

(b) Ecrire de même une fonction Remontee(A,b) qui retourne la solution du


système Ax  b où A est carrée triangulaire supérieure
3. Pour comparer les méthodes LU et de Choleski, on propose de programmer des
deux algorithmes. En effet, la comparaiosn des fonctions disponibles dans Scilab
est biaisée par le fait qu’elle utilisent la structure plus ou moins creuse des matrices
(fonction sparse).
(a) Ecrire une fonction FactoLU qui donne la décomposition LU de la matrice A
par l’algorithme suivant :

Donnée : A Résultat A contenant U et L (sauf sa diagonale)


Pour k  1 à n  1 Etape k
Pour i  k 1 à n Ligne i
ai,k 
ai,k
nouvelle colonne de L
ak,k
Pour j  k 1 à n
ai,j  ai,j  ai,k ak,j combinaison des lignes i et k
Fin j
Fin i
Fin k

Si l’algorithme ne peut pas être exécuté (division par 0) envoyer un message


d’erreur.

www.mathonec.com
4.4. EXERCICES ET TRAVAUX PRATIQUES 59

(b) Ecrire une fonction Choleski renvoyant la matrice B calculée par l’algo-
rithme ci-dessous :

Donnée : A Résultat A contenant B


Pour j  1 à n
Pour k  1 à j  1
aj,j  aj,j  paj,k q2
Fin k
aj,j  aj,j
`

Pour i  j 1 à n
Pour k  1 à j  1
ai,j  ai,j  aj,k ai,k
Fin k
ai,j 
ai,j
aj,j
Fin i
Fin j

Si l’algorithme ne peut pas être exécuté (matrice non symétrique, division par
0, racine carrée négative) envoyer un message d’erreur.
(c) Définir ensuite la fonction MatSdp(n) de la façon suivante :
function A = MatSdp (n)
A = MatSymetrique(n) ;
[D,P] = bdiag(A) ; D = abs(D) ;
D = D+ norm(D)*eye(D) ; A= P*D*inv(P) ;
A quoi correspond la matrice ainsi définie ?
(d) Pour n  10, 20,    , 100 on définit A =MatSdp (n) et le vecteur b = ones(n,1).
Comparer d’une part
i. le temps mis par Scilab pour calculer les matrices données par la fonction
FactoLU, puis la solution x du système Ax  b. On utilisera aussi les
fonctions Descente et Remontee .
ii. d’autre part, le temps mis par Scilab pour calculer la matrice B donnée par
la fonction Choleski, puis la solution x du système Ax  b. On utilisera
aussi les fonctions Descente et Remontee .
Tracer sur un même graphique les courbes représentant les temps de calcul en
fonction de n. Interpréter.
La fonction de Scilab permettant de mesure le temps mis par un programme
est la fonction timer
4. Influence de la permutation des lignes Soient A et b définis par
e= 1.E-10 ; A = [e 1 1 ;1 -1 1 ; 1 0 1] ; b = [2,0,1]’

www.mathonec.com
60CHAPITRE 4. MÉTHODES DIRECTES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

(a) Calculer les matrices L et U données par la fonction FactoLU. Afficher ces
matrices.
(b) On définit les matrices ` et u par [l u]= FactoLU (p*A) où p est la ma-
trice de permutation définie par l’instruction [w z p ]= lu(A). Afficher les
matrices ` et u. Que constate -t’on ?
(c) Calculer la solution du système calculée par Remontee(U, Descente(L,b))
puis la solution calculée par Remontee(u, Descente(l,p*b)). Comparer
avec la solution exacte x  p0, 1, 1qt . Conclusion ?

www.mathonec.com
Chapitre 5

Méthodes itératives de résolution des


systèmes linéaires

Dans tout ce qui suit les matrices considérées sont des matrices réelles carrées d’ordre n,
inversibles.

5.1 Principe général


On veut résoudre le système Au  b. Ce système est équivalent à x Ax  x b
c’est-à-dire
x  looomooon
pI  Aq x b .
B
On est donc ramené à la recherche d’un point fixe de l’application x ÞÑ Bx b et l’idée
naturelle est d’utiliser la méthodes des approximations successives :

xo donné , xk 1  Bxk b.
On va voir que cette méthode ne donne pas toujours une suite convergente : cela va
dépendre de la matrice B choisie. Sur cet exemple B est « sommaire » et il va falloir en
construire de plus « sophistiquées ».
Rappelons brièvement la méthode des approximations successives pour résoudre
une équation dans R. Soit f une application continue de R dans R. Nous voulons trouver
les points fixes de f c’est-à-dire les points x vérifiant f pxq  x

Théorème 5.1.1 Supposons que la fonction f est contractante :

Dκ   1, @px, yq P R2 |f pyq  f pxq| ¤ κ|y  x| .


Alors la fonction f admet un point fixe unique x et la suite définie par

xo donné , xk 1  f pxk q , (5.1.1)

converge vers x indépendamment du choix du point de départ xo .

61

www.mathonec.com
62CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

Démonstration - Soit xo quelconque. On voit facilement par récurrence que

@k P N |xk 1  xk | ¤ κk |x1  xo| .


Donc @pk, pq P N2

p 1 
|xk p  xk | ¤ |xj 1  xj |

j k


p 1 
1  κp


κk

¤ κj |x1  xo | ¤ κk
1κ
|x1  xo| ¤ 1κ
|x1  xo| .

j k

La suite pxk q est donc une suite de Cauchy et converge puisque R est complet. Soit x̃ sa
limite. Par continuité de la fonction f on a par passage à la limite dans (5.1.1) : f px̃q  x̃.
La fonction f admet donc au moins un point fixe x̃. Ce point fixe dépend a priori par
construction du point xo . Si on montre l’unicité du point fixe de f la suite définie par
(5.1.1) convergera vers ce point fixe quelque soit le point de départ xo .
Supposons donc que f a deux points fixes x1 et x2 . Comme f est contractante on a

|x1  x2|  |f px1q  f px2q| ¤ κ|x1  x2|   |x1  x2| .


Ceci n’est possible que si x1  x2 . l
On va généraliser le principe de cette méthode à l’application R Ñ R qui au vecteur
n n

u associe Bu b où B est une matrice n  n. Considérons donc la méthode itérative


suivante "
uo donné
uk 1  Buk
MB
b
Définition 5.1.1 On dit que la méthode MB converge si pour toute donnée intiale uo P Rn la
suite uk converge vers u. B est la matrice de la méthode.
On a un résultat de convergence analogue à celui que nous avons rappelé en début de
section : la constante κ est remplacée par le rayon spectral de la matrice B
Théorème 5.1.2 Les trois conditions suivantes sont équivalentes
1. La méthode MB converge
2. ρpB q   1
3. on peut trouver une norme matricielle }  } telle que }B }   1.
Démonstration - Posons εk  uk  u où u est la solution de u  Bu b. On a alors
εk 1  Bεk et par récurrence εk  B k εo .
On applique ensuite le théorème (2.3.1) du chapitre 2. l
Les questions qui se posent alors sont les suivantes :
1. Comment choisir la matrice B pour que la méthode converge ?
2. Si deux matrices Bi conviennent quelle est la « meilleure », c’est-à-dire celle pour
laquelle la méthode est la plus rapide ou demande le moins d’opérations etc ... ?

www.mathonec.com
5.1. PRINCIPE GÉNÉRAL 63

Donnons une idée de ce que peut être la vitesse de convergence et comment « mesurer »
cette vitesse : commençons par un exemple en supposant que la matrice B est normale.
Soit ek  uk  uo : on a donc ek  Bek1  B k eo . Donc en prenant la norme euclidienne
et en tenant compte du fait que B est normale on obtient

}ek }2  }B k eo}2 ¤ }B k } }eo}2 ¤ ρpB qk }eo}2 ,


ceci étant la meilleure inégalité possible. On voit donc que la méthode est d’autant plus
rapide que ρpB q est petit.
Si B n’est plus normale, le vecteur ek  B k eo se comporte « au pire » comme ρpB qk
et on a un résultat similaire :
Théorème 5.1.3 1. Soit }  } une norme vectorielle quelconque et u tel que u  Bu b. On
considère la suite définie par uo P R et

@k ¥ uk 1  Buk b.

Alors # +
lim sup }uk  u} { 1 k
 ρpB q .
kÑ 8 }uo u}1

2. Soit }  } une norme vectorielle quelconque et u tel que u  Bu b  B̃u b̃. On considère les
méthodes uo  ũo donné et

uk 1  Buk b , ũk 1  B̃ ũk b̃ ,

avec ρpB q   ρpB̃ q. Alors

@ε ¡ 0, D`ε P N, @k ¥ `ε,

}ũk  u}
1{k ¥ ρpB̃ q .
sup
}uo u}1 }uk  u} ρ pB q ε

Démonstration - Nous savons que

ρpB qk  ρpB k q ¤ }B k }  sup }B k eo} .


}eo }1
Donc
ρpB q ¤ sup }B k eo}1{k  }B k }1{k .
}eo }1
On utilise ensuite le fait que lim
k Ñ 8
}B k }1{k  ρpB q.
De même, soit ε ¡ 0 ; on peut trouver `ε tel que

@k ¥ `ε sup }B k eo}1{k ¤ ρpB q ε.


}eo }1
D’autre part
@kDeo tel que }eo}  1 et }B̃ k eo}1{k  }B̃ k }1{k ¥ ρpB̃ q ,
ce qui permet de conclure. l

www.mathonec.com
64CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

5.2 Les méthodes de Jacobi et de Gauss-Seidel


Nous allons présenter plusieurs façons d’obtenir une matrice B comme ci-dessus à
partir de la matrice originale A du système Au  b.
Supposons que la matrice A puisse s’écrire A  M  N où la matrice M est « facile »
à inverser. Nous aurons alors
Au  b ðñ M u  N u b ðñ u  M 1 N u M 1 b ;
la matrice B sera donc B  M 1 N mais en pratique nous verrons qu’on ne calcule pas
M 1 .
La méthode itérative associée est
"
uo donné
M u k 1  N uk b
Les méthodes de Jacobi et de Gauss-Seidel reposent sur une décomposition particulière
de A. On décompose A en A  D  E  F où D est la matrice diagonale de diagonale la
diagonale de A, E est la partie triangulaire inférieure stricte (sans la diagonale) de A et
F est la partie triangulaire supérieure stricte :


A
..
. ..
..
. .. F  D  E  F .
. .D .
E .. ...

5.2.1 La méthode de Jacobi


La méthode de Jacobi correspond à la décomposition
M  D ( diagonale ) et N  E F.
L’algorithme s’écrit alors "
uo donné
Duk 1  pE F qu k b
Ici la matrice B de la méthode est la matrice de Jacobi (par points) :
J  D  1 pE Fq .

5.2.2 La méthode de Gauss-Seidel


La méthode de Gauss-Seidel correspond à la décomposition
M  D  E (triangulaire inférieure ) et N  F .
L’algorithme s’écrit alors "
uo donné
pD  E quk 1  F uk b
Ici la matrice B de la méthode est la matrice de Gauss-Seidel (par points) :
L1  pD  E q1F .

www.mathonec.com
5.2. LES MÉTHODES DE JACOBI ET DE GAUSS-SEIDEL 65

5.2.3 La méthode de Relaxation


La méthode de relaxation est une méthode « hybride » entre la méthode de Jacobi et celle
de Gauss-Seidel et correspond à la décomposition suivante de D

D  ω1 D p1  ω1 qD
où ω est un paramètre non nul. Donc



A p1  qD  E  F  ω1 D  E  F p ω1  1qD ;
1 1
D
ω ω loooooomoooooon loooooooooomoooooooooon
M N

la matrice de la méthode est



 1 

Lω  1
ω
DE F p ω1  1qD .

L’algorithme s’écrit alors


$
'
& uo donné



'
%
1
D E uk
ω
 1  F p ω1  1qD uk b

Il faut encore résoudre à chaque étape un système triangulaire inférieur où la matrice Lω
n’est pas plus compliquée que L1 . Si
– ω  1 : on retrouve la méthode de Gauss-Seidel
– ω ¡ 1 : la méthode est dite de sur -relaxation
– ω   1 : la méthode est dite de sous -relaxation

5.2.4 Méthode par blocs


On peut décomposer la matrice A de manière analogue mais par blocs cette fois (pour
exploiter une structure creuse pare exemple). Les mêmes formules s’appliquent à condi-
tion de prendre les blocs. On obtient mes méthodes de Jacobi, Gauss-Seidel et relaxation
par blocs (et non par points)

D1
 ...... .......... ...... ...... 
 
 
 D2 -F 
A
 
 ...... .......... ...... ...... 
 
 -E D3 
 
 ...... .......... ...... ......
D4

www.mathonec.com
5.2.5
Récapitulatif

Jacobi Gauss-Seidel Relaxation

Décomposition 


1
AM N A  D  pE Fq A  pD  E q  F q A DE  F
ω
p 1 ω ω qD
par points ou par blocs ω 0
1
1 
Matrice M 1 N J  D1pE Fq  I  D1A L1  pD  E q1F Lω  ωD E F p ω1  1qD
Description 


1
d’une itération Duk 1  pE F quk b pD  E quk 1  F uk b D  E uk 1  F b
ω
p 1 ω ω qD uk

www.mathonec.com
66CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES
5.3. CONVERGENCE DES MÉTHODES 67

5.3 Convergence des méthodes


5.3.1 Résultat général
Théorème 5.3.1 Soit A une matrice hermitienne, définie positive telle que A  M  N avec
M inversible.
Si M  N est définie positive alors ρpM 1 N q   1 (et la méthode converge).

Démonstration - Montrons d’abord que M  N est hermitienne.

M N  pA N q N  A N N A N N M N  pM  N q .

Soit }  }A la norme vectorielle définie par

}v}A  pvAvq1{2
et }  } la norme matricielle induite :

}M 1N }  }I  M 1A}  sup }v  M 1Av}A .


}v}A 1
Posons w  M 1Av et calculons }v  w}A pour }v}A  1 :
}v  w}2A  pv  wqApv  wq  lovomo  
on w Av  v Aw
Av w Aw .
1
Comme Av  M w on obtient : }v  w}2A 
1  w M w  w M  w w Aw  1  w pM M   Aqw  1  w pN M  qw .

Si M  N est définie positive alors w pN M  qw ¡ 0 (car w  0 ) et }v  w}2A   1.


Par conséquent l’application v ÞÑ }v  M 1 Av }A est continue due la sphère unité (com-
pacte) à valeurs dans r0, 1r : elle atteint donc sa borne supérieure qui est donc strictement
inférieure à 1. Nous avons donc ρpM 1 N q ¤ }M 1 N }   1. l
5.3.2 Convergence des méthodes de Gauss-Seidel et relaxation
Nous allons utiliser le résultat qui précède pour donner un critère de convergence
pour la méthode de relaxation.

Théorème 5.3.2 Soit A une matrice hermitienne, définie positive. La méthode de relaxation
(par points ou par blocs) converge si 0   ω   2. En particulier la méthode de Gauss-Seidel
converge.

Démonstration -



AM N  1
ω
DE  F p 1 ω ω qD .

www.mathonec.com
68CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

Donc 


M N  1
ω
D  E F p 1 ω ω qD  F  E  p 2 ω ω qD .
Dans ce qui précède nous avons utilisé D  D. D’autre part E   F , donc
2ω
M N p qD .
ω
Comme A est définie positive D l’est aussi : il suffit de remarquer que pAei , ei q  dii où
ei est le ième vecteur de la base canonique.
2ω
Donc M  N est définie positive si ¡0 l
ω

Remarque 5.3.1 Rappelons que l’hypothèse que A est une matrice hermitienne, définie posi-
tive n’est pas très contraignante. En effet si A est une matrice inversible le système Au  b est
équivalent à A Au  A b  b̃. La matrice à  A A est clairement hermitienne, positive et
définie puisque A est inversible.

Le résultat ci-dessus est une condition suffisante de convergence. En fait c’est aussi
une condition nécessaire comme le montre le résultat suivant :

Théorème 5.3.3 Le rayon spectral de la matrice Lω vérifie

ρpLω q ¥ |ω  1| @ω  0 ;
la méthode de relaxation ne peut donc converger que si ω Ps0, 2r.

Démonstration - Soient pλi q1¤i¤n les valeurs propres de Lω .

¹
n 
p ω D F q  p1  ωqn .
1 ω
λi  det pLω q  det
det p 1 D  E q

i 1 ω

Par conséquent
 1{n
¹n 
ρpLω q ¥  |1  ω| .
 
 λi 
 

i 1
l
Nous terminons cette section par un théorème de comparaison des méthodes de Ja-
cobi et de Gauss-Seidel dans un cas particulier. Nous admettrons ce résultat.

Théorème 5.3.4 Soit A une matrice tridiagonale par blocs. Alors

ρpL1 q  ρpJ q2 .

Les deux méthodes convergent ou divergent donc simultanément. La méthode de Gauss-Seidel va


plus vite que la méthode de Jacobi.

www.mathonec.com
5.4. LA MÉTHODE DU GRADIENT ET DU GRADIENT CONJUGUÉ 69

5.4 La méthode du gradient et du gradient conjugué


5.4.1 Méthode du Gradient
La méthode qui suit est une méthode de la forme MB où on a posé B  I  ρA.
Toutefois on peut la raffiner un peu en faisant varier le paramètre ρ à chaque étape. On
obtient :
Algorithme du Gradient
1. Initialisation
k  0 : choix de xo et de ρo ¡0
2. Itération k
xk 1  xk  ρk pAxk  bq ;
3. Critère d’arrêt
Si }xk 1  xk }   ε , STOP
Sinon, on pose k  k 1 et on retourne à 2.
Dans tout ce qui suit, ε est un réel positif (petit) donné qui représente la précision
désirée.)
Cette méthode a pour avantage d’être très facile à mettre en œuvre. Malheureuse-
ment, les conditions de convergence sont assez lourdes et la méthode est en général assez
lente. Nous donnons ci-dessous un critère de convergence :

Théorème 5.4.1 On suppose que A est symétrique, définie positive. Alors, si on choisit le pas ρk
dans un intervalle rβ1 , β2 s tel que 0   β1   β2  
2
ρpAq
, la méthode du gradient converge vers
la solution deAx  b.

Démonstration -
On peut aussi interpréter l’algorithme du gradient à pas constant comme la méthode
des approximations successives appliquée à la recherche du point fixe de la fonction

Sρ pxq  x  ρpAx  bq ,

où ρ  0. On peut en effet montrer que Sρ est lipschitzienne de rapport (1- 2ρα ρ2 M 2 ).
C’est donc une contraction stricte si ρ P ] 0, 2α{ρpAq2 [ ; elle possède alors un unique point
fixe. Pour ρ  α{ρpAq2 , le taux de contraction est (1- α{ρpAq2 ) : c’est le meilleur possible.
La convergence est alors celle d’une série géométrique de raison (1- α{ρpAq2 ). α est la
plus petite valeur propre de A.
l
5.4.2 Méthode du Gradient conjugué
Nous allons présenter maintenant une méthode de résolution d’un système linéaire
issue de la théorie de l’optimisation et convergente dans le cas des matrices symétriques
définies positives.

www.mathonec.com
70CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

Algorithme du Gradient Conjugué


1. Initialisation
k  0 : choix de xo P Rn et calcul de go  Axo  b.
2. Itération k
(a) Si gk  0 STOP ;
(b) Sinon : "
go si k  0
 }g}gk } }2 .
2
– wk 
gk αk wk1 si k ¥ 1 avec αk 
k 1

– ρk  
pgk , wk q
pA wk , wk q
– xk 1  xk ρk wk .
(c) k  k 1.
Nous pouvons donner un résultat de convergence.
Théorème 5.4.2 La méthode du gradient conjugué fournit la solution du système Ax  b où A
est symétrique, définie positive, en au plus n itérations où n est l’ordre de A.
Démonstration - Si gk  0, alors ∇f pxk q  0 et xk  x̄ est la solution de Ax  b.
Pour k  1, nous avons wo  go ; donc pg1 , wo q  0 ce qui entraı̂ne aussi
pg1, goq  0 et pw1, Awoq  0 .
Nous faisons maintenant l’hypothèse de récurrence suivante :
$
& pgk , gj q  0 pour 0 ¤ j  k,
pHRq pgk , wj q  0 pour 0 ¤ j  k,
%
pwk , Awj q  0 pour 0 ¤ j  k.
Si gk  0, on peut construire l’algorithme au rang k 1 c’est-à-dire obtenir pxk 1 , gk 1 , wk 1 q.
– Par construction, on a vu que pgk 1 , wk q  0.
– Pour j   k :
pgk 1 , wj q  pgk 1 , wj q  plooomooon
gk , wj q  pgk 1  gk , wj q  ρ k pAwk , wj q  0 .
loooooomoooooon
0 HR
Pour j ¤ k,
pgk 1 , gj q  pgk 1 , wj q  αj pgk 
1 , wj 1 q0,
car gj  wj  αj wj 1 .
– Maintenant : wk 1  gk 1 αk 1 wk . Pour j  k
pwk 1 , Awj q  pgk 1 , Awj q αk 1p wk , Awj q  pgk
loooomoooon 1 , Awj q.
0
Comme gj 1  gj ρj Awj , on obtient
pgk 1, Awj q  ρ1 pgk 1, gj 1  gj q  0 si ρj  0 .
j

Donc si ρj  0, pwk 1 , Awj q  0 pour j   k.

www.mathonec.com
5.4. LA MÉTHODE DU GRADIENT ET DU GRADIENT CONJUGUÉ 71

– D’autre part pwk 1, Awk q  0 par construction. Donc pwk 1 , Awj q  0 pour j  
k 1.
La récurrence est démontrée tant qu’on a ρj  0 et gj  0.
Mais on a
pgk , wk q  pgk , gk q αk pgk , wk1q  }gk }2 ,
pgk , wk q . Donc ρ ne peut s’annuler que si g  0, mais alors x  x̄.
  pAw ,w q
et ρk k k k
k k
D’autre part
}wk }2  }gk }2 αk2 }wk1 }2 .
Donc si gk  0 alors wk  0. Par conséquent, si les vecteurs go , . . . , gk sont non nuls, il
en est de même pour les vecteurs wo , . . . , wk . Ceux-ci forment une famille orthogonale
pour le produit scalaire pAx, y q et les k 1- directions go , . . . , gk forment une famille
orthogonale pour le produit scalaire px, y q. Ces directions sont donc indépendantes. Par
suite si go , . . . , gn1 ne sont pas nuls on a nécessairement wn  gn  0, ce qui entraı̂ne la
convergence de l’algorithme à la n ième itération au plus. l
pgk , Awk1q  }gk }2 .
  pAw ,w q }g }2
Remarque 5.4.1 1. αk

k 1 
k 1 
k 1
2. Cette méthode est très stable même pour des matrices mal conditionnées. Elle demande 2n3
opérations dans le cas d’une matrice pleine et de n itérations. Pour une matrice creuse, le
nombre d’opérations diminue beaucoup.

En pratique, la convergence n’est pas finie à cause des erreurs de précision dues à la
machine. On ajoute donc en général une étape 3. « Critère d’arrêt » analogue à celle des
algorithmes précédents.

www.mathonec.com
72CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

5.5 Exercices
Mpn, nq désigne toujours l’ensemble des matrices carrées d’ordre n.
1. Montrer que si la matrice A  M  N est singulière alors on ne peut pas avoir
ρpM 1 N q   1 même si M est régulière.
2. Soit a P R ; la matrice A est définie de la manière suivante :

1 a a
A   a 1 a .
a a 1

(a) Pour quelles valeurs de a la matrice A est-elle définie positive ? Peut-on en


déduire les valeurs de a pour lesquelles la méthode de Gauss-Seidel est conver-
gente ?
(b) Ecrire la matrice J de l’itération de Jacobi . Pour quelles valeurs de a la matrice
de Jacobi converge-t-elle ?
(c) Ecrire la matrice L1 de l’itération de Gauss-Seidel . Calculer ρpL1 ) .
Déterminer les valeurs de a pour lesquelles la méthode de gauss-Seidel converge
et celles pour lesquelles elle converge plus vite que la méthode de jacobi.

3. On donne deux matrices réelles régulières A, B d’ordre n et a, b deux vecteurs de


Rn .

(a) On construit les deux itérations suivantes :

" xo , yo P Rn
p1q xk 1  Byk a
 0, 1, . . .
yk 1  Axk b.
pour k

Donner une condition nécessaire et suffisante de convergence des deux suites


xk et yk


(b) On pose zk  xk
yk
où zk P R2n . Expliciter les matrices C et c telles que :
zk 1  Czk c et comparer ρ pC q et ρ pAB q .
On considère maintenant les deux itérations suivantes :
"
p2q xk 1  Byk a
yk 1  Axk 1 b.

(c) Donner une condition nécessaire et suffisante de convergence de (2).


(d) Mettre comme précédemment (2) sous la forme zk 1  Dzk d . Expliciter
D et d et comparer ρ pDq et ρ pAB q .
(e) Comparer les taux de convergence des algorithmes (1) et (2) .

www.mathonec.com
5.5. EXERCICES 73

4. A est une matrice hermitienne régulière et A  M  N est une décomposition de


A telle que M  N soit définie positive. On associe à la matrice A la méthode
itérative :

M xpk 1 q  N xpkq b (5.5.2)

pour la résolution de A x  b.

(a) On suppose que A est définie positive et on définit le produit scalaire   x, y ¡A


par   x, y ¡A = (Ax,y) (où p , q désigne le produit hermitien habituel ).
On note } }A la norme associée à ce produit scalaire : }x}2A  pAx, xq .
Montrer que }pI  M 1 Aqx}A   }x}A . En déduire que (1) est convergente.
(b) On suppose désormais que la méthode (1) est convergente et on pose B 
I  M 1 A. Montrer que :
– C  ApM  q1 pM M   AqM 1 A est hermitienne définie positive.
– A  C B  A B.
8
¸
En déduire que A  C pB qk C B k .

k 1
– Conclure que A est définie positive.

Est-ce que le résultat précédent s’applique à la méthode de Gauss-Seidel ? Peut-on


retrouver un résultat classique de convergence ?
5. Méthode de Jacobi relaxée.- Soit A  paij P Mpn, nq une matrice symétrique in-
versible dont les coefficients diagonaux sont non nuls. On introduit la matrice dia-
gonale D  diag paii q1¤i¤n .
Soit b P Rn . Pour résoudre le système A x  b, on se donne ω ¡ 0 et on considère la
méthode itérative suivante
"
xo P Rn donné,
Dxk 1  rω pD  Aq p1  ωqDsxk ωb .

(a) Montrer que si les matrices A et D  A sont définies positives, alors la méthode
2
ω
itérative converge.
(b) Dans cette question, on suppose que aii ¡ 0 pour tout i et que la méthode
`
itérative converge. On notera D1{2 la matrice d’éléments diagonaux p aii q et
D1{2 son inverse.
i. Soit S  D1{2 A D1{2 . Comparer les valeurs propres des matrices D1 A
et S. Comment leurs vecteurs propres se correspondent-ils ?
ii. Montrer que le spectre de Bω  I  ωD1A est inclus dans l’intervalle
s  1, 1 r.
iii. En déduire que l’on a xt Ax ¡ 0 et xt D  Ax
2
ω
¡ 0 pour tout vecteur
propre x de Bω .

www.mathonec.com
74CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

D  A sont définies positives.


2
iv. En conclure que les matrices A et
ω
(c) Soient µ1 ¤ . . . ¤ µn les valeurs propres de la matrice J  I  D1 A. On
suppose qu’elles appartiennent toutes à s  1, 1 r.
i. On note f pω q le rayon spectral de Bω . Montrer qu’il est minimal pour une
valeur particulière ωo . Préciser ωo et f pωo .
ii. Montrer que si la matrice A est tridiagonale, le spectre de J est symétrique
par rapport à 0. Est-il pertinent dans ce cas là de relaxer la méthode de
Jacobi.
6. Algorithme du Gradient à pas constant.-
On veut résoudre le système Ax  b, x P Rn (avec A symétrique, définie, positive)
par une méthode de gradient à paramètre constant. Soit x̄ la solution de ce système.
On propose l’algorithme suivant :
$
& xo, ro  b  Axo
xk 1  xk αrk
où rk  b  Axk
%

α est un réel constant .


(a) Soit ek  xk  x̄ ( pour k ¥ 0) ; montrer que ek  pI  αAqk eo, ( pour k ¥ 0).
(b) Soient 0   λn ¤ λn1 ¤    ¤ λ1 les valeurs propres de A. Montrer que
l’algorithme converge si et seulement si 0   α  
2
.
λ 1

(c) Montrer que le meilleur choix de α est : αopt λ 2


λn
et qu’alors :
1

ρ pI  αoptq  λλ1  λλn


1 n

7. On note px, y q le produit scalaire euclidien de Rn , xt y sous forme matricielle, ui le


vecteur propre associé à une valeur propre λi et Wk le sous-espace engendré par les
k vecteurs propres pui q1¤i¤k .
Onr appelle que le quotient de Rayleigh de la matrice A est l’application de Rn t0u
vers R définie par :
RA pxq 
pAx, xq
px, xq
Pour x  0 et λ scalaire quelconque, on définit η  Ax  λx.
Montrer que
|λ  λi | ¤
}η}2
min
iPt1, ,nu }x} 2

et que η est minimum au sens de la norme euclidienne pour λ  RA pxq .


8. Soit A une matrice carrée d’ordre N symétrique , définie positive .
Deux vecteurs u  0 et v  0 sont dits A-conjugués si pAv |uq  0.

www.mathonec.com
5.5. EXERCICES 75

(a) Montrer que si les vecteurs vo , v1 ,    , vN 1 sont A-conjugués, ils forment une
base de RN .
(b) On définit les deux suites de matrices suivantes :


k¸1
vi vit
Ck  pAvi|viq

i 0

 I  Ck A .
Dk
$

& Ck Avj vj
Montrer que pour 0 ¤ j ¤ k  1 : Dk vj  0 .
Dk Avj 
% t
0
Que valent alors DN et CN ?
(c) Supposons que vo , v1 ,    , vk1 soient connus .
Si Dk = 0 , que peut-on conclure ?
Sinon , soit v P Rn tel que Dk v  0 . Montrer que vk  Dk v est A-conjugué par
rapport à vo , v1 ,    , vk1 .
(d) Ecrire un algorithme qui à partir de vo P Rn  t0u, donné, construit la suite
v1 , v2 ,    , vN 1 .
Pour cela on pourra considérer, tant que le Dk  0, un vecteur de la forme
Dk ei où ei est le ième vecteur de la base canonique.
En déduire un algorithme pour calculer A1 .

9. Problème discrétisé de Laplace-Dirichlet


Soit N un entier supérieur à 1 et h  π {pN 1q. On considère le problème discrétisé
de Laplace-Dirichlet : étant donné pfi q1¤i¤N trouver pui q1¤i¤N tel que

pui 1 ui1  2ui q{h2  fi, uo  uN 1  0. (5.5.3)

Le but du problème est de trouver une méthode itérative de résolution de (5.5.3).


(a) Calcul préliminaire
i. Monter que (5.5.3) est équivalent à la résolution de

Au  f (5.5.4)

où on explicitera la matrice A  paij q1¤i,j ¤N et où u et f sont les vecteurs


de composantes pui q1¤i¤N et pfi q1¤i¤N .
ii. Montrer que tous les vecteurs propres vk et toutes les valeurs propres λk
de A sont donnés par les formules


pvk qi  sinpi khq, λk  4


h2
sin2
kh
2
.

www.mathonec.com
76CHAPITRE 5. MÉTHODES ITÉRATIVES DE RÉSOLUTION DES SYSTÈMES LINÉAIRES

iii. Calculez la plus petite et la plus grande valeur propre de A et leur rapport.
Comment se comporte-t-il pour N Ñ 8 ?
Qu’en déduisez-vous ?
(b) Méthode itérative de résolution de (5.5.4)
On définit les matrices D et E par

dij  aij δij , eij  aij si i  j, 0 sinon.


Pour résoudre (5.5.3)-(5.5.4), on construit la suite de vecteurs upnq définis par

D upn 1 qf E upnq .

i. Comment s’appelle cette méthode ? montrer qu’elle définit effectivement


la suite upnq .
ii. Soit J  I  D1A ; montrer que
upn 1q  D1 f J upnq .

iii. Calculer les vecteurs propres et valeurs propres µk de J.


iv. Calculez le rayon spectral ρpJ q.
Les calculs des questions (iii) et (iv) de cette section servent dans la suite.
(c) Convergence de la méthode
i. Soit u la solution de (5.5.4) et epnq  u  upnq. Montrez que
epnq  J n epoq .

ii. Montrer que


}epnq}{}epoq} ¤ }J n}
où }  } désigne la norme euclidienne (et la norme matricielle induite).
iii. Montrer que
}J n} ¤ pcos hqn  sn .
En déduire que la méthode converge.
iv. On pose n  k pN 1q2 . Montrer que pour k fixé,
2
sn ÞÑ expp kπ2 q pour N Ñ 8. (5.5.5)

v. Calculez approximativement k de façon à réduire l’erreur sur upnq de 108


lorsque N est très grand. Justifiez que l’on peut utiliser (5.5.5).
vi. Quel est le coût de la méthode pour réaliser un calcul à 108 près en par-
tant d’une donnée upoq telle que }upoq }  1.
vii. Comparez ceci aux autres méthodes que vous connaissez.

www.mathonec.com
Table des matières

1 Produit hermitien 3
1.1 Formes linéaires - Dualité . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.1 Rappels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1.2 Formes linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3 Lien avec la topologie . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Formes bilinéaires et sesquilinéaires- Produit hermitien . . . . . . . . . . . 6
1.2.1 Définitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.2 Orthogonalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3 Théorème de projection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.1 Projection orthogonale . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.3.2 Cas où V est un espace de dimension finie . . . . . . . . . . . . . . 14

2 Analyse matricielle générale 17


2.1 Matrices hermitiennes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.1.1 Endomorphismes adjoints - Matrices adjointes . . . . . . . . . . . 17
2.1.2 Réduction des matrices hermitiennes et/ou unitaires . . . . . . . . 20
2.1.3 Valeurs singulières . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.1.4 Quotient de Rayleigh . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Normes matricielles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.3 Suites et séries de vecteurs et de matrices . . . . . . . . . . . . . . . . . . . 29
2.4 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3 Conditionnement des matrices 35


3.1 Sur la notion d’erreur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
3.2 Nombre de conditionnement d’une matrice . . . . . . . . . . . . . . . . . . 37
3.3 Majoration des perturbations . . . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3.1 Perturbation du second membre . . . . . . . . . . . . . . . . . . . . 38
3.3.2 Perturbation de la matrice . . . . . . . . . . . . . . . . . . . . . . . . 38
3.3.3 Retour sur l’exemple préliminaire . . . . . . . . . . . . . . . . . . . 39
3.4 Calcul approché de cond(A) . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.5 Conditionnement du calcul de l’inverse d’une matrice . . . . . . . . . . . . 40
3.6 Exercices et travaux pratiques . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.6.1 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

77

www.mathonec.com
78 TABLE DES MATIÈRES

3.6.2 Travaux-pratiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

4 Méthodes directes de résolution des systèmes linéaires 47


4.1 La méthode de Gauss . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.1.1 Résolution d’un système triangulaire (inférieur) . . . . . . . . . . . 47
4.1.2 La méthode de Gauss . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.1.3 Nombres d’opérations . . . . . . . . . . . . . . . . . . . . . . . . . . 51
4.1.4 Fin de la résolution . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.1.5 La méthode de Gauss-Jordan . . . . . . . . . . . . . . . . . . . . . . 52
4.2 Méthode de Choleski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
4.3 Factorisation QR - Méthode de Householder . . . . . . . . . . . . . . . . . 54
4.3.1 Les matrices de Householder . . . . . . . . . . . . . . . . . . . . . . 54
4.3.2 Méthode de Householder et décomposition QR . . . . . . . . . . . 56
4.4 Exercices et travaux pratiques . . . . . . . . . . . . . . . . . . . . . . . . . . 58

5 Méthodes itératives de résolution des systèmes linéaires 61


5.1 Principe général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
5.2 Les méthodes de Jacobi et de Gauss-Seidel . . . . . . . . . . . . . . . . . . 64
5.2.1 La méthode de Jacobi . . . . . . . . . . . . . . . . . . . . . . . . . . 64
5.2.2 La méthode de Gauss-Seidel . . . . . . . . . . . . . . . . . . . . . . 64
5.2.3 La méthode de Relaxation . . . . . . . . . . . . . . . . . . . . . . . 65
5.2.4 Méthode par blocs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
5.2.5 Récapitulatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
5.3 Convergence des méthodes . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.3.1 Résultat général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
5.3.2 Convergence des méthodes de Gauss-Seidel et relaxation . . . . . . 67
5.4 La méthode du gradient et du gradient conjugué . . . . . . . . . . . . . . . 69
5.4.1 Méthode du Gradient . . . . . . . . . . . . . . . . . . . . . . . . . . 69
5.4.2 Méthode du Gradient conjugué . . . . . . . . . . . . . . . . . . . . 69
5.5 Exercices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72

www.mathonec.com