Universite de la Mediterranee Annee 2009-2010

Departement de mathematiques Master 1

`ere
annee
Analyse numerique
Analyse numerique matricielle
1 Rappels et complements danalyse lineaire
1.1 Notations
K designe le corps R ou C.
Adjoint. V designe un espace vectoriel de dimension nie n sur K = R ou C. Lorsquune
base e
1
, . . . , e
n
est xee sans ambiguite, on identiera V avec K
n
et lon notera le vecteur
v =

n
i=1
v
i
e
i
, v
i
K par le vecteur colonne
v =
_
_
_
_
_
v
1
v
2
.
.
.
v
n
_
_
_
_
_
vecteur transpose de v : v
T
= (v
1
. . . v
n
)
vecteur adjoint de v : v

= (v
1
. . . v
n
)
Structures euclidienne et hermitienne Si K = R, on munit V dune structure eucli-
dienne en denissant sur V le produit scalaire euclidien ( , ) : V V R en posant :
(u, v) = v
T
u =
n

i=1
u
i
v
i
Si K = C, on munit V dune structure hilbertienne en denissant sur V le produit scalaire
hermitien ( , ) : V V C en posant :
(u, v) = v

u =
n

i=1
u
i
v
i
On parle de produit scalaire canonique si K nest pas precise. La norme |u| = (u, u)
1/2
,
u K
n
, qui derive du produit scalaire canonique est appelee norme hermitienne ou
norme euclidienne suivant que K = C ou K = R.
Orthogonalite. Deux vecteurs u et v de K
n
sont orthogonaux si (u, v) = 0. Une famille
v
1
, v
2
, . . . , v
k
de k n vecteurs de K
n
est dite orthonormale si (v
i
, v
j
) =
ij
, i, j =
1, . . . , k. Un syst`eme orthonormal de k = n vecteurs est une base orthonormale de K
n
.
1
1 RAPPELS ET COMPL

EMENTS DANALYSE LIN

EAIRE 2
Matrices associees On note M
m,n
(K) le K-espace vectoriel des matrices m lignes et
n colonnes et ` a coecients dans K.
A =
_
a
ij
_
, 1 i m, 1 j n
` a coecients dans K et on note M
n
(K) pour M
n,n
(K).
Soit A M
m,n
(R). On note A
T
et on appelle matrice transposee de A lunique matrice
de M
n,m
(R) telle que
u R
n
, v R
m
, (Au, v) = (u, A
T
v)
Soit A M
m,n
(C). On note A

et on appelle matrice adjointe de A lunique matrice de

M
n,m
(C) telle que
u C
n
, v C
m
, (Au, v) = (u, A

v)
Exercice 1. Montrer que si A =
_
a
ij
_
1im 1jn
, alors A

=
_
a
ji
_
1jn 1im
Exercice 2. Pour tous A M
m,n
(C) et B M
n,p
(C), m, n, p 1, montrer que
1. (AB)

= B

2. Si A M
n
(C) est inversible, alors A

est inversible et (A

)
1
= (A
1
)

.
Matrices particuli`eres Une matrice carree A M
n
(R) est :
- symetrique si A = A
T
- orthogonale si AA
T
= A
T
A = I
Une matrice carree A M
n
(C) est :
- hermitienne ou auto-adjointe si A = A

- unitaire si AA

= A

A = I
- normale si AA

= A

A
Exercice 3. Soit U M
n
(C). Demontrer les equivalences suivantes :
1. U est unitaire
2. x, y C
n
, (Ux, Uy) = (x, y)
3. Si e
1
, . . . , e
n
est une base orthonormale de C
n
, alors Ue
1
, . . . , Ue
n
est aussi une base
orthonormale de C
n
.
Determinant Soit
n
le groupe des permutations de 1, . . . , n. On denit le
determinant de A M
n
(C) par :
det A =

a
(1)1
a
(2)2
. . . a
(n)n
o` u

designe la signature de .
Trace Soit A =
_
a
ij
_
M
n
(C). On denit la trace de A par :
tr(A) =
n

i=1
a
ii
1 RAPPELS ET COMPL

EMENTS DANALYSE LIN

EAIRE 3
Spectre. Le spectre de A M
n
(K), n 1, est lensemble des valeurs propres de A :
(A) = K, A I singuli`ere.
Le rayon spectral de A est le plus grand des modules des valeurs propres de A :
(A) = max[[, (A).
Exercice 4. 1. Demontrer que les valeurs propres dune matrice hermitienne sont des
nombres reels.
2. Demontrer que les valeurs propres dune matrice unitaire sont des complexes de
module 1.
1.2 Reduction matricielle
Le probl`eme de reduction. Soit V un K-e.v. de dimension n et f : V V un
endomorphisme. Trouver une base dans laquelle la matrice de f soit la plus simple
possible.
Matrices semblables. Les matrices A et B de M
n
(K) sont dites semblables sil existe
P M
n
(K) inversible telle que B = P
1
AP.
Interpretation : soit V un K-e.v. de dimension n; A et B sont matrices dune meme
application lineaire f : V V dans deux bases resp. e
1
, . . . , e
n
et
1
, . . . ,
n
de V , et P
est la matrice de passage de la base e
1
, . . . , e
n
` a la base
1
, . . . ,
n
.
Theor`eme 1. (Lemme de Schur) Soit A M
n
(C).
(a) Il existe U M
n
(C) unitaire telle que U
1
AU soit triangulaire.
(b) Si A est normale, il existe U M
n
(C) unitaire telle que U
1
AU soit diagonale.
(c) Si A est hermitienne, il existe U M
n
(C) unitaire telle que U
1
AU soit diagonale
reelle.
Decomposition en valeurs singuli`eres. Les matrices A et B de M
m,n
(K) sont dites
equivalentes sil existe Q M
m
(K) et P M
n
(K) inversibles telles que B = QAP.
Soit A M
n
(C). Les valeurs propres de la matrice hermitienne A

A sont des reels 0.

On appelle valeurs singuli`eres de A les racines carrees des valeurs propres de A

A .
Exercice 5. Montrer quune matrice carree est inversible si et seulement si ses valeurs
singuli`eres sont > 0.
Theor`eme 2. Pour tout A M
m,n
(C) o` u m n, il existe deux matrices unitaires
U M
m
(C) et V M
n
(C) telles que
UAV

=
_
_
_
_
_
_
_
_
_

1
0
0
.
.
.
0
0
n
0 . . . 0
.
.
.
.
.
.
.
.
.
0 . . . 0
_
_
_
_
_
_
_
_
_
,
les
i
etant les valeurs singuli`eres de A.
1 RAPPELS ET COMPL

EMENTS DANALYSE LIN

EAIRE 4
Exercice 6. A designant une matrice de M
m,n
(C) o` u m n, on rappelle quil existe
deux matrices unitaires U M
m
(C) et V M
n
(C) telles que
A = UV

, =
_
_
_
_
_
_
_
_
_

1
0
0
.
.
.
0
0
n
0 . . . 0
.
.
.
.
.
.
.
.
.
0 . . . 0
_
_
_
_
_
_
_
_
_
.
Dans la suite, u
i
C
m
, 1 i m, designe la i
i`eme
colonne de la matrice U et v
k
C
n
,
1 k n, la k
i`eme
colonne de V . On note (e
i
)
1in
la base canonique de C
n
et (
k
)
1km
celle de C
m
.
1. Montrer que V

n
i=1
e
i
v

i
, V

n
i=1

i
v

i
et A =

n
i=1

i
u
i
v

i
.
2. Montrer que A

A =

n
i=1

2
i
v
i
v

i
.
3. Supposant que
1

2
. . .
r
>
r+1
= . . . =
n
= 0, r 1, en deduire que
(a) ker A = ker A

A = vectv
r+1
, . . . , v
n

(b) ImA = vectu

1
, . . . , u
r

(c) ImA

= vectv
1
, . . . , v
r
= (ker A)

.
1.3 Matrices hermitiennes
Decomposition spectrale. Dapr`es Theor`eme 1 (c), si A M
n
(C) est hermitienne,
alors A est diagonalisable, ses valeurs propres sont reelles et il existe une b.o.n. de C
n
formee de vecteurs propres de A.
Quotient de Rayleigh. Le quotient de Rayleigh de A M
n
(C) est lapplication :
R
A
: C
n
0 C
v
(Av,v)
(v,v)
.
Dans la suite, pour alleger les notations, on omettra de preciser que dans lecriture R
A
(v),
v ne saurait etre nul.
Remarques. 1) Si A est hermitienne, alors R
A
(v) R pour tout v C
n
0.
2) Pour tout v C
n
et pour tout C 0, R
A
(v) = R
A
(v). Donc si V est un s.e.v
de C
n
, alors
R
A
(V 0) = R
A
(v V / v

v = 1).
En particulier R
A
(V 0) est un compact de C (de R si A est hermitienne).
Le resultat suivant permet dexprimer le spectre dune matrice hermitienne en fonction
des valeurs du quotient de Raleight. Cest le theor`eme de Courant-Fisher, appele aussi
principe du min-max. Une application de ce resultat sera donnee par la demonstration
du theor`eme 11 :
1 RAPPELS ET COMPL

EMENTS DANALYSE LIN

EAIRE 5
Theor`eme 3. Soit A M
n
(C) une matrice hermitienne dont les valeurs propres sont

1

2
. . .
n
. On note v
1
, v
2
, . . . , v
n
une b.o.n. de vecteurs propres associes
(Av
i
=
i
v
i
, i = 1, 2, . . . , n), et lon pose :
V
0
= 0 puis V
k
= vectv
1
, . . . , v
k
et 1
k
= sev de dim k de C
n
, k = 1, . . . , n.
Alors, pour tout k = 1, . . . , n, on a :
(i)
k
= R
A
(v
k
) = max
uV
k
R
A
(u) = min
uV

k1
R
A
(u).
(ii)
k
= min
WV
k
max
wW
R
A
(w).
(iii)
k
= max
WV
k1
min
wW
R
A
(w).
(iv) R
A
(C
n
) = [
1
,
n
]
Positivite. Une matrice A M
n
(K) supposee hermitienne si K = C et symetrique si
K = R, est dite positive si elle verie
(Av, v) 0, v K
n
,
ce qui se note A 0. Elle est dite denie positive si elle satisfait de plus limplication :
v K
n
, (Av, v) = 0 = v = 0, ;
et lon ecrit alors A > 0.
Proposition 4. Si A est hermitienne alors :
(i) A 0 (A) R
+
.
(ii) A > 0 (A) R

+
.
Exercice 7. Demontrer la proposition.
1.4 Norme matricielle
Norme vectorielle. Une norme |.| sur K
n
, n 1, est une application de K
n
dans R
+
satisfaisant les trois axiomes suivants :
(i) |v| = 0 v = 0.
(ii) |v| = [[|v|, K, v K
n
.
(iii) |u + v| |u| +|v|, u, v K
n
.
Pour tout p 1, |v|
p
= (

n
i=1
[v
i
[
p
)
1/p
denit une norme appelee norme p sur K
n
. Si
p = 2 il sagit evidemment de la norme euclidienne ou hermitienne suivant que K = R ou
K = C. De meme |v|

= max
i=1,...,n
[v
i
[, est une norme appelee norme innie. Elle peut
etre vue comme la limite des normes p en ce sens que |v|

= lim
p+
|v|
p
, v K
n
.
A toutes ns utiles rappelons linegalite de Holder
n

i=1
[u
i
v
i
[ |u|
p
|v|
q
, p > 1,
1
p
+
1
q
= 1,
qui, dans le cas particulier o` u p = 2, est appelee inegalite de Cauchy-Schwarz :
n

i=1
[u
i
v
i
[ |u|
2
|v|
2
.
1 RAPPELS ET COMPL

EMENTS DANALYSE LIN

EAIRE 6
Norme matricielle. Une norme matricielle sur M
n
(K) est une norme vectorielle sur
K
n
2
qui est continue pour le produit matriciel, en ce sens quelle verie la condition
supplementaire suivante :
|AB| |A||B|, A, B M
n
(K).
Norme matricielle induite ou subordonnee. Soit |.| une norme vectorielle sur K
n
.
Pour tout A M
n
(K) on pose :
|A| = sup
vK
n
{0}
|Av|
|v|
= sup
vK
n
{0}, v1
|Av| = sup
vK
n
, v=1
|Av|.
Cette egalite denit une norme matricielle sur M
n
(K) que lon appelle la norme induite
par |.| ou la norme subordonnee ` a |.|.
Exercice 8. Montrer quil existe u K
n
0 tel que |Au| = |A||u|.
Dans le cas particulier o` u |.| = |.|
p
et p = 1, 2, , il est possible de donner une
expression explicite de la norme induite associee :
Proposition 5. Si A = (a
ij
)
1i,jn
M
n
(K), n 1, alors :
(i) |A|
1
= max
j=1,...,n

n
i=1
[a
ij
[.
(ii) |A|

= max
i=1,...,n

n
j=1
[a
ij
[.
(iii) |A|
2
=
_
(A

A)
De plus |.|
2
est unitairement invariante :
|AU|
2
= |UA|
2
= |U

AU|
2
= |A|
2
, U M
n
(K) unitaire.
Exercice 9. 1) Soit A M
n
(C). Demontrer que (A

A) = (AA

) . En deduire que
|A|
2
= |A

|
2
.
2) On suppose A normale. Demontrer que |A|
2
= (A).
Exercice 10. (Norme de Frobenius)
1. Montrer que
|A|
F
=
_

1i,jn
[a
ij
[
2
_
1/2
denit une norme matricielle sur M
n
(K) qui si n 2 nest induite par aucune
norme sur K
n
.
2. Verier que
|A|
F
=
_
tr(A

A)
La norme |.|
F
sappelle aussi norme de Schur, ou norme de Hilbert-Schmidt ou norme
2 de Schatten.
Norme matricielle et rayon spectral.
Theor`eme 6. Soit A M
n
(C). Alors
1 RAPPELS ET COMPL

EMENTS DANALYSE LIN

EAIRE 7
1. Pour toute norme matricielle |.| (subordonnee ou non) sur M
n
(C),
(A) |A|.
2. Pour tout > 0, il existe au moins une norme matricielle subordonnee telle que
|A| (A) + .
Exercice 11. Demonstration du theor`eme 6
1. Soit p un vecteur propre de A associe `a une valeur propre telle que [[ = (A).
Soit v le n-vecteur dont toutes les composantes sont egales ` a 1. Majorer |Apv

| et
en deduire 1.
2. Soient > 0 et D

la matrice diagonale de taille n telle que (D

)
i,i
=
i1
. On
rappelle que A est unitairement semblable ` a une matrice triangulaire T (superieure
pour xer les idees) : il existe U unitaire telle que U

AU = T = (t
i,j
)
1i,jn
. On
pose alors U

= UD

, puis lon denit la norme suivante :

|A|

= |U
1

AU

.
(a) Montrer que |.|

est la norme matricielle induite par la norme vectorielle

|U
1

v|

.
(b) Calculer U
1

AU

puis |A|

en fonction de , des valeurs propres de A et des

elements de la matrice T.
(c) Etant donne > 0, montrer que lon peut choisir > 0 pour que |A|

(A) + .
Convergence dune suite de matrices.
Theor`eme 7. Soit A M
n
(C). Les propositions suivantes sont equivalentes :
(i) A
k
k
0
(ii) Quel que soit v C
n
, A
k
v
k
0
(iii) (A) < 1
(iv) Il existe une norme matricielle induite |.| telle que |A| < 1.
Exercice 12. (Inversibilite dune matrice). Montrer que :
1. Si I
n
A est singuli`ere, alors |A| 1 pour toute norme matricielle |.|.
2. Si |A| < 1 pour une norme matricielle induite |.|, alors I
n
A est inversible et
|(I
n
A)
1
| (1 |A|)
1
.
2 CONDITIONNEMENT 8
2 Conditionnement
2.1 Conditionnement dun syst`eme lineaire
Un exemple Considerons le syst`eme lineaire
_
_
_
_
10 7 8 7
7 5 6 5
8 6 10 9
7 5 9 10
_
_
_
_
_
_
_
_
u
1
u
2
u
3
u
4
_
_
_
_
=
_
_
_
_
32
23
33
31
_
_
_
_
, de solution
_
_
_
_
1
1
1
1
_
_
_
_
On modie tr`es leg`erement le second membre, et lon obtient :
_
_
_
_
10 7 8 7
7 5 6 5
8 6 10 9
7 5 9 10
_
_
_
_
_
_
_
_
u
1
+ u
1
u
2
+ u
2
u
3
+ u
3
u
4
+ u
4
_
_
_
_
=
_
_
_
_
32, 1
22, 9
33, 1
30, 9
_
_
_
_
, de solution
_
_
_
_
9, 2
12, 6
4, 5
1, 1
_
_
_
_
Maintenant, modions tr`es leg`erement la matrice du syst`eme :
_
_
_
_
10 7 8, 1 7, 2
7, 08 5, 04 6 5
8 5, 98 9, 89 9
6, 99 4, 99 9 9, 98
_
_
_
_
_
_
_
_
u
1
+ u
1
u
2
+ u
2
u
3
+ u
3
u
4
+ u
4
_
_
_
_
=
_
_
_
_
32
23
33
31
_
_
_
_
, de solution
_
_
_
_
81
137
34
22
_
_
_
_
Conditionnement. Soit |.| une norme sur C
n
, n 1. On note encore |.| la norme
matricielle subordonnee correspondante. Le conditionnement dune matrice inversible
A M
n
(K) associe `a la norme |.| est deni par le produit :
cond(A) = |A||A
1
|
Les deux resultats suivants donnent des majorations de lerreur relative sur la solution
dun syst`eme lineaire Au = b dinconnue u C
n
, avec A M
n
(C) inversible et b C
n
en fonction des variations relatives sur la matrice A et sur le vecteur b. Ils sont enonces
pour une norme vectorielle quelconque sur C
n
et pour sa norme matricielle subordonnee.
Theor`eme 8. Soit A M
n
(C) une matrice inversible, b ,= 0 et b des vecteurs de C
n
.
On note u et u + u les solutions des syst`emes lineaires
Au = b et A(u + u) = b + b
Alors linegalite
|u|
|u|
cond(A)
|b|
|b|
est satisfaite, et cest la meilleure possible : A etant xee, on peut trouver des vecteurs
non nuls b et b tels que legalite soit satisfaite.
Theor`eme 9. Soient A et A M
n
(C) avec A inversible, et soit b ,= 0 un vecteur de
C
n
. On note u et u + u les solutions des syst`emes lineaires
Au = b
2 CONDITIONNEMENT 9
(A + A)(u + u) = b
Alors linegalite
|u|
|u + u|
cond(A)
|A|
|A|
est satisfaite, et cest la meilleure possible : A etant xee, on peut trouver un vecteur
b ,= 0 et une matrice A ,= 0 tels que legalite soit satisfaite.
Les conditionnements de matrice utilises dans la pratique correspondent aux trois normes
usuelles |.|
p
, p = 1, 2, . On note : cond
p
(A) = |A|
p
|A
1
|
p
.
Exercice 13. Demontrer les proprietes du conditionnement enoncees ci-dessous :
1. cond(A) 1,
cond(A) = cond(A
1
),
Pour tout scalaire ,= 0, cond(A) = cond(A)
2.
cond
2
(A) =

n
(A)

1
(A)
o` u
1
(A) > 0 et
n
(A) > 0 designent respectivement la plus petite et la plus grande
des valeurs singuli`eres de A.
3. Si A est une matrice normale, alors
cond
2
(A) =
max
i
[
i
(A)[
min
i
[
i
(A)[
o` u les
i
(A) sont les valeurs propres de A.
4. Le conditionnement cond
2
(A) dune matrice unitaire ou orthogonale vaut 1.
5. Le conditionnement cond
2
(A) est invariant par transformation unitaire : soit A, U
M
n
(C), U unitaire. Alors
cond
2
(A) = cond
2
(AU) = cond
2
(UA) = cond
2
(U

AU)
2.2 Conditionnement dun probl`eme de valeurs propres
Un exemple. Pour R, considerons la matrice dordre n :
A()
_
_
_
_
_
_
_
_
0
1 0
0 1 0
0 1 0
. . .
0 1 0
_
_
_
_
_
_
_
_
Pour = 0, toutes les valeurs propres de la matrice sont nulles. Pour n = 40 et = 10
40
,
les n valeurs propres de A(10
40
) sont de module 0, 1, cest-` a-dire 10
39
fois la variation
de !
Il est possible sous certaines conditions de contr oler la variation du spectre dune matrice
de reference A, induite par la modication A de ses elements.
2 CONDITIONNEMENT 10
Cas general.
Theor`eme 10. ( Theor`eme de Bauer-Fike ) Soient A M
n
(C), n 1, une matrice
diagonalisable : P
1
AP = D = diag(
i
)
1in
, et |.| une norme matricielle telle que pour
toute matrice diagonale diag(d
1
, . . . , d
n
),
|diag(d
1
, . . . , d
n
)| = max
i
[d
i
[
Alors pour toute matrice A M
n
(C) on a
(A + A)
n
i=1

i
,
i
= z C, [z
i
[ (cond P)|A|.
Exercice 14. Verier que les trois normes matricielles |.|
1
, |.|
2
et |.|

verient lhy-
poth`ese de lenonce du theor`eme 10.
Cas hermitien.
Theor`eme 11. Soient A et B = A+A M
n
(C) deux matrices hermitiennes de valeurs
propres

1

2
. . .
n
et
1

2
. . .
n
respectivement. Alors
[
k

k
[ |A|
2
, k = 1, . . . , n.
Exercice 15. (Inegalite de Kantorovitch). On consid`ere une matrice A M
n
(R), n
1, symetrique denie positive. On note
1

2
. . .
n
ses valeurs propres et
v
1
, v
2
, . . . , v
n
une base orthonormale de R
n
de vecteurs propres associes (Av
k
=
k
v
k
pour k = 1, 2, . . . , n).
Le but de cet exercice est detablir linegalite de Kantorovitch :
1
(Ax, x)(A
1
x, x)
|x|
4

(1 + cond
2
A)
2
4cond
2
A
, x R
n
0. (1)
(a) Rappeler lexpression de cond
2
A en fonction de
1
et
n
.
(b) On pose p() =
2
(
1
+
n
) +
1

n
pour tout R.
(i) Montrer que p(
k
) 0 pour tout k = 1, 2, . . . , n.
(ii) Calculer les valeurs propres de la matrice B = A
1
p(A) et en deduire que
(Bx, x) 0 pour tout x R
n
.
(c) Pour x R
n
xe, on pose f() =
2
(Ax, x) (
1
+
n
)|x|
2
+
1

n
(A
1
x, x) pour
tout R.
(i) En comparant f(1) et (Bx, x), montrer que f(0)f(1) 0, puis que
(
1
+
n
)
2
|x|
4
4(Ax, x)(A
1
x, x)
1

n
0.
(ii) En deduire alors que :
(Ax, x)(A
1
x, x)
|x|
4

(1 + cond
2
A)
2
4cond
2
A
.
2 CONDITIONNEMENT 11
(iii) Montrer en examinant le cas particulier du vecteur x = v
1
+ v
n
que linegalite
precedente est optimale.
(d) Etablir enn linegalite de gauche dans (1) et montrer quelle est optimale.
Exercice 16. Considerons le syst`eme lineaire Au = b :
_
_
_
_
10 1 4 0
1 10 5 1
4 5 10 7
0 1 7 9
_
_
_
_
_
_
_
_
u
1
u
2
u
3
u
4
_
_
_
_
=
_
_
_
_
15
15
26
15
_
_
_
_
, de solution
_
_
_
_
1
1
1
1
_
_
_
_
et le syst`eme lineaire perturbe A(u + u = b + b :
_
_
_
_
10 1 4 0
1 10 5 1
4 5 10 7
0 1 7 9
_
_
_
_
_
_
_
_
u
1
+ u
1
u
2
+ u
2
u
3
+ u
3
u
4
+ u
4
_
_
_
_
=
_
_
_
_
16
16
25
16
_
_
_
_
, de solution
_
_
_
_
832
1324
2407
2021
_
_
_
_
On donne la plus petite et la plus grande valeur propre de la matrice :
1
= 0, 0005343 et

2
= 19, 1225 Calculer le conditionnement de la matrice et le comparer avec le rapport
des erreurs relatives sur u et b.
Exercice 17. (Conditionnement du probl`eme de linversion dune matrice). Soit A
une matrice inversible donnee. Si A + A est une matrice inversible, alors
|(A + A)
1
A
1
|
|(A + A)
1
|
cond(A)
|A|
|A|
et
|(A + A)
1
A
1
|
|A
1
|
cond(A)
|A|
|A|
(1 + o(|A|))
Exercice 18. Soit A =
_
a
ij
_
une matrice carree complexe dordre n.
1) (Theor`eme de Gerschgorin-Hadamard) Montrer que
(A)
n
_
i=1
z C; [z a
ii
[

j=i
[a
ij
[
2) Montrer que si la matrice A est strictement diagonalement dominante, cest-` a-dire si
pour tout i = 1, . . . , n, [a
ii
[ >

j=i
[a
ij
[, alors elle est inversible.
3) Montrer que si la matrice A est strictement diagonalement dominante, on a linegalite
[ det A[
n

i=1
([a
ii
[

j=i
[a
ij
[)
Indication : Appliquer 1) ` a la matrice A

= DA o` u D = diag(
i
) avec

i
=
_
[a
ii
[

j=i
[a
ij
[
_
1
, i = 1, . . . , n
3 M

ETHODES IT

ERATIVES DE R

ESOLUTION DE SYST
`
EMES LIN

EAIRES 12
3 Methodes iteratives de resolution de syst`emes
lineaires
3.1 Generalites sur les methodes iteratives
Soit A M
n
(C) un matrice inversible et soit b C
n
. On cherche ` a resoudre le syst`eme
lineaire
Au = b
Methode iterative. Supposons que lon ait trouve une matrice B et un vecteur c tels
que la matrice I B soit inversible et tels que la solution du syst`eme lineaire Au = b
soit aussi la solution du syst`eme lineaire u = Bu + c.
On obtient alors une methode iterative de resolution du syst`eme Au = b : on se donne
un vecteur initial u
0
et on denit une suite de vecteurs (u
k
)
k0
par :
k 0, u
k+1
= Bu
k
+ c (2)
On dit que cette methode iterative est convergente si pour tout vecteur initial u
0
,
lim
k
u
k
= u
Crit`ere de convergence.
Theor`eme 12. Les assertions suivantes sont equivalentes :
1. La methode iterative (2) est convergente
2. (B) < 1
3. |B| < 1 pour au moins une norme matricielle |.|
Calcul de lerreur.
Proposition 13. Soit |.| une norme vectorielle quelconque. Alors
lim
k
sup
u
0
u=1
|u
k
u|
1/k
= (B)
Conclusion : le vecteur erreur e
k
= u
k
u se comporte au pire comme (B)
k
Comparaison des methodes iteratives.
Proposition 14. Soit |.| une norme vectorielle quelconque. Soit B, B

M
n
(C) inver-
sibles et c, c

C tels que les syst`emes u = Bu+c et u = B

u+c

aient la meme solution

u. On suppose (B) < (B

).
On consid`ere les methodes iteratives
k 0, u
k+1
= Bu
k
+ c, et u

k+1
= B

k
+ c

, avec u
0
= u

0
Alors pour tout > 0, il existe un rang K N tel que
k K, sup
u
0
u=1
_
|u

k
u|
|u
k
u|
_
1/k

(B

)
(B) +
Conclusion : la methode la plus rapide est celle dont la matrice a le plus petit rayon
spectral.
3 M

ETHODES IT

ERATIVES DE R

ESOLUTION DE SYST
`
EMES LIN

EAIRES 13
3.2 Description des methodes de jacobi, de Gauss-Seidel, de relaxa-
tion
Les trois methodes sont basees sur le meme principe ; chacune est une amelioration de
la precedente.
Le principe Pour resoudre le syst`eme Au = b, on decompose A sous la forme
A = M N
o` u M est une matrice inversible facile ` a inverser (diagonale, triangulaire, diagonale par
blocs, triangulaire par blocs). Alors Au = B est equivalent `a u = Bu + c avec
B = M
1
N et c = M
1
b,
et lon applique la methode iterative associee `a ce syst`eme.
La methode de Jacobi Cette methode sapplique `a une matrice dordre n A =
_
a
ij
_
inversible et telle que i, a
ii
,= 0.
On decompose A en A = D E F o` u
D = diag(a
11
, . . . , a
nn
)
(E)
ij
= a
ij
si i > j, 0 sinon
(F)
ij
= a
ij
si i < j, 0 sinon
Autrement dit, avec une notation leg`erement abusive :
A =
_
_
_
_
_
_
_
_
_
a
11
a
12
a
13
. . . . . . a
1n
a
21
a
22
a
23
. . . F a
2n
a
31
a
32
a
33
. . . . . . a
3n
.
.
.
.
.
.
.
.
. D . . .
.
.
.
.
.
. E
.
.
. . . .
.
.
.
a
n1
a
n2
a
n3
. . . . . . a
nn
_
_
_
_
_
_
_
_
_
La matrice J = D
1
(E + F) sappelle la matrice de Jacobi (par points).
La methode de Gauss-Seidel Elle consiste ` a poser M = DE et N = F, cest-` a dire
` a considerer la methode iterative :
u
k+1
= (D E)
1
Fu
k
+ (D E)
1
b
La matrice L
1
= (D E)
1
F sappelle la matrice de Gauss-Seidel (par points).
Avantages de la methode de Gauss-Seidel sur celle de Jacobi :
1. Utilise deux fois moins de memoire de lordinateur
2. Heuristiquement plus ecace car la matrice M prend en compte davantage de
coecients de A.
3 M

ETHODES IT

ERATIVES DE R

ESOLUTION DE SYST
`
EMES LIN

EAIRES 14
La methode de relaxation Cest une amelioration de la methode de Gauss-Seidel qui
consiste ` a faire intervenir un param`etre reel ,= 0 dont la valeur sera choisie de fa con ` a
obtenir une plus grande vitesse de convergence. Precisement, on pose :
M =
1

D E et N =
1

D + F
La matrice
L

=
_
1

D E
_
1
_
1

D + F
_
sappelle la matrice de relaxation (par points).
3.3 Convergence de la methode de relaxation lorsque A > 0
(sous forme de probl`eme)
Dans les parties 1 et 2, on consid`ere une matrice A hermitienne denie positive.
Partie 1
O` u lon demontre une condition susante de convergence dune methode iterative MN.
1) Verier que la matrice M

+ N est hermitienne
2) Montrer que
|v| = (v

Av)
1/2
denit une norme sur C
n
. On note encore |.| la norme matricielle subordonnee.
3) Soit v C
n
tel que |v| = 1. On pose w = M
1
Av. Demontrer que
|v w|
2
= 1 w

(M

+ N)w
4) En deduire que si la matrice M

+ N est denie positive, alors |M

1
N| < 1.
5) En deduire que si la matrice M

+ N est denie positive, alors (M

1
N) < 1.
Partie 2
O` u lon demontre une condition susante de convergence de la methode de relaxation.
On consid`ere les matrices M et N de la methode de relaxation.
1) Demontrer que
M

+ N =
2 w
w
D
2) Demontrer que la matrice D est denie positive.
3) En deduire que M

+ N est denie positive si et seulement si 0 < w < 2.

4) Montrer que si 0 < w < 2, alors la methode de relaxation converge.
Partie 3
O` u lon demontre une condition susante de divergence de la methode de relaxation
Dans cette partie, on ne fait aucune hypoth`ese sur A
1) Demontrer que det L

= (1 )
n
.
2) Demontrer que (L

) [ 1[.
3) Conclure
3 M

ETHODES IT

ERATIVES DE R

ESOLUTION DE SYST
`
EMES LIN

EAIRES 15
3.4 Convergence comparee des trois methodes ; cas A tridiagonale
Comparaison des methodes de Jacobi et de Gauss-Seidel
Theor`eme 15. Soit A une matrice tridiagonale. Alors les rayons spectraux des matrices
de Jacobi et de Gauss-Seidel sont lies par la relation :
(L
1
) = (J)
2
En consequence, les deux methodes convergent ou divergent simultanement. Lorsquelles
convergent, la methode de Gauss-Seidel converge plus rapidement que la methode de
Jacobi.
Comparaison des methodes de Jacobi et de relaxation
Theor`eme 16. Soit A une matrice tridiagonale dont tous les termes diagonaux sont
reels. Alors la methode de Jacobi et la methode de relaxation convergent ou divergent
simultanement. Lorsquelles convergent, le graphe de la fonction
]0, 2[ (L

)
a lallure indiquee ci-dessous. Le minimum est atteint en

0
=
2
1 +
_
1 ((J))
2
,
et
(L

0
) =
0
1
3 M

ETHODES IT

ERATIVES DE R

ESOLUTION DE SYST
`
EMES LIN

EAIRES 16
Probl`eme

Etude detaillee dun probl`eme aux limites en dimension 1

On sinteresse ` a la situation physique suivante : une poutre horizontale de longueur 1
appuyee simplement ` a ses extremites est etire selon son axe par une force P et est
soumise `a une charge transversale f(x)dx par unite de longueur dx. Alors lordonnee
u(x) du point dabcisse x de la poutre, appelee moment echissant en x, est solution du
probl`eme aux limites :
A =
_
u(x) + c(x)u(x) = f(x), 0 < x < 1
u(0) = u(1) = 0
o` u x c(x) est une fonction positive dependant du materiau constituant la poutre.
On peut demontrer (on ladmettra ici) que ce probl`eme aux limites poss`ede une unique
solution : [0, 1] R
4
de classe C
4
.
On ne connait pas de methode qui permettrait de trouver une formule exacte pour decrire
. Lobjet de ce probl`eme est la mise en uvre de la methode des dierences nies an
dapprocher la solution daussi pr`es que lon veut.
Partie 1
Methode des dierences nies

Etant donne un entier N 1, on pose :

h =
1
N + 1
et on denit un maillage uniforme de lintervalle [0, 1] comme etant lensemble des points
x
i
= ih, i 0, 1, 2, . . . , N, N + 1.
La methode des dierences nies est un moyen dobtenir une approximation de aux
nuds du maillages, dune qualite dautant meilleure que le pas h est petit. Autrement
dit, on cherche un vecteur
u
u
=
_
_
_
_
_
u
1
u
2
.
.
.
u
N
_
_
_
_
_
R
N
tel que u
i
soit voisin de (x
i
) pour tout i = 1, . . . , N.
1) Soit i = 1, . . . , N.

Ecrire les formules de Taylor-Lagrange `a lordre 3 pour la fonction
sur les intervalles [x
i1
, x
i
] et [x
i
, x
i+1
] pour exprimer (x
i1
) et (x
i+1
) en fonction de
(x
i
),

(x
i
), (x
i
) et
(3)
(x
i
).
2) Montrer quil existe
i
]x
i1
, x
i+1
[ tel que
(x
i+1
) + 2(x
i
) (x
i1
) = h
2
(x
i
)
h
4
12

(4)
(
i
)
3) En deduire
(x
i
) =
(x
i+1
) + 2(x
i
) (x
i1
)
h
2
+
h
2
12

(4)
(
i
)
3 M

ETHODES IT

ERATIVES DE R

ESOLUTION DE SYST
`
EMES LIN

EAIRES 17
4) Pour alleger les notations, posons pour 1 < i < N,
i
= (x
i
), c
i
= c(x
i
) et f
i
= f(x
i
).
En exprimant que est solution du probl`eme aux limites, montrer que pour tout i =
1, . . . , N,

i1
+ 2
i

i+1
h
2
+ c
i

i
= f
i

h
2
12

(4)
(
i
)
5) Verier que le syst`eme dequations obtenu en negligeant les termes
h
2
12

(4)
(
i
), secrit
sous la forme matricielle :
A
h

h
= b
h
avec
A
h
=
1
h
2
_
_
_
_
_
_
_
2 + c
1
h
2
1
1 2 + c
2
h
2
1
.
.
.
.
.
.
.
.
.
1 2 +c
N1
h
2
1
1 2 + c
N
h
2
_
_
_
_
_
_
_

h
=
_
_
_
_
_
_
_

2
.
.
.

N1

N
_
_
_
_
_
_
_
, b
h
=
_
_
_
_
_
_
_
f
1
f
2
.
.
.
f
N1
f
N
_
_
_
_
_
_
_
Partie 2

Etude spectrale detaillee dune matrice de dierences nies

Dans cette partie, nous allons comparer les methodes de Jacobi, de Gauss-Seidel et de
relaxation dans le cas o` u c = 0, cest-` a-dire lorsque la force P est nulle. Le syst`eme
A
h

h
= b
h
est alors equivalent au syst`eme A
h
= h
2
b
h
, o` u
A =
_
_
_
_
_
_
_
2 1
1 2 1
.
.
.
.
.
.
.
.
.
1 2 1
1 2
_
_
_
_
_
_
_
1) Notons
1
, . . . ,
n
les valeurs propres de A. Montrer que les valeurs propres de la
matrice de Jacobi J associee ` a A sont les reels
1

i
2
, i = 1, . . . , n
2) On consid`ere la suite recurrente lineaire double denie par :
() x
0
, x
1
, k 1, x
k+1
= x
k1
+ (2 )x
k
a) Demontrer que est valeur propre de A si et seulement si il existe x
1
R tel que la
suite recurrente () de donnees initiales x
0
= 0, x
1
verie x
n+1
= 0.
3 M

ETHODES IT

ERATIVES DE R

ESOLUTION DE SYST
`
EMES LIN

EAIRES 18
b) La suite recurente () peut secrire sous forme matricielle
y
0
=
_
x
0
x
1
_
et k 0, y
k+1
= Cy
k
avec
k, y
k
=
_
x
k
x
k+1
_
et C =
_
0 1
1 2
_
On suppose ]0, 4[. Demontrer que les valeurs propres de C sont deux complexes
conjugues et distincts de module 1.
c) Soit (x
k
)
k
une suite denie par (). Demontrer quil existe deux complexes a et b tels
que
k 0, x
k
= a
k
+ b
k
4) Montrer que les valeurs propres de la matrice de Jacobi J sont les n reels
cos
m
(n + 1)
, m = 1, . . . , n
et que les valeurs propres de la matrice de Jacobi
5) Montrer que
(J) = 1

2
2n
2
+ o
_
1
n
4
_
et (L
1
) = 1

2
n
2
+ o
_
1
n
4
_
6) En deduire un equivalent du param`etre optimal
0
et de (L

0
) pour les grandes
valeurs de n.
Partie 3
Estimation des erreurs
1) Soit
u
0
, u
k+1
= Bu
k
+ c
une methode iterative convergente de matrice B.
a) Soit u la solution du syst`eme u = Bu +c. On consid`ere le vecteur erreur e
k
= u
k
u
pour k 1. Montrer que
| e
k
|
2
|e
0
|
2
|B|
k
2
b) En deduire que si B est normale, alors le nombre de pas diterations necessaire pour
diviser lerreur par 2 est :
k
ln 2
ln (B)
2) Pour n grand, donner un equivalent du nombre de pas diterations necessaire pour
diviser lerreur par 2 dans les methodes de Jacobi, de Gauss-Seidel et de relaxation.
4 CALCULS DE VALEURS PROPRES 19
4 Calculs de valeurs propres
Nous etudions dans ce chapitre quatre methodes iteratives pour calculer des approxima-
tion des valeurs propres dune matrice et eventuellement de ses vecteurs propres :
Pour une matrice symetrique :
Methode de Jacobi
Methode de Givens-Householder
Pour une matrice quelconque :
Methode QR
Methode de la puissance
4.1 La methode de Jacobi
Cest une methode que lon met en uvre lorsque que lon cherche ` a calculer toutes les
valeurs propres, et eventuellement tous les vecteurs propres dune matrice symetrique.
Soit A M
n
(R), n 1, une matrice symetrique dont les valeurs propres sont notees

1
,
2
, . . . ,
n
.
Le principe La methode de Jacobi consiste ` a construire une suite (O
k
)
k1
de matrices
orthogonales telle que
lim
k+
O
T
k
AO
k
= diag(
i
)
1in
.
De plus, si les valeurs propres de A sont 2 ` a 2 distinctes, la suite de matrices (O
k
)
kN
converge vers une matrice O dont la i-`eme colonne est un vecteur propre de A associe ` a

i
.
Les matrices O
k
sont des produits O
k
=
1

2
. . .
k
de matrices de rotation elementaires.
Posons A
k
= O
T
k
AO
k
; le principe de chaque transformation A
k
A
k+1
=
T
k
A
k

k
est
dannuler deux elements hors diagonaux de A
k
en position symetrique.

Elimination delements hors diagonaux On consid`ere la matrice de rotation

elementaire dans R
n
des p-i`eme et q-i`eme vecteurs de base, 1 p < q n :
= (p, q, )
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
1
.
.
.
1
c s
1
.
.
.
.
.
.
.
.
.
1
s c
1
.
.
.
1
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
_
, c = cos , s = sin .
4 CALCULS DE VALEURS PROPRES 20
Etant donnee une matrice symetrique A = (a
ij
)
1i,jn
, on denit :
B =
T
A = (b
ij
)
1i,jn
.
Proposition 17. Si a
pq
,= 0, alors il existe un unique ]

4
, 0[]0,

4
] tel que b
pq
= 0.
Exercice 19. Demonstration de la proposition
1) Montrer que :
_

_
b
ij
= a
ij
si i ,= p, q et j ,= p, q
b
pj
= ca
pj
sa
qj
si j ,= p, q
b
qj
= sa
pj
+ ca
qj
si j ,= p, q
b
pp
= c
2
a
pp
+ s
2
a
qq
2csa
pq
b
qq
= s
2
a
pp
+ c
2
a
qq
+ 2csa
pq
b
pq
= (c
2
s
2
)a
pq
+ cs(a
pp
a
qq
).
2) On suppose a
pq
,= 0. Montrer que b
pq
= 0 equivaut `a :
cotan(2) =
a
qq
a
pp
2a
pq
.
3) Conclure
Exercice 20. 1. Demontrer que quel que soit ,

1i,jn
a
2
ij
=

1i,jn
b
2
ij
indication : utiliser la norme de Frobenius et lexercice 10.
2. On choisit tel que b
pq
= 0. Demontrer que
n

i=1
b
2
ii
=
n

i=1
a
2
ii
+ 2a
2
pq
et que
b
pp
= a
pp
tan a
pq
b
qq
= a
qq
+ tan a
pq
Description de la methode de Jacobi classique. Lidee est donc de diagonaliser A
par une suite (innie) de transformations semblables orthogonales :
_
A
1
= A
A
k+1
=
T
k
A
k

k
, k 1,
o` u
k
est une matrice de rotation elementaire choisie pour annuler un element non
diagonal de A
k
. Dans la methode decrite ici, appelee methode de Jacobi classique, on
choisit un element de plus grand module. Plus precisement, pour chaque matrice A
k
=
(a
(k)
ij
)
1i,jn
, on determine les entiers 1 p
k
< q
k
n pour lesquels
[a
(k)
p
k
q
k
[ = max
1i=jn
[a
(k)
ij
[,
puis on ajuste
k
]

4
, 0[]0,

4
] de sorte que a
(k+1)
p
k
q
k
= 0 avec
k
= (p
k
, q
k
,
k
).
4 CALCULS DE VALEURS PROPRES 21
Convergence de la methode. On rappelle les notations :
A
k+1
=
T
k
A
k

k
= O
T
k
AO
k
o` u O
k
=
1

2
. . .
k
Theor`eme 18. 1. La suite (A
k
)
k1
est convergente, et `a une permutation pr`es des
valeurs propres
i
, on a :
lim
k+
A
k
= diag(
(i)
).
2. Si toutes les valeurs propres de A sont distinctes, alors la suite (O
k
)
k1
converge
vers une matrice orthogonale O dont les vecteurs colonnes constituent un ensemble
orthonormal de vecteurs propres de la matrice A.
Exercice 21. (Demonstration du theor`eme)
1. Demontrer le lemme suivant :
Lemme. Soit X un espace vectoriel normee de dimension nie et soit (x
k
)
k
une
suite bornee dans X, admettant un nombre ni de valeurs dadherence, et telle que
lim
k
|x
k+1
x
k
| = 0. Alors la suite (x
k
) est convergente.
2. Dans cette question, on munit lespace vectoriel M
n
(R) de la norme de Frobenius
|A| =
_

1i,jn
[a
ij
[
2
_
1/2
Pour k 1, on pose D
k
= diag(a
(k)
ii
).
(a) Montrer que la suite (D
k
) est bornee.
(b) Posons pour tout entier k : A
k
= D
k
+ B
k
. Demontrer que
|B
k+1
|
2

_
1
2
n(n 1)
_
|B
k
|
2
et en deduire que
lim
k
|B
k
| = 0
(c) Soit (D
(k)
)
k
une suite extraite de (D
k
)
k
convergeant vers D (forcement dia-
gonale !).
(i) Montrer que A et D ont meme polyn ome caracteristique puis quil existe
une permutation de 1, 2, . . . , n telle que
D = diag(
(i)
)
1in
.
(ii) En deduire que la suite (D
k
)
k
na quun nombre ni de valeurs
dadherence.
(d) Montrer que D
k+1
D
k
k+
0.
(e) En deduire que la suite (D
k
) converge vers lune de ses valeurs dadherence D.
(f) En deduire la partie 1 du theor`eme.
4 CALCULS DE VALEURS PROPRES 22
3. Dans cette question, on munit lespace vectoriel M
n
(R) de la norme subordonnee ` a
la norme euclidienne. Soit O une matrice orthogonale telle que O
T
AO = diag(
i
).
(a) Montrer que la suite O
k
est bornee
(b) Notons p
1
, . . . , p
n
ses vecteurs colonnes. Demontrer que la suite (O
k
) na
quun nombre ni de valeurs dadherence, dont les vecteurs colonnes sont
necessairement de la forme p
(1)
, . . . , p
(n)
.
(c) (i) Montrer quil existe un entier l tel que pour tous , 1, . . . , n,
k l [a
k

a
k

[
1
2
min
i=j
[
i

j
[ > 0
(ii) En deduire que
lim
k

k
= 0 et que lim
k

k
= I
(iii) En deduire que lim
k
(O
k+1
O
k
) = 0.
(d) En deduire la partie 2 du theor`eme.
Exercice 22. Soit a R et soient
1
et
2
les valeurs propres de la matrice
A =
_


_
On pose
J =
_
c s
s c
_
1) Trouver c et s, tels que c
2
+s
2
= 1 et tels (J
T
AJ)
11
= a. Montrer quil faut a [
1
,
2
]
pour avoir des solutions reelles.
2) En deduire que si A M
n
(R) est symetrique, il existe U orthogonale telle que U
T
AU =
1
n
tr(A)I + B avec B
ii
= 0, i = 1, . . . , n.
4.2 La methode de Givens-Householder.
Il sagit dune methode bien adaptee `a la recherche de valeurs propres selectionnees dune
matrice symetrique A, par exemple toutes les valeurs propres situees dans un intervalle
xe ` a lavance. En revanche, cette methode ne fournit pas les vecteurs propres.
Le principe La methode de Givens-Householder comprend deux etapes :
(a) Reduction. On determine, par la methode de reduction de Householder, une matrice
O orthogonale (obtenue comme produit de n 2 matrices de Householder) telle que
la matrice O
T
AO soit tridiagonale, i.e.
O
T
AO =
_
_
_
_
_
_
_
_
b
1
c
1
0 . . . 0
c
1
b
2
c
2
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
.
0
.
.
.
.
.
.
c
i2
b
n1
c
n1
0 . . . 0 c
n1
b
n
_
_
_
_
_
_
_
_
, b
i
R, c
j
R

.
(b) Bissection. On est ainsi ramene au calcul des valeurs propres dune matrice
symetrique tridiagonale, qui seectue par la methode de bissection de Givens.
4 CALCULS DE VALEURS PROPRES 23
Reduction de Householder Soit p un entier 1. On appelle matrice de Householder
toute matrice de M
p
(R) du type
H
(p)
w
= I 2
ww
T
w
T
w
,
o` u w R
p
.
Exercice 23. Verier que toute matrice de Householder est symetrique et orthogonale.
Theor`eme 19.

Etant donnee une matrice symetrique A, il existe une matrice O, produit
de (n 2) matrices de Householder, telle que la matrice O
T
AO soit tridiagonale.
Exercice 24. (Demonstration du theor`eme)
1. Pour tout x R
p
, p 1, on pose
u

= x |x|e
1
, o` u x =
p

i=1
x
i
e
i
,
la famille e
1
, e
2
, . . . , e
p
designant la base canonique de R
p
. En remarquant que
|u

|
2
= 2(|x|
2
|x|x
1
), montrer que H
(p)
u

x = |x|e
1
.
2. Soit A = (a
ij
)
1i,jn
M
n
(R), n 1, une matrice symetrique.
(a) Soient c = (a
21
, a
31
, . . . , a
n1
)
T
R
n1
et
O
1
=
_
_
_
_
_
_
_
_
_
1 0 0 . . . 0
0
0
.
.
. H
(n1)
cce
1
0
0
_
_
_
_
_
_
_
_
_
.
Montrer que O
1
est une matrice de Householder et que A
1
= O
T
1
AO
1
est de la
forme :
A
1
=
_
_
_
_
_
_
_
_
_
a
11
|c| 0 . . . 0
|c|
0
.
.
. A

0
0
_
_
_
_
_
_
_
_
_
avec A

= (a

ij
)
1i,jn
1
= (A

)
T
M
n1
(R).
(b) Si c

= (a

21
, a

31
, . . . , a

(n1)1
)
T
R
n2
et
O
2
=
_
_
_
_
_
_
_
_
_
1 0 0 . . . 0
0 1 0 . . .
0 0
.
.
.
.
.
. H
(n2)
c

e
1
0 0
0 0
_
_
_
_
_
_
_
_
_
,
4 CALCULS DE VALEURS PROPRES 24
montrer que (O
1
O
2
)
T
AO
1
O
2
est de la forme :
A
2
=
_
_
_
_
_
_
_
_
_
_
_
0 0 . . . 0
0 . . . 0
0
0 0
.
.
.
.
.
. A

0 0
0 0
_
_
_
_
_
_
_
_
_
_
_
avec A

= (A

)
T
M
n2
(R).
(c) En deduire quil existe une matrice orthogonale O telle que O
T
AO est tridiagonale.
Maintenant, nous allons decrire la methode de Givens pour trouver les valeurs propres
dune matrice tridiagonale. On remarque que si lun des c
i
est nul, alors la matrice
B = O
T
AO se decompose en deux sous matrices tridiagonales dont on peut chercher
independamment les valeurs propres pour obtenir les valeurs propres de B. On peut
donc supposer srlg que les c
i
sont tous non nuls.
Suite de Sturm Pour tout i = 1, 2, . . . , n, on denit la famille de polynomes p
i
` a laide
de la relation de recurrence suivante :
_
_
_
p
0
(x) = 1
p
1
(x) = b
1
x
p
i
(x) = (b
i
x)p
i1
(x) c
2
i1
p
i2
(x) si 2 i n.
Exercice 25. Demontrer que p
i
est le polyn ome caracteristique de la matrice
B
i
=
_
_
_
_
_
_
_
_
b
1
c
1
0 . . . 0
c
1
b
2
c
2
.
.
.
.
.
.
0
.
.
.
.
.
.
.
.
.
0
.
.
.
.
.
.
c
i2
b
i1
c
i1
0 . . . 0 c
i1
b
i
_
_
_
_
_
_
_
_
.
Le theor`eme suivant exprime que les racines des polyn omes p
i
ont des proprietes dem-
boitement remarquables, illustrees sur la gure ci-dessous.
Proposition 20. 1. lim
x
p
i
(x) = +, 1 i n.
2. p
i
(t) = 0 = p
i1
(t)p
i+1
(t) < 0, 1 i n 1.
3. p
i
a i racines reelles distinctes qui separent les (i +1) racines du polyn ome p
i+1
, 1
i n 1 comme lindique la gure ci-dessous.
4 CALCULS DE VALEURS PROPRES 25
Exercice 26. demontrer la proposition
Une famille de polynomes veriant les proprietes 1, 2 et 3 de la proposition sappelle une
suite de Sturm. La methode de Givens repose sur une proporiete remarquable dune telle
suite, enoncee dans le theor`eme suivant :
Theor`eme 21.
Le nombre de racines de p
i
< R est le nombre N(i, ) de changements de signes
dans la suite (1, p
1
(), . . . , p
i
()).
Bissection de Givens Soit A une matrice tridiagonale symetrique reelle et soient

1
. . .
n
ses valeurs propres. Fixons i 1, . . . , n. Supposons que lon veuille
approcher la valeur propre
i
. On proc`ede par dichotomie en appliquant de facon repetee
le theor`eme precedent :
On commence par choisir un intervalle [a
0
, b
0
] qui contient
i
, par exemple [a
0
, b
0
] =
[|A|, |A|] (car (A) |A|). notons c
0
=
a
0
+b
0
2
le milieu de lintervalle [a
0
, b
0
].
- si N(n, c
0
) i, alors
i
[a
0
, c
0
[ et lon it`ere le procede sur lintervalle [a
1
, b
1
] = [a
0
, c
0
]
- si N(n, c
0
) < i, alors
i
[c
0
, b
0
] et lon it`ere le procede sur lintervalle [a
1
, b
1
] = [c
0
, b
0
]
On determine ainsi une suite dintervalles emboites [a
k
, b
k
], k 0 tels que
k 0,
i
[a
k
, b
k
] et b
k
a
k
= 2
k
(b
0
a
0
)
On peut donc encadrer
i
avec une precision arbitrairement grande.
4 CALCULS DE VALEURS PROPRES 26
4.3 La methode QR
4.3.1 La factorisation QR dune matrice
Preliminaire : matrices de Householder. A tout vecteur v C
n
0 on associe la
matrice de Householder :
H(v) = I 2
vv

v
= I
2
|v|
2
vv

,
o` u |v| = |v|
2
est la norme hermitienne de v.
(a) Verier que H(v) est hermitienne et unitaire.
(b) Etant donne x =

n
i=1
x
i
e
i
un vecteur de C
n
(la famille e
1
, e
2
, . . . , e
n
designant la
base canonique de C
n
) tel que x
1
= e
i
[x
1
[ , = 0 et

n
i=2
[x
i
[ > 0, verier que
H(x |x|e
i
e
1
)x = |x|e
i
e
1
.
Theor`eme 22. (Factorisation QR dune matrice) Soit A M
n
(C) une matrice
quelconque. Il existe une matrice unitaire Q, produit de n 1 matrices de Householder,
et une matrice triangulaire superieure R telles que
A = QR
De plus, il est possible de choisir les coecients diagonaux de R tous reels 0, auquel
cas, si A est inversible, alors la factorisation QR est unique.
Demonstration du theor`eme Soit A = (a
ij
)
i,j
M
n
(C). Nous allons trouver n 1
matrices de Householder H
1
, H
2
, . . . , H
n1
telle que H
n1
. . . H
2
H
1
A soit triangulaire
superieure.
Construction de H
1
. La matrice H
1
doit permettre de faire apparatre des
zeros ` a la place des n 1 derni`eres composantes de la premi`ere colonne
a
1
= (a
11
, a
21
, a
31
, , a
n1
) C
n
de la matrice A :
A
2
= H
1
A
1
=
_
_
_
_
_
. . .
0 . . .
.
.
.
.
.
.
.
.
.
0
_
_
_
_
_
.
(a) Si

n
i=2
[a
i1
[ > 0, alors il existe w
1
C
n
tel que H
(n)
w
1
a
1
a toutes ses composantes
nulles ` a lexception de la premi`ere. Ainsi H
1
= H
(n)
w
1
convient.
(b) Si

n
i=2
[a
i1
[ = 0, alors il sut de choisir H
1
= I
n
.
Construction de H
2
. Soit a
2
= (a
(2)
22
, a
(2)
32
, , a
(2)
n2
) le vecteur de C
n1
forme par les n1
derni`eres composantes de la deuxi`eme colonne de A
2
.
4 CALCULS DE VALEURS PROPRES 27
(a) Si

n
i=3
[a
(2)
i2
[ > 0, il existe w
2
C
n1
tel que H
(n1)
w
2
a
2
a toutes ses composantes
nulles `a lexception de la premi`ere. On pose alors :
H
2
=
_
1 0
0 H
(n1)
w
2
_
.
En notant w
2
le vecteur de C
n
dont la premi`ere composante est nulle et les n 1
derni`eres sont celles de w
2
, on a :
H
2
= H
(n)
w
2
.
(b) Si

n
i=3
[a
(2)
i2
[ = 0, on pose H
2
= I
n
.
Dans les deux cas, on obtient :
A
3
= H
2
A
2
=
_
_
_
_
_
_
_
. . .
0 . . .
0 0 . . .
.
.
.
.
.
.
.
.
.
.
.
.
0 0
_
_
_
_
_
_
_
.
Exercice 27. 1) Donner un vecteur w
1
C
n
pour letape 1 de telle sorte que le coecient
a
(2)
11
de A
2
soit positif.
2) idem pour w
2
` a letape 2 et pour le coecient a
(3)
22
de A
3
.
3) Decrire ensuite letape k, k 3 de cette methode, et en deduire lexistence dune
factorisation QR de la matrice A.
4)
(a) Montrer que toute matrice unitaire et triangulaire (supposee superieure pour xer
les idees) est forcement de la forme diag(d
i
)
1in
o` u [d
i
[ = 1 pour tout i = 1, 2, . . . , n.
(b) En deduire que si Q
1
R
1
et Q
2
R
2
designent deux decompositions QR dune matrice
A GL
n
(C) (n 1), alors il existe D = diag(d
i
)
1in
avec [d
i
[ = 1 pour tout
i = 1, 2, . . . , n, telle que
_
Q
2
= Q
1
D
R
2
= D
1
R
1
.
(c) Montrer que D = I et en deduire lunicite de la decomposition QR lorsque A est
inversible.
4.3.2 La methode QR de recherche des valeurs propres.
Description de la methode QR. A partir de A M
n
(C), on denit une suite de
matrices (A
k
)
k1
comme suit. Posant A
1
= A, le successeur A
k+1
de A
k
, k 1, sobtient
en :
(i) Ecrivant la factorisation QR de A
k
, A
k
= Q
k
R
k
.
(ii) Formant ensuite la matrice A
k+1
= R
k
Q
k
.
Pour tout k 1, on a donc :
A
k+1
= R
k
Q
k
= Q

k
R
k
Q
k
= . . . = (Q
1
Q
2
. . . Q
k
)

A(Q
1
Q
2
. . . Q
k
)
4 CALCULS DE VALEURS PROPRES 28
Convergence de la methode QR. Nous donnons ici un resultat de convergence qui
nest pas le plus general, mais dont la demonstration a lavantage de la simplicite.
Theor`eme 23. On suppose que A est inversible et que toutes ses valeurs propres

1
,
2
, . . . ,
n
, sont de modules dierents :
[
1
[ > [
2
[ > . . . > [
n
[ > 0.
La matrice A est donc diagonalisable : il existe P inversible telle que A = PP
1
avec
= diag(
i
)
1in
. On suppose de plus que P
1
poss`ede une factorisation LU : il existe
L triangulaire inferieure et U triangulaire superieure telles que :
P
1
= LU, avec (L)
ii
= 1, i = 1, 2, . . . , n.
Alors la suite de matrices (A
k
)
k1
est telle que :
_
(A
k
)
ii
k+

i
, 1 i n
(A
k
)
ij
k+
0, 1 j < i n.
Exercice 28. (demonstration du theor`eme)
Posons pour tout k 1,
q
k
= Q
1
Q
2
. . . Q
k
et r
k
= R
k
. . . R
2
R
1
Nous avons dej` a observe que A
k+1
= q

k
Aq
k
. Lobjectif est alors detudier le comportement
de la suite (q
k
)
k1
.
1. Demontrer que pour tout k 1, A
k
= q
k
r
k
Pour etudier la suite (q
k
), nous allons etudier la suite (A
k
)
k
en determinant une
autre decomposition QR de A
k
et en la comparant avec celle obtenue en 1.
2. Deuxi`eme decomposition QR de A
k
.
(a) Considerons P = QR, lunique factorisation QR de P telle que (R)
ii
> 0,
i = 1, 2, . . . , n et la decomposition P
1
= LU de P
1
. Montrer que
A
k
= QR(
k
L
k
)
k
U
o` u
k
:= diag(
k
i
).
(b) Montrer que
k
L
k
k+
I.
(c) On pose E
k
=
k
L
k
I. Montrer quil existe k
0
1 tel que I + RE
k
R
1
est inversible pour tout k k
0
.
Pour k k
0
, on note

Q
k

R
k
lunique decomposition QR de I + RE
k
R
1
telle
que (

R
k
)
ii
> 0 pour tout i = 1, 2, . . . , n.
(d) Montrer que A
k
= (Q

Q
k
)(

R
k
R
k
U) pour tout k k
0
.
3. Comparaison des deux decompositions QR de A
k
.
En deduire quil existe une matrice D
k
diagonale veriant [(D
k
)
ii
[ = 1, telle que
q
k
= Q

Q
k
D
k
et r
k
= D
1
k

R
k
R
k
U.
4 CALCULS DE VALEURS PROPRES 29
4. Comportement asymptotique de (

Q
k
)
k
et (

R
k
)
k
.
(a) On va montrer que la suite (

Q
k
)
k
a I pour unique valeur dadherence.
(i) Justier lexistence dune sous-suite (

Q
(k)
)
k
de (

Q
k
)
k
qui converge (et
dont la limite sera notee

Q).
(ii) Montrer que (

R
(k)
)
k
converge vers une matrice triangulaire

R.
(iii) Montrer alors que

Q =

R = I.
(iv) Conclure.
(b) En deduire que

R
k
k+
I et

Q
k
k+
I.
5. Montrer pour tout k 1 que A
k+1
= D

k
D
k
o` u
k
=

Q

k
RR
1

Q
k
.
6. Conclure.
4.3.3 Mise en uvre pratique et variantes
La methode QR decrite precedemment a deux defauts :
1. La decomposition QR dune matrice dordre n est un procede lent : elle demande
n extractions de racines carrees et un nombre doperations elementaires equivalent
` a 2n
3
.
2. On peut demontrer que pour i > j, la suite ((A
k
)
ij
)
k1
se comporte assymptoti-
quement comme une suite geometrique de raison
[
i
[
[
j
[
Si deux valeurs [
i
[ et [
j
[ sont tr`es proches, alors la convergence est tr`es lente.
En pratique, on ameliore la methode de la facon suivante :
1. Pour rendre les decompositions QR plus rapides, on commence par determiner
une matrice de Hessenberg superieure A

semblable `a A (i.e. une matrice A

telle
que A

ij
= 0 pour i > j + 1), en utilisant des matrices de Householder (meme
methode que Householder decrit `a la section 4.2 pour une matrice symetrique).
Les matrices A
k
sucessives sont alors aussi de Hessenberg. Or la decomposition
QR dune matrice hermitienne necessite O(n
3
/3) operations elementaires et O(n)
extractions de racines carrees. (Dans le cas o` u A est hermitienne, toutes les matrices
manipulees sont alors tridiagonales hermitiennes.)
2. Une fois que A est sous forme Hessenberg, on met alors en uvre une methode QR
avec translation an dameliorer la vitesse de convergence :
Methode QR translatee On consid`ere une suite de param`etres (
k
)
k
de trans-
lation, et lon consid`ere la suite recurrente (A
k
) denie par A
1
= A et pour tout
k 1,
A
k

k
I = Q
k
R
k
et A
k+1
=
k
I + R
k
Q
k
(a) (translation) On choisit pour les premi`eres iterations un param`etre commun aussi
proche que possible de
n
. Alors les coecients dindice (n1, n) convergent comme
[
n
[
[
n1
[
cest-` a-dire tr`es vite. (choix possibles : consulter la litterature).
4 CALCULS DE VALEURS PROPRES 30
(b) Deation Lorsque lon consid`ere que la derni`ere ligne a susamment converge, on la
supprime ainsi que la derni`ere colonne, et lon travaille alors sur une matrice dordre
n 1 en it`erant le procede.
4.4 La methode de la puissance inverse
Utilisee pour le calcul de vecteurs propres, une fois que lon a obtenu des approximations
des valeurs propres correspondantes par une methode appropriee (Givens-Householder,
QR, etc.)
La methode de la puissance Supposons que A M
n
(C) soit diagonalisable et quelle
poss`ede une unique valeur propre
1
de module maximal :
(A)
1
, [[ < (A) = [
1
[.
Soit p
1
, p
2
, . . . , p
n
une base de C
n
de vecteurs propres de A telle que Ap
i
=
i
p
i
,
i = 1, 2, . . . , .
On choisit un vecteur initial u
0
C
n
et on consid`ere la suite recurrente suivante
u
k+1
= Au
k
, k 0,
Si u
0
=

n
i=1

i
p
i
est tel que
1
,= 0, alors on peut calculer, ` a partir de cette suite, une
approximation de
1
ainsi quun vecteur propre associe. En eet, on a pour tout k 1,
u
k
=
n

i=1

k
i
p
i
=
k
1
_

1
p
1
+
n

i=2

i
_

1
_
k
p
i
_
Do` u
lim
k
1

k
1
u
k
=
1
p
1
Autrement dit la suite (u
k
)
k
se comporte comme la suite (
k
1

1
p
1
)
k
, et si u
(j)
k
designe la
j-`eme composante de u
k
dans la base canonique, alors

1
= lim
k
u
(j)
k+1
u
(j)
k
Exemple. Si lon cherche par cette methode la plus grande valeur propre de
A =
_
2 1
1 2
_
` a partir du vecteur u
0
= (1, 0)
T
, la suite des vecteurs iteres et les valeurs approchees de
la valeur propre calculees `a partir de la deuxi`eme composante sont :
k 1 2 3 4 5 6
u
k
2 5 14 41 122 365
1 4 13 40 121 364

(k)
2, 5 2, 8 2, 93 2, 98 2, 99
Cette methode tr`es simple a deux defauts majeurs, qui vont etre circonscrits par la
methode de la puissance inverse avec decalage :
4 CALCULS DE VALEURS PROPRES 31
1. Les composantes des vecteurs u
k
peuvent devenir tr`es grandes ou tr`es petites. Il faut
normaliser pour eviter tout probl`eme de depassement de capacite de la machine.
2. Elle ne permet de trater que la plus grande des valeurs propres, ou la plus petite,
si lon met en uvre la methode de la puissance inverse :
Au
k+1
= u
k
, k 0; u
0
vecteur arbitraire non nul
Pour avoir acc`es aux autres sous-espaces propres, il faut faire intervenir un decalage.
La methode de la puissance inverse avec decalage Soit A une matrice diagonalisable
et soit une valeur propre de A. On suppose que lon connait une approximation

C
de telle que

,= . La methode de la puissance inverse avec decalage

et vecteur
initial u
0
est denie par :
(A

I)u
k+1
= u
k
, k 0
Theor`eme 24. Si pour tout (A) ,
[

[ < [

[,
et si u
0
nest pas contenu dans le sous-espace vectoriel engendre par les vecteurs propres
correspondant aux valeurs propres ,= , alors pour toute norme vectorielle,
lim
k
_
(

)
k
[

[
k
u
k
|u
k
|
_
= q
o` u q est un vecteur propre associe ` a .
Exercice 29. Soit A M
n
(R) symetrique admettant une valeur propre positive
1
telle
que
1
= (A). Posons B = A + I. Trouver donnant la convergence la plus rapide
vers la valeur propre maximale dans la methode de la puissance.
5 EXTREMA DES FONCTIONS R

EELLES 32
5 Extrema des fonctions reelles
5.1 Extrema et derivee premi`ere
Soient E et G des e.v.n. et U un ouvert de E. Si F : U G est une application
dierentiable en a U, on notera F

(a) ou DF(a) la dierentielle de F au point a. On

rappelle que F

(a) est une application lineaire continue de E dans F.

On emploiera indieremment les termes dierentiable, derivable, dierentielle,
derivee.
Soit U un ouvert dun espace vectoriel norme E. On dit quune fonction F : U R
admet au point a U un minimum local (resp. maximum local) sil existe un ouvert
U

U contenant a tel que x U

, F(x) F(a) (resp. F(x) F(a)). Sil ny a pas

lieu de distinguer entre minimum et maximum, on parle dextremum local.
Theor`eme 25. (Condition necessaire dextremum local) Soit F : U R
dierentiable en a. Une condition necessaire pour que F admette en a un extremum
local est que F

(a) = 0.
La relation F

(a) est parfois appelee equation dEuler. Un point a U tel que F

(a) = 0
sappelle un point critique de f.
Theor`eme 26. (Condition necessaire dextremum local lie)
Soit U un ouvert de R
n
et soit g = (g
1
, . . . , g
k
) : U R
k
de classe C
1
. On note
M = x U / g(x) = 0. Soit F : U R et soit a un point de M tel que :
1. F est derivable en a
2. Les derivees g

1
(a), . . . , g

k
(a) sont lineairement independantes
Si la restriction F
|M
admet un extremum local au point a M, alors il existe k reels

1
, . . . ,
k
tels que :
F

(a) =
1
g

1
(a) + . . .
k
g

k
(a)
Les reels
i
sappellent des multiplicateurs de Lagrange.
Exercice 30. La densite dune surface metallique denie par lequation x
2
+y
2
+z
2
= 4
est donnee par (x, y, z) = 2 + xz + y
2
. Determiner les points de o` u la densite est la
plus faible et ceux o` u elle est la plus forte.
Exercice 31. Soit A une matrice symetrique dordre n, B une matrice symetrique denie
positive dordre n et b un vecteur de R
n
.

Enoncer une condition dextremum local lie de
la fonction
J : v R
n
J(v) =
1
2
(Av, v) (b, v)
par rapport ` a lensemble
M = v R
n
/ (Bv, v) = 1
Exercice 32. Soit n N. On oublie que |(x
1
, . . . , x
n
|
p
=
_

n
i=1
[x
i
[
p
_
1/p
denit une
norme sur R
n
(ou C
n
) et lon souhaite demontrer linegalite triangulaire (dite inegalite
de Minkowski) : pour x = (x
1
, . . . , x
n
) et y = (y
1
, . . . , y
n
),
|x + y|
p
|x|
p
+|y|
p
(1)
5 EXTREMA DES FONCTIONS R

EELLES 33
1) Montrer que (1) est vraie lorsque x et y sont colineaires.
2) On xe , > 0 et on envisage le probl`eme de maximisation sous contrainte :
S = sup|x + y|
p
p
; |x|
p
p
=
p
et |y|
p
p
=
p

a) Montrer que S est atteint en au moins un point (X, Y ).

b) Calculer les derives partielles de x |x|
p
p
en X, et justier que les derivees
D|x|
p
p
(X, Y ) et D|y|
p
p
(X, Y ) sont lineairement independantes.
c) Appliquer alors le theor`eme des extrema lies pour etablir que X et Y sont colineaires
et conclure.
5.2 Extrema et derivee seconde
Si F : U F est une application deux fois derivable en a U, on notera F(a)
ou D
2
F(a) la dierentielle seconde de F au point a. On rappelle que F(a) est une
application bilineaire continue de E E dans F.
Theor`eme 27. (Condition necessaire dextremum) Soit E un e.v.n., U un ouvert
de E et F : U R une application derivable sur U deux fois derivable en a U. Si F a
un minimum (resp. maximum) local en x, alors pour tout v E,
F(a)(v, v) 0
_
resp. F(a)(v, v) 0
_
Theor`eme 28. (Conditions susantes dextremum) Soit E un e.v.n., U un ouvert
de E et F : U R une application derivable sur U telle que F

(a) = 0.
1. Si F est deux fois derivable en a et sil existe > 0 tel que pour tout w E,
F(a)(w, w) |w|
2
,
alors F admet en a un minimum local strict.
2. Si F est deux fois derivable sur U et sil existe une boule B U telle que
x B, w E, F(x)(w, w) 0,
alors F admet en a un minimum local.
5.3 Extrema et convexite
Une partie U dun e.v.n. est dite convexe si pour tous points x, y U, le segment
[x, y] = tx + (1 t)y ; 0 t 1 est inclus dans U.
Theor`eme 29. (Condition necessaire de minimum local sur un ensemble
convexe) Soit F : U R une fonction denie sur un ouvert U dun e.v.n. E et soit
une partie convexe de U. Si F est derivable en a et si la restriction F
|
admet en a
un minimum local, alors
x , F

(a)(x a) 0
5 EXTREMA DES FONCTIONS R

EELLES 34
Une fonction F : R denie sur une partie convexe dun e.v.n. E est dite convexe
(resp. strictement convexe) sur si pour tous x, y et pour tout t [0, 1],
F(tx + (1 t)y) tF(x) + (1 t)F(y)
_
resp. F(tx + (1 t)y) < tF(x) + (1 t)F(y)
_
Proposition 30. (Caracterisation des fonctions convexes) Soit F : U R une
fonction denie sur un ouvert U dun e.v.n. E et soit une partie convexe de U.
1. On suppose F derivable sur U. Alors F est convexe sur si et seulement si pour
tous x, y ,
F(y) F(x) + F

(x)(y x)
2. On suppose F deux fois derivable sur U. Alors F est convexe sur si et seulement
si pour tous x, y ,
F(x)(y x, y x) 0
Theor`eme 31. (Minimum des fonctions convexes) Soit une partie convexe dune
e.v.n. et soit F : R une fonction convexe sur .
1. Si F a un minimum local en a , alors cest un minimum global sur .
2. Supposons F denie sur un ouvert U contenant et derivable en a . Alors F
admet un minimum local en a si et seulement si
x , F

(a)(x a) 0
3. sous les memes hypoth`eses quen (2.), si de plus est un ouvert de E, alors F
admet un minimum local en a si et seulement si F

(a) = 0.
Exercice 33. Soit F : U R une fonction derivable sur un ouvert U dun e.v.n. E
et soit une partie convexe de U. Montrer que F est strictement convexe sur si et
seulement si pour tous x, y ,
F(y) > F(x) + F

(x)(y x)
Exercice 34. Soit A une matrice symetrique dordre n et soit b un vecteur de R
n
.
1) Demontrer que la fonction
J : v R
n
J(v) =
1
2
(Av, v) (b, v)
est convexe si et seulement si la matrice symetrique A est positive, et strictement convexe
si et seulement si A est denie positive.
2) Demontrer quil existe y R
n
tel que x R
n
, J(y) J(x) si et seulement si A est
positive et z R
n
; Az = b , =
5 EXTREMA DES FONCTIONS R

EELLES 35
Exercice 35. Soit B une matrice reelle m n et soit c R
m
. Considerons la fonction
J : R
n
R denie par
J(v) =
1
2
|Bv c|
2
2

1
2
|c|
2
2
1) Demontrer que la fonction J est convexe.
2) Calculer la derivee de J.
3) Montrer que lensemble des minima locaux de J concide avec lensemble des solutions
de lequation
B
T
Bu = B
T
c
Exercice 36. 1) Soit E = (e
ij
) la matrice carree dordre n denie par e
ij
= 1, 1 i, j
n. Decrire les valeurs propres et les sous-espaces propres de E.
2) Considerons lensemble
= x R
n
; x
i
> 0, 1 i n
et la fonction J : R denie par
x , J(x) =
_
n

i=1
x
i
_
1/n
Calculer J

(x) et J(x).
3) Montrer que J est convexe mais non strictement convexe.
4) Soit U = x ;

n
i=1
x
i
= n. Demontrer que la restriction K = J
|U
est strictement
convexe.
5) On note e le vecteur de dont toutes les composantes valent 1. Montrer que pour
tout x U, J

(e)(x e) = 0. En deduire quil existe un unique u U tel que

J(y) = inf
xU
J(x)
6) Pour tout x , demontrer linegalite
_
n

i=1
x
i
_
1/n

1
n
n

i=1
x
i
et decrire le sous-ensemble pour lequel cette inegalite devient une egalite.
5 EXTREMA DES FONCTIONS R

EELLES 36
5.4 Le theor`eme de projection de Hilbert
On appelle espace prehilbertien un espace vectoriel V muni dun produit scalaire (., .).
En particulier, V est un e.v.n. pour la norme associee |v| =
_
(v, v), v V . Si V est
complet pour cette norme, on dit que V est un espace de Hilbert.
Exemples
1) Tout e.v.n. de dimension ni muni dun produit scalaire est un espace de Hilbert
2) K = R ou C. Lespace l
2
(K) des suites x = (x
n
)
nN
de K de carres sommables (i.e.

n=0
[x
n
[
2
< , muni du produit scalaire
(x, y) =

n=0
x
n
y
n
3) Lespace (([a, b], K) des fonctions f : [a, b] K continues muni du produit scalaire
(f, g) =
_
b
a
f(t)g(t)dt
Theor`eme 32. (Theor`eme de projection). Soit C un sous-ensemble non vide,
convexe, ferme, dun espace de Hilbert V .
1.

Etant donne un element quelconque w V , il existe un et un seul element P(w)
tel que
P(w) C et |w P(w)| = inf
vC
|w v|
2. Cet element P(w) C est lunique element de C veriant
(P(w) w, v P(w)) 0 pour tout v C
3. Lapplication P : V C ainsi denie est telle que
|P(w
1
) P(w
2
)| |w
1
w
2
|
4. Lapplication P est lineaire si et seulement si le sous-ensemble C est un sous-espace
vectoriel de V , auquel cas les inegalites de 2. sont remplacees par les egalites :
(P(w) w, v) = 0 pour tout v C
6 APPROXIMATION AU SENS DES MOINDRES CARR

ES 37
6 Approximation au sens des moindres carres
Position du probl`eme Soient x
1
, . . . , x
m
des reels distincts.
`
A chaque point x
i
, on
associe un reel c
i
, qui peut etre par exemple une valeur experimentale. On cherche ` a
construire une fonction U dun type donne qui approche au mieux (dans un sens precise
ulterieurement) les valeurs c
i
aux points x
i
.
On se donne n fonctions reelles w
1
, . . . , w
n
(par exemple polynomiales) lineairement
independantes denies dans un intervalle de R contenant les points x
i
, et lon cherche
une fonction U de la forme
U =
n

j=1
u
j
w
j
de telle fa con que pour tout i = 1, . . . , m, le reel U(x
i
) approche au mieux c
i
.
La facon la plus commune de realiser cette approximation est dapprocher les egalites
U(x
i
) = c
i
au sens des moindres carres : on cherche une fonction U telle que le nombre
m

i=1
[U(x
i
) c
i
[
2
soit minimum.
Partie 1
Soit B = (b
ij
) la matrice mn denie par b
ij
= w
j
(x
i
), et soit c = (c
1
, . . . , c
m
)
T
R
m
.
1) Demontrer que lapproximation au sens des moindres carrees equivaut `a trouver u R
n
tel que
|Bu c|
2
= inf
vR
n
|Bv c|
2
()
2) Considerons le sous-espace vectoriel Im(B) = Bv; v R
n
de R
n
. Demontrer quil
existe un unique u Im(B) tel que
| u c|
2
= inf
vIm(B)
| v c|
2
3) En deduire lexistence dune solution au probl`eme ().
`
A quelle condition sur B
T
B
cette solution est-elle unique ?
4) Montrer que u est solution de () si et seulement si u est solution des equations
normales
B
T
Bu = B
T
c ()
5) On pose S = u R
n
, B
T
Bu = B
T
c. Demontrer que S contient un unique element
s de norme minimale.
6) Demontrer que s est caracterise par
s = S
_
ker(B
T
B)
_

6 APPROXIMATION AU SENS DES MOINDRES CARR

ES 38
Partie 2
Matrice pseudo-inverse
Le but de cette question est detudier lapplication c R
m
s R
n
1) Soit r le rang de B. Demontrer quil existe une matrice orthogonale U dordre m et
une matrice orthogonale V dordre n telles que
U
T
BV =
_
_
_
_
_
_
_
_
_

1
0 0 . . . 0
0
.
.
.
0 0 . . . 0
0
r
0 . . . 0
0 . . . 0 0 . . . 0
.
.
.
.
.
.
0
.
.
.
.
.
.
0 . . . 0 0 . . . 0
_
_
_
_
_
_
_
_
_
,
2) En remarquant que s S est equivalent ` a V
T
B
T
BV (V
T
s) = V
T
B
T
c, demontrer que
pour tout i = 1, . . . , r, la i-`eme composante du vecteur V
T
s sexprime par :
(V
T
s)
i
=
1

2
i
(V
T
B
T
c)
i
, i = 1, . . . , r
3) Demontrer que w ker(B
T
B) si et seulement si pour tout i = 1, . . . , r, (V
T
w)
i
= 0.
En deduire que
(V
T
s)
i
= 0, i = r + 1, . . . , n.
4) En deduire que lapplication c R
m
s R
n
est lineaire et que s = B
+
c o` u B
+
est
la matrice
B
+
= V
_
_
_
_
_
_
_
_
_
_
1

1
0 0 . . . 0
0
.
.
.
0 0 . . . 0
0
1

r
0 . . . 0
0 . . . 0 0 . . . 0
.
.
.
.
.
.
0
.
.
.
.
.
.
0 . . . 0 0 . . . 0
_
_
_
_
_
_
_
_
_
_
U
T
5) Demontrer les relations suivantes :
(B
+
)
+
= B ; (B
T
)
+
= (B
+
)
T
; B = BB
+
B ; B
+
= B
+
BB
+
; (B
+
B)
T
= B
+
B
La matrice B
+
sappelle la matrice pseudo-inverse de B.