Académique Documents
Professionnel Documents
Culture Documents
Les premiers vecteurs et valeurs propres viennent des equations diff rentielles (Lagrange 1759, e dans le but de calculer les perturbations th orie du son ; Lagrange 1781, des matrices e s culaires des orbites des 6 plan` tes connues a l poque, Oeuvres V, p. 125-490). Aujourdhui, e e ` e le calcul des valeurs et vecteurs propres est indispensable dans toutes les branches de la science, en particulier pour la solution des syst` mes des equations diff rentielles lin aires, en th orie e e e e de stabilit , pour les questions de convergence de processus it ratifs, et en physique et chimie e e (m canique, circuits, cin tique chimique, equation de Schr dinger). e e o
F IG . V.1: Une application lin aire comme champ de vecteurs (` gauche) ; transform e sur la base e a e des vecteurs propres (` droite). a Observons en gure V.1 (` gauche) le champ de vecteurs dune equation diff rentielle a e . Deux directions sautent aux yeux : ce sont les directions o` le vecteur u prend la m me direction e que le vecteur , i.e., o` u ou (0.1) Si cette equation est v ri e, e e sappelle valeur propre de la matrice et ( ) est le vecteur propre correspondant. L quation (0.1) poss` de une solution non nulle si et seulement e e si (0.2) Le polyn me o est le polyn me caract ristique de la matrice o e sont alors les z ros du polyn me caract ristique. e o e . Les valeurs propres de
! #"
A$ 962$ @ 8 5 7 4
$ #!
0( 3 21$)&
0( RD&
!'
0 C E& ' EB
B.N. Parlett (1980): The Symmetric Eigenvalue Problem. Prentice-Hall, Englewood Cliffs, NJ. B.T. Smith, J.M. Boyle, Y. Ikebe, V.C. Klema & C.B. Moler (1970): Matrix Eigensystem Routines: EISPACK Guide. 2nd ed., Springer-Verlag, New York. J.H. Wilkinson (1965): The Algebraic Eigenvalue Problem. Clarendon Press. [MA 65/72] J.H. Wilkinson & C. Reinsch (1971): Handbook for Automatic Computation, Volume II, Linear Algebra. Springer-Verlag, New York.
).
(avec des el ments dans Th or` me 1.1 (Gershgorine) Soit une matrice e e e a) Si est une valeur propre de , alors il existe un indice tel que
ou dans
(1.2)
c.-` -d. que toutes les valeurs propres de a lunion des disques
se trouvent dans
1 vp
1 2
2 vp
3 4
1 vp
5
consiste de b) Si une composante connexe de disques, elle contient exactement valeurs propres de .
D monstration. Soit e un vecteur propre et choisissons lindice tel que tout . La ligne de l quation e donne
pour
En divisant par
Lafrmation (b) est vraie si est une matrice diagonale. Le cas g n ral est obtenu par un e e argument de continuit en faisant tendre les el ments en dehors de la diagonale vers z ro (voir le e e e cours Analyse II concernant la d pendance continue de racinces dun polyn me en fonction dun e o param` tre). e
57
d d rW $ d U $ d
(y
d U d fd U rXWVuTtsrXWqpid
o` u
eps
et
fgYWeU b d d
! U d U dYXWVuTd sW f UW $ ghXWUVT sW fXUVT & d U U $ U$ U $e0 eUUdT & ' W $ XWVT sW U U $& $ "%! @ $ ! U 8U YXWVuTd sW YXUVT & d " U d U U f d U &
f Yd b d
SS
b ! 7 h` "#0 b ' !
(1.1)
).
&
115
une matrice diagonalisable, i.e., il existe avec . Alors, pour chaque valeur propre de , il existe un
La condition du calcul des valeurs propres depend de la condition de la matrice de transformation . Si la matrice est sym trique ( est orthogonale), le probl` me est bien conditionn . e e e Toutefois, observons quon obtient seulement une estimation pour lerreur absolue et non pour lerreur relative. une racine simple de . Th or` me 1.3 (diff rentiabilit des valeurs propres) Soit e e e e Alors, pour sufsamment petit, la matrice poss` de une valeur propre unique e proche de . La fonction est diff rentiable (m me analytique) et on a e e
le th or` me des fonctions implicites garantie lexistence dune fonction diff rentiable e e e (m me e analytique), tel que et . Il existe donc un vecteur tel que
La matrice dans (1.4) etant de rang , on peut xer une composante a et appliquer la r` gle ` e de Cramer. Ceci montre que les autres composantes sont des fonctions rationnelles des el ments e de la matrice et donc diff rentiables. Apr` s la normalisation a e e ` , la fonction reste diff rentiable. e Pour calculer , nous pouvons d river l quation (1.4) par rapport a et poser ensuite e e ` . Ceci donne (1.5) En multipliant cette relation par , on obtient et d montre la formule (1.3). e , ce qui permet de calculer
b ! 7 v` u90 b ' ! Sv 7 Dg 0 tis)pd b tYU & 0 b ' & d r v ' rqg d fd U ' ' o &l F j 0b ! i 0b & 0 8 & SS & ' YnmIG i ! ki
avec ) et est le vecteur propre a gauche ( ` . . Comme et
' $ ' 0 b 0 b $
0 C D& ' EB
& "!
' 0 b S &
i rSv j }sS%}v #0 isDq iv rv i ' r 9S2}vkSv v r i v g d f r v rv i r iv g d d U W 7 Sv j }Dpd b t~S2i 7 j }Dpd b tf YeWuyd d U U d f U YeWuyd sW d tYd eUy b i b 7 j i0 h` i 7 j i x` 0 8 & SS & ' YnmIw i 0 b ' o lF b
0 b $ @ '
e$00 ' & ' ( s e$0 ' & 7 7 ' ` 0 ' 1$( & ! ' 0( 0 0 ' & ' 0 b S $ ( ' 0 b S & 7 ~` ! b x s #0 b $ (0 b & 0 b ' ! ' ' #0 b 0 b S & R0 & ' ' & '
R0 q & @ 90 & ' & ' 0( D& 7 x` ! ' QPIG#E& ' sEB R0 b & HF 0 C ' b v v v $ v $ ! & $ ' 0 b ' h` $ $ g bh` � b p & 7 ' 0 b S &
b ! ' &7 w` 0 b !
{ zg |m U spd d f d b tYU & 0 b ' & d U & ' 0 b ' & d eWy U
! j i
(condition de ).
0 ' &
' 0 b S & b $
(1.3) ).
(1.4)
116
Cons quences. La formule (1.3) du th r` me pr c dent montre que le plus le vecteur propre de e oe e e droite est parall` le au vecteur propre de gauche, le mieux la valeur propre correspondante est bien e conditionn e (par exemple, pour les matrices sym triques les deux vecteurs sont identiques) ; le e e plus ils se rapprochent de lorthogonalit , le plus la valeur propre est mal conditionn e. e e Si la matrice nest pas sym trique (ou normale), le calcul de (valeur propre simple) peut etre e mal conditionn . Consid rons par exemple la matrice e e o` u
Dans cette situation, la formule (1.3) nous donne de est mal conditionn si est grand. e
satisfait
Si , les termes et sont n gligeables par rapport a e ` propres de sont alors approximativement donn es par les racines de e c.-` -d. a
(observer que
donne
Exp rience num rique. Prenons la matrice (1.6) avec e e et . Les el ments de la matrice sont des e nombres al atoires dans lintervalle e . Le dessin ci-contre montre les valeurs propres de pour . Lerreur est pour et pour , ce qui correspond a la ` formule (1.7) pour . Cons quence. Si la dimension dune bote de Jordan e est plus grande que , le calcul de la valeur propre de cette matrice est tr` s mal conditionn . e e
.9
x i 8 0 8 Yg b ' 8 g b g 8 0 ' 8 D& & ' i & 0 ` & b 7 x` ! 8 i d 0 d & & )g b ' 0 b ' @ 0( PH h` 0 b ' x` 8 g b g 8 0 ' 8 0D& & ' RD& 7 h` ! ' }F i b b 7 x` !
&
U U $ U R0 ' $ 8 0 ' $
b j 7 b` ! | 7
& &
' b 7 ` ! 0 b U $
x x j j Yj j b SS p Yj Yj b
~! x & &
et le calcul
(1.6)
. Les valeurs
(1.7)
1.1
(1.8)
117
En multipliant (1.9) par le vecteur propre de gauche (observer que pour ), on obtient (pour ) de la relation . La normalisation donne (en la d rivant) e et on en d duit que e . Si lon ins` re les e formules pour dans (1.8), on obtient pour la relation
De cette formule, on voit que la condition du calcul du vecteur propre d pend de la grandeur e (comme cest le cas pour la valeur propre; voir la formule (1.3)) et aussi de la distance entre et les autres valeurs propres de .
Un algorithme dangereux
La premi` re m thode (d j` utilis e par Lagrange) pour calculer les valeurs propres dune matrice e e ea e est la suivante: calculer dabord les coefcients du polyn me caract ristique o e et d terminer e ensuite les z ros de ce polyn me. Si la dimension de est tr` s petite (disons e o e ) ou si lon fait le calcul en arithm tique exacte, cet algorithme peut etre tr` s utile. Par contre, si lon fait le calcul e e en virgule ottante, cet algorithme peut donner des mauvaises surprises. Consid rons, par exemple, le probl` me de calculer les valeurs propres de la matrice diagonale e e
Les coefcients calcul s satisfont e avec eps. Cette perturbation dans les coefcients provoque une grande erreur dans les z ros de (1.12). Les r sultats num riques pour e e e (avec eps , simple pr cision) sont dessin s dans la gure V.2. e e
Conclusion. Eviter le calcul des coefcients du polyn me caract ristique. Un tel algorithme est o e num riquement instable. e
2 0 2 2 0 2
' v 0 b S $ v @ !
x f 0 C E& ' DB
! $ U U U ' U 0 b ' h` 0 U $ $ $ U $ ' $ 0 $ & U & h` 0 b $ $ ' 8 b 7 ' ' b $ S ' U U 0 b h` 0 $ h` 0 b $ $ $ U 8U U U U U U ' s0 ' $ $ $ 7 ` $ 0 & & W $ U U W $0 ' & 7 ' ` W $ W 0 & W & ' 0( 8 Yj g fd U d 'U U 0 U b ` dT dT T ` & T ` pS `# j b & j 8 T j g & j 8 T & 0 tx8 Eg Sp g `D& w ' E& 9` ' 8 E& 8 ' 0 8 0 0 0 D& x 0 q SS ' snm"! o lF s x x ! ' 0 C ' RE& ' EB
(1.9)
s G x
x
" x
(1.10)
U $ U &
(1.11)
(1.12)
118
o` est un vecteur arbitraire. Dans le th or` me suivant, on d montre que u e e e la puissance) tend vers un vecteur propre de et que le quotient de Rayleigh approximation dune valeur propre de .
Th or` me 2.1 Soit une matrice diagonalisable de valeurs propres e e et de vecteurs propres (normalis s par e ). Si , les vecteurs de lit ration (2.1) v rient e e (2.2) ) (2.3)
(le nombre
est d ni par e
a Si est une matrice normale (c.-` -d. que les vecteurs propres sont orthogonaux), lerreur dans (2.3) est . D monstration. Exprimons le vecteur de d part e e . Par r currence, on voit que e dans la base des vecteur propres, c.-` -d., a
Si
Pour une matrice normale, le deuxi` me terme dans les formules (2.5) et (2.6) est absent et lexpression e peut etre remplac e par e dans (2.7) et dans (2.3).
d #! as !
s s ! & 0 ' 0 ' 0 ' sssY s asr ' spv ' & 00 ` G! d & d d & d 0 V Y & ' 0 s & ' 0 q0 d & d ' d d d S s & ' hh g Eg d & Dg d Vd uTd '` 0 d d 0 & ' ` g Eg pTd #! s & xh & & @ T W $ U $ W & U deTVT sU ` U & d fVpTd U W U W d dU & W 8 W U sU d d U U $ U $ W & U & WdeTVT ` U & U & d fVpTd 8 xs! U $ & UVT U T & U U VT U ! U U & 8 ` $ G $ & 8 "s U $ VT 8U U d d 0 V & ' s & ! & & s & h` " ! @ T U $ dT U U T 0q0 d Y & ' h` $ 1T' "s & d & d 8 t SS sd & tYd uY d d d d d s v & 8 $ & SS $ & fU $ v !
! ! #
(2.4)
(2.5) (2.6)
(2.7)
119
croissent exponentiellement avec . Il est alors recomRemarques. Les el ments du vecteur e mand de normaliser e apr` s chaque it ration, c.-` -d. de remplacer e e a par . Sinon, on risque un overow. Si est proche de , la convergence est tr` s lente. Pour acc l rer la e ee convergence, on utilise la modication suivante.
e e Exemple 2.3 Pour la matrice de lexemple pr c dent, choisissons Deux it rations de (2.8) nous donnent e
et on obtient
La m thode de la puissance (et celle de Wielandt) est importante pour la compr hension e e dautres algorithmes. Si lon veut calculer toutes les valeurs propres dune matrice, on utilise des m thodes encore plus sophistiqu es. En pratique, on proc` de de la mani` re suivante: e e e e on distingue les cas: sym trique ou quelconque. e on cherche telle que devienne une matrice de Hessenberg (ou une matrice tridiagonale, si est sym trique); voir V.3. e on applique lalgorithme QR a la matrice (voir V.6). ` si est une matrice tridiagonale et sym trique, on peut egalement appliquer la m thode de e e bissection (voir V.4).
Donc, les valeurs propres de et de sont les m mes et les vecteurs propres e de se transforment par . Le but de ce paragraphe est de trouver une matrice telle que devienne plus simple. La situation id ale serait trouv e si e e devenait diagonale ou triangulaire mais une telle transformation n cessiterait d j` la connaissance des valeurs propres. e ea
U$
i ! j i
i ! j i &
Avec la transformation
ssssY & h s YssssYssss j ( ! ' & 0 s Y sss s sYssEsY Ys s Y s s sY ss s Y E Y sss Yss s 0 ' !
et on obtient lapproximation
(o` u
( ! 0 e(
. Les
j0 U &' &
v s v Ys 0 j (
! '
U i U$ i ! j i ! $ &"%$ i! %$
t i ! j i
!'
d & s & d !
! i
&
i ! j i
ou (2.8)
premiers
120
c.-` -d., a
pour
. . .
. . .
..
..
telle que
. . .
. . .
. . .
. . .
..
..
ne change pas la premi` re colonne de e . On r p` te la m me proc dure avec la sous-matrice de e e e e de dimension , et ainsi de , cet algorithme co te deux fois plus cher que u suite. A cause des multiplications a droite avec ` op rations). e l limination de Gauss (donc e Exemple. Pour la matrice
et on obtient
Cet exemple montre un d savantage de cet algorithme : si lon part avec une matrice sym trique e e , la matrice de Hessenberg , obtenue par cet algorithme, nest plus sym trique en g n ral. e e e
puis
G
Ys
on prend
8 T 8 T
U T
T T T T
SS SS
.. ... ... . .. ... . . . .
dW d d pVuTts pTd
x jU j ! ! SS 8 j
j !
!
" i ! j i T U T U SS 8 w ( j ! #! ` h! XW U ~! !
Alors, on cherche
i ! i j
(3.1)
. . .
121
Dans le pas suivant, on applique la m me proc dure a la sous-matrice de dimension e e ` Finalement, on arrive a la forme de Hessenberg (3.1) avec la tranformation ` qui est une matrice orthogonale (c.-` -d., a ). Nous avons un double avantage avec cet algorithme : il ne faut pas faire une recherche de pivot ; si A est sym trique, alors e est aussi sym trique, et donc tridiagonale. e
On observe tout dabord que si un el ment est nul, la matrice est d j` d compos e en deux e ea e e sous-matrices du m me type, qui ensemble fournissent les valeurs propres de . e On peut donc supposer, sans restreindre la g n ralit , que e e e pour
Pour cette matrice, il est possible de calculer la valeur connatre ses coefcients. En effet, si lon pose
et si lon d nit e
, on obtient
La formule de r currence dans (4.3) est obtenue en d veloppant le d terminant de la matrice e e e par rapport a la derni` re ligne (ou colonne). ` e En principe, on peut maintenant calculer les valeurs propres de (c.-` -d. les z ros de a e ) de la mani` re suivante : chercher un intervalle o` e u change de signe et localiser une racine de par bissection. Les evaluations de sont faites a laide de la formule (4.3). Mais il ` existe une astuce interessante qui permet dam liorer cet algorithme. e
0E& ' j 0 ' j U 0 U 0 'U U y E& S E& U ' RE& ' & RE& SE 0 0 ' RE& s 0( D& U ! ' }Iwn#E& PH F 0 'U y y ! 0 ' !
y y y y
i i j U y
T T T T T T !g T TT T T ( 0 ' v v ( i ! i j ! @ y U
, etc. ,
#E& ' 8 0
(4.1)
(4.2)
(4.3)
122 Th or` me 4.1 Si (4.2) est v ri , les polyn mes e e e e o a) b) c) si ( ); si pour un ne change pas de signe sur .
D monstration. Lafrmation (c) est triviale. e pour un , la formule de r currence (4.3) donne lin galit e e e Si . Pour d montrer (b), il suft dexclure le cas e . Si deux valeurs cons cutives de la suite e sont nulles, la formule de r currence montre que e pour tout , ce qui contredit . Nous d montrons par r currence que e e toutes les racines de sont r elles, simples et s par es par celles de e e e
U s SS ' ' ' 0 SS& & 0 & ' U 0 & ' U 0E& S 0 ' U W 0 ' W S ` U & U 0 ' D& j S ` 0 Sj 0 & ' U ' U W 0 ' 0 W & S j 0 ' E& S U 0 U & D& ' U G pS & ~` j 0 ' U D& S 0 'U E& ' E& #E & U 0 0 ' f ' j ' U 0 & p 'UU 0 p E%E& E& x q SS 4 0
Il ny a rien a d montrer pour ` e . Supposons la propri t vraie pour et montrons quelle est ee encore vraie pour . Comme les z ros e de sont s par s par ceux de e e et comme , nous avons sign . Alors, on d duit de (b) que e sign . Ceci et le fait que montrent que poss` de un z ro r el dans chacun des intervalles ouverts e e e , . Lafrmation (a) est maintenant une cons quence de (b) et de (4.4); voir la gure V.3. e
F IG . V.3: Suite de Sturm D nition 4.2 (suite de Sturm) Une suite e de polyn mes a coefcients r elles o e ` 1 sappelle une suite de Sturm , si elle v rie les conditions (a), (b), (c) du Th or` me 4.1. e e e Th or` me 4.3 Consid rons une suite de Sturm e e e
. Si lon d nit e
alors le polyn me o
poss` de exactement e
(si
, on d nit sign e
sign
D monstration. Par continuit , lentier e e peut changer sa valeur seulement si une valeur des fonctions devient nulle. La fonction ne change pas de signe. Supposons alors que pour un . La condition (b) et la continuit de e montrent que seulement les deux situations suivantes sont possibles ( petit):
1
Jacques Charles Francois Sturm (1803 1855), n le 29 septembre 1803 a Gen` ve. e ` e
' 0 D& ' 8 } SS 0E& pEq 0E& ' 0 8 q SS Eqt'
0 'W D& Y
j 0 ' U D& S
0 E& ' 0E& ' 0E& ' 0E& ' 0 ' E& E
0 'U #E&
(y 0 'j D& 0 'U xq SS 4 #& & S jU D& S 0 ' 0 ' U y 2& RD& ' 8 #D& S 8 & ' 8 ( 4 0 0 ' 0 0 8 q SS Eqt' b 0 eT' 0 e' ' 0E& 0 E& ' #D& 0 'U xq SS 4 0 SuT 0 D& ' 8 0 RE& ' 0 'U D&
0 'U E&
(4.4)
(4.5)
(4.6) ).
E& 0 'U
123
M thode de bissection. Si lon applique ce th or` me a la suite (4.3), la diff rence e e e ` e est . On obtient toutes les valeurs egale au nombre de valeurs propres de (4.1) dans lintervalle propres de de la mani` re suivante: e
on continue a diviser les intervalles qui contiennent au moins une valeur propre de . `
On peut facilement modier cet algorithme pour calculer la valeur propre la plus petite ou la eme ` plus grande valeur propre, etc. Pour eviter un overow dans le calcul de avec (si et sont grands), il vaut mieux travailler (4.7)
(attention: si est z ro, on pose e ; cette valeur compte pour un el ment n gatif). e e Pour une programmation de lalgorithme, on utilise la r currence e
eps
La formule pour le cas est une cons quence de (4.3). Si e (c.-` -d., a ), on remplace cette valeur par eps. Ceci correspond a ajouter la perturbation ` eps a ` .
on cherche un intervalle qui contienne toutes les valeurs propres de quant le th or` me de Gershgorin). On a donc que e e et .
(p.ex., en appli-
si si
0 1T' 0 1'
jU gdU puyd E& p j gdU sfpyd 0 ' U @ 0 ' j ' j 0E& S U D& U j dU uyd 0 ' #E S U aE&& S j U 0 S j U U y & U RE& U 0 ' ' @ 0 ' E& & RE& 0 ' j 0 ' RD& U 0 ' U E& S 0 ' 0 E& ' 8 SS D& 0 RE& ' j xq pS 0 ' U 0 'U 0 ' E& S E& RD& U & x D& ' 8 0
0 SpT
'8
0 E& 0 E& ' 0 E& ' j8 ` 0 ' E& S 8 b h` & & b &
0 D& ' 8
Chaque fois, on a un z ro de e pour Il reste a etudier la fonction ` implique que pour les signes de
et la valeur de
ne change pas si
. dans un voisinage dun z ro de e . La propri t (a) ee on a seulement les deux possibilit s suivantes: e
&
` `
! 0 1i'
0b
& b G` 0 b & ' x#0 ` & ' 0 ` D' & ' j8 0 ` ` ` D& S 8 b x` & & b & 0 'W D& d 0 ' D& qx SS 4 E& 0 'U & ' G& ' wg0 ~` & ' 0 b ' U 0 & ' DD& U j 0 0 ' U ` ` ` D& b h` & & b & ppT 0 ` eT' i !
124
La m thode de la puissance est bas e sur lit ration e e e (voir (2.1)) et nous permet dobtenir une approximation de a laide du quotient de Rayleigh. Pour calculer (en m me ` e temps) la deuxi` me valeur propre , nous prenons deux vecteurs et satisfaisant e et nous consid rons lit ration e e
o` u
Ceci signie que le calcul de correspond a la m thode de la puissance appliqu e a , com` e e ` bin e avec une orthogonalisation (projection de e sur le compl ment orthogonal de ). e En exprimant les vecteurs initiaux dans la base de vecteurs propres de la matrice (on suppose ),
les vecteurs
deviennent
(5.5)
, le terme Comme nous lavons constat dans le paragraphe V.2, pour e dans (si ) et on obtient une approximation du premier vecteur propre dire pour la suite ? La condition (5.4) dorthogonalit implique que e
Cette relation d nit . Comme le terme avec e Par la suite, nous allons supposer que et obtient
0 d Y& ' h` 0 d s & ' x` $ $ 0 T eT 0 s & ' xR 0 T |eT ' d d d d ` & ' & & & & @ | T T @ T T & W W ' U W U $ U $ W & U & 0 VT QW1VT 8 8
(5.6) . , on
U $ U & VT U
U 8
v U $ v
S
@ T
o` u
SS
(5.1)
(5.2)
(5.3)
(5.4)
Valeurs et Vecteurs Propres Maintenant, on peut ins rer cette formule dans (5.5) et on en d duit e e
125
sapproche (pour Visiblement, le vecteur projection orthogonale de a lhyperplan ` suivant. Th or` me 5.1 Consid rons les vecteurs e e e
(observer que
D monstration. L l ment (1,1) de la matrice e ee est le quotient de Rayleigh (2.3) qui converge vers . En utilisant (5.7), on voit que l l ment (2,2) satisfait ee
Remarque. Avec la notation (5.8), lit ration (5.2) peut etre ecrite sous la forme e
o` u
M thode de la puissance (pour le calcul de toutes les valeurs propres) ou simplement it ration e e orthogonale. La g n ralisation de lalgorithme pr c dent au cas o` lon veut calculer toutes les e e e e u valeurs propres dune matrice est evidente: on choisit une matrice orthogonale , c.-` -d., on a choisit vecteurs orthogonaux (les colonnes de ) qui jouent le r le de o , etc. Puis, on effectue lit ration e for (d composition QR) e ,
@ | T
T @ T
end Si (5.1) est v ri et si la matrice e e est bien choisie ( g n ralisation du th or` me pr c dent donne la convergence de e e e e e e
(5.7)
) dun multiple de , qui est la . Concernant les valeurs propres, on a le r sultat e donn s par (5.2) et notons e (5.8)
& d d $ d $ d ' 0 g $ g $ $ $ ' 0 ' $ g g $ $ $ ' ' 0 $ $ & 0 $ $ $ & $ & 0 $ $ $ $ ! &
v v v v V $ g $ $ $ Dg V $ v v pDg v s v d $ $ d $ $e0 & & ' 0 $ g $ $ & $ & ' $ ! ! v v v v v Dg v pv s V Dg V g v $ $ & 0 $ g $ $ $ $ $ $ ' $ ss!
satisfait
!
y j 3Y S S " !
( "
(5.9)
(5.10)
126
vers une matrice triangulaire dont les el ments de la diagonale sont les valeurs propres de . On e a donc transform en forme triangulaire a laide dune matrice orthogonale (d composition de e ` e Schur). Il y a une possibilit int ressante pour calculer de (5.11) directement a partir de e e ` . Dune part, on d duit de (5.10) que e
(5.12a)
Dautre part, on a
(5.12b)
V.6 L algorithme QR
La m thode QR, due a J.C.F. Francis et a V.N. Kublanovskaya, est la m thode la plus courame ` ` e ment utilis e pour le calcul de lensemble des valeurs propres e (P.G. Ciarlet 1982) the QR iteration, and it forms the backbone of the most effective algorithm for computing the Schur decomposition. (G.H. Golub & C.F. van Loan 1989)
La version simple du c l` bre algorithme QR nest rien dautre que la m thode du paragraphe ee e et si lon commence lit ration avec e , les pr c dent. En effet, si lon pose e e formules (5.11) et (5.12) nous permettent d crire lalgorithme pr c dent comme suit: e e e for
(d composition QR) e
end
Les qui sont les m mes que dans le paragraphe V.5, convergent (en g n ral) vers une matrice e e e triangulaire. Ceci nous permet dobtenir toutes les valeurs propres de la matrice car les ont les m mes valeurs propres que (voir (5.11)). e Cet algorithme important a et d velopp ind pendamment par J.G.F. Francis (1961) et par e e e e V.N. Kublanovskaya (1961). Un algorithme similaire, qui utilise la d composition LR a la place e ` de la d composition QR, a et introduit par H. Rutishauser (1958). e e Exemple num rique. Appliquons la m thode QR a la matrice e e `
On peut montrer (voir exercice 14) que, pour une matrice de Hessenberg , toutes les matrices sont aussi sous forme de Hessenberg. Pour etudier la convergence vers une matrice triangulaire, il suft alors de consid rer les el ments e e ( ) de la sous-diagonale. On constate que
(6.2)
ji
d j ' 0 y r j ' y0 !
i j i j j ! ! i j j j ! i U Q U U QS U U U Q j % ! !
yG i j i 33 y SS r )i ! "
(6.1)
127
100
104 106 0
Remarques. (a) Comme le calcul de la d composition QR dune matrice pleine est tr` s co teux e e u ( op rations), on applique lalgorithme QR uniquement aux matrices de Hessenberg. Dans e cette situation une it ration n cessite seulement e e op rations. e (b) La convergence est tr` s lente en g n ral (seulement lin aire). Pour rendre efcace cet e e e e algorithme, il faut absolument trouver un moyen pour acc l rer la convergence. ee (c) Consid rons la situation o` est une matrice r elle qui poss` de des valeurs propres come u e e plexes (lhypoth` se (5.1) est viol e). Lalgorithme QR produit une suite de matrices e e qui sont toutes r elles. Dans cette situation, les e ne convergent pas vers une matrice triangulaire, mais deviennent triangulaires par blocs (sans d monstration). Comme la dimension des blocs dans la e diagonale vaut en g n ral ou , on obtient egalement des approximations des valeurs propres. e e
. Une id e g niale e e La convergence vers z ro de cet el ment ne va etre rapide que si e e est dappliquer lalgorithme QR a la matrice ` o` u . Comme les valeurs propres de sont , on a la propri t ee pour et l l ment ee va converger rapidement vers z ro. Rien ne nous emp che dam liorer lapproximation apr` s e e e e chaque it ration. Lalgorithme QR avec shift devient alors: e for
(d composition QR) e
Ceci implique que, ind pendamment de la suite , les matrices e ont toutes les m mes valeurs e propres que . Pour d crire compl` tement lalgorithme QR avec shift, il faut encore discuter le choix du e e e e e param` tre et il faut donner un crit` re pour arr ter lit ration. e
j 8 8
U Q U
d U Q U d
). Comme , les el ments e con(voir la gure V.4, o` les valeurs u sont dessin es e
d & U s U & d
50
102
0 x'
i !
U&
(6.3)
(6.4)
128
Choix du shift-param` tre. On a plusieurs possibilit s: e e : ce choix marche tr` s bien si les valeurs propres de la matrice sont r elles. e e on consid` re la matrice e
Si les valeurs propres de (6.5) sont r elles, on choisit pour celle qui est la plus proche de e Si elles sont de la forme avec (donc complexes), on prend dabord pour lit ration suivante e . Crit` re pour arr ter lit ration. Lid e est dit rer jusqu` ce que e e e e e a isamment petit. Plus pr cis ment, on arr te lit ration quand e e e e eps pour
ou
Si (6.6) est v ri pour e e , on accepte comme approximation de et on continue lit ration avec la matrice e . Si (6.6) est v ri pour e e , on accepte les deux valeurs propres de (6.5) comme approxet et on continue lit ration avec la matrice e . imations de Exemple num rique. Nous avons appliqu lalgorithme QR a la matrice (6.1) avec le shift e e ` . La convergence de vers z ro est illustr e dans la gure V.5. Une comparaison avec la e e gure V.4 nous montre que la convergence est beaucoup plus rapide (convergence quadratique). Apr` s it rations, on a e e . Encore it rations pour la matrice de dimension donnent e . Il ne reste plus que it rations a faire pour la matrice de dimension pour avoir e ` . En tout, it rations ont donn toutes les valeurs propres avec une pr cision de e e e chiffres.
100 103
106
8& x j 8 Q j 8 j 8 8 ` 8 8
ou
j 8 W U XW U t'
0 S
@ j 8 8 8 8 8 Q j 8 j 8 Q j 8 2 `
j fYd d U Q U
j8& 8&
f Yd j d
j j
8 p 8
(6.5) . et
soit suff-
(6.6)
f sd d f)d d 8 p 8
Valeurs et Vecteurs Propres Remarque. La d composition QR dune matrice est unique sauf quon peut remplacer e o` u avec . D monstration. La formule (6.4) montre que e
129
On a donc trouv une d composition QR de la matrice e e qui, en cons quence des hypoth` ses du e e lemme, est une matrice r elle. Si, dans lalgorithme QR, la d composition est choisie de mani` re e e e a ce que les el ments diagonaux de ` e et soient r els, alors, a cause de lunicit de la e ` e d composition QR, les matrices e et sont r elles. e Une possibilit de calculer e a partir de est de calculer de (6.8), de faire une d compo` e sition QR (r elle) de e et de calculer a laide de (6.7). Cet algorithme nest pas pratique car ` le calcul de n cessite e op rations, m me si e e est sous forme de Hessenberg. Il y a une astuce int ressante pour obtenir e a partir de ` en op rations. Elle est e bas e sur la propri t suivante. e ee
o` est orthogonale et est sous forme de Hessenberg satisfaisant u pour Alors, et sont d termin es de mani` re unique par la premi` re colonne de . e e e e Remarque. On a unicit dans le sens suivant: si e orthogonale satisfaisant , alors D monstration. Notons les colonnes de e
Si est x , la valeur e est donn e par la deuxi` me formule de (6.10). Avec cette valeur, on e e obtient de la premi` re formule de (6.10) que est un multiple de e . Ceci d termine e a une unit ` e pr` s. Maintenant, les valeurs e sont d termin es et est un multiple de e e , etc. Si les hypoth` ses du lemme pr c dent sont v ri es, on peut calculer la matrice r elle e e e e e e op rations de la mani` re suivante: e e calculer , la premi` re colonne de e (formule (6.8)); d terminer une matrice de Householder e telle que ; transformer sous forme de Hessenberg a laide de matrices de Householder ` (voir le paragraphe V.3); c.-` -d., calculer a o` u . en
x q SS @ j U | U
d U d
S d Si
p dS
j8 d i % Vy 0 x' S i
0( d i' 0 ( r ` y0 (
0 x'
' ` r 0( #y p '
0y j ' 0 ' S
par
(6.7)
(6.8)
(6.10)
130
pour , la premi` re colonne de est un multiple de celle de e Comme (observer que ). Par la formule (6.8), la premi` re colonne de e est aussi un multiple de . Par cons quent, pour un bon choix des d compositions e e et , on a et la matrice obtenue par cet algorithme est egale a ` (voir (6.7)).
Etude de la convergence
si si
Ces propri t s restent vraies pour des matrices g n rales (sans d monstration). ee e e e
V.7 Exercices
1. Calculer les valeurs propres de la matrice tridiagonale (dimension ,
.. . .. .
..
R sultat. e
Dapr` s le th or` me 1.3 cette matrice poss` de une valeur propre de la forme e e e e
1 2
Calculer
au point
21
1
1
6 5 7 1
j 8 8 T j 8 8 b T ( hi y
et
) on a
) on a
i y y
)
y s s
T b
s s s s ! )i
1 2 3 4
x q SS %V y T b
( i
V y VyU
131
(b) Pour acc lerer consid rablement la vitesse de convergence, appliquer la m thode de la puise e e avec un choix intelligent de . sance a la matrice `
..
6. (Schur, 1909). Soit une matrice sym trique. Montrer que pour chaque indice il existe une valeur e propre de telle que Indication. Appliquer lexercice 5 avec une 7. Soit convenable.
Indication. Consid rer les parties r elles et complexes de lit ration de Wielandt. On obtient alors e e e
(a) Transformer
(b) En utilisant une suite de Sturm, montrer que toutes les valeurs propres sont positives et quune valeur propre est plus petite que 0.001. (c) Calculer approximativement la condition de
` ` ` `
ge h f e e
` ` ` `
(o` u
et
` `
U V3
E
F
tel que
. En d duire que e
F G
5. Soit une matrice sym trique et quelconque. Montrer que pour chaque valeur propre e de telle que existe une valeur propre
U H XWU H sW
E j Q Q Q Q E RPH F Q I
U V3
Indication. Trouver
diag
telle que
j D
I TH
WU
Montrer que, si
pour
YB W
UeU
CH E C 5 D C8 5 3 U U
F
WU XB W
RSQ Q I
sont r elles. e de il
9 8 @
8 8
B @ CA
E
j
U
WU
F
a cbW
RI Q
132
9. La formule de r currence e
pour les polyn mes o . Trouver une matrice tridiagonale valeurs propres de sont les racines de .
de dimension
10. Soit un polyn me de degr et supposons que toutes les racines soient simples. D montrer que o e e la suite d nie par lalgorithme dEuclid, e
(a) d terminer le nombre de racines r elles. e e (b) Combien de racines sont complexes?
si , si si et si et sinon,
12. La m thode de Jacobi (1846) pour le calcul des valeurs propres dune matrice sym trique: e e i) on choisit ( ) tel que ii) on d termine e comme dans lexercice 11.
Montrer que, si on r p` te cette proc dure, on a convergence vers une matrice diagonale, dont les e e e el ments sont les valeurs propres de . e Indication. Montrer que 13. On consid` re la matrice e
(a) Faire une it ration de lalgorithme QR sans shift. e (b) Faire une it ration de lalgorithme QR avec shift. e
XWU H YVU h H H W
Resultat.
ctg
tel que le (
)-i` me el ment de e e
, o` u
43 q 3 ' 3 ' 3
&
e
& $ %"
XWU
q
11. Pour un
donn notons e
et
. La matrice
, d nie par e
3
s 2
telle que les
j r q
2 r s q s
j U @ U t
9 s s s s s 2 @ f f i s @ s2 j U U A j 2s j U @ 2s U 2s U @ s s s 2 @y s2 8 @ 2 @ 2 8 @ s 2 r 8 wv B U xPu j U @ U 5 U @
2s r
q
s 2 @
133
14. Montrer que si la matrice est une matrice de Hessenberg (ou tridiagonale), alors les matrices , , construites par lalgorithme sont egalement des matrices de Hessenberg (tridiago nales). 15. Donner une estimation grossi` re du nombre dop rations qui sont n cessaires pour effectuer la d composition e e e e QR dune matrice de Hessenberg et pour calculer ensuite le produit RQ. 16. Soit une matrice de Hessenberg dont tous les el ments de la sous-diagonale sont non-nuls. Montrer e e que, si est une valeur propre de , une it ration de lalgorithme QR avec shift donne .
B j @ j@ d e
@ B j g j e
a partir de `
j 8 8
e fd
4q