Annexe A

Alg`ebre Matricielle
A.1 Introduction
Comme tous ceux qui ont etudie leconometrie ou une quelconque autre disci-
pline mathematique le savent, la dierence entre un resultat qui semble obscur
et dicile, et un resultat qui semble clair et intuitif, provient souvent simple-
ment de la notation utilisee. Dans presque tous les cas, la notation la plus
claire rend possible lutilisation des vecteurs et des matrices. Les lecteurs de
ce livre devraient etre assez familiers avec lalg`ebre matricielle. Cette annexe
est destinee `a aider ceux qui esp`erent se rafrachir la memoire et reunir les
resultats avec une plus grande facilite. Les lecteurs devraient noter que le
Chapitre 1 contient aussi un nombre utile de resultats sur les matrices, en
particulier ceux concernant les matrices de projection. Dans cette annexe,
des preuves seront donnees seulement si elles sont courtes ou si elles sont
interessantes. Ceux qui sont interesses par un traitement plus complet et plus
rigoureux peuvent se reporter `a Lang (1987).
A.2 Faits El

ementaires Concernant les Matrices

Une matrice A de dimension n m est un tableau rectangulaire de chires
qui se compose de nm elements arranges dans n lignes et m colonnes. Le nom
de la matrice est de facon conventionnelle retranscrit en caract`eres gras. Un
element type de la matrice A pourrait etre note A
ij
ou a
ij
, o` u i = 1, . . . , n
et j = 1, . . . , m. Le premier indice designe toujours la ligne et le second la
colonne. Il est parfois necessaire de montrer explicitement les elements dune
matrice, dans ce cas ils sont disposes en lignes et en colonnes et entoures par
de grands crochets, comme dans
B =
_
1 2 4
3 5 5
_
.
Ici B est une matrice de dimension 2 3.
Si une matrice na quune seule colonne ou une seule ligne, elle est ap-
pelee vecteur. Il existe deux types de vecteurs, des vecteurs colonnes et des
vecteurs lignes, dont les noms sont explicites. Puisque le premier type est
770
A.2 Faits El

ementaires Concernant les Matrices 771

plus courant que le second, un vecteur qui nest pas specie pour etre vecteur
ligne sera traite comme un vecteur colonne. Si un vecteur colonne comporte
n elements, il sagira dun vecteur `a n dimensions. Le caract`ere gras est utilise
pour designer des vecteurs aussi bien que des matrices. Il est conventionnel
dutiliser des majuscules pour les matrices et des minuscules pour les vecteurs.
Cependant, il est parfois necessaire dignorer cette convention.
Si une matrice a le meme nombre de colonnes que de lignes, elle est
carree. Une matrice carree A est symetrique si A
ij
= A
ji
pour tout i et j.
Des matrices symetriques surviennent tr`es frequemment en econometrie. Une
matrice carree est diagonale si A
ij
= 0 pour tout i ,= j; dans ce cas, les seuls
elements non nuls sont ceux qui forment la diagonale principale. Parfois une
matrice carree est composee de zeros au-dessus ou au-dessous de la diago-
nale principale. Une telle matrice est dite triangulaire. Si les elements non
nuls sont tous au-dessus de la diagonale, elle est dite triangulaire-superieure;
si les elements non nuls sont tous au-dessous de la diagonale, elle est dite
triangulaire-inferieure. Voici quelques exemples:
A =
_
_
1 2 4
2 3 6
4 6 5
_
_
B =
_
_
1 0 0
0 4 0
0 0 2
_
_
C =
_
_
1 0 0
3 2 0
5 2 6
_
_
.
Dans ce cas, la matrice A est symetrique, la matrice B est diagonale, et la
matrice C est triangulaire-inferieure.
Une matrice speciale quutilisent frequemment les econom`etres est I, qui
designe la matrice identite. Il sagit dune matrice diagonale dont chaque
element diagonal est egal `a 1. Un indice est parfois utilise pour indiquer le
nombre de lignes et de colonnes. Ainsi,
I
3
=
_
_
1 0 0
0 1 0
0 0 1
_
_
.
Un vecteur special que nous utilisons enormement dans ce livre est , qui
designe un vecteur colonne compose de 1.
La transposee dune matrice est obtenue en interchangeant toutes ses
ecritures lignes et colonnes. Ainsi, le ij
i`eme
element de la matrice A devient
le ji
i`eme
element de sa transposee, qui est designee par la matrice A

. Notons
que certains auteurs utilisent A

plutot que A

pour designer la transposee de

A. La transposee dune matrice symetrique est egale `a la matrice elle-meme.
La transposee dun vecteur colonne est un vecteur ligne, et vice versa. Voici
quelques exemples:
A =
_
1 2 4
3 5 5
_
A

=
_
_
1 3
2 5
4 5
_
_
b =
_
_
1
3
5
_
_
b

= [ 1 3 5 ] .
772 Alg
`
ebre Matricielle
Laddition et la soustraction des matrices fonctionnent exactement de la
meme facon que pour les scalaires, `a condition que les matrices puissent etre
additionnees ou soustraites seulement si elles sont conformes. Dans le cas de
laddition et de la soustraction, ceci signie simplement quelles doivent avoir
les memes dimensions. Si A et B sont conformes, alors un element type de
A+B est simplement A
ij
+B
ij
, et un element type de AB est A
ij
B
ij
.
En fait, la multiplication matricielle comprend `a la fois des additions et
des multiplications. Elle est basee sur ce qui est appele produit interieur, ou
produit scalaire, de deux vecteurs. Supposons que a et b soient des vecteurs
de dimensions n. Alors leur produit interieur est
a

b = b

a =
n

i=1
a
i
b
i
. (A.01)
Quand les deux matrices sont multipliees, chaque element du resultat est egal
au produit interieur dune des lignes de la premi`ere matrice avec une des
colonnes de la seconde matrice. Ainsi, si C = AB,
C
ik
=
m

j=1
A
ij
B
jk
.
Ici, nous avons implicitement suppose que la matrice A comporte m colonnes
et la matrice B m lignes. Pour que les deux matrices soient conformes pour
la multiplication, la premi`ere matrice doit avoir autant de colonnes que la
seconde de lignes. Alors, le resultat a autant de lignes que la premi`ere matrice
et autant de colonnes que la seconde. Voici un exemple explicite
A
nm
B
ml
= C
nl
.
Nous voyons rarement ce type de notation dans un livre ou une publication,
mais il est souvent commode de lutiliser lors de calculs destines `a verier que
les matrices multipliees sont en eet conformes pour denir les dimensions de
leur produit.
Le produit exterieur des deux vecteurs a et b est ab

. Par contraste avec

le produit interieur, qui est un scalaire, le produit exterieur est une matrice
de dimension n n si les vecteurs sont de dimension n.
Linteraction entre la multiplication et laddition matricielles est intuitive.
Il est aise de verier la propriete de distributivite `a partir des denitions des
operations respectives. Cette propriete est
A(B +C) = AB +AC.
En plus, ces deux operations sont associatives, ce qui signie que
(A+B) +C = A+ (B +C) et
(AB)C = A(BC).
A.2 Faits El

ementaires Concernant les Matrices 773

La multiplication matricielle est, en general, non commutative. Le fait
quil soit possible de premultiplier la matrice B par la matrice A nimplique
pas quil soit possible de postmultiplier la matrice B par la matrice A. En
eet, il est aise de voir que les deux operations sont possibles si et seulement
si un des produits matriciels est carre; dans ce cas lautre produit matriciel
sera egalement carre, bien quil soit generalement de dimensions dierentes.
Meme quand les deux operations sont possibles, AB ,= BA sauf dans des cas
speciaux. Les r`egles pour la multiplication des matrices et des vecteurs sont
les memes que les r`egles de multiplication des matrices entre elles; les vecteurs
sont simplement traites comme des matrices qui ont une seule colonne ou une
seule ligne.
La matrice identite I est ainsi appelee parce quelle laisse inchangee
nimporte quelle matrice avec laquelle elle est soit premultipliee soit multi-
pliee. Ainsi, pour une matrice quelconque A, AI = IA = A, pourvu na-
turellement que les deux matrices soient conformes dans chaque cas. Il est
facile de voir pourquoi la matrice identite poss`ede cette propriete. Le ij
i`eme
element de AI est
m

k=1
A
ik
I
kj
= A
ij
,
puisque I
kj
= 0 pour k ,= j et I
kj
= 1 pour k = j. Le vecteur special est aussi
utile. On lutilise lorsque lon desire sommer les elements dun autre vecteur,
parce que, pour nimporte quel vecteur b de dimension n,

b =

n
i=1
b
i
.
La transposee du produit de deux matrices est le produit des transposees
des matrices en ordre inverse. Ainsi,
(AB)

= B

. (A.02)
Linversion de lordre est necessaire pour que les matrices transposees soient
conformes `a la multiplication. Le resultat (A.02) peut etre prouve en ecrivant
les elements types des deux cotes et en veriant quils sont identiques:
(AB)
ij

= (AB)
ji
=
m

k=1
A
jk
B
ki
=
m

k=1
(B

)
ik
(A

)
kj
= (B

)
ij
,
o` u m est le nombre de colonnes de la matrice A et le nombre de lignes de la
matrice B. Il est toujours possible de multiplier une matrice par sa propre
transposee: si la matrice A est de dimension nm, alors A

est de dimension
m n, la matrice A

A est de dimension m m, et la matrice AA

est de
dimension n n. Ces deux produits matriciels sont symetriques:
A

A = (A

A)

et AA

= (AA

, (A.03)
cela provient directement de lapplication de (A.02).
774 Alg
`
ebre Matricielle
Chaque element du produit des deux matrices est une somme. Ceci
sugg`ere quil peut etre commode dutiliser lalg`ebre matricielle pour des
sommes. Supposons, par exemple, que nous ayons n observations sur k regres-
seurs. Ceux-ci peuvent etre arranges dans une matrice Xde dimension nk.
Ensuite, la matrice des sommes des carres et des produits croises des regres-
seurs peut etre ecrite de facon compacte comme X

X. Il sagit dune matrice

symetrique de dimension k k, dont un element diagonal type est

n
t=1
X
2
ti
et un element non diagonal est

n
t=1
X
ti
X
tj
.
Il est souvent necessaire de multiplier une matrice par un scalaire, et ceci
fonctionne comme prevu: chaque element de la matrice est multiplie par le
scalaire. De facon occasionnelle, il est necessaire de multiplier deux matrices,
element par element. Le resultat est appele produit direct (ou parfois produit
Schur) des deux matrices. Le produit direct des matrices A et B est designe
AB, et un element type est A
ij
B
ij
.
Une matrice carree peut ne pas etre inversible. Si la matrice A est
inversible, alors elle a une matrice inverse A
1
telle que
AA
1
= A
1
A = I.
Si la matrice A est symetrique, alors la matrice A
1
lest aussi. Si la matrice
A est triangulaire, alors la matrice A
1
lest aussi. Sauf dans certains cas
speciaux, il nest pas facile de calculer linverse dune matrice manuellement.
Un tel cas special est celui dune matrice diagonale, disons D, avec comme
element type diagonal D
ii
. Il est facile de verier que D
1
est aussi une
matrice diagonale, avec comme element type diagonal D
1
ii
.
Il est souvent commode dutiliser la trace dune matrice carree, qui est
simplement la somme des elements diagonaux. Ainsi,
Tr(A) =
n

i=1
A
ii
.
Une propriete tr`es utile est que la trace dun produit de deux matrices A et
B nest pas aectee par lordre dans lequel les deux matrices sont multipliees.
Puisque la trace est denie seulement pour des matrices carrees, `a la fois AB
et BA doivent etre denies. Ensuite, nous avons
Tr(AB) =
n

i=1
(AB)
ii
=
n

i=1
m

j=1
A
ij
B
ji
=
m

j=1
(BA)
jj
= Tr(BA). (A.04)
Le resultat (A.04) peut etre developpe. Nous considerons un produit (carre)
de plusieur matrices, la trace est invariante `a ce qui est appele permutation
cyclique des facteurs. Ainsi, par exemple,
Tr(ABC) = Tr(CAB) = Tr(BCA), (A.05)
A.3 La G

eom

etrie des Vecteurs 775

comme on demontre en appliquant plusieurs fois la relation (A.04). Ce resultat
peut etre extremement commode, et plusieurs resultats standards sur les pro-
prietes des OLS lutilisent. Par exemple, si X est une matrice de dimension
n k, (A.05) implique que
Tr
_
X(X

X)
1
X

_
= Tr
_
X

X(X

X)
1
_
= Tr(I
k
) = k.
A.3 La G

eom

etrie des Vecteurs

Les elements dun vecteur de dimension n peuvent etre vus comme les coor-
donnees dun point dans un espace Euclidien de dimension n, qui peut etre
note E
n
. La dierence entre E
n
et lespace plus familier R
n
est que le premier
inclut une denition specique de la longueur de chaque vecteur dans E
n
. La
longueur dun vecteur x est
|x| (x

x)
1/2
.
Ceci est simplement la racine carree du produit interieur de x avec lui-meme.
En termes scalaires, il est simplement
_
n

i=1
x
2
i
_
1/2
. (A.06)
Comme lindique la notation | |, la longueur dun vecteur est parfois reliee
`a sa norme. Cette denition sinspire du cel`ebre theor`eme de Pythagore con-
cernant les carres des cotes des triangles rectangles. La denition (A.06) est
simplement une generalisation de ce resultat `a un nombre arbitraire de di-
mensions.
Il existe en realite plus dune mani`ere de denir un produit interieur.
Celle utilisee auparavant dans (A.01), et la seule utilisee explicitement dans
cet ouvrage, est appelee produit interieur naturel. Le produit interieur naturel
de deux vecteurs y et x est souvent note x, y) x

y. La norme dun vecteur

peut etre denie en termes du produit interieur naturel, puisque |x|
2
=
x, x). Linegalite fondamentale qui lie des normes et des produits interieurs
est
[x, y)[ |x| |y|. (A.07)
Linegalite dans (A.07) devient une egalite si et seulement si x et y sont
parall`eles, cest-`a-dire si y = x pour un scalaire quelconque.
Le concept de longueur dun vecteur setend naturellement au concept
de distance entre deux points dans E
n
. Si x, y E
n
, la distance entre x et
y est |x y|. Notons que cette denition est symetrique par rapport `a x
et y. Le concept de produit interieur nous permet egalement de denir ce que
776 Alg
`
ebre Matricielle
nous signions dans le contexte general par langle entre deux vecteurs. Pour
x, y E
n
, langle

(x, y) peut etre deni en terme de son cosinus, cos ,
comme suit:
cos =
x, y)
|x| |y|
.
Cette denition fournit une valeur `a cos qui varie dans lintervalle [1, 1],
dapr`es (A.07). La denition est unique seulement si nous limitons la variation
possible de `a un intervalle de longueur (et non 2). De facon habituelle, le
meilleur intervalle `a choisir est [0, ]. Avec ce choix, langle entre un vecteur
et lui-meme est 0, entre un vecteur et son oppose, , et entre un vecteur et
un autre vecteur qui lui est orthogonal, /2. Des vecteurs sont orthogonaux
si leur produit interieur est nul.
La notion utilisee en econometrie qui correspond le plus etroitement au
concept geometrique du cosinus de langle est le R
2
dune regression lineaire.
Comme nous lavons vu dans le Chapitre 1, le R
2
de la regression y = X+u
est le carre du cosinus de langle entre le vecteur y de dimension n et la
projection P
X
y de ce vecteur sur lespace S(X) des regresseurs.
Une fois le cosinus de langle trouve, il est possible de calculer les valeurs
de toutes les autres fonctions trigonometriques de . Ces fonctions sont le si-
nus, sin, la tangente, tan, la cotangente, cot , la secante, sec , et la
cosecante, csc . Parmi celles-ci, la seule qui nous interesse ici est la cotan-
gente, qui est etroitement reliee aux t de Student des regressions lineaires. En
termes de cos , cot est denie comme suit, pour [0, ]:
cot =
cos
(1 cos
2
)
1/2
. (A.08)
Contrairement au cosinus, qui doit varier entre 1 et 1, la cotangente peut
evidemment prendre nimporte quelle valeur reelle.
Pour le cas special dune simple regression lineaire y = x+u sans terme
constant, le t de Student associe `a x est

s(x

x)
1/2
, (A.09)
o` u

est lestimation OLS de , (x

x)
1
x

y, et s est lestimation OLS de ,

lecart type des aleas. Dans la notation geometrique, si est langle compris
entre y et x, nous avons

=
x, y)
x, x)
=
|y|
|x|
cos ,
(x

x)
1/2
= |x|, et
s
2
= (n 1)
1
_
y

y y

x(x

x)
1
x

y
_
= (n 1)
1
|y|
2
(1 cos
2
).
A.4 Matrices comme Applications des Espaces Lin

eaires 777
En substituant ces resultats dans lexpression (A.09) pour le t de Student,
nous trouvons que la valeur de la statistique est
(n 1)
1/2
cos
(1 cos
2
)
1/2
= (n 1)
1/2
cot ,
dapr`es (A.08). Consulter le Chapitre 3 pour un resultat analogue dans le
contexte de la regression multiple.
A.4 Matrices comme Applications des Espaces Lin

eaires
Il est revelateur dexaminer la matrice A de dimension n m comme une
application de E
m
dans E
n
. Cela secrit
A : E
m
E
n
.
Notons lordre de m et de n ici. Linterpretation est simple. Puisque le produit
dune matrice de dimension nm par un vecteur colonne de dimension m1
est deni et fournit un vecteur colonne de dimension n1, nous pouvons denir
laction de la matrice A sur un vecteur x de dimension m, A(x), comme le
produit matriciel Ax, et il sagit dun vecteur de dimension n. Lapplication
ainsi denie est lineaire, parce que, si et sont des scalaires quelconques,
A(x +y) = Ax +Ay,
dapr`es les proprietes classiques des operations matricielles.
Lespace E
m
des arguments de lapplication A est appele espace de
depart de lapplication, et lespace E
n
des valeurs espace darrivee. Un sous-
espace lineaire important de lespace de depart est le noyau de la matrice. Il
est deni comme suit:
N(A) x E
m
[ Ax = 0 .
Nous pouvons dire que le noyau de Aest annule par A. Un sous-espace lineaire
important de lespace darrivee est appele image, denie par lexpression
R(A) y E
n
[ y = Ax pour un certain x E
m
.
Limage peut etre decrite comme le sous-espace de E
n
qui contient tous les
points images dun point dans E
m
par A. Lensemble des points dans E
m
qui
sont appliques vers un point y E
n
, cest-`a-dire les points qui ont y comme
image, est appele ensemble des antecedents du point y.
Il est clair intuitivement que la dimension de lespace Euclidien E
m
est m.
Nous notons dimE
m
= m. Quand nous traitons des sous-espaces comme
des noyaux ou des images, les dimensions de ces sous-espaces sont moins
778 Alg
`
ebre Matricielle
apparentes. La necessaire denition formelle est comme suit. Un espace
lineaire est de dimension n sil existe n vecteurs lineairement independants
dans lespace et si tous les ensembles de plus de n vecteurs de lespace sont
lineairement dependants. Un ensemble de vecteurs x
i
, i = 1, . . . , m, est dit
lineairement dependant sil existe une combinaison lineaire non triviale dentre
eux qui est nulle. Cest-`a-dire que les x
i
sont lineairement dependants sil
existe m scalaires
i
, non tous nuls, tels que
m

i=1

i
x
i
= 0. (A.10)
Pour E
m
lui-meme, un ensemble approprie de vecteurs lineairement indepen-
dants est fourni par les vecteurs e
i
, i = 1, . . . , m, de la base orthonormee
o` u e
i
est un vecteur de dimension m dont le i
i`eme
element est 1 et tous les
autres sont 0. Lexpression du membre de gauche de (A.10), evaluee avec e
i
`a la place de x
i
, represente le vecteur de dimension m avec comme element
type
i
. De facon claire, ce vecteur est nul seulement si
i
= 0 pour tout
i = 1, . . . , m, et ainsi les e
i
sont lineairement independants.
Le complement orthogonal dun sous-espace M E
m
est lespace lineaire
M

_
x E
m
[ x

y = 0 pour tout y M
_
.
Si v est la dimension du noyau de la matrice A de dimension n m et r son
rang, alors la relation suivante est vraie:
mv = r. (A.11)
Ceci signie que la dimension du complement orthogonal du noyau est egale
au rang. Un resultat qui sous-tend toutes les utilisations des matrices de
projection au travers de cet ouvrage est que nimporte quel vecteur z E
m
peut etre exprime de mani`ere unique comme la somme de deux vecteurs, lun
dans M et lautre dans M

, pour nimporte quel sous-espace de E

m
. Ainsi,
nous en deduisons que
dimM+ dimM

= m.
La dimension de limage dune matrice est appelee rang de la matrice.
Le rang de A est parfois note (A). Une matrice A de dimension n m est
dite de plein rang si (A) est egal au minimum de m et n. La terminologie
re`ete le fait que (A) ne pourrait jamais exceder min(m, n), comme (A.11)
le souligne.
Les m colonnes dune matrice de dimension nm peuvent etre considerees
comme un ensemble de vecteurs de dimension n. Ainsi, nous pouvons ecrire
la i
i`eme
colonne de la matrice A comme a
i
E
n
. Il est facile de voir que
limage de la matrice A est lensemble de toutes les combinaisons lineaires de
ses colonnes a
i
. Pour cette raison, limage de la matrice Aest souvent appelee
A.5 Matrices Partitionn

ees 779
sous-espace engendre par les colonnes de la matrice A. Il est commode de
noter S(A) ce sous-espace, et S

(A) son complement orthogonal.

Quand une matrice est interpretee comme une application des espaces
lineaires, il est naturel dattribuer une norme `a une matrice aussi bien quaux
vecteurs pour lesquels elle agit. La denition de la norme dune matrice A de
dimension n m suit le mod`ele standard pour la denition des normes des
operateurs. Elle est comme suit:
|A| = max
xE
m
|Ax|
|x|
.
Il peut etre montre que nimporte quelle matrice A composee delements -
nis a une norme nie et que nimporte quelle matrice avec une norme nulle
doit simplement etre une matrice nulle, cest-`a-dire une matrice dont tous les
elements sont nuls. Si deux matrices A et B ont des dimensions telles que le
produit AB existe, alors nous pouvons montrer que
|AB| |A| |B|.
A.5 Matrices Partitionn

ees
Dans cette section, nous introduisons le concept important dune matrice
partitionnee et en derivons certaines formules tr`es utiles pour linversion des
matrices partitionnees. Si une matrice A poss`ede m colonnes, et si m
1
et m
2
sont deux entiers positifs tels que m
1
+ m
2
= m, alors nous pouvons denir
deux sous-matrices de A, A
1
et A
2
, respectivement de dimensions n m
1
et
nm
2
, telles que la sous-matrice A
1
se compose des m
1
premi`eres colonnes de
la matrice A, et la sous-matrice A
2
des m
2
derni`eres colonnes de la matrice A.
Nous ecrivons
A =
_
A
1
A
2

et designons matrice partitionnee le membre de droite de cette relation.

La partition du cas ci-dessus a ete realisee par colonnes. Nous pouvons
egalement tr`es bien partitionner par lignes ou par lignes et par colonnes, et
il peut y avoir plus de deux partitions pour dautres cas. Les sous-matrices
creees par la partition dune matrice sont appelees les blocs de la partition. Si
la matrice Ade dimension nm est partitionnee par ses colonnes et la matrice
B de dimension m p est partitionnee par ses lignes, la partition peut etre
conforme. Cest-`a-dire que chaque bloc de la partition de la matrice Aposs`ede
autant de colonnes que le bloc correspondant de la partition de la matrice
B poss`ede de lignes. Dans ce cas, les r`egles ordinaires de la multiplication
matricielle peuvent etre appliquees aux matrices partitionnees comme si les
blocs etaient reellement les elements des matrices.
780 Alg
`
ebre Matricielle
Lutilisation de la partition montre clairement que limage dune ma-
trice A est lensemble de toutes les combinaisons lineaires de ses colonnes a
i
.
Ainsi, partitionnons la matrice A de telle sorte que chaque colonne soit traitee
comme un bloc:
A =
_
a
1
a
2
a
m

.
Si la matrice A premultiplie un vecteur x de dimension m, nous pouvons
partitionner x simplement en separant ses elements, et obtenons
Ax =
_
a
1
a
m

_
_
x
1
.
.
.
x
m
_
_
=
m

i=1
a
i
x
i
.
Sous cette forme, il est clair que limage de x par la matrice A est une com-
binaison lineaire des colonnes de A, denie au moyen des elements de x.
Nous avons remarque auparavant que les matrices partitionnees peuvent
etre multipliees si leurs partitions sont conformes, comme si leurs blocs etaient
reellement des elements de matrices. Le resultat dune telle multiplication
partitionnee sera necessairement une matrice dont la partition en lignes est
la meme que celle du facteur le plus `a gauche du produit matriciel, et dont la
partition en colonnes est la meme que celle du facteur le plus `a droite. Cette
propriete peut etre utilisee pour demontrer dautres resultats utiles. Si nous
separons toutes les colonnes du second facteur du produit matriciel AB, nous
voyons que
AB = A
_
b
1
b
m

=
_
Ab
1
Ab
m

,
o` u b
i
est une colonne type de la matrice B. Autrement dit, la i
i`eme
colonne
dun produit matriciel peut etre trouvee en remplacant le facteur le plus `a
droite du produit par la i
i`eme
colonne de ce facteur. De facon similaire,
naturellement, la i
i`eme
ligne dun produit matriciel est trouvee en remplacant
le facteur le plus `a gauche par sa i
i`eme
ligne.
Supposons que nous considerons une matrice X partitionnee en deux
groupes de colonnes: X = [X
1
X
2
]. La notation est choisie deliberement,
parce quil est intuitivement utile dassimiler X `a une matrice de regresseurs
separes en deux sous-ensembles. En particulier, nous serons capables dappliquer
le Theor`eme FWL (Section 1.4) dans lanalyse ulterieure. Si la matrice X est
de dimension n k, alors le produit matriciel X

X est de dimension k k.
En forme partitionnee, nous avons
X

X =
_
X
1

X
2

_
[ X
1
X
2
] =
_
X
1

X
1
X
1

X
2
X
2

X
1
X
2

X
2
_
. (A.12)
A.5 Matrices Partitionn

ees 781
Nous allons `a present deduire linverse de la matrice partitionnee qui
est lexpression la plus `a droite dans (A.12). Nous savons que la matrice de
covariance des param`etres estimes par OLS pour la regression y = X + u
est proportionnelle `a (X

X)
1
. De plus, si est partitionnee comme
=
_

2
_
,
conformement `a la partition de la matrice X, alors la matrice de covariance
des estimations de
1
est proportionnelle (avec la meme constante de propor-
tionalite) `a (X
1

M
2
X
1
)
1
, o` u M
2
= I X
2
(X
2

X
2
)
1
X
2

est la projection
orthogonale sur le complement de lespace engendre par les colonnes de X
2
.
Ceci signie que si (X

X)
1
est partitionnee de la meme mani`ere que X

X,
alors le bloc superieur gauche de linverse partitionnee est (X
1

M
2
X
1
)
1
.
Ecrivons (X

X)
1
sous forme partitionnee comme:
_
X

X
_
1
=
_
(X

X)
1
11
(X

X)
1
12
(X

X)
1
21
(X

X)
1
22
_
. (A.13)
Nous avons simplement montre que
_
X

X
_
1
11
=
_
X
1

M
2
X
1
_
1
. (A.14)
Si (A.12) et (A.13) sont multipliees, le resultat doit etre une matrice identite,
que nous pouvons partitionner comme
I
k
=
_
I
k
1
0
0 I
k
2
_
,
o` u il y a k
i
colonnes dans X
i
pour i = 1, 2. Le bloc inferieur gauche de cette
matrice identite est 0, et par une multiplication explicite nous voyons que
X
2

X
1
_
X
1

M
2
X
1
_
1
+X
2

X
2
_
X

X
_
1
21
= 0,
do` u
_
X

X
_
1
21
=
_
X
2

X
2
_
1
X
2

X
1
_
X
1

M
2
X
1
_
1
. (A.15)
La meme sorte de manipulation donnerait une expression pour (X

X)
1
22
,
mais ceci nest pas necessaire, puisque nous savons quen inversant les indices
1 et 2 dans lexpression pour (X

X)
1
11
, (X

X)
1
22
= (X
2

M
1
X
2
)
1
. Ceci
nest pas lexpression que nous obtiendrions directement, et nous la laissons
en exercice pour que le lecteur montre que les deux expressions apparemment
dierentes sont en fait egales.
Les matrices partitionnees que nous desirons inverser ne sont pas toutes
de la forme X

X. Nous pouvons obtenir des expressions generales `a partir

782 Alg
`
ebre Matricielle
de ce que nous avons dej`a obtenu en ecrivant explicitement la matrice de
projection orthogonale M
2
. Si la matrice X

X est ecrite comme

_
A C

C B
_
, (A.16)
et la matrice (X

X)
1
comme
_
D E

E F
_
, (A.17)
alors
D
1
= X
1

M
2
X
1
= X
1

X
1
X
1

X
2
_
X
2

X
2
_
1
X
2

X
1
= AC

B
1
C.
Ainsi, de facon tr`es generale, nous avons les relations suivantes entre les blocs
des deux matrices inverses partitionnees (A.16) et (A.17):
D =
_
AC

B
1
C
_
1
;
E = B
1
C
_
AC

B
1
C
_
1
=
_
B CA
1
C

_
1
CA
1
;
F =
_
B CA
1
C

_
1
.
Ces formules necessitent que les inverses des blocs diagonaux de la matrice
partitionnee dorigine existent.
A.6 D

eterminants
Nous avons plusieurs fois fait allusion `a la possibilite quune matrice carree
puisse ne pas etre inversible. Si tel est le cas, alors lapplication qui la denit
ne sera pas inversible. En general, une application partant dun espace vers
un autre est inversible si et seulement si elle est une bijection, ou bijective,
dans une terminologie mathematique formelle. De facon plus explicite, il faut
qu`a chaque point de lespace darrivee de lapplication corresponde un et un
seul point de lespace de depart de lapplication. Ensuite lapplication inverse,
qui va de lespace darrivee vers lespace de depart de lapplication dorigine,
applique chaque point dans limage vers son unique antecedent.
Nous montrons tout dabord que seules les matrices carrees sont in-
versibles. Si A est une matrice de dimension n m, il est necessaire pour la
rendre inversible que, pour chaque vecteur y E
n
, il existe un unique vecteur
x E
m
tel que Ax = y. La matrice inverse A
1
est alors une matrice de
dimension mn qui transforme un tel vecteur y en son correspondant x. Une
matrice A dont le noyau contient plus que le vecteur nul nest pas inversible.
Supposons que z N(A), z ,= 0; cest-`a-dire, Az = 0. Alors, si Ax = y,
nous avons egalement A(x + z) = Ax + Az = Ax, et `a la fois x et x + z
A.6 D

eterminants 783
doivent appartenir `a lensemble des antecedents de y par A, contrairement
`a la condition dexistence de linverse dune application. Ainsi, si la matrice
A est de dimension n m et est inversible, nous trouvons `a partir de (A.11)
que m = r, la dimension de limage de A. Nous voyons par ailleurs quune
matrice dont limage nest pas le plein espace darrivee nest pas inversible, au
quel cas il existe des elements de celui-ci dont lensemble des antecedents est
vide, contrairement `a la condition pour une inverse. Ceci implique que r = n,
et puisque nous avons dej`a vu que m = r, il sensuit que m = n. Ainsi, nous
avons prouve que seules les matrices carrees sont inversibles. La condition
supplementaire que m = r implique que seules les matrices carrees de plein
rang sont inversibles. Les matrices carrees qui ne sont pas de plein rang sont
dites singuli`eres, et les matrices carrees de plein rang sont par consequent
parfois dites non singuli`eres. Toutes les matrices carrees non singuli`eres sont
inversibles.
Comment pouvons-nous savoir si une matrice carree A de dimension
n n quelconque est inversible, et si elle lest, comment peut-on calculer
son inverse? Les reponses `a ces deux questions sont fournies par le concept
du determinant dune matrice carree. Puisque, pour le reste de cette section,
nous ne traiterons que les matrices carrees, toutes les matrices auxquelles nous
ferons reference seront carrees par defaut. Le determinant dune matrice est
simplement un scalaire. Nous noterons [A[ le determinant de la matrice A et
[ det A[ designera la valeur absolue du determinant de la matrice A.
Il est possible de representer geometriquement le determinant dune ma-
trice par le volume de dimension n de la gure rectiligne generee par les
colonnes de la matrice. En deux dimensions, par exemple, les deux colonnes
dune matrice de dimension 22 denissent un parallelogramme, comme cela
est montre dans la partie (a) de la Figure A.1. Laire de ce parallelogramme
est le determinant de la matrice. En trois dimensions, les trois colonnes dune
matrice de dimension 3 3 denissent un solide appele parallelepip`ede (voir
la Figure A.2), dont le volume est le determinant de la matrice. Dans des
dimensions superieures, comme nous le verrons, nous pouvons developper
algebriquement le concept du determinant de mani`ere naturelle, bien quil
soit evidemment impossible de visualiser les resultats de facon geometrique.
Laire du parallelogramme est etablie dans des textes elementaires sur la
geometrie comme la base fois la hauteur, o` u la base represente la longueur
dun des cotes du parallelogramme, et la hauteur la distance perpendiculaire
entre les deux cotes dont la longueur est la base. Ceci signie que laire dun
parallelogramme peut etre calculee comme laire dun rectangle, comme nous
lavons illustre dans la partie (b) de la Figure A.1. De facon algebrique, si les
colonnes de la matrice A de dimension 2 2 sont notees a
1
et a
2
, laire du
parallelogramme est |a
1
| |M
1
a
2
|, o` u M
1
est la projection orthogonale sur
S

(a
1
). Il est facile de verier que nous pouvons echanger les roles des deux
vecteurs sans modier la valeur de laire.
784 Alg
`
ebre Matricielle
......................................................................................................................................................................................................................................................................... . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
............................................................................................................................................................................................................................. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
............................................................................................................................................................................................................................
........................................................................................................................................................................................................................................................................
O
a
1
a
2
(a) Le parallelogramme deni
par a
1
et a
2
......................................................................................................................................................................................................................................................................... . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
............................................................................................................................................................................................................................. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ....................
. . . . . . . . . . . . . . . . . . .
............................................................................................................................................................................................................................
...............................................................................................................................................................................................................................................................................................................................................................................................................................................................
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
O
a
1
a
2
M
1
a
2
(b) Rectangle de supercie egale forme
par a
1
et M
1
a
2
Figure A.1 Determinants en deux dimensions
................................................................................................................................................................................................................................................................................................................................................................................
................................................................................................................................................................................................................................................................................
.....................................................................................................
...............................................................................................................................................................................................................................................................................
.....................................................................................................
................................................................................................................................................................................................................................................................................................................................................................................
...............................................................................................................................................................................................................................................................................
................................................................................................................................................................................................................................................................................................................................................................................
.....................................................................................................
...................................................................................................... . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
................................................................................................................................................................................................................................................................................................................................................................................. . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . .
..................................................................................................................................................................................................................................................................................................
. . . . . . . . . . . . . . . . . . .
O
a
1
a
2
a
3
Figure A.2 Un parallelepip`ede en trois dimensions
Dans le cas `a n dimensions, nous pouvons etablir la denition de la valeur
absolue du determinant de la matrice de dimension nn A = [a
1
a
2
a
n
]:
[ det A[ = |M
(1)
a
1
| |M
(2)
a
2
| |M
(n1)
a
n1
||a
n
|
=
n

i=1
|M
(i)
a
i
|. (A.18)
Ici, M
(i)
la projection orthogonale sur le complement de S(a
i+1
, . . . , a
n
),
lespace engendre par les ni derni`eres colonnes de A, pour i = 1, . . . , n1.
Pour que la seconde ligne soit vraie, il faut que M
(n)
= I.
La denition ci-dessus ne donne que la valeur absolue du determinant.
Le signe sera la consequence dune autre propriete des determinants, `a savoir,
lanti-symetrie. La valeur de (A.18) est invariante aux changements de lordre
des colonnes de la matrice A, mais quand le signe est pris en compte, nous
ferons en sorte quune permutation de nimporte laquelle des deux colonnes
de la matrice A change le signe du determinant. Considerons la matrice
partitionnee suivante:
A =
_
a
11
0
b B
_
. (A.19)
A.6 D

eterminants 785
Quand la premi`ere colonne est projetee sur le complement orthogonal de
lespace engendre par les autres, le resultat sera une colonne avec a
11
comme
premier element et des 0 ailleurs. Ainsi, dapr`es (A.18), la valeur absolue de
[A[ est simplement [a
11
[[det B[. La r`egle pour le signe du determinant est
une r`egle recursive: nous supposons que [B[ a un signe et le multiplions en-
suite par celui de lelement a
11
pour obtenir le signe de [A[. Pour terminer
loperation, il faut que le signe du determinant dune matrice de dimension
1 1 soit celui du seul element de la matrice.
Dans un moment, nous aurons besoin dutiliser le fait que le determinant
de la matrice (A.19), qui ne depend pas du vecteur b de dimension (n 1),
est egal au determinant de nimporte quelle matrice comme (A.19), ayant une
colonne nulle `a la place de b mais avec un vecteur ligne c

quelconque `a la
place des elements nuls dans (A.19). Ainsi, le determinant de la matrice
_
a
11
c

0 B
_
(A.20)
est egal `a celui de (A.19). Pour comprendre ceci, souvenons-nous que la valeur
absolue du determinant est invariante `a lordre des colonnes, et selectionnons
la premi`ere colonne de (A.20) comme la colonne qui nest soumise `a aucune
projection dans (A.18). Toutes les autres colonnes seront alors projetees sur
le complement orthogonal de lespace engendre par la premi`ere colonne et per-
dront par consequent leurs premiers elements, cest-`a-dire les elements de c

.
Une matrice triangulaire inferieure est un cas particulier de (A.19) dans
lequel la matrice B est elle-meme triangulaire inferieure. De facon similaire,
une matrice triangulaire superieure est un cas particulier de (A.20) dans lequel
la matrice B est elle-meme triangulaire superieure. Le fait que le determinant
de ces deux matrices soit egal `a [a
11
[[ det B[ implique que si une matrice A est
triangulaire, son determinant est egal au produit de ses elements diagonaux.
Pour obtenir ce resultat, nous appliquons simplement le resultat dorigine tout
dabord `a A, puis `a son bloc inferieur droit, enn au bloc inferieur droit de
ce bloc, et ainsi de suite.
Une autre propriete des determinants est quils sont invariants `a des per-
mutations de leurs lignes aussi bien que de leurs colonnes, `a un changement
de signe pr`es. Cest ce qui ressort de (A.18), puisque la norme dun vecteur
ne depend pas de la facon dont les lignes sont ordonnnees; consulter (A.06).
Le calcul des determinants nest evidemment pas une operation lineaire.
Ainsi, en general, [A + B[ ,= [A[ + [B[. Cependant, il est vrai que si une
colonne dune matrice est exprimee comme la somme de deux vecteurs, alors
le determinant est additif colonne par colonne. Cela signie que
[ a
1
+b
1
a
2
a
n
[
= [ a
1
a
2
a
n
[ + [ b
1
a
2
a
n
[ .
(A.21)
786 Alg
`
ebre Matricielle
Ici la notation [[ avec les blocs dune matrice partitionnee `a linterieur designe
le determinant de la matrice. Pour voir pourquoi (A.21) est vraie, observons
que le rang de la projection M
(2)
est seulement 1. Il sensuit que, pour
nimporte quels vecteurs a et b de dimension n , |M
(2)
(a+b)| = |M
(2)
a| +
|M
(2)
b|. Le resultat provient de ce fait et de la denition (A.18).
Le resultat (A.21) nous permet detablir la methode classique devalua-
tion manuelle des determinants. Cette methode est le developpement du
determinant par une ligne ou une colonne. Plus personne ne calcule reellement
les determinants de cette mani`ere, sauf peut-etre pour le cas trivial 2 2,
mais notre discussion sur la facon de developper les determinants m`enera
`a un certain nombre de resultats utiles. Nous developperons `a partir de la
premi`ere colonne. Pour proceder de la sorte, nous avons besoin dune notation
particuli`ere. Designons A
ij
la sous-matrice de dimension (n1) (n1) de
la matrice A obtenue en eacant la i
i`eme
ligne et la j
i`eme
colonne. Soit A
ij
le determinant de cette sous-matrice. Nous appelons (1)
i+j
A
ij
le cofacteur
de lelement a
ij
dans la matrice A. Soit
i
le vecteur de dimension n dont
tous les elements sont nuls sauf le i
i`eme
, qui egale a
i1
. Notons alors que les
applications successives de (A.21) produisent
[A[ =
n

i=1
[
i
a
2
a
n
[ . (A.22)
Si nous ecrivons la i
i`eme
ligne de la somme indicee par i dans (A.22) comme
[a
i1
c
i

], alors la i
i`eme
ligne peut etre deplacee pour devenir la premi`ere,
par un processus de i 1 permutations de lignes, qui gen`ere un facteur de
(1)
i1
. Le resultat est le determinant
(1)
i1

a
i1
c
i

0 A
i1

,
dont la valeur est a
i1
A
i1
, dapr`es la denition dun cofacteur. Ainsi, le
determinant (A.22) peut etre ecrit comme
[A[ =
n

i=1
a
i1
A
i1
. (A.23)
Puisque A
i1
est lui-meme un determinant, (A.23) permet une evaluation
recursive dun determinant quelconque.
Nous voyons aisement quil est possible devaluer la matrice Aen develop-
pant par nimporte quelle ligne ou colonne. Formellement,
[A[ =
n

i=1
a
ij
A
ij
=
n

i=1
a
ji
A
ji
(A.24)
A.6 D

eterminants 787
pour tout j = 1, . . . , n. Ce resultat montre `a son tour que [A

[ = [A[. Si
nous developpons un determinant par une colonne, disons la j
i`eme
, et si nous
utilisons de faux cofacteurs, cest-`a-dire ceux qui correspondent `a une autre
colonne, disons la k
i`eme
, alors nous trouvons que
n

i=1
a
ij
A
ik
= 0. (A.25)
Ceci est valable parce que (A.25) est le developpement correct du determinant
dune matrice dans laquelle la k
i`eme
colonne est remplacee par la j
i`eme
colonne. Nimporte quelle matrice dans laquelle au moins deux colonnes sont
identiques a un determinant nul, puisque quand la meme colonne survient une
seconde fois dans (A.18), elle sera projetee sur le complement orthogonal de
lespace quelle engendre, en donnant un vecteur de norme nulle.
Pour la meme raison, nimporte quelle matrice dans laquelle une colonne
est une combinaison lineaire des autres aura un determinant nul. Une matrice
qui satisfait cette condition ne sera pas de plein rang, et nous voyons aussi
quune matrice singuli`ere a necessairement un determinant nul. Il nest pas
dicile de voir que la reciproque est vraie: une matrice avec un determinant
nul est necessairement singuli`ere. Tout ceci est egalement pertinent de facon
geometrique, naturellement. Si une matrice de dimension n n nest pas de
plein rang, le parallelepip`ede deni par la matrice sera un objet de dimension
inferieure `a n, et ainsi son volume (dans lespace de dimension n) sera nul.
Les resultats (A.24) et (A.25) peuvent etre utilises pour construire
linverse dune matrice non singuli`ere A. Considerons la matrice B avec
comme element type b
ij
A
ji
, qui est juste la transposee de la matrice des
cofacteurs. Nous voyons que
(AB)
ij
=
n

k=1
a
ik
A
jk
= [A[
ij
,
o` u
ij
est le delta de Kronecker, egal `a 1 si i = j et `a 0 sinon. Ainsi, AB =
[A[I, de sorte que [A[
1
B, qui existe si et seulemnt si [A[ ,= 0, doit etre
linverse de A.
Le resultat (A.24) nous permet de calculer les derivees partielles du
determinant dune matrice par rapport aux elements de la matrice. Le co-
facteur A
ij
est le determinant dune matrice qui ne contient aucun element
de la i
i`eme
ligne ou de la j
i`eme
colonne de la matrice A. Il sensuit que
la derivee partielle de [A[ par rapport `a a
ij
est juste A
ij
, qui est [A[ fois le
ji
i`eme
element de la matrice A
1
. Ce resultat peut etre ecrit avec la notation
matricielle comme
[A[
A
= [A[(A
1
)

.
788 Alg
`
ebre Matricielle
A partir de ce dernier, nous pouvons en deduire le resultat encore plus utile
selon lequel
log [A[
A
= (A
1
)

.
Bien que le determinant dune somme de matrices ne soit pas en general
la somme des determinants, le determinant dun produit de matrices est le
produit des determinants. Soit A et B deux matrices de dimensions n n,
toutes deux avec des determinants non nuls. Ensuite, [AB[ = [A[[B[. Un
corollaire utile est que [A
1
[ = [A[
1
. Ceci provient des proprietes A
1
A = I
et [ I[ = 1.
Pour conclure cette section, nous prouvons un resultat utilise dans les
Chapitres 18 et 20. Selon ce resultat, nous avons

A A

B
B

A B

M
B
A

M
A
B

, (A.26)
o` u M
A
et M
B
sont les projections orthogonales des colonnes des matrices
A et B, que lon peut supposer etre de plein rang sans perte de generalite.
Nous utilisons les resultats (A.14) et (A.15) sur linversion des matrices par-
titionnees comme precedemment pour ecrire
_
A

A A

B
B

A B

B
_ _
(A

M
B
A)
1
0
(B

B)
1
B

A(A

M
B
A)
1
I
_
=
_
I A

B
0 B

B
_
.
Il est evident que le determinant de la matrice du membre de droite est juste
[B

B[, tandis que celui du second facteur dans le membre de gauche est
[A

M
B
A[
1
. La premi`ere egalite dans (A.26) en decoule. La seconde egalite
peut etre prouvee par un argument similaire, mais en utilisant dierentes
expressions pour linverse de la matrice partitionnee.
A.7 Matrices D

efinies Positives
Une matrice symetrique A de dimension n n est dite denie positive si
la forme quadratique x

Ax est positive pour tout vecteur non nul x de di-

mension n. Si la forme quadratique peut prendre des valeurs nulles, elle est
semi-denie positive ou denie non negative. Des matrices qui sont denies
negatives ou semi-denies negatives sont denies de facon analogue.
Nimporte quelle matrice de la forme B

B est denie positive si le rang

de la matrice B est egal au nombre de colonnes et semi-denie positive sinon.
Pour sen rendre compte, observons que B

B est symetrique et que, pour

nimporte quel vecteur x non nul,
x

Bx = (Bx)

(Bx) = |Bx|
2
0.
A.7 Matrices D

efinies Positives 789

Ce resultat est valable avec legalite `a condition que Bx = 0. Mais, dans
ce cas, B ne peut pas etre de plein rang, puisque Bx = 0 signie que les
colonnes de B ne sont pas lineairement independantes. Un raisonnement
similaire montre que si la matrice A est denie positive, alors nimporte quelle
matrice de la forme B

AB est denie positive si la matrice B verie la meme

condition de rang, et semi-denie positive sinon.
Une matrice denie positive ne peut pas etre singuli`ere, puisque si la
matrice A est singuli`ere, il doit exister un vecteur x non nul tel que Ax = 0.
Ce qui implique egalement que x

Ax = 0. Cela signie que la matrice A

nest pas denie positive. Ainsi, linverse dune matrice denie positive existe
toujours. Elle est egalement denie positive, parce que, pour nimporte quel
vecteur x non nul,
x

A
1
x = x

A
1
AA
1
x = (A
1
x)

A(A
1
x) > 0.
Ici linegalite provient directement du fait que la matrice Aest denie positive.
Pour nimporte quelle matrice denie positive A, nous pouvons trouver
une matrice B telle que A = B

B. Il est souvent necessaire delaborer

une telle matrice B `a partir dune matrice donnee A dans des applica-
tions econometriques; un exemple est la matrice denie dans (9.08).
Frequemment, nous souhaitons aller plus loin et trouver une matrice triangu-
laire B. Nous esquissons `a present un algorithme pour une telle decomposition
triangulaire. Il produit une matrice B triangulaire superieure `a partir dune
matrice denie positive donnee A. Un algorithme analogue pour produire une
matrice B triangulaire inferieure peut aussi etre trouve.
Nous commencons par denir b
11
=

a
11
, o` u a
ij
et b
ij
designent les
ij
i`emes
elements des matrices A et B, respectivement. La premi`ere ligne
enti`ere de la matrice B est ainsi obtenue par une application sequentielle de
la formule suivante, pour j = 2, . . . , n:
b
1j
=
a
1j
b
11
.
Les lignes suivantes sont calculees de facon sequentielle, de telle mani`ere que,
au cours du calcul de la i
i`eme
ligne, les elements de la premi`ere ligne `a la
(i 1)
i`eme
soient disponibles. Pour la i
i`eme
ligne, les elements b
ij
sont
initialises `a zero pour j < i, puisque la matrice B doit etre triangulaire
superieure. Alors, le i
i`eme
element diagonal est
b
ii
=
_
a
ii

i1

k=1
b
2
ki
_
1/2
, (A.27)
dans lequel le membre entier de droite est connu. Pour completer la ligne, les
elements b
ij
pour j > i sont determines par la formule
b
ij
=
1
b
ii
_
a
ij

i1

k=1
b
ki
b
kj
_
.
790 Alg
`
ebre Matricielle
A nouveau, tout ce qui apparat dans le membre de droite est disponible `a
chaque fois que cela est necessaire. Un calcul que nous ne reproduirons pas
montre que la grandeur dont la racine carree est calculee dans (A.27) est
positive `a condition que la matrice A soit denie positive, et montre aussi
que la matrice B generee par lalgorithme satisfait la contrainte B

B =
A. Les resultats de la section precedente montrent que le determinant dune
matrice triangulaire est juste le produit de ses elements diagonaux. Ainsi,
nous pouvons obtenir le determinant de la matrice B presque comme un
sous-produit de lalgorithme destine `a trouver la matrice B. Le carre du
determinant de la matrice B est alors le determinant de la matrice A.
Dans certaines manipulations des matrices de covariance dans le texte,
nous utilisons le fait que si A et B sont des matrices semi-denies positives,
alors AB est une matrice denie positive si et seulement si B
1
A
1
lest.
Nous demontrons maintenant ce resultat tr`es utile. Soit A
1/2
une matrice
telle que (A
1/2
)

A
1/2
= A
1
. Il peut etre vu que
A
1/2
A(A
1/2
)

= (A
1/2
)

AA
1/2
= I.
Tout dabord nous montrons que si IAest une matrice denie positive, alors
A
1
I lest egalement et reciproquement. Ceci provient du resultat, prouve
auparavant, quen premultipliant une matrice denie positive par nimporte
quelle matrice de plein rang et en multipliant ensuite le resultat par la trans-
posee de cette matrice, nous obtenons une matrice denie positive. Ainsi, la
caract`ere deni positif de I A implique celui de (A
1/2
)

(I A)A
1/2
, qui
est juste A
1
I. Le resultat reciproque provient de linversion des positions
des matrices A et A
1
.
Si AB est denie positive, alors A
1/2
(AB)(A
1/2
)

lest egalement,
cest-`a-dire I A
1/2
B(A
1/2
)

. Le caract`ere deni positif de cette derni`ere

matrice entrane que de (A
1/2
)

B
1
A
1/2
I, o` u la matrice A
1/2
est linverse
de la matrice A
1/2
, et egalement de (A
1/2
)

(A
1/2
)

B
1
A
1/2
A
1/2

(A
1/2
)

A
1/2
, qui est juste B
1
A
1
, comme requis. A nouveau, le
resultat reciproque provient de linversion des positions des matrices et de leurs
inverses. Un resultat similaire est vrai pour les matrices semi-denies posi-
tives: AB est une matrice semi-denie positive si et seulement si B
1
A
1
lest.
A.8 Valeurs Propres et Vecteurs Propres
Un scalaire est une valeur propre dune matrice A sil existe un vecteur non
nul x tel que
Ax = x. (A.28)
Ainsi, laction de la matrice A sur x produit un vecteur de meme direction
que x, mais de longueur dierente `a moins que = 1. Le vecteur x est appele
A.8 Valeurs Propres et Vecteurs Propres 791
le vecteur propre qui correspond `a la valeur propre . Bien que ces idees
soient denies de facon tr`es generale, nous restreindrons notre attention ici
aux valeurs propres et vecteurs propres des matrices symetriques reelles.
La relation des valeurs propres (A.28) implique que
(AI)x = 0, (A.29)
`a partir de laquelle nous concluons que la matrice AI est singuli`ere. Son
determinant, [AI[ est par consequent egal `a zero. Il peut etre montre de
dierentes facons que ce determinant est un polynome en , de degre n si la
matrice A est de dimension nn. Le theor`eme fondamental de lalg`ebre nous
indique quun tel polynome poss`ede n racines complexes, disons
1
, . . . ,
n
.
A chaque
i
doit correspondre un vecteur propre x
i
. Ce vecteur propre est
determine `a un facteur dechelle pr`es, parce que si x
i
est un vecteur propre
qui correspond `a
i
, alors x
i
lest egalement pour nimporte quel scalaire .
Le vecteur propre x
i
na pas necessairement des elements reels si
i
elle-meme
nest pas reelle.
Si A est une matrice reelle symetrique, nous pouvons montrer que les
valeurs propres
i
sont en fait toutes reelles et quil est egalement possible de
choisir des vecteurs propres reels. Si A est une matrice denie positive, alors
toutes ses valeurs propres sont positives. Ceci provient des faits que
x

Ax = x

x
et qu`a la fois x

x et x

Ax sont positives. Les vecteurs propres dune matrice

symetrique reelle peuvent etre choisis comme mutuellement orthogonaux. Si
nous regardons les deux vecteurs propres x
i
et x
j
, qui correspondent aux
deux valeurs propres distinctes
i
et
j
, alors x
i
et x
j
sont necessairement
orthogonaux:

i
x
j

x
i
= x
j

Ax
i
= (Ax
j
)

x
i
=
j
x
j

x
i
,
ce qui est impossible `a moins que x
j

x
i
= 0. Si toutes les valeurs pro-
pres ne sont pas distinctes, alors deux (ou plusieurs) vecteurs propres peu-
vent correspondre `a une seule et meme valeur propre. Quand cela survient,
ces deux vecteurs propres engendrent un espace qui est orthogonal `a toutes
les autres valeurs propres dapr`es le raisonnement precedemment etabli.
Puisque nimporte quelle combinaison lineaire des deux vecteurs propres sera
egalement un vecteur propre qui correspond `a la valeur propre, nous pouvons
choisir un ensemble orthogonal de ceux-ci. Ainsi, que les valeurs propres soient
toutes distinctes ou non, nous pouvons selectionner des vecteurs propres or-
thonormaux, cest-`a-dire des vecteurs mutuellement orthogonaux et normes
`a 1. Ainsi, les vecteurs propres dune matrice symetrique reelle fournissent
une base orthonormee.
Soit U [ x
1
x
n
] une matrice dont les colonnes sont un ensemble
orthogonal de vecteurs propres de la matrice A, qui correspondent aux valeurs
792 Alg
`
ebre Matricielle
propres
i
, i = 1, . . . , n. Nous pouvons alors resumer en une seule relation
lensemble des relations (A.28) entre valeurs propres et vecteurs propres:
AU = U, (A.30)
o` u est une matrice diagonale avec
i
pour i
i`eme
element diagonal. La
i
i`eme
colonne de AU est Ax
i
, et la i
i`eme
colonne de U est
i
x
i
. Puisque
les colonnes de U sont orthonormales, nous trouvons que U

U = I, qui
implique que U

= U
1
. Une telle matrice U est dite matrice orthogonale.
La postmultiplication de (A.30) par U

fournit
A = UU

. (A.31)
Cette equation exprime la diagonalisation de la matrice A.
Le calcul des determinants des deux cotes de (A.31) fournit
[A[ = [U[[U

[[[ = [U[[U
1
[[[ = [[ =
n

i=1

i
,
calcul `a partir duquel nous deduisons le resultat important que le determinant
dune matrice est le produit de ses valeurs propres. En fait, ce resultat est
egalement valable pour les matrices non symetriques.
Un resultat utilise dans le Chapitre 18 est que si la matrice A est denie
positive et si la matrice B semi-denie positive, alors
[A+B[ [A[.
Nous montrons ceci tout dabord pour le cas particulier o` u A = I puis en
deduisons le resultat general. Lequation qui denit les valeurs propres de la
matrice I +B est
[I +B I[ = 0,
`a partir de (A.29). Ceci devient

B ( 1)I

= 0.
Il sensuit que les valeurs propres
i
de I +B satisfont lequation
i
= 1 +
i
,
o` u
i
est une valeur propre de la matrice B. Si B est une matrice semi-
denie positive, ses valeurs propres sont toutes superieures ou egales `a 0, ce
qui implique que les valeurs propres de la matrice I+B sont toutes superieures
ou egales `a 1. Puisque le determinant dune matrice est le produit de ses
valeurs propres, nous concluons que le determinant de la matrice I + B est
superieur ou egal `a 1, valeur du determinant de la matrice I.
Soit A
1/2
une matrice telle que A
1/2
(A
1/2
)

= A. Alors, si B est une

matrice semi-denie positive,
[A+B[ =

A
1/2
_
I +A
1/2
B(A
1/2
)

_
(A
1/2
)

(A
1/2
)

I +A
1/2
B(A
1/2
)

. (A.32)
A.8 Valeurs Propres et Vecteurs Propres 793
La matrice A
1/2
B(A
1/2
)

est semi-denie positive parce que la matrice B

lest, ce qui rend le dernier facteur dans (A.32) superieur `a 1. Puisque

(A
1/2
)

2
= [A[,
nous voyons que [A+B[ [A[, comme prevu.
794 Alg
`
ebre Matricielle
Termes et Concepts
angle entre deux vecteurs
application denie par une matrice
application inverse
base orthogonale
base orthonormee
bijection
blocs dune matrice partitionnee
cofacteur
complement orthogonal (dun
sous-espace)
decomposition triangulaire
determinant
developpement du determinant
(dapr`es une ligne ou une colonne)
diagonale principale dune matrice
carree
diagonalisation (dune matrice
symetrique reelle)
dimension (dun espace Euclidien)
distance entre deux points dans E
n
espace darrivee dune application
espace de depart dune application
espace engendre (des colonnes dune
matrice)
espace euclidien de dimension n, E
n
faux cofacteurs
fonctions trigonometriques: sinus,
cosinus, tangente, cotangente,
secante, cosecante
image dune matrice
image et antecedent
longueur (ou norme) dun vecteur
matrice carree
matrice carree non singuli`ere
matrice carree singuli`ere
matrice denie negative
matrice denie positive
matrice diagonale
matrice identite
matrice inverse
matrice inversible
matrice orthogonale
matrice partitionnee
matrice semi-denie negative
matrice semi-denie-positive (ou
denie non negative)
matrice symetrique
matrice triangulaire
matrice triangulaire inferieure
matrice triangulaire superieure
matrices conformes
norme (dune matrice)
noyau (dune matrice)
parallelepip`ede
parallelogramme
permutation cyclique (des facteurs
dun produit de matrice)
plein rang
postmultiplication
premultiplication
produit direct (produit Schur)
produit exterieur
produit interieur naturel
produit interieur (produit scalaire)
propriete associative (pour laddition
et la multiplication matricielle)
propriete distributive (pour laddition
et la multiplication matricielle)
rang dune matrice
trace dune matrice
transposee dune matrice
valeur propre
vecteur colonne
vecteur ligne
vecteur propre
vecteurs lineairement dependants
vecteurs lineairement independants
vecteurs orthogonaux
vecteurs parall`eles