Annexe A

Annexe A
Algèbre Matricielle
A.1 Introduction
Comme tous ceux qui ont étudié l’économétrie ou une quelconque autre disci-
pline mathématique le savent, la différence entre un résultat qui semble obscur
et difficile, et un résultat qui semble clair et intuitif, provient souvent simple-
ment de la notation utilisée. Dans presque tous les cas, la notation la plus
claire rend possible l’utilisation des vecteurs et des matrices. Les lecteurs de
ce livre devraient être assez familiers avec l’algèbre matricielle. Cette annexe
est destinée à aider ceux qui espèrent se rafraı̂chir la mémoire et réunir les
résultats avec une plus grande facilité. Les lecteurs devraient noter que le
Chapitre 1 contient aussi un nombre utile de résultats sur les matrices, en
particulier ceux concernant les matrices de projection. Dans cette annexe,
des preuves seront données seulement si elles sont courtes ou si elles sont
intéressantes. Ceux qui sont intéressés par un traitement plus complet et plus
rigoureux peuvent se reporter à Lang (1987).
A.2 Faits Elémentaires Concernant les Matrices

Une matrice A de dimension n × m est un tableau rectangulaire de chiffres
qui se compose de nm éléments arrangés dans n lignes et m colonnes. Le nom
de la matrice est de façon conventionnelle retranscrit en caractères gras. Un
élément type de la matrice A pourrait être noté Aij ou aij , où i = 1, . . . , n
et j = 1, . . . , m. Le premier indice désigne toujours la ligne et le second la
colonne. Il est parfois nécessaire de montrer explicitement les éléments d’une
matrice, dans ce cas ils sont disposés en lignes et en colonnes et entourés par
de grands crochets, comme dans
· ¸
1 2 4
B= .
3 5 5
Ici B est une matrice de dimension 2 × 3.

Si une matrice n’a qu’une seule colonne ou une seule ligne, elle est ap-
pelée vecteur. Il existe deux types de vecteurs, des vecteurs colonnes et des
vecteurs lignes, dont les noms sont explicites. Puisque le premier type est
770
A.2 Faits Elémentaires Concernant les Matrices 771
plus courant que le second, un vecteur qui n’est pas spécifié pour être vecteur
ligne sera traité comme un vecteur colonne. Si un vecteur colonne comporte
n éléments, il s’agira d’un vecteur à n dimensions. Le caractère gras est utilisé
pour désigner des vecteurs aussi bien que des matrices. Il est conventionnel
d’utiliser des majuscules pour les matrices et des minuscules pour les vecteurs.
Cependant, il est parfois nécessaire d’ignorer cette convention.
Si une matrice a le même nombre de colonnes que de lignes, elle est
carrée. Une matrice carrée A est symétrique si Aij = Aji pour tout i et j.
Des matrices symétriques surviennent très fréquemment en économétrie. Une
matrice carrée est diagonale si Aij = 0 pour tout i 6= j; dans ce cas, les seuls
éléments non nuls sont ceux qui forment la diagonale principale. Parfois une
matrice carrée est composée de zéros au-dessus ou au-dessous de la diago-
nale principale. Une telle matrice est dite triangulaire. Si les éléments non
nuls sont tous au-dessus de la diagonale, elle est dite triangulaire-supérieure;
si les éléments non nuls sont tous au-dessous de la diagonale, elle est dite
triangulaire-inférieure. Voici quelques exemples:
     
1 2 4 1 0 0 1 0 0
A = 2 3 6 B = 0 4 0 C =  3 2 0 .
4 6 5 0 0 2 5 2 6
Dans ce cas, la matrice A est symétrique, la matrice B est diagonale, et la

matrice C est triangulaire-inférieure.
Une matrice spéciale qu’utilisent fréquemment les économètres est I, qui
désigne la matrice identité. Il s’agit d’une matrice diagonale dont chaque
élément diagonal est égal à 1. Un indice est parfois utilisé pour indiquer le
nombre de lignes et de colonnes. Ainsi,
 
1 0 0
I3 =  0 1 0 .
0 0 1
Un vecteur spécial que nous utilisons énormément dans ce livre est ι, qui
désigne un vecteur colonne composé de 1.
La transposée d’une matrice est obtenue en interchangeant toutes ses
écritures lignes et colonnes. Ainsi, le ij ième élément de la matrice A devient
le ji ième élément de sa transposée, qui est désignée par la matrice A>. Notons
que certains auteurs utilisent A0 plutôt que A> pour désigner la transposée de
A. La transposée d’une matrice symétrique est égale à la matrice elle-même.
La transposée d’un vecteur colonne est un vecteur ligne, et vice versa. Voici
quelques exemples:
   
· ¸ 1 3 1
1 2 4  
A= >
A = 2 5 b = 3  b> = [ 1 3 5 ].

3 5 5 5
4 5
772 Algèbre Matricielle
L’addition et la soustraction des matrices fonctionnent exactement de la

même façon que pour les scalaires, à condition que les matrices puissent être
additionnées ou soustraites seulement si elles sont conformes. Dans le cas de
l’addition et de la soustraction, ceci signifie simplement qu’elles doivent avoir
les mêmes dimensions. Si A et B sont conformes, alors un élément type de
A + B est simplement Aij + Bij , et un élément type de A − B est Aij − Bij .
En fait, la multiplication matricielle comprend à la fois des additions et
des multiplications. Elle est basée sur ce qui est appelé produit intérieur, ou
produit scalaire, de deux vecteurs. Supposons que a et b soient des vecteurs
de dimensions n. Alors leur produit intérieur est
n
X
> >
a b=b a= ai bi . (A.01)
i=1
Quand les deux matrices sont multipliées, chaque élément du résultat est égal
au produit intérieur d’une des lignes de la première matrice avec une des
colonnes de la seconde matrice. Ainsi, si C = AB,
m
X
Cik = Aij Bjk .
j=1
Ici, nous avons implicitement supposé que la matrice A comporte m colonnes

et la matrice B m lignes. Pour que les deux matrices soient conformes pour
la multiplication, la première matrice doit avoir autant de colonnes que la
seconde de lignes. Alors, le résultat a autant de lignes que la première matrice
et autant de colonnes que la seconde. Voici un exemple explicite
A B = C .
n×m m×l n×l
Nous voyons rarement ce type de notation dans un livre ou une publication,

mais il est souvent commode de l’utiliser lors de calculs destinés à vérifier que
les matrices multipliées sont en effet conformes pour définir les dimensions de
leur produit.
Le produit extérieur des deux vecteurs a et b est ab>. Par contraste avec
le produit intérieur, qui est un scalaire, le produit extérieur est une matrice
de dimension n × n si les vecteurs sont de dimension n.
L’interaction entre la multiplication et l’addition matricielles est intuitive.
Il est aisé de vérifier la propriété de distributivité à partir des définitions des
opérations respectives. Cette propriété est
A(B + C) = AB + AC.
En plus, ces deux opérations sont associatives, ce qui signifie que
(A + B) + C = A + (B + C) et
(AB)C = A(BC).
A.2 Faits Elémentaires Concernant les Matrices 773
La multiplication matricielle est, en général, non commutative. Le fait

qu’il soit possible de prémultiplier la matrice B par la matrice A n’implique
pas qu’il soit possible de postmultiplier la matrice B par la matrice A. En
effet, il est aisé de voir que les deux opérations sont possibles si et seulement
si un des produits matriciels est carré; dans ce cas l’autre produit matriciel
sera également carré, bien qu’il soit généralement de dimensions différentes.
Même quand les deux opérations sont possibles, AB 6= BA sauf dans des cas
spéciaux. Les règles pour la multiplication des matrices et des vecteurs sont
les mêmes que les règles de multiplication des matrices entre elles; les vecteurs
sont simplement traités comme des matrices qui ont une seule colonne ou une
seule ligne.
La matrice identité I est ainsi appelée parce qu’elle laisse inchangée
n’importe quelle matrice avec laquelle elle est soit prémultipliée soit multi-
pliée. Ainsi, pour une matrice quelconque A, AI = IA = A, pourvu na-
turellement que les deux matrices soient conformes dans chaque cas. Il est
facile de voir pourquoi la matrice identité possède cette propriété. Le ij ième
élément de AI est
Xm
Aik Ikj = Aij ,
k=1
puisque Ikj = 0 pour k 6= j et Ikj = 1 pour k = j. Le vecteur spécial ι est aussi

utile. On l’utilise lorsque l’on désire sommer les éléments d’un autre
Pn vecteur,
parce que, pour n’importe quel vecteur b de dimension n, ι>b = i=1 bi .
La transposée du produit de deux matrices est le produit des transposées
des matrices en ordre inversé. Ainsi,
(AB)> = B>A>. (A.02)
L’inversion de l’ordre est nécessaire pour que les matrices transposées soient
conformes à la multiplication. Le résultat (A.02) peut être prouvé en écrivant
les éléments types des deux côtés et en vérifiant qu’ils sont identiques:
m
X m
X
>
(AB)ij = (AB)ji = Ajk Bki = (B> )ik (A> )kj = (B>A> )ij ,
k=1 k=1
où m est le nombre de colonnes de la matrice A et le nombre de lignes de la

matrice B. Il est toujours possible de multiplier une matrice par sa propre
transposée: si la matrice A est de dimension n × m, alors A> est de dimension
m × n, la matrice A>A est de dimension m × m, et la matrice AA> est de
dimension n × n. Ces deux produits matriciels sont symétriques:
A>A = (A>A)> et AA> = (AA> )>, (A.03)
cela provient directement de l’application de (A.02).

Chaque élément du produit des deux matrices est une somme. Ceci
suggère qu’il peut être commode d’utiliser l’algèbre matricielle pour des
sommes. Supposons, par exemple, que nous ayons n observations sur k régres-
seurs. Ceux-ci peuvent être arrangés dans une matrice X de dimension n × k.
Ensuite, la matrice des sommes des carrés et des produits croisés des régres-
seurs peut être écrite de façon compacte comme X>X. Il s’agit d’unePmatrice
n 2
symétrique de dimension k × k,P dont un élément diagonal type est t=1 Xti
n
et un élément non diagonal est t=1 Xti Xtj .
Il est souvent nécessaire de multiplier une matrice par un scalaire, et ceci
fonctionne comme prévu: chaque élément de la matrice est multiplié par le
scalaire. De façon occasionnelle, il est nécessaire de multiplier deux matrices,
élément par élément. Le résultat est appelé produit direct (ou parfois produit
Schur) des deux matrices. Le produit direct des matrices A et B est désigné
A∗B, et un élément type est Aij Bij .
Une matrice carrée peut ne pas être inversible. Si la matrice A est
inversible, alors elle a une matrice inverse A−1 telle que
AA−1 = A−1A = I.
Si la matrice A est symétrique, alors la matrice A−1 l’est aussi. Si la matrice

A est triangulaire, alors la matrice A−1 l’est aussi. Sauf dans certains cas
spéciaux, il n’est pas facile de calculer l’inverse d’une matrice manuellement.
Un tel cas spécial est celui d’une matrice diagonale, disons D, avec comme
élément type diagonal Dii . Il est facile de vérifier que D −1 est aussi une
−1
matrice diagonale, avec comme élément type diagonal Dii .
Il est souvent commode d’utiliser la trace d’une matrice carrée, qui est
simplement la somme des éléments diagonaux. Ainsi,
n
X
Tr(A) = Aii .
i=1
Une propriété très utile est que la trace d’un produit de deux matrices A et
B n’est pas affectée par l’ordre dans lequel les deux matrices sont multipliées.
Puisque la trace est définie seulement pour des matrices carrées, à la fois AB
et BA doivent être définies. Ensuite, nous avons
n
X n X
X m m
X
Tr(AB) = (AB)ii = Aij Bji = (BA)jj = Tr(BA). (A.04)
i=1 i=1 j=1 j=1
Le résultat (A.04) peut être développé. Nous considérons un produit (carré)

de plusieur matrices, la trace est invariante à ce qui est appelé permutation
cyclique des facteurs. Ainsi, par exemple,
Tr(ABC) = Tr(CAB) = Tr(BCA), (A.05)

A.3 La Géométrie des Vecteurs 775
comme on démontre en appliquant plusieurs fois la relation (A.04). Ce résultat

peut être extrêmement commode, et plusieurs résultats standards sur les pro-
priétés des OLS l’utilisent. Par exemple, si X est une matrice de dimension
n × k, (A.05) implique que
¡ ¢ ¡ ¢
Tr X(X>X)−1X> = Tr X>X(X>X)−1 = Tr(Ik ) = k.
A.3 La Géométrie des Vecteurs

Les éléments d’un vecteur de dimension n peuvent être vus comme les coor-
données d’un point dans un espace Euclidien de dimension n, qui peut être
noté E n. La différence entre E n et l’espace plus familier Rn est que le premier
inclut une définition spécifique de la longueur de chaque vecteur dans E n. La
longueur d’un vecteur x est
kxk ≡ (x>x)1/2.
Ceci est simplement la racine carrée du produit intérieur de x avec lui-même.

En termes scalaires, il est simplement
µX
n ¶1/2
x2i . (A.06)
i=1
Comme l’indique la notation k · k, la longueur d’un vecteur est parfois reliée

à sa norme. Cette définition s’inspire du célèbre théorème de Pythagore con-
cernant les carrés des côtés des triangles rectangles. La définition (A.06) est
simplement une généralisation de ce résultat à un nombre arbitraire de di-
mensions.
Il existe en réalité plus d’une manière de définir un produit intérieur.
Celle utilisée auparavant dans (A.01), et la seule utilisée explicitement dans
cet ouvrage, est appelée produit intérieur naturel. Le produit intérieur naturel
de deux vecteurs y et x est souvent noté hx, yi ≡ x>y. La norme d’un vecteur
peut être définie en termes du produit intérieur naturel, puisque kxk2 =
hx, xi. L’inégalité fondamentale qui lie des normes et des produits intérieurs
est
|hx, yi| ≤ kxk kyk. (A.07)
L’inégalité dans (A.07) devient une égalité si et seulement si x et y sont
parallèles, c’est-à-dire si y = αx pour un scalaire α quelconque.
Le concept de longueur d’un vecteur s’étend naturellement au concept
de distance entre deux points dans E n. Si x, y ∈ E n, la distance entre x et
y est kx − yk. Notons que cette définition est symétrique par rapport à x
et y. Le concept de produit intérieur nous permet également de définir ce que
nous signifions dans le contexte général par l’angle entre deux vecteurs. Pour
x, y ∈ E n, l’angle φ ≡ 6 (x, y) peut être défini en terme de son cosinus, cos φ,
comme suit:
hx, yi
cos φ = .
kxk kyk
Cette définition fournit une valeur à cos φ qui varie dans l’intervalle [−1, 1],
d’après (A.07). La définition est unique seulement si nous limitons la variation
possible de φ à un intervalle de longueur π (et non 2π). De façon habituelle, le
meilleur intervalle à choisir est [0, π]. Avec ce choix, l’angle entre un vecteur
et lui-même est 0, entre un vecteur et son opposé, π, et entre un vecteur et
un autre vecteur qui lui est orthogonal, π/2. Des vecteurs sont orthogonaux
si leur produit intérieur est nul.
La notion utilisée en économétrie qui correspond le plus étroitement au
concept géométrique du cosinus de l’angle est le R2 d’une régression linéaire.
Comme nous l’avons vu dans le Chapitre 1, le R2 de la régression y = Xβ + u
est le carré du cosinus de l’angle entre le vecteur y de dimension n et la
projection PX y de ce vecteur sur l’espace S(X) des régresseurs.
Une fois le cosinus de l’angle φ trouvé, il est possible de calculer les valeurs
de toutes les autres fonctions trigonométriques de φ. Ces fonctions sont le si-
nus, sin φ, la tangente, tan φ, la cotangente, cot φ, la sécante, sec φ, et la
cosécante, csc φ. Parmi celles-ci, la seule qui nous intéresse ici est la cotan-
gente, qui est étroitement reliée aux t de Student des régressions linéaires. En
termes de cos φ, cot φ est définie comme suit, pour φ ∈ [0, π]:
cos φ
cot φ = . (A.08)
(1 − cos2 φ)1/2
Contrairement au cosinus, qui doit varier entre −1 et 1, la cotangente peut
évidemment prendre n’importe quelle valeur réelle.
Pour le cas spécial d’une simple régression linéaire y = βx+u sans terme
constant, le t de Student associé à x est
β̂
, (A.09)
s(x>x)−1/2
où β̂ est l’estimation OLS de β, (x>x)−1 x>y, et s est l’estimation OLS de σ,

l’écart type des aléas. Dans la notation géométrique, si φ est l’angle compris
entre y et x, nous avons
hx, yi kyk
β̂ = = cos φ,
hx, xi kxk
(x>x)1/2 = kxk, et
¡ ¢
s2 = (n − 1)−1 y>y − y>x(x>x)−1 x>y
= (n − 1)−1 kyk2 (1 − cos2 φ).
A.4 Matrices comme Applications des Espaces Linéaires 777
En substituant ces résultats dans l’expression (A.09) pour le t de Student,

nous trouvons que la valeur de la statistique est
cos φ
(n − 1)1/2 2 1/2
= (n − 1)1/2 cot φ,
(1 − cos φ)
d’après (A.08). Consulter le Chapitre 3 pour un résultat analogue dans le

contexte de la régression multiple.
A.4 Matrices comme Applications des Espaces Linéaires

Il est révélateur d’examiner la matrice A de dimension n × m comme une
application de E m dans E n. Cela s’écrit
A : E m → E n.
Notons l’ordre de m et de n ici. L’interprétation est simple. Puisque le produit

d’une matrice de dimension n × m par un vecteur colonne de dimension m × 1
est défini et fournit un vecteur colonne de dimension n×1, nous pouvons définir
l’action de la matrice A sur un vecteur x de dimension m, A(x), comme le
produit matriciel Ax, et il s’agit d’un vecteur de dimension n. L’application
ainsi définie est linéaire, parce que, si α et β sont des scalaires quelconques,
A(αx + βy) = αAx + βAy,
d’après les propriétés classiques des opérations matricielles.

L’espace E m des arguments de l’application A est appelé espace de
départ de l’application, et l’espace E n des valeurs espace d’arrivée. Un sous-
espace linéaire important de l’espace de départ est le noyau de la matrice. Il
est défini comme suit:
N(A) ≡ {x ∈ E m | Ax = 0} .
Nous pouvons dire que le noyau de A est annulé par A. Un sous-espace linéaire
important de l’espace d’arrivée est appelé image, définie par l’expression
R(A) ≡ {y ∈ E n | y = Ax pour un certain x ∈ E m } .
L’image peut être décrite comme le sous-espace de E n qui contient tous les
points images d’un point dans E m par A. L’ensemble des points dans E m qui
sont appliqués vers un point y ∈ E n, c’est-à-dire les points qui ont y comme
image, est appelé ensemble des antécédents du point y.
Il est clair intuitivement que la dimension de l’espace Euclidien E m est m.
Nous notons dim E m = m. Quand nous traitons des sous-espaces comme
des noyaux ou des images, les dimensions de ces sous-espaces sont moins
apparentes. La nécessaire définition formelle est comme suit. Un espace

linéaire est de dimension n s’il existe n vecteurs linéairement indépendants
dans l’espace et si tous les ensembles de plus de n vecteurs de l’espace sont
linéairement dépendants. Un ensemble de vecteurs xi , i = 1, . . . , m, est dit
linéairement dépendant s’il existe une combinaison linéaire non triviale d’entre
eux qui est nulle. C’est-à-dire que les xi sont linéairement dépendants s’il
existe m scalaires αi , non tous nuls, tels que
m
X
αi xi = 0. (A.10)
i=1
Pour E m lui-même, un ensemble approprié de vecteurs linéairement indépen-

dants est fourni par les vecteurs ei , i = 1, . . . , m, de la base orthonormée
où ei est un vecteur de dimension m dont le i ième élément est 1 et tous les
autres sont 0. L’expression du membre de gauche de (A.10), évaluée avec ei
à la place de xi , représente le vecteur α de dimension m avec comme élément
type αi . De façon claire, ce vecteur est nul seulement si αi = 0 pour tout
i = 1, . . . , m, et ainsi les ei sont linéairement indépendants.
Le complément orthogonal d’un sous-espace M ⊆ E m est l’espace linéaire
© ª
M⊥ ≡ x ∈ E m | x>y = 0 pour tout y ∈ M .
Si v est la dimension du noyau de la matrice A de dimension n × m et r son

rang, alors la relation suivante est vraie:
m − v = r. (A.11)
Ceci signifie que la dimension du complément orthogonal du noyau est égale

au rang. Un résultat qui sous-tend toutes les utilisations des matrices de
projection au travers de cet ouvrage est que n’importe quel vecteur z ∈ E m
peut être exprimé de manière unique comme la somme de deux vecteurs, l’un
dans M et l’autre dans M⊥ , pour n’importe quel sous-espace de E m. Ainsi,
nous en déduisons que
dim M + dim M⊥ = m.
La dimension de l’image d’une matrice est appelée rang de la matrice.

Le rang de A est parfois noté ρ(A). Une matrice A de dimension n × m est
dite de plein rang si ρ(A) est égal au minimum de m et n. La terminologie
reflète le fait que ρ(A) ne pourrait jamais excéder min(m, n), comme (A.11)
le souligne.
Les m colonnes d’une matrice de dimension n×m peuvent être considérées
comme un ensemble de vecteurs de dimension n. Ainsi, nous pouvons écrire
la i ième colonne de la matrice A comme ai ∈ E n. Il est facile de voir que
l’image de la matrice A est l’ensemble de toutes les combinaisons linéaires de
ses colonnes ai . Pour cette raison, l’image de la matrice A est souvent appelée
A.5 Matrices Partitionnées 779
sous-espace engendré par les colonnes de la matrice A. Il est commode de

noter S(A) ce sous-espace, et S⊥ (A) son complément orthogonal.
Quand une matrice est interprétée comme une application des espaces
linéaires, il est naturel d’attribuer une norme à une matrice aussi bien qu’aux
vecteurs pour lesquels elle agit. La définition de la norme d’une matrice A de
dimension n × m suit le modèle standard pour la définition des normes des
opérateurs. Elle est comme suit:
kAxk
kAk = max .
x∈E m kxk
Il peut être montré que n’importe quelle matrice A composée d’éléments fi-
nis a une norme finie et que n’importe quelle matrice avec une norme nulle
doit simplement être une matrice nulle, c’est-à-dire une matrice dont tous les
éléments sont nuls. Si deux matrices A et B ont des dimensions telles que le
produit AB existe, alors nous pouvons montrer que
kABk ≤ kAk kBk.
A.5 Matrices Partitionnées

Dans cette section, nous introduisons le concept important d’une matrice
partitionnée et en dérivons certaines formules très utiles pour l’inversion des
matrices partitionnées. Si une matrice A possède m colonnes, et si m1 et m2
sont deux entiers positifs tels que m1 + m2 = m, alors nous pouvons définir
deux sous-matrices de A, A1 et A2 , respectivement de dimensions n × m1 et
n×m2 , telles que la sous-matrice A1 se compose des m1 premières colonnes de
la matrice A, et la sous-matrice A2 des m2 dernières colonnes de la matrice A.
Nous écrivons £ ¤
A = A1 A2
et désignons matrice partitionnée le membre de droite de cette relation.
La partition du cas ci-dessus a été réalisée par colonnes. Nous pouvons
également très bien partitionner par lignes ou par lignes et par colonnes, et
il peut y avoir plus de deux partitions pour d’autres cas. Les sous-matrices
créées par la partition d’une matrice sont appelées les blocs de la partition. Si
la matrice A de dimension n×m est partitionnée par ses colonnes et la matrice
B de dimension m × p est partitionnée par ses lignes, la partition peut être
conforme. C’est-à-dire que chaque bloc de la partition de la matrice A possède
autant de colonnes que le bloc correspondant de la partition de la matrice
B possède de lignes. Dans ce cas, les règles ordinaires de la multiplication
matricielle peuvent être appliquées aux matrices partitionnées comme si les
blocs étaient réellement les éléments des matrices.
L’utilisation de la partition montre clairement que l’image d’une ma-

trice A est l’ensemble de toutes les combinaisons linéaires de ses colonnes ai .
Ainsi, partitionnons la matrice A de telle sorte que chaque colonne soit traitée
comme un bloc: £ ¤
A = a1 a2 · · · am .
Si la matrice A prémultiplie un vecteur x de dimension m, nous pouvons
“partitionner” x simplement en séparant ses éléments, et obtenons


x1
£ ¤ .
Ax = a1 · · · am  .. 
xm
m
X
= ai xi .
i=1
Sous cette forme, il est clair que l’image de x par la matrice A est une com-
binaison linéaire des colonnes de A, définie au moyen des éléments de x.
Nous avons remarqué auparavant que les matrices partitionnées peuvent
être multipliées si leurs partitions sont conformes, comme si leurs blocs étaient
réellement des éléments de matrices. Le résultat d’une telle multiplication
partitionnée sera nécessairement une matrice dont la partition en lignes est
la même que celle du facteur le plus à gauche du produit matriciel, et dont la
partition en colonnes est la même que celle du facteur le plus à droite. Cette
propriété peut être utilisée pour démontrer d’autres résultats utiles. Si nous
séparons toutes les colonnes du second facteur du produit matriciel AB, nous
voyons que £ ¤ £ ¤
AB = A b1 · · · bm = Ab1 · · · Abm ,
où bi est une colonne type de la matrice B. Autrement dit, la i ième colonne
d’un produit matriciel peut être trouvée en remplaçant le facteur le plus à
droite du produit par la i ième colonne de ce facteur. De façon similaire,
naturellement, la i ième ligne d’un produit matriciel est trouvée en remplaçant
le facteur le plus à gauche par sa i ième ligne.
Supposons que nous considérons une matrice X partitionnée en deux
groupes de colonnes: X = [X1 X2 ]. La notation est choisie délibérément,
parce qu’il est intuitivement utile d’assimiler X à une matrice de régresseurs
séparés en deux sous-ensembles. En particulier, nous serons capables d’appliquer
le Théorème FWL (Section 1.4) dans l’analyse ultérieure. Si la matrice X est
de dimension n × k, alors le produit matriciel X>X est de dimension k × k.
En forme partitionnée, nous avons
¸· · ¸
> X1> X1>X1 X1>X2
X X= [X1 X2 ] = . (A.12)
X2> X2>X1 X2>X2
A.5 Matrices Partitionnées 781
Nous allons à présent déduire l’inverse de la matrice partitionnée qui

est l’expression la plus à droite dans (A.12). Nous savons que la matrice de
covariance des paramètres estimés par OLS pour la régression y = Xβ + u
est proportionnelle à (X>X)−1. De plus, si β est partitionnée comme
·¸
β1
β= ,
β2
conformément à la partition de la matrice X, alors la matrice de covariance

des estimations de β1 est proportionnelle (avec la même constante de propor-
tionalité) à (X1>M2 X1 )−1, où M2 = I − X2 (X2>X2 )−1 X2> est la projection
orthogonale sur le complément de l’espace engendré par les colonnes de X2 .
Ceci signifie que si (X>X)−1 est partitionnée de la même manière que X>X,
alors le bloc supérieur gauche de l’inverse partitionnée est (X1>M2 X1 )−1.
Ecrivons (X>X)−1 sous forme partitionnée comme:
· > −1 ¸
¡ > ¢−1 (X X)11 (X>X)−1
12
X X = . (A.13)
(X>X)−1
21 (X>X)−1
22
Nous avons simplement montré que

¡ > ¢−1 ¡ > ¢−1
X X 11 = X1 M2 X1 . (A.14)
Si (A.12) et (A.13) sont multipliées, le résultat doit être une matrice identité,
que nous pouvons partitionner comme
· ¸
I 0
Ik = k1 ,
0 Ik2
où il y a ki colonnes dans Xi pour i = 1, 2. Le bloc inférieur gauche de cette

matrice identité est 0, et par une multiplication explicite nous voyons que
¡ ¢−1 ¡ ¢−1
X2>X1 X1>M2 X1 + X2>X2 X>X 21 = 0,
d’où ¡ ¢−1 ¡ ¢−1 ¡ ¢−1

X>X 21
= − X2>X2 X2>X1 X1>M2 X1 . (A.15)
La même sorte de manipulation donnerait une expression pour (X>X)−1 22 ,

mais ceci n’est pas nécessaire, puisque nous savons qu’en inversant les indices
1 et 2 dans l’expression pour (X>X)−1 > −1 > −1
11 , (X X)22 = (X2 M1 X2 ) . Ceci
n’est pas l’expression que nous obtiendrions directement, et nous la laissons
en exercice pour que le lecteur montre que les deux expressions apparemment
différentes sont en fait égales.
Les matrices partitionnées que nous désirons inverser ne sont pas toutes
de la forme X>X. Nous pouvons obtenir des expressions générales à partir
de ce que nous avons déjà obtenu en écrivant explicitement la matrice de

projection orthogonale M2 . Si la matrice X>X est écrite comme
· ¸
A C>
, (A.16)
C B
et la matrice (X>X)−1 comme

· ¸
D E>
, (A.17)
E F
alors ¡ ¢−1
D −1 = X1>M2 X1 = X1>X1 − X1>X2 X2>X2 X2>X1
= A − C >B −1 C.
Ainsi, de façon très générale, nous avons les relations suivantes entre les blocs
des deux matrices inverses partitionnées (A.16) et (A.17):
¡ ¢−1
D = A − C >B −1 C ;
¡ ¢−1 ¡ ¢−1
E = −B −1 C A − C >B −1 C = − B − CA−1 C > CA−1 ;
¡ ¢−1
F = B − CA−1 C > .
Ces formules nécessitent que les inverses des blocs diagonaux de la matrice
partitionnée d’origine existent.
A.6 Déterminants
Nous avons plusieurs fois fait allusion à la possibilité qu’une matrice carrée
puisse ne pas être inversible. Si tel est le cas, alors l’application qui la définit
ne sera pas inversible. En général, une application partant d’un espace vers
un autre est inversible si et seulement si elle est une bijection, ou bijective,
dans une terminologie mathématique formelle. De façon plus explicite, il faut
qu’à chaque point de l’espace d’arrivée de l’application corresponde un et un
seul point de l’espace de départ de l’application. Ensuite l’application inverse,
qui va de l’espace d’arrivée vers l’espace de départ de l’application d’origine,
applique chaque point dans l’image vers son unique antécédent.
Nous montrons tout d’abord que seules les matrices carrées sont in-
versibles. Si A est une matrice de dimension n × m, il est nécessaire pour la
rendre inversible que, pour chaque vecteur y ∈ E n, il existe un unique vecteur
x ∈ E m tel que Ax = y. La matrice inverse A−1 est alors une matrice de
dimension m×n qui transforme un tel vecteur y en son correspondant x. Une
matrice A dont le noyau contient plus que le vecteur nul n’est pas inversible.
Supposons que z ∈ N(A), z 6= 0; c’est-à-dire, Az = 0. Alors, si Ax = y,
nous avons également A(x + z) = Ax + Az = Ax, et à la fois x et x + z
A.6 Déterminants 783
doivent appartenir à l’ensemble des antécédents de y par A, contrairement

à la condition d’existence de l’inverse d’une application. Ainsi, si la matrice
A est de dimension n × m et est inversible, nous trouvons à partir de (A.11)
que m = r, la dimension de l’image de A. Nous voyons par ailleurs qu’une
matrice dont l’image n’est pas le plein espace d’arrivée n’est pas inversible, au
quel cas il existe des éléments de celui-ci dont l’ensemble des antécédents est
vide, contrairement à la condition pour une inverse. Ceci implique que r = n,
et puisque nous avons déjà vu que m = r, il s’ensuit que m = n. Ainsi, nous
avons prouvé que seules les matrices carrées sont inversibles. La condition
supplémentaire que m = r implique que seules les matrices carrées de plein
rang sont inversibles. Les matrices carrées qui ne sont pas de plein rang sont
dites singulières, et les matrices carrées de plein rang sont par conséquent
parfois dites non singulières. Toutes les matrices carrées non singulières sont
inversibles.
Comment pouvons-nous savoir si une matrice carrée A de dimension
n × n quelconque est inversible, et si elle l’est, comment peut-on calculer
son inverse? Les réponses à ces deux questions sont fournies par le concept
du déterminant d’une matrice carrée. Puisque, pour le reste de cette section,
nous ne traiterons que les matrices carrées, toutes les matrices auxquelles nous
ferons référence seront carrées par défaut. Le déterminant d’une matrice est
simplement un scalaire. Nous noterons |A| le déterminant de la matrice A et
|det A| désignera la valeur absolue du déterminant de la matrice A.
Il est possible de représenter géométriquement le déterminant d’une ma-
trice par le volume de dimension n de la figure rectiligne générée par les
colonnes de la matrice. En deux dimensions, par exemple, les deux colonnes
d’une matrice de dimension 2 × 2 définissent un parallélogramme, comme cela
est montré dans la partie (a) de la Figure A.1. L’aire de ce parallélogramme
est le déterminant de la matrice. En trois dimensions, les trois colonnes d’une
matrice de dimension 3 × 3 définissent un solide appelé parallélépipède (voir
la Figure A.2), dont le volume est le déterminant de la matrice. Dans des
dimensions supérieures, comme nous le verrons, nous pouvons développer
algébriquement le concept du déterminant de manière naturelle, bien qu’il
soit évidemment impossible de visualiser les résultats de façon géométrique.
L’aire du parallélogramme est établie dans des textes élémentaires sur la
géométrie comme la base fois la hauteur, où la “base” représente la longueur
d’un des côtés du parallélogramme, et la “hauteur” la distance perpendiculaire
entre les deux côtés dont la longueur est la base. Ceci signifie que l’aire d’un
parallélogramme peut être calculée comme l’aire d’un rectangle, comme nous
l’avons illustré dans la partie (b) de la Figure A.1. De façon algébrique, si les
colonnes de la matrice A de dimension 2 × 2 sont notées a1 et a2 , l’aire du
parallélogramme est ka1 k kM1 a2 k, où M1 est la projection orthogonale sur
S⊥ (a1 ). Il est facile de vérifier que nous pouvons échanger les rôles des deux
vecteurs sans modifier la valeur de l’aire.
....................... .......................
...
....
........
...................... ........ .. .. . .
...
.....
....................... ........
.
a2..................................
. . a.2...................... ...
.
.. .
.... .. ....
...... ....... ................
. .................................. ...
.
. ........
. . ....... . ... ....
....
.... ....
.... M1 a2 ................... ....
.... ...
.....
...
. ... .
.... ... .
.
... ... ...
.... .... ... .... ... .....
...... ......
...... .
. ....... .
. . ..
.....a
..
. . ...............
...
...
.
. .
. a .
.
. ..
. . ...
...
...
...
....
.. . .
. .
.
... ....
...........
... 1 .
... ... ... ..... . . . ...
...
...
... 1
.... ........................ ...............................................
...................... .
O O
(a) Le parallélogramme défini (b) Rectangle de superficie égale formé
par a1 et a2 par a1 et M1 a2
Figure A.1 Déterminants en deux dimensions
a...3...........................................................................................................................................
......... ................... .. ........
...........................................................................................................................................
... .. .. ..
... ... ... ...
.. .. .. ..
... ... ... ...
.. .. .. ..
... ... ... ...
.. .. ..
. .
..
... ... . .
. . ...............................................................................................a
.......2..... ..
O ............................................................. ............ ..
........... . ..................................................................................................................
..............
a1
Figure A.2 Un parallélépipède en trois dimensions
Dans le cas à n dimensions, nous pouvons établir la définition de la valeur

absolue du déterminant de la matrice de dimension n×n A = [a1 a2 · · · an ]:
|det A| = kM(1) a1 k kM(2) a2 k · · · kM(n−1) an−1 kkan k

Yn
= kM(i) ai k. (A.18)
i=1
Ici, M(i) la projection orthogonale sur le complément de S(ai+1 , . . . , an ),

l’espace engendré par les n − i dernières colonnes de A, pour i = 1, . . . , n − 1.
Pour que la seconde ligne soit vraie, il faut que M(n) = I.
La définition ci-dessus ne donne que la valeur absolue du déterminant.
Le signe sera la conséquence d’une autre propriété des déterminants, à savoir,
l’anti-symétrie. La valeur de (A.18) est invariante aux changements de l’ordre
des colonnes de la matrice A, mais quand le signe est pris en compte, nous
ferons en sorte qu’une permutation de n’importe laquelle des deux colonnes
de la matrice A change le signe du déterminant. Considérons la matrice
partitionnée suivante: · ¸
a11 0
A= . (A.19)
b B
Quand la première colonne est projetée sur le complément orthogonal de

l’espace engendré par les autres, le résultat sera une colonne avec a11 comme
premier élément et des 0 ailleurs. Ainsi, d’après (A.18), la valeur absolue de
|A| est simplement |a11 ||det B|. La règle pour le signe du déterminant est
une règle récursive: nous supposons que |B| a un signe et le multiplions en-
suite par celui de l’élément a11 pour obtenir le signe de |A|. Pour terminer
l’opération, il faut que le signe du déterminant d’une matrice de dimension
1 × 1 soit celui du seul élément de la matrice.
Dans un moment, nous aurons besoin d’utiliser le fait que le déterminant
de la matrice (A.19), qui ne dépend pas du vecteur b de dimension (n − 1),
est égal au déterminant de n’importe quelle matrice comme (A.19), ayant une
colonne nulle à la place de b mais avec un vecteur ligne c> quelconque à la
place des éléments nuls dans (A.19). Ainsi, le déterminant de la matrice
· ¸
a11 c>
(A.20)
0 B
est égal à celui de (A.19). Pour comprendre ceci, souvenons-nous que la valeur
absolue du déterminant est invariante à l’ordre des colonnes, et sélectionnons
la première colonne de (A.20) comme la colonne qui n’est soumise à aucune
projection dans (A.18). Toutes les autres colonnes seront alors projetées sur
le complément orthogonal de l’espace engendré par la première colonne et per-
dront par conséquent leurs premiers éléments, c’est-à-dire les éléments de c>.
Une matrice triangulaire inférieure est un cas particulier de (A.19) dans
lequel la matrice B est elle-même triangulaire inférieure. De façon similaire,
une matrice triangulaire supérieure est un cas particulier de (A.20) dans lequel
la matrice B est elle-même triangulaire supérieure. Le fait que le déterminant
de ces deux matrices soit égal à |a11 ||det B| implique que si une matrice A est
triangulaire, son déterminant est égal au produit de ses éléments diagonaux.
Pour obtenir ce résultat, nous appliquons simplement le résultat d’origine tout
d’abord à A, puis à son bloc inférieur droit, enfin au bloc inférieur droit de
ce bloc, et ainsi de suite.
Une autre propriété des déterminants est qu’ils sont invariants à des per-
mutations de leurs lignes aussi bien que de leurs colonnes, à un changement
de signe près. C’est ce qui ressort de (A.18), puisque la norme d’un vecteur
ne dépend pas de la façon dont les lignes sont ordonnnées; consulter (A.06).
Le calcul des déterminants n’est évidemment pas une opération linéaire.
Ainsi, en général, |A + B| 6= |A| + |B|. Cependant, il est vrai que si une
colonne d’une matrice est exprimée comme la somme de deux vecteurs, alors
le déterminant est additif colonne par colonne. Cela signifie que
|a1 + b1 a2 · · · an |
(A.21)
= |a1 a2 · · · an | + |b1 a2 · · · an |.
Ici la notation |·| avec les blocs d’une matrice partitionnée à l’intérieur désigne
le déterminant de la matrice. Pour voir pourquoi (A.21) est vraie, observons
que le rang de la projection M(2) est seulement 1. Il s’ensuit que, pour
n’importe quels vecteurs a et b de dimension n , kM(2) (a + b)k = kM(2) ak +
kM(2) bk. Le résultat provient de ce fait et de la définition (A.18).
Le résultat (A.21) nous permet d’établir la méthode classique d’évalua-
tion manuelle des déterminants. Cette méthode est le développement du
déterminant par une ligne ou une colonne. Plus personne ne calcule réellement
les déterminants de cette manière, sauf peut-être pour le cas trivial 2 × 2,
mais notre discussion sur la façon de développer les déterminants mènera
à un certain nombre de résultats utiles. Nous développerons à partir de la
première colonne. Pour procéder de la sorte, nous avons besoin d’une notation
particulière. Désignons Aij la sous-matrice de dimension (n − 1) × (n − 1) de
la matrice A obtenue en effaçant la i ième ligne et la j ième colonne. Soit Aij
le déterminant de cette sous-matrice. Nous appelons (−1)i+j Aij le cofacteur
de l’élément aij dans la matrice A. Soit αi le vecteur de dimension n dont
tous les éléments sont nuls sauf le i ième , qui égale ai1 . Notons alors que les
applications successives de (A.21) produisent
n
X
|A| = |αi a2 ··· an |. (A.22)
i=1
Si nous écrivons la i ième ligne de la somme indicée par i dans (A.22) comme
[ai1 ci> ], alors la i ième ligne peut être déplacée pour devenir la première,
par un processus de i − 1 permutations de lignes, qui génère un facteur de
(−1)i−1. Le résultat est le déterminant
¯ ¯
¯ ai1 ci> ¯¯
(−1) i−1 ¯ ,
¯ 0 Ai1 ¯
dont la valeur est ai1 Ai1 , d’après la définition d’un cofacteur. Ainsi, le
déterminant (A.22) peut être écrit comme
n
X
|A| = ai1 Ai1 . (A.23)
i=1
Puisque Ai1 est lui-même un déterminant, (A.23) permet une évaluation

récursive d’un déterminant quelconque.
Nous voyons aisément qu’il est possible d’évaluer la matrice A en dévelop-
pant par n’importe quelle ligne ou colonne. Formellement,
n
X n
X
|A| = aij Aij = aji Aji (A.24)
i=1 i=1
pour tout j = 1, . . . , n. Ce résultat montre à son tour que |A>| = |A|. Si

nous développons un déterminant par une colonne, disons la j ième , et si nous
utilisons de faux cofacteurs, c’est-à-dire ceux qui correspondent à une autre
colonne, disons la k ième , alors nous trouvons que
n
X
aij Aik = 0. (A.25)
i=1
Ceci est valable parce que (A.25) est le développement correct du déterminant
d’une matrice dans laquelle la k ième colonne est remplacée par la j ième
colonne. N’importe quelle matrice dans laquelle au moins deux colonnes sont
identiques a un déterminant nul, puisque quand la même colonne survient une
seconde fois dans (A.18), elle sera projetée sur le complément orthogonal de
l’espace qu’elle engendre, en donnant un vecteur de norme nulle.
Pour la même raison, n’importe quelle matrice dans laquelle une colonne
est une combinaison linéaire des autres aura un déterminant nul. Une matrice
qui satisfait cette condition ne sera pas de plein rang, et nous voyons aussi
qu’une matrice singulière a nécessairement un déterminant nul. Il n’est pas
difficile de voir que la réciproque est vraie: une matrice avec un déterminant
nul est nécessairement singulière. Tout ceci est également pertinent de façon
géométrique, naturellement. Si une matrice de dimension n × n n’est pas de
plein rang, le parallélépipède défini par la matrice sera un objet de dimension
inférieure à n, et ainsi son volume (dans l’espace de dimension n) sera nul.
Les résultats (A.24) et (A.25) peuvent être utilisés pour construire
l’inverse d’une matrice non singulière A. Considérons la matrice B avec
comme élément type bij ≡ Aji , qui est juste la transposée de la matrice des
cofacteurs. Nous voyons que
n
X
(AB)ij = aik Ajk = |A|δij ,
k=1
où δij est le delta de Kronecker, égal à 1 si i = j et à 0 sinon. Ainsi, AB =

|A|I, de sorte que |A|−1 B, qui existe si et seulemnt si |A| 6= 0, doit être
l’inverse de A.
Le résultat (A.24) nous permet de calculer les dérivées partielles du
déterminant d’une matrice par rapport aux éléments de la matrice. Le co-
facteur Aij est le déterminant d’une matrice qui ne contient aucun élément
de la i ième ligne ou de la j ième colonne de la matrice A. Il s’ensuit que
la dérivée partielle de |A| par rapport à aij est juste Aij , qui est |A| fois le
ji ième élément de la matrice A−1. Ce résultat peut être écrit avec la notation
matricielle comme
∂|A|
= |A|(A−1 )>.
∂A
A partir de ce dernier, nous pouvons en déduire le résultat encore plus utile

selon lequel
∂ log |A|
= (A−1 )>.
∂A
Bien que le déterminant d’une somme de matrices ne soit pas en général
la somme des déterminants, le déterminant d’un produit de matrices est le
produit des déterminants. Soit A et B deux matrices de dimensions n × n,
toutes deux avec des déterminants non nuls. Ensuite, |AB| = |A||B|. Un
corollaire utile est que |A−1 | = |A|−1. Ceci provient des propriétés A−1A = I
et |I| = 1.
Pour conclure cette section, nous prouvons un résultat utilisé dans les
Chapitres 18 et 20. Selon ce résultat, nous avons
¯ > ¯
¯ A A A>B ¯ ¯ > ¯¯ > ¯ ¯ > ¯¯ > ¯
¯ ¯ ¯ ¯¯ ¯ ¯ ¯¯ ¯
¯ B >A B >B ¯ = A MB A B B = B MA B A A , (A.26)
où MA et MB sont les projections orthogonales des colonnes des matrices

A et B, que l’on peut supposer être de plein rang sans perte de généralité.
Nous utilisons les résultats (A.14) et (A.15) sur l’inversion des matrices par-
titionnées comme précédemment pour écrire
· ¸· ¸ · ¸
A>A A>B (A>MB A)−1 0 I A>B
= .
B >A B >B −(B >B)−1 B >A(A>MB A)−1 I 0 B >B
Il est évident que le déterminant de la matrice du membre de droite est juste

|B >B|, tandis que celui du second facteur dans le membre de gauche est
|A>MB A|−1. La première égalité dans (A.26) en découle. La seconde égalité
peut être prouvée par un argument similaire, mais en utilisant différentes
expressions pour l’inverse de la matrice partitionnée.
A.7 Matrices Définies Positives

Une matrice symétrique A de dimension n × n est dite définie positive si
la forme quadratique x>Ax est positive pour tout vecteur non nul x de di-
mension n. Si la forme quadratique peut prendre des valeurs nulles, elle est
semi-définie positive ou définie non négative. Des matrices qui sont définies
négatives ou semi-définies négatives sont définies de façon analogue.
N’importe quelle matrice de la forme B >B est définie positive si le rang
de la matrice B est égal au nombre de colonnes et semi-définie positive sinon.
Pour s’en rendre compte, observons que B >B est symétrique et que, pour
n’importe quel vecteur x non nul,
x>B >Bx = (Bx)>(Bx) = kBxk2 ≥ 0.

A.7 Matrices Définies Positives 789
Ce résultat est valable avec l’égalité à condition que Bx = 0. Mais, dans

ce cas, B ne peut pas être de plein rang, puisque Bx = 0 signifie que les
colonnes de B ne sont pas linéairement indépendantes. Un raisonnement
similaire montre que si la matrice A est définie positive, alors n’importe quelle
matrice de la forme B >AB est définie positive si la matrice B vérifie la même
condition de rang, et semi-définie positive sinon.
Une matrice définie positive ne peut pas être singulière, puisque si la
matrice A est singulière, il doit exister un vecteur x non nul tel que Ax = 0.
Ce qui implique également que x>Ax = 0. Cela signifie que la matrice A
n’est pas définie positive. Ainsi, l’inverse d’une matrice définie positive existe
toujours. Elle est également définie positive, parce que, pour n’importe quel
vecteur x non nul,
x>A−1 x = x>A−1AA−1 x = (A−1 x)>A(A−1 x) > 0.
Ici l’inégalité provient directement du fait que la matrice A est définie positive.
Pour n’importe quelle matrice définie positive A, nous pouvons trouver

une matrice B telle que A = B >B. Il est souvent nécessaire d’élaborer
une telle matrice B à partir d’une matrice donnée A dans des applica-
tions économétriques; un exemple est la matrice η définie dans (9.08).
Fréquemment, nous souhaitons aller plus loin et trouver une matrice triangu-
laire B. Nous esquissons à présent un algorithme pour une telle décomposition
triangulaire. Il produit une matrice B triangulaire supérieure à partir d’une
matrice définie positive donnée A. Un algorithme analogue pour produire une
matrice B triangulaire inférieure peut aussi être trouvé.
√
Nous commençons par définir b11 = a11 , où aij et bij désignent les
ij ièmes éléments des matrices A et B, respectivement. La première ligne
entière de la matrice B est ainsi obtenue par une application séquentielle de
la formule suivante, pour j = 2, . . . , n:
a1j
b1j = .
b11
Les lignes suivantes sont calculées de façon séquentielle, de telle manière que,
au cours du calcul de la i ième ligne, les éléments de la première ligne à la
(i − 1) ième soient disponibles. Pour la i ième ligne, les éléments bij sont
initialisés à zéro pour j < i, puisque la matrice B doit être triangulaire
supérieure. Alors, le i ième élément diagonal est
µ i−1
X ¶1/2
2
bii = aii − bki , (A.27)
k=1
dans lequel le membre entier de droite est connu. Pour compléter la ligne, les
éléments bij pour j > i sont déterminés par la formule
µ i−1
X ¶
1
bij = aij − bki bkj .
bii
k=1
A nouveau, tout ce qui apparaı̂t dans le membre de droite est disponible à

chaque fois que cela est nécessaire. Un calcul que nous ne reproduirons pas
montre que la grandeur dont la racine carrée est calculée dans (A.27) est
positive à condition que la matrice A soit définie positive, et montre aussi
que la matrice B générée par l’algorithme satisfait la contrainte B >B =
A. Les résultats de la section précédente montrent que le déterminant d’une
matrice triangulaire est juste le produit de ses éléments diagonaux. Ainsi,
nous pouvons obtenir le déterminant de la matrice B presque comme un
sous-produit de l’algorithme destiné à trouver la matrice B. Le carré du
déterminant de la matrice B est alors le déterminant de la matrice A.
Dans certaines manipulations des matrices de covariance dans le texte,
nous utilisons le fait que si A et B sont des matrices semi-définies positives,
alors A−B est une matrice définie positive si et seulement si B −1 −A−1 l’est.
Nous démontrons maintenant ce résultat très utile. Soit A−1/2 une matrice
telle que (A−1/2 )>A−1/2 = A−1. Il peut être vu que
A−1/2A(A−1/2 )> = (A−1/2 )>AA−1/2 = I.
Tout d’abord nous montrons que si I−A est une matrice définie positive, alors
A−1 − I l’est également et réciproquement. Ceci provient du résultat, prouvé
auparavant, qu’en prémultipliant une matrice définie positive par n’importe
quelle matrice de plein rang et en multipliant ensuite le résultat par la trans-
posée de cette matrice, nous obtenons une matrice définie positive. Ainsi, la
caractère défini positif de I − A implique celui de (A−1/2 )>(I − A)A−1/2, qui
est juste A−1 − I. Le résultat réciproque provient de l’inversion des positions
des matrices A et A−1.
Si A−B est définie positive, alors A−1/2 (A−B)(A−1/2 )> l’est également,
c’est-à-dire I − A−1/2 B(A−1/2 )>. Le caractère défini positif de cette dernière
matrice entraı̂ne que de (A1/2 )>B −1 A1/2 − I, où la matrice A1/2 est l’inverse
de la matrice A−1/2, et également de (A−1/2 )>(A1/2 )>B −1 A1/2 A−1/2 −
(A−1/2 )>A−1/2 , qui est juste B −1 − A−1 , comme requis. A nouveau, le
résultat réciproque provient de l’inversion des positions des matrices et de leurs
inverses. Un résultat similaire est vrai pour les matrices semi-définies posi-
tives: A−B est une matrice semi-définie positive si et seulement si B −1 −A−1
l’est.
A.8 Valeurs Propres et Vecteurs Propres

Un scalaire λ est une valeur propre d’une matrice A s’il existe un vecteur non
nul x tel que
Ax = λx. (A.28)
Ainsi, l’action de la matrice A sur x produit un vecteur de même direction
que x, mais de longueur différente à moins que λ = 1. Le vecteur x est appelé
A.8 Valeurs Propres et Vecteurs Propres 791
le vecteur propre qui correspond à la valeur propre λ. Bien que ces idées
soient définies de façon très générale, nous restreindrons notre attention ici
aux valeurs propres et vecteurs propres des matrices symétriques réelles.
La relation des valeurs propres (A.28) implique que
(A − λ I)x = 0, (A.29)
à partir de laquelle nous concluons que la matrice A − λ I est singulière. Son

déterminant, |A − λ I| est par conséquent égal à zéro. Il peut être montré de
différentes façons que ce déterminant est un polynôme en λ, de degré n si la
matrice A est de dimension n × n. Le théorème fondamental de l’algèbre nous
indique qu’un tel polynôme possède n racines complexes, disons λ1 , . . . , λn .
A chaque λi doit correspondre un vecteur propre xi . Ce vecteur propre est
déterminé à un facteur d’échelle près, parce que si xi est un vecteur propre
qui correspond à λi , alors αxi l’est également pour n’importe quel scalaire α.
Le vecteur propre xi n’a pas nécessairement des éléments réels si λi elle-même
n’est pas réelle.
Si A est une matrice réelle symétrique, nous pouvons montrer que les
valeurs propres λi sont en fait toutes réelles et qu’il est également possible de
choisir des vecteurs propres réels. Si A est une matrice définie positive, alors
toutes ses valeurs propres sont positives. Ceci provient des faits que
x>Ax = λx>x
et qu’à la fois x>x et x>Ax sont positives. Les vecteurs propres d’une matrice
symétrique réelle peuvent être choisis comme mutuellement orthogonaux. Si
nous regardons les deux vecteurs propres xi et xj , qui correspondent aux
deux valeurs propres distinctes λi et λj , alors xi et xj sont nécessairement
orthogonaux:
λi xj>xi = xj>Axi = (Axj )>xi = λj xj>xi ,
ce qui est impossible à moins que xj>xi = 0. Si toutes les valeurs pro-
pres ne sont pas distinctes, alors deux (ou plusieurs) vecteurs propres peu-
vent correspondre à une seule et même valeur propre. Quand cela survient,
ces deux vecteurs propres engendrent un espace qui est orthogonal à toutes
les autres valeurs propres d’après le raisonnement précédemment établi.
Puisque n’importe quelle combinaison linéaire des deux vecteurs propres sera
également un vecteur propre qui correspond à la valeur propre, nous pouvons
choisir un ensemble orthogonal de ceux-ci. Ainsi, que les valeurs propres soient
toutes distinctes ou non, nous pouvons sélectionner des vecteurs propres or-
thonormaux, c’est-à-dire des vecteurs mutuellement orthogonaux et normés
à 1. Ainsi, les vecteurs propres d’une matrice symétrique réelle fournissent
une base orthonormée.
Soit U ≡ [ x1 · · · xn ] une matrice dont les colonnes sont un ensemble
orthogonal de vecteurs propres de la matrice A, qui correspondent aux valeurs
propres λi , i = 1, . . . , n. Nous pouvons alors résumer en une seule relation

l’ensemble des relations (A.28) entre valeurs propres et vecteurs propres:
AU = UΛ, (A.30)
où Λ est une matrice diagonale avec λi pour i ième élément diagonal. La
i ième colonne de AU est Axi , et la i ième colonne de UΛ est λi xi . Puisque
les colonnes de U sont orthonormales, nous trouvons que U >U = I, qui
implique que U > = U −1. Une telle matrice U est dite matrice orthogonale.
La postmultiplication de (A.30) par U > fournit
A = UΛU >. (A.31)
Cette équation exprime la diagonalisation de la matrice A.
Le calcul des déterminants des deux côtés de (A.31) fournit
n
Y
> −1
|A| = |U ||U ||Λ| = |U ||U ||Λ| = |Λ| = λi ,
i=1
calcul à partir duquel nous déduisons le résultat important que le déterminant

d’une matrice est le produit de ses valeurs propres. En fait, ce résultat est
également valable pour les matrices non symétriques.
Un résultat utilisé dans le Chapitre 18 est que si la matrice A est définie
positive et si la matrice B semi-définie positive, alors
|A + B| ≥ |A|.
Nous montrons ceci tout d’abord pour le cas particulier où A = I puis en
déduisons le résultat général. L’équation qui définit les valeurs propres de la
matrice I + B est
|I + B − λI| = 0,
à partir de (A.29). Ceci devient
¯ ¯
¯B − (λ − 1)I¯ = 0.
Il s’ensuit que les valeurs propres λi de I + B satisfont l’équation λi = 1 + µi ,

où µi est une valeur propre de la matrice B. Si B est une matrice semi-
définie positive, ses valeurs propres sont toutes supérieures ou égales à 0, ce
qui implique que les valeurs propres de la matrice I+B sont toutes supérieures
ou égales à 1. Puisque le déterminant d’une matrice est le produit de ses
valeurs propres, nous concluons que le déterminant de la matrice I + B est
supérieur ou égal à 1, valeur du déterminant de la matrice I.
Soit A1/2 une matrice telle que A1/2 (A1/2 )> = A. Alors, si B est une
matrice semi-définie positive,
¯ ¡ ¢ ¯
|A + B| = ¯A1/2 I + A−1/2 B(A−1/2 )> (A1/2 )> ¯
¯ ¯2 ¯ ¯
(A.32) = ¯(A1/2 )¯ ¯I + A−1/2 B(A−1/2 )> ¯.
A.8 Valeurs Propres et Vecteurs Propres 793
La matrice A−1/2 B(A−1/2 )> est semi-définie positive parce que la matrice B
l’est, ce qui rend le dernier facteur dans (A.32) supérieur à 1. Puisque
¯ 1/2 ¯2
¯(A )¯ = |A|,
nous voyons que |A + B| ≥ |A|, comme prévu.

Termes et Concepts
angle entre deux vecteurs matrice inversible
application définie par une matrice matrice orthogonale
application inverse matrice partitionnée
base orthogonale matrice semi-définie négative
base orthonormée matrice semi-définie-positive (ou
bijection définie non négative)
blocs d’une matrice partitionnée matrice symétrique
cofacteur matrice triangulaire
complément orthogonal (d’un matrice triangulaire inférieure
sous-espace) matrice triangulaire supérieure
décomposition triangulaire matrices conformes
déterminant norme (d’une matrice)
développement du déterminant noyau (d’une matrice)
(d’après une ligne ou une colonne) parallélépipède
diagonale principale d’une matrice parallélogramme
carrée permutation cyclique (des facteurs
diagonalisation (d’une matrice d’un produit de matrice)
symétrique réelle) plein rang
dimension (d’un espace Euclidien) postmultiplication
distance entre deux points dans E n prémultiplication
espace d’arrivée d’une application produit direct (produit Schur)
espace de départ d’une application produit extérieur
espace engendré (des colonnes d’une produit intérieur naturel
matrice) produit intérieur (produit scalaire)
espace euclidien de dimension n, E n propriété associative (pour l’addition
faux cofacteurs et la multiplication matricielle)
fonctions trigonométriques: sinus, propriété distributive (pour l’addition
cosinus, tangente, cotangente, et la multiplication matricielle)
sécante, cosécante rang d’une matrice
image d’une matrice trace d’une matrice
image et antécédent transposée d’une matrice
longueur (ou norme) d’un vecteur valeur propre
matrice carrée vecteur colonne
matrice carrée non singulière vecteur ligne
matrice carrée singulière vecteur propre
matrice définie négative vecteurs linéairement dépendants
matrice définie positive vecteurs linéairement indépendants
matrice diagonale vecteurs orthogonaux
matrice identité vecteurs parallèles
matrice inverse

Annexe A

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Annexe A

Transféré par

Droits d'auteur :

Formats disponibles

Annexe A

A.2 Faits Elémentaires Concernant les Matrices

Ici B est une matrice de dimension 2 × 3.

Dans ce cas, la matrice A est symétrique, la matrice B est diagonale, et la

L’addition et la soustraction des matrices fonctionnent exactement de la

Ici, nous avons implicitement supposé que la matrice A comporte m colonnes

Nous voyons rarement ce type de notation dans un livre ou une publication,

La multiplication matricielle est, en général, non commutative. Le fait

puisque Ikj = 0 pour k 6= j et Ikj = 1 pour k = j. Le vecteur spécial ι est aussi

(AB)> = B>A>. (A.02)

où m est le nombre de colonnes de la matrice A et le nombre de lignes de la

A>A = (A>A)> et AA> = (AA> )>, (A.03)

cela provient directement de l’application de (A.02).

Si la matrice A est symétrique, alors la matrice A−1 l’est aussi. Si la matrice

Le résultat (A.04) peut être développé. Nous considérons un produit (carré)

Tr(ABC) = Tr(CAB) = Tr(BCA), (A.05)

comme on démontre en appliquant plusieurs fois la relation (A.04). Ce résultat

A.3 La Géométrie des Vecteurs

Ceci est simplement la racine carrée du produit intérieur de x avec lui-même.

Comme l’indique la notation k · k, la longueur d’un vecteur est parfois reliée

où β̂ est l’estimation OLS de β, (x>x)−1 x>y, et s est l’estimation OLS de σ,

En substituant ces résultats dans l’expression (A.09) pour le t de Student,

d’après (A.08). Consulter le Chapitre 3 pour un résultat analogue dans le

A.4 Matrices comme Applications des Espaces Linéaires

Notons l’ordre de m et de n ici. L’interprétation est simple. Puisque le produit

A(αx + βy) = αAx + βAy,

d’après les propriétés classiques des opérations matricielles.

R(A) ≡ {y ∈ E n | y = Ax pour un certain x ∈ E m } .

apparentes. La nécessaire définition formelle est comme suit. Un espace

Pour E m lui-même, un ensemble approprié de vecteurs linéairement indépen-

Si v est la dimension du noyau de la matrice A de dimension n × m et r son

Ceci signifie que la dimension du complément orthogonal du noyau est égale

La dimension de l’image d’une matrice est appelée rang de la matrice.

sous-espace engendré par les colonnes de la matrice A. Il est commode de

kABk ≤ kAk kBk.

A.5 Matrices Partitionnées

L’utilisation de la partition montre clairement que l’image d’une ma-

Nous allons à présent déduire l’inverse de la matrice partitionnée qui

conformément à la partition de la matrice X, alors la matrice de covariance

Nous avons simplement montré que

où il y a ki colonnes dans Xi pour i = 1, 2. Le bloc inférieur gauche de cette

d’où ¡ ¢−1 ¡ ¢−1 ¡ ¢−1

La même sorte de manipulation donnerait une expression pour (X>X)−1 22 ,

de ce que nous avons déjà obtenu en écrivant explicitement la matrice de

et la matrice (X>X)−1 comme

doivent appartenir à l’ensemble des antécédents de y par A, contrairement

Figure A.1 Déterminants en deux dimensions

Figure A.2 Un parallélépipède en trois dimensions

Dans le cas à n dimensions, nous pouvons établir la définition de la valeur

|det A| = kM(1) a1 k kM(2) a2 k · · · kM(n−1) an−1 kkan k

Ici, M(i) la projection orthogonale sur le complément de S(ai+1 , . . . , an ),

Quand la première colonne est projetée sur le complément orthogonal de

Puisque Ai1 est lui-même un déterminant, (A.23) permet une évaluation

pour tout j = 1, . . . , n. Ce résultat montre à son tour que |A>| = |A|. Si

où δij est le delta de Kronecker, égal à 1 si i = j et à 0 sinon. Ainsi, AB =

A partir de ce dernier, nous pouvons en déduire le résultat encore plus utile

où MA et MB sont les projections orthogonales des colonnes des matrices

Il est évident que le déterminant de la matrice du membre de droite est juste

A.7 Matrices Définies Positives

x>B >Bx = (Bx)>(Bx) = kBxk2 ≥ 0.

Ce résultat est valable avec l’égalité à condition que Bx = 0. Mais, dans

Pour n’importe quelle matrice définie positive A, nous pouvons trouver

A nouveau, tout ce qui apparaı̂t dans le membre de droite est disponible à