L A M E S U R E D E S C O R R É L AT I O N S

Conférence Smart Beta Fideas Capital

4 Juillet 2017
Emmanuelle Jay
POURQUOI S’INTÉRESSER AUX MATRICES DE COVARIANCE?

q Dans les modèles, on suppose toujours que les paramètres sont connus et donc « déterministes »

q Dans la pratique, ces paramètres doivent être calculés et le plus souvent « estimés » à partir d’observations

q Une estimation résulte en général de la minimisation d’un critère d’erreur entre le modèle et la réalité

q Comme les observations sont le plus souvent bruitées, les valeurs estimées sont elles-mêmes des variables
aléatoires

q C’est le cas pour les variances et les covariances… ce qui nous amène donc ici à nous pencher sur les
matrices aléatoires puisque pour 𝑁 actifs, la matrice de covariance s’écrit:

Ou encore

q Il y a 𝑁(𝑁 − 1)/2 éléments à estimer, à partir d’observations bruitées, ce qui résulte en une matrice
aléatoire

q Etant donné que la matrice de covariance décrit la structure de dépendance entre les variables il est
important que son estimation soit la plus ajustée possible

E. Jay – 4 Juillet 2017 1

LES ENJEUX: DÉCRIRE LA STRUCTURE DE DÉPENDANCE ENTRE LES DONNÉES

Exemple d’un portefeuille constitué de 2 actifs à parts égales (50% de chaque)

q Actif 1: Inmobiliaria Colonial - Secteur Immobilier en Espagne

q Actif 2: Ageas – Secteur Assurances en Belgique
q Corrélation 36% entre les actifs
AGEAS: 60%
(corrélation 72%)

ANALYSE
INDIVIDUELLE

Sans prise en compte de la corrélation, INMOBILIARIA

les résultats sont erronés COLONIAL: 82%
(corrélation 90%)

E. Jay – 4 Juillet 2017 2

LES ENJEUX: DÉCRIRE LA STRUCTURE DE DÉPENDANCE ENTRE LES DONNÉES

Ampleur des erreurs (ou mesure de la part de chance)

q Même exemple avec deux actifs A (50%) et B (50%) soit corrélés à 95%, soit de corrélation à 0

Corrélation: 95% Corrélation = 0

ACTIF A: 76% ACTIF A: 51%

ANALYSE
INDIVIDUELLE

ACTIF B: 140% ACTIF B: 52%

Analyse individuelle correcte

seulement
si la corrélation est nulle

E. Jay – 4 Juillet 2017 3

LES ENJEUX: DÉCRIRE LA STRUCTURE DE DÉPENDANCE ENTRE LES DONNÉES

Et si en plus les rendements ne sont pas gaussiens…

q Deux actifs A (50%) et B (50%) corrélés à 36% (comme Ageas et Immobiliaria), mais Student-t

Corrélation: 36%
Loi de Student-t Modèle attendu

ACTIF A: 59%

ANALYSE
INDIVIDUELLE Modèle observé

ACTIF B: 81%

Nécessité de choisir le bon modèle pour appliquer la méthode 4

E. Jay – 4 Juillet 2017
d’estimation adaptée
RAPPELS SUR LES MATRICES DE COVARIANCE

q La notion de covariance est une extension de

la notion de variance

𝐶𝑜𝑣 𝑋, 𝑌 = 𝜎01 = 𝐸 𝑋 − 𝑋3 𝑌 − 𝑌3

𝑉𝑎𝑟 𝑋 = 𝐶𝑜𝑣 𝑋, 𝑋 = 𝜎07

q La corrélation est la version normalisée par les

écarts-type
𝐶𝑜𝑣(𝑋, 𝑌)
𝐶𝑜𝑟𝑟 𝑋, 𝑌 = 𝜌01 =
𝜎0 𝜎1

E. Jay – 4 Juillet 2017 5

PROPRIÉTÉS DES MATRICES DE COVARIANCE

q Une matrice de covariance est une matrice carrée, symétrique: 𝐶𝑜𝑣 𝑋, 𝑌 = 𝐶𝑜𝑣(𝑌, 𝑋)
q Si deux variables X et Y sont indépendantes alors 𝐶𝑜𝑣 𝑋, 𝑌 = 0
v La réciproque est fausse
q 𝐶𝑜𝑣 𝑋, 𝑐𝑌 = 𝑐 𝐶𝑜𝑣 𝑋, 𝑌
q 𝐶𝑜𝑣 𝑋 + 𝑌, 𝑍 = 𝐶𝑜𝑣 𝑋, 𝑍 + 𝐶𝑜𝑣(𝑌, 𝑍)
q Matrice semi-définie positive (valeurs propres ≥ 0), diagonalisable
Ø Soit 𝑀 = 𝐶𝑜𝑟𝑟 𝑋, 𝑌 , alors 𝑀 = 𝑉 𝐷 𝑉 A avec D la matrice diagonale des valeurs propres
et V les vecteurs propres associés (ci-dessous 𝐷 = 𝑑𝑖𝑎𝑔(0.6471; 1.3529) et 𝜌01 = 0.3529

Ø 𝜎M7 est la variance de l’individu i ó 𝜆M est la puissance associée au vecteur propre 𝑣M

E. Jay – 4 Juillet 2017 6

QUE REPRESENTENT LES VALEURS PROPRES?

Décomposer une matrice carrée sur son « espace propre » consiste à trouver les axes de représentation
des individus (direction et longueur). Un vecteur propre représente un axe, la racine carrée de la valeur
propre associée représente la longueur du vecteur propre.
Exemples… deux actifs – volatilité 10% et 20%... Corrélation = -1

E. Jay – 4 Juillet 2017 7

QUE REPRESENTENT LES VALEURS PROPRES?

Décomposer une matrice carrée sur son « espace propre » consiste à trouver les axes de
représentation de la matrice.
Exemple… deux actifs – volatilité 10% et 20%... Corrélation = -0.5

E. Jay – 4 Juillet 2017 8

QUE REPRESENTENT LES VALEURS PROPRES?

Décomposer une matrice carrée sur son « espace propre » consiste à trouver les axes de
représentation de la matrice.
Exemples… deux actifs – volatilité 10% et 20%... Corrélation = 0

E. Jay – 4 Juillet 2017 9

QUE REPRESENTENT LES VALEURS PROPRES?

Décomposer une matrice carrée sur son « espace propre » consiste à trouver les axes de
représentation de la matrice.
Exemples… deux actifs – volatilité 10% et 20%... Corrélation = 0.5

E. Jay – 4 Juillet 2017 10

QUE REPRESENTENT LES VALEURS PROPRES?

Décomposer une matrice carrée sur son « espace propre » consiste à trouver les axes de
représentation de la matrice.
Exemples… deux actifs – volatilité 10% et 20%... Corrélation = 0.8

E. Jay – 4 Juillet 2017 11

QUE REPRESENTENT LES VALEURS PROPRES?

Décomposer une matrice carrée sur son « espace propre » consiste à trouver les axes de
représentation de la matrice.
Exemples… deux actifs – volatilité 10% et 20%... Corrélation = 1

E. Jay – 4 Juillet 2017 12

COMMENT ESTIMER LA MATRICE DE COVARIANCE?

Matrice de covariance empirique: le cas classique

q Soit 𝑋 la matrice composée des rendements de 𝑚 actifs observés sur 𝑁 périodes (jour, semaine, mois). On dit
que la matrice 𝑋 est de taille (𝑚, 𝑁)

q En supposant que 𝑋 est centrée, la matrice de covariance empirique (Sample Covariance Matrix – 𝑆𝐶𝑀) est:

𝑋 𝑋 Q
𝑆𝐶𝑀 = (𝑋 Q est la matrice transposée conjuguée)
𝑁
q 𝑆𝐶𝑀 est également appelé l’estimateur au sens du Maximum de Vraisemblance dans le cas Gaussien

q Pour que 𝑆𝐶𝑀 soit de « rang plein » (aucune valeur propre nulle), il faut que 𝑁 ≫ 𝑚

q Etant donné que 𝑋 est aléatoire, 𝑆𝐶𝑀 l’est aussi – sa distribution est la loi de Wishart [1]

q 𝑆𝐶𝑀 est un estimateur « non biaisé » (cas moyenne nulle) et efficace (à variance minimale) dans le cas
gaussien

Note:

Ø Dans le cas non Gaussien 𝑆𝐶𝑀 n’est plus adapté (cf l’annexe sur les autres méthodes d’estimation)

Ø Dans le cas où 𝑁 < 𝑚, il faut « régulariser » (cf l’annexe sur les autres méthodes d’estimation)

E. Jay – 4 Juillet 2017 13

 EXEMPLES D’ESTIMATIONS SCM

Matrice théorique (Identité) ; m=25 individus

L’erreur, mesurée par

la norme spectrale,
diminue quand
N augmente

𝑆𝐶𝑀
à partir
de N échantillons

N=55 N=255 N=1000 N=10000

E. Jay – 4 Juillet 2017 14
 EXEMPLES D’ESTIMATIONS SCM

Matrice théorique (Identité) ; m=25 individus

Zoom

Zoom sur l’erreur

quand N est faible

Comment s’affranchir
du bruit résiduel?
𝑆𝐶𝑀 è En filtrant sur les
à partir valeurs propres
de N échantillons

N=55 N=255 N=1000 N=10000

E. Jay – 4 Juillet 2017 15
LES VALEURS PROPRES ET LA RANDOM MATRIX THEORY

q La Random Matrix Theory (RMT, [8,9,10]) décrit le « spectre » de la matrice 𝑆𝐶𝑀, i.e. la répartition de ses
valeurs propres

q Wigner (1955, [2,3]), Tracy-Widom (1993, [4,5]) et Marcenko-Pastur (1967, [6]) ont tous établi des résultats
fondamentaux et universels pour les matrices de Wigner et de la covariance empirique (la 𝑆𝐶𝑀)

q La distribution des valeurs propres de la 𝑆𝐶𝑀, en grande dimension (𝑚, 𝑁 → ∞, avec le ratio c = 𝑚/𝑁 > 0),
suit la loi de Marcenko-Pastur [6,7]

q Les valeurs propres se trouvent entre 𝜎 7 1 − 𝑐 7 et 𝜎 7 1 + 𝑐 7

𝑁 = 100000
𝑐 = 0.01

𝑆𝐶𝑀
à partir
de N échantillons

𝑁 = 5000
𝑐 = 0.2

𝑁 = 1250
𝑐 = 0.8

E. Jay – 4 Juillet 2017 16

LES VALEURS PROPRES ET LA RANDOM MATRIX THEORY

q Toute perturbation additive de la matrice 𝑆𝐶𝑀 peut être détectée sur le spectre de ses valeurs propres [8-15]

q Soit Y = A S + X, avec X de taille (𝑚, 𝑁), 𝐴 de taille 𝑚, 𝐾 et 𝑆 de taille 𝐾, 𝑁 contenant 𝐾 signaux (𝐾 ≪ 𝑁)

𝑌 𝑌 Q 𝑆 𝑆 Q
𝑀a = =𝐴 𝐴 + 𝑆𝐶𝑀
𝑁 𝑁

A RETENIR
CAS GAUSSIEN NON CORRÉLÉ
𝑐 = 0.4 ; 𝑚 = 400
Ø Les valeurs propres {𝜆c , … , 𝜆e } de
Vraies valeurs:
g∗g i
(𝐴 𝐴) sont séparables dès lors que 𝜆c = 3.16; 𝜆7 = 5; 𝜆o = 15.8
j
Valeurs « attendues »:
𝜆k > 𝜎 7 𝑐 𝜆c = 4.68; 𝜆7 = 6.49; 𝜆o = 17.2
Ø Sous cette condition, on montre aussi que

(𝜆l + 𝜎 7 )(𝜆l + 𝜎 7 𝑐)
𝜆m
l,j
j→n 𝜆l

Ce résultat permet de retrouver les « vraies »

valeurs propres à partir des valeurs estimées

E. Jay – 4 Juillet 2017 17

CONCLUSIONS ET PERSPECTIVES

Ce qu’il faut retenir:

q Les résultats issus de la RMT permettent de bien caractériser la matrice de covariance empirique
dans le cas où les données sont non corrélées et de même variance,
q La distribution des valeurs propres, dans ce même cadre, est la loi de Marcenko-Pastur,
q Ces résultats sont valables en régime dit « de grande dimension », i.e. lorsque m ET N deviennent
conjointement grands avec un ratio m/N fini,
q Dès lors que la puissance des signaux utiles potentiellement noyés dans le bruit dépasse une
certaine valeur (dépendante de c), les valeurs propres associées se séparent des autres,
q Une fois les signaux utiles détectés, il est alors possible réduire l’influence du bruit dans la matrice
de covariance initiale en forçant les valeurs propres « bruit » à une valeur faible.
Perspectives
q Adapter certains résultats théoriques au cas « corrélé »,
q Appliquer la méthode du blanchiment avant allocation en Variété Maximum,
q Publier les résultats dès que possible.

E. Jay – 4 Juillet 2017 18

QUESTIONS?

Merci de votre attention

E. Jay – 4 Juillet 2017 19

ANNEXE:
MÉTHODES D'ESTIMATION DE LA MATRICE DE COVARIANCE – CAS NON GAUSSIEN ET CAS N<M

Estimation Robuste, Cas Non-Gaussien, quelques méthodes

Dans le cas où les entrées de la matrice des données 𝑋 ne sont plus distribuées selon une loi normale, il faut adapter
l’estimation pour prendre en compte les éléments extrêmes

q Minimum Covariance Determinant (MCD), [16]

q Les M-Estimateurs (Huber, Maronna, Tyler, …), [17, 18,19] – généralisation de la 𝑆𝐶𝑀

Que faire si 𝑁 < 𝑚 ? (moins d’observations que d’actifs)

La matrice n’est plus de rang plein, il faut régulariser (R = 𝛼 𝐴 + 1 − 𝛼 𝑆𝐶𝑀) avec 𝐴 de rang plein

q Shrinkage to Identity (James-Stein Shrinkage Estimator ou JSSE, LASSO), [20,21] è 𝐴 = 𝐼𝑑

q Ledoit & Wolf (LWSE), [22,23] è 𝐴 est la matrice des beta des actifs vs le « marché »

q M-Estimator’s shrinkage, [24,25] è 𝐴 est un M-estimateur (Huber, Maronna, Tyler)

E. Jay – 4 Juillet 2017 20

REFERENCES

[1] J.Wishart. The generalised product moment distribution in samples from a normal multivariate population.
Biometrika, vol. 20A, no. 1-2, pp. 32–52, 1928.
[2] E. Wigner. Characteristic Vectors of bordered matrices with infinite dimensions. The annal of mathematics, vol. 62,
pp.546-564, 1955.
[3] E. Wigner. On the Distribution of Roots of certain symmetric matrices. The Annals of Mathematics, vol. 67,
pp.325-327, 1958.
[4] C. A. Tracy and H.Widom. Level-spacing distributions and the Airy kernel, Physics Letters B 305 (1-2): 115-118,
1993.
[5] C. A. Tracy and H.Widom. Distribution Functions for Largest Eigenvalues and Their Applications, ICM 2012, Vol.
I, 587-596, 2012.
[6] V.A. Marchenko and L.A. Pastur. Distribution of eigenvalues for some sets of random matrices. Mathematics of
the USSR-Sbornik, 1:457, 1967.
[7] J. Baik and J.W.Silverstein. Eigenvalues of large sample covariance matrices of spiked population models. Journal
of multivariate analysis, Vol. 97-6, pp.1382-1408, 2006.
[8] Florent Benaych-Georges and Raj Rao Nadakuditi. The singular values and vectors of low rank perturbations of
large rectangular random matrices. Journal of Multivariate Analysis, 111:120–135, 2012.
[9] P.Loubaton and P.Vallet. Almost sure localization of the eigenvalues in a gaussian information plus noise model.
Application to the spiked models. Electron. J. Probab., 16:1934–1959, 2011.
[10] R.R Nadakuditi and A. Edelman. Sample eigenvalue based detection of high-dimensional signals in white noise
using relatively few samples. IEEE Transactions on Signal Processing, 56(7):2625–2637, 2008.
[11] W.Hachem, P.Loubaton, X.Mestre, J.Najim, and P.Vallet. Large information plus noise random matrix models and
consistent subspace estimation in large sensor networks. Random Matrices: Theory and Applications, 1(2), 2012.
[12] P. Vallet, P. Loubaton, and X. Mestre. Improved Subspace Estimation for Multivariate Observations of High
Dimension: The Deterministic Signal Case. IEEE Transactions on Information Theory, 58(2), Feb. 2012.

E. Jay – 4 Juillet 2017 21

REFERENCES

[13] J. Vinogradova, R. Couillet, and W. Hachem. Estimation of Toeplitz covariance matrices in large dimensional
regime with application to source detection. IEEE Transactions on SP, vol. 63, no. 18, pp. 4903–4913, Sept 2015.
[14] E. Terreaux, J. P. Ovarlez and F. Pascal. Anomaly detection and estimation in hyperspectral imaging using Random
Matrix Theory tools. 2015 IEEE 6th Int. Workshop on Computational Advances in Multi-Sensor Adaptive Processing
(CAMSAP), Cancun, pp. 169-172, 2015.
[15] P.Bianchi, M.Debbah, M.Mada, and M.Najim. Performance of statistical tests for single source detection using
random matrix theory. IEEE Transactions on Information Theory, 57(4):2400–2419, 2011.
[16] P.Rousseeuw and K.V.Driessen. A fast algorithm for the minimum covariance determinant estimator.
Technometrics, vol. 41, pp. 212–223, 1999.
[17] P. J. Huber. Robust Estimation of a Location Parameter. Annals of Mathematical Statististics. Vol 35-1, pp. 73-101,
1964.
[18] R. Maronna and V. Yohai. Robust Estimation of Multivariate Location and Scatter. John Wiley & Sons, Inc., 2004.
[19] D.E.Tyler. A distribution-free m-estimator of multivariate scatter. The annals of Statistics, vol. 15, no. 1, pp. 234–
251, 1987.
[20] C. M. Stein. Estimation of the mean of a multivariate normal distribution. Annals of Statistics 9:1135–1151. 1981
[21] R. Tibshirani. Regression shrinkage and selection via the Lasso. Journal of the Royal Statistical
Society, Series B 58:267–288. 1996
[22] O.Ledoit and M.Wolf. Improved estimation of the covariance matrix of stock returns with an application to
portfolio selection. Journal of Empirical Finance, Vol.10, pp.603- 621, 2003.
[23] O.Ledoit and M.Wolf. A well-conditioned estimator for large dimensional covariance matrices. Journal of
Multivariate Analysis, Vol.88, pp.365-411, 2004.
[24] R.Couillet, F.Pascal and J.W.Silverstein. The random matrix regime of Maronna’s M-estimator with elliptically
distributed samples. Journal of Multivariate Analysis, 139:56–78, 2015.
[25] L.Yang, R.Couillet, and M.McKay. A robust statistics approach to minimum variance portfolio optimization.
http://arxiv.org/abs/1503.08013, March 2015.

E. Jay – 4 Juillet 2017 22

AUTRES REFERENCES (NON CITÉES DANS LE TEXTE MAIS IMPORTANTES À NOTER)

Autres références

• L.Laloux, P.Cizeau, J.-P.Bouchaud, and M.Potters. Noise dressing of financial correlation matrices. Phys. Rev. Lett.,
vol. 83, no. 1468, 1999.
• L.Laloux, P.Cizeau, M.Potters, and J.-P.Bouchaud. Random matrix theory and financial correlations. International
Journal of Theoretical and Applied Finance, vol. 3, no. 03, pp. 391–397, 2000.
• J.P.Bouchaud and M.Potters. Theory of Financial Risk and Derivative Pricing. Cambridge University Press, 2003.
• J.P.Bouchaud and M.Potters. Financial Applications of Random Matrix Theory: Old Laces and New Pieces. Acta
Physica Polonica B, 36, pp.2767-2784, 2005.
• J.P.Bouchaud and M.Potters. Financial Applications of Random Matrix Theory: a short review. arXiv-qfinn
0910.1205, 2009.
• R.Couillet. Robust spiked random matrices and a robust G-MUSIC estimator. Journal of Multivariate Analysis,
Elsevier, 2015, 140, pp.139-161.
• R.Couillet and A.Kammoun. Robust G-MUSIC. In Signal Processing Conference (EUSIPCO), 2014 Proceedings of
the 22nd European, pages 2155–2159. IEEE, 2014.

E. Jay – 4 Juillet 2017 23