Académique Documents
Professionnel Documents
Culture Documents
Théorème de Cochran
Master 1, EURIA
Année 2018-2019
1 Vecteurs gaussiens
On peut caractériser les vecteurs gaussiens de différentes manières : via la fonction caractéristique, via
la propriété de stabilité par transformation linéaire ou via la densité.
Définition. On dit que le vecteur aléatoire X = (X1 , ..., Xn )′ est gaussien si sa fonction caractéristique
est donnée par
φX (t) = E[exp(i < t, X >)] = exp(i < µ, t >)exp(−1/2t′ Σt)
avec x = (x1 , ..., xn )′ , Σ ∈ Mn (R) une matrice symétrique positive et µ ∈ Rn . On notera X ∼ N (µ, Σ).
Proposition. Un vecteur aléatoire est gaussien si, et seulement si, toute combinaison linéaire de ses
composantes est une v.a. réelle gaussienne.
Proposition. X ∼ N (µ, Σ) avec Σ ∈ Mn (R) une matrice symétrique définie positive si et seulement si
sa densité est donnée par
1 1
f (x1 , ..., xn ) = p exp(− (x − µ)′ Σ−1 (x − µ))
(2π)n/2 det(Σ) 2
1 (x − µ )2
f (x1 ) = √ exp(− 1 2 1 )
σ1 2π 2σ1
σ12
ρ1,2 σ1 σ2
Σ=
ρ1,2 σ1 σ2 σ22
1
avec σ1 > 0 et σ2 > 0. On a alors det(Σ) = σ12 σ22 (1 − ρ21,2 ) et Σ est une matrice définie positive si
et seulement si |ρ1,2 | < 1. De plus,
σ22
1 −ρ1,2 σ1 σ2
Σ−1 =
det(Σ) −ρ1,2 σ1 σ2 σ12
On obtient donc
1
f (x1 , x2 ) = q
2πσ1 σ2 (1 − ρ21,2 )
" 2 2 #!
1 x 1 − µ1 (x1 − µ1 )(x2 − µ2 ) x 2 − µ2
exp − − 2ρ1,2 +
2(1 − ρ21,2 ) σ1 σ1 σ2 σ2
On en déduit que les variables aléatoires X1 , ..., Xn sont indépendantes et que Xi ∼ N (µi , σi2 ) En
particulier, on a
(X1 , ..., Xn ) ∼iid N (µ, σ 2 ) ssi X = (X1 , ..., Xn )′ ∼ N (µ1n , σ 2 In )
Cette remarque est importante pour la suite du cours : elle permet de faire le lien entre les
vecteurs gaussiens et les échantillons gaussiens.
Proposition. Si X ∼ N (µ, Σ) alors µ est l’espérance de X et Σ sa matrice de variance :
— E[X] = (E[X1 ], ..., E[Xn ])′ = µ
— var(X) = E[XX ′ ] − E[X]E[X]′ = E[(X − E[X])(X − E[X])′ ] = Σ
Proposition. Soit X ∼ N (µX , ΣX ) et C ∈ Rp×n , une matrice telle que le produit Y = CX soit bien
défini, alors Y ∼ N (µY , ΣY ) avec µY = CµY et ΣY = CΣX C ′
Démonstration. — Prenons C = ei avec ei = (0, ..., 0, 1, 0, ..., 0) le ime vecteur ligne de la base
canonique. En utilisant la proposition précédente, on obtient que Xi = CX ∼ N (µi , σi2 ).
2
— Prenons C = ei + ej . En utilisant la proposition précédente, on obtient que
Xi + Xj = CX ∼ N (µi + µj , σi2 + σj2 + 2σi,j ). En particulier, on a
var(Xi + Xj ) = σi2 + σj2 + 2σi,j
On en déduit que σi,j = cov(Xi , Xj ) à l’aide de la formule
var(Xi + Xj ) = var(Xi ) + var(Xj ) + 2cov(Xi , Xj )
puis on conclut aisément.
Corollaire. Si X = (X1 , ..., Xn )′ est un vecteur gaussien, alors les variables aléatoires Xi et Xj sont
indépendantes si et seulement si cov(Xi , Xj ) = 0.
ei
Démonstration. X ∼ N (µ, Σ) et C = . La proposition précédente implique que
ej
2
Xi µi σi σi,j
CX = ∼N ,
Xj µj σi,j σj2
Si on suppose que σi,j = cov(Xi , Xj ) = 0, alors la densité fX1 ,X2 du couple (X1 , X2 ) s’écrit sous la forme
fX1 ,X2 (x1 , x2 ) = fX1 (x1 )fX2 (x2 )
et les v.a. X1 et X2 sont indépendantes.
Remarque. Si Xi et Xj sont des variables aléatoires indépendantes, alors on a toujours
cov(Xi , Xj ) = E[Xi Xj ] − E[Xi ]E[Xj ] = 0 même si X n’est pas un vecteur gaussien. Par contre la
réciproque est fausse en général. Un contre-exemple classique : prendre X1 ∼ N (0, σ 2 ) et X2 = SX1 avec
S une variable aléatoire indépendantes de X1 telle que P (S = 1) = P (S = −1) = 21 . On montre que
— le vecteur X = (X1 , X2 )′ a des marges gaussiennes mais n’est pas un vecteur gaussien ;
— cov(X1 , X2) = 0 mais X1 et X2 ne sont pas indépendantes
Corollaire. Si X = (X1 , ..., Xn )′ est un vecteur gaussien, alors les assertions suivantes sont
équivalentes :
— (X1 , ..., Xp ) est indépendant de (Xp+1 , ..., Xn )
— cov(Xi , Xj ) = 0 pour tout i ∈ {1, ..., p} et j ∈ {p + 1, ..., n}
Σ1 0
— La matrice de variance-covariance est de la forme var(X) =
0 Σ2
avec Σ1 = var((X1 , ..., Xp )′ ) et Σ2 = var((Xp+1 , ..., Xn )′ ).
3
Le corollaire ci-dessous est l’équivalent de la technique de centrage-réduction couramment utilisée pour
la loi normale univariée : si X ∼ N (0, 1), alors µ + σX ∼ N (µ, σ 2 ). Cette transformation permet de
ramener l’étude de la loi normale N (µ, σ 2 ) à celle de la loi normale centrée-réduite N (0, 1).
Corollaire. Soit X ∼ N (0, In ), µ ∈ Rn et H ∈ Mn (R). Alors Y = µ + HX ∼ N (µ, Σ) avec Σ = HH ′ .
Démonstration. D’après la proposition précédente, on a HX ∼ N (0, Σ). Il reste à montrer que si
Y ∼ N (0, Σ), alors Z = Y + µ ∼ N (µ, Σ). Or on a
φZ (t) = E[exp(i < t, Z >)]
= E[exp(i < t, Y + µ >)]
= exp(i < t, µ > E[exp(i < t, Y >)]
= exp(i < t, µ > φY (t)
= exp(i < µ, t >)exp(−1/2t′ Σt).
Remarque. Le corollaire précédent est en particulier utilisé pour simuler des vecteurs gaussiens
puisqu’il permet de simuler n’importe quel vecteur gaussien à partir d’un échantillon i.i.d. de la loi
normale.
avec X ∼ χ2p et Y ∼ χ2q deux v.a. indépendantes. On notera F ∼ Fp,q et fp,q,α le quantile d’ordre α de
la loi Fp,q .
Proposition. fp,q,α = 1/fq,p,1−α
Démonstration. Si F ∼ Fp,q alors 1/F ∼ Fq,p .
4
3 Projections orthogonales
Définition. Dans la suite du cours, si E désigne un sous-espace vectoriel (s.e.v.) de Rn , on notera πE
la projection orthogonale sur ce s.e.v. pour le produit scalaire euclidien noté < .|. >. La norme
euclidienne sera notée k.k.
kx − πE (x)k = infy∈E kx − yk
Pp
— Si (e1 , ..., ep ) est une base orthonormée de E alors πE (x) = i=1 < x|ei > ei
La proposition suivante donne la matrice de projection orthogonale sur un sous espace vectoriel
lorsqu’on en connaît une base (pas forcément orthonormée). Cette formule sera utilisée pour donner une
formule générale pour les estimateurs de moindres carrés de la modèle de régression linéaire.
Proposition. Soit (x1 , ..., xp ) une base de E (on confond les vecteurs et leurs coordonnées dans la base
canonique) et L la matrice définie par L = (x1 |x2 |...|xp ) (L est la matrice à n lignes et p colonnes dont
la ième colonne est le vecteur xi ). Alors la matrice L′ L est symétrique définie positive et L(L′ L)−1 L′ est
la matrice de l’application linéaire πE dans la base canonique.
Démonstration. — On vérifie aisément que L′ L est symétrique. Montrons qu’elle est définie
2
positive. Soit y = (y1 , ..., yp )′ . On a < y|(L′ L)y >=< Ly|Ly >= kLyk ≥ 0. De plus, si
′
< y|(L L)y >= 0 alors Ly = 0 et donc y = (0, ..., 0) puisque (x1 , ..., xp ) est une base de E (et
donc en particulier les vecteurs sont libres).
— Pour montrer que A = L(L′ L)−1 L′ est la matrice de la projection orthogonale sur E, il suffit de
montrer que, pour tout x ∈ Rn , on a Ax ∈ E et x − Ax ∈ E ⊥ . Par définition de A, on a
immédiatement Ax ∈ E. Pour montrer que x − Ax ∈ E ⊥ , il suffit de montrer que pour tout
i ∈ {1...p}, on a
< x − L(L′ L)−1 L′ x/xi >= 0
ou, de manière équivalente
< L(L′ L)−1 L′ x/xi >=< x/xi >
Or < L(L′ L)−1 L′ x/xi >=< x/L(L′ L)−1 L′ xi >. Il suffit ensuite de remarquer que xi = Lei , et
on a donc < x/L(L′ L)−1 L′ xi >=< x/L(L′ L)−1 L′ Lei >=< x/Lei >=< x/xi > ⋄
Démonstration. Soit A une matrice d’une projection orthogonale sur un s.e.v. E et (x1 , ..., xp ) une base
de E. D’après la proposition précédente, on a alors A = L(L′ L)−1 L′ et on en déduit que A2 = A et
A′ = A.
Réciproquement, soit A une matrice symétrique et idempotente. Notons E = {x ∈ Rn |Ax = x} le sous
espace propre associé à la valeur propre 1. Montrons que A est la matrice de la projection orthogonale
sur E, c’est à dire qu’elle satisfait les deux propriétés ci-dessous :
— ∀x ∈ Rn , Ax ∈ E . C’est une conséquence directe de A2 = A.
— ∀x ∈ Rn , x − Ax ∈ E ⊥ . Soit y ∈ E, montrons que < y|A(x − Ax) >= 0. On a Ay = y et donc
Par définition, rang(A) = dim(Im(A)) = dim(E). De plus, A est symétrique donc diagonalisable dans
une base orthonormée : A = P ′ DP avec D une matrice diagonale et P ′ P = I. D est aussi idempotente
et les valeurs propres sont donc égales à 0 ou 1. On a donc bien tr(D) = rang(D) puis
tr(A) = rang(A) = dim(Im(A)) = dim(E). ⋄
5
4 Théorème de Cochran
Le théorème de Cochran ci-dessous est fondamental en statistique.
et
2
X
kπE (X)k = < X, ui >2 .
Notons alors Y = L′ X de telle manière que Yi =< X, ui >. On a Y ∼ N (0, L′ L) avec L′ L = Ip , et donc
2
Y1 , ..., Yp ∼iid N (0, 1). Par définition de la loi du χ2 , on en déduit que kπE (X)k = kY k2 ∼ χ2p
Corollaire. Soit X ∼ N (µ, σ 2 In ). Si A est une matrice symétrique et idempotente de rang p, alors A
est la matrice associée à une projection orthogonale sur un s.e.v. de dimension p. On a donc
kAX−Aµk2
σ2 ∼ χ2p .
Remarque. On utilise généralement le théorème précédent avec F = E ⊥ . On a alors πE ⊥ = id − πE .
On a alors (Pythagore)
2 2 2
kXk = kπE (X)k + kπE ⊥ (X)k
avec chacun des termes qui suit une loi du χ2 si X ∼ N (0, In ).
6
2. Le fabricant prétend que ses thermomètres fournissent la bonne température en moyenne avec un
écart-type de 0.1o . Un test statistique va permettre de vérifier si cette affirmation est en accord
avec les résultats de l’expérience.
Un cadre probabiliste classique en statistique pour répondre à ces questions est celui des échantillons
gaussiens. On suppose alors que (x1 , ..., xn ) est une réalisation de variables aléatoires (X1 , ..., Xn ) qui
sont iid et gaussiennes (X1 , ..., Xn ) ∼iid N (µ, σ 2 ). La proposition suivante est couramment utilisée pour
faire des tests et des intervalles de confiance pour l’espérance et la variance d’échantillons gaussiens. On
Pn Pn 2
note X̄ = n1 i=1 Xi la moyenne empirique et S 2 = n1 i=1 Xi − X̄ la variance empirique.
Proposition. Soit (X1 , ..., Xn ) ∼iid N (µ, σ 2 ). Alors
2
1. X̄ ∼ N (µ, σn )
2. X̄ et S 2 sont indépendantes
2
3. n Sσ2 ∼ χ2n−1
√
4. n − 1 X̄−µS ∼ Tn−1 .
Démonstration. 1. Il suffit de remarquer que X̄ = CX avec C = n1 (1, ..., 1) et
X = (X1 , ..., Xn )′ ∼iid N (µu, σ 2 In ) avec u = (1, ..., 1)′ .
2. Soit E le sous espace engendré par u. La matrice du projecteur πE est donnée par
1 ... 1
1
A = u(u′ u)−1 u′ = ... . . . ... .
n
1 ... 1
Donc πE (X) = (X̄, ..., X̄)′ . On en déduit que
πE ⊥ (X) = X − πE (X) = (X1 − X̄, ..., Xn − X̄)′ .
D’après le théorème de Cochran, πE (X) et πE ⊥ (X) sont indépendants, et donc X̄ est
2
kπ ⊥ (X)k
indépendant de S 2 = E n .
3. Toujours d’après le théorème de Cochran, on a
2
kπE ⊥ (X) − πE ⊥ (µu)k
∝ χ2dim(E ⊥ )
σ2
2
avec πE ⊥ (µu) = 0, kπE ⊥ (X)k = nS 2 , et dim(E ⊥ ) = n − dim(E) = n − 1.
√ 2
4. D’après 1., on a U = n X̄−µ σ ∼ N (0, 1). D’après 2. et 3., n Sσ2 ∼ χ2n−1 et est indépendant de U .
On conclut en utilisant la définition de la loi de Student. ⋄
7
— Intervalle de confiance pour la variance d’un échantillon gaussien. D’après la
proposition précédente, on a
S2
n 2 ∼ χ2n−1
σ
On en déduit que
S2
P χn−1,α/2 ≤ n 2 ≤ χn−1,1−α/2 = 1 − α
σ
puis que
S2 S2
P n ≤ σ2 ≤ n = 1 − α.
χn−1,1−α/2 χn−1,α/2
h i
S2 S2
Finalement, n χn−1,1−α/2 ; n χn−1,α/2 est un intervalle de confiance au niveau de confiance 1 − α
pour µ.
De la même manière, on peut faire des tests sur la moyenne et la variance des échantillons gaussiens.
— Test sur l’espérance d’un échantillon gaussien. On veut tester l’hypothèse simple
H0 : µ = µ0 contre l’hypothèse alternative H1 : µ 6= µ0
On fixe ensuite un risque de première espèce α (risque de rejeter H0 alors que H0 est vraie). On
utilise la statistique de test
√ X̄ − µ0
T = n−1 .
S
Si H0 est vraie, alors T ∼ Tn−1 et
— Test sur la variance d’un échantillon gaussien. On veut tester l’hypothèse simple
H0 : σ = σ0 contre l’hypothèse alternative H1 : σ 6= σ0
On utilise la statistique de test
S2
X = n 2.
σ0
Si H0 est vraie, alors X ∼ χ2n−1 et
PH0 χn−1,α/2 ≤ X ≤ χn−1,1−α/2 = 1 − α
6 Exercices
Exercice 6.1. 1. Soient X et Y deux v.a. indépendantes de même loi N (0, 1) et (R, Θ) les
coordonnées polaire associées au couple (X, Y ). Montrer que les variables aléatoires R et Θ sont
indépendantes et déterminer leurs lois respectives.
2. En déduire un algorithme permettant de simuler un n-échantillon du couple (X, Y ).
L’implémenter avec R et tracer le nuage de point (xi , yi ).
3. En
déduire
un algorithme
permettant de simuler un n-échantillon de la loi
1 1 0.5
N , . L’implémenter avec R et tracer le nuage de point (xi , yi ).
2 0.5 2
8
Exercice 6.2. Dans cet exercice, X, Y et Z sont trois variables aléatoires indépendantes qui suivent la
loi N (0, 1). Pour chaque question, on donnera le résultat théorique et on le vérifiera en utilisant R et
des simulations.
1. Quelle est la loi de X 2 + Y 2 ?
√
2. Quelle est la loi de 2 √X 2Z+Y 2 ?
2
3. Quelle est la loi de 2 X 2Z+Y 2 ?
(X+Y )2
4. Quelle est la loi de X + Y ? Quelle est la loi de 2 + Z2 ?
X−Y
5. Quelle est la loi de q
(X+Y )2
?
2 +Z 2
Exercice 6.3. Dans cet exercice, X = (X1 , X2 , X3 , X4 )′ désigné un vecteur Gaussien de moyenne
(0, 0, 0, 0)′ et de matrice de variance-covariance identité. On justifiera chaque réponse précisément.
1. Quelle est la loi de (X1 − X2 )2 /2 + (X1 + X2 )2 /2 ?
(X1 −X2 )2
2. Quelle est la loi de (X1 +X2 )2 ?
3. Quel est le projeté orthogonal πE (X) de X sur l’espace vectoriel engendré par les vecteurs
(1, 1, 0, 0)′ et (0, 0, 1, 1)′ ?
2 kπE (X)k2
4. Quelle est la loi de kπE (X)k ? Quelle est la loi de kX−πE (X)k2
?
Exercice 6.4. On considère dans cet exercice un échantillon (X1 , ..., Xn ) de variables aléatoires réelles
indépendantes dans lequel Xi suit une loi N ( pµi , σ 2 ) avec µ et σ des paramètres inconnus et (p1 , ..., pn )
des nombres réels positifs supposés connus. On cherche à construire des estimateurs de µ et σ 2 .
Pn
1. On note M = n1 i=1 pi Xi . Montrer que M est un estimateur sans biais de µ et calculer la
variance de cet estimateur. Quelle est la loi de M ?
′
2. On note E le sous-espace vectoriel de Rn engendré par le vecteur e = p11 , ..., p1n . Calculer
πE (X) et πE ⊥(X).
′
µ µ
3. On note ν le vecteur ν = p1 , ..., pn . Calculer πE ⊥(ν).
4. Déduire des questions précédentes et du théorème de Cochran un estimateur sans biais de σ 2
ainsi qu’une méthode permettant de construire un intervalle de confiance à 95% pour σ 2 . On
pourra utiliser que l’espérance d’une loi du χ2n est n. Comment s’écrit l’estimateur lorsque
p1 = ... = pn = 1 ?
Exercice 6.5. On reprend l’exemple des thermomètres du cours.
1. Donner une fourchette d’estimation à 95% pour la variance et l’écart-type de la température
donnée par les thermomètres. On pourra utiliser la fonction qchisq.
2. Réaliser le test de l’hypothèse
H0 : σ = 0.1 = σ0 contre l’hypothèse alternative H1 : σ 6= σ0
et donner la p-value du test.
3. Ecrire une fonction R v.test=function(x,sig0,alp=.95) qui renvoie la p-value du test ainsi
qu’un intervalle de confiance à 95% pour la variance.
Exercice 6.6. (exercice à réaliser avec R)
1. Soit (X1 , ..., Xn ) un échantillon iid d’une loi N (µ, σ 2 ). Calculer les estimateurs du maximum de
vraisemblance de µ et σ. Quel est le biais de ces estimateurs ?
2. Simuler un échantillon iid de taille n = 100 d’une loi N (µ, σ 2 ) avec µ = 1 et σ = 2. Donner une
estimation de µ et σ basée sur l’échantillon simulé ainsi qu’un fourchette d’estimation à 95% en
utilisant les formules du cours. On pourra utiliser les fonctions qt et qchisq. Vérifier, en
répétant la simulation un grand nombre de fois, que les vraies valeurs de µ et σ sont bien dans la
fourchette d’estimation avec une probabilité de 95%.
9
3. Simuler un échantillon iid de taille n = 100 d’une loi N (µ, σ 2 ) avec µ = 1 et σ = 2. Réaliser un
test de l’hypothèse H0 : E[Xi ] = 2 basé sur l’échantillon simulé. On donnera le résultat sous la
forme d’une p-value. Quelle est la décision pour un risque de première espèce de 5% ? Vérifier,
en répétant la simulation un grand nombre de fois, que H0 est bien acceptée avec une probabilité
de 95%.
10