Académique Documents
Professionnel Documents
Culture Documents
Master 1, EURIA
Année 2021-2022
1 Vecteurs gaussiens
On peut caractériser les vecteurs gaussiens de différentes manières : via la fonction caractéristique, via
la propriété de stabilité par transformation linéaire ou via la densité.
Définition. On dit que le vecteur aléatoire X = (X1 , ..., Xn )0 est gaussien si sa fonction caractéristique
est donnée par
φX (t) = E[exp(i < t, X >)] = exp(i < µ, t >)exp(−1/2t0 Σt)
avec x = (x1 , ..., xn )0 , Σ ∈ Mn (R) une matrice symétrique positive et µ ∈ Rn . On notera X ∼ N (µ, Σ).
Proposition. Un vecteur aléatoire est gaussien si, et seulement si, toute combinaison linéaire de ses
composantes est une v.a. réelle gaussienne.
Proposition. X ∼ N (µ, Σ) avec Σ ∈ Mn (R) une matrice symétrique définie positive si et seulement si
sa densité est donnée par
1 1
f (x1 , ..., xn ) = p exp(− (x − µ)0 Σ−1 (x − µ))
(2π)n/2 det(Σ) 2
1 (x1 − µ1 )2
f (x1 ) = √ exp(− )
σ1 2π 2σ12
1
— n = 2. Posons µ = (µ1 , µ2 )0 . On peut écrire Σ sous la forme
σ12
ρ1,2 σ1 σ2
Σ=
ρ1,2 σ1 σ2 σ22
avec σ1 > 0 et σ2 > 0. On a alors det(Σ) = σ12 σ22 (1 − ρ21,2 ) et Σ est une matrice définie positive si
et seulement si |ρ1,2 | < 1. De plus,
σ22
−1 1 −ρ1,2 σ1 σ2
Σ =
det(Σ) −ρ1,2 σ1 σ2 σ12
On obtient donc
1
f (x1 , x2 ) = q
2πσ1 σ2 (1 − ρ21,2 )
" 2 2 #!
1 x1 − µ1 (x1 − µ1 )(x2 − µ2 ) x2 − µ2
exp − − 2ρ1,2 +
2(1 − ρ21,2 ) σ1 σ1 σ2 σ2
On en déduit que les variables aléatoires X1 , ..., Xn sont indépendantes et que Xi ∼ N (µi , σi2 ) En
particulier, on a
(X1 , ..., Xn ) ∼iid N (µ, σ 2 ) ssi X = (X1 , ..., Xn )0 ∼ N (µ1n , σ 2 In )
Cette remarque est importante pour la suite du cours : elle permet de faire le lien entre les
vecteurs gaussiens et les échantillons gaussiens.
Proposition. Si X ∼ N (µ, Σ) alors µ est l’espérance de X et Σ sa matrice de variance :
— E[X] = (E[X1 ], ..., E[Xn ])0 = µ
— var(X) = E[XX 0 ] − E[X]E[X]0 = E[(X − E[X])(X − E[X])0 ] = Σ
Proposition. Soit X ∼ N (µX , ΣX ) et C ∈ Rp×n , une matrice telle que le produit Y = CX soit bien
défini, alors Y ∼ N (µY , ΣY ) avec µY = CµY et ΣY = CΣX C 0
2
Démonstration. — Prenons C = ei avec ei = (0, ..., 0, 1, 0, ..., 0) le ime vecteur ligne de la base
canonique. En utilisant la proposition précédente, on obtient que Xi = CX ∼ N (µi , σi2 ).
— Prenons C = ei + ej . En utilisant la proposition précédente, on obtient que
Xi + Xj = CX ∼ N (µi + µj , σi2 + σj2 + 2σi,j ). En particulier, on a
Corollaire. Si X = (X1 , ..., Xn )0 est un vecteur gaussien, alors les variables aléatoires Xi et Xj sont
indépendantes si et seulement si cov(Xi , Xj ) = 0.
ei
Démonstration. X ∼ N (µ, Σ) et C = . La proposition précédente implique que
ej
2
Xi µi σi σi,j
CX = ∼N ,
Xj µj σi,j σj2
Si on suppose que σi,j = cov(Xi , Xj ) = 0, alors la densité fX1 ,X2 du couple (X1 , X2 ) s’écrit sous la forme
1 1
fXp+1 ,...,Xn (v) = p exp(− (v − µv )0 Σ−1
2 (u − µv ))
(2π)(n−p)/2 (det(Σ2 )) 2
3
On vérifie ensuite aisément que
fX1 ,...,Xn (x1 , ..., xn ) = fX1 ,...,Xp (x1 , ..., xp )fXp+1 ,...,Xn (xp+1 , ..., xn )
ce qui implique que les vecteurs aléatoires (X1 , ..., Xp ) et (Xp+1 , ..., Xn ) sont indépendants.
Remarque. Le corollaire précédent est en particulier utilisé pour simuler des vecteurs gaussiens
puisqu’il permet de simuler n’importe quel vecteur gaussien à partir d’un échantillon i.i.d. de la loi
normale.
avec U ∼ N (0, 1) et X ∼ χ2n une v.a. indépendante de U . On notera T ∼ T (n) et tn,α le quantile
d’ordre α de la loi Tn .
n
Proposition. Si T ∼ Tn , avec n > 2, alors E[T ] = 0 et var(T ) = n−2 .
Démonstration. Admis
4
Définition. On appelle loi de Fisher à p et q degrés de liberté la loi de
X
p
F = Y
q
avec X ∼ χ2p et Y ∼ χ2q deux v.a. indépendantes. On notera F ∼ Fp,q et fp,q,α le quantile d’ordre α de
la loi Fp,q .
Proposition. fp,q,α = 1/fq,p,1−α
Démonstration. Si F ∼ Fp,q alors 1/F ∼ Fq,p .
3 Projections orthogonales
Définition. Dans la suite du cours, si E désigne un sous-espace vectoriel (s.e.v.) de Rn , on notera πE
la projection orthogonale sur ce s.e.v. pour le produit scalaire euclidien noté < .|. >. La norme
euclidienne sera notée k.k.
On rappelle les caractérisations suivantes des projections orthogonales
— y = πE (x) si et seulement si y ∈ E et x − y ∈ E ⊥
— Minimisation de la distance : πE (x) est l’unique élément de E tel que
kx − πE (x)k = infy∈E kx − yk
Pp
— Si (e1 , ..., ep ) est une base orthonormée de E alors πE (x) = i=1 < x|ei > ei
La proposition suivante donne la matrice de projection orthogonale sur un sous espace vectoriel
lorsqu’on en connaît une base (pas forcément orthonormée). Cette formule sera utilisée pour donner une
formule générale pour les estimateurs de moindres carrés de la modèle de régression linéaire.
Proposition. Soit (x1 , ..., xp ) une base de E (on confond les vecteurs et leurs coordonnées dans la base
canonique) et L la matrice définie par L = (x1 |x2 |...|xp ) (L est la matrice à n lignes et p colonnes dont
la ième colonne est le vecteur xi ). Alors la matrice L0 L est symétrique définie positive et L(L0 L)−1 L0 est
la matrice de l’application linéaire πE dans la base canonique.
Démonstration. — On vérifie aisément que L0 L est symétrique. Montrons qu’elle est définie
2
positive. Soit y = (y1 , ..., yp )0 . On a < y|(L0 L)y >=< Ly|Ly >= kLyk ≥ 0. De plus, si
0
< y|(L L)y >= 0 alors Ly = 0 et donc y = (0, ..., 0) puisque (x1 , ..., xp ) est une base de E (et
donc en particulier les vecteurs sont libres).
— Pour montrer que A = L(L0 L)−1 L0 est la matrice de la projection orthogonale sur E, il suffit de
montrer que, pour tout x ∈ Rn , on a Ax ∈ E et x − Ax ∈ E ⊥ . Par définition de A, on a
immédiatement Ax ∈ E. Pour montrer que x − Ax ∈ E ⊥ , il suffit de montrer que pour tout
i ∈ {1...p}, on a
< x − L(L0 L)−1 L0 x/xi >= 0
ou, de manière équivalente
< L(L0 L)−1 L0 x/xi >=< x/xi >
Or < L(L0 L)−1 L0 x/xi >=< x/L(L0 L)−1 L0 xi >. Il suffit ensuite de remarquer que xi = Lei , et
on a donc < x/L(L0 L)−1 L0 xi >=< x/L(L0 L)−1 L0 Lei >=< x/Lei >=< x/xi >
5
— ∀x ∈ Rn , Ax ∈ E . C’est une conséquence directe de A2 = A.
— ∀x ∈ Rn , x − Ax ∈ E ⊥ . Soit y ∈ E, montrons que < y|A(x − Ax) >= 0. On a Ay = y et donc
Par définition, rang(A) = dim(Im(A)) = dim(E). De plus, A est symétrique donc diagonalisable dans
une base orthonormée : A = P 0 DP avec D une matrice diagonale et P 0 P = I. D est aussi idempotente
et les valeurs propres sont donc égales à 0 ou 1. On a donc bien tr(D) = rang(D) puis
tr(A) = rang(A) = dim(Im(A)) = dim(E).
4 Théorème de Cochran
Le théorème de Cochran ci-dessous est fondamental en statistique.
et X
2
kπE (X)k = < X, ui >2 .
Notons alors Y = L0 X de telle manière que Yi =< X, ui >. On a Y ∼ N (0, L0 L) avec L0 L = Ip , et donc
2
Y1 , ..., Yp ∼iid N (0, 1). Par définition de la loi du χ2 , on en déduit que kπE (X)k = kY k2 ∼ χ2p
Corollaire. Soit X ∼ N (µ, σ 2 In ). Si A est une matrice symétrique et idempotente de rang p, alors A
est la matrice associée à une projection orthogonale sur un s.e.v. de dimension p. On a donc
kAX−Aµk2
σ2 ∼ χ2p .
6
5 Tests et intervalles de confiance pour les échantillons gaussiens
Exemple introductif. Un client commande à son fournisseur un lot de 10000 thermomètres. Afin de
tester la qualité des thermomètres, le client en choisit n = 20 au hasard et les plonge dans un liquide à
20 degrés. Il obtient les résultats suivants :
20.2, 20.4, 20.1, 19.9, 19.7, 20, 20.5, 19.9, 19.9, 20.1, 20.4, 20.6, 20, 19.8, 20.3, 19.6, 19.8, 20.1, 20.3, 20
On note ces observations (x1 , ..., xn ) dans la suite.
Pn
1. La moyenne empirique x̄ = n1 i=1 xi = 20.08 et et l’écart-type empirique
q P
n 2
s = n1 i=1 (xi − x̄) = 0.26 de l’échantillon donnent une information sur qualité des
thermomètres. La construction d’intervalles de confiance avec ces quantités va permettre de
quantifier l’incertitude liée au protocole expérimental (seulement 20 thermomètres sont testés :
est-ce que c’est suffisant pour fournir une information précise sur les thermomètres ?).
2. Le fabricant prétend que ses thermomètres fournissent la bonne température en moyenne avec un
écart-type de 0.1o . Un test statistique va permettre de vérifier si cette affirmation est en accord
avec les résultats de l’expérience.
Un cadre probabiliste classique en statistique pour répondre à ces questions est celui des échantillons
gaussiens. On suppose alors que (x1 , ..., xn ) est une réalisation de variables aléatoires (X1 , ..., Xn ) qui
sont iid et gaussiennes (X1 , ..., Xn ) ∼iid N (µ, σ 2 ). La proposition suivante est couramment utilisée pour
faire des tests et des intervalles de confiance pour l’espérance et la variance d’échantillons gaussiens. On
Pn Pn 2
note X̄ = n1 i=1 Xi la moyenne empirique et S 2 = n1 i=1 Xi − X̄ la variance empirique.
Proposition. Soit (X1 , ..., Xn ) ∼iid N (µ, σ 2 ). Alors
2
1. X̄ ∼ N (µ, σn )
2. X̄ et S 2 sont indépendantes
2
3. n Sσ2 ∼ χ2n−1
√
4. n − 1 X̄−µS ∼ Tn−1 .
1
Démonstration. 1. Il suffit de remarquer que X̄ = CX avec C = n (1, ..., 1) et
X = (X1 , ..., Xn )0 ∼iid N (µu, σ 2 In ) avec u = (1, ..., 1)0 .
2. Soit E le sous espace engendré par u. La matrice du projecteur πE est donnée par
1 ... 1
1 . .
0 −1 0
A = u(u u) u = .. . . ... .
n
1 ... 1
7
La proposition précédente permet de construire des intervalles de confiance pour l’espérance et la
variance d’un échantillon gaussien de taille quelconque et de variance inconnue. Supposons que
(X1 , ..., Xn ) ∼iid N (µ, σ 2 ).
— Intervalle de confiance pour l’espérance d’un échantillon gaussien. D’après la
proposition précédente, on a
√ X̄ − µ
n−1 ∼ Tn−1 .
S
On en déduit que
√
X̄ − µ
P tn−1,α/2 ≤ n − 1 ≤ tn−1,1−α/2 = 1 − α
S
puis que
S S
P X̄ + tn−1,α/2 √ ≤ µ ≤ X̄ + tn−1,1−α/2 √ = 1 − α.
n−1 n−1
h i
S S
Finalement, X̄ + tn−1,α/2 √n−1 ; X̄ + tn−1,1−α/2 √n−1 est un intervalle de confiance au niveau
de confiance 1 − α pour µ.
De la même manière, on peut faire des tests sur la moyenne et la variance des échantillons gaussiens.
— Test sur l’espérance d’un échantillon gaussien. On veut tester l’hypothèse simple
H0 : µ = µ0 contre l’hypothèse alternative H1 : µ 6= µ0
On fixe ensuite un risque de première espèce α (risque de rejeter H0 alors que H0 est vraie). On
utilise la statistique de test
√ X̄ − µ0
T = n−1 .
S
Si H0 est vraie, alors T ∼ Tn−1 et
— Test sur la variance d’un échantillon gaussien. On veut tester l’hypothèse simple
H0 : σ = σ0 contre l’hypothèse alternative H1 : σ 6= σ0
On utilise la statistique de test
S2
X = n 2.
σ0
8
Si H0 est vraie, alors X ∼ χ2n−1 et
PH0 χn−1,α/2 ≤ X ≤ χn−1,1−α/2 = 1 − α
6 Exercices
Exercice 6.1. 1. Soient X et Y deux v.a. indépendantes de même loi N (0, 1) et (R, Θ) les
coordonnées polaire associées au couple (X, Y ). Montrer que les variables aléatoires R et Θ sont
indépendantes et déterminer leurs lois respectives.
2. En déduire un algorithme permettant de simuler un n-échantillon du couple (X, Y ).
L’implémenter avec R et tracer le nuage de point (xi , yi ).
3. En
déduire
un algorithme
permettant de simuler un n-échantillon de la loi
1 1 0.5
N , . L’implémenter avec R et tracer le nuage de point (xi , yi ).
2 0.5 2
Exercice 6.2. Dans cet exercice, X, Y et Z sont trois variables aléatoires indépendantes qui suivent la
loi N (0, 1). Pour chaque question, on donnera le résultat théorique et on le vérifiera en utilisant R et
des simulations.
1. Quelle est la loi de X 2 + Y 2 ?
√
2. Quelle est la loi de 2 √X 2Z+Y 2 ?
2
3. Quelle est la loi de 2 X 2Z+Y 2 ?
(X+Y )2
4. Quelle est la loi de X + Y ? Quelle est la loi de 2 + Z2 ?
X−Y
5. Quelle est la loi de q
(X+Y )2
?
2 +Z 2
Exercice 6.3. Dans cet exercice, X = (X1 , X2 , X3 , X4 )0 désigné un vecteur Gaussien de moyenne
(0, 0, 0, 0)0 et de matrice de variance-covariance identité. On justifiera chaque réponse précisément.
1. Quelle est la loi de (X1 − X2 )2 /2 + (X1 + X2 )2 /2 ?
(X1 −X2 )2
2. Quelle est la loi de (X1 +X2 )2 ?
3. Quel est le projeté orthogonal πE (X) de X sur l’espace vectoriel engendré par les vecteurs
(1, 1, 0, 0)0 et (0, 0, 1, 1)0 ?
2 kπE (X)k2
4. Quelle est la loi de kπE (X)k ? Quelle est la loi de kX−πE (X)k2
?
Exercice 6.4. On considère dans cet exercice un échantillon (X1 , ..., Xn ) de variables aléatoires réelles
indépendantes dans lequel Xi suit une loi N ( pµi , σ 2 ) avec µ et σ des paramètres inconnus et (p1 , ..., pn )
des nombres réels positifs supposés connus. On cherche à construire des estimateurs de µ et σ 2 .
Pn
1. On note M = n1 i=1 pi Xi . Montrer que M est un estimateur sans biais de µ et calculer la
variance de cet estimateur. Quelle est la loi de M ?
0
2. On note E le sous-espace vectoriel de Rn engendré par le vecteur e = p11 , ..., p1n . Calculer
πE (X) et πE ⊥(X).
0
µ µ
3. On note ν le vecteur ν = p1 , ..., pn . Calculer πE ⊥(ν).
4. Déduire des questions précédentes et du théorème de Cochran un estimateur sans biais de σ 2
ainsi qu’une méthode permettant de construire un intervalle de confiance à 95% pour σ 2 . On
pourra utiliser que l’espérance d’une loi du χ2n est n. Comment s’écrit l’estimateur lorsque
p1 = ... = pn = 1 ?
9
Exercice 6.5. On reprend l’exemple des thermomètres du cours.
1. Donner une fourchette d’estimation à 95% pour la variance et l’écart-type de la température
donnée par les thermomètres. On pourra utiliser la fonction qchisq.
2. Réaliser le test de l’hypothèse
H0 : σ = 0.1 = σ0 contre l’hypothèse alternative H1 : σ 6= σ0
et donner la p-value du test.
3. Ecrire une fonction R v.test=function(x,sig0,alp=.95) qui renvoie la p-value du test ainsi
qu’un intervalle de confiance à 95% pour la variance.
Exercice 6.6. (exercice à réaliser avec R)
1. Soit (X1 , ..., Xn ) un échantillon iid d’une loi N (µ, σ 2 ). Calculer les estimateurs du maximum de
vraisemblance de µ et σ. Quel est le biais de ces estimateurs ?
2. Simuler un échantillon iid de taille n = 100 d’une loi N (µ, σ 2 ) avec µ = 1 et σ = 2. Donner une
estimation de µ et σ basée sur l’échantillon simulé ainsi qu’un fourchette d’estimation à 95% en
utilisant les formules du cours. On pourra utiliser les fonctions qt et qchisq. Vérifier, en
répétant la simulation un grand nombre de fois, que les vraies valeurs de µ et σ sont bien dans la
fourchette d’estimation avec une probabilité de 95%.
3. Simuler un échantillon iid de taille n = 100 d’une loi N (µ, σ 2 ) avec µ = 1 et σ = 2. Réaliser un
test de l’hypothèse H0 : E[Xi ] = 2 basé sur l’échantillon simulé. On donnera le résultat sous la
forme d’une p-value. Quelle est la décision pour un risque de première espèce de 5% ? Vérifier,
en répétant la simulation un grand nombre de fois, que H0 est bien acceptée avec une probabilité
de 95%.
10