Probabilités et statistiques

8 mars 2016
Résumé
Table des matières

1 Probabilités discrètes 3
2 Intégrale de Lebesgue 4
3 Variables aléatoires réelles 5
3.1 Calculs de lois . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
4 Loi forte des grands nombres 6
4.1 Evénements indépendants . . . . . . . . . . . . . . . . . . . . 6
4.2 Variables aléatoires réelles indépendantes . . . . . . . . . . . . 6
4.3 Lemme fondamental de la convergence presque sûre . . . . . . 6
5 Vecteurs aléatoires 7
5.1 Notions et propriétés . . . . . . . . . . . . . . . . . . . . . . . 7
5.2 Application à l'indépendance . . . . . . . . . . . . . . . . . . . 9
5.3 Calcul de loi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
5.4 Espérance et covariance . . . . . . . . . . . . . . . . . . . . . 9
5.4.1 Espérance d'un vecteur aléatoire . . . . . . . . . . . . . 9
5.4.2 Matrice de covariance d'un vecteur aléatoire . . . . . . 9
5.5 Fonctions caractéristiques . . . . . . . . . . . . . . . . . . . . 11
5.6 Vecteurs gaussiens . . . . . . . . . . . . . . . . . . . . . . . . 13
6 Théorème limite centrale 15
6.1 Convergence en loi . . . . . . . . . . . . . . . . . . . . . . . . 15
6.2 Enoncé du théorème de limite central . . . . . . . . . . . . . . 18
7 Statistiques 19

1
Introduction

2
Chapitre 1
Probabilités discrètes

3
Chapitre 2
Intégrale de Lebesgue

4
Chapitre 3
Variables aléatoires réelles

3.1 Calculs de lois

Proposition 3.1. Soit X : Ω → R une variable aléatoire réelle de loi P .

Soit µ : B(R) → [0, 1] une probabilité tel que, pour toute fonction h : R →
X

R mesurable positive,
Z
E(h(X)) = h(x)dµ (3.1)
Alors µ = P .
R

Démonstration.
Exercice 3.1. Soit X une variable aléatoire réelle. Calculer la loi de Y pour
les cas suivants.
 X ∼ N (0, 1) et Y := X .2

 X ∼ U([0, 1]) et Y := max(X, −X).

 X ∼ C et Y := . 1
X

5
Chapitre 4
Loi forte des grands nombres

4.1 Evénements indépendants

4.2 Variables aléatoires réelles indépendantes

4.3 Lemme fondamental de la convergence presque

sûre

6
Chapitre 5
Vecteurs aléatoires

Dans ce chapitre, on considère (Ω, A, P ) un espace de probabilité. Rap-

pelons que P : (Ω, A) → [0, 1].

5.1 Notions et propriétés

Rappelons qu'une variable aléatoire réelle n'est qu'une fonction mesurable

de l'espace mesurable (Ω, A) dans l'espace mesurable (R, B(R)).
Dénition 5.1. Un vecteur aléatoire X dans Rd est un d-uplet (X1 , · · · , Xd )
de variable aléatoire réelle.
On note X = (X , · · · , X ).
1 d

Il en découle immédiatement la proposition suivante.

Proposition 5.2. X = (X1 , · · · , Xd ) est un vecteur aléatoire ssi X : (Ω, A) →
est mesurable.
(Rd , B(Rd ))
Démonstration.
Nous dénissons alors naturellement la loi d'un vecteur aléatoire.
Dénition 5.3. Soit X = (X1 , · · · , Xd ) un vecteur aléatoire.
On dénit la loi de X , noté PX comme la fonction
PX : (Rd , B(Rd )) → [0, 1] (5.1)
A → PX (A) (5.2)
où
PX (A) := P (X −1 (A)) (5.3)
:= P ({ω ∈ Ω | X(ω) ∈ A}) (5.4)
:= P (X ∈ A) (5.5)

7
 On utilisera plus souvent la notation P (X ∈ A).
On note alors X ∼ P . X

Proposition 5.4. Soit X = (X , · · · , X ) un vecteur aléatoire.

Alors P est une probabilité sur l'espace (R , B(R )).
1 d
d d
X

Démonstration.
Comme nous avons fait pour les variables aléatoires réelles dans le chapitre
3, nous allons discerner deux types de vecteurs aléatoires.
Dénition 5.5. Soit X = (X , · · · , X ) un vecteur aléatoire.
1. On dit que X est (un vecteur aléatoire) discret si sa loi est dis-
1 d

crète.
2. On dit que X est (un vecteur aléatoire) continue si sa loi est
continue.
Dénition 5.6. Soit X = (X , · · · , X ) un vecteur aléatoire. Les lois des
X , 1 ≤ k ≤ d, sont appelées les lois marginales, et la loi de X est appelée
1 d

loi conjointe.
k

Proposition 5.7. Soit X = (X , · · · , X ) un vecteur aléatoire.

Soit A ∈ B(R ). Alors
1 d
d

k−1 fois d−k fois

(5.6)
z }| { z }| {
PXk (A) = PX (R × · · · × R ×A × R × · · · × R)
Démonstration.
Corollaire 5.8. Soit X = (X, Y ) un vecteur aléatoire discret.
Alors, les assertions suivantes sont équivalentes.
1. X ⊥ Y .
2. les produits des probabilités des lois marginales donnent la loi conjointe.
Démonstration.
Nous pouvons alors généraliser le théorème du transfert vu dans le cas
des variables aléatoires réelles.
Théorème 5.9 (Théorème du transfert). Soit
X = (X1 , · · · , Xd ) un vecteur
aléatoire. Soit h : (R , B(R )) → (R, B(R)) mesurable.
d d

Alors :
Z Z
h(X)dP = h(x)dPX (x) (5.7)
Ω Rd

Démonstration.
8
5.2 Application à l'indépendance

5.3 Calcul de loi

5.4 Espérance et covariance

5.4.1 Espérance d'un vecteur aléatoire

Dénition 5.10. Soit X = (X1 , · · · , Xd ) un vecteur aléatoire intégrable.

L'espérance de X est le d-uplet réel E(X) := (E(X1 ), · · · , E(Xd )).
Proposition 5.11. Soient X = (X , · · · , X ) un vecteur aléatoire intégrable
de (Ω, A) dans (R , B(R )) et A ∈ M (R)
1 d
d d

Alors Y := AX est un vecteur aléatoire intégrable de (Ω, A) dans (R , B(R

d0 ×d
d0 d0
))
et E(Y ) = A.E(X).
Démonstration.
5.4.2 Matrice de covariance d'un vecteur aléatoire

Dénition 5.12. Soient X et Y deux variables aléatoires de carré intégrable.

La covariance de X et Y , notée Cov(X, Y ), est dénie par
Cov(X, Y ) = E((X − E(X))(Y − E(Y ))) (5.8)
Proposition 5.13. Soient X, Y et Z trois variables aléatoires de carré in-
tégrable, et deux réels a et b.
1. Cov(X, X) = V ar(X)
2. Cov(X, Y ) = E(XY ) − E(X)E(Y )
3. Cov(X, Y ) = Cov(Y, X)
4. Cov(aX + bY, Z)p = aCov(X, Z) + bCov(Y, Z)
5. |Cov(X, Y )| ≤ V ar(X) V ar(Y )
p

Démonstration.
Proposition 5.14. Soient X , · · · , X des variables aléatoires réelles de carré
intégrable.
1 d

Alors
d
(5.9)
X X
V ar(X1 + · · · + Xd ) = V ar(Xi ) + 2 Cov(Xj , Xk )
i=1 1≤j<k≤d

9
Démonstration.
Dénition 5.15. Soient X, Y deux variables aléatoires réelles.
On dit que X et Y sont non corrélés si Cov(X, Y ) = 0.
Remarque. Soient X, Y deux variables aléatoires réelles.
Alors, les assertions suivantes sont équivalentes.
1. X et Y sont non corrélés
2. E(XY ) = E(X)E(Y )
3. V ar(X + Y ) = V ar(X) + V ar(Y ).
Remarque. Soient X, Y deux variables aléatoires réelles.
1. Si X ⊥ Y alors X et Y sont non corrélés.
Dénition 5.16. Soit X = (X , · · · , X ) un vecteur aléatoire de carré inté-
grable.
1 d

On appelle matrice de covariance de X la matrice K donnée par

X

(Cov(Xi , Xk ))1≤i,k≤d
On a K X .
∈ Md (R)
Proposition 5.17. Soit X = (X , · · · , X ) un vecteur aléatoire de carré
intégrable.
1 d

1. K est une matrice carrée, symétrique, avec les variances des X sur
sa diagonale.
X k

2. K diagonale ssi les X sont deux à deux indépendants.

X k

Démonstration.
Lemme 5.18. Soit X = (X , · · · , X ) un vecteur aléatoire de carré inté-
grable.
1 d

Alors K = E((X − E(X))(X − E(X)) ).

X
t

Démonstration.
Proposition 5.19. Soit X = (X , · · · , X ) un vecteur aléatoire de carré
intégrable.
1 d

Soit A ∈ M (R).
Alors Y := A.X (resp. Y = X.A) est de carré intégrable et K = K =
d

A.K .A (resp K = K = A .K .A)

Y A.X
t t
X Y X.A X

Démonstration.
10
Dénition 5.20. Une matrice carrée M ∈ Md (R) est dite semi-dénie
positive si pour tout a ∈ Rd , at .M.a ≥ 0.
Proposition 5.21. Soit X = (X , · · · , X ) un vecteur aléatoire de carré
intégrable.
1 d

Alors K est semi-dénie positive.

X

Démonstration.
Théorème 5.22. Soit µ ∈ R et K une matrice d × d symétrique, semi-
d

dénie positive.
Alors il existe un vecteur aléatoire X = (X , · · · , X ) tel que E(X) = µ
et K = K .
1 d
X

Démonstration.
5.5 Fonctions caractéristiques

On souhaite caractériser les lois d'un vecteur aléatoire comme nous l'avons
déjà fait avec les variables aléatoires dans le chapitre 3.
Nous souhaitons donner des critères permettant de déterminer quelle loi
suit un vecteur aléatoire donné.
Dénition 5.23. Soit X : Ω → R une variable aléatoire.
On dénit la fonction caractéristique de X par
φX : R → C : t → φX (t) = E(eitX ) (5.10)
Z
= eitX dP (5.11)
ZΩ
= eitx dPX (5.12)
R

Remarque. 1. 5.12 est une intégrale complexe. On a donc

Z Z Z
itx
e dPX = cos(tx) + i sin(tx) (5.13)
R R R

2. φ est mesurable, et e est bornée, donc pour toute variable aléatoire

itx

réelle, φ existe.
X

3. Si X ∼ ρ où ρ est une densité, alors φ (t) = R e ρ(x)dx

X
itx
X R

Exemple 5.1. 1. Bernouilli B(1, p) : φ (t) = (1 − p) + pe

X
it

11
 2. Binomiale B(n, p) : φ (t) = ((1 − p) + pe ) it n

3. Poisson P(λ) : φ (t) = e

X
λ(eit −1)

4. Exponentielle e(λ) : φ (t) =

X
λ
X

5. Cauchy : φ (t) = e .
λ−it
−|t|
X

6. Uniforme : φ (t) =X
eitb −eita
it(b−a)

Proposition 5.24. 1. φ (0) = 1

2. |φ (t)| ≤ 1
X

3. φ est continue
X

4. φ (t) = e φ (at)
X
itb
aX+b X

Théorème 5.25. Soit X une variable aléatoire. Alors :

1. Si X ∼ N (0, 1), alors φ (t) = e . X
2
− t2

2. Si X ∼ N (µ, σ ), alors φ (t) = e

2
. X
2 2
itµ− σ 2t

Théorème 5.26. Soient X et Y deux variables aléatoires réelles. On a

L
X = Y ⇔ φX = φY (5.14)
En d'autres termes, deux variables aléatoires suivent la même loi si et
seulement si leur fonction caractéristique sont égales.
Théorème 5.27. Soient X et Y deux variables aléatoires réelle tel que X ⊥
Y . Alors

φX+Y (t) = φX (t) φY (t) (5.15)

Proposition 5.28. 1. E(|X|) < ∞, alors φ ∈ C et E(X) = −iφ (0). 1 0

2. Si E(|X| ) < ∞, alors φ ∈ C et E(X ) = (−i) φ (0).

X X
n n n n n0
X X

Généralisons maintenant la dénition de fonction caractéristique aux vec-

teurs aléatoires.
Dénition 5.29. Soit X = (X1 , · · · , Xd ) un vecteur aléatoire. On dénit la
fonction caractéristique de X comme la fonction
φX : Rd → C (5.16)
u = (u1 , · · · , ud ) → E(ei(u1 X1 +···+ud Xd ) ) (5.17)
Théorème 5.30. Soient X , · · · , X d variables aléatoires réelles.
Posons X = (X , · · · , X ).
1 d

Alors, les assertions suivantes sont équivalentes

1 d

12
 1. Pour tout u = (u , · · · , u ) ∈ R ,
1 d
d

φX (u) = φX1 (u1 ) · · · φXd (ud ) (5.18)

2. Les X sont indépendants.
i

5.6 Vecteurs gaussiens

Dénition 5.31. Une variable aléatoire X est dite gaussienne si X ∼

N (µ, σ ) où σ ≥ 0 avec N (µ, 0) = δ .
2 2

On dit que X est dégénérée si X ∼ δ , ie σ = 0.

µ
µ

Dénition 5.32. Un vecteur aléatoire X = (X , · · · , X ) est gaussien si

toute combinaison linéaire réelle des X est gaussienne ie pour tout a , · · · , a ∈
1 d
i 1 d

R, a X est gaussienne.
d
X
i i
i=1

Remarque. Si X = (X , · · · , X ) est un vecteur gaussien, alors chaque X

est gaussienne. La réciproque étant fausse si nous n'avons pas l'indépendance.
1 d i

Proposition 5.33. Soit X = (X , · · · , X ) un vecteur aléatoire.

1. Si X est gaussien, alors pour toute matrice A ∈ M (R), le vecteur
1 d

aléatoire Y := AX est gaussien.

d
t

2. Si les X sont iid de loi gaussienne, alors X est gaussien.

k

Remarque. Deux variables aléatoires X, Y suivant une loi N (0, 1) ne forment

jamais un vecteur aléatoire (X, Y ) gaussien.
Théorème 5.34. Soit M ∈ M (R) symétrique dénie semi-positive. Alors
il existe un vecteur gaussien X tel que K = M et E(X) = µ.
d
X

Proposition 5.35. Soit X ∼ N (µ, K) un vecteur gaussien. Les assertions

suivantes sont équivalentes.
1. X a une densité.
2. K est inversible.
3. K est dénie positive.
De plus, la densité de X est donnée par
1 1
(5.19)
−1 −1 t
ρ(x) = √ d p e 2 (x−µ)K (x−µ)
2π det(K)
pour tout x ∈ R si X = (X , · · · , X ).
d
1 d

13
Proposition 5.36. La fonction caractéristique d'un vecteur gaussien X =
(X1 , · · · , Xd ) est donné par
(5.20)
t 1 t
φX (u) = eiuE(X) − 2 uKX u
pour tout u ∈ R . d

Corollaire 5.37. La loi d'un vecteur gaussien est déterminée par son espé-
rance et sa matrice de covariance.
Démonstration. En eet, la fonction caractéristique permet de dénir la loi.
Comme la fonction caractéristique est déterminée par la matrice de cova-
riance et l'espace du vecteur gaussien, nous avons que la loi est déterminée
par ces deux dernières.
Exemple 5.2. Soient X ∼ N (0, 2) et Y ∼ N (1, 3) deux variables aléatoires
indépendantes.
Posons Z = (X, Y ).
On a Z qui est un vecteur gaussien car X et Y sont indépendants, et X
et Y sont des variables aléatoires gaussiennes..
On a alors E(Z) := (E(X), E(Y )) = (0, 1) et
   
V ar(X, X) Cov(X, Y ) 2 0
KZ = = (5.21)
Cov(Y, X) V ar(Y, Y ) 0 3

On en déduit que .
 
2 0
Z ∼ N (E(Z), KZ ) = N ((0, 1), )
0 3

Proposition 5.38. Soit X = (X , · · · , X ) un vecteur aléatoire tel que X ∼

N (µ, K).
1 d

Alors Y := AX (A ∈ M (R)) suit la loi N (Aµ , AKA ,).

t
d0 ×d
t t

Théorème 5.39. Soit X = (X , · · · , X ) un vecteur aléatoire gaussien. Les

assertions suivantes sont équivalentes.
1 d

1. Les X sont indépendants.

2. Les X sont non-corrélés deux à deux.
k

3. K est diagonale.
k

14
Chapitre 6
Théorème limite centrale

6.1 Convergence en loi

Dénition 6.1. Soit (X ) une suite de variables aléatoires réelles et soit

X une autre variable aléatoire réelle.
n n∈N

On dit que X converge en loi vers X si pour toute fonction f : R → R

continue et bornée, on a
n

Z Z
f (x)dPXn → f (x)dPX (6.1)
On dit aussi que X converge en distribution ou converge faible-
R R

ment ou encore converge étroitement vers X .

n

Remarque. Si f (x) = e , on obtient

itx

Z Z
itx
e dPXn → eitx dPX (6.2)
R R

C'est-à-dire
φXn (t) → φX (t) (6.3)
Donc, si X converge en loi vers X , alors la suite φ converge simple-
ment vers φ .
n Xn
X

Remarque. 1. Les variables aléatoires X ne sont pas forcément dé-

nies sur un même Ω. Nous ne regardons que la loi à travers l'intégrale.
n

Cela diérencie cette notion de convergence par rapport aux autres car
les autres demandaient que les variables de la suite soient dénies sur
le même Ω.
15
 2. L'ensemble des fonctions continues bornées de R dans R, noté C (R)
forment un espace de Banach.
b

Remarque. On a X converge en loi vers X ssi pour toute fonction f ∈

n
Cb (R)
Z Z
f (Xn )dPXn → f (X)dPX (6.4)
ou de manière équivalente, en se rappelant la dénition d'espérance d'une
Ω Ω

variable aléatoire réelle

E(f (Xn )) → E(f (X)) (6.5)
Quel est le lien entre la convergence en loi et les autres ?
Proposition 6.2. Soit (X ) une suite de variables aléatoires réelles et X
une autre variable aléatoire réelle.
n n∈N

Si X converge en loi vers X , alors X converge en probabilité vers X .

n n

Démonstration.
Remarque. La réciproque est fausse. En eet, si on prend la suite X =
(−1) où X est une variable aléatoire réelle de loi normale centrée réduite,
n
n

alors X converge en loi vers X ainsi que −X . Or, la limite de la converge

en proba est unique.
n

En particulier, nous venons de remarquer à travers cet exemple que la

limite d'une suite qui converge en loi n'est pas unique.
On obtient quand même quelque résultat pour des convergences spéci-
ques.
Proposition 6.3. Soit (X ) une suite de variables aléatoires réelles et c
une constante.
n n∈N

Si X converge en loi vers c, alors X converge en probabilité vers c.

n n

Démonstration.
Donnons une équivalence lorsque nous travaillons avec des variables aléa-
toires réelles discrètes.
Proposition 6.4. Soit (X ) une suite de variables aléatoires réelles dis-
crètes et X une autre variable aléatoire réelle discrète.
n n∈N

Alors, les assertions suivantes sont équivalentes.

1. X converge en loi vers X .
n

16
 2. pour tout k ∈ N, P (X n = k) → P (X = k)
Démonstration.
Nous avons remarqué précédemment que si une suite Xn convergeait en
loi vers X , alors la suite des fonctions caractéristiques des Xn convergeait
simplement vers la fonction caractéristique de X .
En réalité, la condition est susante, et nous obtenons donc le théorème
suivant.
Théorème 6.5 (Paul-Lévy). Soit(Xn )n∈N une suite de variables aléatoires
réelles et X une autre variable aléatoire réelle.
Alors, les assertions suivantes sont équivalentes.
1. X converge en loi vers X .
2. la suite des fonctions caractéristiques φ convergent simplement vers
n

φ , la fonction caractéristique de X .
Xn
X

Démonstration.
Donnons une autre équivalence, mais par rapport aux fonctions de répar-
tition.
Théorème 6.6. Soit (X ) une suite de variables aléatoires réelles et X
une autre variable aléatoire réelle tel que F est continue.
n n∈N

Alors, les assertions suivantes sont équivalentes.

X

1. X converge en loi vers X .

2. la suite des fonctions de répartition F convergent simplement vers
n

F , la fonction de répartition de X .
Xn
X

Démonstration.
Cependant, nous pouvons restreindre l'hypothèse de continuité en certains
points.
Proposition 6.7. Soit (X ) une suite de variables aléatoires réelles et X
une autre variable aléatoire réelle tel que X converge en loi vers X .
n n∈N

1. Si F est continue en x, alors P (X ≤ x) → P (X ≤ x).

n

2. Si F est continue en x, alors P (X < x) → P (X < x).

X n

3. Si F est continue en a et b, alors P (X ∈ [a, b]) → P (X ∈ [a, b]).

X n

En particulier, on a les assertions suivantes qui sont équivalentes, décou-

X n

lant de cette proposition et de la précédente.

1. X converge en loi vers X .
2. pour tout a, b ∈ R, P (X ∈ [a, b]) → P (X ∈ [a, b]).
n

Démonstration.
17
6.2 Enoncé du théorème de limite central

Théorème 6.8. Soit (X ) une suite de variables aléatoires réelles iid.

Posons E(X.) = µ, V ar(X.) = σ et
n n∈N
2

n
(6.6)
X
Sn = Xn
i=1

Alors, la suite
∼ Sn − nµ
Sn := √ (6.7)
σ n
converge normalement vers N (0, 1), la loi normale centrée réduite.
Démonstration.

18
Chapitre 7
Statistiques

19