Université de Sousse 1ère année

Ecole Nationale d’Ingénieurs de Sousse IA, EI

Mr Maher Raddaoui

Probabilité et statistique
Chapitre 2 : Echantillonnage et estimation

Plan :

- Introduction
- Différents types de Convergences
- Théorème Central limite et applications
- Echantillonnage
- Estimateur ponctuel
- Qualité d’un estimateur (biais, consistance, efficacité)
- Estimateur de maximum de vraisemblance
- Estimateur Bayésien

1. Introduction

La procédure d’estimation s’articule selon le schéma suivant :

Soit une population décrite On extrait un Echantillon On Estime θ à

par une variable aléatoire X
de loi de probabilité
connue dépendant d’un
paramètre θ inconnue a
estimer.
formé de n observations l’aide d’une v.a
indépendantes (X1 = x1 ,…, Xn = 
 = T(X1 ,…, Xn)
xn) de la v.a X
Les v.a Xi sont toutes de même
loi de probabilité que X

Exemple : Estimation d’une moyenne

Considérons une ampoule électrique (population) dont nous voulons estimer sa durée de vie
moyenne m. L’ampoule est décrite par sa durée de vie (v.a X), la grandeur θ inconnue à
estimer est la durée de vie moyenne m. On prélève au hasard un échantillon de 50
ampoules identiques (n = 50). On réalise une expérience pour observer les durées de vie de
ces ampoules. Quelle estimation de m peut-on observer ?
2. Différents types de convergences
2.1. Convergences en probabilité

Définition : On considère une suite (Xn) d’une v.a. définie sur le même espace de probabilité
(Ω, P) et X une autre v.a. définie sur le même espace de probabilité (Ω, P).

On dit que la suite (Xn) converge en probabilité vers X si :

   0, lim P( X n − X  ) = 0
n → +

Théorème 1 : Soit (Xn) une suite de v.a. définies sur le même espace de probabilité (Ω, P)
admettant des espérances et des variances vérifiant :

lim E(X n ) = m et lim V(X n ) = 0

n → + n → +

Alors les (Xn) convergent en probabilité vers m.

Théorème 2 : Loi faible des grands nombres

Soit une suite (Xn) de v.a. indépendantes définies sur le même espace de probabilité (Ω, P)
ayant une même espérance mathématique m et des variances vérifiant :

1 n 2
lim  i = 0
n → + n 2 i=1

On pose Sn = X1 + … + Xn alors S n converge en probabilité vers m.

n

2.2. Convergences en moyenne quadratique

Définition : On considère une suite (Xn) d’une v.a. définie sur le même espace de probabilité
(Ω, P) et X une autre v.a. définie sur le même le même espace de probabilité (Ω, P).
On dit que la suite (Xn) converge en moyenne quadratique vers X si :

lim E((X n − X) 2 ) = 0
n → +

Propriétés :

1. La convergence en moyenne quadratique entraîne la convergence en probabilité.

2. Si (Xn) vérifie :

lim E(X n ) = m et lim V(X n ) = 0

n → + n → +

alors les (Xn) convergent en moyenne quadratique vers m.

2.3. Convergences en loi

Définition : Soit (Xn) et X des v.a. sur un même espace probabilisé (Ω, P), de fonctions de
répartition respectives Fn et F ; on dit que les (Xn) convergent vers X en loi (on note
L
X n → X ) si :

En tout point x où F est continue, lim Fn ( x ) = F( x )

n → +

Propriétés :

1. La convergence en probabilité entraîne la convergence en loi.

2. Si (Xn) et X sont des v.a discrètes, alors Xn converge en loi vers X ssi :

 x  R, lim P(X n = x) = P(X = x)

n → +

3. Théorème Central limite et applications

Théorème :

Soit une suite (Xn) de variables aléatoires indépendantes définies sur le même espace
probabilisé (Ω, P), suivant une même loi de probabilité de même espérance m et de même
écart-type σ, avec (σ ≠ 0). Si on considère la somme Sn = X1 + … + Xn, alors :

E(S n ) = n.m et (Sn ) =  n

Sn − n.m L
et → v.a. de loi N(0,1)
 n

Application 1 : Convergence de P vers N

Soit (Xn) une suite de variables aléatoires suivant des lois de Poisson de paramètres λn.

Xn − n L
Si lim  n = , alors → v.a. de loi N(0,1)
n → + n

Application 1 : Convergence de B vers N

Soit (Xn) une suite de variables aléatoires suivant des lois Binomiales de paramètres (n,p).

X n − np L L
alors → v.a. de loi N(0,1) ou encore X n → v.a. de loi N(np, np (1 − p) )
np (1 − p)
4. Echantillonnage

Pour étudier un phénomène aléatoire, on a souvent intérêt à observer plusieurs réalisations

indépendantes de celui-ci. On parle alors d’échantillon ou d’échantillonnage.

4.1. Définitions :

1. Soit X une variable aléatoire sur un espace de probabilité (Ω, P). Un échantillon de X
de taille n est un n-uplet (X1, …, Xn) de variables aléatoires i.i.d (indépendantes et
identiquement distribuées (de même loi que X)). Une réalisation de cet échantillon
est un n-uplet de réels (x1, …, xn).

2. On appelle statistique sur un n-échantillon une fonction de (X1, …, Xn).

4.2. Moyenne empirique

On appelle moyenne empirique, la statistique notée X définie par :

1 n
X =  Xi
n i =1

Conséquence : Soit X une v.a. de moyenne m et d’écart type σ, on a :

2
E(X) = m et V(X) =
n

L 
et X → v.a. de loi N(m, )
n

Remarque : Toute somme de v.a normales indépendantes est une v.a. normale. Ainsi, si X

est v.a de loi N (m,σ) alors pour tout entier n, X est une v.a de loi N(m, )
n

4.3. Variance empirique :

2
On appelle variance empirique, la statistique notée S (X) définie par :

2 1 n
S (X) =  (X i − X)
2

n i=1
5. Estimateur ponctuel

Il s’agit d’estimer certaines caractéristiques de la v.a mère X (moyenne, variance, fonction de

répartition) à l’aide d’une série d’observations x1, x2, …. , xn.

A partir des caractéristiques d’un échantillon, que peut-on déduire des caractéristiques de
la population dont il est issu ?
L’estimation consiste à donner des valeurs approximatives aux paramètres d’une population à l’aide
d’un échantillon de n observations issues de cette population. On peut se tromper sur la valeur
exacte, mais on donne la « meilleure valeur » possible que l’on peut supposer.

On souhaite alors estimer un paramètre θ d’une population (θ peut être la moyenne m, l’écart type
σ, ….). Un estimateur ponctuel de θ est une statistique T, fonction de (X1, X2, …., Xn), l’estimation de
ce paramètre θ sera donnée par cette fonction T lors de notre série d’observations.

Exemple : Pour estimer l’espérance E(X) de la loi X, un estimateur naturel est la moyenne empirique
X qui est la statistique T(X1, X2, …., Xn) donnée par :

1 n
T(X1, X2, …., Xn) = X =  Xi
n i =1
6. Qualité d’un estimateur (biais, consistance, efficacité)
La qualité d’un estimateur se mesure par les trois grandeurs suivantes :

6.1. Biais d’un estimateur

On appelle biais de l’estimateur T pour le paramètre θ la quantité :
b  (T ) = E (T ) − 
Un estimateur T est dit sans biais si E(T) = θ
6.2. Convergence d’un estimateur
Un estimateur est dit convergent si :
lim E (T) = 
n → +

6.3. consistance d’un estimateur

Un estimateur est dit consistant si E(T) converge en probabilité vers θ lorsque n tend vers
l’infini.
P
E(T) → 
n → +

Théorème : Si T est convergent et de variance tendant vers 0 lorsque n tend vers l’infini
alors T est consistant.
Remarques :
1. La qualité d’un estimateur se mesure également par l’erreur quadratique moyenne
(ou risque quadratique) définie par :

E((T – θ)2) = Var (T) + (E(T) – θ)2

2. Entre deux estimateurs sans biais, le «meilleur sera celui dont la variance est
minimale (on parle d’efficacité de l’estimateur).
7. Quelques estimateurs classiques

1. X est un estimateur sans biais de la moyenne m donc automatiquement

convergent. La variance de X est donnée par Var ( X) = 

2
qui
n
2
2. S est un estimateur consistant de σ2, mais biaisé.

n 2
3. S 2 = S est un estimateur sans biais et consistant de σ2. Son estimation est
n −1
n
s2 =  e2 où σe est l’écart-type observé dans une réalisation de l’échantillon.
n −1

1 n
Remarque : Si la moyenne m de X est connue, T =  (X i − m) est un meilleur estimateur
2

n i =1
2
de σ2 que S 2. Cet estimateur est noté  n
8. Estimateur du maximum de vraisemblance
Soit X une v.a. réelle de loi paramétrique θ (discrète ou continue), dont on veut estimer le
paramètre θ. Alors on définit une fonction f telle que :

f  ( x) si X est une v.a continue de densité f

f ( x; ) = 
P (X = x) si X est une v.a discrète de probabilit é ponctuelle P

Définition : On appelle fonction de vraisemblance de θ pour une réalisation (x1, …, xn) d’un
échantillon, la fonction de θ :
n
L( x 1 , ... , x n ) = f ( x 1 , ... , x n ; ) =  f ( x i ; )
i =1

La méthode consistant à estimer θ pour la valeur qui maximise L s’appelle méthode du

maximum de vraisemblance :
 
 =  / L() = sup L()



 L( x 1 , ..., x n ; )   ln L( x 1 , ..., x n ; ) 
 () = 0 ou () = 0
  
et
  2 L( x , ..., x ; )   2 ln L( x 1 , ..., x n ; ) 
 1 n
()  0 ou ()  0
  2  2
9. Estimateur Bayésien