Chapitre 4

Théorèmes limites et estimation

A) Théorèmes limites

1) Loi Ses Grands Nombres

La loi des grands nombres est un théorème mathématique fondamental des probabilités
et statistiques.
Cette loi exprime le fait que les caractéristiques d’un échantillon aléato ire se rapprochent
des caractéristiques statistiques de la population (ensemble d’individus ou d’éléments)
lorsque la taille de l’échantillon augmente à l’infini. En d’autres termes, cela garantit
que, lorsque le nombre de tirages effectués selon une loi de probabilité (comme les
tirages successifs d’une pièce sur le côté pile ou face) tend vers l’infini, la moyenne
empirique (moyenne calculée à partir des observations) converge vers la moyenne réelle
d’une variable aléatoire suivant cette loi. Cela sous des hypothèses très faibles.

Soient X1, X2, ... , Xn , n variables aléatoires de même loi qu’une variable aléatoire X .

Supposons que ces v.a. ont une espérance, notée m et une variance, notée σ2

E(X1+X2+ ... +Xn) = E(X1) + E(X2)+...+ E(Xn)=n.m

V(X1+X2+ ... +Xn) = V(X1) + V(X2)+...+ V(Xn)=n. σ2

La moyenne empirique des v.a X1, X2, ... , Xn est une v.a:

X 1  X 2  ... X n
Xn 
n
On sait que la moyenne empirique a pour espérance m et pour variance σ 2/n.
Ainsi, plus n est grand, moins cette v.a. varie. A la limite, quand n tend vers l’infini,
elle se concentre sur son espérance, m. C’est la loi des grands nombres.

1
 Théorème : (Loi des grands nombres)

Quand n est grand, Xn est proche de m avec une forte probabilité. Autrement dit,


  0, lim P X n  m    0
n

On dit que Xn converge en probabilité vers m.

Plus la taille de l'échantillon augmente, plus la moyenne empirique

(observée sur l'échantillon) est proche de l’espérance (moyenne théorique).

Exemple 1

On considère un dé truqué telle que P(X = 6) = p > 1/6, et toutes les autres
probabilités sont égales : P(X = 1) = ... = P(X = 5) = (1 − p)/5. Si l’on fait n lancers Xi
identiquement et indépendamment distribuées (IID) et que l’on observe la moyenne.

X 1  X 2  ...  X n n X
1 n
Xn    i   Xi
n i 1 n n i 1

Alors X n → E(X) presque sûrement, et E(X) = 6p + (1 + 2 + 3 + 4 + 5)(1 − p)/5

=6p + 3(1 − p) = 3(p + 1)

Exemple 2

Sur un sondage de 1000 électeurs, 521 prétendent voter pour le candidat A

d’une élection. Chaque électeur est “modélisé” par une variable de Bernoulli de
paramètre p, où p est le paramètre inconnu, à savoir la proportion de individus qui
vont voter A à l’élection. On suppose que les choix des personnes sondées sont
indépendants, et les Xi sont donc iid. D’après la LGN,

1 n
 X i → E(X)
n i 1

1 n 521
Comme X i ~ B(p) , E(X) = p ainsi: X n  
n i 1
Xi 
1000
 0.521

1
p= i=1, ....,521 ( X n  1 / n( np )
1000

Donc d’après la LGN, p est proche de 0.521, et quand le nombre de personnes

sondées n grandit, X n se rapproche de p.

2
 2) Théorème Central Limite

Soient X1, X2, ... , Xn , n variables aléatoires indépendantes et identiquement

X m
distribuées d’espérance m et de variance σ 2 , alors la loi de n tend vers la loi
/ n
normale centrée réduite.

Pour tous réels a < b, quand n tend vers +∞,

 X m  b 1  x2 / 2
P a  n  b    e dx
 / n 
a
2

Xn  m
On dit que converge en loi vers la loi normale N (0, 1).
/ n

 X m 
P a  n  b   P( a  Z  b ) où o`u Z est une variable gaussienne centrée
 / n 
réduite, Z ∼ N (0, 1).

Le tableau ci dessous donne la distribution limite de la moyenne empirique pour

différentes lois

3
Exemple:

Soit X une variable aléatoire continue, dont la densité est donnée par la fonction

 c
 si x  0
f ( x )  ( x  1 ) 4

 0 sin on

1) Calculer la valeur de la constante C.

2) Calculer l’espérance et la variance de X. On pourra écrire:

x 1 1
 
( x  1) 4
( x  1 ) ( x  1 )4
3

x2 1 2 1
  
( x  1) 4
( x  1) 2
( x  1) 3
( x  1 )4

3) Soit X1, X2, . . . , Xn des variables aléatoires indépendantes de même loi que X, et

X 1  X 2  ...  X n
Mn 
n

Rappeler l'énoncé du théorème central limite.

 
 
1 1 
Calculer la limite de P  Mn 
2   
 21   
  n 

B) Échantillonnage

Pour décrire l'information contenue dans l'échantillon le statisticien procède à une

analyse numérique et graphique (histogramme, polygone des fréquences, fonction de
répartition,...) de la distribution de la variable étudiée. Si l'échantillon est choisit de
façon aléatoire, on peut généraliser les résultats obtenus de l'analyse expérimentale sur
toute la population.
Pour déduire des informations diverses caractéristiques de la population, on utilise la
statistique inférentielle à travers l'estimation et les tests d'hypothèses.
4
 I. Échantillonnage et ses caractéristiques:

1- Définition d'un échantillon aléatoire

Ain de déduire des informations sur diverses caractéristiques d'une population, on fait
recours à la méthode de sondage (vu que l'opération de recensement est coûteuse).
Cette méthode consiste à interroger seulement une partie de la population appelée
échantillon.

L'échantillonnage est une opération permettant de dégager certaines informations au

sujet d'une population. Cette opération repose sur le choix adéquat d'un échantillon
devant être représentatif de la population.
Les caractéristiques empiriques (moyenne, variance) dégagées de l'analyse d'un
échantillon peuvent être de bonnes approximations des caractéristiques de la population
appelées caractéristiques théoriques(E(X), V(X))

2- Distribution d'un échantillon aléatoire:

On considère un échantillon aléatoire (X1,.....,Xn), de taille n de même loi (on dit un

échantillon indépendant et identiquement distribué (i.i.d)), d’espérance et de variance
finies.

X i  L() , i=1,...,n avec E(Xi)= E(X) et V(Xi),=V(X)

f ( X )i  f ( X ) i=1,..,n

On appelle statistique Tn= g(X1,.....,Xn), toute valeur calculable à partir d’un

échantillon (X1,.....,Xn), c’est-à-dire toute fonction de X1,....,Xn.
n 1 n
Exemple : Tn   X i , Tn  X   Xi
i 1 n i 1

5
 II) Caractéristiques d'un échantillon aléatoire: Les moments empiriques

1) La moyenne empirique: On appelle moyenne empirique la statistique :

1 n
Xn   Xi
n i 1
2) Propriétés : La moyenne empirique étant une variable aléatoire, elle
1 2
possède une espérance et une variance avec : E(X n )  m et V( X n )  
n

Remarque : Ces deux résultats indiquent que le calcul de la moyenne empirique sur un
échantillon nous fournit en moyenne la vraie valeur de m (mais pas à chaque fois). De
plus, la distribution de la moyenne empirique devient de plus en plus concentrée autour
de la vraie valeur m au fur et à mesure que la taille de l’échantillon grandit (car Var
( X n ) diminue avec n).

2) Échantillonnage dans une population normale: Nous considérons un

échantillon i.i.d (X1,.....,Xn) de taille n d’une loi N(  ,  2 ) . On note:
1 n
Xn   X i la moyenne empirique sur cet échantillon, et
n i 1
1 n
S 2n   (X i X n ) 2 la variance empirique corrigée de ce même
n  1 i 1
échantillon.

Remarque: Ces résultats servent à établir les intervalles de confiance et les

procédures de test dans le cas d’un échantillon issu d’une loi normale.

C) Estimateur et ses propriétés statistiques:

L'échantillonnage nous permet de déterminer (approximativement) des

caractéristiques importantes d'une variable aléatoire à savoir l'espérance
mathématique, la variance et parfois les moments d'ordre plus élevés. Dans la
pratique on connait souvent à l'avance la forme de la loi de la variable étudiée et ne
reste qu'à déterminer certains paramètres de cette dernière.
6
 I) Définition d’un estimateur et d'une estimation :

Étant donné un échantillon aléatoire (X1,.....,Xn), i.i.d de taille n issu d’une loi L de

paramètre  inconnu. un estimateur de  noté ̂ est une statistique

̂ =T(X1,.....,Xn),

Disposant des réalisations (observations) x1.....xn, de l'échantillon X1,.....,Xn, la valeur

calculée ̂ =T(X1,.....,Xn), s'appelle une estimation de  .

1) Estimation ponctuelle de l’espérance

Supposons à présent que X est le résultat d’une expérience aléatoire, et que

l’espérance E(X) = µ est inconnue, comme dans l’exemple du dé truqué. La loi des
grands nombres montre que l’on peut obtenir une valeur approchée de µ en réalisant
un grand nombre n de fois la même expérience, puis en calculant la
1 n
moyenne X n   X i , où Xi correspond au résultat de la "ième" expérience. Il
n i 1
s’agit ici d’un problème d’estimation, et nous allons introduire un peu de vocabulaire
relatif à ce contexte

Définition. Un paramètre inconnu λ est un nombre réel, fixé mais inconnu, dont on
voudrait connaître la valeur.
Par exemple si l’espérance µ = E(X) d’une variable est inconnue, µ est un paramètre
inconnu. Dans l’exemple du dé truqué, la probabilité p que le dé tombe sur 6 est un
paramètre inconnu.
Définition. Un échantillon (X1, X2, . . . , Xn) de même loi que X est un vecteur
aléatoire tel que toutes les variables Xi sont indépendantes et ont toutes même loi que
X.
Définition. Un estimateur du paramètre λ est une variable aléatoire En fonction de
l’échantillon, c’est-à-dire fonction des Xi pour 1 ≤ i ≤ n

7
 2) Propriétés d’un estimateur
Un bon estimateur doit satisfaire à la fois trois conditions souvent contradictoires : il doit
être sans biais, convergent et efficace. (qui représente une bonne approximation du vrai
paramètre inconnu)

a) Estimateur sans biais:

On dit que ̂ est un estimateur sans biais si son espérance mathématique est égale au
ˆ  .
paramètre  inconnu. C'est à dire: E()
Dans le cas réel où l’échantillon est de taille finie, on aimerait que l’espérance
E(ˆ ) s’écarte le moins possible de la valeur  .

En général, on a : E(ˆ )    B() , où B() est appelé biais de l'estimateur ̂ et peut

être fonction ou non de  .

b) Estimateur convergent :
On dit que ̂ est un estimateur convergent de  si et seulement si:

lim E(ˆ )  
n 

lim V(ˆ )  0
n 

c) Efficacité

Parmi différents estimateurs de la même quantité, on choisira celui dont l’écart-type est
minimal : la convergence vers la valeur exacte n’en sera que plus rapide.

Comparaison d'estimateurs: soient ̂1 et ̂ 2 deux estimateurs d'un même paramètre,

alors ̂1 est plus efficace que ̂ 2 si :

EQM ( ̂1 ) < EQM ( ̂ 2 ) (EQM: l'erreur quadratique moyenne)

8
Dans le cas où ̂1 et ̂ 2 sont sans biais, ̂1 est plus efficace que ̂ 2 , si

V ( ̂1 ) < V ( ̂ 2 )

D) Méthodes d'estimation ponctuelle

I. Fonction de vraisemblance et Méthodes du maximum de vraisemblance

1) Fonction de vraisemblance

considérons l'échantillon X1,...., Xn identiquement et indépendamment distribué

(IID) de X ~> P(  ) où la loi P est supposée connue, de paramètre  inconnu et

définie par sa fonction de probabilité P(X,  ) dans le cas ou X est discrète et sa

fonction densité f(X,  ) dans le cas continu. Puisque les variables aléatoires de
l'échantillon sont indépendantes et de même loi que X, alors la distribution de
probabilité conjointe de X1,...., Xn , notée L(X1,...., Xn,  ) et appelée Fonction
de vraisemblance, sera définie par:

n
 P( X , ) dans le cas discret
 i
L(X1,...., Xn,  ) = i 1
n
 f ( X i , ) dans le cas discret
i 1

Pour une valeur de  , plus la valeur de L(X1,...., Xn,  ) est élevée et plus est
vraisemblable l'échantillon de réalisation de X1,...., Xn d'où le nom de Fonction
de vraisemblance.

La transformation logarithmique (népérien) de L(X1,...., Xn,  ) sera de grande

utilité. Nous noterons par l(X1,...., Xn,  ) telle que :

l(X1,...., Xn,  )= Ln (L(X1,...., Xn,  ))

* Cas d'un échantillon de variables de Bernoulli de paramètre p

La fonction de vraisemblance

9
 n n
L(X1,...., Xn, p)=  P( X i , p )   P xi ( 1  p )1 xi )
i 1 i 1

Le logarithme de La fonction de vraisemblance

l(X1,...., Xn, p)= Ln (L(X1,...., Xn, p))

2) Méthodes du maximum de vraisemblance

Soit la variable aléatoire X distribué selon une loi de probabilité donnée de paramètre
 inconnu et définie par sa fonction de probabilité P(X,  ) dans le cas ou X est
discrète et sa fonction densité f(X,  ) dans le cas continu. On titre un échantillon
X1,...., Xn IID de X. D'après la méthode de maximum de vraisemblance (MMV)
l'estimateur ̂ MV du paramètre inconnu  est celui qui maximise la fonction de
vraisemblance L(X1,...., Xn,  ).

L'estimateur ̂ MV est la solution de programme de maximisation :

max L(X1,...., Xn,  ).

La dérivée partielle de L(X1,...., Xn,  ) par rapport à  doit s'annuler au point

solution ̂ MV sous certaines conditions .

L'utilisation du logarithme de la fonction de vraisemblance est plus commode.
On a donc :

 l(X1,...., Xn, )
/ ˆ  0
 MV

* Propriétés asymptotique de l'estimateur du maximum de vraissemblance :

Soit ̂ MV l'estimateur obtenu de  par la Méthodes du maximum de

vraisemblance. On les propriétés suivantes que nous écorcerons dans ce qui suit:

a) Convergence: ̂ MV est un estimateur convergent

b) Efficacité: ̂ MV est un estimateur efficace

c) distribution limite ̂ MV est asymptotiquement normale

Exemple : Estimation de la proportion d'une loi de Bernoulli:

10
Soit X1,...., Xn un échantillon IID d'une variable aléatoire X~> B(p) , on veut

déterminer par la MMV un estimateur p̂ MV de la proportion inconnue p.

La fonction de vraisemblance

n n
L(X1,...., Xn, p)=  P( X i , p )   P xi ( 1  p )1 xi )
i 1 i 1

1 n
p̂ MV   Xi  Xn
n i 1

11