UCL/AGRO/MILA/ENGE BIR 1203

Chapitre 9

Statistique - Introduction

9-1
UCL/AGRO/MILA/ENGE BIR 1203

Définitions

• population : ensemble (fini ou infini) des individus distincts

auxquels on s’intéresse.

• échantillon : sous-ensemble d’individus représentatifs de cette

population.
(échantillon aléatoire=individus pris au hasard)

• inférence : processus consistant à généraliser à la population

des résultats obtenus sur base de l’échantillon.

La Statistique propose des méthodes permettant d’inférer, c’est-à-

dire de tirer des conclusions sur la population à partir de l’échantillon.

Statistique - Introduction 9-2

UCL/AGRO/MILA/ENGE BIR 1203

Exemple

• On s’intéresse à la taille X des hommes en Belgique,

où N est le nombre d’hommes belges qui existent.

• Les tailles observables de ces hommes sont x(1), x(2), . . . , x(N ).

En pratique, on choisit n hommes au hasard (n << N ).

En formalisant ceci, on a

• soit X ≡“taille d’un homme belge”

• soit X = (X1, X2, . . . , Xn)′ un échantillon aléatoire,
avec Xi ≡“taille du ième homme belge mesuré”
• les valeurs x = (x1, x2, . . . , xn)′ sont les résultats
obtenus après avoir mesuré la taille des n hommes choisis.

Statistique - Introduction 9-3

UCL/AGRO/MILA/ENGE BIR 1203

Echantillon i.i.d. (indépendant identiquement distribué)

• Soit X la variable qui nous intéresse.

• Soit X = (X1, X2, . . . , Xn)′ un échantillon aléatoire.
• L’échantillon X est i.i.d. si :

X1 ∼ · · · ∼ Xn ∼ X ⇐⇒ FX1 (x) = · · · = FXn (x) = FX (x)

X1 ⊥ · · · ⊥ Xn ⇐⇒ F (x) = FX1 (x1) · · · FXn (xn)

En pratique, la distribution de X dépend de paramètres θ inconnus :

X ∼ FX (x; θ )

Statistique - Introduction 9-4

UCL/AGRO/MILA/ENGE BIR 1203

Exemple (suite)

• Soit X ≡“taille d’un homme belge”, avec X ∼ N (µ, σ 2)

• Si l’échantillon X est i.i.d., alors

X1 ∼ X2 ∼ · · · ∼ Xn ⇐⇒ Xi ∼ N (µ, σ 2)

X1 ⊥ X2 ⊥ · · · ⊥ Xn ⇐⇒ X ∼ N (µ, Σ)
avec
µ = (µ, µ, . . . , µ)′ ; Σ = σ 2I

Question : Comment estimer les paramètres µ, σ 2 à partir de X ?

Statistique - Introduction 9-5

UCL/AGRO/MILA/ENGE BIR 1203

Statistique T

toute fonction qui ne dépend que de l’échantillon.

T = h(X1, . . . , Xn)

• la statistique T est une variable aléatoire

• elle dépend aussi des paramètres θ dont dépendent les Xi.
• exemples :

– le minimum : L = min(X1, . . . , Xn) = X(1)

– le maximum : U = max(X1, . . . , Xn) = X(n)
– l’étendue : R = U − L = X(n) − X(1)
n
1 X
– la moyenne exp. : X= Xi
n i=1
Xn
1
– la variance exp. : 2
S = (Xi − X)2
(n − 1) i=1

Statistique - Introduction 9-6

UCL/AGRO/MILA/ENGE BIR 1203

Exemple (suite)

• On s’intéresse à la taille moyenne µ d’un homme belge.

• On dispose d’un échantillon X = (X1, X2, . . . , Xn)′ i.i.d.
• On sait que Xi ∼ N (µ, σ 2).
• Pour la moyenne expérimentale, on a :
n
1 X σ2
X= Xi =⇒ X ∼ N (µ, )
n i=1 n

On dira que la statistique X est un estimateur du paramètre µ :

• en moyenne, on a E[X] = µ
• la valeur x tendra vers µ lorsque n augmente.

Statistique - Introduction 9-7

UCL/AGRO/MILA/ENGE BIR 1203

Estimateur ponctuel

statistique T dont la valeur réalisée t donne

une “bonne” estimation d’un paramètre θ.
On notera T = Θ b
c et t = θ.

Question : qu’entend-on par une “bonne” estimation ?

• En moyenne, la valeur réalisée θb sera égale à θ

c =θ
E[Θ] ⇐⇒ c = E[Θ]
b(Θ) c −θ =0 (absence de biais)

• La valeur θb sera d’autant plus proche de θ que n augmente

c − θ| < ε) = 1
lim P (|Θ (consistance)
n→∞
c =0
ce qui sera vérifié si limn→∞ V ar[Θ]

Statistique - Introduction 9-8

UCL/AGRO/MILA/ENGE BIR 1203

Exemples de “bons” estimateurs ponctuels

Estimateur Statistique

n
1 X
b
E[X k] Xik
n i=1
µ
b b
X = E[X]
n b
b2
σ 2
S = E[(X − µ)2]
n−1
√
σ
b S = S2
#{Xi ≤ x}
Fb (x)
n
#{Xi = x}
p(x)
b
n

Statistique - Introduction 9-9

UCL/AGRO/MILA/ENGE BIR 1203

Exercice

La moyenne expérimentale est-elle un bon estimateur

de la moyenne théorique pour un échantillon i.i.d. ?

σ 2
• Si E[X] = µ, V ar[X] = σ 2, alors E[X] = µ, V ar[X] =
n
• On a donc :

E[X] = µ =⇒ X est un estimateur sans biais

limn→∞ V ar[X] = 0 =⇒ X est un estimateur consistant

Conclusion : la statistique X est un bon estimateur de µ.

Statistique - Introduction 9-10

UCL/AGRO/MILA/ENGE BIR 1203

Comparaison d’estimateurs : EQM (Erreur Quadratique Moyenne)

c et Θ
• Soient Θ c deux estimateurs possibles pour θ
1 2
• Pour les comparer, on peut utiliser l’EQM :
c − θ)2]
c ) = E[(Θ
EQM (Θ i i

que l’on peut exprimer en terme de variance et de biais, avec

EQM (Θ c ] + b2(Θ
c ) = V ar[Θ c )
i i i

L’EQM est une mesure inverse de la précision d’un estimateur.

Le meilleur estimateur est celui avec l’EQM la + faible.

Statistique - Introduction 9-11

UCL/AGRO/MILA/ENGE BIR 1203

Obtention d’un estimateur ponctuel

On a présenté les formules pour quelques “bons” estimateurs ponctuels.

Comment les a-t-on obtenues ?

Trois méthodes classiques sont :

• la méthode des moments

• la méthode du maximum de vraisemblance
• la méthode des moindres carrés

Statistique - Introduction 9-12

UCL/AGRO/MILA/ENGE BIR 1203

(1) Méthode des moments

Les moments sont exprimés comme des fonctions des paramètres :



 E[X] = h1(θ1, . . . , θp) = h1(θ )


E[X 2] = h2(θ1, . . . , θp) = h2(θ )
 ...



E[X p] = hp(θ1, . . . , θp) = hp(θ )
Si ce système d’équations peut être résolu par rapport à θ1, . . . , θp,

2 p
θ1 = g1(E[X], E[X ], . . . , E[X ])

...


θp = gp(E[X], E[X 2], . . . , E[X p])

L’idée est de remplacer les moments théoriques par leurs estimateurs

afn d’obtenir des estimateurs des paramètres.

Statistique - Introduction 9-13

UCL/AGRO/MILA/ENGE BIR 1203

(1) Méthode des moments

Les relations théoriques sont :


2 p
θ1 = g1(E[X], E[X ], . . . , E[X ])

...


θp = gp(E[X], E[X 2], . . . , E[X p])

On va les remplacer par :


c b b 2 b p
Θ1 = g1(E[X], E[X ], . . . , E[X ])

...

c 2 ], . . . , E[X p])
b
Θp = gp(E[X], b
E[X b

n
X
1
b
avec E[X k] = Xik ∀k = 1, . . . , p
n i=1

Statistique - Introduction 9-14

UCL/AGRO/MILA/ENGE BIR 1203

Exemple

• On souhaite estimer θ pour une loi X ∼ Ge(θ)

• On dispose des valeurs réalisées x = (x1, . . . , xn)′
pour un échantillon X = (X1, . . . , Xn)′ i.i.d.
• On sait que
1
E[X] =
θ

Quel est l’estimateur de θ par la méthode des moments ?

Statistique - Introduction 9-15

UCL/AGRO/MILA/ENGE BIR 1203

Exemple

• On souhaite estimer les paramètre θ1, θ2 d’une loi U n(θ1, θ2).

• On sait que :
θ + θ2 h i (θ2 − θ1)2
E[X] = 1 2
V ar[X] = E (X − µ) =
2 12

• En résolvant ces équations par rapport à θ1, θ2 :

  r h i


1 
 2
 E[X] = (θ1 + θ2)  θ = E[X] − 3E (X − µ)

 2  1

=⇒ r

 h i 
 h i
 1 
 2
 E (X − µ) = (θ2 − θ1)2 
 θ2 = E[X] + 3E (X − µ) 2
12

Statistique - Introduction 9-16

UCL/AGRO/MILA/ENGE BIR 1203

Exemple (suite)

Les relations théoriques sont :

 r h i

 2
 θ = E[X] − 3E (X − µ)
 1



 r h i


 θ2 = E[X] + 3E (X − µ)2

On va les remplacer par :

 r h i

 c b b 2

 Θ1 = E[X] − 3E (X − µ)


 r h i

 c = E[X]
b b (X − µ) 2
 Θ 2 + 3E

b
avec E[X] b
= X et E[(X − µ)2] = (n − 1)S 2/n.
Statistique - Introduction 9-17
UCL/AGRO/MILA/ENGE BIR 1203

(2) Méthode du maximum de vraisemblance

• Soit x = (x1, . . . , xn)′ les valeurs de l’échantillon i.i.d.

• Soit la probabilité/la vraisemblance d’observer x,
qui dépend des paramètres θ
n
Y n
Y
p(x; θ ) = p(xi; θ ) f (x; θ ) = f (xi; θ )
i=1 i=1

b ceux pour lesquels

• On choisira comme paramètres θ
b ) = max p(x; θ )
p(x; θ b ) = max f (x; θ )
f (x; θ
θ θ

b ) et f (x; θ
• Les fonctions p(x; θ b ) sont notées L(θ
b ; x)

Statistique - Introduction 9-18

UCL/AGRO/MILA/ENGE BIR 1203

Notes

• il est plus facile de maximiser ln(L(θ ; x))

n
X n
X
ln(L(θ ; x)) = ln(p(xi; θ )) ln(L(θ ; x)) = ln(f (xi; θ ))
i=1 i=1

• Lorsque la fonction est concave par rapport aux θ ,

¯
∂L(θ ; x) ¯¯
¯ =0
∂θ ¯ b
θ =θ

• Il est parfois nécessaire d’utiliser des méthodes de calcul numérique.

Statistique - Introduction 9-19

UCL/AGRO/MILA/ENGE BIR 1203

Exemple

• On souhaite estimer θ pour une loi X ∼ Exp(θ)

• On dispose des valeurs réalisées x = (x1, . . . , xn)′
pour un échantillon X = (X1, . . . , Xn)′ i.i.d.
• On sait que pour x ∈ [0, ∞),

fXi (x) = θe−θx avec θ ∈]0, ∞) ∀i = 1, . . . , n

Quel est l’estimateur de θ par maximum de vraisemblance ?

Statistique - Introduction 9-20

UCL/AGRO/MILA/ENGE BIR 1203

Exemple

• On souhaite estimer les paramètres θ1, θ2 d’une loi U n(θ1, θ2).

• On sait que pour x ∈ [θ1, θ2],

f (x) = 1/(θ2 − θ1) avec θ1 ≤ x(1) < x(n) ≤ θ2

Quels sont les estimateurs de θ1, θ2 par maximum de vraisemblance ?

Statistique - Introduction 9-21

UCL/AGRO/MILA/ENGE BIR 1203

(3) Méthode des moindres carrés

• On dispose des valeurs réalisées x = (x1, . . . , xn)′

• On connaı̂t les valeurs attendues µX1 , . . . , µXn
• On sait que
X Z +∞
µXi = xp(x; θ ) ; µXi = xf (x; θ )dx
x −∞
• On peut mesurer l’écart entre valeurs attendues et observées, avec
n ³
X ´2
SCE(θ ; x) = xi − µXi = (x − µX)′(x − µX)
i=1
b ceux pour lesquels
• On choisira comme paramètres θ
b ; x) = min SCE(θ ; x)
SCE(θ
θ

Statistique - Introduction 9-22

UCL/AGRO/MILA/ENGE BIR 1203

Notes

• Lorsque la fonction est convexe par rapport aux θ ,

¯
∂SCE(θ ; x) ¯¯
¯ =0
∂θ ¯ b
θ =θ

• Il est parfois nécessaire d’utiliser des méthodes de calcul numérique.

• La méthode des moindres carrés est fort utilisée en régression

Statistique - Introduction 9-23

UCL/AGRO/MILA/ENGE BIR 1203

Régression - méthode des moindres carrés

• On dispose de valeurs observées (y|x)′ = (y|x1, . . . , y|xn)

• On considère un modèle de régression E[Y |x] = µY |x = h(x; θ )

Question : Comment obtenir un estimation des paramètres θ ?

Réponse : Assez simple si E[Y |x] est une combili des θ , avec

µY |x = θ1h1(x) + · · · + θphp(x)
On peut alors écrire




µY |x1 = θ1h1(x1) + · · · + θphp(x1)

µ
Y |x2 = θ1h1(x2) + · · · + θphp(x2)
 ...



µ
Y |xn = θ1h1(xn) + · · · + θphp(xn)

Statistique - Introduction 9-24

UCL/AGRO/MILA/ENGE BIR 1203

Régression - méthode des moindres carrés

En notation matricielle, on a
    
µY |x1 h1(x1) · · · hp(x1) θ1
 ..   ... ... ...   ... 
 
 . =  ⇐⇒ µY |x = Hθ
µY |xn h1(xn) · · · hp(xn) θp

la somme des carrés d’écarts est donnée par

n ³
X ´2
SCE(θ ; y|x) = y|xi − µY |xi
i=1
= (y|x − µY |x)′(y|x − µY |x)
= (y|x − Hθ )′(y|x − Hθ )
= (y|x)′(y|x) − 2(y|x)′Hθ + θ ′H′Hθ

Statistique - Introduction 9-25

UCL/AGRO/MILA/ENGE BIR 1203

Régression - méthode des moindres carrés

On a comme résultats
∂SCE(θ ; y|x)
= −2H′(y|x) + 2H′Hθ
∂θ
à !
∂ 2SCE(θ ; y|x) ∂ ∂SCE(θ ; y|x)
= = 2H′H
∂ θ′∂ θ ∂ θ′ ∂θ

Puisque SCE(θ ; y|x) est convexe, la solution est

¯
∂SCE(θ ; y|x) ¯¯
¯ =0 ⇐⇒ −2H′(y|x) + 2H′Hθ
b =0
∂θ ¯ b
θ =θ
⇐⇒ H′Hθb = H′(y|x)
b = (H′H)−1H′(y|x)
ce qui donne θ

Statistique - Introduction 9-26

UCL/AGRO/MILA/ENGE BIR 1203

Exemple

Afin de lier le rendement Y |x d’une culture de blé (en quintal par

hectare) à la dose x d’engrais azoté appliquée sur cette culture (en
kilogramme par hectare), on a choisi cinq champs sur lesquels on a
appliqué différentes doses de cet engrais.
Les résutats sont les suivants :

xi 1 2 3 4 5
y|xi 60 71 75 87 99

On envisage le modèle µY |x = θ1 + θ2x.

Quelles sont les valeurs estimées des paramètres par moindres carrés ?

Statistique - Introduction 9-27

UCL/AGRO/MILA/ENGE BIR 1203

Exemple (suite)

y|x
100

^
E[Y|x3]
90

80

70 y|x3
60
^
E[Y|x] = 50.2+9.4x
50
0 1 2 3 4 5 x

Statistique - Introduction 9-28

UCL/AGRO/MILA/ENGE BIR 1203

Remarque

Deux estimateurs ponctuels important sont X et S 2

• Soit un échantillon aléatoire (X1, X2, . . . , Xn) i.i.d.

• Les estimateurs classiques de µ et σ 2 sont :
n n
1 X 1 X
X= Xi ; S2 = (Xi − X)2
n i=1 n − 1 i=1

• Puisque ce sont des statistiques, ils ont une distribution :

à !
σ2 (n − 1)S 2 2(n − 1)
X ∼ N µ, ; ∼ χ ; X ⊥ S2
n σ2

Question : comment établir un intervalle de confiance pour µ et σ 2 ?

Statistique - Introduction 9-29

UCL/AGRO/MILA/ENGE BIR 1203

intervalle de confiance à la moyenne (σ 2 connu)

à !
σ2
• on sait que X ∼ N µ,
n
• on peut donc écrire que
 
 X −µ 
P zα/2 ≤ q ≤ z1−α/2 = 1 − α
σ 2/n
• si on suppose que cet événement s’est réalisé, alors
x−µ
−z1−α/2 ≤ q ≤ z1−α/2
2
σ /n
En résolvant cette double inégalité par rapport à µ, on obtient
q q
x − z1−α/2 σ 2/n ≤ µ ≤ x + z1−α/2 σ 2/n

Statistique - Introduction 9-30

UCL/AGRO/MILA/ENGE BIR 1203

intervalle de confiance à la variance

(n − 1)S 2 2 (n − 1)
• on sait que ∼ χ
σ2
• on peut donc écrire que
à !
(n − 1)S 2
P χ2
α/2 ≤ ≤ χ2
1−α/2 =1−α
σ2
• si on suppose que cet événement s’est réalisé, alors

2 (n − 1)s2 2
χα/2 ≤ ≤ χ1−α/2
σ2
En résolvant cette double inégalité par rapport à σ 2, on obtient
(n − 1)s2 2 (n − 1)s2
2
≤σ ≤
χ1−α/2 χ2α/2

Statistique - Introduction 9-31

UCL/AGRO/MILA/ENGE BIR 1203

intervalle de confiance à la moyenne (σ 2 inconnu)

X −µ
• on peut montrer que q ∼ St(n − 1)
S 2/n
• on peut donc écrire que
 
 X −µ 
P tα/2 ≤ q ≤ t1−α/2 = 1 − α
S 2/n
• si on suppose que cet événement s’est réalisé, alors
x−µ
−t1−α/2 ≤ q ≤ t1−α/2
2
s /n
En résolvant cette double inégalité par rapport à µ, on obtient
q q
x − t1−α/2 s2/n ≤ µ ≤ x + t1−α/2 s2/n

Statistique - Introduction 9-32

UCL/AGRO/MILA/ENGE BIR 1203

Exercice

• Soit X la taille (en cm) des étudiants BIR 12.

• On suppose X ∼ N (µ, σ 2), avec µ, σ 2 inconnues.
• On considère un échantillon i.i.d. X = (X1, X2, . . . , X10)′
de 10 étudiants choisis au hasard en BIR 12.
• Les valeurs réalisées x = (x1, x2, . . . , x10)′ sont :

x=( , , , , , , , , , )′

Estimez les valeurs µ, σ 2 • de manière ponctuelle avec x, s2

• par intervalle de confiance bidirectionnel,
en prenant α = 0.05

Statistique - Introduction 9-33