Académique Documents
Professionnel Documents
Culture Documents
Introduction
Dans ce second thème nous abordons la statistique inférentielle, et plus particuliè-
rement l’estimation. La section 1 traite des notions de population, d’échantillon et
d’inférence statistique, tandis que Les outils autour de la notion d’échantillon sont
développés dans la section 2 consacrée à l’échantillonnage.
L’estimation statistique, qui fait l’objet de la section 3, consistera alors à obtenir des
valeurs approchées d’un paramètre inconnu à partir de valeurs observées sur un échantillon.
Toutefois, plutôt que de parier sur une valeur d’un paramètre inconnu calculé à partir
d’un échantillon, on essaie souvent d’encadrer cette valeur avec une grande probabilité
de succès entre des bornes calculées à partir de l’échantillon, en faisant appel à certains
modèles probabilistes. Il s’agit alors d’un intervalle de confiance, dont la construction
fait l’objet de la section 4.
L’échantillonnage et l’estimation ont également un écho très important en entreprise
dans le domaine de la maîtrise statistique des procédés. Nous avons choisi d’illustrer ces
pratiques mises en œuvre par le biais de normes telles qu’ISO 9000 sous la forme de cartes
de contrôle, ou cartes de maîtrise à la section 5.
Comme on l’a souligné précédemment, la statistique s’appuie sur la théorie des pro-
babilités qui permet de modéliser certains phénomènes aléatoires. Les principales notions
de probabilités utiles ont été développées dans le thème 1 de ce MOOC.
2 Échantillonnage 5
2.1 Statistiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 Distribution d’échantillonnage des moyennes . . . . . . . . . . . . . . . . . 7
2.2.1 Cas général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.2 Cas où n est suffisamment grand . . . . . . . . . . . . . . . . . . . 7
2.2.3 Cas des échantillons gaussiens . . . . . . . . . . . . . . . . . . . . . 8
2.3 Distributions d’échantillonnage des variances . . . . . . . . . . . . . . . . . 9
2.3.1 Cas général . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.3.2 Loi du χ2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.3 Intervalle de confiance pour la variance . . . . . . . . . . . . . . . . 11
Institut Mines-Télécom 1
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
3 Estimation 12
3.1 Estimateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2 Qualités d’un estimateur . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.3 Méthode du maximum de vraisemblance . . . . . . . . . . . . . . . . . . . 17
4 Intervalles de confiance 20
4.1 Généralités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.1.1 À partir d’un intervalle de probabilité . . . . . . . . . . . . . . . . . 20
4.1.2 À l’aide de statistiques . . . . . . . . . . . . . . . . . . . . . . . . . 20
4.1.3 Intervalle bilatéral vs intervalle unilatéral . . . . . . . . . . . . . . . 21
4.2 Intervalle de confiance pour l’espérance d’une loi normale . . . . . . . . . . 22
4.2.1 Cas où la variance est connue . . . . . . . . . . . . . . . . . . . . . 22
4.2.2 Cas où la variance est inconnue . . . . . . . . . . . . . . . . . . . . 24
4.3 Intervalle de confiance pour la variance σ 2 d’une loi normale . . . . . . . . 27
4.4 Intervalle de confiance pour une proportion . . . . . . . . . . . . . . . . . . 28
4.4.1 Utilisation de la loi binomiale . . . . . . . . . . . . . . . . . . . . . 29
4.4.2 Approximation par la loi normale . . . . . . . . . . . . . . . . . . . 29
5 Contrôle statistique 32
5.1 Principe des cartes de contrôle . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.2 Carte de contrôle p . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
5.3 Cartes de contrôle aux mesures . . . . . . . . . . . . . . . . . . . . . . . . 34
5.3.1 Limites de contrôle pour la carte de l’écart-type . . . . . . . . . . . 35
5.3.2 Limites de controle pour la carte de la moyenne . . . . . . . . . . . 37
5.4 Efficacité des cartes de contrôle . . . . . . . . . . . . . . . . . . . . . . . . 37
Conclusion 39
Exercices 39
Exercices sur l’estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Exercice 1 : Estimateurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Exercice 2 : Estimateur obtenu par la méthode du maximum de vraisemblance 39
Exercice 3 : Paramètre d’une loi de Poisson . . . . . . . . . . . . . . . . . . 40
Exercices sur les intervalles de confiance . . . . . . . . . . . . . . . . . . . 41
Exercice 4 : Intervalle de confiance pour une moyenne et une variance . . . 41
Exercice 5 : Intervalle de confiance pour une proportion . . . . . . . . . . . 41
Exercice 6 : Publicité mensongère ? . . . . . . . . . . . . . . . . . . . . . . 41
Exercice 7 : Paramètre d’une loi continue . . . . . . . . . . . . . . . . . . . 41
2 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Institut Mines-Télécom 3
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Une fois l’échantillon prélevé, on veut étendre les propriétés observées sur celui-ci à
l’ensemble de la population. C’est ce qu’on appelle l’inférence statistique. Les carac-
téristiques de l’échantillon telle que sa moyenne, sa variance ou une proportion, peuvent
s’étendre à toute la population grâce aux méthodes d’estimation qui seront traitées dans
les sections suivantes de ce cours.
Exemple 1
Un industriel commercialise du sucre en paquets, et veut connaître la masse moyenne
de sucre contenue dans les paquets. Pour cela, il prélève un échantillon de n = 20
paquets et détermine la masse de sucre dans chaque paquet de l’échantillon. Il considère
que la moyenne calculée dans l’échantillon est une estimation de la moyenne relative à
toute la population, qui est l’ensemble de tous les paquets produits.
— Les valeurs observées (x1 , . . . ,xn ) constituent une réalisation d’un n-uplet, noté
(X1 , . . . ,Xn ), de variables aléatoires ;
— les variables aléatoires Xi sont mutuellement indépendantes et suivent la même
loi que X.
Dans la suite, on admettra que ces hypothèses sont vérifiées quand les échantillons sont
prélevés de façon non exhaustive, c’est-à-dire avec remise, ou que la taille de la population
est suffisamment importante par rapport à celle de l’échantillon.
Par extension, on appelle aussi échantillon le n-uplet de variables aléatoires (X1 , . . . ,Xn ).
Il convient cependant de bien distinguer Xi (la variable aléatoire) de xi (la valeur prise
par la variable aléatoire Xi sur un échantillon S donné). On écrit parfois
xi = Xi (S).
Remarque 1
Il est à souligner que, lorsque n ∈ N∗ est fixé, les variables aléatoires Xi ne sont pas
définies sur l’espace probabilisé initial (Ω,T ,P). En effet, Xi désigne la valeur observée
4 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
sur le ième individu d’un échantillon de taille n. Par conséquent, cette variable aléatoire
est définie sur un espace probabilisé correspondant à l’ensemble de tous les échantillons
de taille n possibles. Cet ensemble est
Pour que la construction de ce nouvel espace probabilisé soit complète, il faut munir
cet ensemble d’une tribu et d’une mesure de probabilité.
La tribu utilisée est le produit tensoriel T ⊗n = T ⊗ · · · ⊗ T . Il s’agit de la plus
petite tribu sur Ωn qui contienne les produits cartésiens d’événements A1 × · · · × An .
Cette considération, nécessaire pour la cohérence de l’exposé, peut être vue comme
théorique et n’aura pas d’incidence sur les questions pratiques posées dans le cadre de
ce cours.
La mesure de probabilité est importante et constitue le reflet de l’hypothèse d’in-
dépendance mentionnée dans la définition 1 : il s’agit là encore d’un produit tensoriel
P⊗n qui peut se comprendre simplement en disant que la probabilité d’un événement de
(Ωn ,T ⊗n ) qui est le produit cartésien d’événements de Ω est le produit des probabilités
de ces événements :
2 Échantillonnage
Dans cette section, nous abordons la théorie de l’échantillonnage qui consiste, d’une
part, à déterminer un échantillon à partir d’une population donnée, et d’autre part à étu-
dier les caractéristiques de cet échantillon afin d’en déduire des propriétés de la population
dont il est issu (inférence statistique).
Exemple 2
On prélève au hasard n ampoules électriques dans une production. On cherche à
estimer la durée de vie moyenne des ampoules produites.
Le but de cette partie est d’introduire des modèles permettant de «mathématiser» ces
questions et de mettre en place les outils classiques autour de la notion d’échantillon.
2.1 Statistiques
Soit X une variable aléatoire réelle définie sur une population Ω. Si nous prélevons un
échantillon ω = (ω1 , . . . ,ωn ) de taille n (où n ∈ N∗ ), nous observons n réels x1 , . . . ,xn qui
sont les valeurs que prend X sur chacun des individus de l’échantillon : X(ωi ) = xi .
Institut Mines-Télécom 5
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
D’après les hypothèses de la statistique classique (cf. section 1.2), ces nombres sont
considérés comme des réalisations de n variables aléatoires X1 , . . . ,Xn i.i.d. : indépen-
dantes et identiquement distribuées, c’est-à-dire suivant la même loi de probabilité. On
écrira donc
∀i ∈ {1, . . . ,n}, Xi (ω) = xi .
Définition 2
Une statistique T est une variable aléatoire fonction de X1 , . . . ,Xn :
T = f (X1 , . . . ,Xn ).
Exemple 3
Reprenons l’exemple 2 de la fabrication en série d’ampoules électriques. Soit X la
variable aléatoire réelle prenant la valeur 1 si l’ampoule est défectueuse et 0 si l’ampoule
est bonne.
On contrôle n ampoules issues de la production. On définit ainsi n variables aléatoires
X1 ,X2 , . . . ,Xn , supposées indépendantes, qui suivent la loi de Bernoulli de paramètre p.
On écrit
Xi ∼ B(1,p),
n
X
Kn = Xi .
i=1
6 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Définition 3
La statistique X, appelée moyenne empirique de l’échantillon, est définie par
n
1X
X= Xi .
n i=1
Institut Mines-Télécom 7
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Exemple 4
Soit X la longueur des tiges métalliques dans une production en série. On pose E (X) =
µ et V (X) = σ 2 et on suppose que σ = 0,1cm.
Un échantillon de n = 50 tiges a donné une moyenne x égale à 15cm. Un intervalle
de confiance réel pour µ au niveau de confiance 95% est donc
" #
1,96 × 0,1 1,96 × 0,1
Ic0,95 (µ) = 15 − √ ; 15 + √ = [14,97; 15,03] .
50 50
Nous pouvons en conclure que l’intervalle obtenu contient l’espérance µ avec un niveau
de confiance de 95%.
8 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
On retrouve ainsi que la variance de l’échantillon est égale à la «moyenne des carrés
moins le carré de la moyenne».
Théorème 3
Si V (X) = σ 2 , alors
n−1 2
E S2 = σ .
n
Institut Mines-Télécom 9
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
2.3.2 Loi du χ2
Dans le cas où la variable aléatoire parente X suit une loi normale, on peut préciser
la loi de probabilité de la variable aléatoire S 2 . Avant cela, introduisons la loi du χ2 .
Définition 6
On dit qu’une variable aléatoire Z suit la loi du χ2 («loi du chi-deux») à ν degrés
de liberté (où ν > 0) si elle admet pour densité de probabilité la fonction f suivante :
1
ν t
t 2 −1 e− 2 si t > 0
f (t) = 2ν/2 Γ(ν/2)
0 si t 6 0.
Ce fait sera noté Z ∼ χ2ν . Dans ce cas la variable aléatoire Z admet une espérance et
E (Z) = ν.
10 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Cette loi apparaît fréquemment comme celle d’une somme de carrés de variables aléa-
toires indépendantes suivant toutes la loi normale centrée réduite. C’est l’objet de la
proposition suivante, dont la démonstration consiste en un raisonnement par récurrence
et produit de convolution.
Proposition 4
Soient Y1 , . . . ,Yn des variables aléatoires indépendantes et suivant toutes la loi normale
centrée réduite N (0,1). Alors la variable aléatoire
Z = Y12 + . . . + Yn2
n S2 (n − 1) S ∗2
Z= 2 =
σ σ2
suit la loi du χ2 à n − 1 degrés de liberté.
Soit α un réel strictement positif, par exemple α = 0,05 = 5%. Le nombre 1 − α sera
appelé niveau de confiance.
Comme la variable aléatoire Z suit la loi χ2n−1 , on peut déterminer les deux fractiles
χ2α/2 et χ21−α/2 tels que
α α
P Z 6 χ2α/2 = et P Z > χ21−α/2 = .
2 2
Alors
P χ2α/2 6 Z 6 χ21−α/2 = 1 − α.
Or on a
n S2 n S2 n S2
χ2α/2 6 Z 6 χ21−α/2 ⇐⇒ χ2α/2 6 6 χ 2
1−α/2 ⇐⇒ 6 σ 2
6
σ2 χ21−α/2 χ2α/2
donc
n S2 n S2
P 2 6 σ 2 6 2 = 1 − α.
χ1−α/2 χα/2
On a donc obtenu un intervalle de confiance aléatoire pour σ 2 au niveau de confiance
1−α :
2 2
n S n S
IC1−α (σ 2 ) = 2 , .
χ1−α/2 χ2α/2
Institut Mines-Télécom 11
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
3 Estimation
Nous abordons maintenant une problématique importante en statistique : l’estima-
tion. À partir de l’observation d’un échantillon provenant d’une loi inconnue, il s’agit de
déterminer des caractéristiques de cette loi.
Exemple 6
Le nombre de défauts observés sur des véhicules en sortie d’une ligne de production
suit une loi de Poisson de paramètre λ. À partir d’un échantillon de n observations on
veut déterminer une valeur approchée «fiable» de λ.
En pratique, l’estimation consiste à déterminer des valeurs approchées de paramètres
inconnus relatifs à une population à l’aide d’échantillons. Les paramètres à estimer sont
le plus souvent :
— l’espérance µ,
— une proportion p,
— la variance σ 2 ,
— un autre paramètre relatif à une loi de probabilité.
On distingue deux types d’estimations :
— l’estimation ponctuelle qui consiste à calculer, à partir de l’échantillon, une
valeur «fiable» représentant le paramètre inconnu ;
— l’estimation par intervalle de confiance qui consiste à construire un intervalle
(une «fourchette») contenant le paramètre inconnu avec un niveau de confiance
élevé (par exemple 95%).
Mettre en place ces estimations nécessite un modèle mathématique : l’estimateur.
3.1 Estimateurs
Soit X une variable aléatoire définie sur une population Ω et suivant une certaine loi
dont on cherche à estimer un paramètre θ. On note X1 , . . . ,Xn un échantillon de X. On
rappelle qu’il s’agit de variables aléatoires i.i.d. (indépendantes et suivant la même loi que
X).
Exemple 7
Si le paramètre à estimer est µ = E (Xi ), il est naturel de s’appuyer sur la moyenne
empirique de l’échantillon
n
1X
X= Xi
n i=1
pour obtenir une estimation de µ.
D’après la loi faible des grands nombres, on sait que X converge en probabilité vers µ,
c’est-à-dire
∀ε > 0, P X − µ > ε −−−→ 0.
n→+∞
On peut donc penser que, pour des grandes valeurs de n, la variable aléatoire X prendra
très probablement des valeurs «proches» de µ. On dit que X est un estimateur de µ.
Donnons la définition générale d’un estimateur. Soit θ un paramètre de la loi de X, et
X1 , . . . ,Xn un échantillon de X.
12 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Définition 7
Une suite de variables aléatoires (Θ
b )
n n>1 est un estimateur de θ si les deux conditions
suivantes sont remplies.
(1) Pour tout n > 1, la variable aléatoire Θ
b est une fonction de X , . . . ,X :
n 1 n
Θ
b = f (X , . . . ,X )
n n 1 n ;
P
(2) la suite (Θn ) converge en probabilité vers θ : Θn −−−→ θ, c’est-à-dire
b − θ > ε −−−→ 0.
∀ε > 0, P Θn
n→+∞
alors Θ
b est un estimateur de θ.
n
E (X)
∀a > 0, P (X > a) 6 .
a
Autrement dit, Y est la variable aléatoire indicatrice de l’événement {X > a}, et suit
donc la loi de Bernoulli de paramètre p = P (Y = 1) = P (X > a).
Observons que par définition de Y et puisque X > 0, on a toujours
X
Y 6
a
donc
X E (X)
P (X > a) = p = E (Y ) 6 E =
a a
Institut Mines-Télécom 13
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Preuve [du théorème 6]. Soit ε > 0. On a, d’après l’inégalité de Markov appliquée à la
b −θ 2 :
h i
variable aléatoire Θ n
h i2
h i2 E Θ
b
n −θ
b − θ > ε = P
P Θ b −θ
Θ > ε2 6
n n
ε2
avec h i2 2
2 h i
E Θ
b
n −θ =V Θ
b
n + E Θn − θ
b =V Θ
b
n + E Θn − θ .
b
b −−−→ θ. P
c’est-à-dire que Θn
Reprenons l’exemple de la moyenne empirique de l’échantillon.
Exemple 8 n
1X
La variable aléatoire X = Xi vérifie
n i=1
σ2
E X = µ et V X =
n
donc remplit les conditions du théorème 6. C’est donc bien un estimateur de µ.
On peut constater sur cet exemple que le théorème 6 généralise la loi faible des grands
nombres, qui traite du seul cas de X.
Exemple 9
Si, dans une production de pièces en série, on note p la proportion (inconnue) de pièces
défectueuses, cette proportion p s’interprète comme la probabilité qu’a une pièce choisie
au hasard d’être défectueuse.
Notons K le nombre de pièces défectueuses dans un échantillon de taille n. Alors
la variable aléatoire F = Kn est un estimateur de p.
En effet, on sait que la variable aléatoire K suit la loi binomiale B(n,p) et donc
On en déduit que
et le théorème 6 s’applique.
14 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
on dit que Θ
b est asymptotiquement sans biais.
n
Exemple 10
X est un estimateur sans biais de µ. On dit parfois que X est l’estimateur «classique»
de µ.
Exemple 11
On a introduit à la définition 4 la variance empirique de l’échantillon :
n
1X 2
S2 = Xi − X
n i=1
Institut Mines-Télécom 15
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Remarque 3
Il serait faux de dire que S ∗ est un estimateur sans biais de σ. On sait cependant que
S ∗ possède un «léger» biais. Plus précisément,
s
2 Γ(n/2)
E (S ∗ ) = σ −−−→ σ
n − 1 Γ n−1 n→+∞
2
Définition 9
Soit Θ
b un estimateur d’un paramètre θ. On appelle erreur quadratique moyenne
n
de Θb la quantité
n
h i2
EQM Θ b −θ
n = E Θ .
b
n
Théorème 8
L’erreur quadratique moyenne d’un estimateur est égale à la somme de sa variance et
du carré du biais :
2 h i
EQM Θ n = V Θn + E Θn − θ .
b b b
Preuve. Notons le biais b(θ) = E Θb − θ. Par définition de l’erreur quadratique moyenne
n
et par linéarité de l’espérance :
h i2 h i2
EQM Θ
b
n =E Θ
b
n −θ =E Θ
b
n −E Θ
b
n + b(θ)
h i2 h i
2
=E Θ
b
n −E Θ
b
n + b(θ) + 2 b(θ) Θ
b
n −E Θ
b
n
h i2
=E b −E Θ
Θn
b
n +b(θ)2 + 2 b(θ) E Θ
b −E Θ
n
b
n
| {z } | {z }
=0
=V (Θ
bn)
2
=V Θ
b
n + b(θ) .
Par conséquent, parmi les estimateurs sans biais de θ, les plus précis sont ceux de
variance minimale.
De façon générale, on cherche à minimiser l’erreur quadratique moyenne d’un estima-
teur. Cependant, sous certaines hypothèses, l’inégalité de Cramér-Rao,
que nous n’abor-
derons pas dans ce cours, fournit une borne inférieure à EQM Θn . Cette inégalité est
b
développée dans de nombreux ouvrages de statistique.
16 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
f (t,θ) = P (X = t).
Supposons maintenant que X admette une densité de probabilité t 7−→ f (t,θ) continue
et dépendant d’un paramètre θ que l’on souhaite estimer. On ne peut plus procéder comme
dans le cas discret puisqu’ici
d’où
P (Dε ) ∼ (2ε)n f (x1 ,θ) · · · f (xn ,θ).
ε→0
2. «Likelihood» en anglais
Institut Mines-Télécom 17
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Cet équivalent, pour ε fixé assez petit, nous conduit donc à définir la fonction de
vraisemblance comme n Y
L(x,θ) = f (xi ,θ).
i=1
En réalité, on utilise cette expression de la fonction de vraisemblance même lorsque la
densité de probabilité présente des discontinuités (par exemple pour la loi uniforme ou la
loi exponentielle).
Définition 10
Soit x = (x1 , . . . ,xn ) des observations issues d’un échantillon (X1 , . . . ,Xn ). On suppose
que la loi de probabilité des variables i.i.d. Xi est discrète ou continue, connue et dépend
d’un paramètre θ à estimer. On définit la fonction de vraisemblance L de la façon
suivante :
(1) Si X est discrète,
n
Y
L(x,θ) = P (Xi = xi )
i=1
(2) Si X est une variable aléatoire continue de densité de probabilité t 7−→ f (t,θ) :
n
Y
L(x,θ) = f (xi ,θ).
i=1
Lorsque la fonction θ 7−→ L(x,θ) admet un unique maximum atteint en une valeur
θb = gn (x1 , . . . ,xn )
Θ
b = g (X , . . . ,X ).
n n 1 n
On dit alors que Θb est l’estimateur de θ obtenu par la méthode du maximum de vrai-
n
semblance.
En pratique, la recherche d’un tel maximum se fait en dérivant par rapport à θ. Étant
donnée l’expression de L(x,θ) sous forme d’un produit, il est souvent plus commode de
passer au logarithme et donc de chercher à maximiser ln L(x,θ). Le logarithme étant une
fonction strictement croissante, L est maximal si et seulement si ln L l’est.
Exemple 13
Que donne la méthode du maximum de vraisemblance pour le paramètre λ d’une loi
de Poisson ?
La loi de Poisson étant une loi discrète, la fonction de vraisemblance s’écrit
n n n
λ xi λxi
e−λ = e−nλ
Y Y Y
L(x1 , . . . ,xn ,λ) = P (X = xi ) =
i=1 i=1 xi ! i=1 xi !
Passons au logarithme :
n n n
λxi
!
X X X
ln L(x1 , . . . ,xn ,λ) = −nλ + ln = −nλ + (ln λ) xi − ln(xi !).
i=1 xi ! i=1 i=1
18 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Passons au logarithme :
n vn
ln [L(x1 , . . . ,xn ,σ)] = − ln(2π) − n ln σ − n 2
2 2σ
n
1X
où on a noté vn = (xi − µ)2 . Dérivons maintenant par rapport à σ :
n i=1
∂ ln L n n vn −2 n vn
(x1 , . . . ,xn ,σ) = − − = −1 .
∂σ σ 2 σ3 σ σ2
√
L’unique maximum est donc atteint pour σb = vn . Ainsi l’estimateur de σ obtenu par
la méthode du maximum de vraisemblance est
v
n
u1 X
u
Σ
b = t (X i − µ)2 .
n i=1
Institut Mines-Télécom 19
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
4 Intervalles de confiance
Nous avons déjà étudié sur des exemples de la section 2 la construction d’intervalles
de confiance. Plutôt que de calculer une estimation ponctuelle du paramètre inconnu,
on essaie de l’encadrer avec une forte probabilité entre des bornes calculées à partir de
l’échantillon. On parle alors d’estimation par intervalle de confiance.
Exemple 15
Soit p le pourcentage de voix obtenu par un candidat lors d’une élection. Alors que
très peu de bulletins ont été dépouillés, on souhaite obtenir une «fourchette» à 95%
pour p, c’est-à-dire un intervalle ayant 95% de chances de contenir p.
4.1 Généralités
Soit θ un paramètre inconnu. Pour construire un intervalle de confiance pour θ, consi-
dérons un estimateur de θ, noté Θb . Choisissons d’emblée un niveau de confiance, noté
n
1 − α, par exemple 1 − α = 0,95. Ici le nombre α ∈ [0,1] s’appelle le risque.
Les bornes de cet intervalle dépendent de θ0 et peuvent être calculées par exemple si l’on
connaît la loi de probabilité de Θ
b . En faisant varier θ , on obtient ainsi deux fonctions
n 0
a = t−1 −1 b
2 (θ) et b = t1 (θ),
b
20 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
t2 (θ0 )
θb
t1 (θ0 )
a θ0 b θ
α/2 α/2
1−α
Institut Mines-Télécom 21
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
α
1−α
22 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
À l’aide de tables statistiques, on peut obtenir une valeur uα/2 telle que
α
P U 6 uα/2 = 1 − ce qui entraîne que P −uα/2 6 U 6 uα/2 = 1 − α
2
(cf. figure 4). Par exemple, si 1 − α = 0,95 on a uα/2 = 1,96.
α/2 α/2
1−α
−uα/2 uα/2
Figure 4 – Détermination des seuils pour l’intervalle de confiance avec la loi normale
Exemple 16
On a mesuré la capacité, en microfarad, de 25 condensateurs et obtenu une moyenne
x = 2,09. On suppose que la capacité d’un condensateur est une variable aléatoire
suivant une loi normale d’espérance µ et d’écart-type σ = 0,08. On veut obtenir un
intervalle de confiance pour µ au seuil de 1%.
Pour α = 1%, Les tables de la loi normale permettent de déterminer
Institut Mines-Télécom 23
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Pour un niveau de confiance de 95%, on aurait eu uα/2 = 1,96 et donc obtenu pour
intervalle de confiance
" #
1,96 × 0,08 1,96 × 0,08
Ic0,95 (µ) = 2,09 − √ ; 2,09 + √ = [2,058; 2,122].
25 25
Il est logique que dans le second cas la longueur de l’intervalle soit plus petite que
dans le premier ; en effet la confiance est plus faible donc le risque plus élevé.
Remarques 4
1. Si ν = 1, il s’agit de la loi de Cauchy, dont une densité de probabilité est
1
f (t) = .
π(1 + t2 )
2. Pour de grandes valeurs de ν (ν > 160), on peut considérer avec une bonne
qualité d’approximation que T suit la loi normale centrée réduite N (0,1).
Comme on peut le constater sur la figure 5, les courbes sont symétriques par rapport
à l’axe des ordonnées et ressemblent à des courbes Gaussiennes plus «évasées». On admet
le théorème suivant.
24 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
ν =1
ν =2
ν =5
ν = 10
ν = 50
Théorème 9
Soit U une variable aléatoire suivant la loi N (0,1) et Z une variable aléatoire suivant,
indépendamment de U , une loi du χ2 à ν degrés de liberté (avec ν ∈ N∗ ).
U
Alors la variable aléatoire T = q suit la loi de Student à ν degrés de liberté.
Z/ν
X −µ
Considérons la variable aléatoire U = √ . On sait que U suit la loi N (0,1).
σ/ n
n
1X 2
Par ailleurs, en notant toujours S 2 = Xi − X la variance empirique de l’échan-
n i=1
n S2
tillon, on a vu au théorème 5 que la variable aléatoire Z = 2 suivait la loi du χ2 à
σ
ν = n − 1 degrés de liberté.
Le théorème 9 s’applique donc à la variable aléatoire
X−µ
√
σ/ n X −µ
T = q = √ .
n S2 S/ n − 1
σ 2 (n−1)
Institut Mines-Télécom 25
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
α/2 α/2
1−α
−tα/2 tα/2
Figure 6 – Détermination des seuils pour l’intervalle de confiance avec la loi de Student
X −µ
−tα/2 6 T 6 tα/2 ⇐⇒ −tα/2 6 √ 6 tα/2
S/ n − 1
S S
⇐⇒ X − tα/2 √ 6 µ 6 X + tα/2 √ .
n−1 n−1
On obtient ainsi un intervalle de confiance aléatoire pour µ au niveau de confiance
1−α : " #
S S
IC1−α (µ) = X − tα/2 √ ,X + tα/2 √ .
n−1 n−1
Suite au prélèvement de l’échantillon, la variable aléatoire X prend une valeur x et la
variable S une valeur s. Alors on obtient l’intervalle de confiance réel pour µ au niveau
de confiance 1 − α :
" #
s s
Ic1−α (µ) = x − tα/2 √ ,x + tα/2 √ .
n−1 n−1
Remarque 5
Si n est assez grand — en pratique n > 30 — le théorème central limite permet
X−µ
√ suit approximativement la loi normale N (0,1).
d’affirmer que la variable aléatoire σ/ n
Par conséquent, le corollaire 10 subsiste et les intervalles de confiance demeurent
valables même si X ne suit pas une loi normale.
26 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Exemple 17
La masse d’une pièce en cuivre produite en série suit la loi normale d’espérance µ et
de variance σ 2 inconnus. Un échantillon de n = 15 pièces a donné les résultats suivants
(en grammes) :
x = 10,9 et s = 1,16.
X−µ
D’après les résultats précédents, la variable aléatoire T = S/√
14
suit la loi de Student
T (14). On détermine à l’aide d’un logiciel ou une table statistique la valeur tα/2 telle que
P −tα/2 6 T 6 tα/2 = 1 − α avec α = 10% tα/2 = 1,761.
χ21 χ22
Pour déterminer un intervalle de confiance au seul α pour σ 2 , considérons les réels χ21
et χ22 tels que
α α
P Z 6 χ21 = et P Z 6 χ22 = 1 − .
2 2
Institut Mines-Télécom 27
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Alors, comme illustré à la figure 7, ce sont les bornes de l’intervalle de probabilité pour
Z: !
2
n S
P χ21 6 2 6 χ22 = 1 − α.
σ
On peut alors extraire un encadrement de σ 2 :
n S2 n S2 n S2
χ21 6 6 χ2
2 ⇐⇒ 6 σ 2
6 .
σ2 χ22 χ21
Oa donc trouvé un intervalle de confiance aléatoire pour σ 2 au niveau de confiance 1 − α :
" #
n S2 n S2
IC1−α (σ 2 ) = , .
χ22 χ21
Exemple 18
Dans le cadre d’un concours, un correcteur a corrigé n = 30 copies et observé sur
cet échantillon une variance s2 = 12 des notes obtenues par les candidats. Comment
déterminer un intervalle de confiance pour la variance σ 2 des notes de l’ensemble des
copies ?
On admet que les notes suivent une loi normale. Si on se fixe un niveau de confiance
1 − α = 90%, les tables statistiques permettent de déterminer les valeurs
28 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
p(1 − p)
E (F ) = p et V (F ) = −−−→ 0
n n→+∞
Institut Mines-Télécom 29
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
c1 (p)
n
k
f= n
c2 (p)
n
p1 p p2
K
n p(1−p), conséquence du théorème de Moivre-Laplace. Alors, la variable aléatoire F = n
suit la loi normale d’espérance p et de variance p(1−p)
n
, et la variable aléatoire
F −p
U=q
p(1−p)
n
p1 p2 1
Il s’agit de l’équation d’une ellipse passant par l’origine et par le point de coordonnées
(1,1) dans le plan (p,y), comme l’illustre la figure 9. Étant donnée une valeur y = f
observée sur un échantillon donné, les bornes de l’intervalle de confiance s’obtiennent en
résolvant en p l’équation suivante :
p(1 − p)
(f − p)2 = u2α/2 (E).
n
On obtient
u2α/2 u2α/2
! !
2
(E) ⇐⇒ p 1+ − p 2f + + f2 = 0
n n
r
u2α/2 u4α/2 u2α/2 u2α/2
2f + n
± n2
+ 4f n
− 4 f2 n
⇐⇒ p =
u2α/2
.
2 1+ n
Cette formule étant «un peu» encombrante, on considère en général une approximation
de ces solutions à l’aide d’un développement limité au premier ordre en n1 . Ainsi, le premier
terme donne :
u2α/2
2f + 1
n
u2α/2
=f +o .
2 1+ n
n
Institut Mines-Télécom 31
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Exemple 20
On souhaite estimer la proportion p de cyclistes parisiens portant un casque. Sur un
échantillon de 400 cyclistes, on a observé une proportion f = 36%. On souhaite un
intervalle de confiance pour p au niveau de confiance 95%.
On a n f (1 − f ) = 92,16 > 18, l’approximation par la loi normale est donc légitime.
Le théorème 11 donne donc l’intervalle de confiance
s s
0,36 × 0,64 0,36 × 0,64
Ic0,95 (p) = 0,36 − 1,96 ; 0,36 + 1,96 = [0,31,0,41].
400 400
Il est donc fort probable que la proportion cherchée soit comprise entre 31% et 41%.
5 Contrôle statistique
La qualité est au cœur des préoccupations de l’entreprise. Elle est devenue un point-
clé de leur compétitivité. Pour un constructeur automobile, par exemple, il est vital de
s’assurer que les véhicules livrés sont conformes aux attentes des clients.
Pour maîtriser un processus de production, les entreprises mettent en place des mé-
thodes statistiques permettant de créer et de fabriquer des produits de qualité. Dans le
cas de fabrication en moyennes et grandes séries, l’utilisation de techniques statistiques
permet notamment d’éviter le contrôle de toutes les unités produites (contrôle à 100%)
et de prévenir les effets de déréglages au lieu de les subir. L’ensemble de ces méthodes et
actions permettant d’évaluer de façon statistique les paramètres d’un processus de produc-
tion s’appelle la «maîtrise statistique des processus» (MSP) ou, en Anglais, «statistical
process control» (SPC).
Dans cette section, nous allons présenter une méthode statistique de contrôle largement
utilisée dans l’Industrie. Il s’agit des cartes de contrôle, ou cartes de maîtrise (en
Anglais : control charts).
32 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
K − n p0
U=q
n p0 (1 − p0 )
Institut Mines-Télécom 33
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Ceci nécessite bien sûr de supposer que la taille n des échantillons prélevés reste constante.
On reporte en ordonnée les proportions kni d’unités non conformes trouvées dans les échan-
tillons successifs. On obtient alors le graphique de la figure 10.
cible p0 = 4%
Sur cette figure 10, on observe notamment que le dernier échantillon est au-delà de la
limite de contrôle supérieure, donc que le processus de production est hors contrôle.
L’établissement de ce type de carte de contrôle peut parfois être délicat car l’utilisation
de la loi normale pour de petites valeurs de p nécessite des échantillons de taille importante,
donc généralement des contrôles automatisés. Pour des petites valeurs de p, il est parfois
plus judicieux d’approcher la loi binomiale par la loi de Poisson de paramètre np.
Parfois il n’est pas possible d’assurer une taille d’échantillon constante. Dans ce cas,
on peut être amené à faire ajuster les limites de contrôle dynamiquement.
34 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Exemple 22
Une caractéristique importante lors de la fabrication de médicaments est la masse, qui
est une variable aléatoire notée X, d’un comprimé. Il n’est évidemment pas possible
de vérifier la masse de chaque comprimé produit.
Si le processus de production est bien maîtrisé, nous admettons que X suit la loi
normale N (µ,σ 2 ) avec µ = 63 mg et σ = 0,1 mg.
Afin de vérifier que le processus est sous contrôle, on met en place, en s’appuyant sur
les moyennes x et écarts-types s des échantillons prélevés, deux cartes de contrôle :
— la carte de la moyenne (cf. figure 11) surveille le réglage du processus de pro-
duction. Si les points sont tous situés à l’intérieur des limites de contrôle, on ne
peut pas conclure à un déréglage. Par contre, si un point sort des limites on a une
forte probabilité d’un «décentrage», qu’il faut corriger par un réglage.
— La carte de l’écart-type (cf. figure 12) surveille la dispersion du processus de
production. Si un point se situe au-delà de la limite supérieure de contrôle, cela
signifie que la dispersion du processus de production augmente. On arrête alors la
ligne de production et on recherche l’origine de la détérioration de la qualité de la
production.
Lorsqu’on analyse des cartes de contrôle, on commence généralement par la carte de
surveillance de l’écart-type.
Institut Mines-Télécom 35
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
µ = 63 mg
σ = 0,1 mg
36 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Proposition 13
Au risque α = 0,27% de se tromper, la moyenne x de l’échantillon doit être comprise
entre les limites inférieure Lci (µ) et Lcs (µ) suivantes :
σ σ
Lci (µ) = µ − 3 √ Lcs (µ) = µ + 3 √ .
n n
Dans la situation de l’exemple 22, avec des échantillons de taille n = 10, on obtient
ce qui conduit une carte de contrôle du type de celle de la figure 11, sur laquelle on peut
observer deux échantillons différents révélant un processus hors contrôle.
Institut Mines-Télécom 37
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Lors du calcul des limites de contrôle, nous avons fixé la valeur de α à 0,27%. Le risque
β est de nature différente. En effet, 1 − β est la probabilité de détecter un déréglage alors
que celui-ci existe. En pratique on a donc intérêt à maximiser la valeur de 1 − β puisque
cette probabilité traduit la «performance» du dispositif de contrôle.
Lorsque le processus de fabrication est bien maîtrisé, on a X ∼ N (µ,σ 2 ). Pour calculer
β, il faut supposer qu’il est décentré d’une quantité kσ, et plus précisément supposer que
X suit la loi normale N (µ + kσ,σ 2 ).
Les limites de contrôle pour la moyenne empirique étant toujours celles établies à la
proposition 13, on a donc
β = P Lci (µ) 6 X 6 Lcs (µ) .
0,8
0,6
n=20
n=1
n=
n=
n=
n=
4
1
0
0,4
n=15
n=
5
0,2
0
0 1 2 3 4 5 k
38 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
Définition 12
À taille de l’échantillon n fixée, la courbe représentative de la fonction k 7−→ β(k) est
la courbe d’efficacité de la carte de contrôle de la moyenne.
Faisant varier n, on obtient, comme sur la figure 13, plusieurs courbes d’efficacité de
la carte de contrôle de la moyenne, permettant, par exemple, de calibrer la taille des
échantillons à prélever en fonction du risque β souhaité pour une valeur du décentrage k.
En pratique, les valeurs admissibles pour β sont comprises entre 5% et 20%.
Exemple 23
Si on souhaite détecter un décentrage de 1σ avec une probabilité 1 − β = 80%, on peut
prendre n = 15.
Conclusion
Dans ce thème, nous avons exposé les notions de base relatives à la théorie de l’estima-
tion. Ces notions, ainsi que leurs applications vues dans le cadre du contrôle statistique
(cartes de contrôle et efficacité) trouveront un prolongement naturel dans les autres thèmes
de ce MOOC (tests statistiques et régression linéaire).
Certains concepts tels qu’exhaustivité, efficacité, information de Fisher, liés à la re-
cherche du «meilleur» estimateur d’un paramètre inconnu, n’ont pas été abordés dans ce
thème. De même, l’estimation bayésienne, approche qui se révèle très utile dans certains
domaines (essais de fiabilité par exemple), n’a pas été traitée. Nous renvoyons les lecteurs
intéressés par des compléments à l’ouvrage de Gilbert SAPORTA : Probabilités, Analyse
des données et statistique, Éditions Technip, 2006.
Exercices
Exercices sur l’estimation
Exercice 1 : Estimateurs
Soient X1 ,X2 , . . . ,Xn , . . . une suite de variables aléatoires indépendantes suivant la loi
uniforme sur [0,a] où a est un paramètre réel strictement positif à estimer. On pose
An = sup Xi et Bn = 2 X.
16i6n
Institut Mines-Télécom 39
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
40 Institut Mines-Télécom
Thème 2 : Échantillonnage, estimation Statistique pour ingénieur
fθ : R −−−→ R
eθ−x si x > θ
x 7−−−→
0 sinon.
E[X] = θ + 1 et Var(X) = 1.
Institut Mines-Télécom 41
Statistique pour ingénieur Thème 2 : Échantillonnage, estimation
Dans toute la suite de l’exercice, on considère des variables aléatoires X1 , . . . ,Xn indé-
pendantes admettant fθ pour densité de probabilité.
n
1X
3. On pose Un = (Xi − 1).
n i=1
3.1 Calculer l’espérance et la variance de Un .
3.2 Que peut-on en déduire ?
4. Justifier que, si n est assez grand, la variable aléatoire
√
Tn = n (Un − θ)
σ2
∀k > 0, P (|Y − µ| > k) 6 .
k2
42 Institut Mines-Télécom