SR7 LoisProbabilite

Sciences des données
Cours #7 : Variables aléatoires réelles, vraisemblance
Stéphane Robin
© Équipe enseignante LU1INMA1
Plan du cours
1 Variable aléatoire réelle continue

Fonction de répartition, densité
Quelques lois de probabilité continues
Espérance et variance
Quantile d’une distribution
2 Vraisemblance
Échantillon de variables aléatoires
Fonction de vraisemblance
3 Démonstrations
Stéphane Robin — Cours #7 : Variables aléatoires réelles, vraisemblance — Sciences des données — 2023–2024 1/26
Plan du cours

2 Vraisemblance
3 Démonstrations
Variable aléatoire réelle
On s’intéresse maintenant à une variable aléatoire X prenant ses valeurs dans un ensemble X
infini, non dénombrable, par exemple
X = [a, b], X = R+ , X = R.
Exemples. X =
Temps d’attente avant le prochain autobus (X = R+ )
Plus basse température observée l’an prochain en un lieu donné (X = R)
Nombre réel tiré uniformément entre 0 et 1 (X = [0, 1])
Remarque. Pour une variable aléatoire X réelle de distribution continue, la probabilité

P{X = x} est nulle pour tout x ∈ X , donc la fonction p(x) est donc nulle partout.
→ La fonction p(x) = P{X = x} ne décrit donc pas la distribution de X .
Fonction de répartition
Fonction de répartition
La fonction de répartition F d’une variable aléatoire réelle X est la fonction
F : X 7→ [0, 1]
x → F (x) = P{X ≤ x}
La fonction de répartition vérifie notamment
lim F (x) = 0, lim F (x) = 1.

x→−∞ x→+∞
Croissance de la fonction de répartition

La fonction de répartition F est une fonction croissante :
x <y ⇒ F (x) ≤ F (y ). (1)
De plus
F (y ) − F (x) = P{x < X ≤ y }.
Fonction de répartition : exemple
Exemple de fonction de répartition : X = R+
F (1) ≃ 0.0803, F (3) ≃ 0.5768, F (6) ≃ 0.9380, F (8) ≃ 0.9862.
Les régions de X dans lesquelles il est le plus probable d’observer une réalisation de X
correspondent aux régions dans lesquelles F augmente le plus vite.
Densité de probabilité
Densité de probabilité d’une variable réelle

La densité de probabilité d’une variable X de fonction de répartition F dérivable est la dérivée
de F :
f : X 7→ [0, 1]
x → f (x) = F ′ (x).
Remarques.
1 Par définition de la dérivée, F constitue une primitive de la fonction f : pour a ≤ b,
Z b
F (b) − F (a) = f (x) dx.
a
2 Par construction, f vérifie

Z x Z +∞
F (x) = f (u) du ⇒ f (x) dx = lim F (x) = 1.
−∞ −∞ x→+∞
Densité : exemple
Exemple de densité : X = R+
Fonction de répartition F (x) Densité de probabilité f (x) = F ′ (x)
F (1) ≃ 0.0803, F (3) ≃ 0.5768, F (6) ≃ 0.9380, F (8) ≃ 0.9862.

Z 3
P{1 < X ≤ 3} = f (x) dx = F (3) − F (1) ≃ 0.4965, P{6 < X ≤ 8} ≃ 0.0482.
1
Les intervalles [1, 3] et [6, 8] sont de même largeur, mais la probabilité de l’événement
{X ∈ [1, 3]} est plus de 10 fois supérieure à celle de l’événement {X ∈ [6, 8]}.
→ La ’densité de probabilité’ est plus grande dans l’intervalle [1, 3] que dans l’intervalle [6, 8] .
Loi exponentielle (1/2)
Loi exponentielle
La loi exponentielle (de paramètre λ) est la loi de la variable aléatoire X réelle positive
(X = R+ ) telle que
F (x) = P{X ≤ x} = 1 − exp(−λx).
On note alors X ∼ E(λ).
Densité de la loi exponentielle

La densité de la loi exponentielle E(λ) est
f (x) = F ′ (x) = λ exp(−λx).
Loi exponentielle (2/2)
Lois exponentielles E(1) et E(4)
Fonction de répartition F (x) Densité de probabilité f (x)
La loi exponentielle est, par exemple, utilisée pour décrire la distribution d’un temps d’attente.
Loi uniforme (1/2)
Loi uniforme
La loi uniforme sur l’intervalle [0, 1] est la loi de la variable aléatoire X réelle à valeur dans
[0, 1] telle que
f (x) = 1 si x ∈ [0, 1] et 0 sinon.
On note alors X ∼ U ([0, 1]).
Fonction de répartition de la loi uniforme

La fonction de répartition d’une variable X ∼ U ([0, 1]) vaut

 0 pour x < 0,
F (x) = x pour 0 ≤ x ≤ 1, (2)
1 pour x > 1.

Loi uniforme (2/2)
Loi uniforme U ([0, 1]).
La loi uniforme est la loi élémentaire en matière de simulation numérique : la plupart des
langages et systèmes proposent une fonction permettant de la simuler.
La simulation selon d’autres lois de probabilités repose le plus souvent sur la simulation d’une
ou plusieurs variables uniformes.
Loi normale (1/2)
Loi normale
La loi normale (de paramètre µ et σ 2 ) est la loi de la variable aléatoire X réelle (X = R) telle
que
(x − µ)2

1
f (x) = √ exp − .
σ 2π 2σ 2
On note alors
X ∼ N (µ, σ 2 ).
Remarques.
1 Il n’existe pas de forme explicite pour la fonction de répartition de la loi normale :
Z x
(u − µ)2

1
F (x) = √ exp − d u.
σ 2π −∞ 2σ 2
2 On peut remarquer que la fonction f est symétrique par rapport à µ :

1
f (µ + x) = f (µ − x) ⇒ F (µ) = .
2
Loi normale (2/2)
Lois normales N (0, 1) et N (3, 4)
La loi normale apparaît dans presque tous les domaines scientifiques et techniques.
Espérance et variance d’une variable aléatoire réelle

L’espérance (notée E) et la variance (notée V) d’une variable X réelle sont définies par
Z Z
E(X ) = f (x) x dx, V(X ) = f (x) (x − E(X ))2 dx.
X X
Remarques.
1 Là encore, il faut s’assurer que les intégrales existent (hors programme du cours).
2 Sous la même condition, on peut définir l’espérance d’une fonction de X , par exemple :
E[X 2 ], E[log(X )], E[1/X ].
3 On montre facilement que l’égalité
V(X ) = E(X 2 ) − (E(X ))2 .
est également vraie pour une variable continue.
Loi uniforme
Espérance et variance de la loi uniforme

L’espérance et la variance d’une variable X ∼ U ([0, 1]) valent
1 1
E(X ) = , V(X ) = . (3)
2 12
Espérance et variance de la loi normale

L’espérance et la variance d’une variable X ∼ N (µ, σ 2 ) valent
E(X ) = µ, V(X ) = σ 2 .
La démonstration de cette propriété n’est pas donnée ici : il suffit d’effectuer une intégration
par partie.
La distribution d’une variable continue nous renseigne sur les intervalles dans lesquels elle est
le plus susceptible d’être observée.
→ La notion de quantile permet de déterminer ces intervalles.
Quantile
Le quantile d’ordre u, noté q(u) d’une variable X est la valeur q(u) telle que
P{X ≤ q(u)} = u
Fonction de répartition inverse

Si la fonction de répartition F est continue et strictement croissante, on a
q(u) = F −1 (u). (4)
Quantile : exemple
Quantile d’une loi (u = 80%)
Quantile et loi exponentielle
Quantile de la loi exponentielle

Le quantile d’ordre u d’une variable aléatoire exponentielle X ∼ E(λ) vaut
q(u) = − log(1 − u)/λ. (5)
Méthode de la fonction inverse

Si U ∼ U ([0, 1]), alors
X = − log(1 − U)/λ (6)
suit une loi exponentielle E(λ).
Remarque. La proposition précédente se généralise à toute variable aléatoire dont la fonction

de répartition F est strictement monotone croissante de 0 à 1 :
U ∼ U ([0, 1]) ⇒ X = F −1 (U) a pour fonction de répartition F .
Quantiles de la loi normale
Quantiles de la loi normale N (0, 1)
La symétrie de la densité de la loi normale N (0, 1) implique la symétrie des quantiles :
q(1 − u) = −q(u).
u 0.025 0.05 0.1 0.25 0.5 0.75 0.9 0.95 0.975

q(u) −1.960 −1.645 −1.282 −0.6745 0 0.6745 1.282 1.645 1.960
Plan du cours

2 Vraisemblance
3 Démonstrations
Vers l’inférence
Distribution paramétrique. De façon générique, on note

F = distribution (Bernoulli, exponentielle, ...)
θ = paramètre (π, λ, ...).
Exemple :
Variables entières Variables réelles
Loi F θ Loi F θ
Bernoulli B π exponentielle E λ
binomiale B (n, π) normale N (µ, σ 2 )
On note de même :
p(x; θ), f (x; θ) F (x; θ).
Objectif : Estimer θ à partir de n réalisations x1 , x2 , . . .xn de la variable X ∼ F (θ).
Échantillon i.i.d.
Un ensemble de variables aléatoires X1 , X2 , . . . , Xn constitue un (n-)échantillon i.i.d. de la loi
F (θ) si et seulement si
les variables X1 , X2 , . . . , Xn sont toutes indépendantes et
chacune d’elles est distribuée selon la loi F (θ) :
∀1 ≤ i ≤ n : Xi ∼ F (θ).
La notation i.i.d. signifie “indépendantes et identiquement distribuées”.
Exemples de réalisations d’échantillons de taille n = 5.
x1 x2 x3 x4 x5
Bernoulli B(1/2) 0 0 1 1 0
Exponentielle E(1) 0.458 0.2582 2.895 1.23 0.5397
Normale N (0, 1) -0.005767 2.405 0.7636 -0.799 -1.148
Echantillon i.i.d.= ensemble d’expériences menées

dans les mêmes conditions et
indépendamment les unes des autres
Vraisemblance d’un échantillon i.i.d.

La fonction de vraisemblance de la réalisation (x1 , . . . xn ) d’un échantillon (X1 , . . . Xn ) i.i.d. est
si les variables Xi sont discrètes :
n
Y
V (x1 , . . . xn ; θ) = p(xi ; θ),
i=1
si les variables Xi sont réelles :

n
Y
V (x1 , . . . xn ; θ) = f (xi ; θ).
i=1
Cas discret : puisque les Xi sont indépendants
V (x1 , . . . xn ; θ) = Pθ {X1 = x1 , X2 = x2 , . . . Xn = xn }.
Cas continu : V (x1 , . . . xn ; θ) = densité jointe des variables (X1 , . . . Xn ).
Vraisemblance d’un échantillon de Bernoulli
On a θ = π et p(x; π) = π x (1 − π)1−x , donc
n
Y n
X
V (x1 , . . . xn ; π) = π xi (1 − π)1−xi = π y (1 − π)n−y avec y = xi .
i=1 i=1
Échantillon de Bernoulli
Pour la réalisation
x1 x2 x3 x4 x5
0 0 1 1 0
on a y = 2, donc
V (x1 , . . . xn ; π) = π 2 (1 − π)3
Vraisemblance d’un échantillon de loi exponentielle
On a θ = λ et f (x; λ) = λ exp(−λx), donc
n
Y n
X
V (x1 , . . . xn ; λ) = λ exp(−λxi ) = λn exp(−λy ) avec y = xi .
i=1 i=1
Échantillon de loi exponentielle
x1 x2 x3 x4 x5
0.458 0.2582 2.895 1.23 0.5397
on a y = 5.38, soit
V (x1 , . . . xn ; λ) = λ5 exp(−5.38 λ)
Vraisemblance d’un échantillon gaussien
√
On a θ = (µ, σ 2 ) et f (x; µ, σ 2 ) = exp(−(x − µ)2 /2σ 2 )/(σ 2π), donc
n n
!
Y 1 x 2 − 2µxi + µ2 X
V (x1 , . . . xn ; µ, σ 2 ) = √ exp − i 2
avec y = xi
i=1
σ 2π 2σ i=1
n n
z − 2µy + nµ2

1 X
= √ exp − 2
et z = xi2 .
σ 2π 2σ i=1
Échantillon de loi normale
x1 x2 x3 x4 x5
-0.00577 2.405 0.7636 -0.799 -1.148
on a y = 1.216 et z = 8.321, soit
V (x1 , . . . xn ; µ, σ 2 ) =
5
8.321 − 2.432 µ + 5µ2

1
√ exp − 2
σ 2π 2σ
Plan du cours

2 Vraisemblance
3 Démonstrations
Démonstrations
Variable aléatoire réelle continue : fonction de répartition
Démonstration de l’équation (1). Si x < y , les événements {X ≤ x} et {x < X ≤ y } sont

disjoints, donc
F (y ) = P{X ≤ y } = P{X ≤ x} + P{x < X ≤ y } ≥ P{X ≤ x} = F (x).

| {z }
≥0
A cette occasion on a montré que
P{x < X ≤ y } = P{X ≤ y } − P{X ≤ x} = F (y ) − F (x).
Variable aléatoire réelle continue : loi uniforme I
Démonstration de l’équation (2). On rappelle que

Z x
F (x) = f (u) du
−∞
et on considère trois cas :

x < 0 : F (x) = 0 car f (u) = 0 pour u < 0 ;
0≤x ≤1:
Z x Z 0 Z x Z x
F (x) = f (u) du = f (u) du + f (u) du = 0 + 1 du = [u]x0 = x;
−∞ −∞ 0 0
x >1: Z x Z 1 Z x
F (x) = f (u) du = f (u) du + f (u) du = F (1) = 1
−∞ −∞ b
| {z } | {z }
F (1) 0
car f (x) = 0 pour x > 1.

□
Variable aléatoire réelle continue : loi uniforme II
Démonstration de l’équation (3). On a
1 1 1
x2
Z Z
1
E(X ) = xf (x) dx = x dx = = .
0 0 2 0 2
De plus
1 1 1
x3
Z Z
1
E(X 2 ) = x 2 f (x) dx = x 2 dx = = ,
0 0 3 0 3
donc
1 1 1
V(X ) = E(X 2 ) − (E(X ))2 = − = .
3 4 12
□
Quantile I
Démonstration de l’équation (4). Par définition du quantile q et de la fonction de répartition

F , on a
P{X ≤ q(u)} = u ⇔ F (q(u)) = u ⇔ q(u) = F −1 (u)
à condition que F soit continue et strictement monotone croissante, c’est-à-dire inversible. □
Quantile II
Démonstration de l’équation (5). On a
P{X ≤ x} = u ⇔ F (x) = u
⇔ 1 − exp(−λx) = u
⇔ −λx = log(1 − u)
⇔ x = − log(1 − u)/λ.
Quantile III
Démonstration de l’équation (6). On indice la fonction de répartition notée F par la variable à

laquelle elle se réfère : FX pour X , FU pour U.
On rappelle que la fonction de répartition de la loi uniforme est la fonction identité pour
u ∈ [0, 1] : FU (u) = u. On a donc :
FX (x) = P{X ≤ x}
= P{− log(1 − U)/λ ≤ x}
= P{U ≤ 1 − exp(−λx)}
= FU (1 − exp(−λx))
= 1 − exp(−λx)
où on reconnaît la fonction de répartition de la loi exponentielle. □

SR7 LoisProbabilite

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

SR7 LoisProbabilite

Transféré par

Droits d'auteur :

Formats disponibles

Sciences des données

Cours #7 : Variables aléatoires réelles, vraisemblance

1 Variable aléatoire réelle continue

1 Variable aléatoire réelle continue

Remarque. Pour une variable aléatoire X réelle de distribution continue, la probabilité

→ La fonction p(x) = P{X = x} ne décrit donc pas la distribution de X .

La fonction de répartition vérifie notamment

lim F (x) = 0, lim F (x) = 1.

Croissance de la fonction de répartition

x <y ⇒ F (x) ≤ F (y ). (1)

Exemple de fonction de répartition : X = R+

F (1) ≃ 0.0803, F (3) ≃ 0.5768, F (6) ≃ 0.9380, F (8) ≃ 0.9862.

Densité de probabilité d’une variable réelle

2 Par construction, f vérifie

Fonction de répartition F (x) Densité de probabilité f (x) = F ′ (x)

F (1) ≃ 0.0803, F (3) ≃ 0.5768, F (6) ≃ 0.9380, F (8) ≃ 0.9862.

Densité de la loi exponentielle

f (x) = F ′ (x) = λ exp(−λx).

Lois exponentielles E(1) et E(4)

Fonction de répartition F (x) Densité de probabilité f (x)

Fonction de répartition de la loi uniforme

Loi uniforme U ([0, 1]).

Fonction de répartition F (x) Densité de probabilité f (x)

2 On peut remarquer que la fonction f est symétrique par rapport à µ :

Lois normales N (0, 1) et N (3, 4)

Fonction de répartition F (x) Densité de probabilité f (x)

Espérance et variance d’une variable aléatoire réelle

E[X 2 ], E[log(X )], E[1/X ].

3 On montre facilement que l’égalité

V(X ) = E(X 2 ) − (E(X ))2 .

est également vraie pour une variable continue.

Espérance et variance de la loi uniforme

Espérance et variance de la loi normale

→ La notion de quantile permet de déterminer ces intervalles.

Fonction de répartition inverse

q(u) = F −1 (u). (4)

Quantile d’une loi (u = 80%)

Fonction de répartition F (x) Densité de probabilité f (x)

Quantile de la loi exponentielle

q(u) = − log(1 − u)/λ. (5)

Méthode de la fonction inverse

Remarque. La proposition précédente se généralise à toute variable aléatoire dont la fonction

U ∼ U ([0, 1]) ⇒ X = F −1 (U) a pour fonction de répartition F .

Quantiles de la loi normale N (0, 1)

La symétrie de la densité de la loi normale N (0, 1) implique la symétrie des quantiles :

u 0.025 0.05 0.1 0.25 0.5 0.75 0.9 0.95 0.975

1 Variable aléatoire réelle continue

Distribution paramétrique. De façon générique, on note

Objectif : Estimer θ à partir de n réalisations x1 , x2 , . . .xn de la variable X ∼ F (θ).

La notation i.i.d. signifie “indépendantes et identiquement distribuées”.

Exemples de réalisations d’échantillons de taille n = 5.

Echantillon i.i.d.= ensemble d’expériences menées

Vraisemblance d’un échantillon i.i.d.

si les variables Xi sont réelles :

Cas discret : puisque les Xi sont indépendants

Cas continu : V (x1 , . . . xn ; θ) = densité jointe des variables (X1 , . . . Xn ).

Échantillon de loi exponentielle

Échantillon de loi normale

on a y = 1.216 et z = 8.321, soit

1 Variable aléatoire réelle continue

Démonstration de l’équation (1). Si x < y , les événements {X ≤ x} et {x < X ≤ y } sont

F (y ) = P{X ≤ y } = P{X ≤ x} + P{x < X ≤ y } ≥ P{X ≤ x} = F (x).

A cette occasion on a montré que