Université Paris Dauphine 2017–2018

Département MIDO
Master 1 – Méthodes de Monte Carlo

Travaux Dirigés n °1

stoehr@ceremade.dauphine.fr

Exercice 1. Soit (Yn )n∈N une suite de variables i.i.d. de moyenne µ et de variance σ2 . On pose
1X n
Yn = Yi .
n i =1

1. Montrer que les estimateurs suivants convergent vers σ2

1 Xn 1 Xn
b 2n =
a. σ (Yk − Yn )2 . b 22n =
c. σ (Y2k−1 − Y2k )2 .
n k=1 2n k=1
1 X n
b 2n−1 =
b. σ (Yk − Yn )2 .
n − 1 k=1

Solution.
b 2n peut s’écrire sous la forme
a. L’estimateur σ

1 Xn 1 Xn
2 2
b 2n =
σ Yk2 − 2Yk Y n + Y n = Y 2 − Y n. (1)
n k=1 n k=1 k

La suite (Yn )n∈N étant une suite de variables aléatoires i.i.d. intégrables, la loi forte des grands
nombres assure que
p.s. 2
Y n −→ E [Y1 ] par suite Y n −→ E [Y1 ]2 .
n7→+∞ n7→+∞

Par ailleurs, Yn2 n∈N est également une suite de variables aléatoires intégrables (la variance
¡ ¢

étant définie, on a bien E Y12 < ∞). On a donc avec la loi forte des grands nombres
£ ¤

1 Xn
p.s.
Yk2 −→ E Y12 .
£ ¤
n k=1 n7→+∞

b 2n −→ E Y12 − E [Y1 ]2 = Var[Y1 ].

Il résulte de l’équation (??), σ
£ ¤
n7→+∞

b. b 2n−1 étant asymptotiquement équivalent à l’estimateur σ

L’estimateur σ b 2n , on en déduit converge
également vers Var[Y1 ].
c. Les variables aléatoires (Yn )n∈N étant i.i.d., la suite {Y2n−1 − Y2n }2 n≥1 est une suite de variables
¡ ¢

aléatoires i.i.d.. Elles sont de plus intégrables :

E (Y1 − Y2 )2 = E Y12 + E Y22 − 2E [Y1 Y2 ]

£ ¤ £ ¤ £ ¤

Y1 et Y2 étant indépendantes, E [Y1 Y2 ] = E [Y1 ]E [Y2 ], et identiquement distribuées, E Y12 =

£ ¤

1
TD n°1 Méthodes de Monte Carlo

E Y22 , on a
£ ¤

E (Y1 − Y2 )2 = 2E Y12 − 2E Y12 = 2Var[Y1 ] < ∞.

£ ¤ £ ¤ £ ¤

D’après la loi forte des grand nombres, on a alors

1 Xn
(Y2k−1 − Y2k )2 2E Y12 − 2E Y12 −→ 2Var[Y1 ],
£ ¤ £ ¤
n k=1 n7→+∞

b 22n vers Var[Y1 ].

et par suite la convergence de σ

b 2n−1 est un estimateur sans biais, i.e., E σ

£ 2 ¤
2. Montrer que σ b n−1 = σ2 .

b 2n−1 s’écrit
Solution. Les variables étant identiquement distribuées, l’espérance de l’estimateur σ
sous la forme :
" #
1 X n n n
2
£ 2 ¤ h 2i
2
E σb n−1 = E E Y12 − E Yn .
£ ¤
Yk − 2Y n Yk + Y n = (2)
n − 1 k=1 n −1 n −1
h 2i h i2 h i
Il suffit donc de calculer E Y n = E Y n + Var Y n . Les variables (Yn )n∈N étant indépendantes
h i
Var Y n = n12 nk=1 Var[Yk ]. Elles sont de plus identiquement distribuées, donc
P

h 2i 1
E Y n = E [Y1 ]2 + Var[Y1 ].
n

Partant de l’équation (??), on a alors

n n
µ ¶ µ ¶
£ 2 ¤ 1 1
E σ E Y12 − E [Y1 ]2 − Var[Y1 ]+ = Var[Y1 ] − Var[Y1 ] = Var[Y1 ].
£ ¤
b n−1 =
n −1 n n −1 n

Exercice 2. Soient X une variable aléatoire de fonction de répartition F et U ∼ U ([0 , 1]). On considère
a, b ∈ R tels que a < b et P [a < X ≤ b] > 0. On note

X a,b = F −1 [F (a) + {F (b) − F (a)}U ] .

Montrer que X a,b a la même loi que X sachant a < X ≤ b.

Solution. On souhaite montrer que la fonction de répartition que X a,b est la même que celle de
X sachant a < X ≤ b. Soit x un réel. Comme P [a < X ≤ b] > 0, la formule de Bayes donne
P[a<X ≤x]



 P[a<X ≤b] = 0 si x ≤ a
P [X ≤ x, a < X ≤ b]


P[a<X ≤x] F (x)−F (a)
P [X ≤ x | a < X ≤ b] = = P[a<X ≤b] = F (b)−F (a) si a < x ≤ b
P [a < X ≤ b] 


 P[a<X ≤b]

P[a<X ≤b] = 1 si x > b.

Par ailleurs, la fonction de répartition de X a,b est donnée par

h i
P X a,b ≤ x = P F −1 [F (a) + {F (b) − F (a)}U ] ≤ x .
£ ¤

2
TD n°1 Méthodes de Monte Carlo

Par définition de l’inverse généralisé, {(y, x) : F −1 (y) ≤ x} = {(y, x) : F −1 (y) ≤ x} (c.f., cours). On en
déduit

F (x) − F (a)
h i · ¸
a,b
P X ≤ x = P [F (a) + {F (b) − F (a)}U ≤ F (x)] = P U ≤ .
F (b) − F (a)

Il s’agit de la fonction de répartition FU de la loi U ([0 , 1]) au point t = FF (b)−F

(x)−F (a)
(a) . Par croissance de
F , si x < a alors t <= 0 et FU (t ) = 0 ; si a < x ≤ b alors t ∈ [0 , 1] et FU (t ) = t ; si b < x alors t ≥ 1 et
FU (t ) = 1. Ce qui constitue le résultat souhaité.

Exercice 3. Soit (X n )n∈N une suite de variables aléatoires i.i.d. de loi exponentielle de paramètre λ.
1. Pour n ≥ 1, on définit

λn x n−1
d n (x) = e −λx 1{x≥0} , pour tout x ∈ R.
(n − 1)!

Montrer que d n est une densité pour tout n ≥ 1.

R
Solution. Pour n ≥ 1, d n est mesurable et positive. Il reste à montrer que R d n (x)dx = 1 pour tout
n ≥ 1.

Initialisation (n = 1). d 1 est intégrable sur R

Z Z +∞ h i+∞
d 1 (x)dx = λe −λx dx = −e −λx = 1.
R 0 0

= 1. Par croissance comparée x n e −λx −→ 0. En intégrant par

R
Hérédité. On suppose R d n (x)dx x7→+∞
partie, on a donc

λ x −λx +∞
· n n Z +∞ n−1
nx
Z ¸ Z
−λx
d n+1 (x)dx = − e + nλ e dx = d n (x)dx = 1.
R n! 0 0 n! R

La loi de densité d n est la loi gamma de paramètre n ≥ 1 et λ.

2. Soit S n := X 1 + · · · + X n . Montrer que S n suit la loi gamma de paramètres n et λ.

Solution. On procède par récurrence.

Initialisation (n = 1). Les lois ε(λ) et γ(1, λ) ont même densité d’où le résultat pour n = 1.

Hérédité. On suppose que S n = X 1 + · · · + X n ∼ γ(n, λ). Soit h une fonction borélienne positive.

E [h(S n+1 ] = E [h(S n + X n+1 )]

Z
= h(x + y)d n (x) f (y)dxdy, où f est la densité de la loi ε(λ),
R2
λn+1 x n−1 −λ(x+y)
Z
= h(x + y) e dxdy
R2 (n − 1)!

On pose le changement de variable Φ : x 7→ y + x qui réalise une C 1 -difféomorphisme de [0 , +∞[

3
TD n°1 Méthodes de Monte Carlo

£ £
dans y , +∞ . On alors

λn+1 (z − y)n−1 −λz

Z
E [h(S n+1 ] = h(z) e 1{z∈[ y,+∞[} 1{ y∈[0,+∞[} dzdy.
R2 (n − 1)!

Comme 1{z∈[ y,+∞[} 1{ y∈[0,+∞[} = 1{0≤y≤z<+∞} = 1{ y∈[0,z[} 1{z∈[0,+∞]} , on a alors

λn+1 (z − y)n−1 −λz

Z
E [h(S n+1 ] = h(z) e 1{ y∈[0,z[} 1{z∈[0,+∞]} dzdy
R2 (n − 1)!
(z − y)n−1 )
Z Z
= λn+1 h(z)e −λz 1{z∈[0,+∞]} 1{ y∈[0,z[} dydz
R R (n − 1)!
(z − y)n z
Z · ¸
= λn+1 h(z)e −λz 1{z∈[0,+∞]} − dz
R n! 0
n
−λz z
Z Z
n+1
= λ h(z)e 1{z∈[0,+∞]} dz = h(z)d n+1 (z)dz.
R n! R

On en déduit que S n+1 suit une loi de densité d n+1 , i.e., S n+1 est de loi gamma.

3. Soit N = sup {n ≥ 1 : S n ≤ 1} (par convention N = 0 si X 1 > 1). Montrer que N suit une loi de Poisson
de paramètre λ.
Rappel. La loi de Poisson de paramètre λ est une loi discrète de fonction de probabilité définie pour
tout k ∈ N par P [Y = k] = e −λ λk! .
k

Solution. On a pour k ≥ 1, {N = k} = {S k ≤ 1} ∩ {S k+1 > 1}. La suite (S n )n∈N est p.s. strictement
croissante et {S k > 1} ⊂ {S k+1 > 1}. On en déduit que

P [{S k ≤ 1} ∪ {S k+1 > 1}] = 1 et P [N = k] = P [S k ≤ 1] − P [S k + 1 ≤ 1].

R1
Or P [S k ≤ 1] = 0 d k (t )dt et en intégrant par partie
" #1
λk x k −λx 1 λk −λ 1
Z Z
P [S k+1 ≤ 1] = − e + d k (t )dt = − e + d k (t )dt .
k! 0 k! 0
0

λk −λ
Ainsi P [N = k] = k! e , d’où le résultat souhaité. (par convention N = 0 si X 1 > 1).

Exercice 4 (Box-Muller).
1. Soient U1 et U2 des variables i.i.d. de loi U ([0 , 1]).
a. Montrer que les variables
p p
X 1 = −2 ln(U1 ) cos(2πU2 ) et X 2 = −2 ln(U1 ) sin(2πU2 ), (3)
sont i.i.d. de loi N (0 , 1).

Solution. On pose le changement de variable

Φ : ]0 , 1[2 → ³ R2 \ {(x, 0) : x ≥ 0} ´
p p
(u 1 , u 2 ) 7→ −2 ln u 1 cos(2πu 2 ), −2 ln u 1 sin(2πu 2 )

4
TD n°1 Méthodes de Monte Carlo

Φ réalise un C 1 -difféomorphisme entre les ouverts ]0 , 1[2 et R2 \ {(x, 0) : x ≥ 0} avec

Φ−1 : R2 \ {(x, 0) : x ≥ 0} → µ ½]0 , 1[

2
¾¶
³ 2 2´
x +y 1 y
(x, y) 7→ exp − 2 , 2π π + 2 arctan p .
x 2 +y 2 +x

Ainsi (X 1 , X 2 ) est une variable aléatoire et si l’on note f (U 1,U 2) la densité de la loi jointe de (U1 ,U2 ),
on déduit la densité f (X 1 ,X 2 ) de (X 1 , X 2 ) d’après le théorème de changement de variable :

f (X 1 ,X 2 ) (x 1 , x 2 ) = f (U 1,U 2) Φ−1 (x 1 , x 2 ) |detJ Φ−1 (x 1 , x 2 )|.

© ª

On a
¯ ³ 2 2´ ³ 2 2 ´¯
x +y x +y ¯
¯−x exp − 2 −y exp − 2 ¯
¯
µ 2
x + y2
¯ ¯ −1 ¶
detJ Φ−1 (x, y) = ¯ ¯= exp − .
¯ ¯
¯ −y x ¯ 2π 2
¯ ¯
¯ 2π(x 2 + y 2 ) 2π(x 2 + y 2 ) ¯

Par ailleurs,

f (U 1,U 2) Φ−1 (x, y) = 1n

© ª
³ 2 2´ o × 1½ ¾ = 1.
x +y y
exp − 2 ∈[0,1] 1 1
+ arctan p ∈[0,1]
2 π x 2 +y 2 +x

Ainsi pour tout (x 1 , x 2 ) ∈ R2 \ {(x, 0) : x ≥ 0}, on a

x 12 + x 22 x 12 x2
à ! à ! à !
1 1 1
f (X 1 ,X 2 ) (x 1 , x 2 ) = exp = p exp × p exp 2 .
2π 2 2π 2 2π 2

On en déduit que X 1 et X 2 sont indépendantes, et comme

P(X 1 ,X 2 ) R2 \ {(x, 0) : x ≥ 0} = P(X 1 ,X 2 ) R2 = 1,
£ ¤ £ ¤

elles sont bien identiquement distribuées suivant la loi normale centrée réduite.

Solution alternative. On pose le changement de variable

Φ : ]0 , 1[2 → ³ R∗+ × ]0 , 2π[ ´

p
(u 1 , u 2 ) 7→ −2 ln u 1 , 2πu 2

qui réalise un C 1 -difféomorphisme entre les ouverts ]0 , 1[2 et R∗+ × ]0 , 2π[, avec

2
Φ−1 : R∗+ × ]0 , 2π[ → ³ ³ , 1[2 ´
]0 ´
θ
(r, θ) 7→ exp − r2 , 2π

On en déduit que (R, Θ) = Φ(U1 ,U 2) est une variable aléatoire et par changement de variable
µ 2¶
r r
f (R,Θ) (r, θ) = exp − 1nexp³− r 2 ´∈]0,1[o × 1© θ ∈]0,1[ª
2π 2 2 2π
µ 2¶
r 1
= r exp − 1{r ∈R∗+ } × 1{θ∈]0,2π[} .
2 2π

5
TD n°1 Méthodes de Monte Carlo

Ainsi pour toute fonction borélienne positive h, on a

µ 2¶
r 1
Z
E [h(X 1 , X 2 )] = h(r cos θ, r sin θ) exp − 1{r ∈R∗+ } × 1{θ∈]0,2π[} r dr dθ.
R2 2 2π

En considérant le changement de variables en coordonnées polaires qui réalise un C 1 - difféo-

morphisme entre les ouverts R∗+ × ]0 , 2π[ et R2 \ {(x, 0) : x ≥ 0}, on a

x 12 + x 22
à !
1
Z
E [h(X 1 , X 2 )] = h(x 1 , x 2 ) exp − 1{(x1 ,x2 )∈R2 \{(x,0) : x≥0}} dx 1 dx 2 .
R2 2π 2

Comme
P(X 1 ,X 2 ) R2 \ {(x, 0) : x ≥ 0} = P(X 1 ,X 2 ) R2 = 1,
£ ¤ £ ¤

on a le résultat souhaité.

b. En déduire que les coordonnées polaires (R, Θ) de (X 1 , X 2 ) vérifient

R 2 ∼ ε(1/2) et Θ ∼ U ([0 , 2π]).

Solution. D’après la question précédente, on a

R 2 = −2 lnU1 et Θ = 2πU2 .

On obtient directement Θ ∼ U ([0 , 2π]). Il suffit ensuite de remarquer que R 2 = F −1 (U1 ) où

F −1 est l’inverse (généralisé) de la fonction de répartition de la loi exponentielle ε(1/2) pour
conclure.

c. Donner une méthode de simulation des coordonnées polaires (R, Θ) d’un vecteur aléatoire Z ∼
N (02 , I2 ).

Solution. On commence par simuler une réalisation de U1 et U2 suivant la loi U ([0 , 1]). On
applique ensuite la méthode de la fonction inverse pour simuler R 2 . Il ne reste plus qu’à trans-
former les réalisations précédentes pour obtenir des réalisations de R et Θ.

2. Soient U1 et U2 des variables i.i.d. de loi U ([−1 , 1]). On effectue des tirages de U1 et U2 jusqu’à ce que
S := U12 +U22 ≤ 1.
a. Montrer qu’à l’issue de cette procédure (U1 ,U2 ) suit une loi uniforme sur le disque unité D1 =
(u, v) : u 2 + v 2 ≤ 1 .
© ª

Solution. Il suffit de dominer la loi uniforme sur le disque unité par la loi uniforme sur [−1 , 1]2 :

1 41 4
1{u12 +u22 ≤1} ≤ 1{(u1 ,u2 )∈[−1,1]2 } = f (U1 ,U2 ) (u 1 , u 2 ).
π π4 π
i.i.d.
L’algorithme du rejet permet alors de conclure. Pour U1(n) ,U2(n) ∼ U ([−1 , 1]) et Vn ∼ U ([0 , 1]),
¢2 ¡ ¢2
on pose S n = U1(n) + U2(n) . Alors le temps d’arrêt dans l’algorithme du rejet s’écrit
¡
( )
1{S n ≤1}
T = inf n ≥ 1 : Vn ≤ = inf {n ≥ 1 : S n ≤ 1} .
1 U (n) ,U (n) ¢∈[−1,1]2 ª
©¡
1 2

6
TD n°1 Méthodes de Monte Carlo

Solution alternative. On génère des réalisations de la loi uniforme conditionnée à être dans la
boule unité. On peut calculer sa densité. Pour tout h : R2 → R borélienne bornée

1 1
Z
E h(U1 ,U2 ) ¯ U12 +U22 ≤ 1 =
£ ¯ ¤
h(u 1 , u 2 )1{u 2 +u 2 ≤1} 1{(u1 ,u2 )∈[−1,1]2 } du 1 du 2
P U1 +U2 ≤ 1 R2
£ 2 2
¤
1 2 4
1
Z
= h(u 1 , u 2 )1{u 2 +u 2 ≤1} du 1 du 2 ,
π [−1,1]2 1 2

car P U12 +U22 ≤ 1 = π4 .

£ ¤

b. Montrer que
s s
−2 ln(S) −2 ln(S)
X 1 = U1 et X 2 = U2
S S
sont i.i.d. de loi N (0 , 1).

Solution. À la fin de l’algorithme précédent, chaque réalisation correspond aux coordonnées

cartésiennes d’un point dans le disque unité. Soit (U1 ,U2 ) un couple de variables tirées unifor-
mément sur le disque unité D∞ . Il est compliqué de déterminer la loi de (X 1 , X 2 ) directement ne
connaissant pas la loi jointe de (U1 , S). On note (R, Θ) les coordonnées polaires de (U1 ,U2 ). On a
alors
p p
X1 = −4 ln R cos Θ et X 2 = −4 ln R sin Θ.

Reste à déterminer la loi de (R, Θ). Le changement de variables en coordonnées polaire Φ réalise
un C 1 -difféomorphisme entre D1 \ {(0, 0)} et ]0 , 1] × [0 , 2π[ et (R, Θ) = Φ(U1 ,U2 ) est une variable
aléatoire de densité

f (R,Θ) (r, θ) = f (U1 ,U2 ) {Φ−1 (r, θ)}|detJ Φ−1 (r, θ)|1{r ∈]0,1]} 1{θ∈[0,2π[}
1
= 1{(r cos θ,r sin θ)∈D1 } r 1{r ∈]0,1]} 1{θ∈[0,2π[}
π
1
= 2r 1{r ∈]0,1]} 1{θ∈[0,2π[} .
2π

On pose le changement de variable

Φ : ]0 , 1] × ]0 , 2π] → ³ D1 \ {(0, 0)}

p p ´
(r, θ) 7→ −4 ln r cos(θ), −4 ln r sin(θ)

Φ réalise un C 1 -difféomorphisme entre les ouverts ]0 , 1] × ]0 , 2π] et D1 \ {(0, 0)}. Par un calcul
similaire à celui de la question 1.(a)., on obtient

x 12 + x 22
à !
1
f (X 1 ,X 2 ) (x 1 , x 2 ) = exp − 1{x12 +x22 ≤1} 1( )
2π 2 π+2 arctan px2 2 ∈[0,2π[
x1 + x +x 2
1 2

x2 x2
à ! à !
1 1
= p exp − 1 p exp − 2 .
2π 2 2π 2

Donc X 1 et X 2 sont indépendantes et identiquement distribuées suivant la loi N (0 , 1).

7
TD n°1 Méthodes de Monte Carlo

c. Proposer un algorithme de simulation suivant la loi normale N (02 , I2 )

Solution. En partant de réalisations de la loi U ([−1 , 1]), on applique l’algorithme du rejet pour
obtenir une réalisation de la loi uniforme sur le disque unité. À partir de cette réalisation on
applique les transformations pour obtenir une réalisation de la loi normale N (0 , I2 )

3. Quelle méthode est la moins coûteuse ?

Solution. Cela dépend en général des compilateurs. La seconde méthode semble moins coûteuse
car elle ne fait pas intervenir le calcul de fonctions trigonométriques. Son inconvénient est le fait
de jeter des simulations bien que son taux d’acceptation est proche de 1 (il est de π4 ).

Exercice 5. En utilisant la méthode du rejet, proposer une méthode de simulation pour la loi de densité
f : x 7→ (1 − |x|)+ .

Solution. Pour tout réel x,

f (x) ≤ 1{x∈[−1,1]} = 2g (x),

où g (x) = 12 1{x∈[−1,1]} est la densité de la loi uniforme sur [−1 , 1]. Pour simuler suivant la loi de
densité f , on procède donc comme suit :
(1) on simule une réalisation x de U ([−1 , 1]). Pour cela on simule une réalisation v de U ([0 , 1]) et
on applique la transformation x = 2v − 1.
(2) On simule une réalisation u de U ([0 , 1]).
(3) On répète les étapes (1) et (2) jusqu’à ce que 2ug (x) < f (x).

Exercice 6. Soit la densité

r µ 2¶
2 x
f (x) = exp − 1{x>0} , pour x dans R.
π 2

1. Pour λ > 0, trouver une constante c λ telle que pour x ∈ R∗+ ,

f (x) ≤ λc λ exp(−λx).

Solution. On cherche à majorer, pour tout réel x,

r µ 2 r µ 2
f (x) x x
¶ ¶
1 2 1 2
= exp − + λx 1{x>0} ≤ exp − + λx .
λ exp(−λx) λ π 2 λ π 2
| {z }
:=g λ (x)

g λ est dérivable sur R et pour tout réel x,

µ 2
x
¶
g λ0 (x) = (λ − x) exp − + λx .
2

8
TD n°1 Méthodes de Monte Carlo

On en déduit que la fonction g λ admet un maximum en x = λ. On a alors pour tout réel x,

µ 2¶
λ
r r
f (x) 1 2 1 2
≤ g λ (λ) = exp := c λ .
λ exp(−λx) λ π λ π 2

2. En déduire une méthode de simulation de la loi de densité f .

Solution. La densité f est dominée par la densité de la loi exponentielle ε(λ). On applique l’algo-
rithme du rejet
(1) on simule une réalisation x suivant la loi ε(λ) à partir d’une réalisation v de U ([0 , 1]) par la
méthode de la fonction inverse.
(2) On simule une réalisation u de U ([0 , 1]).
(3) On répète les étapes (1) et (2) jusqu’à ce que λc λ ue −λx < f (x).

3. Trouver λ tel que le temps moyen de calcul de la méthode proposée soit le plus petit possible.

Solution. D’après le cours, le nombre d’essais moyen avant acceptation est c λ . Comme c λ est
une fonction de λ réalisant une bijection de R dans R (elle est continue et strictement croissante
comme fonction de λ), on cherche donc λ∗ = arg min λ c λ . Or
µ 2¶
λ
r µ ¶
d 2 1
cλ = 1 − 2 exp = 0 ⇐⇒ λ = 1.
dλ π λ 2
D’où
r
∗ 2
λ = 1 et exp (0.5) ≈ 1.31.
π