Variations autour du probléme de Cayley-Moser

Chaque minute, une machine tire au hasard un nombre réel positif. On note
Xn le réel obtenu à la minute n et on suppose que les (Xn )n 1 sont des variables
aléatoires independantes mais pas f orcement identiquement distribuees, pos-
itives et d’espérance …nie. Vous pouvez observer la machine pendant N minutes.
Chaque minute, vous avez le choix entre dire “stop”ou “je continue”, mais vous
ne pouvez dire “stop” qu’une seule fois. Si vous décidez de vous arréter à la
minute n, on vous remet (en euros) la somme Xn et le processus s’arréte lé.
Sinon le processus continue jusqu’à ce vous disiez “stop”. L’horizon est …ni
: si vous ne vous étes pas arrétés strictement avant la minute N , vous devez
dire “stop” à la minute N . L’objectif est de trouver une stratégie optimale
maximisant la somme reéue.

1. Rappeler la dé…nition de la fonction valeur(Zn )1 n N , solution de ce

probléme d’arrét optimal et montrer que, pour tout 1 n N ,Zn est
(Xn )- mesurable.
2. Pour tout 1 < n < N on pose Vn = E [Zn ] : Monter que
81 < n < N 1; V = ' (Vn+1 )
où pour tout x 2 R; 'n (x) = E [max(Xn ; x)] :
3. Donner la dé…nition du cours de T le plus petit temps d’arrêt optimal
borné par N .
4. Montrer que (Zn^T )1 n N est une martingale.
5. Montrer que le temps d’arrét optimal T peut se réécrire de la maniére
inf f1 k N 1 : Xk Vk+1 g si non vide
suivante : T =
N sinon
6. Application 1: On suppose que, pour tout 1 n N , Xn suit une loi
uniforme surl’intervalle [0; N + 1 n].
(a) Trouver la relation de récurrence rétrograde pour les (Vn )1 n N:

(b) Application numérique. Expliciter dans le cas où N = 4. Conclure

sur la stratégie à adopter et donner le gain moyen optimal
7. Application 2. On suppose que les(Xn )n 1 sont identiquement dis-
tribuées, de loi exponentielle de paramétre 1.
(a) Trouver la relation de récurrence rétrograde pour les(Vn )1 n N .
N !1
(b) Le but de cette question est de montrer que V1 log(N ) ! 0. Pour
tout 1 n N ,posons Un = VN n+1 , il est alors équivalent de montrer
que
N !1
UN log(N ) ! 0:

1
 i:Montrer que U1 = 1 et que, pour tout 2 n N
Un 1
Un = Un 1+e
ii: Pour tout 1 n N , posons Bn = eUn (n + 1).
Montrer que, pour tout 2 n N .
Bn Bn 1 = (n + Bn 1 )exp( n+B1n 1 ) 1) 1:
iii: Montrer que, pour tout 1 n N , Bn 0 ; en
déduire que Un log(n + 1).
iv: Montrer que BN log(N ) + c; pour une constante c,
lorsque N est su¢ samment grand.
v: Conclure.

0.1 Solution de l’exercice

1)On considère la …ltration canonique (Fn )n 1 = ( (X1 ; :::; Xn ))n 1 . Pour
tout n 1, le processus de gain est Yn = Xn où les (Xn )n 0 sont indépen-
dantes et intégrables. On est donc dans le cadre Markovien. Ainsi d’après le
cours, la fonction valeur Zn est (Xn )-mesurable. On demande cependant de
le redémontrer.
Par dé…nition,
ZN = XN ;
81 n N; Zn = max (Xn ; E[Zn+1 j Fn ]) :
Par récurrence rétrograde,ZN = XN est (XN )-mesurable. Soit 1 n + 1
N et supposons que Zn+1 est (Xn+1 )-mesurable. Alors,

E [Zn+1 j Fn ] = E [Zn+1 ] :
En e¤et, les v.a. (Xn )n 1 étant indépendantes, on a que Zn+1 est indépen-
dante de Fn .
Ainsi au rang n,

Zn = max(Xn ; E[Zn+1 j Fn ])
= max(Xn ; E[Zn+1 ])

est (Xn )-mesurable.

2. D’après la question précédente, pour tout 1 n+1 N,

Zn = max(Xn ; E[Zn+1 ])
= max (Xn ; Vn+1 )

En prenant l’espérance des deux côtés, on déduit que :

Vn = E[Zn ] = E[ max (Xn ; Vn+1 )] = 'n (Vn+1 )

3. D’après le cours,

2
 inff1 k N 1; Xk E [Zk+1 j Fk ]g si non vide
T =
N sinon

4.
5. On utilise la question 3. et le fait que, Yk = Xk , E [Zk+1 j Fk ] =
E [Zk+1 ] = Vk+1 :

6. Application 1.
(a) On a XN U ([0; 1]), donc
1
;
Vn = E [XN ] =
2
Pour tout 1 n N , posons M = N + 1 n, et pour tout x 2 [0; M ],
calculons,

Z Z !
v M
1
'n (v) = E [max (Xn ; v)] = vdx + xdx
M 0 v
2
v2 + M 2 v 2 + (N + 1 n)
= =
2M 2 (N + 1 n)

D’après la question 2., pour tout 1 n N 1,

2 2
Vn+1 + (N + 1 n)
Vn = 'n (Vn+1 ) =
2 (N + 1 n)
(b) Cas N = 4.

1
n = 4, V4 =
2
1 2
2 + 22 17
n = 3, N + 1 n = 2, V3 = = ' 1:06
2 2 16
17 2
16 + 32 2593
n = 2, N + 1 n = 3, V2 = = ' 1:69
2 3 1536
2593 2
1536
n = 1, N + 1 n = 4, V1 = ' 2:36
2 4
Stratégie : choisir le premier objet si X1 1:69 sinon on continue, on choisit
le deuxième objet si X2 1:06 sinon on continue, on choisit le troisième objet
si X3 0:5, sinon on choisit le quatrième objet.
Le gain moyen optimal est V1 = 2:36.

7. Application 2.

3
 (a) On a XN E([0; 1]), donc

VN = E [Xn ] = 1;
Calculons, pour tout v > 0,

Z v Z 1
x x
' (v) = E [max (X1 ; v)] = ve dx + xe dx
0 v
v v v
= v 1 e + ve +e
= v + e v:

D’après la question 2., pour tout 1 n N 1,

Vn+1
Vn = 'n (Vn+1 ) = Vn+1 + e
(b) i. On a U1 = VN = 1 d’après le point (a). Pour tout 2 n N,

VN
Un = VN n+1 = VN n+1 + e n+1

VN (n
= VN (n 1)+1 + e
1)+1

Un
= Un 1 +e 1
, par dé…nition Un 1

ii. Notons que d’après la question i., on a eUn = eUn 1 exp(e Un 1 ). D’après
la dé…nition de Bn , on a eUn = n + 1 + Bn . Remplaçant ceci dans la première
identité on obtient,

1 1
n+1+Bn = (n + Bn 1 ) exp ) Bn = (n + Bn 1 ) exp n 1
n + Bn 1 n + Bn 1

Considérons Bn Bn 1 en remplaçant Bn par l’identité ci-dessus :

1
Bn Bn 1 = (n + Bn 1 ) exp Bn 1 n 1
n + Bn 1
1
= (n + Bn 1 ) exp 1 1;
n + Bn 1

qui est l’identité recherchée.

iii. En utilisant le développement en série entière de l’exponentielle, on

obtient,

1 1 1
(n + Bn 1 ) exp 1 1= + 2 + :::
n + Bn 1 2! (n + Bn 1) 3! (n + Bn 1)

4
 De plus, B1 = eU1 2 = e1 2 > 0. Donc de l’identité ci-dessus et de la
question ii. on déduit par récurrence que (Bn ) est croissante comme fonction
de n et doncpositive.
De la dé…nition de Bn , on a

Un = log (Bn + (n + 1)) log (n + 1) ;

où dans la deuxième inégalité on a utilisé le fait que log est croissante et que
Bn 0.

iv. De la question précédente, on déduit que

1 1 1
Bn Bn 1 + 2
+
2!n 3!n n
pour n assez grand. Ainsi, pour N su¢ samment grand,
X
BN = (Bn Bn 1 ) + B1 C + log (N ) :

v. En utilisant les questions précédentes, on a

0 UN log(N + 1) = log(BN + (N + 1)) log(N + 1); d’après iii. et déf.
BN = log NB+1
N
+1
BN
et le membre de droite tend vers 0 car, pour N assez grand,0 N +1
log N C
N +1 + N +1 ! 0
Ainsi, par encadrement, on déduit que limN !1 UN log(N +1) = 0. Comme
log (N ) 1 log ((N + 1)), on a le résulat voulu.
Ceci signi…e que dans ce modèle, quand le nombre d’objets est grand, le gain
moyen optimal est de l’ordre de log(N ).