Université de Batna 2 Batna, 2020/2021

Département de Mathématique
2eme année Master

SOLUTION DEVOIR 2
Théorie du contrôle stochastique

Exercice 1

Soit le problème de minimiser la fonctionnelle

Z !
T
1 T T
J(u) = lim sup E x(t) Qx(t) + u (t)Ru(t)dt
T !+1 T 0

correspondant au système

dx(t) = (Ax(t) + Bu(t)) dt + Cdw(t); t t0

x(t0 ) = x0

L’équation de Bellman correspondante à ce problème est

inf fAu Vx + (x; u) g = 0;

u2U

() inf Au Vx + xT Qx + uT Ru =0
u2U

1
() inf xT AT Vx + uT B T Vx + trace C T Vxx C + xT Qx + uT Ru =0
u2U 2
1
() inf xT AT Vx + uT B T Vx + trace C T Vxx C + xT Qx + uT Ru =0
u2U 2
Soit V (x) = xT P x; où P est une matrice symétrique dé…nie positive. L’équation de HJB est équivalente
à
inf fxT AT P x + xT P Ax + 2uT B T P x + xT Qx + uT Ru + trace C T P C g=0
u2U

() inf fxT AT P x + xT P Ax + 2uT B T P x + xT Qx + uT Ru + trace C T P C g=0

u2U

On remarque qu’on atteint le minimum pour u tel que:

2B T P x + 2Ru = 0

alors
1
u (t) = R B T P x(t)
Remplaçons cette valeur de u dans l’équation de HJB, on trouve

() xT AT P x + xT P Ax + xT Qx + 2u T
BT P x + u T
Ru =0

d’où on obtient

() xT AT P + P A P BR 1
B T P + Q x + trace C T P C =0

On déduit que
AT P + P A P BR 1 B T P + Q = 0
trace C T P C =0

1
Le contrôle optimal est
1
u (t) = R B T P x(t)
où P est la solution de l’équation de Riccati

AT P + P A P BR 1
BT P + Q = 0

Comme (A; B) est stabilisable et (A; G) est détectable où GT G = Q, alors il existe une solution unique
de l’équation algébrique de Riccati

AT P + P A P BR 1
BT P + Q = 0

et le coût minimal est

J(u ) = trace CC T P

Exercice 2
On utilise la programmation dynamique pour résoudre le problème de contrôle optimal
Z +1
1 1
inf E( e t x (au(t) + b) a dt
u 0

où 0< < 1; a > 1 correspondant au système:

dx(t) = ( u(t)) x(t)dt + x(t)dw(t)

x(0) = x0 > 0

L’équation de Bellman correspondante à ce problème est

inf fAu Vx + (x; u) V (x)g = 0;

u2U

1 1 1
() inf ( u) xVx + x (au + b) a
+ trace ( xVxx x) V (x) =0
u2R 2

1 1 1 2 2
() inf Vx x xVx u + x (au + b) a
+ Vxx x V (x) =0
u2R 2
Soit V (x) = P x ; où P >0. L’équation de HJB est équivalente à

1 1 1 2
() inf Px P x u + x (au + b) a
+ ( 1) P x Px =0
u2R 2

1 2 1 1
() inf f + ( 1) Px P x u + x (au + b) a
g=0
u2U 2

On remarque qu’on atteint le minimum pour u tel que:

1 1
Px + a 1 (au + b) a
x =0
a

alors 1
(au + b) a
= P
a 1
a
1 a 1 a b
u(t) = P
a a

2
Remplaçons cette valeur de u dans l’équation de HJB, on trouve
a a( a a 1 )
1 2 1 a 1 a b a 1 1
+ ( 1) Px Px P + P x =0
2 a a
on trouve
a a 1
1 2 b P a 1 a a 1
+ ( 1) P P P1 a
=0
2 a a

et le coût minimal est

J(u ) = P x0