Université de Batna Batna,

2020/2021
Faculté des Mathématiques et d’Informatique
Département de Mathématiques

2eme année Master

TD 2 (Solution)
Théorie du Contrôle stochastique

Exercice 1
Soit le système
dx1 (t) = x2 (t)dt + ax2 (t)dw(t)
: (1)
dx2 (t) = x1 (t)dt + u(t)dt + bx2 (t)dw(t)
où a et b sont des constantes réelles.
x1 (t)
1. Soit x(t) = ; alors
x2 (t)

0 1 x1 (t) 0 0 a x1 (t)
dx(t) = + u(t) dt + dw(t)
1 0 x2 (t) 1 0 b x2 (t)
= (A0 x(t) + Bu(t)) dt + A1 x(t)dw(t):

0 1 0 0 a
où A0 = ;B= et A1 = :
1 0 1 0 b
2. Le système (A0 ; A1 ).est stable en moment d’ordre 2 si et seulement s’il existe une solution
dé…nie positive de l’équation

AT0 X + XA0 + AT1 XA1 + I2 = 0

x1 x2
Soit X = : On a
x2 x3

0 1 x1 x2 x1 x2 0 1
+
1 0 x2 x3 x2 x3 1 0

0 0 x1 x2 0 a 1 0
+ + =0
a b x2 x3 0 b 0 1
:
2x2 x1 + x3 1 0
() +
x1 + x3 2x2 0 1
0 0
+ =0
0 a (ax1 + bx2 ) + b (ax2 + bx3 )

2x2 + 1 x1 + x3
() =0
x1 + x3 2x2 + a (ax1 + bx2 ) + b (ax2 + bx3 ) + 1

1
 8
< 2x2 + 1 = 0
() x1 + x3 = 0
:
2x2 + a (ax1 + bx2 ) + b (ax2 + bx3 ) + 1 = 0
8
< x2 = 21 x2 = 21
() x1 = x3 () x1 = x3
: x1 = (a2ab b)
1 + a (ax1 b) bx1 + 1 = 0

comme x1 = x3 alors X ne peut pas être dé…nie positive. Donc Le système (A0 ; A1 ).n’est
pas stable en moment d’ordre 2
2 .On montre tout d’abord que (A0 ; A1 ; B) est stabilisable. Le système (A0 ; A1 ; B) est
stabilisable si l’équation

A0 Y + Y AT0 + A1 Y AT1 + T
BT + B + I = 0
1
admet une solution dé…nie positive Y et dans ce cas le contrôle u(t) = F x(t) = Y x(t)
y1 y2
stabilise le système .Soit = f1 f2 et Y = : On a
y2 y3

A0 Y + Y AT0 + A1 Y AT1 + T
BT + B + I = 0

0 1 y1 y2 y1 y2 0 1 1 0
() + +
1 0 y2 y3 y2 y3 1 0 0 1
0 a y1 y2 0 0 f1 0
+ + 0 1 + f1 f2 =0
0 b y2 y3 a b f2 1

2y2 + 1 y1 + y3 a2 y 3 f1 + aby3
() + =0
y1 + y3 2y2 + 1 f1 + aby3 y3 b2 + 2f2
y3 a2 + 2y2 + 1 f1 + y1 + y3 + aby3
() =0
f1 + y1 + y3 + aby3 y3 b2 + 2f2 + 2y2 + 1
8 8
< y3 a2 + 2y2 + 1 = 0 >
< y3 = a22f2b2
() f1 + y1 + y3 + aby3 = 0 =) y1 = f1 (1 + ab) y3 = f1 2 (1+ab) f
a2 b2 2
: >
:
y3 b2 + 2f2 + 2y2 + 1 = 0 2 a2
y2 = ( 1 a y3 ) =2 = b2 a2 f2 2 1

1
pour f1 = 0 et f2 = a2 b2 ; on trouve y3 = 2; y1 = 2 (1 + ab) et y2 = a2 2
: ainsi si
1 + ab < 0; alors le système (A0 ; A1 ; B) est stabillisable.
On cherche maintenant un contrôle stabilisant. On a
1 1 1
1 y1 y2 2 (1 + ab) a2
Y = f1 f2 = 0 a2 b2 2
y2 y3 a2 12 2
" #
8 4a2 +2
= 0 a 2
b 2 4a4 +4a2 +16ba+17 4a4 +4a2 +16ba+17
4a2 +2 8ab+8
4a4 +4a2 +16ba+17 4a4 +4a2 +16ba+17
2 (a2 b2 )
= (2a2 + 1) 4 (ab + 1)
4a4 + 4a2 + 16ba + 17

2
alors le contrôle
2 (a2 b2 ) x1 (t)
u(t) = (2a2 + 1) 4 (ab + 1)
4a4 + 4a2 + 16ba + 17 x2 (t)
stabilise le système.
3. Montrons que le système (A0 ; A1 ; B) est contrôlable. On a
0 1
rang (B; A0 B) = rang =2
1 0

alors (A0 ; B) est contrôlable et ainsi (B; A0 ; A1 ) est contrôlable.

4. Considérons le problème de Contrôle optimale:
Z
1 T 2
lim supE (x1 (t) + u2 (t))dt (2)
T !+1 T 0
correspondant au système (1).
a. C’est un problème de contrôle optimal à horizon in…nie. Pour montrer qu’il admet
une solution unique on montre que (A0 ; B) est stabilisable et que (G; A0 ) est détectable où
GT G = Q:
Comme (A0 ; B) est contrôlable alors, d’aprés les résultats de la théorie de contrôle des
sytèmes déterministes, le système (A0 ; B) est stabilisable.
Soit
Z
1 T 2
J = (x1 (t) + u2 (t))dt
T 0
Z T
1 1 0 x1 (t)
= (x1 (t); x2 (t)) + u2 (t))dt
T 0 0 0 x 2 (t)
Z T !
T
1 x1 (t) x1 (t)
= Q + Ru(t))dt
T 0 x2 (t) x2 (t)

1 0
avec Q = et R = 1. On remarque que
0 0

1 1 0
1 0 =
0 0 0

alors la matrice G telle que GT G = Q est G = 1 0 : Montrons que (G; A0 ) est détectable.
On a
G 1 0
rang = rang =2
GA0 0 1
Alors (G; A0 ) est observable et d’aprés les résultats de la théorie de contrôle des sytèmes
déterministes, le système (G; A0 ) est détectable. .(A0 ; B) est stabilisable et (G; A0 ) est
détectable alors le problème de contrôle optimal (2) admet une solution unique.
b. Trouvons le contrôle optimal. D’aprés le cours, le contrôle optimal est donné par u (t) =
R 1 B T P x(t) où P est la solution de l’équation de Riccati

AT0 P + P A0 P BR 1 B T P + Q = 0

3
 p1 p2
Soit P = : On a
p2 p3

AT0 P + P A0 P BR 1 B T P + Q = 0

0 1 p1 p2 p1 p2 0 1
() +
1 0 p2 p3 p2 p3 1 0

p1 p2 0 p1 p2 1 0
0 1 + =0
p2 p3 1 p2 p3 0 0

2p2 p1 + p3 1 p22 p2 p3
() + =0
p1 + p3 2p2 p2 p3 p23
p22 + 2p2 + 1 p1 + p3 p2 p3
() =0
p1 + p3 p2 p3 2p2 p23
8
p22 + 2p2 + 1 = 0
<
p1 + p3 p2 p3 = 0
:
2p2 p23 = 0
" p p 3 p pp #
p1 = 2 2 + 1 2 2 2 + 1 = 3: 107 5;
dont la solution est : p p pp . Alors le contrôle
p2 = 2 + 1; ,p3 = 2 2+1
optimal est
p1 p2
u (t) = R 1 B T P x(t) = 0 1 x(t)
p2 p3
= p2 p3 x(t) = p2 x1 (t) p3 x2 (t)
q
p p p
= 2 + 1 x1 (t) 2 2 + 1x2 (t)

5. Considérons l’équation

AT0 X + XA0 + AT1 XA1 + M = 0

On a
0 1 x1 x2 x1 x2 0 1
+
1 0 x2 x3 x2 x3 1 0
0 0 x1 x2 0 a 1 0
+ + =0
a b x2 x3 0 b 0 0
2x2 + 1 x1 + x3
() =0
x1 + x3 2x2 + a (ax1 + bx2 ) + b (ax2 + bx3 )
8
< 2x2 + 1 = 0
x1 + x3 = 0
:
2x2 + a (ax1 + bx2 ) + b (ax2 + bx3 )
de la deuxième équation de ce système on remarque que x1 = x3 ; alors X ne peut pas être
dé…nie positive.

4
Exercice 2
Considérons le système décrit par la paire d’équations:
8
< x(t) = x0 + w(t)
:
y(t) = u(t)
:
y(0) = y0

où 2R, > 0 et x0 ; y0 2 R: Pour T > 0; on considère la fonctionnelle:

Z Z
a T 2 b T
J(u) = E (x(t) + y(t)) dt + (u(t))2 dt
T 0 T 0

où a, b > 0: Soit z(t) = x(t) + y(t): On a

dz(t) = dx(t) + dy(t) = dw(t) + u(t)dt

z(0) = x(0) + y(0) = x0 + w(0) + y0 = x0 + y0

on obtient le système

dz(t) = u(t)dt + dw(t), t > 0

z(0) = x0 + y0
Pour la fonction coût on obtient
Z T Z T
a b
J(u) = E 2
z(t) dt + (u(t))2 dt
T 0 T 0

alors on obtient le problème de contrôle optimal

Z Z
a T b T
inf J(u) = E 2
z(t) dt + (u(t))2 dt
T 0 T 0

sous contraintes
dz(t) = u(t)dt + dw(t), t > 0
z(0) = x0 + y0
C’est un problème de contrôle optimal quadratique avec
a b
A = 0; B = ; A1 = ; Q = ; R=
T T
Le contrôle optimal est donné par

u (t) = R 1 B T P z(t)

où P est la solution de l’équation di¤érentielle de Riccati

:
P (t) + AT P + P A P BR 1 B T P + Q = 0; P (T ) = 0

On a :
P (t) + AT P + P A P BR 1 B T P + Q = 0

5
 T
:
2 a
() P (t) P (t)2 + =0
b T
: T 2 a
() P (t) = P2 =0
b T r r
: T 2 1 b a 1 b a
() P (t) = P (t) P (t) +
b T b T b
On trouve
r 0 1
b@ dP (t) dP (t) A = T 2 dt
2T p p
b a P (t) T1 b ab P (t) + T1 b ab b
0 1
r
@ dP (t) dP (t) A = a
p p dt
P (t) T1 b ab P (t) + 1 b a 2 b
T b

0 1
Z T Z T
r Z T
dP (s) dP (s) a
() @ p pa A= ds
t P (s) T1 b ab t P (s) + 1 b 2 b t
T b
1 b
pa 1 b
pa T r
P (T ) T
P (T ) + a
() ln 1 b
p ab ln
T
1 b
p ab = (T t)
P (t) T b
P (t) + T b t
2 b
1 b
pa 1 b
pa r
b T T b a
() ln 1 b
pa ln 1 b
pa = (T t)
P (t) T b
P (t) + T b
2 b
p r
P (t) + T1 b ab a
() ln 1 b
pa = (T t)
P (T ) T b
2 b
p r
P (t) + T1 b ab a
() 1 b
p a = exp (T t)
P (t) T b
2 b
r r r
1 b a a a
() 1 + exp (T t) = exp (T t) 1 P (t)
T b2 b 2 b
r r r
1 b a a a
=) P (t) = 1 + exp (T t) = exp (T t) 1
T b 2 b 2 b
Alors le contrôle optimal est
T
u (t) = P (t)z(t)
rb r r
a a a
= exp (T t) + 1 = exp (T t) 1 (x(t) + y(t))
b 2 b 2 b
Le coût minimal est
r r r
1 b2 a T a T a
J = P (0)z(0) = exp + 1 = exp 1 (x0 + y0 )2
T b 2 b 2 b