Commande optimale des systèmes

dynamiques hybrides

C.Iung P.Riedinger

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 1

La commande optimale
Pour définir un problème de commande optimale,
nous devons avoir
• Un système dynamique i.e
– Un espace de temps T
– Un espace d’état X
– Un espace de commandes U
– Une fonction de transition d’état φ(t,t0,x0,u)
– Quelques axiomes de bon sens
• Un critère additif
– J(t0,tf,x0,u)= J(t0,ti,x0,u)+ J(ti,tf,xi,u)

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 2

1
 Commande optimale
2 classes de méthodes :
• Méthodes variationelles
la commande optimale û est caractérisée par le fait qu’une
commande u=û+δu doit donner un critère supérieur J=Jˆ+δJ en
exprimant δ J en fonction de δu on peut espérer trouver des
caractérisations de û
• Programmation dynamique
l’application du théorème de Bellman

Jˆ(t0,t f ,x0)=min
ui
(J(t0,ti,x0,ui)+Jˆ(ti,t f ,xi))
peut donner une équation sur les critères dont la solution conduira
au critère optimal

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 3

Méthodes variationnelles

• Elles s’appliquent lorsqu’il est possible d’évaluer

la variation du critère en fonction de la variation
de la commande.Ceci suppose des hypothèses
de continuité voire de dérivabilité du critère
optimal en fonction de u.
• Le théorème de référence est le théorème de
Pontriaguine.

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 4

2
 Théorème de Pontriaguine

• Soit
– le système dynamique :
où f est continue sur X×U
t
– Le critère J =∫t L(x(t),u(t),t)dt+ϕ(x(t f ),t f )
f

0
φ est
Si uˆ et xˆ sont optimales alors il existe une fonction λ
et une constante λ0 <0, telles que
– x et λ vérifient les équations canoniques de Hamilton
x&= ∂H λ&=− ∂H
∂λ ∂x
– et û(t) maximise la fonction hamiltonienne sur [t0 tf]
H(λ0,λ,xˆ,u)=λ0L(xˆ,u)+λT f(xˆ,u)
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 5

Théorème de Pontriaguine, remarques

• Sous des conditions assez faibles, s’il existe des

commandes satisfaisant aux conditions aux
extémités, alors il existe une commande
optimale.
• La recherche des trajectoires optimales et un
problème de tir de dimension 2n. En effet
s’ajoutent les conditions de tranversalité :
si x(t0)∈C0 x(t f )∈C f alors λ(t0)∈NCO x(t0) λ(t f )∈NC f x(t f )

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 6

3
 SYSTEME DYNAMIQUE HYBRIDE
=
SYSTEME FORME PAR LE COUPLAGE DE SYSTEMES DYNAMIQUES
CONTINUS ET DISCRETS

σs σd

σk σz

Interface Interface
discret/continu continu/discret

k & z
x = fk ( x , u , t )
y = gk ( x , u , t )
z = hk ( x , u , t ) y
u

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 7

Quelques phénomènes hybrides

Le saut autonome
f f
Exemples : 1
• chocs, ∆
• hystérésis, -∆ t
• seuils, -1
• saturations, ...

Le saut commandé
Le champ de vecteurs f et/ou l’état x(.) changent de façon discontinues en
réponse à une commande de contrôle.
Exemple :
• Circuit électrique avec interrupteurs

Conséquence
Changement de dimension de l’état

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 8

4
 Sauts de l’état

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 9

Extension aux systèmes commutés 1

Hypothèse :
À tout instant on peut choisir le mode parmi tous les
modes existants
R U
Tl q
S V
N N
d ( t ) ∈D = d ∈ 0,1 :∑dk = 1
N
x& = ∑dk
k fk ( x ,u,t )
k =1 W
J =∑
k ≥0
z
τk +1

τk
Lik ( x( t ),uik ( t ), t )dt

La commande d(t) a un nombre fini de valeurs

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 10

5
 Extension aux systèmes commutés 2
• Le théorème de Pontriaguine s’applique

Lλ OLf ( x, u , t )O
H (λ , λ, x, u , t ) = λ f ( x, u , t ) − λ L ( x, u , t ) = M PM
T

L ( x, u , t )P
T k k
k 0 k k k 0 k
N
−λ Q
k
N 0Q k k

H k ( λ 0 , λ , x , u , t ) = m a x ( su p H m ( λ 0 , λ , x , v , t ))
i∈D v ∈U m

w h e re m = φ( x ,k ,i,t )
∂H k ∂H k
x&= λ& = −
∂λ ∂x
• Aux instants de commutation
H+ = H− λ+ = λ−
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 11

Extension aux systèmes commutés 3

• On convexifie le problème et on cherche les commandes

bang-bang
x&= f ( x ,α ,u ) = ∑ α i ( t ) f i ( x ,u )
i

Avec ∑α (t)=1
i αi(t)∈[0,1]
i

• Un problème : comme la commande est plus « pauvre »

que dans le cas continu, il peut exister des commandes,
mais pas de commande optimale.
• C’est le cas lorsque les fonctions hamiltoniennes sont
égales pour une valeurs de la commande discrète
convexifiée, sur un intervalle non nul.
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 12

6
Dynamique
x&= αA1 x + (1 − α ) A0 x G: = vrai
α ∈ 0,1l q
Critère
J=
Hamiltonien
t0
dt z tf Mode1
x&= A1 x
Mode 0
x&= A0 x

H k = λT Ak x , k = 0 ,1
Loi de commande G: = vrai
α ( t ) = 1 si H1 > H 0
α ( t ) = 0 si H1 < H 0
Données :
F
G0. 2 −1.4 IJ F
G0.4 0. 3 IJ
A0 =
EEA 20/03/2003
H0.8 −0.7
Claude Iung
K A1 =
H−1.3 1.1
Centre de Recherche en Automatique de Nancy
K 13

0.8

-0.2 x0 0.6

0.4
-0.3

0.2

-0.4 xf
x2 0

-0.5
A1 A0
-0.2
x0
-0.6
-0.4

-0.7 -0.6
xf
-1.1 -1 -0.9 -0.8 -0.7 -0.6
-1.4 -1.2 -1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4

x1
Trajectoire quelconque obtenue Ensemble des trajectoires candidates
pour un temps T1=1.4 à l ’optimalité joignant le point final en
un temps T < T1

Conclusion : il n ’existe pas de chemin optimal

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 14

7
 La solution sous optimale
Le système étendu G : = vrai
x&= αA1 x + (1 − α ) A0 x
α ∈ 0,1 M ode1 M ode 0
Loi de x&= A1 x
commande x&= A0 x
α ( t ) = 1 si H1 > H 0
α ( t ) = 0 si H1 < H 0
α ( t ) = ? si H1 = H 0 G : = vrai
Question : Existe-t-il un intervalle de
temps non nul tel que P ( t ) = H1 − H 0 ≡ 0

R
Réponse : oui
α = 0 . 5059 α 2 = 0 . 2963
d im ∆ ( x , α ) < n ⇒ S
Tx
1

∈ D
ou
1 x ∈ D2

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 15

La solution sous optimale

-0.48

0.2 x0 -0.5

0.3 α 1 = 0.5059
-0.52
x ∈ D1 x2
0.4 xf
A0 D1
-0.54

0.5 A1
-0.56

0.6

-0.58

0.7

-1.1 -1 -0.9 -0.8 -0.7 -0.6 -0.82 -0.8 -0.78 -0.76 -0.74 -0.72 -0.7
x1 x1

T1=1.4035 s T3=1.3489 s
T5=1.3446 s T17=1.3435 s
T =1.3404 s
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 16

8
 Systèmes avec sauts autonomes 1
Extension du théorème
x&= f k ( x , u , t )
Par intégration d ’un critère
Ck ( x , t ) = 0
terminal au PM

J = min
u z tf

t0
L( x, u, s )ds + ψ ( x( t f ), t f )
par application du principe
d’optimalité de Bellman
F
H zL ( x, u, s)ds + J∃ ( x(τ), τ)I
J∃k ( x(t0 ), t0 ) = min
sous la contrainte
u t0
τ
k
x&= f ( x , u , t )
K j
j

Ck ( x( τ ), τ ) = 0

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 17

Systèmes avec sauts autonomes 3

• Le recherche des solutions se complique car

– On ne peut savoir à l’avance si une frontière sera
franchie
– Ni laquelle
– Tous les cas doivent être envisagés

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 18

9
 Système avec sauts autonomes 2

• Une extension est nécessaire :

– f n’est plus continue en x (au passage des frontières)
– λ ne peut donc plus être solution de

λ&= − ∂ H
∂x
– Cette condition est remplacée par la condition de
transversalité sur la frontière, en tenant compte du
critère terminal : il existe un vecteur π
+ ∂C T − + ∂C T −
H =H + π λ =λ − π
∂t ∂x
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 19

Un exemple hystérésis 1
f(x)

x&= f ( x ) + u -∆ ∆

Critère

zd
x ≤ −∆

J=
∞
0
qx + u e dt
2 2
i −t

x&= 1 + u x&= −1 + u
On peut réécrire le x<∆ x > −∆
système

x&= fi ( x,u) =i +u, i =−11

, x≥∆
Automate associé

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 20

10
 Un exemple hystérésis 2
Hi ( λ, x,u,t ) = λT fi ( x,u ) − 21 ( qx2 + u2 )e−t
∂Hi ∂H
x&= = f i ( x,u ) λ&= − i = qxe −t
∂λ ∂x
∂Hi
≡ 0 ⇔ u = λet
∂u
Aux instants de commutation ∂Ci
Ci ( x( t ), t ) ≡ x − i∆ = 0 λi ( τ − ) = λ −i ( τ + ) + αi
∂x t =τ
ui ( τ − ) = −u−i ( τ + )
∂Ci
ui ( τ − ) = u−i ( τ + ) − 2i Hi ( τ − ) = H−i ( τ + ) − αi
∂t t =τ
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 21

Un exemple hystérésis 3
• Il est impossible de savoir au départ quel est le nombre
optimal de commutations;
• Seul le calcul du coût permet de conclure
– Vers un point limite
– Ou vers un cycle 0.9

4 0.8
3.5
0.7
3
q=200 , q=400 , q=800
2.5 0.6
k =0
cost

2
0.5
1.5

k =∞
u

0.4
1

0.5 0.3

0
0.2
-0.5

0.1
-1

0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2

t
0
0 100 200 300 400 500 600 700 800
q
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 22

11
La programmation dynamique et les
équations HJB
• Théorème 1: Si une trajectoire admissible ( ⌧ )(
) déterminée par la donnée de la condition initiale ( ⌧ 0
0 )( ) et de la commande ( )( ),
est optimale alors les conditions suivantes sont vérifiées :
pour presque tout 2[ ]
– ∂V(x,q,t,b)   ∂V(x,q,t,b) 
T

=−inf Lq(x,u,t)+
  fq(x,u,t)  
∂t u ∂x
 
– V(x(t),q(t),t,b)≤V(x',q',t,b)
q'=ϕ(x(t),q(t),d,t)
x'=φ(x,q,d,t)
EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 23

En pratique 1

• Pour résoudre ces équations, il est obligatoire de

discrétiser (cf Hedlung & Rantzer).
• Une approche intéressante consiste à discrétiser le
problème dès le départ. Deux voies apparaissent
intéressantes
– Approche MLD (Bemporad, Morari)
– Approche RPD (Lincoln and Rantzer CDC2002, ADSH2003)
• Des commandes sous optimales sont recherchées par
encadrement
– Systèmes affines par morceaux, partition de l’espace d’état

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 24

12
 En pratique 2
• Avec le PM :
– Problème aux frontières multiples (Conditions partagées aux
instants initial et final et aux instants de commutations)
– Bifurcation dans la trajectoire dès qu'une transition discrète est
autorisée ) Résolution par la programmation dynamique
– Notons que le PM revient également à résoudre HJB mais dans
des directions privilégiées correspondant aux trajectoires
optimales et pour lesquelles la continuité de V est assurée
• Conclusion :
– Des C.N. bien établies
– Des efforts à mener pour parvenir à des algorithmes de
résolution efficaces

EEA 20/03/2003 Claude Iung Centre de Recherche en Automatique de Nancy 25

13