Cours de Commande optimale
- de satisfaire diverses contraintes imposes.
Chapitre 1 : Introduction la commande optimale
1- Objet de la commande optimale
Pour introduire la notion de commande optimale, considrons
lexemple suivant : Pour arrter la rotation dun rotor tournant une
vitesse constante, on peut lui appliquer une charge extrieure C (t )
perpendiculaire son axe de rotation. Il sagit alors de dterminer la
commande C (t ) qui permet damener la vitesse de rotation du systme
de v = v0 v = 0 .
Cette dtermination rpond souvent un objectif tel que, larrt du
systme en un temps minimum. Trouver C (t ) qui rpond cet objectif,
est lobjet de la thorie de la commande optimale.
Le problme de dtermination dune commande optimale dun
processus peut snoncer comme suit :
Un processus dynamique tant donn et dfini par son modle
(reprsentation dtat, matrice de transfre, quations aux
diffrences,), trouver parmi les commandes admissibles celles qui
permet la fois :
- de vrifier des conditions initiales et finales donns.
ISSAT Kairouan
Mastre professionnelle
- doptimiser un critre choisi.
La thorie de la commande optimale un champ dapplication
extrmement vaste :
- Rgulation de la temprature dune pice ou dun four en
utilisant le minimum dnergie.
- Problme de poursuite : on souhaite que la sortie du systme
suive le mieux possible la consigne dsire ou prvue. Il sagit
dans ce cas de dterminer la commande qui minimise lnergie
de poursuite.
Dun point de vue formel, le problme de commande optimale est un
problme de minimisation ou de maximisation dune fonctionnelle ;
c'est--dire, un problme de calcul des variations
2- Formulation du problme de commande optimale
La thorie de la commande optimale couvre toutes les activits
dynamiques o une performance optimale est exige. Les systmes
commander peuvent donc tre dorigine diverses : mcanique,
lectrique, lectronique, biologie, chimie, conomie,
Chaque problme de commande ncessite une description des
proprits dynamiques du processus commander.
1 2010-2011
Cours de Commande optimale Mastre professionnelle

1. Dtermination du modle mathmatique du systme 2. Formulation de lindice de performances et des contraintes

Les systmes tudis sont dcrits par des variables dtat. Par exemple : physiques

Il sagit dune grandeur mathmatique dsigne dans la littrature

(a) Systmes linaires continus commands
techniques selon le domaine : critre (en automatique), fonction cot
X& = A(t ) X + B(t )U o X et U .
n m
(en conomie), fonctionnelle (en mathmatique).
Dans le cas o les matrices A et B sont constantes, on dit que le Dans ce qui suit, on utilise le mot critre.
systme est stationnaire.
Remarque :
(b) Systmes non linaires continus commands
Sur le plan pratique il nest pas facile de dterminer un critre ;

X& = f ( X ,U , t ) o f ( X , U , t ) est une fonction toutefois on peut toujours se ranger dans lune des catgories

vectorielle non linaire. suivantes :

- minimiser un temps ;
(c) Systmes discrets linaires
- optimiser une amplitude ;
X k +1 = Ak X k + BkU k
- maximiser un profit o un revenu ;
(d) Systmes discrets non linaires - minimiser une erreur ;

X k +1 = f ( X k ,U k , k ) - minimiser une consommation.

Les critres les plus utiliss sont :

Outre ce modle, il faut formuler, pour un problme de commande
optimale, le critre de performance optimiser et les contraintes (a) Problme temps minimal

physiques. T
J = dt
t0

(b) Cas linaire quadratique

ISSAT Kairouan 2 2010-2011

Cours de Commande optimale Mastre professionnelle

T1 1
J = X T QX + U T RU dt
t0
2 2

Cas gnral :
T
J = ( X (T ), T ) + L( X , U , t ) dt
t0

o L ( X , U , t ) est une fonction non linaire et ( X (T ), T ) reprsente la

fonction cot terminal.

Pour la formulation des contraintes, il faut noter leur diversit lors de la

commande dun processus : soit sur le temps de simulation, sur la
valeur de la commande, sur ltat du systme,

On peut citer :

- temps final fixe : T est donn ;

- temps final libre ;
- tat initial fixe ;

- contrainte sur ltat X (T ), ( X (T )) = 0 ;

- contrainte sur la commande U . Par exemple : 1 U (t ) 1 .

ISSAT Kairouan 3 2010-2011

Cours de Commande optimale Mastre professionnelle

o J () et h () sont deux fonctionnelles scalaires (c--d fonctions de la

Chapitre 2 : Commande optimale des systmes continus
fonction X (t ) ).

Alors :
1- lments de calcul des variations
T
Nous prsentons les deux relations les plus importantes pour la dJ ( X ) = h( X (T ), T ) dT h( X (t0 ), t0 ) dt0 + hXT ( X (t ), t ) X (t ) dt
t0
rsolution du problme de commande optimale des systmes continus.
h
Ces relations seront utiles pour la dtermination des conditions ( hX = )
X
ncessaires doptimalit partir de la minimisation du critre augment.
2- Solution du problme de commande optimale des systmes
1.1 Relation entre variation et diffrentielle
continus
Soit X (t ) une fonction continue en t , les deux diffrentielles dX (t ) et
dt sont alors dpendantes. On dfinit la variation X (t ) qui reprsente 2.1 Position du problme

la variation sur X (t ) t fix : Soit le systme dcrit par les quations dtat :

X& (t ) = f ( X (t ),U (t ), t ) (1)

dX (t ) = X (t ) + Xdt
&

avec X (t ) n et U (t ) m ,
1.2 Rgle de Leibnitz
et soit minimiser le critre :
La rgle de Leibnitz permet de dterminer la variation dune
fonctionnelle de la forme : T
J (t0 ) = ( X (T ), T ) + L( X (t ), U (t ), t ) dt (2)
t0
T
J ( X ) = h( X (t ), t ) dt
t0
o ( X (T ), T ) est la fonction cot terminal et L ( X (t ), U (t ), t ) dcrit le
cot chaque instant sur la trajectoire X (t ) .

ISSAT Kairouan 4 2010-2011

Cours de Commande optimale Mastre professionnelle

On suppose que f , L et sont de classes C 2 . appel Hamiltonien.

Il sagit de dterminer U * (t ) sur lintervalle [t0 , T ] qui transfre

Le critre augment devient :

le systme dcrit par (1) le long dune trajectoire optimale X * (t ) qui T

J = ( X (T ), T ) + T ( X (T ), T ) + H ( X (t ), U (t ), t ) T X& dt
t0
minimise le critre (2) et tel que :

( X (T ), T ) = 0 (3)
En utilisons la rgle de Leibnitz pour dterminer dJ , on obtient aprs
avec p appel cible. calcul :

2.1 Hamiltonien et quations adjointes dJ =

Pour rsoudre ce problme de C.O nous allons utiliser les

dJ = 0 donne les conditions doptimalit :
multiplicateurs de Lagrange.
Soit (t ) n et p les multiplicateurs correspondant
La premire condition redonne les quations dtats du
systme :
respectivement la contrainte donne par les quations (1) et la
contrainte donne par la cible (3).
H
X& = + = f ( X (t ), U (t ), t ), t f t0

Le critre augment est alors :

La deuxime condition donne le systme suivant :

J = ( X (T ), T ) + T ( X (T ), T ) + L( X (t ), U (t ), t ) + T ( f ( X (t ), U (t ), t ) X& dt
T

t0

H f L
T

& = = + , t p t0 (4)
X X X
Posons :
appel systme adjoint.
H ( X (t ),U (t ), (t ), t ) = L( X (t ),U (t ), t ) + f ( X (t ),U (t ), t )
T

ISSAT Kairouan 5 2010-2011

Cours de Commande optimale Mastre professionnelle

La troisime condition est appele condition de stationnarit : En effet on a : & = H X (4) et HU = 0 (5).

H f L
T
Si f et L ne dpendent pas du temps alors :
0= = + (5)
U U U
H& = 0
X (t0 ) donn, les variables dX (T ) et dT ne sont pas indpendantes, la
condition terminale est alors : Dans le cas des systmes stationnaires, le Hamiltonien est constant le
long dune trajectoire.
( + ) dX + (t + + H ) dt = 0
T T T
X X t (6)
T T

et enfin on retrouve la contrainte sur ltat final :

( X (T ), T ) = 0

Remarques :

i. La solution du problme de C.O dpend de la condition

initiale X (t0 ) et de la condition terminale (T ) dtermine
partir de (6). Ce problme est en gnral trs difficile
rsoudre.

ii. Le long dune trajectoire optimale nous avons :

H& = H t + H XT X& + HUT U& + H T &

( )
T
= H t + HUT U& + H X + & f
{ 14243
0
0

= Ht

ISSAT Kairouan 6 2010-2011

Cours de Commande optimale Mastre professionnelle

Chapitre 3 : Commande optimale linaire quadratique H=

2
(
1 T
X QX + U T RU ) + T ( AX + BU )

(LQ)
La premire condition ncessaire doptimalit redonne les quations
dtats du systme :
Dans ce cas le systme commander est reprsent par des quations
H
dtats linaires et le critre minimiser est quadratique. X& = = AX + BU

1- Mise en quations du problme La deuxime condition (4) donne le systme adjoint :

Soit le systme linaire dcrit par les quations suivantes : H
& = = QX + AT (9)
X
X& = A(t ) X (t ) + B(t )U (t ) (7)
et la condition de stationnarit est donn par :
avec X n et U m , linstant initial X (t0 ) est donn.
H
et soit le critre quadratique suivant : 0= = RU + BT (10)
U
X (T ) S (T ) X (T ) + ( X T Q (t ) X + U T R (t )U ) dt
1 T 1 T
J (t0 ) = (8) Do lexpression de U :
2 2 t0

o S (T ) et Q sont des matrices semi-dfinies positives et R , matrice U = R 1 BT (11)

dfinie positive. En remplaant (11) dans (7) on obtient :

Rsoudre le problme LQ, revient dterminer U * (t ) qui minimise X& = AX BR 1 BT (12)

J (t0 ) sur [t0 , T ] . Les quations dtat et les quations adjointes couples donne alors le
systme suivant :
2- Hamiltonien et quations adjointes
Le hamiltonien de ce problme est donn par :

ISSAT Kairouan 7 2010-2011

Cours de Commande optimale Mastre professionnelle

X& A BR 1 BT X 1 T T
2 t0
& = J (t0 ) = U RUdt
(13)
Q AT
Il sagit donc de dterminer la commande qui transfre le systme de
3- Solution du problme LQ
ltat initial X (t0 ) donn, ltat final X (T ) = r (T ) donn, en
Pour rsoudre le systme (13), il faut tenir compte des conditions
minimisant lnergie de commande.
terminales. Deux cas sont envisags :
Dans ce cas les quations dtat et les quations adjacentes sont
- Etat final connu, conduisant une commande en boucle ouverte.
donnes par :
- Etat final libre, conduisant une commande en boucle ferme.
X& = AX BR 1 BT (14)
3.1 Commande en boucle ouverte (Etat final connu)
et

On suppose que ltat final est connu X (T ) = r (T ) , cest--
dire dX (T ) = 0 , le temps final tant fix, alors dT = 0 , la & = AT (15)
condition (6) est donc vrifie.
La solution de (15) est obtenue simplement en fonction de (T ) :

Dautre part, puisque X (T ) est fix, le terme
(t ) = e A (T t )
(T )
T
X (T )T S (T ) X (T ) est une constante, il est donc inutile de le (16)
garder dans le critre. En utilisons (16) dans (14) :
Il sagit de rsoudre le systme Hamiltonien (13) form par 2n
X& = AX BR 1BT e A (T t ) (T )
T
(17)
quations diffrentielles couples connaissant la condition initiale
X (t0 ) et condition finale X (T ) . do :

Solution analytique dans le cas particulier Q = 0 t

X (t ) = e A (t t0 ) X (t0 ) e A (t ) BR 1 BT e A (T )
(T )d
T
(18)
t0

Le critre est alors rduit :

ISSAT Kairouan 8 2010-2011

Cours de Commande optimale Mastre professionnelle

On a : En labsence dentre, X (t ) = e A ( t t0 ) X (t0 ) .

T
X (T ) = e A(T t0 ) X (t0 ) e A (T ) BR 1 BT e A
T
(T )
(T )d ii. Lexpression de U * (t ) montre que la commande optimale est
t0
proportionnelle la diffrence entre ltat final dsir et la
o encore : solution du systme en rgime libre t = T .

iii. U * (t ) existe si G (t0 , T ) est inversible, ce qui correspond la

X (T ) = e A(T t0 ) X (t0 ) G (t0 , T ) (T )
condition de commondabilit du systme. Donc si ( A, B ) est
avec :
commandable alors il existe une commande optimale
1 T T
2 t0
minimisant lnergie de commande (c--d J (t0 ) =
T
G (t0 , T ) = e A (T ) BR 1 BT e A ( T )
d
T
U RUdt )
t0

et qui transfre le systme dun tat initial donn nimporte

(T ) est alors donn par :
quel tat dsir.

(T ) = G 1 (t0 , T ) ( r (T ) e A(T t ) X (t0 ) ) 0

3.2 Commande en boucle ferme (Etat final libre)
Ltat X (T ) tant libre, dX (T ) 0 . Dautre part, le temps T est fix,
et la commande optimale daprs (11) :
dT = 0 , la condition (6) devient alors :

U * (t ) = R 1 BT e A (T t )
G 1 (t0 , T ) r (T ) e A(T t0 ) X (t0 )
T

S (T ) X (T ) = (T )

Remarques : 1 T
En effet (6) X = (T ) car ( = X (T ) S (T ) X (T ) ) soit
2
i. La commande optimale est en boucle ouverte puisquelle
S (T ) X (T ) = (T ) .
dpend de ltat initial et non de ltat courant X (t ) .

ISSAT Kairouan 9 2010-2011

Cours de Commande optimale Mastre professionnelle

Cette relation est la nouvelle condition terminale. On dmontre quelle U * (t ) = R 1 BT S (t ) X (t )

est vraie pour t p T . = G (t ) X (t )

(T ) = S (T ) X (T ) (a) G (t ) est appel le gain de Kalman.

Le systme en boucle ferm est donn par :

En utilisons cette relation dans (12), on obtient :

X& = ( A BG ) X
X& = AX (t ) BR 1 BT S (t ) X (t )

On peut montrer aussi que le critre optimis ne dpend que de X (t0 )

or (a) : & = SX & + S ( AX BR 1 BT SX )
& + SX& = SX
et S (t0 ) .
donc (9) devient :
1
J * (t0 ) = X (t0 )T S (t0 ) X (t0 )
& = ( Q + AT S + SA SBR 1 BT S ) X
SX 2

Cette condition, valable pour tout t , nous avons : 4- Commande LQ horizon infini
On suppose que les matrices A, B, Q, R sont indpendantes du temps.
S& = Q + AT S + SA SBR 1 BT S , tpT (19)
En rgime permanent, c'est--dire pour T , en supposant que S (t )
Cette quation diffrentielle non linaire est appele quation de converge, nous avons alors :
Ricatti dans le cas continu. Connaissant S (T ) , on peut dterminer S (t )
S& = 0, t p T
pour t p T .
Dans ce cas S est une constante solution de lquation algbrique de
La commande optimale est donn par :
Ricatti :
U (t ) = R B (t )
* 1 T

AT S + SA SBR 1 BT S + Q = 0 (20)
Soit :

ISSAT Kairouan 10 2010-2011

Cours de Commande optimale Mastre professionnelle

La commande optimale est : Supposons que ( A, C ) est observable. Alors ( A, B ) est stabilisable si et

U = GX (t ) seulement si :

- il existe une solution unique S dfinie positive de lquation de

avec :
Ricatti. Mieux encore cette solution, est lunique solution
G = R 1 BT S (21) dfinie positive de lquation algbrique de Ricatti.

et le systme boucl est donn par : - Le systme boucl donn par (22), o G est donn par (21), est
asympttiquement stable.
X& = ( A BG ) X (22)
Remarques :

Nous devons donc connatre les conditions dexistence dune telle i. La condition de stabilisabilit du systme est une condition
limite pour tout S (T ) . De plus, il serait intressant de savoir quand ncessaire pour la rsolution du problme LQ horizon infini. Or
cette limite est indpendante de S (T ) . un systme est stabilisable sil est commandable, ou si les
variables non commandables ont une dynamique stable.
Les thormes suivants permettent de rpondre ces questions :
Une condition moins forte que la condition de commandabilit
Thorme 1 :
du systme est donc exige. Notons que, comme on la dj vu,
Si ( A, B ) est stabilisable alors pour chaque S (T ) , il existe une limite la solution dans le cas LQ tat final libre et horizon fini, ne
borne S quand T , solution de lquation de Ricatti. Mieux ncessite pas la commandabilit du systme.
encore S est une solution semi dfinie positive de lquation ii. Le deuxime thorme a aussi permis de conclure la stabilit
algbrique de Ricatti. asympttique du systme en boucle ferme.
Thorme 2 : iii. Par un choix convenable de Q et R , on peut placer les ples
Soit C une matrice tel que Q = C T C . dsirs du systme en boucle ferme.

ISSAT Kairouan 11 2010-2011

Cours de Commande optimale Mastre professionnelle

5- Solution analytique de lquation de Ricatti W11

Pour le problme LQ, les quations dtat et les quations adjointes W21
couples scrivent :
les n vecteurs propres correspondant aux n valeurs propres stables de
X& A BR 1 BT X H.
& =
Q AT Nous avons donc :

Posons : W 1 HW = D

A BR 1 BT
H = Dfinissons le changement de variables suivants :
Q AT
x W11 W12 w
On montre que la solution de Ricatti peut tre dtermine en fonction = W W
21 22 z
des valeurs propres et vecteurs propres de la matrice H .
Posons : Si S (T ) est la condition terminale de lquation de Ricatti, dfinissons :

V (T ) = (W22 S (T )W12 ) (W21 S (T )W11 )

1
M 0
D=
0 M
et
o M est une matrice diagonale contenant les valeurs propres instables
V (t ) = e M (T t )V (T )e M (T t )
de H (valeurs propres partie relle positive), et soit :
On obtient alors la solution de lquation de Ricatti :
W W12
W = 11
S (t ) = (W21 + W22V (t ) )(W11 + W12V (t ) )
1
W21 W22

la matrice de passage forme par les valeurs propres de H , avec : Quand T la solution de lquation algbrique de Ricatti scrit :
S = W21W121

ISSAT Kairouan 12 2010-2011