Chapitre 2: Commande optimale en temps minimal Matière: Commandes optimale (M1_Auto)

Les problèmes de commande optimale se rencontrent dans la vie de tous les jours : comment
arriver à destination le plus rapidement possible, comment minimiser sa consommation...
Pour un système dynamique quelconque et dont le modèle est connu, le problème de commande
optimale consiste alors à trouver la commande minimisant un critère donné et à vérifier un ensemble
de contraintes. C’est sous cette forme que la commande optimale a été étudiée dès le XIX ème siècle
avec le calcul des variations.
Une des grandes applications de la commande optimale a été l’application au lanceur Apollo dans les
années 1960.
La commande optimale reste un sujet de recherche d’actualité.
On s’intéresse dans une première partie à la commande optimale telle qu’elle a été posée initialement
et dans le cas des systèmes les plus généraux (non linéaires et non stationnaires).
Dans une seconde partie, on traite plus particulièrement les systèmes linéaires non stationnaires
(retour d’état dynamique) et stationnaires (retour d’état statique) dans le cas d’un critère quadratique,
cas connu sous le nom de commande linéaire quadratique (LQ).

II.1/Commande optimale en temps minimal

II.1.1 Position du problème
Soit un système à temps continu de représentation d'état :
x = f ( x, u, t ) (1)
et de condition initiale x(t0) = x0, où t  , u  m désigne la commande et x  n désigne l’état du
système.
Pour la condition initiale x0 et la commande u, l'équation d'état (1) définit une trajectoire unique x
pour l'état sur [t0, tf]. Celle-ci est fonction de la condition initiale x0 et de la commande u sur [t0, tf].
Soit un critère :
tf
J ( x0 , t0 , u ) =  ( x f , t f ) +   ( x, u, t )dt (2)
t0

avec xf = x(tf). Les fonctions  et  ainsi que les instants t0 et tf étant donnés, ce critère ne dépend que
de x0 et de u sur [t0, tf]. L’application qui au signal de commande u associe le critère scalaire J(x0,t0,u)
est une fonctionnelle. On peut noter que différents critères existent dans la littérature :
tf
-* le problème de Lagrange : t0
 ( x, u, t )dt (3)

tf
-* le critère de Bolza :  ( x f ) + t  ( x, u, t )dt (4)
0

-* le critère de Mayer :  ( x f , t f ) (5)

1 Responsable de la matière: Dr H. Hamdaoui

Chapitre 2: Commande optimale en temps minimal Matière: Commandes optimale (M1_Auto)

Eventuellement au moyen d'une augmentation d'état du système, il est intéressant de noter qu'ils
sont équivalents. En plus de l'équation d'état qui lie les trajectoires de u et de x, d'autres contraintes
peuvent intervenir. Typiquement :
- l'instant final tf peut être imposé ou libre;
- la commande peut appartenir à un ensemble u  U m;
- des contraintes peuvent exister sur l'état final : xf  X.

Le problème de la commande optimale consiste alors à trouver la commande u~ minimisant J(x0,

t0, u) :
u~ = min J ( x0 , t0 , u ) (6)
uU
~
On notera alors ~x la trajectoire correspondante de l’état et J ( x0 ) = J ( x0 , t0 , u~ ) la valeur du critère.

II.1.2 Principe d’optimalité de Bellman

Soit le critère :
tf
J ( x0 , t0 , u ) =  ( x f , t f ) +   ( x, u, t )dt (7)
t0

La trajectoire optimale sur [t0, tf] est u~ et le critère optimal :

~
J ( x0 , t0 ) = min J ( x0 , t0 , u ) (8)
u[t0 ,t f ]

Soit t1  [t0, tf]. Le principe d’optimalité de Bellman énonce que la trajectoire optimale sur [t0, tf]
contient trajectoire optimale sur [t1, tf] avec comme condition initiale x1= x(t1). Autrement dit :
~ t1 ~
J ( x0 ) = min
u[ t0 ,t f ] , x1
[ 
t0
 ( x, u, t )dt + + J ( x1 )] (9)

Bien que les développements suivants ne s'appuient pas directement sur ce principe, mais sur le
principe du maximum, ce principe est un résultat classique de la commande optimale et se trouve
souvent utilisé dans la littérature. Il permet d'obtenir une solution optimale en découpant l'intervalle et
en résolvant un problème récursif.
II.1.3 Principe du minimum de Pontriaguine
Soit le système d'équation d'état :
x = f ( x, u, t ) (10)
et le critère de performance :
tf
J ( x0 , t0 , u ) =  ( x f , t f ) +   ( x, u, t )dt (11)
t0

2 Responsable de la matière: Dr H. Hamdaoui

Chapitre 2: Commande optimale en temps minimal Matière: Commandes optimale (M1_Auto)

On définit l'Hamiltonien du système :

H ( x, u, p, t ) =  ( x, u, t ) + pT f ( x, u, t ) (12)
où p est appelé état-adjoint (costate en anglais).
Le principe du minimum de Pontriaguine énonce que la trajectoire optimale minimise l'Hamiltonien
du système. Autrement dit :
H (~
x , u~, ~
p)  H ( ~
x , u~, ~
p) u  U (13)
Le long de la trajectoire optimale, on dispose d'un certain nombre d'équations permettant de
résoudre le problème de commande optimale. Ces équations sont généralement établies en utilisant le
calcul des variations.
L'extrémalité de la solution conduit à un jeu d'équations, appelées équations canoniques de Hamilton,
qui régissent les dynamiques de l'état d'une part et de l'état adjoint d'autre part :
H
- état : = x
p
H
- état adjoint : = − p
x
Les équations provenant des conditions dites terminales, en t0 d'une part et en tf d'autre part sont
appelées équations de transversalité :
- à l'origine
T
     
 − H (t0 ) + t0 +  p(t0 ) +  x0 = 0
 t0   x0 
- à l'arrivée
T
   
 H (t f ) +  t f +  − p(t f ) +   x f = 0
 t f   x f 
   

Enfin, selon la nature du problème, on aura encore certaines relations additionnelles :

H
- si aucune contrainte (de type saturation) n'est imposée sur u(t) à l'instant t, on a : (t ) = 0
u
dH H
- si H n’est pas une fonction explicite du temps, on a : = =0
dt t

a/ Lien avec le calcul des variations

Il s'agit d'un problème d'optimisation sous contrainte égalité f ( x, u, t ) − x = 0 . En s'appuyant sur le
calcul des variations, on est amené à introduire un multiplicateur de Lagrange p, qui est une fonction
du temps, et à introduire le Hamiltonien :

3 Responsable de la matière: Dr H. Hamdaoui

Chapitre 2: Commande optimale en temps minimal Matière: Commandes optimale (M1_Auto)

H ( x, u, p, t ) =  ( x, u, t ) + pT f ( x, u, t ) (14)

Le critère s'écrit alors :

~ tf
J =  ( x f , t f ) +  ( ( x, u, t ) + pT ( f ( x, u, t ) − x )) dt
t0

tf
=  ( x f , t f ) +  ( H ( x, u, p, t ) + p T x ) dt
t0

tf
=  ( x f , t f ) +  ( H ( x, u, p, t ) − p T x ) dt − pTf x f + p0T x0
t0

~ tf
=  ( x0 , t0 , x f , t f ) +  ( H ( x, u, p, t ) − p T x ) dt (15)
t0

~
où  ( x0 , t0 , x f , t f ) =  ( x f , t f ) − pTf x f + p0T x0 .

Le calcul des variations permet de donner des conditions nécessaires pour résoudre ce problème.
H
On comprend ainsi l'apparition de l'équation de l'état adjoint = − p .
x
b/ Calcul des variations
Le calcul des variations est à la base des méthodes de la commande optimale.
nous donnons un exemple introductif. Dans ce cas, l'inconnue n'est plus un scalaire ni un vecteur,
mais une fonction. Autrement dit, la solution du problème est cherchée dans un espace de dimension
infinie.
b
On cherche une fonction y(x) minimisant une intégrale de la forme : J ( y ) =   ( y( x), y ( x), x) dx .
a

Notant y * ( x ) la fonction optimale qui doit vérifier : J ( y )  J ( y* ) y

En notant y une petite variation de la fonction y, et y la variation de sa dérivée correspondante,
on a :
b   
J ( y + y )     ( y, y , x ) + ( y, y , x ) y ( x ) + ( y, y , x ) y ( x ) dx
a
 y y 
b   
 J ( y ) +   ( y, y , x ) y ( x ) + ( y, y , x ) y ( x ) dx
a y y
 
 
Pour la trajectoire optimale, il faut que ( y, y , x ) y ( x ) + ( y, y , x ) y ( x ) soit nul tout au long de la
y y

trajectoire.
II.1.4 Equation d'Euler-Lagrange
L'équation d'Euler-Lagrange, bien connue en mécanique, peut être retrouvée à partir du principe du
minimum. En notant Ec, l'énergie cinétique et Ep l'énergie potentielle d'un système mécanique, le

4 Responsable de la matière: Dr H. Hamdaoui

Chapitre 2: Commande optimale en temps minimal Matière: Commandes optimale (M1_Auto)

principe de moindre action énoncée par Maupertuis postule que le système évolue en minimisant
l'intégrale :
tf
t0
( Ec − E p ) dt (16)

Notons q les cordonnées généralisées du système. Soit le lagrangien L( q, q ) = Ec ( q, q ) − E p ( q) , avec le

critère :
tf
J ( q0 , t0 , q ) =  L( q, q ) dt (17)
t0

On considère un système dont on commande la vitesse, l'équation d'état du système s'écrivant alors
simplement:
q = u (17)

L'hamiltonien s'écrit alors :

H ( q, q ) = L( q, q ) + pT q (19)
et le principe du minimum donne les deux équations suivantes :
H L
= = − p (20)
q q
H L
= + p=0 (21)
q q

En dérivant la seconde équation par rapport au temps puis en remplaçant p grâce à la première, on
obtient l'équation d'Euler-Lagrange :
d L L
− =0 (22)
dt q q

II.1.5 Commande bang-bang

Un type de commande optimal particulier bien connu est la commande à temps minimal.
Prenons un exemple : Nous commandons l'accélération d'un véhicule que nous devons amener
d'une position initiale d'arrêt à une position finale, également à l'arrêt, dans le temps le plus court
possible.
Si l'on considère un mouvement en ligne droite, on conçoit intuitivement que la commande optimale
est dans ce cas une accélération maximale jusqu'à un certain instant à partir duquel il faudra freiner au
maximum. On parle de commande bang-bang parce que la commande est toujours saturée,
alternativement à sa valeur minimale ou à sa valeur maximale. Quant à la robustesse de la commande,

5 Responsable de la matière: Dr H. Hamdaoui

Chapitre 2: Commande optimale en temps minimal Matière: Commandes optimale (M1_Auto)

c'est-à-dire la capacité à remplir la mission de manière précise, lorsque la masse du véhicule est
imparfaitement estimée, ce genre de commande n'est pas très recommandable.
➢ Il s'agit des commandes à temps minimal avec des contraintes intervalle sur les commandes.
➢ La commande optimale est alors toujours égale au maximum ou au minimal.
➢

Exemple illustratif :

o Système linéaire à une entrée x = Ax + bu , x(t0 ) = x0

tf
o coût J =  dt = t f − t0 (temps minimal)
t0

o contrainte sur l'entrée − 1  u(t ) = 1

o contrainte sur l'état final x(t f ) = 0

o temps final libre (toujours le cas pour un temps minimal)

Application du principe du maximum

o Le Lagrangien est L( x, u, p, t ) = pT Ax + pT bu + 1
tf
o Le critère s’écrit J =  L( x, u, p, t )dt .
t0

o La commande minimisant le critère est u = − sign (bT p(t )) .

o L'équation adjointe est p = − AT p avec p (t f ) libre (car x(t f ) est imposé)

o Equation d'état x = Ax − bsign (bT p(t ))

6 Responsable de la matière: Dr H. Hamdaoui