galement aux ditions Vuibert:

Socit mathmatique de France,

O ell sont les 1nath1llatiqlles ?
sous la direction de KANTOR, 448 pages
Claude BOUZITAT & Gilles PAGS,
En passant par hasard.,. Les probabilits de tOIlS les jours, 288 pages
Marc BRIANE & Gilles PAGS,
Thorie de l'intgratio1l, C01/rs & exercices, licence & master, 336 pages
}lerre DUGAC
Histoire de l'analyse,
Prface de Jean-Pierre KAHANE,
texte dit par Bernard BRU et Roger LAURENT, 432 pages
H.-D. EBBINGHAUS et al.,
Les nombres,
traduit de l'allemand par Franois GUNARD, 464 pages
Richard ISAAC,
Ulle IItiatio1l al/X probabilits,
traduction de Roger MANStly, codition Sprnger, 256 pages
Claudine ROllERT & Olivier COGlS,
Thorie des graphes. Problmes. thormes, algorithmes, 256 pages
Claudine ROBERT,
Contes et dcomptes de la statistique, 208 pages
Jean-tienne ROMllALDl,
11lterpolatioll & approxmation, 384 pages
Henri ROUDIER,
Algbre lillaire, cours & exercices, CAPES & agrgation, 704 pages
... et des dizaines d'autres ouvrages de sciences et d'histoire des sciences:
"\vww. vubert.fr
1l1ustraton de couverture; Hiroshige, Iris Horikiri (Cent viles d'Edo), 1857
Couverture: Vuibert 1 Arnaud Martin
Composition de l'auteur
Maquette & mise en page: Arnaud Martin
ISBN 271177175 X
www.vuibert.fr
La loi du 11 mars 195 n'aurors31lt aux termes des alinas 2 et 3 de l'article 41, d'une part, que les
" copies ou reproductions strictement rserves l'usage priv du copiste ct non desrines une
utilisation collective" ct, d'autre part, que les analyses Ct les courees citations dans un but
d'exemple er d'illustration, " route reprsentation ou reproduction intgrale, ou partielle, faite sans
le consentement de l'auteur ou de ses ayants droit ou ayants cause, est illicite )' (alina 1" de l'article
40). Cetre reprsentation ou reproduction, par quelque procd que ce soit, constituerait donc une
contrefaon sanctionne par les articles 425 et suivants du Code pnal. Des photocopies payantes
peuvent tre ralscs avec l'accord de l'diteur. S'adresser au Centre franais d'exploitation du droit de
copie: 20 rue des Grands Augnscns, F-75006 Paris. Tl. : 01 44 O 4 70
Vuibert - avril 2005 - 20 rue Berbier-du-Mers, F-75647 Paris cedex 13
Sommaire
Notations .................................................... 1
Avant-propos ................................................. 4
1 Introduction: contrle optimal d'un ressort ..................... 8
PARTIE 1 Contrle optimal de systmes linaires ......... 15
2 Contrlabilit ............................................ 18
3 Temps-optimalit ......................................... 34
4 Thorie linaire-quadratique ................................ 49
PARTIE 2 Thorie du contrle optimal non linaire . ..... .. 79
5 Dfinitions et prliminaires .................................. 81
6 Contrle optimal ......................................... 94
7 Principe du maximum de Pontryagin .......................... 97
8 Thorie d'Hamilton-Jacobi. ................................ 155
9 Mthodes numriques en contrle optimal. .................... 170
PARTIE 3 Annexe . ................................ .. 191
10 Rappels d'algbre linaire .................................. 192
11 Thorme de Cauchy-Lipschitz ............................. 196
12 Modlisation d'un systme de contrle linaire ................. 205
13 Stabilisation des systmes de contrle ........................ 210
14 Observabilit des systmes de contrle ........................ 226
Bibliographie ............................................... 238
Index .................................................. 243
Table des matires
Notations .......................................... 1
Avant-propos ......................................... 4
Qu'est-ce que la thorie du contrle? .......................... 4
II Rsum du livre ........................................... 6
1 Introduction: contrle optimal d'un ressort ......... 8
Prsentation du problme .................................... 8
n Modlisation mathmatique .................................. 9
l1I Quelques remarques sur l'quation ........................... 10
PARTIE 1
Contrle optimal de systmes linaires .... ........... . 15
2 Contrlabilit .... ............................. .. 18
Ensemble accessible ....................................... 18
II Contrlabilit des systmes linaires autonomes ................. 25
HI Contrlabilit des systmes linaires instationnaires ............... 31
3 Temps-optimalit .. ............................. .. 34
Existence de trajectoires temps-optimales ....... '.' .............. 34
II Condition ncessaire d'optimalit:
principe du maximum dans le cas linaire ...................... 36
lU Exemples ............................................... 40
4 Thorie linaire-quadratique ................... .. 49
Existence de trajectoires optimales ............................ 50
Il Condition ncessaire et suffisante d'optimalit:
principe du maximum dans le cas LQ ......................... 53
III Fonction valeur et quation de Riccati ......................... 57
IV Applications de la thorie LQ ............................... 64
PARTIE 2
Thorie du contrle optimal non linaire .............. 79
5 Dfinitions et prliminaires ...................... 81
Application entre-sortie ................................... 81
n Contrlabilit ............................................ 84
III Contrles singuliers ....................................... 90
6 Contrle optimal .............................. . 94
Il Prsentation du problme ................................... 94
Il Existence de trajectoires optimales ............................ 94
7 Principe du maximum de Pontryagin .............. 97
Cas sans contrainte sur le contrle: principe du maximum faible .... 97
II Principe du maximum de Pontryagin ......................... 103
III Exem pIes et exercices ..................................... 110
IV Contrle optimal et stabilisation d'une navette spatiale ........... 128
8 Thorie d'Hamilton-Jacobi ...................... 155
Introduction ............................................ 155
Il Solutions de viscosit ..................................... 156
HI Equations d'Hamilton-Jacobi en contrle optimal ............... 164
9 Mthodes numriques en contrle optimal .. .... .. 170
Mthodes indirectes ...................................... 170
II Mthodes directes ....................................... 174
TIl Quelle mthode choisir ? .......................... 178
PARTIE 3
Annexe ......................................... 191
10 Rappels d'algbre linaire ...................... 192
II Exponentielle de matrice .................................. 192
Il Rduction des endomorphismes, . , ...... , . , ................. 193
11 Thorme de Cauchy-Lipschitz ................. . 196
Un nonc gnral ...................................... , 196
II Systmes diffrentiels linaires ... , ...................... , ... 200
III Applications en thorie du contrle. , ........................ 203
12 Modlisation d'un systme de contrle linaire .... 205
Reprsentation interne des systmes de contrle linaires ......... 205
Il Reprsentation externe des systmes de contrle linaires ......... 206
13 Stabilisation des systmes de contrle ............ 210
Systmes linaires autonomes .. , ................. , . , ........ 210
11 Interprtation en termes de matrice de transfert ............. , ... 215
III Stabilisation des systmes non linaires ......... , , ........ , ... 216
14 Observabilit des systmes de contrle ........ . .. 226
Dfinition et critres d'observabilit .......................... 226
11 Stabilisation par retour d'tat statique ..................... , . , 230
lU Observateur asymptotique Luenberger ..................... 231
IV Stabilisation par retour dynamique de sortie ... , . , ....... , ..... 232
Bibliographie .................................... 238
Index .......................................... . 243
V : pour tout.
:3 : il existe.
1 ou t.q. : tel que
Notations
A \B : ensemble A priv de l'ensemble B.
COll v (A) : enveloppe convexe de A.
A : adhrence de A.
A : intrieur de A.
_ 0
BA : frontire de A, i.e. A \ A.
max: maXImum.
min: minimum.
sup : borne suprieure.
inf : borne infrieure.
lim : limite.
lim sup : limite suprieure.
lm inf : limite infrieure.
N : ensemble des entiers naturels.
~ : ensemble des entiers relatifs.
Q : ensemble des nombres rationnels.
IR: ensemble des nombres rels.
IR+ : ensemble des nombres rels positifs ou nuls.
e : ensemble des nombres complexes.
Re z : partie relle du nombre complexe z.
lm z : partie imaginaire du nombre complexe z.
Il : valeur absolue, ou module.
Vect : espace vectoriel engendr par.
Mu,p (OC) : ensemble des matrices 11 lignes et p colonnes, coefficients
dans OC.
Mil (lK) : ensemble des matrices carres d'ordre n, coefficients dans lK.
Ker 1 : noyau de l'application linaire 1.
lm 1 : image de l'application linaire 1.
det : dterminant.
tr: trace.
rg ou rang: rang.
e 0 111 (A) : comatrice de la matrice A.
X.t\ (X) : polynme caractristique de [a matrice A.
7r A (X) : polynme minimal de la matrice A.
exp(A), ou e
A
: exponentielle de la matrice A.
AT: transpose de la matrice A.
x T : transpose du vecteur x.
(11) (o (est une fonction numrique) : l1-me drive de la fonction (.
d((x ).11 (o ( est une application d'un Banach E dans un Banach F)
diffrentielle de Frchet de ( au point x, applique au vecteur h.
; ~ (x))I)h (o (est une application de E x F dans G, et E,F,G sont des
espaces de Banach) : diffrentielle de Frchet de ( par rapport la variable x,
au point (x,)') E E x F, applique au vecteur h E E.
\li (o ( est une fonction) : gradient de f.
C
tl
(o.,lK) : ensemble des applications de n dans OC, de classe CP.
LP (o.,lK) : ensemble des applications mesurables de n dans lK, de puissance
p intgrable.
Lfnc (o.,lK) : ensemble des applications mesurables de n dans lK, dont la puis-
sance p est intgrable sur tout compact de n.
HI (D,K) : ensemble des applications mesurables ( de n dans lK, telles que
(,f' E L 1 (S1,lK) .
.......'. : flche de convergence faible.
2 Notations
L : transformation de Laplace.
ACC(XOl T) : ensemble accessible en temps T depuis le point xo.
Ace n (x 0, T) : ensemble accessible en temps T depuis le point x 0, pour des
contrles valeurs dans n.
Ex(),T, ou ET (si le point Xo est sous-entendu) : application entre-sortie en
temps T depuis le point xo.
IIxllw (o x E ll{J1 et \V E Mil (OC)) : abbrviation pour x TWx.
T xM (o M est une varit, et x E M) : espace tangent M au point x.
T ~ M : espace cotangent M au point x.
[X, YI (o X et Y sont des champs de vecteurs) : crochet de Lie des champs
X et Y.
3
Avant-propos
PARTIE 1
Qu'est-ce que la thorie du contrle 7
La thorie du contrle analyse les proprits des systmes commands, c'est--dire
des systmes dynamiques sur lesquels on peut agir au moyen d'une commande (ou
contrle). Le but est alors d'amener le systme d'un tat initial donn un cer-
tain tat final, en respectant ventuellement certains critres. Les systmes abords
sont multiples: systmes diffrentiels, systmes discrets, systmes avec bruit, avec
retard ... Leurs origines sont trs diverses: mcanique, lectricit, lectronique, bio-
logie, chimie, conomie ... L'objectif peut tre de stabiliser le systme pour le rendre
insensible certaines perturbations (stabilisation), ou encore de dterminer des so-
lutions optimales pour un certain critre d'optimisation (contrle optimal).
Dans les industries modernes o la notion de rendement est prpondrante, le
rle de l'automaticien est de concevoir, de raliser et d'optimiser, tout au moins
d'amliorer les mthodes existantes. Ainsi les domaines d'application sont mul-
tiples : arospatiale, automobile, robotique, aronautique, internet et les commu-
nications en gnral, mais aussi le secteur mdical, chimique, gnie des procds,
etc.
Du point de vue mathmatique, un systme de contrle est un systme dynamique
dpendant d'un paramtre dynamique appel le contrle. Pour le modliser, on
peut avoir recours des quations diffrentielles, intgrales, fonctionnelles, aux
diffrences finies, aux drives partielles, stochastiques, etc. Pour cette raison la
thorie du contrle est l'interconnexion de nombreux domaines mathmatiques.
Les contrles sont des fonctions ou des paramtres, habituellement soumis des
contraintes.
Contrlabilit. Un systme de contrle est dit contrlable si on peut l'amener (en
temps fini) d'un tat initial arbitraire vers un tat final prescrit. Pour les systmes
de contrle linaires en dimension finie, il existe une caractrisation trs simple
de la contrlabilit, due Kalman. Pour les systmes non linaires, le problme
mathmatique de contrlabilit est beaucoup plus difficile.
4 Avant-propos
Origine du contrle optimal. Une fois le problme de contrlabilit rsolu, on
peut de plus vouloir passer de l'tat initial l'tat final en minimisant un certain
critre; on parle alors d'un problme de contrle optimal. En mathmatiques, la
thorie du contrle optimal s'inscrit dans la continuit du calcul des variations. Elle
est apparue aprs la seconde guerre mondiale, rpondant des besoins pratiques de
guidage, notamment dans le domaine cie l'aronautique et de la dynamique du vol.
Historiquement, la thorie du contrle optimal est trs lie la mcanique classique,
en particulier aux principes variationnels de la mcanique (principe de Fermat, de
Huygens, quations d'Euler-Lagrange). Le point cl de cette thorie est le principe
du maximum de Pontryagin, formul par L. S. Pontryagin en 1956, qui donne une
condition ncessaire d'optimalit et permet ainsi de calculer les trajectoires opti-
males (voir [29] pour l'histoire de cette dcouverte). Les points forts de la thorie
ont t la dcouverte de la mthode de programmation dynamique, l'introduction de
l'analyse fonctionnelle dans la thorie des systmes optimaux, la dcouverte des liens
entre les solutions d'un problme de contrle optimal et des rsultats de la thorie
de stabilit de Lyapunov. Plus tard sont apparues les fondations de la thorie du
contrle stochastique et du filtrage de systmes dynamiques, la thorie des jeux, le
contrle d'quations aux drives partielles.
Notons que l'allure des trajectoires optimales dpend fortement du critre
d'optimisation. Par exemple pour raliser un crneau et garer sa voiture, il est bien
vident que la trajectoire suivie diffre si on ralise l'opration en temps minimal
(ce qui prsente un risque) ou bien en minimisant la quantit d'essence dpense.
Le plus court chemin entre deux points n'est donc pas forcment la ligne droite. En
1638, Galile tudie le problme suivant: dterminer la courbe sur laquelle une bille
roule, sans vitesse initiale, d'un point A un point B, avec un temps de parcours mi-
nimal, sous l'action de la pesanteur (toboggan optimal). C'est le fameux problme
de la brachisrochrone (du grec bra/?bistos, <le plus court), et chronos, < temps"),
Galile pense ( tort) que la courbe cherche est l'arc de cercle, mais il a dj re-
marqu que la ligne droite n'est pas le plus court chemin en temps. En 1696, Jean
Bernoulli pose ce problme comme un dfi aux mathmaticiens de son poque. Il
trouve lui-mme la solution, ainsi que son frre Jacques Bernouill, Newton, Leibniz
et le marquis de l'Hospital. La solution est un arc de cycloi'de commenant par une
tangente verticale. Ce rsultat a motiv le dveloppement de la thorie du calcul des
variations, devenue, plus tard, la thorie du contrle optimal (pour plus de dtails
sur l'histoire du problme de la brachistochrone, voir [651).
Contrle optimal moderne et applications. On considre que la thorie moderne
du contrle optimal a commenc dans les annes 50, avec la formulation du prin-
cipe du maximum de Pontryagin, qui gnralise les quations d'Euler-Lagrange du
calcul des variations. Ds lors, la thorie a connu un essor spectaculaire, ainsi que de
nombreuses applications. De nos jours, les systmes automatiss font compltement
partie de notre quotidien (nous en sommes souvent inconscients), ayant pour
~ Qu'est-ce que la thorie du contrle? 5
but d'amliorer notre qualit de vie et de faciliter certaines tches: systme de
freinage ABS, assistance la conduite, servomoteurs, thermostats, rgulation hy-
gromtrique, circuits frigorifiques, contrle des flux routiers, ferroviaires, ariens,
boursiers, fluviaux, barrages EDF, photographie numrique, filtrage et reconstruc-
tion d'images, lecteurs CD et DVD, rseaux informatiques, moteurs de recherche sur
internet, circuits lectriques, lectroniques, tlcommunications en gnral, contrle
des procds chimiques, raffinage ptrolier, chanes industrielles de montage, pea-
cemakers et autres systmes mdicaux automatiss, oprations au laser, robotique,
satellites, guidages arospatiaux, bioracteurs, distillation, _ .. La liste est infinie, les
applications concernent tout systme sur lequel on peut avoir une action, avec une
notion de rendement optimal.
PARTIE II
Rsum du livre
L'objectif de ce livre est de prsenter, du point de vue mathmatique, les bases
thoriques du contrle optimal, ainsi que des applications concrtes de cette thorie.
Il a t rdig partir de notes de cours d'Automatique et de Contrle Optimal
enseigns par l'auteur dans le master d'Ingnierie Mathmatique de l'Universit
d'Orsay, Option Automatique.
Il est accessible un lve suivant une formation universitaire (licence, master) ou
une cole d'ingnieurs.
Dans une premire partie, on prsente la thorie du contrle optimal pour des
systmes de contrle linaires, ainsi que la thorie dite linaire-quadratique et ses
applications: rgulation, stabilisation, filtrage de Kalman.
Dans une seconde partie, on prsente la thorie du contrle optimal pour des
systmes de contrle gnraux (non linaires), avec notamment le principe du maxi-
mum de Pontryagin dans toute sa gnralit, ainsi que la thorie d'Hamilton-Jacobi.
Un chapitre est consacr aux mthodes numriques en contrle optimaL
Enfin, en appendice on effectue quelques rappels:
gnralisations des thormes de Cauchy-Lipschitz pour des quations
diffrentielles ordinaires;
- bases de l'automatique: fonctions de transfert, stabilisation, observateurs.
Ce livre est rsolument orient vers les applications concrtes de l'automatique et
du contrle optimal, et de nombreux exercices et applications sont prsents. Les
6 Avant-propos
applications numriques sont galement dtailles; elles sont effectues l'aide de
logiciels standards comme Ml1tlab et Maple, ou bien, si ncessaire, implmentes
en C++. Parmi les applications dtailles dans cet ouvrage, figurent le contrle
optimal d'un ressort (linaire ou non linaire) ; le filtrage de Kalman; diffrents
problmes de rgulation; le contrle optimal et la stabilisation d'une navette spa-
tiale en phase de rentre atmosphrique; le transfert orbital d'un satellite pousse
faible; le contrle optimal et la stabilisation d'un pendule invers. Des exercices
concernent aussi diffrents problmes d'aronautique, transfert de fichiers informa
M
tiques, contrle d'un rservoir, problme de Bolzano en conomie, dynamique des
populations (systme prdateurs-proies), ractions chimiques, mlangeurs, circuits
lectriques, contrle d'pidmies. Ils sont prsents avec des lments de correction
et, si ncessaire, des algorithmes d'implmentation numrique.
Rsum du livre 7
8
CHAPITRE
Introduction:
contrle optimal d'un ressort
Pour expliquer et motiver la thorie nous allons partir d'un problme concret
simple: le contrle optimal d'un ressort. Cet exemple, leitmotiv de cet ouvrage,
sera rsolu compltement, de manire thorique puis numrique.
Dans une premire partie, nous nous placerons dans le cas linaire: c'est le problme
de l'oscillateur harmonique (trait en totalit dans 149J), et nous dvelopperons la
thorie du contrle optimal linaire.
Dans une deuxime partie nous traiterons le cas de l'oscillateur non linaire et
introduirons des outils gnraux de thorie du contrle optimaL Les applications
numriques seront effectues l'aide des logiciels Maple et Matlab.
PARTIE 1
Prsentation du problme
~ A A A : '
./ aV V V V
./ 111
x
Figure 1.1. Le ressort
Considrons une masse ponctuelle 111, astreinte se dplacer le long d"lll1 axe (Ox),
attache un ressort (voir figure 1.1). La masse ponctuelle est alors attire vers
i Introduction: contrle optimal d'un ressort
l'origine par une force que l'on suppose gale -k
1
(x - f) k
2
(x - 1)3, o 1
est la longueur du ressort au repos, et k 11 k'2 sont des coefficients de raideur. On
applique cette masse ponctuelle une force extrieure horizontale Il (t)t. Les lois de
la physique nous donnent l'quation du mouvement,
( t ) + k 1 (x (t) - l) + k 2 (x (t ) l)
3
= Il ( t ). (1.1)
De plus on impose une contrai11te la force extrieure,
Ill(t)1 1.
Cela signifie qu'on ne peut pas appliquer n'importe quelle force extrieure hori-
zontale la masse ponctuelle: le module de cette force est born, ce qui traduit
le fait que notre puissance d'action est limite et rend ainsi compte des limitations
techniques de l'exprience.
Supposons que la position et la vitesse initiales de l'objet soient x(O) xo,
;;(0) )'0. Le problme est d'amener la masse ponctuelle la position d'quilibre
x = 1 en un temps minimal en contrlant la force externe Il (t) applique cet ob-
jet, et en tenant compte de la contrainte lu (t) 1 1. La fonction li est appele le
contrle.
Des conditions initiales tant donnes, le but est donc de trouver une fonction Il (t)
qui permet d'amener la masse ponctuelle sa position d'quilibre en un temps mi-
nimal.
PARTIE Il
Modlisation mathmatique
Pour la simplicit de l'expos, nous supposerons que 111 = l kg, k 1 = 1
1 0 m (on se ramne 1 = 0 par translation). Dans la premire partie sur le
contrle linaire, nous supposerons que k 2 = 0, et dans la deuxime partie sur le
contrle non linaire, nous prendrons k
2
= 2 (ces valeurs n'tant pas limitatives
dans le problme).
Dans l'espace des phases (x,;), le systme diffrentiel correspondant l'quation
du mouvement est

=y(t),
)' ( t) = - x (t) - k 2 X ( t )
3
+ li (t ),
x (0) = x 0, ; ( 0) = y 0 .
! Modlisation mathmatique 9
10
Posons
A = B = X = X
o
= ((X) = ( ) .
On obtient
X(t) = AX(t) + f(X(t)) + Bu(t), X(O) = X
o
.
On dt qu'il s'agit d'un systme diffrentiel contrl. C'est un systme linaire dans
le cas o k 2 = O.
PARTIE III
Quelques remarques sur l'quation
Faisons quelques remarques sur l'quation (1.1) dans le cas non linaire, avec
k
2
= 2.
le ressort libre
Dans ce paragraphe on suppose que li (t) = 0, c'est--dire qu'aucune force n'est
applique au ressort. L'quation (1.1) se rduit alors
(t ) + x (t) + lx (t)3 = 0,
qui s'appelle l'quation de Duffillg. Il est trs facile de vrifier que toute solution
x ( . ) de cette quation est telle que
4'
x(t)- +x(t) +x(t)- = Cste.
Autrement dit, dans le plan de phase, toute solution est priodique, et son image
est incluse dans une courbe algbrique. Ci-dessous nous utilisons Maple pour tracer
dans le plan de phase (x,;) plusieurs trajectoires solutions et le champ de vecteurs
associ, ainsi que les courbes x (t) en fonction de t.
Les commandes suivantes donnent la figure 1.2.
> with(DEtools) :
> eql := Dix) (t)=yltl :
eq2! D(y) (t)=-x(t)-2*x(t)"'3
sys := eql,eq2 :
ic := [x(O)=l,y(O)=O), [x(O)=2,y(O)=O]
> DEplot( [sys), [x(t} ,y(t)] ,t=o .. 6, [iel ,stepsize=O.05,
seene=(x(t) ,y(t)] ,lineeolor=[blue,red]);
> DEplot([sys], [x(t) ,y(tl) ,t=O .. 6, (ie] .stepsize=O.05,
scene=[t,x(t)] ,linecolor=(blue,red]);
Introduction, contrle optimal d'un ressort
Figure 1.2.
le ressort amorti
Dans ce paragraphe on suppose que Il (t) = -; (t). L'quation (1.1) devient
;(t) + x(t) + lx(t)3 + ;(t) O.
A Paide de Maple, traons dans le plan de phase (x,;) plusieurs trajectoires solu-
tions et le champ de vecteurs associ.
> eql :::= D(x) (t)=y(tl :
eq2 := D(y) (t)=-x(t)-2*X(t)A3 - y (t)
sys := eq1,eq2 :
ie := [x(O)=l,y(O)=O], [x(O)=2,y(O)=O]
DEplot (sys] , (x(t) ,y (t)] , t=o .. 15, riel , stepsize=O. 05,
scene=[x(t) ,y(t)] ,linecolor=[blue,red]) i
DEplot( (sys], (x(t) ,yetI] ,t=O .. 15, [ie] ,stepsize=O.05,
scene=[t,x(t)],lineeolor=[blue,red]l;
On observe un amortissement: les solutions tendent vers l'origine (voir figure 1.3}.
En fait il est ais, l'aide de la thorie de Lyapunov, de montrer que l'origine
est globalement asymptotiquement stable. Notons cependant que ce contrle Il (t)
ne rsout pas notre problme, car le temps pour amener le ressort sa position
d'quilibre est infini!
le ressort entretenu
Dans ce paragraphe on suppose que
u(t) = _(x(t)2 - l ) . ~ ( t ) .
L'quation (1.1) devient
~ ( t ) + x + lx(t)3 + (x(tf l);(t) = O.
l Quelques remarques sur l'quation 11
10 12 14
Figure 1.3.
Figure lA.
C'est une quation dite de Van der Pol.
A l'aide de Map[e, traons dans le plan de phase (x,;;) plusieurs trajectoires solu-
tions et le champ de vecteurs associ, ainsi que les courbes x (t) en fonction t.
> eql D(x) (t)=y(t) :
eq2 := D(y) (t)=-x(t)-2*x(t)A3 -(x(t)A2 - 1 )*y(t) :
sys := eq1,eq2 :
ie: [x(D)=l,y(O}",O], [x(O)",4,y(0)=0] :
DEplot( (sye] J exIt) ,y(t)] ,t=D .. 10, (ie] ,stepsize=O.OS,
seene=(x(t) ,yetI] ,lineeolor=[blue,red]);
DEplot ( (sye] J [x (t) , y (t)] , t=O .. 10, (ie] ,stepsize=O .05,
seene=(t,x(t)) ,lineeolor=[blue,red]) i
12 ;: i ! Introduction: contrle optimal d'un ressort
Numriquement (voir figure 1.4) on constate l'existence d'une solution priodique
qui semble <attirer) toutes les autres solutions. En fait on peut montrer rigoureu-
sement, toujours l'aide de la thorie de Lyapunov, que cette solution priodique
existe et est attn.lctive.
Qualitativement on peut comprendre le comportement d'un tel oscillateur en dis-
cutant le signe de x (t)2 1. En effet si x (t) est grand il y a un amortissement
et le rayon polaire des solutions dans le plan de phase a tendance dcrotre. Au
contraire si x(t) est petit alors le terme (x(t}2 - l ) ~ ( t ) apporte de l'nergie et le
rayon a tendance augmenter. On retrouve bien ce comportement sur la figure.
L'quation de Van der Pol est en fait le modle d'une horloge.
Quelques remarques sur l'quation 13
PARTIE 1
Contrle optimal
de systmes linaires
16
Le problme gnral tudi dans cette partie est le suivant. Soient Jl et m deux
entiers naturels non nuls, l un intervalle de IR, et soient A, B et r trois applica-
tions localement intgrables sur l (en abrg Llo,)' valeurs respectivement dans
M1/ (lR), M
Il
,m (IR), et MI/,i (lR) (identifi IR'1). Soit 0 un sous-ensemble de 1R
11t
, et
soit x 0 E }Rn . Le systme de contrle linaire auquel on s'intresse est
VtEI ;(t) A(t)x(t)+B(t)u(t)+r(t),
x (0) Xo,
(1.2)
o l'ensemble des contrles u considrs est l'ensemble des applications mesurables
et localement bornes sur l, valeurs dans le sous-ensemble 0 c JR;.m
Les thormes d'existence de solutions d'quations diffrentielles (cf section 11.3)
nous assurent que, pour tout contrle li, le systme (1.2) admet une unique solution
x ( .) : l ---Jo IR'.." , absolument continue. Soit M ( .) : l ---Jo Mil (IR.) la rsolvante
du systme linaire homogne ;(t) = A(t)x(t), dfinie par M(t) = A(t)M(t),
M (0) Id. Notons que si A (t) = A est constante sur l, alors M (t) et A Alors,
la solution x ( . ) du systme (1.2) associe au contrle Il est donne par
X(t) = M(t)xQ + t M(t)M(s)-l(B(s)u(s) +r(s))ds,
./0
pour tout tEl.
Cette application dpend de u. Donc si on change ]a fonction li, on obtient une
autre trajectoire t 1---+ X (t) dans]RJ1 (voir figure 1.5).
Figure 1.5.
Deux questions se posent alors naturellement :
- tant donn un point xIE .!Rit, existe-t-il un contrle li tel que la trajectoire
associe ce contrle joigne x 0 x 1 en un temps fini T ? (voir figure 1.6)
1 Introduction: contrle optimal d'un ressort
xo
x(t)
~
Xl = x(T)
Figure 1.6. Problme de contrlabilir
C'est le problme de contrlabilit.
- Si la condition prcdente est remplie, exste-t-il un contrle joignant x 0 Xl,
et qui de plus minimise une certaine fonctionnelle C (u) ? (voir 1. 7)
C'est le problme de contrle optimal.
La fonctionnelle C (Il) est un critre d'optimisation, on l'appelle le cot. Par
exemple ce cot peut tre gal au temps de parcours; dans ce cas c ~ e s t le
problme du temps minimal.
x(T)
Figure 1. 7. Problme de contrle oprimal
Les thormes suivants vont rpondre ces questions, et permettre en particulier de
rsoudre le problme de l'oscillateur harmonique linaire (k 2 0) vu en introduc-
tion.
! Quelques remarques sur l'quation 17
18
1. Dfinition
CHAPITRE 2
Contrlabilit
PARTIE 1
Ensemble accessible
Considrons le systme contrl (1.2),
Vt E l ~ ( t ) = A (t)x(t) + B(t)u(t) + r(t),
x(O) = Xo,
Dfinition 2.1 .. L'ensemble des points accessibles partir de x 0 en un
temps T > 0 est dfini par
Ace (x 0, T) = {x /1 (T) 1 u E
o X /1 ( ) est la solution du systme (1.2) associe au contrle li.
Autrement dit A cc (x 0, T) est l'ensemble des extrmits des solutions de (1.2) au
temps T, lorsqu'on fait varier le contrle tl (voir figure 2.1). Pour la cohrence on
pose Acc(xo,O) {xo}.
:: ! Contr61abilit
Acc(xo, T}
Figure 2.1. Ensemble accessible
2. Topologie des ensembles accessibles
Thorme 2.1 ., Considrons le systme de contrle linaire dans ]Rit
;(t) = A(t)x(t) +B(t)u(t) + r(t)
o n c ]R/tl est compact. Soient T > et x 0 E !Rit. Alors pour tout
t E [O,T], Acc(xo,t) est compact, convexe, et varie continment avec t
sur [0, T].
Remarque 2.1. La convexit de Ac c (x o,t) est facile tablir si n est convexe.
En effet, dans ce cas, soient x ~ , X ~ E Ac c (x o,t), et ,\ E [0,1]. On veut montrer
que / \ x ~ + (1 - )x; E Acc(xo,t). Par dfinition, pour i = 1,2, il existe un
contrle 11 i [0, t] --. n tel que la trajectoire Xi ( , ) associe 11 i vrifie
Xi(O) Xo, Xi(t) = x}, x;(s) = A(S)Xi(S) + B(s)u(s) +1'(s).
D'aprs la formule de variation de la constante,
r
x: = Xi(t) = M(t)xo + Jo M(t)NI(s)-l(B(s)Ui(S) + r(s))ds.
Pour tout s E [O,t], posons lI(s) = u l (s) + (1- A)Ul(S). Le contrle Il est
dans L'x;, valeurs dans n car ft est convexe. Soit x ( . ) la trajectoire associe
11. Alors, par dfinition de A (xo,t), on a
X(t) = M(t)xo + r M(t)M(s)-l (B(S)Il(S) + r(s))ds E Acc(xo,t).
Jo
! 1 Ensemble accessible 19
Or,
X:+(l )M(t)xo
+ l0' M(t)M(s)-1 (B(s)('\II.(S) + (1- A)lI 1(S))
+ 1'(s) + (1 - A)I'(s))ds
= x(t)
donc x + (1- A)x i E A cc (x Olt), ce qui prouve la convexit de Ac cCx Olt).
Pourtant, et ce rsultat est surprenant, la conclusion de ce thorme est encore
vraie si n n'est pas convexe. Ceci implique en particulier le rsultat suivant.
Corollaire 2.1 (0 Si on note Ac cn(x o,t) l'ensemble accessible depuis Xo en
temps t pour des contrles valeurs dans n, alors on a
Accn(xo,t) = A cCCOnV(fl) (xo,t),
o Conv(n) est l'enveloppe convexe de n. En particulier, on a
ACCOfl(Xo,t) = Accn(xo,t), o Bn est la frontire de n.
Ce dernier rsultat illustre Je principe bang-bang (voir thorme 3.8).
Dmonstration du thorme 2.1.
La preuve de la convexit ncessite un lemme de Lyapunov en thorie de la mesure.
Lemme 2.1 Soient T > 0 et f E L 1 ([0, L'ensemble
{1 f(s )ds 1 A c [0, T] mesurable}
est convexe dans Rn .
SOent alors x E Acc(xo, t), et.'\ E [0,1]. On veut montrer que
/\x + (1 E Acc(xo,t). Par dfinition, pour i 1,2, il exste un contrle
Ui : [O,t] 1 tel que
o
xi = M(t)xo + r M(t)M(s)-l r (s)ds, etYi = r M(st'B(s)uds)ds.
Jo Jo
D'aprs le lemme, l'ensemble
C = {XA = ('Il M(st
1B
(SlUl(SldS) 1 A C [O,t] mesurable}
M(st
1
B(S)U2(S)ds
.A
20 .: 1 Contrlabilit
est convexe dans Rn X IR.
n
. Notons en particulier que
X II = et X {U t 1 = ) .
Par convexit, il existe un sous-ensemble A C [O,t] mesurable tel que
De plus, en notant AC le complmentaire de A dans [0, tl, on a
X
A
+ X
AC
=
et donc
Par consquent, si l'on pose, pour 5 E [O,t],
alors on a
{
u, (t) si t E A,
u(t) =
U2(t) si t E AC,
ft M(s)-'B(s)u(s)ds = ( f -1- f c) (M(s)-'B(s)u(s)ds) = -1- (1 - )Y2'
.lA .lA
Bien entendu, le contrle u est mesurable et valeurs dans 0, ce qui prouve la
convexit de Acc(xo,t).
La preuve du corollaire est alors immdiate, et puisque l'on a
Accn(xo,t) = AccConv(rl)(xo,t), on peut donc supposer, dans la suite de la preuve,
que 0 est convexe. Cela simplifie grandement la preuve de la compacit.
Montrons donc maintenant la compacit de Acc(xo,t). Cela revient montrer que
toute suite )n;;:N de points de Acc(xQ,t) admet une sous-suite convergente. Pour
tout entier ni soit Un un contrle reliant Xo x en temps t, et soit X
n
( . ) la trajec-
toire correspondante. On a donc
=xn(t) = M(t)xo + lat M(t)M(s)-'(B(s)un(s) +r(s))ds. (2.1)
Par dfinition, les contrles Un sont valeurs dans le compact 0, et par consquent
la suite (Un)n EH est borne dans L 2 ([0, tlIR
m
). Par rflexivit de cet espace (voir
[18]), on en dduit que, sous-suite prs, la suite (un )n;;:N converge faiblement
vers un contrle U E L 2 ([O,t1lRm ). Comme 0 est suppos convexe, on a de plus
U E L 2 ([0, tln). Par ailleurs, de la formule de reprsentation (2.1) on dduit
aisment que la suite (x n ( . ))n EN est borne dans L 2 ([0, tllR.
n
). De plus, de l'galit
x
n
= AX
n
+ BUn + v, et utilisant le fait que A, B et v sont dans L<Xl sur [o,T],
on conclut que la suite (xn ( . ))n EN est galement borne dans L 2 ([0, t],IR
n
), autre-
ment dit que cette suite est borne dans H' ([o,tllR.
n
). Mais comme cet espace de
f),;:!:'_ ! Ensemble accessible 21
Sobolev est rflexif et se plonge de manire compacte dans CO ([o,t],ffi,n ) muni de la
topologie uniforme, on conclut que, sous-suite prs, la suite (x
n
( . ))nEH converge
uniformment vers une application x( . ) sur [0, t].
En passant la limite dans (2.1) il vient alors
x(t) = M(t)xo + lat M(t)M(s)-'(B(s)u(s) +r(s))ds,
et en particulier
,lim X ~ i = .lim x
ni
(t) = x(t) E Acc(xo,t),
1-+::0 I-+<:te
ce qui prouve la compacit.
Montrons enfin la continuit par rapport t de A cc(x 0, t). Soit c > O. On va chercher
r5 > 0 tel que
V't"t2 E [o,T] It, - t21:::; 6::} d(Acc(t,),Acc(t
2
)):::; c,
o on note pour simplifier Acc(t) = Acc(xo,t), et o
d(Acc(t, ),ACC(t2)) = sup ( sup d(y,Acc(t,)), sup d(Y,ACC(t
2
))).
YEAcc(t2) yEACc(t
1
)
Par la suite, on suppose 0:::; t, < t
2
:::; T. Il suffit de montrer que
1. V'y E ACC(t2) d(y,Acc(t,)):::; E,
2. V'y E Acc(t,) d(y,Acc(t2)):::; E.
Montrons juste le premier point (2. tant similaire). Soit y E ACC(t2)' Il suffit de
montrer que
:Jz E Acc(t,) 1 d(y,z) :::; c.
Par dfinition de Acc(t
2
), il existe un contrle u E L 2 ([0, Tl0) tel que la trajectoire
associe u, partant de xo, vrifie x(t
2
) = y (voir figure 2.2).
Acc(t
1
)
Acc(t:d
Figure 2.2.
22 Chapiw' _ ~ ! Contrlabilit
On va vOr que z = x(t,) convient. En effet on a
M(t2)XQ + .lo
t
2 M(t2)M(s)-'(B(s)u(s) +r(s))ds
- ( M(t, )x. + [' M(t, )M(sr' (B(s)u(s) ris ))ds )
M(t,) [' M(st' (B(s)u(s) + r(s))ds
+ (M(t,) - M(t,)) (x. + J." M(S)-' (B (s)u(s) + r(s))ds )
Si It, - t21 est petit, le premier terme de cette somme est petit par continuit de
l'intgrale; le deuxime terme est petit par continuit de t f--t M(t). D'o le
rsultat. 0
Remarque 2.2. Si r = 0 et Xo = 0, la soluton de x Ax + Bu,x(O) D,
s'crit
o\"(t) = M(t) l M(s)-'B(s)u(s)ds,
et est linaire en li.
Cette remarque nous mne la proposition suivante.
Proposition 2.1 1 On suppose que r = 01 X 0 0 et n ]R'" . Alors, pour
tout t > 0, l'ensemble Acc(O,t) est un sous-espace vectoriel de RH. De
plus, pour tous 0 < tl < t2, on a ACC(O,tl) C ACC(O,tl)'
Preuve. Soient x ~ , x ~ E A cc(o, T), et ~ \ f . l E Ift Pour i = 1,2, il existe par dfinition un
contrle U i et une trajectoire associe xd . ) vrifiant Xi (t) = xi. D'o
xi = M(t) lat M(s)-'B(S)Uj(s)ds.
Pour tout 5 E [0, nt posons u (s) = U, (s) + I.tU2 (s). Alors
M(t) lat M(s)-' B(s)u(s)ds = x(t) E Acc(O,t).
Pour la deuxime partie de la proposition, soit x ~ E A cc (0, t d. Par dfinition,
il existe un contrle u 1 sur [0, t,] tel que la trajectoire associe x, ( . ) vrifie
x,(t,) x ~ . D'o
x ~ M(t,) r' M(S)-lB(s)u,(s)ds.
Jo
24
Dfinissons U2 sur [0, t2] par
{
U2(t) 0 si 0 :::; t :::; t2 - t1
U2(t)=Ul(tl t2+t)sit2-t1 t2
Soit X2 ( ) la trajectoire associe u 2 sur [0, t2]' Alors
X2(t2) = M(t2) (t
2
M(t)-t B(t)U2(t)dt
Jo
M(t2) M(t)-lB(t)U2(t)dt car u21[Utrtd 0
= M(t2) r' M(t2t
1
M(tt )M(s)-t B(S)U2 (t2 - tl + s)ds
./0
s S t1 - t2 + t
M(t,) .fo
t'
M(s)-t B(S)Ul (s)ds
1
Xl'
EAcc(0,t
2
),
o
Corollaire 2.2 \II A cc(O) = u A cc(O,t), l'ensemble des points accessibles

(en temps quelconque), est un sous-espace vectoriel de R/J .
Preuve. Une union croissante de sous-espaces vectoriels de.!R
n
est un sous-espace
vectoriel. 0
3. Dfinition de la contrlabilit
Dfinition 2.2 fJ Le systme contrl;(t) = A(t)x(t) +B(t)u(t) + r(t)
est dit contrlable en temps T si Ace (x 0, T) = R'I, i.e. , pour tous
x o,x l E JR!II , il existe un contrle tl tel que la trajectoire associe relie x 0
x l en temps T (voir figure 2.3).
Figure 2.3. Contrlabilit
i Contrlabilit
PARTIE Il
Contrlabilit des systmes linaires autonomes
1. Cas sans contrainte sur le contrle: condition de Kalman
Le thorme suivant nous donne une condition ncessaire et suffisante de
contrlabilit dans le cas o A et B ne dpendent pas de t.
Thorme 2.2 <!) On suppose que n IPI.
1II
(pas de contrainte sur le
contrle). Le systme ~ ( t ) = Ax(t) + Bu(t) + r(t) est contrlable en
temps T (quelconque) si et seulement si la matrice
C = (B,AB, ... ,A
It
-
1
B)
est de rang 11
La matrice C est appele matrice de Kalman, et la condition rg C = Il est appele
condition de Kalman.
Remarque 2.3. La condition de Kalman ne dpend ni de T ni de xo. Autre-
ment dt, si un systme linaire autonome est contrlable en temps T depuis
Xo, alors il est contrlable en tout temps depuis tout point.
Preuve du thorme 2.2. L'essentiel de la preuve est contenu dans le lemme suivant.
Lemme 2.2 J:) La matrice C est de rang n s et seulement si l'application linaire
{T
U f-io Jo e(T-t)A Bu(t)dt
est surjective.
Preuve du femme. Supposons tout d'abord que rg C < n, et montrons qu'alors {I>
n'est pas surjective. L'application C tant non surjective, il exste un vecteur 1/' E
Rn \ {D}, que l'on supposera tre un vecteur ligne, tel que 4JC = D. Par consquent,
1/'8 = '1JAB = ... = IjJA
n
-
1
B O.
Or d'aprs le thorme d'Hamilton-Cayley, il existe des rels ao:a h .. . ,a n-l tels que
On en dduit par rcurrence immdiate que, pour tout enter k,
~ } A k B = q
Contrlabilit des systmes linaires autonomes 25
26
et donc, pour tout t E
B O.
Par consquent, pour tout contrle u, on a
!c
.T
Il! e(T-t)A Bu(t)dt = 0,
.0
i.e. fJll( u) = 0, ce qui montre que (P n'est pas surjective.
Rciproquement, si iD n'est pas surjective, alors il existe un vecteur ligne </) E ]F.n \ {O}
tel que pour tout contrle u on ait
if' rTe (T - nA Bu ( t ) d t = o .
./0
Ceci implique que, pour tout t E
-t)A B O.
En t = Ton obtientll!B O. Ensuite, en drivant par rapport t , puis en prenant
t T, on obtient Il'A B = O. Ainsi, par drivations successives, on obtient finalement
lj18 = </'AB = ... 'V,A
n
-
1
B =
donc 1/)( = 0, et donc rg ( < n. 0
Ce lemme permet maintenant de montrer facilement le thorme.
Si la matrice ( est de rang n, alors d'aprs le lemme l'application (}) est surjective,
i.e. itl(L =) = lIt
n
. Or, pour tout contrle u, l'extrmit au temps T de la trajectoire
associe u est donne par
!c
.T
x(T) = e TA Xa + e(T-t)A (Bu(t) + r(t))dt,
. a
de sorte que l'ensemble accessible en temps T depuis un point Xo E iR
n
est
Acc(T,xo) = e TA Xa + j'T e(T -nA r(t)dt + (ML X)
Jo
ce qui montre que le systme est contrlable.
Rciproquement si le systme est contrlable, alors il est en particulier contrlable
depuis Xo dfini par
Xa = _e-
TA
l'T e(T-t)A r(t)dt .
./0
Or en ce point l'ensemble accessible en temps T s'crit
Acc(T,xa) = (!J(L'X)),
et le systme tant contrlable cet ensemble est gal !Rn. Cela prouve que (1) est
surjective, et donc, d'aprs le lemme, que la matrice ( est de rang n. 0
Remarque 2.4. Si Xo = 0 et si r 0, la dmonstration prcdente est un
peu simplifie puisque dans ce cas, d'aprs le corollaire 2.2, A cc (0) est un
sous-espace vectoriel.
Contrlabilit
2. Cas avec contrainte sur le contrle
Dans le thorme 2.2, on n'a pas mis de contrainte sur le contrle. Cependant en
adaptant la preuve on obtient aisment le rsultat suivant.
Corollare 2.3 fi Sous la condition de Kalman prcdente, si r = 0 et
i 0
i si 0 E n, alors l'ensemble accessible Acc(xo,t) en temps t contient un
1
l voisinage du point exp(tA )xo.
L._ .. _. _________ .. ___ . __ . _______________________________ ------__ . _____ . ______ . __ ._
Remarque 2.5. Les proprits de contrlabilit globale sont relies aux pro-
prits de stabilit de la matrice A. Par exemple il est clair que si
la condition de Kalman est remplie,
- r = 0 et 0 En,
toutes les valeurs propres de la matrice A sont de partie relle stricte-
ment ngative (i.e. la matrice A est stable),
alors tout point de ]Rn peut tre conduit l'origine en temps fini (ventuelle-
ment grand).
Dans le cas mono-entre nt = 1, on a un rsultat plus prcis que nous admettrons
(voir [49]).
Thorme 2.3 0') Soit b E }RI! et n C ]R un intervalle contenant 0 dans son
intrieur. Considrons le systme ;(t) = Ax(t) + bu(t), avec u(t) En.
Alors tout point de }RIt peut tre conduit l'origine en temps fini si et
seulement si la paire (A,b) vrifie la condition de Kalman et la partie
relle de chaque valeur propre de A est infrieure ou gale O.
3. Similitude de systmes, forme de Brunovski
1
i Dfinition 2.3" Les systmes de contrle linaires x 1 = A 1 xI + B 1111 et
i
1 ;1 = A1Xl + B11l1 sont dits semblables s'il existe P E GL
n
(1R.) tel que
i A 2 = PAl P -1 et B 2 = PB 1
......... __ ... ______ ______ .. ____ __ __ ... __ ...... __ ... __ .. ____ .. __ . __ .. __ ....... ____ __ __
Remarque 2.6. On a alors x 2. = Px 1
Contrlabilit des systmes linaires autonomes 27
28
Proposition 2.2 III La proprit de Kalman est intrinsque, i.e.
En particulier, le rang de la matrice de Kalman est invariant par similitude.
Considrons une paire (A,B) o A E JV1.1f
et B E M'I,Ul (IR).
Proposition 2.3 La paire (A, B) est semblable une paire (A ') de la
forme
B'=
, 0 l
o A E M
r
(IR), B E Mr,1It r tant le rang de la matrice de Kalman
de la paire (A,B). De plus, la paire (A est contrlable.
Preuve. Supposons que le rang r de la matrice de Kalman C de la paire (A,B) soit
strictement plus petit que n (sinon il n'y a rien montrer). Le sous-espace
F lm C = lm B + lm AB + ... + lm An-l B
est de dimension r, et d'aprs le thorme d'Hamilton-Cayley il est clairement inva-
riant par A. Soit G un supplmentaire de F dans ITt
n
, et soient (f
l
, .,f,) une base
de F, et (f,.,.11' . . Jn) une base de G. Notons P la matrice de passage de la base
(f
l
, .. . ,fn) la base canonique de Alors, puisque F est invariant par A, on a
A' = PAP--
1
(
Al' A3')
o l
et d'autre part, puisque lm BeF, on a
B' = PB = ) .
Enfin, on voit facilement que Je rang de la matrice de Kalman de la paire (A
est gal celui de la paire (A,B). 0
horme 2.4 l" Forme de Brunovski
Si m = 1 et si la paire (A,B) est contrlable, alors elle est semblable la
paire (,B), o
'1
) 1 = (I) ,
-al 1
A
o
-a
n
-l
et o les coefficients a i sont ceux du polynme caractristique de A, i.e.
i Contr61abilit
Remarque 2. 7. Dans ces nouvelles coordonnes, le systme est alors quiva-
lent l'quation diffrentielle scalaire d'ordre 1l
X(II)(t) +at
x
(71-1)(t) +.,. +a'lx(t) tt(t).
Preuve du thorme 2.4. Raisonnons par analyse et synthse, S'il existe une
base (f
h
... Jn) dans laquelle la paire (A,B) prend la forme (A,B), alors on a
ncessairement f n B scalaire prs, et
Af
n
fn_' a,f
o
," " Af
2
= f
1
- an-dn, Af, -anf
n
.
Dfi nssons donc les vecteurs f" . .. ,f n par les relations
f
n
B, f
n
-, =Afn +a,f
n
, , .. , f, =Af
2
+an-,f
n
.
La famille (f
1
, ,fo) est bien une base de]Rn puisque
Vect {f
n
} = Vect {B},
Vect {fn,fn-,} = Vect {B,AB},
Vect {fn, ... ,f,} = Vect {B
p
,A
n
-
1
]Rn.
Il reste vrifier que l'on a bien A f, = -a n f n' On a
Af, A 2f
2
+ an_,Af
n
A2(Af3 +an-':2fn) +an_,Af
n
A
3
f] + a
n
_2
A2f
n + an_1Af
n
=Anf
n
+a,Ao-'f
n
+ ... +an_,Af
n
= -anf
n
puisque d'aprs le thorme d'Hamilton-Cayley, on a An -a,A
n
-, _ ... - a
n
/.
Dans la base (f" .. . ,fn)' la paire (A,B) prend la forme (,4,B). 0
Remarque 2.8. Lorsque m > 1, ce thorme admet la gnralisation
Si la paire (A,B) est contrlable, alors on peut la conjuguer une paire (A,B)
telle que
*
o
o les matrices A i sont des matrices compagnons (i.e., ayant la forme
de Brunovsk du thorme prcdent); par ailleurs, il existe une matrice
G E Mm,s (IEt) telle que
1 Contrlabilit des systmes linaires autonomes 29
30
o tous les coefficients de chaque matrice B sont nuls, sauf celui de la
dernire ligne, en i-me colonne, qui est gal 1.
Exercice 2.1. Tester la contrlabilit des systmes suivants.
MOIeur asynchrone
cil( tensions )-
courants
Variateur
3BO V triphas
cil(
Figure 2.4. Contrle d'un moteur asynchrone
(Centre Automatique et systmes de Fontainebleau, cole des Mines de Paris).
Wagon
mx(t) = u(t).
- Oscillateur harmonique linaire
mx(t) + kx(t) = u(t).
Systmes de ressorts amortis
{
m
1
x
1
= -k,(x, -x2)-d
t
(.X.l X2)+U,
m2
x
2 kl(Xl-X2)-klX2+d,(Xl-X2) d
2
x2'
- Amortisseurs d'une voiture
-k
1
X l - d
1
x, + I
l
u,
-k
2
X l - d2x2 + 1
2
u.
- Vitesse angulaire d'un rotor
/w(t) u(t).
- Circuit RLC
L
di R' q
dt + 1 + C u,
o q(t) = .f
t
i est la charge du condensateur. D'o
! Contrlabilit
Servomoteur courant continu. On note R la rsistance, L l'inductance, e la force
contre-lectromotrice, k"k2 des constantes, J le moment d'inertie du moteur, fie
coefficient de frottement du moteur, r = kzi le couple moteur, rc le couple anta-
goniste, () l'angle moteur. On a
!
. di
U RI +L dt + el
e = k
1
0.
j{) = k/zi fi) - fc,
d'o
Systme de ressorts coupls (tran deux wagons)
-k,x + k
2
(y x),
-k
2
(y - x) + u.
Exercice 2.2. Pour quelles valeurs de 0: le systme
est-il contrlable?
PARTIE III
Contrlabilit des systmes linaires instationnaires
Les deux thormes suivants donnent une condition ncessaire et suffisante de
contrlabilit dans le cas instationnaire.
Thorme 2.5 ~ Le systme ;(t) = A(t)x(t) + B(t)u(t) + r(t) est
contrlable en temps T si et seulement si la matrice
dite matrice de contrlabilit, est inversible.
Remarq1le 2.9. Cette condition dpend de T, mais ne dpend pas du point
initial x o. Autrement dit, si un systme linaire instationnaire est contrlable
en temps T depus .'\:0, alors il est contrlable en temps T depuis tout point.
!i! ! Contrlabilit des systmes linaires instationnaires 31
Remarque 2.10. On a C(T) = C(T)T, et x T C(T)x 0 pour tout x E JR.IZ,
i.e. C (T) est une matrice carre relle symtrique positive.
Preuve du thorme 2.5. Pour toute solution x(t), on a, d'aprs la formule de va-
riation de la constante,
x(T) = + M(T) ,fo
T
M(t)-l B(t)u(t)dt,
o
x' = M(T)xo + M(T) laT M(t)-l r(t)dt.
Si C(T) est inversible, posons u(t) = B(t)T avec E iR.
n
. Alors
x(T) = x* + M(T)C(T)IjJ,
et il suffit de prendre = C(T)-l M(Tr
1
(Xl - x*).
Rciproquement, s C(T) n'est pas inversible, alors il existe '1/1 E JP:.n \ {O} tel que
II,T C(T)4' O. On en dduit que
d'o M(tr
1
B(t) = 0 p.p. sur [0, Tl. Ainsi, pour tout contrle u, on a
Posons = M(T)-l
T
,/J; on a, pour tout contrle u.
i.e. Xu (T) EX" + 4;1., et donc le systme n'est pas contrlable. o
Remarque 2 .. 11, Ce thorme peut se montrer beaucoup plus facilement en
contrle optimal, le contrle utilis dans [a preuve tant optimal pour un
certain critre.
Remarque 2.12. Si le systme est autonome, on a M (t) et A , et donc
l
'T
C(T) =
,0
Dans ce cas, C (T d est inversible si et seulement si C (T 2) est inversible, et
en particulier la condition de contrlabilit ne dpend pas de T (ce qui est
faux dans le cas instadonnaire).
32 '-, 1 Contrlabilit
Thorl"ne 2.6 '" Considrons le systme
;(t) A(t)x(t) + B(t)u(t) + r(t)
o les applications A,B,/' sont de classe C
oo
sur [0, Tl Dfinissons par
rcurrence
Bo(t) B(t), B;+l (t) A(t)Bi(t)
dB
d
l (t).
t
- S'il existe t E 10, T J tel que
alors le systme est contrlable en temps T.
- Si de plus les applications A,B!1' sont analytiques sur [0, T], alors le
systme est contrlable en temps T si et seulement si
vt E [O,T] Vect {B;(t)v 1 v E JRI1,; E M} = JE.'I.
Ce thorme se montre aisment en thorie du contrle optimal, par t'application
du principe du maximum (voir plus loin).
Remarque 2.13. Dans le cas autonome, on retrouve la condition de Kalman.
Exercice 2.3. Montrer que le systme x(t) = A (t)x(t) + B(t)u(t), avec
(
t 1
A(t) = 0 t
3
o 0
~ ) , et B(t)
t
2
est contrlable en temps quelconque.
Exercice 2.4. Montrer que le systme
n'est pas contrlable.
{
~ ( t ) = -y(t) + u (t) cos t,
y(t) x(t)+u(t)sint,
Exercice 2.5. SOent m et n des entiers naturels non nuls, et sOent A E .Nin (R) et
B E M
n
.
m
(R). On suppose que le systme de contrle x(t) = Ax(t)+Bu (t) est contrlable.
Soit f : IR IR une fonction de classe C:'C; on pose, pour tout t E IR,
A(t) = A + f(t)/,
o / est la matrice identit d'ordre n. Montrer que le systme de contrle
x(t) = A(t)x(t) + Bu(t) est contrlable en temps quelconque.
Contrlabilit des systmes linaires instationnaires 33
CHAPITRE 3
Temps-optimalit
PARTIE 1
Existence de trajectoires temps-optimales
Il faut tout d'abord formaliser, l'aide de Acc(xo,t), la notion de temps minimal.
Considrons comme prcdemment le systme de contrle dans Rn
;(t) = A(t)x(t) + b(t)u(t) + r(t),
o les contrles li sont valeurs dans un compact d'intrieur non vide n C ]R"'.
Soient x 0 et x 1 deux points de RI!. Supposons que x 1 soit accessible depuis x 0,
c'est--dire qu'il existe au moins une trajectoire reliant x 0 xI' Parmi toutes les
trajectoires reliant Xo Xl, on aimerait caractriser celles qui le font en temps mi-
nimal t ~ (voir figure 3.1).
= x(t*)
Figure 3.1.
Si t* est le temps minimal, alors pour tOUl: t < t*, Xl ~ Acc(xo,t) (en effet sinon
Xl serait accessible partir de Xo en un temps infrieur t") Par consquent,
(1 = inf{t > 0 1 Xl E Acc(xo,t)}.
34 __ 1 Temps-optimalit
Figure 3.2. Temps minimal
Ce temps t* est bien dfini car, d'aprs le thorme 2.1., A cc(xo,t) varie continment
avec t, donc l'ensemble {t > 0 1 xIE Acc(xo,t)} est ferm dans lIt En particulier
cette borne infrieure est atteinte.
Le temps t = ti< est le premier temps pour lequel Ac c (x o,t) contient x 1 (voir figure
3.2).
D'autre part, on a ncessairement
a
Xl E = A (xo,t")\ Acc(xo,tl') .
En effet, si Xl appartenait l'intrieur de Acc(xo,t*), alors pour t < (" proche de
t\ XI appartiendrait encore Acc(xo,t) car Acc(xo,t) varie continment avec t.
Mais ceci contredit le fait que (" soit le temps minimal.
En particulier on a prouv le thorme d'existence suivant.
Thorme 3.7 ,. Si le point x l est accessible depuis Xo alors il existe une
trajectoire temps-minimale reliant X 0 Xl'
Remarque 3.1. On peut aussi se poser le problme d'atteindre une cible non
rduite un point. Ainsi, soit (M l (t) une famille de sous-ensembles
compacts de iK
7I
variant continment en t. Tout comme prcdemment, on
voit que s'il existe un contrle 11 valeurs dans n joignant x 0 M 1 alors
il existe un contrle temps-minimal dfini sur [0,1:*] joignant x 0 M (t-l<).
Ces remarques donnent une vision gomtrique de la notion de temps minimal, et
conduisent la dfinition suivante.
Dfinition 3.1 lJ Le contrle li est dit extrmal sur [O,t] si la trajectoire
du systme (1.2) associe li vrife x(t) E 8Acc(xo,t).
Existence de trajectoires temps-optimales 35
36
En particulier, tout contrle temps-minimal est extrmal. La rciproque est videm-
ment fausse car l'extrmalit ne fait pas la diffrence entre la minimalit et la maxi-
malit.
Dans le paragraphe suivant on donne une caractrisation de cette proprit.
PARTIE Il
Condition ncessaire d'optimalit:
principe du maximum dans le cas linaire
Le thorme suivant donne une condition ncessaire et suffisante pour qu'un
contrle soit extrmal.
Thorme 3.8 tif Considrons le systme de contrle linaire
x(t) A{t)x(t) + B(t)u(t) + r(t), x(O) = Xo,
o le domaine de contraintes n c ]Rm sur le contrle est compact. Soit
T > O. Le contrle li est extrmal sur [0, T] si et seulement s'il existe une
solution non triviale p(t) de l'quation p(t) -p(t)A(t) telle que
p(t)B(t)u(t) = maxp(t)B(t)v (3.1 )
liED
pour presque tout t E [0, T]. Le vecteurligne p (t) E ]Rif est appel vecteur
adjoint.
Remarque 3.2. La condition initiale p (0) dpend en fait du point final Xt,
comme on le voit dans la dmonstration. Comme elle n'est pas directement
connue, l'usage de ce thorme sera plutt indirect, comme on le verra dans
les exemples.
Remarque 3.3. Dans le cas mono-entre (contrle et si de
plus n = [ - a,a J o a 0, la condition de maximisation implique
immdiatement que li (t) = a signe(p (t)B (t)). La fonction cp(t) p (t)B (t)
est appele fo1tctioll de commutation, et un temps te auquel le contrle
extrmal1/. (t) cbange de signe est un temps de commutation. C'est en
particulier un zro de la fonction cp.
Preuve du thorme 3.8. On a vu que Accn(xo, T) AccConv(flJ(xo, T), et par
consquent on peut supposer que n est convexe. Si u est extrmal sur [0, TL soit
x la trajectoire associe u. On a x(T) E DAcc(xo, T). Par convexit de Acc(xo, T), il
1 Temps-optimalit
existe d'aprs lethorme du convexe (voir par exemple [18]) un hyperplan sparant
au sens large x(T) etAcc(xQ,T). Soit PT un vecteur normal cet hyperplan (voir fi-
gure 3.3).
)Il "\

Acc(xo, t)
Figure 3.3.
D'aprs le thorme du convexe,
VY1 E Acc(xo,T) PT(Yl x(T)) o. (3.2)
Par dfinition de Acc(xo, T), il existe un contrle Ul tel que la trajectoire associe
y(t) vrifie y, = y(T). l'ingalit (3.2) se rcrit
PTx(T) PTy(T).
D'o
.lT P
T
M(T)M(sr
1
(B(s)u(s) + r(s))ds .lT P
T
M(T)M(sr
1
(B(S)Ul (s) +r(s))ds.
Appelons P (t) la solution sur de p -pA, telle que P (T) = PT. Alors il est
clair que p(t) = etpT = p(T) = Il s'ensuit que
Vs E [O,T] P
T
M(T)M(sr
1
= p(s),
et donc que
{T p(s)B(S)Ul(S)ds {T p(s)B(s)u(s)ds
./0 Jo
(3.3)
Si (3.1) n'est pas vraie alors
p(t)B(t)u(t) < maxp(t)B(t)v.
VEn
sur un sous-ensemble de [0, Tl de mesure positive. SOt alors u 1 ( ) sur [0, T] valeurs
dans n tel que
p(t)B(t)U1 (t) = maxp(t)B(t)v.
VEn
En appliquant un lemme de slection mesurable de thorie de la mesure, on peut
montrer que l'application u 1 ( ) peut tre choisie mesurable sur (voir (49]).
i: i Condition ncessaire d'optimalit: principe du maximum dans le cas linaire 37
Comme U1 est valeurs dans n, l'ingalit (3.3) est vraie, alors que par ailleurs la
dfinition de u, conduit immdiatement l'ingalit stricte inverse, d'o la contra-
diction. Par consquent (3.1) est vraie.
Rciproquement, supposons qu'il existe un vecteur adjoint tel que le contrle u
vrifie (3.1). Notons x ( . ) la trajectoire associe u. On voit facilement en remontant
le raisonnement prcdent que
Vy, E Acc(xo,T) p(T)(Yt -x(T)):::;; O. (3.4)
Raisonnons alors par l'absurde, et supposons que x(T) E Int Acc(xo, T). Alors il exis-
terait un point Y1 de Acc(xo, T) qui serait sur la demi-droite d'origine x(T) et de
direction p (T) (voir figure 3.4).
PT
Figure 3.4.
Mais alors p (T)(Y1 - x(T)) > 0, ce qui contredirait (3.4). Donc x(T) E 8Acc(xo, T),
et u est extrmal. D
Remarque 3.4. Si 11 est extrmal sur [Dl Tl alors Il est aussi extrmal sur
[0, t] pour tout t E [0, Tl, et de plus p (t) est un vecteur normal extrieur
Acc(xo,t). Cela dcoule facilement de la preuve et de la proprit (3.1).
Remarque 3.5. Puisque tout contrle temps-minimal est le
thorme prcdent, qui est le principe du maximum dans le cas linaire,
donne une conditio11 ncessaire d'optimalit.
Remarque 3.6. Si lt est un contrle temps-minimal joignant en temps Tune
cible Ml, o .!vIle Rtl est convexe, alors on peut de plus choisir le vec-
teur adjoint pour que le vecteur P (T) soit unitaire et normal un hyperplan
sparant (au sens large) A cc (x 0, T) et M 1. C'est une condition dite de tra11S-
versalit, obtenue facilement dans la preuve prcdente.
Comme exemple thorique d'application, montrons le rsultat suivant.
38 1:.'.':."; ':." i Temps-optimalit
Proposition 3.4 c. Considrons dans RI! le systme linaire autonome
;;(t) = Ax(t) + Bu(t), avec BERu et lu(t)1 ~ 1, et o la paire (A,B)
vrifie la condition de Kalman.
- Si toute valeur propre de A est relle, alors tout contrle extrmal
a au plus Il - 1 commutations sur lR:.+
... Si toute valeur propre de A a une partie imaginaire non nulle, alors
tout contrle extrmal a un nombre infini de commutations sur
Preuve. D'aprs le thorme 2.4, le systme peut s'crire sous forme de Brunovski,
et il est alors quivalent une quation diffrentielle scalare d'ordre n de la forme
x(n} + a 1X{n-l) + ... + dnX = u, lui ~ 1.
De plus, tout contrle extrmal est de la forme u(t) = signe /\(t), o /\(t) est la
dernire coordonne du vecteur adjoint, qui vrifie l'quation diffrentielle
/\(n
l
_ d1(n-l) + ... + (-1)"a
n
/\ = O.
En effet le vecteur adjoint vrifie p(t) = -p(t)A(t).
- Si toute valeur propre de A est relle, alors (t) s'crit sous la forme
(t) = L Pj(t)e'\J
t
,
j=l
o Pj est un polynme de degr infrieur ou gal ni 1, et o
1
, ""
sont les r valeurs propres distinctes de -A, de multiplicits respectives
n 1, ,n r. Notons que n = n 1 + ... + n,. On montre alors facilement, par
rcurrence, que "'(t) admet au plus n - 1 zros.
- Si toute valeur propre de A a une partie imaginaire non nulle, alors, comme
prcdemment, on peut crire
(t) L (Pj (t) cos /3
j
t + Qj (t) sin {Ji t)e
tljt
,
j=l
o i (Ii + i,Bj, et Pj,Qj sont des polynmes rels non nuls. En mettant en
facteur un terme t
k
e
fijt
de plus haut degr (i.e. domnant), on voit facile-
ment que A(t) a un nombre infini de zros.
o
! Condition ncessaire d'optimalit: principe du maximum dans le cas linaire 39
PARTIE III
Exemples
1. Synthse optimale pour le problme de l'oscillateur harmonique
linaire
Appliquons la thorie prcdente l'exemple de l'oscillateur harmonique prsent
en introduction, pour k
2
0, et rpondons aux deux questions suivantes:
- Pour toute condition initiale x (0) = ; (0) = )'0, existe-t-il une force
extrieure horizontale (un contrle), vrifiant la contrainte, qui permette
d'amener la masse ponctuelle sa position d'quilibre x (T) = 0, ; (T) 0
en un temps fini T ?
- Si la premire condition est remplie, peut-on de plus dterminer cette force
de manire minimiser le temps?
Enfin, ces deux problmes rsolus, nous reprsenterons dans le plan de phase la
trajectoire optimale obtenue.
Contrlabilit du systme
Le systme s'crit
{
X- AX+Bu (0
- avec A = 1
X(O) = X
o
-
On a facilement rg(B,A B ) = 2; par ailleurs les valeurs propres de A sont de partie
relle nulle. Donc, d'aprs le thorme 2.3, le systme est contrlable 0, i.e. il
existe des contrles li vrifiant la contrainte lu 1 1 tels que les trajectoires associes
relient X 0 0, ce qui rpond la premire question.
Interprtation physique
40
- Si l'on n'applique aucune force extrieure, i.e. tl = 0, alors l'quation du
mouvement est + x = O. La masse ponctuelle oscille, et ne s'arrte jamais,
donc ne parvient pas sa position d'quilibre en un temps fini.
- Si l'on applique certaines forces on a tendance amortir les os-
cillations. La thorie prvoit qu'on parvent stopper l'objet en un temps
fini.
1 Temps-optimalit
Calcul du contrle optimal
D'aprs le paragraphe prcdent, il existe des contrles permettant de relier X 0
O. On cherche maintenant le faire en temps minimal. Pour cela, on applique le
thorme 3.8, selon lequel
li (t) = signe(p (t)B),
o p (t) E JRl est solution de P = -p A. Posons P = (p l,P.2). Alors
u(t)=signe(pl(t)), et Pl Pl, Pl = -Ph d'o P2 + Pl = O. Donc
P2 (t) = cos t + fI. sn t. En particulier, la dure entre deux zros conscutifs de
Pl (t) est exactement 1. Par consquent le contrle optimal est constant par mor-
ceaux sur des intervalles de longueur 1, et prend alternativement les valeurs 1.
- Si 1l = -l, on obtient le systme diffrentiel
{
~ =)1,
Y = -x -1.
(3.5)
- Si 11 =
{
X =y,
y = -x + 1.
(3.6)
La trajectoire optimale finale, reliant X 0 0, sera constitue d'arcs successifs, solu-
tions de (3.5) et (3.6).
Solutions de (3.5) . On obtient facilement (x + 1)1 + y2 este = R 1, donc les
courbes solutions de (3.5) sont des cercles centrs en ( 1,0), et de priode 21 (en
fait, x (t) = -1 + R cos t,y (t) = R sin t).
Solutions de (3.6).. On obtient x (t) = 1 + Reas t et JI (t ) R sin t. Les solutions
sont des cercles centrs en (1,0), de priode 21.
La trajectoire optimale de X 0 0 doit donc suivre alternativement un arc de cercle
centr en ( - 1,0), et un arc de cercle centr en ( 1 ~ O ) .
Quitte changer t en -t, nous allons raisonner en temps inverse, et construire la
trajectoire optimale menant de 0 X o. Pour cela, nous allons considrer toutes les
trajectoires optimales partant de 0, et nous slectionnerons celle qui passe par X o.
En faisant varier P (0), on fait la varier trajectoire optimale. En effet, d'aprs le
thorme de Cauchy-Lipschitz, P (0) dtermine P (t) pour tout t, ce qui dfint un
contrle optimalu (t), et donc une trajectoire optimale.
Prenons des exemples pour commencer reprsenter l'allure des trajectoires opti-
males possibles.
n: ! Exemples 41
Ay
x
-1 +1
Figure 3.5.
Si PI(O) = 1, P2(0) = 0, alors P2(t) = -sint, donc sur ]O,7r[ on a
II (t) signe(p 2 (t)) = -1. La trajectoire optimale correspondante, partant
de 0, suit donc pendant un temps 7r l'arc de cercle r _ solution de (3.5), pas
M
sant par 0 (voir figure 3.5).
- Si Pl(O) -1, Pl(O) = 0, alors Pl(t) = sint, donc sur ]0,1i[ on a
II (t) = signe(p l (t )) = + 1. La trajectoire optimale correspondante, partant
de 0, suit donc pendant un temps li l'arc de cercle l'+ soluton de (3.6), pas-
sant par (voir figure 3.6).
x
-1 +1
Figure 3.6.
- Pour tout autre choix de p(O) tel que P2(0) > 0, la trajectoire optimale
correspondante part de l'origine en suivant r+ jusqu' ce que Pl(t) = O.
Au-del de ce point, Pl (t) change de signe, donc le contrle commute et
prend la valeur -1, pendant une dure li (i.e. jusqu' ce que P'2. (t) change
nouveau de signe). La trajectoire optimale doit alors tre solution de (3.5), en
partant de ce point de commutation M, et doit donc suivre un arc de cercle
centr en ( - 1:0), pendant un temps 1L C'est donc un demi-cercle, vu la
paramtrisation des courbes de (3.5) (voir figure 3.7).
La trajectoire optimale rencontre un deuxime point de commutation N
lorsque nouveau P 1 (t) change de signe. On remarque que M et N sont
j Temps-optimalit
Figure 3.7.
symtriques par rapport au point ( -1,0) (en effet ce sont [es extrmits d'un
demi-cercle centr en ce point). Le point M appartenant au demi-cercle
le point N appartient au demi-cercle image de par [a symtrie par rapport
au point ( - 1,0) qui est aussi, comme on Je voit facilement, le translat
gauche de r_ par la translation de vecteur ( 2,0).
Poursuivons alors notre raisonnement. On se rend compte que les points de com-
mutation de cette trajectoire optimale partant de 0 sont situs sur la courbe \\7
construite de la manire suivante: West l'union de tous les translats gauche
r _ par la translation prcdente, et aussi de tous les translats droite de r+ (voir
figure 3.8).
x
Figure 3.8. Ensemble \V
Les trajectoires optimales sont alors construites de la manire suivante: on part de
o et l'on suit un morceau de r -+ al! r _, jusqu' un premier point de commutation.
Si par exemple on tait sur r +, alors partant de ce point on suit un arc de cercle
centr en ( - 1,0), au-dessus de \"\7, jusqu' ce qu'on rencontre \V. De ce deuxime
,r Exemples 43
44

X
Figure 3.9.
point de commutation, on suit un arc de cercle centr en (1,0) jusqu' rencontrer
W en un troisime point de commutation, etc (voir figure 3.9).
On est maintenant en mesure de rpondre la deuxime question, du moins graphi-
quement. Le but est de relier 0 et X 0 par une trajectoire optimale. La thorie prvoit
qu'on peut effectvement le faire. Une trajectoire partant de 0 est, comme on vient
de le voir ci-dessus, dtermine par deux choix:
- partant de 0, on peut sUvre un morceau de ou de r_.
- il faut choisir le premier point de commutation.
Si maintenant on se donne un point X
o
(xo,Yo) du plan de phase, on peut
dterminer graphiquement ces deux choix, et obtenir un trac de la trajectoire op-
timale (voir figure 3.10). Dans la pratique il suffit d'inverser le temps, i.e. de partir
du point final et d'atteindre le point initial.
Remarque 3.7. l:mplmentation numrique de cet exemple est trs facile
faire. Nous la ferons plutt dans Je cas non linaire o elle est plus
intressante.
2. Autres exemples
Exemple 3.1. [49] Considrons le systme de contrle
x y + u, y -y + u, lu 1 1.
Le but est de joindre en temps mnimal la droite x = 0, puis de rester sur cette
droite.
! Temps-optimalit
y
x
Figure 3.10. Synthse optimale
Remarquons tout d'abord que si une trajectoire reste dans x = 0, cela implique
y(t) -u(t), et donc Iyl ~ 1. Rciproquement de tout point (O)y) avec Iyl ~ 1
part une trajectoire restant dans le lieu x 0, Iy! ~ 1; il suffit de choisir
11 (t) = -ye -lt . Par consquent la cible est
C'est un compact convexe.
Le systme est du type X A X + B lt avec
On vrifie facilement la condition de Kalman, et d'autre part les valeurs propres de
A sont et -1. D'aprs le thorme 2.3 le systme est donc contrlable 0, et donc
la cible Ml est atteignable de tout point.
Comme dans le cas prcdent, raisonnons en temps inverse en calculant les trajec-
toires optimales joignant Ml tout point final. Le systme extrmal s'crit alors
. . .
x = -y lt, Y =)' -Il, Px = 0, Py = Px Py,
o u(t) signe(tlx(t) + py(t)). On intgre aisment Px(t) cste = Px et
py(t) = Px + (py(O) - px)e-
t
En particulier Px + Pl' est strictement monotone
et donc le contrle Il admet au plus une commutation.
Par ailleurs la condition de transversalit (voir remarque 3.6) impose que si
x(O) 0, ly(O)1 < :1 alors Px(O) 1 et py(O) O. Mais alors
! Exemples 45
46
Px (t) + P
3
(t) = (2 e-
t
), et 11 ne commute pas sur IR+. Par exemple si Px = -1
on obtient li (t) = -1 pour tout t 0, ce qui donne les courbes en pointill sur la
figure 3.11. La courbe limite est obtenue pour Il partant du point x 0,
y = 1, et s'crit
r_ {(-2e'+2t+2,2e
t

Calculons maintenant les extrmales partant du point (0,1). La condition de trans-
versalit s'crit alors Px (0) cos 0:, Py (0) = - sin 0:, avec 0 0: 1L Par
consquent
u(t) signe(2cosO' - (sino: +coso:)e-
l
),
et Pon a une commutation si et seulement s'il existe t 0 tel que
2cosa
sina + casa
7i 2 cos 0:
- Si 0 0: < alors . > 1 donc l'quation ci-dessus n'a pas de
4 SIn a + cos 0:
solution, et donc il (t) + 1 sur lR,+.
- Si : 0: < l' l'quation a une solution t(o:) 0, et l'on voit facilement
. . 1f 7i
que t(o:) est stnctement crOIssante de [4' 2 dans [0, + 00[. Le contrle vaut
alors -1 sur [O,t (0:)[ et + 1 ensuite.
- Si 7f :s;: 0: :s;: 7i, l'quation n'a pas de solution dans
2
11 (t) -1 sur
, et on trouve
Ainsi dans le deuxime cas, l'extrmale partant du point (0,1) suit pendant un mo-
ment la courbe r -l puis commute sur u = + 1.
Enfin, on dfint symtrique de r _ par rapport l'origine (voir figure 3.11).
Finalement, le lieu de commutadon est r _ ur +, et l'on peut exprimer en fonction
de x,y la loi de commande optimale li (x,)') -1 (resp. + 1) si (x,y) est au-dessus
de W ou sur r _ (resp. en dessous de \\7 ou sur r +), o \\7 r _ u MI U r+.
Exemple 3.2. Considrons le systme dans JR2

On se pose le problme de relier en temps minimal le point origine (0,0) tout point
(a,O), o a E iFt Sans perte de gnralit on peut supposer que a > O.
1 Temps-optmalit
Y"
li =-1
lt = +1
x
Figure 3.11. Synthse optimale
Figure 3.12. Extrmales de l'exemple 3.2
On peut facilement vrifier que le systme est contrlable. Par alleurs le systme
adjoint s'crit
. .
Pl = 0, P 2 = -Pl - 2p 21
et le contrle extrmal est Il = signe(p 1)' On a facilement PI este, puis
1
P 2 (t ) 1 + ,,\e -21. En particulier P 2 (t) est strictement monotone donc le
,Ii 1 Exemples 47
contrle a au plus une commutation. En posant li = c 1 on intgre aisment
XI (t) = -i(t to} + (X2 (to) + n (e
2
(t-to) - 1) + (to),
x2 (I) -i + (x 2(tO) + e
2
(t-t,d.
On peut alors reprsenter le flot extrmal (voir figure 3.12). Notons le changement
. 1
de monotome en X2 = 'i'
On note f la courbe, en gras sur la figure, runion des deux extrmales passant par
l'origine et associes respectvement aux contrles u + 1 et Il = -1. Il est clair
que r est [a courbe de commutation, et que Il = + 1 si on est au-dessus de f, ou sur
f avec Xl > 0, et Il = -1 si on est en dessous de f ou sur r avec Xl < 0.11 est alors
clair que, pour aller en temps minimal de ['origine un point (a,O) o a > 0, il faut
d'abord prendre Il + 1, i.e. suivre un morceau de la courbe f, puis commuter
(avant d'arriver Xl = et suivre un arc associ tI -1. Par exemple si a > 0
est trs grand, le point de commuta tion doit tre trs proche de la droite Xl =
48 1 Temps-optimalit
CHAPITRE 4
Thorie linaire-quadratique
Dans ce chapitre on s'intresse aux systmes de contrle linaires avec un cot qua-
dratique. Ces systmes sont d'une grande importance dans la pratique, comme on
le verra en section 4.4. En effet un cot quadratique est souvent trs naturel dans
un problme, par exemple lorsqu'on veut minimiser l'cart au carr par rapport
une trajectoire nominale (problme de poursuite). Par ailleurs mme si les systmes
de contrle sont en non linaires, on est trs souvent amen linariser le
systme le long d'une trajectoire, par exemple dans des problmes de stabilisation.
Nous allons donc considrer un systme de contrle linaire dans IR
I1
( t ) A (t )x ( t) + B (t ) li ( t), x ( 0 ) x 0, (4.1)
muni d'un cot quadratique du type
j
'T
T T T
C (li) = X (T) Q x ( T) + ( x (t) \V ( t ) x ( t) + li (t) U ( t ) li (t )) dt l
. ()
( 4.2)
o T > est fix, et o, pour tout t E [0, T], U (t) E Mm (IR.) est symtrique dfinie
positive, \V(t) E Mil (IR.) est symtrique positive, et Q E Mu (IR.) est une matrice
symtrique positive. On suppose que les dpendances en t de A, B, \V et U sont
L'x;, sur [0
1
T]. Par ailleurs le cot tant quadratique, l'espace naturel des contrles
est L 2 ([0, TllIfl1).
Le problme de contrle optimal est alors le suivant, que nous appellerons problme
LQ (linaire-quadratique).
Problme lQ: Un point initial Xo E IR
n
tant fix, l'objectif est de dterminer les
trajectoires partant de Xo qui minimisent le cot C(u).
Notons que l'on n'impose aucune contrainte sur le point final x (T). Pour toute la
suite, on pose
2 T 1. T T
Ilx(t)llw' = x(t) Ilu(t)lIu = u(t) U(t)u(t), etg(x) = x Qx,
1 Exemples 49
de sorte que
G(Il) g(x(T)) + [ + Illl(tlllt) dt.
Les matrices Q: \\7: U sont des matrices de pOl1dratiol1.
Remarque 4.1. Par hypothse les matrices Q et \X1(t) sont symtriques po-
sitives, mais pas ncessairement dfinies. Par exemple si Q 0 et \X1 = 0
alors le cot est toujours minimal pour le contrle lf = O.
Remarque 4.2. Comme dans le chapitre prcdent, on suppose pour allger
les notations que le temps initial est gal O. Cependant tous les rsultats
qui suivent sont toujours valables si on considre le problme LQ sur un
intervalle Ito, T.I, avec des contrles dans l'espace L 2 ([to, TJ,lFt
lll
).
Remarque 4.3. Les rsultats des 4.1 et 4.2 seront en fait valables
pour des systmes linaires perturbs x A x + Bu + r, et avec une fonction
g de jRll dans:iR continue ou Cl. Nous prciserons pour chaque rsultat les
extensions possibles.
De mme nous envisagerons le cas o T +00.
PARTIE J
Existence de trajectoires optimales
Introduisons l'hypothse suivante sur U.
Par exemple cette hypothse est vrifie si l'application t I-l- U (t) est continue sur
[0, Tl et T < +00, ou encore s'il existe une constante c > 0 telle que pour tout
t E [O,T] et pour tout vecteur v E]R;1Jl on ait vTU(t)v ;;;: cv TV.
On a le thorme d'existence suivant.
Thorme 4.9 v Sous l'hypothse (4.3), il existe L1ne unique trajectoire
minimisante pour le problme LQ.
Preuve. Montrons tout d'abord l'existence d'une telle trajectoire. Considrons une
suite minimisante (u n de contrles sur [0, Tl, i.e. la suite C( un) converge vers
la borne infrieure des cots. En particulier cette suite est borne. Par hypothse,
50 : 1 Thorie linaire-quadratque
il existe une constante (\' > 0 telle que pour tout u E L 2. ([0, TUt
m
) on ait
C(u) ;;?! allull
L
2. On en dduit que la suite (un est borne dans L
2
([0,T],IR
m
).
Par consquent sous-suite prs elle converge faiblement vers un contrle u de L 2.
Notons x n (resp. x) la trajectoire associe au contrle Un (resp. u) sur [0, T]. D'aprs
la formule de variation de la constante, on a, pour tout t E [0, Tl,
(4.4)
(et la formule analogue pour x(t). On montre alors aisment que, sous-suite
prs, la suite (x
n
) converge simplement vers l'application x sur [0, Tl (en fait on peut
mme montrer que la convergence est uniforme).
Passant maintenant la limite dans (4.4), on obtient, pour tout t E [0, Tl.
x(t) = M(t)xo + M(t) i
t
M(S)-l B(s)u(s)ds,
et donc x est une solution du systme associe au contrle u. Montrons qu'elle est
minimisante. Pour cela on utilise le fait que puisque un u dans L 2, on a l'ingalit
et donc C(u) ~ lim infC(u
n
). Mais comme (un) est une suite minimisante, C(u) est
la borne infrieure des cots, i.e. le contrle u est minimisant, ce qui montre
l'existence d'une trajectoire optimale.
Pour l'unicit on a besoin du lemme suivant.
Lemme 43 {l> La fonction C est strictement convexe.
Preuve du lemme
Tout d'abord remarquons que pour tout t E lo, T], la fonction
feu) = uTU(t)u dfinie sur jRm est strctement convexe puisque par hy-
pothse la matrice U(t) est symtrique dfinie positive. Ensuite, notons
x u ( . ) la trajectoire associe un contrle u. On a pour tout t E [0, T],
xu(t) = M(t)xo + M(t) .Io
t
M(S)-lB(s)u(s)ds.
Par consquent, comme dans la preuve du thorme 2.1, l'application qui
un contrle u associe Xu (t) est convexe, ceci pour tout t E [0, T]. La matrice
W(t) tant symtrique positive, ceci implique la convexit de l'application
qui un contrle u associe x(t)T W(t)w(t). On raisonne de mme pour le
terme X(T)T Qx(T). Enfin, l'intgration respectant la convexit, on en dduit
que le cot est strictement convexe en u. 0
L'unicit de la trajectoire optimale en rsulte trivialement.
o
Existence de trajectoires optimales 51
Remarque 4.4. Extension du thorme 4.9
Si la fonction g apparaissant dans le cot est une fonction continue quel-
conque de ]Ru dans ]R, et/ou si le systme de contrle est perturb par une
fonction r (t )) alors le thorme prcdent reste vrai.
Remarque 4.5. Cas d'un intervalle infini
Le thorme est encore valable si T +00, avec g = 0, pourvu que le
systme (4.1) soit contrlable (en temps quelconque).
En effet il suffit juste de montrer qu'il existe des trajectoires solutions du
systme (4.1) sur IO, + ooI et de cot fini. Or si le systme est contrlable,
alors il existe un contrle Il et un temps T > tel que la trajectoire associe
li relie Xo sur [0, T.l. On tend alors le contrle li par sur ]T, + 00[, de
sorte que la trajectoire reste en O. On a ainsi construit une trajectoire solution
du systme sur [0, + 001" et de cot fini. Ceci permet d'affirmer l'existence
d'une suite de contrles minimisants. Les autres arguments de la preuve sont
inchangs. On obtient donc le rsultat suivant.
Proposition 4.5 Q Considrons le problme de dterminer une trajectoire
solution de
;(t) = A(t)x(t) +B(t)ll(t) +r(t)
sur rO) + oo[ et minimisant le cot
Si le systme est contrlable en un temps T > 0, et si l'hypothse (4.3) est
vrifie sur [0, + 001., alors il existe une unique trajectoire minimisante.
Remarque 4.6.
- Si Pon suppose de plus que les applications A ( . ) et B ( . ) sont L
2
sur [0, + ooI, et si \V( . ) vrifie comme U une hypothse de coercivit
(4.3), alors la trajectoire minimisante tend vers lorsque t tend vers
l'infini.
En effet on montre facilement en utilisant l'ingalit de Cauchy-
Schwarz que l'application ~ ( . ) est dans LI, et par consquent que
x (t) converge. Sa limite est alors forcment nulle.
Dans Je cas autonome (A et B sont constantes), si \X!(. ) vrifie comme
U une hypothse de coercivir (4.3), alors la trajectoire minimisante
tend vers lorsque t tend vers l'infini.
52 -, i Thorie linaire-quadratique
En effet il suffit d'crire l'ingalit
Il;(t)11 IIAllllx(t)11 + IIBllllu(t)11 Cste(llx(t)1I
2
+ Ilu(t)111),
puis en intgrant on montre de mme que l'application ;( . ) est
dans L l,
PARTIE Il
Condition ncessaire et suffisante d'optimalit:
principe du maximum dans le cas LQ
Thorm e 4.10 CIl La trajectoire x, associe au contrle li, est optimale
pour le problme LQ si et seulement s'il existe un vecteur adjoint p (t)
vrifiant pour presque tout t E [0, Tl
p(t) = -p(t)A(t) +x(t)TW(t) (4.5)
et la condition finale
(4.6)
De plus le contrle optimal Il s'crit, pour presque tout t E [D, T],
(4.7)
Preuve. Soit u un contrle optimal et x la trajectoire associe sur [0, Tl. le cot est
donc minimal parmi toutes les trajectoires solutions du systme, partant de xo, le
point final tant non fix. Considrons alors des perturbations du contrle u dans
L 2([0, Tl,IR
m
) du type
uperdt) = u(t) +Ju(t),
engendrant les trajectoires
xperdt) = x(t) + Jx (t) + o(llJu JILl),
Jx(O) O. la trajectoire xpert devant tre solution du systme
xpert AXpert + BUpert, on en dduit que
Jx = AJx + Bu,
et par consquent, pour tout t E [0, Tl,
x(t) = M(t) lat M(st
1
B (s)8u(s)ds. (4.8)
.. ' :1 i Condition ncessaire et suffisante d'optimalit: principe du maximum dans le cas LQ 53
54
Par ailleurs il est bien clair que le cot C( . ) est une fonction lisse sur L 2 ([D,
(elle est mme analytique) au sens de Frchet. Le contrle u tant minimisant on
doit avoir
dC(u) D.
Or
et comme Q, W(t) et U(t) sont symtriques, on en ddut que
= X(T)T Qt5x(T)+ fT (x(t)T W(t)t5x(t)+u (t)T U(t)t5u(tdt = (4.9)
2 .Jo
ceci tant valable pour toute perturbation iSu. Cette quation va nous conduire
l'expression du contrle optimal u. Mais introduisons tout d'abord le vecteur adjoint
p(t) comme solution du problme de Cauchy
p(t) = -p(t)A(t) +x(t)TW(n p(T) = -x(T)T Q.
La formule de variation de la constante nous conduit
p(t) AM(tt' + l
t
x(s)TW(s)M(s)ds M(t)-l
pour tout t E o
A _X(T)T OM(T) _ [T x(s)TW(s)M(s)ds .
./0
Revenons alors l'quation (4.9). Tout d'abord, en tenant compte de (4.8) puis en
intgrant par parties, il vient
Or
l
T
x(t)TW(t)iSx(t)dt = foT x(t)TW(t)M(t) l
t
M(st' B(s)ou(s)ds dt
= fT x(s)TW(s)M(s)ds fT M(s)-' B(s)ou(s)ds
Jo ./0
-l
T
l
t
x(s)TW(S)M(s)ds M(t)-1B(t)iSu(t) dt.
p(t) AM(tt
1
= t x(s)TW(s)M(s)ds M(t)-1,
./0
et d'aprs l'expression de A on arrive
l
'T lT
_X(T)T QM(T) M(t)-1 B(t)i5u(t)dt- p(t)B(t)iSu(t)dt
, 0 0
Injectons cette galit dans (4.9), en tenant compte du fait que
x(T)T OiSx(T) = X(T)T OM(T) .i
T
M(tt
1
B(t)iSu(t)dt.
1 Thorie linaire-quadratique
On trouve alors que
1 fT

dC
(u).8u = Jo (U(t)TU(t)
P (t)B (t))8u (t) dt
ceci pour toute application 8u E L 2([0, T1IR.
m
). Ceci implique donc l'galit pour
presque tout t E [0, Tl
U(t)T U(t) p(t)B(t) = 0,
ce qui est la conclusion souhaite. Rciproquement s'il existe un vecteur adjoint
p (t) vrifiant (4.5) et (4.6) et si le contrle u est donn par (4.7), alors il est bien
clair d'aprs le raisonnement prcdent que
dC(u)=O.
Or C tant strictement convexe ceci implique que u est un minimum global de C. 0
Remarque 4.7. Si le systme de contrle est perturb par une fonction r (t),
alors le thorme prcdent reste vrai. Ille reste, de mme, si la fonction g
apparaissant dans le cot est une fonction Cl quelconque de IR
1I
dans IR, sauf
que la condition fna]e sur le vecteur adjoint (4.6) devient
peT)
(4.10)
comme on le voit facilement dans la dmonstration. Cette condition s'appelle
condition de transversalit.
Remarque 4.8. Dans le cas d'un intervalle infini (T
devient
+oo) la condition
Hm p (t) O. (4.11 )
( ..... +00
Rentarque 4.9. Dfinissons la fonction H : ]R1I X Rit X IR
lII
-l- IR par
1
H(X1P,U) = p(Ax + Bu) - 2 (xTWx + uTUu),
en utilisant toujours la convention que p est un vecteur ligne de IRI! . Alors les
quations donnes par le principe du maximum LQ s'crivent
et
aH
x = - Ax +Bu,
8p
P = - aa
H
= -pA +xTW,
x
aH =0,
au
li ! Condition ncessaire et suffisante d'optimalit: principe du maximum dans le cas LQ 55
56
puisque pB liT U O. Ceci annonce le principe du maximum gnral.
Mais en fait ici dans le cas LQ on peut dire mieux: d'une part le principe du
maximum LQ est une condition ncessaire et suffisante de minimalit (alors
que dans le cas gnral c'est une condition ncessaire seulement), d'autre part
il est possible d'exprimer le contrle sous forme de boucle ferme, grce la
thorie de Riccati (voir section suivante).
Exemple4.3. Considrons, avecn m = 1,Iesystmedecontrlex = u,x(O) = xo.
et le cot
C(u) = fT (X(t)2 + u(t)2)dt .
./0
Si la trajectoire x associe au contrle U est optimale alors d'aprs le thorme
prcdent on doit avoir
x = Ut P = x, p(T) ~
avec U p. On en dduit que x = X, et donc
x(t) = xoch t + p(O)sh t, p(t) = xosh t + p(O)ch t.
Or p (T) = 0, d'o finalement
x (t) = x 0 (Ch t - ~ ~ ~ sh t) .
Exemple 4.4. Considrons le problme du vhicule se dplaant en ligne droite,
modlis par le systme de contrle
x = u, x(O} = x(O) = O.
On souhaite, pendant un temps T fix, maximiser la distance parcourue tout en
minimisant l'nergie fournie. On choisit donc le critre
C(u) -x(T) + fT u(t)2dt.
Jo
En appliquant le thorme 4.10 on obtient les quations
. . .
X YIY=UIPX=D,py -Px,
et la condition (4.10) donne
1
Px(T) = 2' py(T) = o.
En intgrant on trouve le contrle
et la distance parcourue
1 Thorie linaire-quadratique
u(t)
T-t
2
1
x(T) = 6
Remarque 4.10. Dans l'exemple prcdent on aurait pu mettre des poids
diffrents dans le cot, suivant qu'on accorde plus d'mportance maximiser
la distance parcourue ou minimiser l'nergie. On peut aussi choisir le cot
qui conduit ll(t) x(T)(T - t) etx(T)
Remarque 4.11. L'approche dveloppe dans la dmonstration du thorme
4.10 est variationnelle. On trouvera une autre approche dans [49], qui permet
notamment une extension au cas o on impose que le point final appartienne
une cible. Nous avons ici prfr l'approche du calcul des variations clas-
sique, car elle permet une preuve plus rapide et lgante. L'autre approche est
en fait plus gnrale et sera privilgie dans le cas gnral (non linare) o
elle conduit au principe du maximum de Pontryagin gnral.
PARTIE III
Fonction valeur et quation de Riccati
1. Dfinition de la fonction valeur
Soit T > 0 fix, et soit x E Iei.'l. Considrons le problme LQ de trouver une
trajectoire solution de
;(t) A(t)x(t) + B(t)u(t), x(O) = Xl
minimisant le cot quadratique
T
CT (II) = x (T)T Qx (T) +10 + 1111 (t) lit) dt.
(4.12)
(4.13)
Dfinition 4.1 /!J La fonction valeur ST au point x est la borne infrieure
des cots pour le problme LQ. Autrement dit
Remarque 4.12. Sous l'hypothse (4.3) on a existence d'une unique trajectoire
optimale d'aprs le thorme 4.9, et dans ce cas cette borne infrieure est un
mmUTIum.
Fonction valeur et quation de Riccati 57
2. Equation de Riccati
Thorme 4.11 '" Sous l'hypothse (4.3), pour tout x E RI! il existe une
unique trajectoire optimale x associe au contrle 11 pour le problme
{4.11}, (4.13). Le contrle optimal se met sous forme de boucle ferme
(4.14)
o E (t) E NCI (lEI{) est solution sur [D, T] de l'quation matricielle de Ric-
cati
( t) = \\7 ( t ) A (t ) T E (t) - E ( t ) A ( t ) E ( t ) B (t ) U (t t 1 B (t ) TE (t ),
E(T) =
(4.15)
De plus, pour tout t E [0, T], la matrice E (t) est symtrique, et
5
T
(x) = (D)x. (4.16)
Remarque 4.13. En particuJer le thorme affirme que le contrle optimalu
se met sous forme de boucle ferme
ll(t) = K(t)x(t),
o K(t) = U(t)-lB(t)TE(t). Cette forme se prte bien aux problmes de
stabilisation, comme nous le verrons plus loin.
Preuve du thorme 4.11. D'aprs le thorme 4.9, il existe une unique trajectoire
optimale qui. d'aprs le thorme 4.10, est caractrise par le systme d'quations
Je =Ax+BU-1BTpT,
p = -pA +xTW,
avec x (0) = x et p (T) = -x(T) T O. De plus le contrle s'crit
u = U-
1
B
T
p
T.
Il faut donc montrer que l'on peut crire p(t) X(t)T E(t), o E(t) est solution de
(4.15). Notons que si p s'crit ainsi, alors, d'aprs l'quation vrifie par le couple
(x}p), on trouve facilement que E(t) doit tre solution de l'quation (4.1 En uti-
lisant l'unicit de la trajectoire optimale, on va maintenant montrer que p s'crit
effectivement ainsi. Soit E(t) solution de l'quation
W - ATE - EA EBU--
1
B
T
E} E(T) = -Q.
Tout d'abord E(t) est symtrique car le second membre de l'quation diffrentielle
l'est, et la matrice Q est symtrique. A priori on ne sait pas cependant que la solution
est bien dfinie sur IO, T] tout entier. On montrera cela plus loin (lemme 4.4).
58 i.. ; ! Thorie linaire-quadratique
posons maintenant Pl (t) X, (t)T E(t), O x, est solution de
x, = Ax, + Bu"
. 'T
p, =X,E+Xl
= (Ax, +BU-'BTEx,)T E +X,T(W ATE EA -EBU-lBTE)
= -PlA +X,TW.
Autrement dit le triplet (Xl,P 1,U, ) vrifie exactement les quations du thorme
4.10. Par consquent la trajectoire Xl est optimale, et par unicit il vient x, X,
U1 u, puisp, = p. En particulier on a doncp xTE, et u = U-, BTEx. Dduisons-
en la formule (4.16). Pour cela calculons d'abord, le long de la trajectoire x(t),
:t x( t)T E (t )x(t)
d . .
dtP(t)x(t) = p(t)x(t) + p(t)x(t)
= ( P (t)A(t) + X(t)T W(t))x(t) + p (t)(A (t)x(t) + B(t)u(t))
= X(t)TW(t)X(t) + p(t)B(t)u(t).
Par ailleurs de l'expression de u on ddut
uT Uu = (U"" B
T
EX)T UU-, B
T
Ex = x
T
EBU ~ 1 B
T
Ex = pBu.
Finalement on a l'galit
d
dtX(t)T E(t)x(t) = X(t)TW(t)x(t) + U(t)T U(t)u(t),
et par consquent
{T d
5T(x) X(T)T Qx(T) + .la dtx(t)T E(t)x(t) dt.
Or puisque E(r) = -Q et x(O) X
t
il vient 5
r
(x) = -xTE(O)x.
Lemme 4.4 f) L'application t ho E(t) est bien dfinie sur [0, Tl tout entier.
Preuve du lemme
Si l'application E(t) n'est pas dfinie sur [0, Tl entier, alors il existe 0 < t ~ < T
tel que IIE(t)11 tend vers +00 lorsque t tend vers t. par valeurs suprieures.
En particulier pour tout o' > 0 il existe to E Jt" Tl et Xo E Rn, avec Ilxo Il 1,
tels que
(4.17)
D'aprs le thorme 4.9, il existe une unique trajectoire optimale x( . ) pour
le problme LQ sur [to, TI, telle que x(to) Xo (voir remarque 4.2). Cette
trajectoire est caractrise par le systme d'quations
X Ax + BU-
l
B
T
pT, x(to) Xa,
p -pA +xTW, p(T) -X(T)T
Q
.
, , f' Fonction valeur et quation de Riccati 59
Il rsulte du thorme de dpendance continue des solutions d'une qua-
tion diffrentielle par rapport la condition initiale que les extrmits x(T)
au temps T des trajectoires issues au temps to de xo, sont uniformment
bornes lorsque 0 to < T et Ilxo Il " et donc les solutions corres-
pondantes x(t),p(t) du systme diffrentiel prcdent sont uniformment
bornes sur [0\ T]. En particulier la quantit p (to )x(to) doit tre borne
indpendamment de to. Or on sait que p (t) X(t)T E(t), donc
et on obtent une contradiction avec (4.17). o
Ceci achve la preuve du thorme. o
Remarque 4.14. Il est clair d'aprs l'expression (4.16) du cot minimal que
la matrice E (0) est symtrique ngative. On peut amliorer ce rsultat si la
matrice Q est de plus dfinie (voir lemme suivant).
Lemme 4.5 0\1 Si la matrice Q est symtrique dfinie positive, ou bien si
pour tout t E [0, T] la matrice \V(t) est symtrique dfinie positive, alors
la matrice E (0) est symtrique dfinie ngative.
Preuve du lemme 4.5.
Soit Xo tel que Xo T E(O)xo = 0, et montrons que Xo = O. Pour cela on considre le
problme LQ
x Ax + Bu, x(O) = xo,
min X(T)T Ox(T) + .lT + dt,
pour lequel, d'aprs le thorme 4.1', le cot minimal vaut -Xo T E(O)xo = O. Par
consquent, puisque pour tout t la matrices U (t) est dfinie positive, on a u (t) = 0
sur [0) T]. Si par ailleurs 0 est dfinie positive on a aussi x(T) = O. Donc la trajectoire
x( . ) est solution du problme de Cauchy x Ax, x(T) = 0, et par unicit x( . ) est
identiquement nulle. En particulier x(O) Xo 0, ce qui achve la preuve. Dans le
deuxime cas o W(t) est dfinie positive, la conclusion est immdiate. 0
Exercice 4.6. Considrons le problme LQ pour le systme x = + u (n m 1) et le
cot
Montrer que l'on obtient les rsultats suivants:
60 :'
E(t) =
, 1
u(t) = "2
! Thorie linaire-quadratique
1 - e-
T
(t), Sr(x) = -, +--=
Exercice 4.7. Contrainte finale impose. Montrer que le problme LQ avec le cot modifi
C(u) = .Ia
T
+ dt + nllx(T)11
2
conduit une trajectoire minimisante telle que x(T) = O. Montrer que F(t) = E(t)-1 existe
et est solution sur l'intervalle [0, T] entier d'une quation de Riccati, avec F(T) = O.
Variante du problme prcdent. Soit T > fix. Pour tout t E [D, T] et tout
x E RI! , considrons le problme LQ de trouver une trajectoire solution de
X =Ax+Bll,X(t)=x, (4.18)
minimisant le cot quadratique
i
j
i
l
j
.y
CT(t,ll) = g(x(T)) + t + dt.
(4.19)
Dfinition 4.2 Q La fonction valeur S au point (t,x) est la borne infrieure
des cots pour ce problme LQ. Autrement dit
Sy(t,x) = inf{CT(t,u) 1 XI/(t) = x}.
Thorme 4.12 0 Sous l'hypothse (4.3 L pour tout x E JR" et tout
t E [0, T] il existe une unique trajectoire optimale x associe au contrle
Il pour le problme (4.18), (4.19). Le contrle optimal se met sous forme
de boucle ferme
(4.20)
pour tout s E [t, Tl, et o E (s) E Mil (R) est solution sur [t, T] de
l'quation matricielle de Riccati
(4.21 )
De plus pour tout s E [t, T] la matrice E (5) est symtrique, et pour tout
t E [0, T] on a
ST(t,x) = -xTE(t)x. (4.22)
Preuve. La diffrence par rapport au cas prcdent est que l'on paramtrise le temps
initial. Le seul changement est donc la formule (4.22). Comme dans la dmonstration
prcdente, on a
{T d
ST(t,X) = X(T)T Qx(T) +.lt dSX(S)T E(s)x(s) ds.
1\"liJ,." il! i Fonction valeur et quation de Riccati 61
62
Or puisque E(T) = -Q et x(t) = x, il vient Sr(t,x) -xTE(t)x. o
Remarque 4.15. L'quation de Riccati tant fondamentale, notamment dans
les problmes de rgulateur (voir section suivante), la question de son
implmentation numrique se pose naturellement. On peut procder de
manire directe : il s'agit alors, en tenant compte du fait que E (t) est
symtrique, d'intgrer un systme diffrentel non linaire de 11 (11 + 1)/2
quations. Dans le paragraphe suivant on donne une alternative cette
mthode. Ci-dessous, nous traitons en Matlab un implmentant di-
rectement l'quaton de Riccati.
El$emple 4.5. Considrons le problme LQ pour le systme dans
x = y, y = z, z = u,
et le cot
Notons que pour implmenter l'quation de Riccati {4.21), une condition finale
tant donne, on inverse le temps de faon se ramener une condition initiale.
Pour rtablir le bon sens du temps, on utilise la foncton flipud, cl programme C-
dessous.
function riccati1
% Systeme dx/dt=y, dy/dt=z, d z / d t ~ u
% min (x
A
2+yA2+ZA2+u
A
2)
cIe clear aIl i
range [0 a . 01 : 10 J;
global tricca ricca i
mini t [0; 0 ; a i 0 i 0 i 0 ] ;
(tricca,ricca] = ode113(@matriccati,range,minit);
ricca=flipud(ricca) ; % on remet le temps dans le bon sens
xinit
[t,X]
[1;2;3]
ode113 (systriccati,range,xinitl ;
plot ( t , X ( : , 1) )
%--- ----------------------------------------
function dXdt = systriccati(t,X)
global tricca ricca i
x=X(1) ; y=X(2) ; z=X(3)
[bla,k]=min{abs(tricca-t ;
e-ricca(k,5} ; f-riccalk,6) ; c-ricca{k,3} ;
u=e*x+f*y+c*z i % controle feedback u=U"'{-l}B'EX
1 Thorie linaire-quadratique
dXdt= [ y
z
u l ;
%------------ ------------ ----------- --------------
function dXdt :::: matriccati(t,X)
% Bq de Riccati dE!dt=N-A'E-EA-EBU"'{-l}B'E, E(T)=-Q,
% en temps inverse
a=X(l) ; b=X(2) ; c=X(3) d=X(4) i e=X(5) ; f=X(6) i
dXdt= - [ l-e .... 2
-2*d-fA2 +1
-2*f-c
A
2+1
-a-e*f
-d-e*c
-e-b-f*c l
3. Reprsentation linaire de l'quation de Riccat
On a la proprit suivante.
Proposition 4.6 q Plaons-nous dans le cadre du thorme 4.11. Soit
la rsolvante du systme linaire
x Ax + BU-
1
B
T
pT,
pT = _ATpT + Wx,
telle que R (T) = Id. Alors pour tout t E [0, T] on a
Preuve. Par dfinition de la rsolvante on a
x(t) = R, (t)x(T) + R2(t)p(T)T
t
p(t)T = R3(t)X(T) + R4(t)p(T)T.
Or on sait que p(T)T = -Qx(T), donc
x(t) = (R, (t) R
2
(t)Q)x(T) et p(t)T (R'3(t) - R
4
(t)Q)x(T).
On conclut en remarquant que p(t)T = E(t)x(t). Notons que la matrice
R
1
(t) - R2(t)Q est inversible sur [Q,T] car le problme LQ est bien pos, comme
nous l'avons vu prcdemment. 0
:li i Fonction valeur et quation de Riccati 63
Par consquent pour rsoudre l'quation de Riccati (4.15), il suffit d'intgrer un
systme linaire (il faut calculer une rsolvante), ce qui est trs facile program-
mer. Cette mthode (due Kalman-Englar) est notamment prfrable la mthode
directe dans le cas stationnaire (voir [44J).
PARTIE IV
Applications de la thorie lQ
1. Problmes dergulation
Le problme du rgulateur d'tat
(ou problme d'asservissement., ou problme de poursuite,
en anglais tracking problem )
Considrons le systme de contrle linaire perturb
.; ( t) = A (t ) x ( t) + B (t ) Il (t) + r ( t ), x (0) = X 0, (4.23)
et soit E(t) une certaine trajectoire de [{II sur [0, TJ, partant d'un point eo (et qui n'est
pas forcment solution du systme (4.23)). Le but est de dterminer un contrle tel
que la trajectoire associe, solution de (4.23), suive le mieux possible la trajectoire
de rfrence e(t) (voir figure 4.1).
(t)
x(t)
Xo .--------
Figure 4.1. Problme du rgulateur
64 C l;oiPii; c! i Thorie linaire-quadratique
On introduit alors l'erreur sur [0, T]
z ( t ) x ( t) - e (t ),
qui est solution du systme de contrle
(t) = A (t ) z ( t) + B (t ) 11 (t) + rI (t), z ( 0) = z (4.24)
o Zo Xo - o et rt(t) = A(t)"(t) - + r(t). II est alors raisonnable de
vouloir minimiser le cot
C(u) = z(T) T Qz(T) + ( (11z (t + Il'' (t) lit) dt,
.Jo
o Q, W, U sont des matrices de pondration. Pour absorber la perturbation ri, on
augmente le systme d'une dimension, en posant

de sorte que l'on se ramne minimiser le cot
pour le systme de contrle
Z 1 = A 1 Z 1 + B t
ll
,
partant du point Z1 (0).
La thorie LQ faite prcdemment prvoit alors que le contrle optimal existe, est
unique, et s'crit
li ( t) = U (t ) - 1 B l (t ) TEl (t ) z 1 (t ),
o El (t) est solution de l'quation de Riccati
. T -1
El = W 1 - AIE 1 - E fA f - E f B l U BI 1, El (T) -Q 1 .
Posons
(
E(t) h(t))
El(t) = h(t)T net) .
En remplaant dans l'quation prcdente, on tablit facilement les quations
diffrentielles de E,h,o: :
, '=W-A
T
E-EA-EBU-
l
B1"E,
,; = -ATh - Er) EB U-
1
BTh,
E(T) = -Q,
h(T) 0,
(4.25)
6=-21'1
T
" -"TBU-IBTh, a(T) O.
Rsumons tout ceci dans la proposition suivante.
!\;' 1 Applications de la thorie LQ 65
Proposition 4.7 Il Soit une trajectoire de]RIJ sur TI. Considrons le
problme de poursuite pour le systme de contrle
; (t) = A (t )x (t) + B (t )1I (t) + r (t), x (0) = x 0,
o l'on veut minimiser le cot
C(ll) = (x(T) _(T))TQ(x(T) -E(T))
+ [(llx(t) + lIu(t)llt) dt.
Alors il existe un unique contrle optimal, qui s'crit
li (t) = U ( t ) -1 B (t ) T E ( t ) (x ( t) - ( t )) + U ( t ) - 1 B (t ) T b (t ),
o E (t) E A'il/ (IR) et h (t) E !RIT sont solutions sur [0, Tl de
E \\7 - A TE - E A - E B B T E,
,; -ATh -E(A-(+r) EBU-1BTh,
E(T) = -Q,
h(T) = 0,
et de plus E (t) est symtrique. Par ailleurs le cot minimal est alors gal
-(x(O) - (O)? E(O)(x(D) - (O))
2h (O)T (x(O) - (O))
laT (2(A (t)(t) - + r(t))T h (t)
+ h (t ) TB (t) U (t )-1 B (t) T h (t)) dt.
Remarque 4 .. 16. Notons que le contrle optimal s'crit bien sous forme de
boucle ferme
u(t) K(t)(x(t) -(t)) +H{t).
Remarque 4.17. Si = A + r, i.e. la trajectoire de rfrence est solution du
systme sans contrle, alors dans les notations prcdentes on a rIO, et
d'aprs [es quations (4.25) on en dduit que h (t) et o:(t) sont identiquement
nuls. On retrouve alors le cadre LQ de la section prcdente. En fait,
- si = 0 et r = 0, le problme est un problme LQ standard;
- SI1' 0, il s'agit d'un problme de poursuite de la trajectoire e;
- si = 0, c'est un problme de rgulation avec ]a perturbation r.
66 i' 1 Thorie linaire-quadratique
Exercice 4.8. Rsoudre le problme de poursuite sur [0, pour le systme x = x + u,
x(O) 0, la fonction = t, et des poids tous gaux 1.
Exercice 4.9. Considrons l'oscillateur harmonique
x + x = u, x(O) = 0, x(O) = 1.
On dsire asservir le mouvement de cet oscillateur la courbe ( cos t, sin t) sur [0,2<), i.e.
dcaler la phase de < /2. Ecrire les quations permettant de rsoudre le problme, puis
raliser l'implmentation numrique.
Variante: le problme de poursuite d'une sortie (ou output tracking)
On ajoute au problme prcdent une variable de sortie:
;(t) = A(t)x(t) + B(t)u(t) + r(t), x(O) XO
l
y(t) C(t)x(t))
et tant donn un signal de rfrence (t) on cherche un contrle tel que, le long de
la trajectoire associe, l'observable z ( . ) soit proche de ( . ). Notons qu'on retrouve
le cas prcdent si y(t) = x(t).
Posant z(t) = y(t) (t), on cherche minimiser le cot
{T
C(u) = z(T)T Qz(T) + Jo + Ilu(t)llt) dt.
Posons alors
(
x)
Xl = 1 '
et A bB 1 comme prcdemment (avec rI r). Alors on cherche un contrle li,
associ la trajectoire x 1 solution de Xl = A 1 Xl + BIll, minimisant le cot
En raisonnant comme prcdemment, on arrive au rsultat suivant.
,"f i Applications de la thorie LQ 67
Proposition 4.8 e, Soit une trajectoire de IR!./] sur [0, T]. Considrons le
problme de poursuite de la sortie r pour le systme de contrle avec sortie
~ (t) = A (t )x (t) + B (t ) li (t) + r (t), x (0) x 0,
y (t ) C (t )x (t ),
o l'on veut minimiser le cot
C(u) =(y(T) e(T))TQ(y(T) -e(T))
+.[ (11y (1) - (1 ) l I i ~ + Il'' (1 lIlt) dt.
Alors il existe un unique contrle optimal, qui s'crit
o E (t) E A1.
11
(R) et h (t) E IR/! sont solutions sur rO, T] de
CTWC ATE - EA EB U-
1
BTE, E(T) -C(T)T QC(T),
h = -CTWe A Th - Er - EB U-
1
B
T
h, h (T) = -C(T)T Qe(T),
et de plus E (t) est symtrique. Par ailleurs le COltt minimal est alors gal
-x(O)TE(O)x(O) - 211 (O)T x(O) - 0:(0),
o 0:( t) est solution de
Remarque 4.18. On trouvera dans [61] d'autres variantes de ce problme,
notamment le mme problme que ciMdessus, sauf que le cot s'crit
l'T
C(u) = x(T)TQx(T) + Jo (1Iy(t)
.., .., )
e(t) Il'iv + Ilu (t) Il dt.
Le seul changement est dans la matrice augmente QI, et donc dans les condi-
tions aux limites de E et h, qui deviennent dans ce cas E (T) = -Q et
h (T) = O.
On trouvera aussi dans [49] une autre variante du problme LQ, o la fonc-
tion g apparaissant dans le cot est linaire en x. Nous laissons l'criture de
toutes ces variantes au lecteur, la mthode tant de toute faon la mme que
prcdemment.
68 .! i Thorie linaire-quadratique
Exercice 4.10. On considre le systme proies-prdateurs contrl
X x+Y+U"x(0)=1,
y x - y + Ul. y(O) = L
Trouver l'expression des contrles permettant d'asservir la variable x(t) la valeur 1 sur
l'intervalle [0,10].
2. Filtre de Kalman dterministe
Ce problme clbre est le suivant. Connaissant un signal de rfrence (t) sur [0, T],
on cherche une trajectoire solution sur [0, T] de
; (t ) A (t ) x ( t) + B (t ) 1l ( t ),
minimisant le cot
C(u) = x (O)T Qx (0) +,{ (II(C(t )x(t) - + Il'' (t)llt) dt.
Il s'agit d'une variante des problmes de poursuite prcdents, sauf que l'on
n'impose aucune condition sur x (0) et x (T), et de plus le cot pnalse le point ini-
tial x (0). En revanche dans ce problme on suppose que)a matrice Q est symtrique
dfinie positive.
Pour se ramener aux cas prcdents, il convient donc tout d'abord d'inverser le
temps, de faon ce que le cot pnalise, comme avant, le point final. On pose
donc, pour tout t E [0, T],
;(t) = x(T - t), = lI(T - t), A(t) = -A(T - t), B(t) = -B(T - t),
(t) = (T - t), W ( t) = W (T - t), ( t) = U (T t )j (t) = C (T t ),
sorte que l'on se ramne au problme de dterminer une trajectoire solution de
x ; + 13 minimisant le cot
Notons que, par construction, on a = C (u ).
Fixons une donne initiale;:; (0), et appliquons, pour cette donne initiale, le mme
raisonnement que dans cas prcdents. On obtient alors
1\/ i Applications de la thorie LQ 69
o
h - T'; - 3 -
1
ETh,
W - J; T 3 -
1
ETh,
,; (T) 0,
n(T) = 0,
et le cot minimal pour cette donne initiale fixe x (0) vaut
- T- - - T-
-x(o) E(O)x(O) 2x(0) h(O) n(O).
Il faut maintenant trouver tel que ce cot soit minimal. Posons donc
Il faut donc dterminer un minimum de f. Notons tout d'abord que, la matrice
Q tant par hypothse dfinie positive, la matrice (0) est d'aprs le lemme 4.5
symtrique dfinie ngative. En particulier la fonction f est strictement convexe et
de ce fait admet un unique minimum. En un tel point on doit avoir f'(x) = 0, d'o
x - (0)-1,; (0).
Finalement, en reprenant le cours positif du temps, et en posant pour tout t E [0, Tl
E ( t) = - E (T - t), h ( t) = -/; (T - t))
on arrive au rsultat suivant.
Proposition 4.9 0 Soit {( . ) une trajectoire dfinie sur [0, TJ valeurs dans
RF . On considre le problme de dterminer une trajectoire solution sur
[0, T] de
;; ( t) = A (t )x (t) + B (t ) tl (t ),
minimisant le cot
C(u) = x(O) T Qx(O) + t (i1(C(t)x(t) - + dt,
Jo
o la matrice Q est de plus suppose dfinie positive. Alors il existe une
unique trajectoire minimisante, associe au contrle
et la condition finale
x(T) = -E(T)-lb(T),
70 .: i Thorie linaire-quadratique
o
E CTWC - ATE - EA - EB U-
1
BTE, E(O) = Q,
,; -CTW - ATh - EB U-
1
BTh, 11(0) = 0,
et le cot minima) vaut alors
- h(T)T
E
(T)-lh(T)
+ ((t)TW(t)(t) -h(t)TB(t)U(t)-lB(t)Th (t)) dt.
L'tat final x (T) - E (T) -1 h (T) est la donne qui nous intresse principalement
dans le problme du filtre de Kalman, qui est un problme d'estimation, comme
nous le verrons dans les exemples suivre. L'estimation de cet tat final peut tre
simplifie de la manire suivante.
Posons F(t) E(t)-l. On trouve facilement, puisque ft = -FF,
F B U -1 B T + A F + FAT F CT W CF, F (0) = Q - t
Par ailleurs si on pose z(t) = -F(t)h(t), on trouve que
z (A - FCTWC)z + FC
T
\\7, z(O) = O.
Finalement on arrive au rsultat suivant.
Proposition 4.10 0 Sous les hypothses de la proposition 4.9, l'tat final
x (T) de la solution optimale est gal z (T), o
~ = (A - FCTWC)z + FCTW, z(O) = 0,
ft = BU-1B
T
+AF +FA
T
- FCTWCF, F(O) = Q-l,
Application au filtrage. Le problme est d'estimer, d'aprs une observation, un
signal bruit. Le modle est
;(t) A(t)x(t) +B(t)tt(t), x(O) =xo,
y (t) C (t)x (t) + v (t ),
o les fonctions 11 et v sont des bruits, i.e. des perturbations affectant le systme.
La donne initiale Xo est inconnue. Le signal (t) reprsente une observation de la
variable y (t), et partir de cette observation on veut construire une estimation de
l'tat final x (T). On cherche une estimation optimale dans le sens que les perturba-
tions Il et v, ainsi que la donne initiale Xo, doivent tre aussi petites que possible.
On cherche donc minimiser un cot de la forme
T ") J
h
'T
x(O) Qx(O) +.0 (IIw(t)!I\V + Ilu(t)lI)dt.
i"J ! Applications de la thorie LQ 71
Ii s'agit donc exactement du problme LQ
; (t) = A (t ) x ( t) + B (t ) u (t ),
Y (t) C (t)x (t),
T '?.,
l
T
C(u) =x(O) Qx(O) + 0 (lIy(t) -(t)lI\v + Ilu(t)lI)dt,
i.e. le problme que l'on vient d'tudier (x (0) non fix).
L'estimation optimale de l'tat est donc gale z (T) (voir proposition 4.10).
Remarque 4.19. La bonne manire d'interprter le filtre de Kalman est sta-
tistique, ce qui dpasse le cadre de cet ouvrage. En fait il faut interprter les
perturbations li et b comme des bruits blancs gaussiens, et x 0 comme une va-
riable alatoire gaussienne, tous supposs centrs en 0 (pour simplifier). Les
matrices Q, W(t),U(t) sont alors les matrices de variance de xo,v(t),u(t), et
le problme de minimisation s'interprte comme le problme d'estimer l'tat
final de variance minimale, connaissant l'observation (t) ( ce sujet, voir
par exemple [3]).
Par ailleurs les pondrations doivent tre choisies en fonction de l'importance
des bruits. Par exemple si le bruit v est trs important compar au brut u
et l'incertitude sur la condition initiale alors on choisit une matrice W (t)
petite.
Exemple 4.6. On veut estimer x(T) pour le systme bruit
x = u,y x + v,
d'aprs l'observation (t).
Les quations de la proposition 4.10 donnent
i: = -FWz + FW(, z(O) 0,
F = U-
1
- FWF, F(O) = 0-
1
,
Choisissons les poids 0 = 1,U(t) = 1, W(t) w
2
, On trouve
F(t) = 1 + e-
wt
( 1 + w)
w w
En particulier si le bruit v est petit alors on peut choisir le paramtre w trs grand,
de sorte que pour tout t > 0 on a F(t) :::::: 1. On montre alors facilement, avec
l'quation de z, que z(t) :::::: ((t), ce qui est bien cohrent: en effet s'il n'y a pas de
bruit alors on observe directement l'tat que l'on cherche estimer!
Dans le cas gnral, on calcule (numriquement) z(T), ce qui fournit l'estimation de
x (T) souhaite.
72 .1 1 Thorie linare-quadratique
3. Rgulation sur un intervalle infini et rapport avec la stabilisation
Considrons le problme LQ sur l'intervalle [0, + 00[. Il d'un problme de
rgulation o l'on cherche rendre l'erreur petite pour tout temps. Nous nous re-
streignons au cas systmes stationnaires. Le cadre est le suivant.
On cherche ................. J.111.J.1 ....... une trajectoire solution de
; (t) = A x ( t) + B li (t)1 X ( 0) x 0,
minimisant le cot
c (u) = j':x] (11x (t) I I ~ X l + lu (t) lit) dt,
.0
o de mme les matrices \V et U sont constantes.
On a la rsultat suivant.
Thorme 4.13 Q On suppose que les matrices \V et U sont symtriques
dfinies positives, et que le systme est contrlable. Alors il existe une
unique trajectoire minimisante pour ce problme, associe sur [0, + oo[
au contrle optimal
-1 T
1t ( t) = U BEx ( t ),
o E E Mil (IR) est l'unique matrice symtrique dfinie ngative solution
de l'quation de Riccati stationnaire
De plus le cot minimal vaut -Xo T
Exo
.
Par ailleurs le systme boud
( 4.26)
est globalement asymptotiquement stable, et la fonction V (x) -x T Ex
est une fonction de Lyapunov stricte pour ce systme.
Remarque 4.20. En particulier, la trajectoire minimisante assoclee ce
problme en horizon infini tend vers 0 lorsque t tend vers l'infini.
Preuve du thorme 4.13. On sait dj (voir proposition 4.5 et remarque 4.8) qu'il
existe une unique trajectoire optimale, vrifiant les quations
x Ax + Bu, p = -pA +xTW, Hm p(t) 0,
t-+cc
i\it ri i Applications de la thorie LQ 73
74
avec u = U-
1
B
T
pT. De manire tout fait similaire la preuve du thorme 4.10
on montre, par un argument d'unicit, que p (t) x(t) TE, o E est solution, pourvu
qu'elle existe, de l'quation (4.26). Il faut donc montrer l'existence d'une telle solu-
tion. C'est l'objet du lemme suivant.
Lemme 4.6 QI Il existe une unique matrice E symtrique dfinie ngative solu-
tion de l'quation (4.26).
Preuve du lemme.
Il est bien clair que si x( . ) est minimisante pour le problme LQ sur IO, + 00[,
alors elle l'est aussi sur chaque intervalle [0) T], T > O. Considrons donc le
problme LQ sur [0, T]
x = Ax + Bu, x(o) xo,
((T,u) = .lT + dt,
et appelons E (T, t) la solution de l'quation de Riccati associe
=W ATE-fA EBU-
1
B
T
E,E(T,T) O.
On sait que de plus le cot minimal est C(T,u) -Xo T E(T,O)xo T. Posons
alors D(T,t) = -E(T,T - t). Il est bien clair que
= W +ATD + DA - DBU ..
1
BTD, D(T,O) = O.
Cette quation tant en fait indpendante de T, on peut poser
D{t) = D(T,t), et D(t) est solution de l'quation de Riccati ci-dessus sur
IR"'. De plus pour tout T > 0 on a D(T) = -E(T,O), et comme la matrice
West symtrique dfinie positive on dduit du lemme 4.5 que D (T) est
symtrique dfinie positive.
Par ailleurs on a, pour tout T > 0, C(T,u) = Xa T D(T)xo. Il est clair que si
o < t1 ! t2 alors C(t l1U) ! C(t2,U), et donc Xa T D (t, )xo ! xa T D (t2)Xa. Ceci
est en fait indpendant de Xa, car l'quation de Riccati ne dpend nullement
de la donne initiale. Ains pour tout x E ]Rn la fonction t x T D(t)x est
croissante.
Montrons qu'elle est galement majore. Le systme tant contrlable,
l'argument de la remarque 4.5 montre qu'il existe au moins un contrle v
sur [0, + oo[ de cot fini. Comme le contrle u est optimat on en dduit que
la fonction t C(t,u) est majore (par C(v.
Pour tout x E IR
n
la fonction t X T D(t)x tant croissante et majore,
on en dduit qu'elle converge. En appliquant cette conclusio,n aux lments
d'une base (e i ) de IR
n
, on en dduit que chaque lment d ij (t) de la matrice
D(t) converge, car en effet
Ainsi la matrice D(t) converge vers une matrice -E, qui est ncessairement
symtrique dfinie ngative la croissance de la fonction
t \--i> xTD(t)x.
! Thorie linaire-quadratique
Par ailleurs de l'quation diffrentielle vrifie par D, on dduit que D(t)
converge. et cette Iimte est alors ncessairement nulle. En passant la li-
mite dans cette quation diffrentielle on obtient finalement l'quation de
Rccati stationnaire (4.26).
Enfin, en passant la limite on a C(u) = -Xo T Exo. d'o on dduit aisment
l'unicit de la solution. 0
Pour montrer la deuxime partie du thorme, il suffit de voir que la fonc-
tion V(x) = -x TEx est une fonction de Lyapunov pour le systme boucl
x = (A + BU-
1
BTE)x. La forme quadratique V est bien dfinie positive puisque E
est symtrique dfinie ngative. Par ailleurs on calcule facilement le long d'une tra-
jectoire x(t) solution du systme boucl
:t V(x(t)) = _X(t)T (W+EBU-
1
B
T
E)X(t).
Or la matrce West par hypothse dfinie positive, et la matrice E B U-
1
B T E est po-
sitive, donc cette quantit est strictement ngative s x(t) =f=. O. On a donc bien une
fonction de Lyapunov stricte, ce qui prouve que le systme boucl est asymptoti-
quement stable. 0
Renwrqlle 4.2.1. Le contrle optimal s'crit sous forme de boucle ferme
Il = K x, avec K = U 1 B TE. On retrouve le fait que si le systme est
contrlable alors il est stablisable par feedback linaire (voir le thorme
13.34 de placement de ples). Cependant, alors que la mthode de stabilisa-
tion dcrite par le thorme 13.34 consiste raliser un placement de ples, ici
la matrice K est chOisie de manire minimiser un certain critre. On parle
de stabilisation par retour d'tat optimal. C'est donc une mthode (parmi
beaucoup d'autres) de stabilisation.
Remarque 4.22. En gnral l'quation (4.26) admet plusieurs solutions, mais
elle n'admet qu'une seule solution symtrique dfinie ngative.
Exemple 4.7. Considrons le systme scalaire x = -x + u,x(O) = Xo et le cot
C(u) = r ' ~ ' (X(t)2 + u(t)2)dt. L'quation de Riccati stationnaire est -2E + El = l,
./0
et conduit E = 1 - J < O. d'o la trajectoire optimale
u ( t) = (1 - J)x (t), x ( t) = x 0 e - J t
Exemple 4.8. On considre le systme contrl
x x + y + U1\ x(O) = 1,
Y = x - y + u 2, y (0) = 1.
On dsire stabiliser la solution de ce systme vers I/origine, en minimisant le cot
C(u) = r= (x(t)2 + y(t)l + ul (t)2 U2(t)2)dt .
.Jo
'c([i,,- l Applications de la thorie LQ 75
Pour cela, crivons l'quation de Riccati stationnaire, avec les matrices
En posant
on arrive au systme d'quations
2a + 2c + + c
2
l,
2c - 2b + c
2
+ b
2
1,
a + b + ae + cb O.
En particulier la troisime quation conduit
(a +b)(l +c) 0,
et par consquent a -b ou e = -1. Si a = -b, les valeurs propres de la ma-
trice E sont alors via 2 + c
2
, ce qui est exclu puisque la matrice E dOt tre dfinie
ngative. Par consquent c = -1, et on trouve alors
a = -1 J3, b = 1 J3.
Parmi ces 4 possibilits, la seule faon d'obtenir une matrice E dfinie ngative est
de prendre a = -1 J3 et b = 1 - J3. Donc finalement
(
-1 - J3 -1 )
E = -1 1 - J3 '
et le systme boucl est alors
x = -J3x, x(O) = 1,
Y = -J3y, y(O) 1.
Exercice 4.11. On considre le systme contrl:
x + x = u, x{O) = 0, x(O) = 1.
1. Quel est le comportement de la solution en l'absence de contrle?
2. On dsire stabiliser la solution de ce systme vers l'origine par la mthode de Riccati
stationnaire, en minimisant le cot
a. Montrer que la solution de l'quation de Riccati stationnaire est
E=(-nV'2 1 fi).
1 - fi -0;
76 .. ! Thorie linaire-quadratique
o 0: = V2y'2 - 1.
b. Donner l'expression du contrle optimal.
c. Montrer que la solution du systme boucl est
()
2 -.!! t f3
x t ="j3e 2 sin '2t,
o f3 = V2y'2 + 1.
d. Commenter brivement les rsultats et la mthode.
Exercice 4.12. Montrer que la solution de ['quation de Riccati stationnare pour le
problme LQ
est la matrice
_ (-/3 -1)
E - r; .
-1 -y3
Exercice 4.13. Rsoudre le problme LQ
. .
x = y + Ul1 Y = U2,
Exercice 4.14. Dterminer la solution de x = -x + u minimisant le cot
avec 0: > O. Que se passe-t-il lorsque 0: -t +00 ?
Solution numrique de l'quation de Riccati stationnaire. On peut calculer
numriquement la solution de l'quation de Riccati algbrique (4.26) en employant
une mthode de Schur (vor [47],[48]). Ceci est implment en Matlab dans la fonc-
tion lqr.m (voir aussi care.m).
Ci-dessous, voici un exemple d'utilisation de lqr, en reprenant l'exemple 4.5.
function riccati2
% Systeme dx/dt=y, dy/dt=z, dz/dt=u
% min int_OAT (x
A
2+yA2+ZA2+u
A
2l
cIe ; clear aIl ;
global A B W invU
% Systeme
A = ( 010
001
000
f>H ! ....I i Applications de la thorie LQ 77
78
B 0
o
1 ]
% Matrices de ponderation
W eye (3) ;
U : 1 invU = inv(U} i
range [ a : O. Dl : 10 ] i
% Utilisation de lqr
global K ;
[K,S,e] = lqr(A,B,W,U)
:xinit [1; 2 i 3 ] ;
[t,X] ode45(@systriccati,range,xinit)
plot (t,X(: ,1 i
%---- ----
function dXdt systriccati(t,X)
global K ; u = -K*X i
dXdt = [ X(2}
X(3)
u
Le rsultat est trac sur la figure 4.2.
1 ! Thorie linaire-quadratique
Figure 4.2 .
PARTIE 2
Thorie du contrle
optimal n n linaire
L'objectif de cette partie est de prsenter des techniques d'analyse de problmes de
contrle optimal non linaires. On prsente notamment le principe du maximum de
Pontryagin et la thorie d'Hamilton-Jacobi. Un chapitre est consacr aux mthodes
numriques en contrle optimal.
D'un point de vue global, un problme de contrle optimal se formule sur une varit
M, mais notre point de vue est local et on travaille sur un ouvert V petit de R
'l
La
problmatique gnrale du contrle optimal est la suivante. Considrons un systme
de contrle gnral
= ((t,x(t),u(t)), x(to) Xo, (4.27)
o f est une application de classe ct de l x V x U dans R/l ,lest un intervalle de
lR., V ouvert de Rtl , U un ou vert de lR.
1Il
, (t o,x 0) EIx V. Par ailleurs on suppose
que les contrles u ( . ) appartiennent un sous-ensemble de L c (I,R
IH
).
Ces hypothses assurent, pour tout contrle u, l'existence et l'unicit sur d'une so-
lution maximale x Il (t) sur un intervalle] Cl, du problme de Cauchy (4.27) (voir
section 11.3 en annexe).
Par commodit d'criture on suppose dans toute la suite que to O.
Pour tout contrle li E L c (I,IR
17l
), la trajectoire associe x Il ( . ) est dfinie sur un
intervalle maximal [D,te (u)[, o te (u) E lR+ U {+oo}. Par exemple si tl! (u) < +00
alors la trajectoire explose en te (u) (thorme d'chappement, ou d'explosion).
Pour tout T > 0, TEl, on note UT l'ensemble des contrles admissibles sur
[0, T], c'est--dire l'ensemble des contrles tels que la trajectoire associe soit bien
dfinie sur [O,T], autrement dt T < te(u).
Soient f une fonction de classe Cl sur l x V X U, et g une fonction continue sur
V. Pour tout contrle Il E UT on dfinit le cot de la trajectoire associe x Il ( ) sur
l'intervalle [0, T]
C(T,u) foT +g(T,x,,(T)). (4.28)
Soient Mo et M 1 deux sous-ensembles de V. Le problme de contrle optimal est
de dterminer les trajectoires x Il ( ) solutions de
;Il(t) = {(t,Xli (t),u(t)),
telles que XfI (0) E Mo, X
tt
(T) E M b et minimisant le cot C(T,u). On dit que le
problme de contrle optimal est temps final non fix si le temps final T est libre,
sinon on parle de problme temps final fix.
80 C hi1[liru
o
J 1 Thorie linaire-quadratique
CHAPITRE 5
Dfinitions et prliminaires
Un problme de contrle optimal se dcompose en deux parties: pour dterminer
une trajectoire optimale joignant un ensemble initial une cible, il faut d'abord
savoir si cette cible est atteignable. C'est le problme de contrlabilit. Ensuite, une
fois ce problme rsolu, il faut chercher parmi toutes ces trajectoires possibles celles
qui le font en cot minimal.
Dans ce chapitre nous tudions le problme de contrlabilit et rappelons quelques
faits.
1. Dfinition
PARTIE 1
Application entre-sortie
Considrons pour le systme (4.27) le problme de contrle suivant: tant donn un
point xIE R
11
, trouver un temps T et un contrle Il sur [0, T] tel que la trajectoire
x 11 associe li, solution de (4.27), vrifie
x
1l
(0) =Xo, .\II(T) =Xl-
Ceci conduit la dfinition suivante.
Dfinition 5.1 $ Soit T > O. L'application entre-sortie en temps T du
systme contrl (4.27) initialis .\o est l'application
ET : U
li 1----+ X JI (T)
o U est l'ensemble des contrles admissibles, i.e. l'ensembJe de contrles
Il tels que la trajectoire associe est bien sur 10, TI.
i Application entre-sortie 81
82
Autrement dit, l'application entre-sortie en temps T associe un contrle tI le point
final de la trajectoire associe Il. Une question importante en thorie du contrle
est d'tudier cette application en dcrivant son image, ses singularits, etc.
2. Rgularit de l'application entre-sortie
La rgularit de ET dpend bien entendu de
systme.
de dpart et de la forme du
Pour un systme gnral
En toute gnralit on a le rsultat suivant (voir par exemple 1:12.1,[40],[61]).
Proposition 5.11 l'i Considrons le (4.27) o r est CIl ~ P ~ 1,
et soitU C L
X
([O,TI,JR
1Jl
) le domaine de dfinition de E T ~ c'est--dire
l'ensemble des contrles dont la trajectoire associe est bien dfinie sur
[0, T]. Alors U est un ouvert de L(lO, T],lR
lII
), et ET est C" au sens L:>O.
De plus la diffrentielle (au sens de Frchet) de ET en un point u E U est
donne par le systme linaris en Il de la manire suivante. Posons, pour
tout t E [0, T],
ar
-a (t,xu(t),u(t)).
Il
A (t)
Le systme de contrle linaire
)1 Il (t) = A (t ) Y l' (t ) + B ( t ) v (t )
Yu(O)=O
est appel s)'stme linars le long de la trajectoire XU' La diffrentielle
de Frchet de en 11 est alors l'application dET(lI) telle que, pour tout
v E L,J:.j([O,TJ,lPl.
nt
),
dET(ll).V
)' fi (T) = M (T) l T lvr- 1 (s ) B (s ) v (s ) d s
Jo
(5.1)
o M est la rsolvante du systme linaris, i.e. la solution matricielle de
l'V! = AM, M (0) Id.
l Dfinitions et prlimnaires
Preuve. Pour la dmonstration du fait que U est ouvert, voir [61],[68],[69]. Par h y ~
pothse u( . ) et sa trajectoire associe x( . ,xo,u) sont dfinis sur [0, T]. l'ensemble
des contrles tant les applications mesurables et bornes muni de la norme L ':::C,
l'application ET est de classe CP sur un voisinage de u ( . ) en vertu des thormes
de dpendance par rapport un paramtre. Exprimons sa diffrentielle au sens de
Frchet. Soit v( . ) un contrle fix, on note x( . ) + c5x( . ) la trajectoire associe
u ( . ) + v ( . ), ssue en t = 0 de x o. Par un dveloppement de Taylor, on obtient
d
dt (x + Jx)(t) f(t,x(t) + 6x(t),u(t) + v(t))
f(t,x(t),u(t) + z: (t,x(t),u(t))6x(t) + EJf (t,x(t),u(t))v(t)
D2f _
DxDu (t,x(t),u(t))()x(t),v(t)) + ...
Par ailleurs, x(t) f(t,x(t),u (t, donc
Dt Df
= Dx (t,x(t),u(t)r5x(t) + ou (t,x(t),u(tv(t)
En crvant Jx 6
1
x + 6
2
x + ... o 6
1
x est la partie linaire en v, la partie
quadratique, etc, et en identifiant. il vient
of Dt
!:) (t,x(t ),u (t) )r5,x(t) + 7)( t,x(t),u (t) )v(t) A(t)8
1
x(t)+8(t )v(t).
ux vU
Or x(O)+Jx(O) Xa = x(O), donc6x(O) = 0 et la condition initiale de cette quation
diffrentielle est 6,x(O) O. En intgrant, on obtient
6
1
x(T) = M(T) .foT M-'(s)B(s)v(s)ds
o M est la rsolvante du systme homogne dd (8,x)(t) ~ t (t,x(t),U(t1x(t),
t ox
c'est--dire M(t) = A(t)M(t) avec A(t) = Z: (t,x(t),u(t) et M(O) ln. On ob-
serve que t5
1
x(T) est linaire et continu par rapport v( . ) en topologie L oc. C'est
donc la diffrentielle de Frchet en u ( . ) de ET' 0
Remarque 5.1. En gnral ET 11 'est pas dfinie sur L'X! ([0, Tl:1R11l ) tout entier
cause de phnomnes d'explosion. Par exemple si on considre le systme
scalaire; x 2 + Il:X (0) = 0, on voit que pour 11 1 la traectoire associe
t t
explose en t = 2' et donc n'est pas dfinie sur [D, T] si T ~ 2'
", : i Application entre-sortie 83
84
Pour un systme affine
Dfinition 5.2 iii On appelle systme affine contrl un systme de la forme
1IJ
; (t ) f 0 (x (t )) + I: li i (t ) fi (X (t ) ),
i=l
o les fi sont des champs de vecteurs de lR" .
Pour un systme affine on peut amliorer le rsultat prcdent (voir [61],l681,[69.J).
Proposition 5.12 ~ Considrons un systme affine lisse, et soit U le do-
maine de dfinition de ET Alors U est un ouvert de L 2 ([Ol T])f!1.t1I), et
l'application entre-sortie ET est lisse au sens L 2, et est analytique si les
champs de vecteurs sont analytiques.
Il est trs intressant de considrer L 2 comme espace de contrles. En effet dans cet
espace on bnficie d'une srructure hilbertienne qui permet de faire une thorie spec-
trale de l'application entre-sortie, et on bnficie d'autre part de bonnes proprits
de compacit faible (voir [681,[ 69]).
PARTIE Il
Contrlabilit
On veut rpondre la queston suivante: tant donn le systme (4.27), o peut-on
aller en temps T en faisant varier le contrle li ? On est tout d'abord amen dfinir
la notion d'ensemble accessible.
1. Ensemble accessible
Dfinition 5.3" L'ensemble accessible en temps T pour le systme (4.27),
not A cc (x 0, T), est l'ensemble des extrmits au temps T des solutions
du sysrme partant de x 0 au temps t O. Autrement dit, c'est l'image de
l'application entre-sortie en temps T.
Dfinitions et prliminaires
Thorme 5.14 CI Considrons le systme de contrle
; = f(t,x,U), x (0) = XO,
o la fonction f est Cl sur IR
1
+11 +111 , et les contrles li appartiennent
l'ensemble U des fonctons mesurables valeurs dans un compact
a c ffi.11I. On suppose que
- il existe un rel positif b tel que toute trajectoire associe est uni-
formment borne par b sur [0, T], i.e.
::lb > 0 i Vu EU Vt E [O,T] Uxll(t)11 h, (5.2)
pour tout (t,x), l'ensemble des vecteurs vitesses
V(t,x) = {f(t,X,ll) 1 U E a} (5.3)
est convexe.
Alors l'ensemble Acc(xo,t) est compact et varie continment en t sur
[O,T].
Preuve. Notons tout d'abord que puisque n est compact alors V(t,x) est galement
compact. Montrons la compacit de Acc(xo,t). Cela revient montrer que toute
suite (x
n
) de points de Acc(xo, t) admet une sous-suite convergente. Pour tout en-
tier n soit Un un contrle reliant Xo X
n
en temps t , et soit X
n
( . ) la trajectoire
correspondante. On a donc
X
n
X
n
(t) = Xo + fot f(s,x
n
(s),u
n
(s))ds.
Posons, pour tout entier n et tout sElO, t],
La suite de fonctions (gn (-))nEN est d'aprs les hypothses borne dans L OO([(), t1IR.
n
),
et par consquent sous-suite prs elle converge vers une fonction g(5) pour la
topologie faible-* de L OO([(}, t1Jlll.n). Posons alors, pour tout 7" E [(), t],
X(T) = Xo + foT g(s)ds,
ce qui construit une fonction x( . ) absolument continue sur I(},t]. De plus on a, pour
touts E [(},t1.
lim x
n
(s) =
n-..+oo
i.e. la suite de fonctions (x
n
( . ))nEN converge simplement vers x( . ). Le but est de
montrer que la trajectoire x( . ) est associe un contrle u valeurs dans n, ce qui
revient montrer que pour presque tout s E [(), t] on a 9 (s) = f(s,x (s ),u (s)).
li 1 Contrlabilt 85
Pour cela, dfinissons, pour tout entier n et tout s E [Olt},
et introduisons l'ensemble
de sorte que h
n
E V pour tout entier n. Pour tout (t,x) l'ensemble V(t,x) est
compact convexe, et par consquent V est convexe ferm dans L <:lC([D,t1IR
n
) muni
de sa topologie standard (topologie dite forte). Donc il est galement ferm dans
L CO ([D, t1lR
n
) muni de la topologie faible-* (voir [18]). Or, similairement (gn), la
suite de fonctions (h
n
) est borne dans Loo, et donc sous-suite prs converge en
topologie faible-* vers une fonction h, qui appartient ncessairement V puisque
ce sous-ensemble est ferm faible-*.
Enfin, montrons que 9 = h presque partout. Pour cela, crivons, pour toute fonction
r.p E L 1 ([o,tllR.),
(5.4)
D'aprs les hypothses, la fonction f est globalement lipschitzienne en x sur
[0, TI x B(D,b) x n, et donc d'aprs le thorme des accroissements finis, il existe
une constante C > 0 telle que pour presque tout s E [0, t]
La suite de fonctions (x
n
) converge simplement vers x( . ), donc d'aprs le thorme
de convergence domine
Finalement en passant la limite dans (5.4), il vient
i
t
r.p(s)g(s)ds = i
t
r.p(s)h(s)ds,
pour toute fonction r.p E L 1 ([o,t1lR), et par consquent 9 = h presque partout sur
[o,t].
En particulier 9 E V, et donc pour presque touts E [D,t] il existe u(s) E n tel que
g(5) = f(s,x(s),u(s)).
En appliquant un lemme de slection mesurable de thorie de la mesure, on peut
montrer que l'application u ( . ) peut tre choisie mesurable sur [0, Tl (voir {49], Lem.
2A, 3A p. 161).
Ainsi, la trajectoire x(.) est associe sur [D,t] au contrle u valeurs dans n, etx(t)
est la limite des points X
n
Ceci montre la compacit de Acc(xo,t).
86 J 1 Dfinitions et prliminaires
Il reste tablir la continuit par rapport t de l'ensemble accessible. Soient t1,t2
deux rels tels que 0 < t, < tz ::;; T, et X2. un point de AcC(Xo,t2)' Par dfinition il
existe un contrle u valeurs dans n, de trajectoire associe x( . ), tel que
X2 X(t2) = Xo + (2 f(t,x(t),u(t))dt .
.Jo
Il est bien clair que le point
i

t,
x, = x(t,) = Xo -1- f(t,x(t),u(t))dt
0
appartient Acc(xo,t
1
), et de plus d'aprs les hypothses sur f on a
On conclut alors facilement. o
Remarque 5.2. L'hypothse (5.2) est indispensable) elle n'est pas une
consquence des autres hypothses. En effet considrons de nouveau le
systme de la remarque 5.1, i.e. ;;. = x
2
+ u,x(O) 0, o on suppose que
lu 1 ~ 1 et que le temps final est T = ~ . Alors pour tout contrle li constant
gal c, avec < c < 1, la trajectoire associe est Xc (t) = Jc tan vfct,
donc est bien dfinie sur [0, T], mais lorsque c tend vers 1 alors XC (T) tend
vers +00. Par ailleurs il est facile de voir que sur cet exemple l'ensemble des
contrles admissibles, valeurs dans [ - 1) 1], est l'ensemble des fonctions
mesurables telles que u(t) E [ 1,1[.
Remarque 5.3. De mme, l'hypothse de convexit (5.3) est ncessaire (voir
[49 J, exemple 2 page 244).
2. Rsultats de contrlabilit
Dfintiol1 5.4 0 Le systme (4.27) est dt contrlable (en temps quel-
conque) depuis x 0 si
lR'l U Acc(xo,T).
T ~ O
Il est dit contrlable en temps T si JR;." = A cc (xo
1
T).
Par des arguments du type thorme des fonctions implicites, l'tude de la
contrlabilit du systme linaris (qui est plus simple), permet de dduire des
rsultats de contrlabilit locale du systme de dpart (voir [121,[49]). Par exemple
on dduit du thorme de contrlabilit dans le cas linaire la proposition suivante.
1 Contrlabilit 87
88
Proposition 5.13 li Considrons le systme (4.27) o f(xo,uo) = O. No-
tons A aa
f
(xo,uo) et B = aa
f
(xo,uo). On suppose que
x ll
Alors le systme est localement contrlable en xo.
Exemple 5.9. Pendule invers
Figure 5.1. Pendule gyroscopique invers (ONERA)
(voir la page web http://www.onera-fr/dcsd/gyrodynesl)
figure 5.2. Pendule invers
1 Dfinitions et prliminaires
Considrons un pendule invers, de masse m, fix un charot de masse M, dont
on contrle l'acclration u(t) {voir figure 5.2}.
Ecrivons les quations du mouvement en utilisant les quations d'Euler-Lagrange.
L'nergie cntique et l'nergie potentielle sont
1 . 2 1 '2 '-2
Ec +
m
(2 + (,2)j Ep mg(2'
Par ailleurs, on a (2 1 cos li et 6 = t, + 1 sin O. Donc le Lagrangien du systme est
1 '2 ,. 1 2'2
L = Ec - Ep = 2(M + m)t: + mlt:O cos f) + ml li - mgl cos8.
D'aprs les quations d'Euler-Lagrange,
on obtient
d'o
d DL
ax
aL
ex + F
extl
{
(M + + mliP sinO = u,
mIE, cos () + m 1
2
0 mg 1 si n 0 = 0)
(
.. m I(P sin () cos 0 sin e + u
t: = ---------"'-----::-----.
M+m
.. -mliP'sinf}cosO+ +m sinO ucosO
0=--------'-----=-:..;;::.......-----
M+m
On tablit facilement que le systme linaris au point d'quilibre (e = t:c, 0,
o = 0, iJ O) est donn par les matrices
o
o 0 _mg
M
[
0 1
A = 0 0 0
o 0 (M +m)g
lM
On vrifie aisment la condition de Kalman, ce qui tablit que le pendule invers
est localement contrlable en ce point d'quilibre (instable).
Le thorme de Chow relie la contrlabilit des proprits de crochets de Lie
du systme. On a par exemple la consquence suivante sur les systmes dits SOIlS-
Rieman11ens.
Proposition 5,14 t/ Considrons dans 1Ft" le systme sous-Riemannien lisse
111
; = LU;(i(X), x(O) Xo.
;=1
On suppose que l'algbre de Lie engendre par les champs de vecteurs fi
est de dimension 11. Alors le systme est contrlable.
!l 1 Contrlabilit 89
90
Preuve. Pour simplifier, faisons la dmonstration dans le cas m = 2 et n 3. On
suppose querg(f'/2,[f'/2])(X) = 3, 'Ix E SoiL\ E IPL On considre l'application
'l' : (t"t2,t3) (exp Af
1
exp t3f2 exp ,,v,) (exp t2f2)(exp t
l
f,)(xo).
On a ip,\(O) = xo. Montrons que pour ... \ =F 0 assez petit, '1',\ est une immersion en O.
En utilisant la formule de Campbell-Hausdorff, on obtient
'P.\(tl,t2,t
3
) exp(t
1
f, + (t2 + t3)f
2
+ ,\t3[f
1
,f2] + ... ),
d'o
(0) = f, (xo), (0) = f 2 (xo), (0) f 2 (xo) + ,1\ [f 1"2](XO ) + 0('\).
Par hypothse, les champs de vecteurs f
h
f
l
, [f" fll sont linairement indpendants,
donc la jacobienne de IP.\ est de rang 3 en O. Le thorme d'inversion locale et un
argument de connexit nous permettent de conclure. 0
Remarqlle 5.4. En gnral, le problme de contrlabilit est difficile. Il est li
la question de savoir quand un opre transitivement. Il existe
cependant des techniques pour montrer, dans certains cas, la contrlabilit
globale. L'une d'entre elles, importante, s'appelle la technique dJlargissement
(voir r12],[40]).
1. Dfinition
PARTIE III
Contrles singuliers
Dfinition 5.5 Soit 11 un contrle dfini sur rO, T] tel que sa trajectoire
associe x 1/ issue de x (0) = x 0 est dfinie sur [0, Tl- On dit que le con trle
lt (ou la trajectoire x Il) est singulier sur rO, T] si la diffrentielle de Frchet
dE T (u) de l'application entre-sortie au point Il n'est pas surjective. Si-
non on dit qu'il est rgulier.
Proposition 5.15 <) Soient x 0 et T Si 11 est un contrle rgulier, alors
ET est ouverte dans un voisinage de 11
Preuve. Par hypothse, il exste n contrles Vi tels que dE T(U ),Vi ei o (e h ... ,e
n
)
est la base canonque de . On considre l'application
n
(/\" ... '''\n ) E !Rn j-: E r(U + 2: ,,\jV;).
i=l
i Dfinitions et prliminaires
Par construction, c'est un diffomorphisme local, et le rsultat s'ensuit. 0
Autrement dit en un point x 1 atteignable en temps T depuis x () par une trajectoire
rgulire x( . ), l'ensemble accessible Acc(xo,T) est localement Dl/Vert, i.e. est un
voisinage du point x 1_ En particulier cela implique que le systme est localement
contrlable autour du point XI. On parle aussi de contrlabilit le long de hl tra-
jectoire x ( . ). On obtient ainsi la proposition suivante.
Proposition 5.16 e Si li est un contrle rgulier sur [0, TI, alors le systme
est localement contrlable le long de la trajectoire associe ce contrle.
Le corollaire suivant est immdiat.
Corollaire 5.4 Q Soit Il un contrle dfini sur [0, T] tel que sa trajectoire
associe x u issue de x (0) x 0 est dfinie sur [0, T] et vrifie au temps T
x (T) E aA cc (xo, T).
Alors le contrle Il est singulier sur [0, T].
Remarque 5.5. Le systme peut tre localement contrlable le long d'une tra-
jectoire singulire. C'est le cas du systme scalaire; = li
J
, o le contrle
li est singulier.
2. Caractrisation hamiltonienne des contrles singuliers
Montrons qu'une trajectoire singulire peut se paramtrer comme la projection
d'une solution d'un systme hamiltonien contrant. Considrons de nouveau le
systme de contrle gnral
; (t) = f ( t, x (t ), Il ( t ) ), (5.5)
o f est une application de classe Cl de JRl+ll+m dans]Rll_
Dfinition 5.6 il Le HL1111i1toIlell du systme (5.5) est la fonction
H : JR X iR;.11 X (IR" \ {O}) x 1Pl
111
-: lR
(t:X:p,li) l---+ H(t,xjJ,II) = (pJ(t:X,ll))
o (, ) est le produit scalaire usuel de IR" .
Remarque 5.6. Il est souvent commode de considrer p comme un vecteur
ligne, et alors avec des notations matricielles on peut crire
H (t,x,I), lL) = P f( t,X,lI).
Contrles singuliers 91
Nous ferons toujours par la suite cette confusion, et le vecteur adjoint sera
tantt un vecteur ligne, tantt un vecteur colonne, pour allger les notations.
Nous laissons au lecteur le soin de s'accommoder de cette volontaire am-
bigut.
Proposition 5.17 ~ Soit Il un contrle singulier sur [0, T] pour le systme
de contrle (5.5), et soit x ( . ) la trajectoire singulire associe. Alors il
existe une application absolument continue p : [0, T] ---;. .!R
1I
\ {O},
appele vecteur adjoint, telle que les quations suivantes sont vrifies
pour presque tout t E [0, Tl
. aH
x(t) = ap (t,x(t),p(t),u(t)), (5.6)
aH
( t ,x (t ), p (t ), li ( t ) ), (5.7)
aH
-a (t,x (t ),p (t ),u (t)) = 0,
li
(5.8)
o H est le hamiltonien du systme.
L'quation (5.8) est appele quation de contrainte.
Preuve. Par dfinition, le couple (x,u) est singulier sur {D, T] si dE T (u) n'est pas sur-
jective. Donc il existe un vecteur ligne/l-' E :!Rn \ {O} tel que pour tout contrle v
dans LX' on ait
Par consquent
'/jJ.dET(u).v = ' ~ J fT M(T)M-'(s)B(s)v(s)ds = 0
Jo
41M(T)M-
1
(s)8(s) 0 p.p. sur [O,T].
On pose p (t) l/'M(T)M-
1
(t) pourtout t E [0, T]. C'est un vecteur ligne de IR
n
\ {O},
et p (T) =1/). On a par drivation
. af
p(t) = -p(t) ox (t,x(t),u(t)).
En introduisant le Hamiltonen H(t,x,p,u) pf(t,x,u), on obtient
aH
f (t,x (t ): u (t )) = "7:) (t,x ( t ),p (t), u ( t ) ),
op
et
af .
-p(t) ox (t,x(t),u(t))
aH
- ox (t,x(t),p(t),u(t)).
La dernire relation vient de p(t)8(t)
af
o car B(t) = ou (t,x(t),u(t)).
92 ( '_ j Dfinitions et prliminaires
o
Remarque 5.7. Interprtation gomtrique du vecteur adjoint
Si lt est un contrle singulier sur [0
1
TI alors 11 est aussi singulier sur [O,t]
pour tout t E Jo, Tl, et de plus p (t) est orthogonal l'mage de l'application
linaire dE t (u ). En particulier lm dE t (li) est un sous-espace de]R" de codi-
mension suprieure ou gale 1.
En effet, on a pour tout contrle v E L ,"X.) ([O,t ],IR.
1IJ
)
p(t)dEt{u).v = p(t)M(t) ( M(s)-lB(s)v(s)ds,
.la
or p(t) = '1/)Atf(T)Atl(t)-I, d'o en prolongeant v(s) par 0 sur :lt,T],
p(t)dEt(ll).V = 'IjJM(T) fT M(s)-lB(s)v(s)ds ,tjJdET(U),V = O.
Jo
Remarqlle 5.8. La proposition 5.17 et les remarques prcdentes sont les
prmisses du principe du maximum de Pontryagin.
3. Calcul des contrles singuliers
Considrons un point (to,x o,P o,t{ 0) appartenant l'ensemble des contraintes
E = {(t,x,P,U) ER x x RU \ {O} x R'" 1 :: (t,x,p,u) = o}.
Si la Hessienne ((/2:) est inversible en ce point, alors d'aprs le thorme
li j II i i';'
des fonctions implicites le contrle singulier peut se calculer comme une fonction de
(t,x,p) au voisinage (to,xo,Po).
Exercice 5.15. Calculer les contrles singuliers du systme
Si le Hamiltonien est linaire en le contrle, la mthode consiste driver par rapport
t la contrante (5.8). Considrons par exemple un systme affine mono-entre lisse
x = fo(x) + ttfdx).
Il convient d'utiliser le formalisme Hamiltonien. Posons hi (x,p) = (Pli (X)),
0,1, et z (t) = (x (t ),p (t)). En drivant deux fois la contrainte on obtient
{ {h 11 ho} l h 0 }( z ( t )) + Il ( t ){ {h h ho}, h 1 }( Z ( t )) = 0,
o {, } dsigne le crochet de Poisson, et on en dduit donc le contrle singulier
pourvu que {{h bhO },h l}(Z (t)) ne s'annule pas (voir [15] pour plus de dtails).
li: ! Contrles singuliers 93
94
CHAPITRE 6
Contrle optimal
PARTIE 1
Prsentation du problme
en plus d'un problme de on se donne un problme de mi-
nimisation : parmi toutes les solutions du systme (4.27) reliant Xo x h trouver
une trajectoire qui minimise une certaine fonction cot C(T,u). Une telle trajec-
si elle existe, est dite optimale pour ce cot. L'existence de trajectoires opti-
males dpend de la rgularit du systme et du cot (pOUf un nonc gnral, voir
[12],[40],[49]). Il se peut aussi qu'un contrle optimal n'existe pas dans la classe
de contrles considrs, mais existe dans un espace plus gros: c'est le phnomne
de Lavrentiev (voir [59]). En particulier on a intrt travailler dans un espace de
contrles complet et qui ait de bonnes proprits de compacit: voil pourquoi
nouveau l'espace L 2 est intressant.
PARTIE Il
Existence de trajectoires optimales
1. Pour des systmes gnraux
Thorme 6.15 $ Considrons le systme de contrle
; (t) {(t,x (t ),u (t)),
o { est Cl de IR
l
+11 +111 dans]RtI, les contrles li sont valeurs dans un
compact n c ]RfJ/ , et o ventuellement on a des contraintes sur l'tat
! Contrle optimal
o Ch' .. Cr sont des fonctions continues sur IR." . Soient NIo et Ml deux
compacts de R
1I
tels que Ml est accessible depuis .!vIo. Soit U l'ensemble
des contrles valeurs dans Q joignant Mo Ml' Soient f une fonction
de Cl sur JR.l +11 +m ,et g une fonction continue sur IR./(. On considre
le cot
((Il)
C(u) = Jo f(ttx(t),u(t))dt +g(t(u),x(t(u))),
O t(ll) ;:: 0 est tel que x (t(Il)) E MI- On suppose que
- il existe un rel positif b tel que toute trajectoire associe un
contrle li E U est uniformment borne par b sur [O,t (li)], i.e.
3b > 0 1 Vu EU Vt E [O,t(u).1 IIx
ll
(t)1I b, (6.1)
pour tout (t,x) E , l'ensemble des vecteurs vitesse
V(t,x) = {(f(t,x,u)J(t,x,u)) lu E O} (6.2)
est convexe.
Alors il existe un contrle optimal li sur [0,( (Il)] tel que la trajectoire
associe joint Mo Ml en temps t(u) et en cot minimal.
Bien entendu pour un problme de contrle optimal temps final fix on impose
t (1l ) T (et en particulier on suppose que la cible M 1 est accessible depuis Moen
temps T).
Preuve. La preuve est strictement semblable celle du thorme 5.14, il sufft de
raisonner sur le systme augment
x(t) = f(t,x(t),u(t)),
XO(t) = fO(t,x(t),u(t)),
en considrant une suite minimisante (xn( . ),u
n
( . )). La prise en compte de
contraintes sur ,'tat ne pose aucun problme. 0
Renwrque 6.1. On peut montrer un rsultat plus gnral o l'ensemble de
dpart Mo et la cible Ml dpendent du temps t, ainsi que le domaine des
contraintes n sur le contrle (voir [49]).
2. Pour des systmes affines
On a pour les systmes affines le rsultat suivant.
1 Existence de trajectoires optimales 95
96
Proposition 6.18 0 Considrons le systme affine dans ]Rn
- ~ = f 0 (x ) + Lili fi (x ) , X (0) = X 0, X (T) = Xl, ( 6.3 )
i=1
avec le cot
(6.4)
o T > 0 est fx et la classe U des contrles admissibles est le sous-
ensemble de L 1 ([D, T.I,]Rt1l ) tel que
- Vu EUx fi est bien dfinie sur [0, T].
- 3B
T
1 \/u EU \/t E [O,T] IIxu(t)11 ~ BT
Si x 1 est accessible depus Xo en temps T, alors il existe un contrle opti-
mal reliant Xo x L.
Preuve. Considrons une suite de contrles (u in) (t))n EN transfrant x 0 en X" telle
que leur cot tend vers la borne infrieure des cots des contrles reliant Xo x,.
SOt x(n) la trajectoire associe au contrle u (n), i.e.
Les u}n) sont borns dans L 1([0, TliR
m
), et par compacit faible,
Il est par ailleurs facile de voir que la suite ;(n,,) est borne dans L.2 ([0, T],IR
n
), et par
consquent x(nk) est borne dans H' ([0, T1m;n), et par rflexivit,
C (n ) uniformment _ .
Or H' o:c-.;. CO , donc x kp x sur [0, T]. On conclut alors alsement par
passage la limite que
x(t) = Xc + l' (fO(X(t)) + ~ Vi (t)fi(X(t))) dt
et que x(T) = Xl-
i Controle optimal
o
CHAPITRE 7
Principe
du maximlJm de Pontryagin
Dans cette section on donne une version gnrale du principe du maximum de Pon-
tryagin, Ce thorme est difficile dmontrer. En revanche lorsqu'il n'y a pas de
contrainte sur le contrle, la preuve est simple, et on arrive au principe du maximum
dit faible. C'est cette version plus simple que nous allons d'abord nous intresser.
Puis nous passerons au cas gnral.
PARTIE 1
Cas sans contrainte sur le contrle:
principe du maximum faible
1. Le problme de Lagrange
Ce problme simplifi est le suivant. On cherche des conditions ncessaires
d'optimalit pour le systme
;(t) = f(t,x(t),u(t)), (7.1)
o les contrles 11 ( ) E U sont dfinis sur [0, T] et les trajectoires associes doivent
vrifier x (0) = x 0 et x (T) = Xl; le problme est de minimiser un cot de la forme
j
'T
C(u) = f(t,x(t),u(t))dt,
0
o T est fix.
Associons au systme (7.1) le systme augment suivant
;(t) = f(t,x(t),u(t)),
;0 (t) f (t,x (t ),Il (t)),
(7.2)
(7.3)
: 1 Cas sans contrainte sur le contrle: principe du maximum faible 97
98
et notons x (x,xo),l = (f,(o). Le problme revient donc chercher une tra-
jectoire solution de (7.3) joignant les points (xo,O) et (x I:xo(T)), et
minimisant la dernire coordonne xO (T).
L'ensemble des tats accessibles partir
=u
11(')
Le lemme crucial est alors le suivant.
x 0 pour le systme (7.3) est
Lemme . 7 <1 Si le contrle li associ au systme de contrle (7.1) est
optimal pour le colt (7.2), alors il est singulier sur [0, T] pour le systme
augment (7.3).
Preuve. Notons x la trajectoire associe, solution du systme augment (7.3), issue
de Xo (xolO). Le contrle u tant optimal pour le cot (7.2), il en rsulte que le
point x(T) appartient la frontire de l'ensemble Ac(xo) T) (voir figure 7.1). En
effet sinon, il exsterait un voisinage du point x(T) = (Xl1XO(T)) dans Ac(xo,T)
contenant un point y(T) solution du systme (7.3) et tel que l'on aityo(T) < xO(T),
ce qui contredirait l'optimalit du contrle u. Par consquent. d'aprs la proposition
5.15, le contrle u est un contrle singulier pour le systme augment (7.3) sur [0, T].
o
Ac(xo .. T)
x
Figure 7.1. Ensemble accessible augment.
Dans la situation du lemme, d'aprs la proposition 5.17, il existe une application
p : [0, T] -; \ {O} telle que soit solution du systme hamiltonien
x(t)
aH - - .:.
8p (t,x(t)jp(t),u(t)), p(t)
aH - -
-a- (t)x (t )lP (t ),lI (t)),
x
(7.4)
i Principe du maximum de Pontryagin
aH -
-a (t)x(t),f7(t),ll(t)) = 0
u
(7.5)
-
En crivant P (PlPO) E (IR./
J
X IR) \ {O}, o /Jo est appele variable duale du cot,
on obtient
d'o en particulier po (t) = 0, c'est--dire que po (t) est constant sur [0, T]. Comme
le vecteur 1; (t ) est dfini scalaire multiplicatif prs, on choisit p () ~ O. Par ailleurs,
- --
H (pJ(t,X,1L)) = pf + P f, donc
aH =0
au
Df 0 afo
P-
a
+P -a .
lJ tI
Finalement on a obtenu l'nonc suivant.
Thorme 7.16 'li Principe du maximurn faible 1 Si le contrle li associ
au systme de contrle (7.1) est optimal pour le cot (7.2), alors il existe
une application p ( . ) absolument continue sur [0, T], valeurs dans Rtl ,
appele vecteur adjoint, et un rel p 0 ~ 0, tels que le couple (p ( . ),p 0)
est non trivial, et les quations suivantes sont vrifies pour presque tout
t E lO, T]
x (t)
aH 0
ap (t,x (t ),p (t ),p ,li (t)), (7.6)
aH 0
- ax (t,x (t ),p (t ),p ,ll (t)),
(7.7)
aH 0
-a (t,x (t ),p (t ),P ,li (t)) = 0,
li
(7.8)
o H est le Hamiltonien associ au systme (7.1) et au cot (7.2)
H(t,x,p,pO,Il) = (pJ(t,x,ll)) + l)of(t,x,Il).
j 1 Cas sans contrainte sur le contrle: principe du maximum faible 99
100
2. Le problme de Mayer-Lagrange
On modifie le problme prcdent en introduisant le cot
(7.9)
et o le temps final t n'est pas fix. Soit Ml une varit de ]ffl. Le problme de
contrle optimal est alors de dterminer une trajectoire solution de
~ ( t ) = f(t,x(t),u(t)), x(O) = Xo,
o les contrles lt ( . ) sont dans l'ensemble U des contrles admissibles sur [O,t e (u )[,
telle que x (T) E Ml, et de plus x ( . ) minimise sur [0, T] le cot (7.9).
Supposons que la varit Ml est donne par
M L = {x E IR'l 1 F (x) = O},
o F est une fonction de classe Cl de lR{1t dans JR;'p. En crivant F = (F
l
, .. . ,F,,) o
les fonctions Fi sont valeurs relles, il vient
Ml {x E [{Il 1 FI (x ) ... = F IJ (x) = O},
et de plus Pespace tangent MIen un point x E Ml est
T."l:Ml {v E]R/I 1 \JFi(x).v 0, j = 1, .. . ,p}.
Introduisons alors l'application
"(t,u) (F 0 E(t,lI),C(t,lI)).
Remarque 7.1. L'application h n'est pas forcment diffrentiable au sens de
Frchet. Cela dpend en effet de la rgularit du contrle li. Si par exemple
Il est continu en t, alors
-{) (t,li) = f(t,x(t),u(t)).
t
Dans les calculs qui suivent, on oublie cette difficult et on suppose que h est
diffrentia bie.
Le fait suivant est une consquence immdiate du thorme des fonctions implicites.
! Principe du maximum de Pontryagin
Lemme 7.8 Q Si un contrle 11 est optimal sur [Dl T] alors l'application b
n'est pas submersive au point (T,u).
Par consquent dans ce cas l'application d h (T,li) n'est pas surjective, et donc il
existe un vecteur non trivial 'li)1 = E IR. '1 X Ifl1. qui est orthogonal dans Ifl1./H-l
lm d h (T
1
li ), i.e.
Ceci implique les deux galits au point (T,u)
Posons
de sorte que
B BC
-FoE+'dP-=O
at 'Bt'
a BC
'lb
1
-F 0 E + '111
0
_ = o.
, au r ail
= Co(t,ll) +g(t,xl/(t)) = CO(t,lt) +g(t,E(t,Il)).
. '1' d ac
o
rD aE f
Avec cette notatIOn 1 VIent, compte-tenu e = 1 et =,
et
BC
at
.cO Dg ag
J +-0 +-0 (,
t x
BC BC
o
og BE
=-+---
Bu Bx au'
au point (T,li). En reportant dans les relations (7.10) et (7.11) on obtient
BE BC
o
1b- +'11)__ 0,
, Du Bu
au point (T,u), o par dfinition
(7.10)
(7.11)
(7.12)
(7.13)
; i Cas sans contrainte sur le contrle: principe du maximum faible 101
102
l'
En particulier si on pose 't/J 1 = ( h' .. )\fJ ), on obtient '!/Jl . \1 F = L ,,\; \l Fi'
i=l
Remarque 7.2. Si on envisage le problme de Mayer-Lagrange Zr temps final
fix T, alors on considre le cot
Le raisonnement prcdent est quasiment inchang, sauf que l'on raisonne
sur l'application temps fix T
et on obtient de mme la relation (7.13). En revanche on n'a plus
l'quation (7.12).
Ainsi l'quation (7.12) traduit-elle le fait que le temps final n'est pas fix.
Remarque 7.3. La relation (7.13) affirme exactement que le contrle IL est
singulier sur [0, TJ pour le systme; = f ( t ~ x , u ) affect du cot Co (li ). Au-
trement dit on s'est ramen un problme de Lagrange temps non fix.
En particulier en appliquant la proposition 5.17, on obtient, smilairement au pa-
ragraphe prcdent, le rsultat suivant.
Thorme 7.17 lIiI Principe du Maximum 'faible, cas de Mayer-Lagrange
Si le contrle lt est optimal sur [0, TJ alors il existe une application p :
[0, Tl -+ ]R'1 \ {O} absolument continue, et un rel p 0 ~ 0, tels que le
couple (p ( . ),p 0) est non trivial, et
. aH o' aH 0
x(t) = (t,x(t),fJ(t),P ,1I(t)), pet) - 8x (t,x (t),p (t),P ,ll(t)),
(7.14)
aH 0
-a (t,x (t ))p (t ),p ,Il (t)) = 0,
Il
(7.15)
o H(t,x,p,po,lI) = (p,f(t,x,u)) +pof(t,x,tt).
1 Principe du maximum de Pontryagin
Si de plus la cible ,M 1 est une sous-varit de R
11
alors il existe des rels
./\b .. ).\", tels que l'on ait au point final (T1x 1)
De plus si le temps final n'est pas fix dans le problme de contrle opti-
mal, et si Il est continu au temps T, alors on a au temps final T
o og
H(T,x(T),p(T),p ,1I(T)) = -p Dt (T,x(T)).
PARTIE Il
Principe du maximum de Pontryagin
La version forte suivante, beaucoup plus difficile montrer, du thorme prcdent
(voir [57] pour une dmonstration, voir aussi [12],[36],[49]), prend en compte les
contraintes sur le contrle, et affirme que cet extremum est un maximum. On a
l'nonc gnral suivant.
1. Enonc gnral
Thorme 7.18 Q On considre le systme de contrle dans ]Rit
(7.16)
o f : IR x]Rn X 1ftJ/l ~ ]RI! est de classe Clet o les contrles sont des
applications mesurables et bornes dfinies sur un intervalle [OJe (Il)l de
1R+ et valeurs dans n c l!{/II. Soient Mo et Ml deux sous-ensembles de
]RI! . On nore U l'ensemble des contrles admissibles Il dont les trajectoires
associes relient un point initial de Mo un point final de MIen temps
t(u) <tc(ll).
Principe du maxmum de Pontryagin 103
Par aiJIeurs on dfinit le cot d'un contrle 11 sur [O,t J
C( t,Il) l0' f (s,x (s ),11 (s ))ds + g(t,x (t)),
o f : :IR X ~ ' l X ~ 1 1 1 -: IR et g : ]R x Rn -+:IR sont Cl, et x ( . ) est
la trajectoire solution de (7.16) associe au contrle li. On considre le
problme de contrle optimal suivant: dterminer une trajectoire reliant
Mo M l et minimisant le cot. Le temps final peut tre fix ou non.
Si le contrle li E U associ la trajectoire x ( . ) est optimal sur [0, TL
alors il existe une application fJ ( .) : [0, T] ---l- ]Ru absolument continue
appele vecteur adjoint, et un rel p 0 ~ 0, tels que le couple (p ( . ),!J 0)
est non trivial, et tels que, pour presque tout t E [0, T],
. aH 0
x ( t) = op (t ,x ( t ), P (t ), p ,li ( t ) ),
. aH 0
p(t) = (t,x(t),p(t),p ,u(t)),
(7.17)
o H(t,x,p,pO,u) = (pJ(t,x,u)) + pOf(t,x,u) est le Hamiltonien du
systme, et on a la condition de maximisation presque partout sur [0, TI
H (t,x (t ),p (t ),pO,ll (t)) = max H(t,x (t )dJ (t ),po,v). (7.18)
!IEn
Si de plus le temps final pour joindre la cible Ml n'est pas fix, on a la
condition au temps final T
max H (T, x (T), IJ (T), po, v) = - p () aa
g
(T,x (T) ).
vEn t
(7.19)
Si de plus Nl
0
et Ml (ou juste l'un des deux ensembles) sont des varits
de rrl/l ayant des espaces tangents en x (0) E Mo et x (T) E M h alors le
vecteur adjoint peut tre construit de manire vrifier les conditions de
transversalit aux deux extrmits (ou juste l'une des deux)
(7.20)
et
p(T) (7.21)
104 ";; ! Principe du maximum de Pontryagin
Remarque 7.4. Si le contrle li est continu au temps T, la condition (7.19)
peut s'crire
Remarque 7.5. Si ]a varit Mt s'crit sous la forme
Ml = {x E 1 F d x) ... = F fJ (x) = O},
o les Fi sont des fonctions de classe Cl sur J!r
l
, alors la condition (7.21) se
met sous la forme
Il
3).h" .,.\p ER 1 p(T) = L.\i V'Fj (x(T)) + pO (T,x(T)). (7.22)
i=\
Remarque 7.6. Dans les conditions du thorme, on a de plus pour presque
tout t E [0, TI
d 0 aH 0
dtH(t,x(t),p(t),p ,u(t)) = at (t,x(t),p(t),p ,1l(t)).
En particulier si le systme augment est autonome, i.e. si f et f ne dpendent
pas de t, alors H ne dpend pas de t, et on a
Vt E [O,T] maxH(x(t),p(t),po,v) este.
l'En
Notons que cette galit est alors valable partout sur [0, T] (en effet cette
fonction de t est lipschitzienne).
Remarque 7.7. La convention p 0 ~ 0 conduit au principe du maximwn.
La convention p 0 ~ 0 conduirait au principe du minimum, i.e. la condition
(7.18) serait une condition de minimum.
Remarque 7.8. Dans le cas o n R
m
, i.e. lorsqu'il n'y a pas de contrainte
sur le contrle, la condition de maximum (7.18) devient BaH 0, et on
11
retrouve le principe du maximum faible (thorme 7.16).
Dfinton 7.1 " Une extrmale du problme de contrle optimal est un
quadruplet (x ( . ),1) ( . ),p D,u ( . )) solution des quations (7.17) et (7.18).
Si Pu 0, on dit que l'extrmale est anormale, et si po-/: l'extrmale
est dite normale.
1 Principe du maximum de Pontryagin 105
106
Remarque 7.9. Lorsque n ]R'" , i.e. lorsqu'il n'y a pas de contrainte sur le
alors la trajectoire x ( . ), associe au contrle II ( est une trajec-
toire singulire du systme (7.1), si et seulement si elle est projection d'une
extrmale anormale (x ( . ),!J ( . ),O,lI ( . )).
Ceci rsulte en effet de la caractrisation hamiltonienne des trajectoires sin-
gulires, cf proposition 5.17. Remarquons que puisque pO 0, ces trajec-
toires ne dpendent pas du cot. Elles sont intrinsques au systme. Le fait
qu'elles puissent pourtant tre optimales s'explique de la manire suivante:
en gnral, une trajectoire singulire a une proprit de rigidit, i.e. c'est la
seule trajectoire joignant ses extrmits, et donc en particulier elle est opti-
male, ceci indpendamment du critre d'optimisation choisi.
Ce lien entre extrmales anormales et trajectoires singulires, pour n = R'II,
montre bien la difficult lie l'existence ventuelle de telles trajectoires.
Dfinition 7.2 'il Les conditions (7.20) et (7.21) sont appeles conditions
de tra11sversalit Sllr le vecteur adiolt. La condition (7.19) est appele
condition de transversalit sur le Hamiltonien. Elles sont ici crites de
manire trs gnrale, et dans les deux paragraphes suivants nous allons
les rcrire dans des cas plus simples.
Remarque 7.10. Le problme important du temps mininwl correspond
ra = 1 et g = 0, ou bien f = et g(t:x) = t. Dans les deux cas les
conditions de transversalit obtenues sont bien les mmes.
Remarque 7.11. Il existe des versions plus gnrales du principe du maxi-
mum, pour des dynamiques non lisses ou hybrides (voir par exemple
[21],[661,[67] et leurs rfrences, voir aussi plus loin pour le principe du maxi-
mum avec contraintes sur l'tat).
2. Conditions de transversalit
Conditions de transversalit sur le vecteur adjoint
Dans ce paragraphe le temps final pour atteindre la cible peut tre fix ou non.
Rcrivons les conditions (7.20) et (7.21) dans les deux cas importants suivants.
- Problme de Lagrange. Dans ce cas le cot s'crit
C(I,tI) = l' f(S,X(Shtl(S))ds,
PrinCpe du maximum de Pontryagin
i.e. g = O. Les conditions de transversalit (7.20) et (7.21) sur le vecteur
adjoint s'crivenr alors
Remarque 7.11. Si par exemple .M
o
= {xo}, la condition (7.20) devient
vide. Si au contraire Mo iR
'l
, i.e. si le point initial n'est pas fix, on obtient
p(O)=O.
De mme, si Ml = IR" , on obtient fJ (T) = O. Autrement dit si le point final
est libre alors le L'ecteur adjoint ail temps final est md.
- Problme de Mayer. Dans ce cas le cot s'crit
C (t,u) g(tIX (t)),
i.e. (0 O. Les conditions de transversalit (7.20) et (7.21) (ou (7.22)) ne se
simplifient pas a priori.
Mais dans le cas particulier important o Ml ]RII , autrement dit le tJoillt
final x(T) est libre, la condition (7.21) devient
oag
peT) = p ax (T,x(T)).
Si de plus g ne dpend pas du temps, on a coutume d'crire
p (T) = fJ (1 \7 g (x (T)), autrement dit le vecteur adjoint au temps final est
gal, la constante fJ prs, au gradient de g pris au point final.
Condition de transversalit sur le Hamiltonien
La condition (7.19) n'est valable que si le temps final pour atteindre la cible n'est
pas fix. Dans ce paragraphe nous nous plaons donc dans ce cas.
La seule simplification notable de cette condition est le cas o la fonction g ne
dpend pas du temps t (ce qui est vrai par exemple pour un problme de Lagrange),
et la condition de transversalit (7.19) sur le Hamiltonien devient alors
maxH(T,x(T),lJ(T),po,v) = 0,
vEn
ou encore, si li est continu au temps T,
H (T,x (T),p (T),p D,li (T)) O.
Autrement dit le Hamiltonien s'a111111le au temps final.
Remarque 7.13. Si te systme augment est de plus autonome, i.e. si f et
f ne dpendent pas de t, alors d'aprs la remarque 7.6 on a le Jong
extrmale
Vt E [O,T] maxH(x(t),fJ(t),Po)V) = O.
liEn
il! Prncpe du maximum de Pontryagin 107
Gnralisation des conditions de transversalit
Pour crire les conditions de transversalit associes un problme de contrle plus
gnral, il faut crire les relations adquates en termes de multiplicateurs de La-
grange.
Par exemple considrons un problme de Lagrange avec des conditions aux limites
mlanges, i.e. on cherche une trajectoire solution de
minimisant le cot
C(T,II) loT f (t,x (t ),II(t) )dt,
et vrifiant les conditions aux limites
(x (O),X (T)) E M,
o M est une sous-varit de}RtI X !Rif.
On peut alors montrer (voir [2]) que dans ce cas les conditions de transversalit
(7.20) et (7.21) sur le vecteur adjoint s'crivent
(- p(O),p(T)) 1.
Un cas important de conditions mlanges est le cas des trajectoires priodiques, i.e.
x(O) x(T) non fix. Dans ce cas on a
et la condition de transversalit donne
fJ (0) = P (T).
Autrement dit, non seulement la trajectoire est priodique, mais aussi son relvement
extrmal.
3. Contraintes sur l'tat
Principe du maximum avec contrainte sur l'tat.. Le principe du maximum tel
qu'il vient d'tre nonc prend en compte des contraintes sur le contrle, mais ne
prend pas en compte d'ventuelles contraintes sur l'tat. Ce problme est en effet
beaucoup plus difficile. Il existe plusieurs versions du principe du maximum avec
108 :,,:;]
'; ! Principe du maximum de Pontryagin
contraintes sur l'tat (voir ce sujet [20J,[21j,[341,l39],rS21,(S3]). La thorie est ce-
pendant beaucoup plus complique, et nous ne J'abordons pas dans cet ouvrage. Une
diffrence fondamentale avec le principe du maximum classique est que la prsence
de contraintes sur l'tat peut rendre le vecteur adjoint discontinu. On rajoute alors
des conditions de saut, ou de jonction.
En fait, lorsqu'il existe des contraintes sur l'tat de la forme Cj (x) ~ 0, il, . .. ~ 1 ) ,
o les fonctions Ci: R
Il
-;. IR: sont de classe Cl, alors le vecteur adjoint p ( . ) est
solution de Pquation intgrale
j
'T aH P fT Bc-
P (t ) p (T) + x dt - L 1
t i=l ' t
o les Pi sont des mesures positives ou nulles dont le support est contenu dans
{t E rO,Tll Ci(X(t)) = O}.
Dans la section 7.4, on traite compltement un exemple (simplifi) de problme
de contrle optimal o apparaissent des contraintes sur l'tat (problme de rentre
atmosphrique d'une navette). Cependant on arrive viter l'usage d'un principe
du maximum avec contraintes.
Mthode de pnalisation." Un moyen simple de manipuler des contraintes sur
l'tat est de rsoudre un problme de contrle optimal modifi, o, comme dans la
thorie LQ, on pondre cette contrainte, de manire la forcer tre vrifie. Le
principe gnral de cette mthode est le suivant. Supposons qu'on veuille imposer
l'tat d'appartenir un sous-ensemble CeRI! . Donnons-nous une fonction g
sur R
1I
, nulle sur C et strictement positive ailleurs (il faut tre capable de construire
une telle fonction). Alors, en ajoutant au cot C (t,II) le scalaire fT g (x (t) )dt,
Jo
o . > 0 est un poids que l'on peut choisir assez grand, on espre que la rsolution
de ce problme de contrle optimal modifi va forcer la trajectoire rester dans
l'ensemble C. En si x (t) sort de l'ensemble C, et si . est grand, alors le cot
correspondant est grand, et probablement la trajectoire ne sera pas optimale.
La i ustifica tion thorique de ce procd rside dans la proposition gnrale suvante.
Proposition 7.19 III Soit (E,d) un espace mtrique, C un sous-ensemble
de E, et f une fonction h -lipschitzienne sur E. Pour tout x E E, posons
g(x) = d (x, C). Supposons que la fonction f restreinte C atteint son
minimum en x 0 E C, Le.
f (x 0) min f (x ) .
xEC
Principe du maximum de Pontryagin 109
110
Alors, pour tout rel 1\ ~ k, on a
f (x ()) + g (x ()) = min f (x ) + .\g (x ),
xEC
i.e. Xo est aussi un point o f + /\g atteint son minimum sur C. La
rciproque est vraie si de plus > k et si C est ferm.
Preuve. Raisonnons par l'absurde, et supposons qu'il existe y E E et ~ > 0 tels que
f(y) + /\d(y)C) < f(xo) Ac. Soit alors zEE tel que d(y,z) ~ d(y,C) + ~ . On a
f(z) ~ f(y) + kd(y,z) ~ f(y) + Ad(y,C) + A < f(xo),
ce qui est une contradiction.
Pour la rciproque, supposons que A > k et que C est ferm. Soit Xo E C un
point o f ,\g atteint son minimum sur C. et soit > O. Il existe z E C tel que
d(xo,z) < d(xo,C) + E/;\. On a
f(z) ~ f(xo) + kd(xo,z)
k
~ f(xo) + kd(xo,C) + Xc
< f(xo) + /\d(xo,C) - (A - k)d(xo,C) +
< f(z) - (A - k)d(xo,C) +
et donc (A - k)d(xo,C) < E.. Le rel > 0 tant arbitraire, on en dduit que
d(xo,C) = 0, et donc Xo E C puisque C est ferm. On conclut que pour tout Z E C
on a f(z) ~ f(xo). 0
PARTIE III
Exemples et exercices
1. Contrle optimal d'un ressort non linaire
Reprenons Pexemple, leitmotiv de ce livre, du ressort non linaire vu en introduc-
tion, modlis par le systme de contrle
{
. ~ ( t) = y ( t ),
)' (t) = -x (t) - 2x (t )
3
+ li ( t ),
o on autorise comme contrles toutes les fonctions Il (t) continues par morceaux
telles que lu (t)! 1. L'objectif est d'amener le ressort d'une position initiale quel-
conque (xo,Yo = xo) sa position d'quilibre (0,0) en temps minimal t".
Principe du maximum de Pontryagin
Application du Principe du Maximum
Le Hamiltonien du systme prcdent s'crit
H(x,p,ll) = Px}' + Py ( - x - 2x
3
+ li),
et si (X,P,IL) est une extrmale alors on doit avoir
Px =
aH l' aH
= Py(l + 6x-) et Py = --8
Y
-p;\;'
Notons que puisque le vecteur adjoint (p y) doit tre non trivial, p}' ne peut
s'annuler sur un intervalle (sinon on aurait galement Px -p y = 0). Par ailleurs
la condition la condition de maximisation nous donne
pyu = maxp},v.

Comme py ne s'annule sur aucun intervalle, on en dduit que, presque partout,
IL (t) = signe P}' (t).
En particulier les contrles optimaux sont successivement gaux 1, c'est le prin-
cipe bang-bang (voir [49]). Plus prcisment, le vecteur adjoint au temps final t *
tant dfini scalaire multiplicatif prs, on peut affirmer
{
py (t) +_p)' (t) ,(1. + 6x (_t)2) =. 0,
Il (t) = signe(p)' (t)) o p y est la solution de
Py (t..,) - py(t . ) - - smn;
le paramtre 0: E [0127[ tant indtermin.
En inversant le temps (t !-l- il est clair que notre problme est quivalent au
problme du temps minimal pour le systme
= -y(t)
y(t) x(t) + 2x(t)3 - signe(py(t))
py(t) Px(t)
(7.23 )
(t)(l + 6x(t)2)
avec
o ct E [O,21i[ est dterminer.
i lil 1 Exemples et exercices 111
112
Rsolution numrique J'aide de Maple
On suppose dsormais que Xo 0 et Xo = 6.
Pour rsoudre le problme on procde en 5 tapes.
Premire tape. On saisit le systme diffrentiel (7.23), puis on trace dans le plan de
phase (x,)') les deux solutions respectivement associes = 1 et 2.5, avec
t E [O,10J (voir figure 7.2).
;:. eql := D(x) (t)=-y(t)
eq2 := D(y) (t)=x{t)+2*x(t,"'3-signum(z(t))
eq3 := D(z) (t)=w(t) :
eq4 D(w) (t)=-z{t)*(1+6*x{t)"'2) :
sys eql,eq2,eq3,eq4:
::> icI [x(O)=O,y{O)=O,z(O)=eos{l) ,w(O}=sin(l}]
ie2 := [x{O)=O,y(O)=O,z(O)=eos(2.S),w{O)=sin(2.S)]
le := lel,ie2 :
::> DEplot( [sys], exit) ,y(t) ,z(t) ,w(t)], t=o . . 10, rie] 1
stepsize=D.OS, scene:(x(t) ,y(t)] ,linecolor=[blue,redll;
Figure 7.2.
Deuxime tape. On pose T = 10, N = 100, h = TIN et tn = nh, 11 = O ... N.
Pour = 1, puis pour = 2.5, on crit une boucle qui calcule le plus petit entier
k tel que
On affiche alors les valeurs de la solution aux temps t k et t k + t.
Principe du maximum de Pontryagin
> 5011 := dsolve(sys,x(O)=O,y(O)=O,Z(O)=cos(l) ,w(O)=sin(l),
x(t) ,y(t).z(t),w(tl, type=numeric)
T:=10.0 : N:=100 : h:=T/N
xk:=O ;
for k from 1 ta N do
salk: solI (k*h) :
xknew: aubs (solk,xCt) )
yknew := subs (solk,y(t
if xJc*xlcnew<=O and abs{yknew-6)<O.5 then break fi:
xk : = xknew :
od: saIl (k*h) ;
Troisime tape. On crit une procdure temps: ;;;.proc(alpha,eps) qui calcule une
approximation du temps t tel que x (t) = 0 et Iy (t) - 61 < 0.5. Pour cela on localise
tout d'abord ce temps comme l'tape prcdente, puis on effectue une dichotomie
sur t entre tk et tk+l pour calculer le temps o x(t) s'annule eps prs
Ix(t)1 < eps).
> temps procCalpha,eps)
local sol,solk,T,N,h,k,xk,xknew,yknew,tO,t1,tm,xO,xI,xm
sol := dsolve(sys,x(O)=O,y(O)=O,z(O)=cos(alpha),
w(O)=sin{alpha) , x(t),y(t) ,z(t)/w(t), type=numeric) :
T:=lO.O : N:=100 : h::T/N
xk:=o :
for Je from 1 to N do
solk:=sol(k*h) :
xknew: subs(solk,x{t)
yknew: subs (solk,y(t) )
if xk*xknew<:=O and abs(yknew-6)<O.5 then break fi:
xk := xknew
ad:
to: (le-Il *h : tl: =k*h
xO:=subs(sol(tO),x(t : xl:==subs{sol(tl),x(t :
# remarque : xO et xl sont forcement de signes contraires
while abs(xl-xOeps do
tm:=(tO+tl)!2 :
xm:=subs(sol(tm) ,x(t))
if xm*xO<O then xl:=xm
fi:
ad:
RETURN ( t 0) i
end :
el se xO:=xm
tl:=tm
tO:=tm
Quatrime tape. On crit une procdure dicho=proc(eps) qui calcule par dichoto-
mie sur 0:, entre 0: = l et 0: une approximation du rel 0: tel que la solution
de (7.23) associe vrifie
le rel eps tant la prcision, i.e. Ix(t.)1 < epsj Iy(t",) - 61 < eps.
Exem pIes et exercices 113
Plus prcisment, on cherche le rel par dichotomie de sorte que
1 y (0; temps (o;eps) ) - 61 < eps
o (x (0; . ),y (0; . ),z (o't . ),w (0, . )) est la solution de (7.23) (notons que la procdure
temps assure dj que Ix(o;temps(o;eps))1 < eps).
> dicho := proc(eps)
local a, b,m, sola, solb, solm, ta, tb,'tm, ya, yb, ym
a:=l b:=2.5:
sola dsolve(sys,x(O}=O,y(O)=O,z(O)=cos(a) .w(O)=sin(a),
x(t},y(t) ,z(t) ,w(t), type=numeric) :
solb dso!ve(sys,x(O)=O,y(O)=O,z(O)=cos(b) ,w(O)=sin(b),
x(tl,y{t),z(t) ,w(t}, type=numeric)
ta:=temps(a,eps) : tb:=temps(b,eps) :
ya:=subs(sola(ta) ,yetI) : yb:=subs(solb(tb),y(t :
while abs(yb-yaeps do
m:=evalf( (a+bl/2) :
solm: dsolve(sys,x{O)=o,y{O)=O,z(O)=cos(m) ,w(O)=sin(m),
x(t) ,y(t),z(t) ,w(t), type=numeric) ;
tm:=temps(m,eps) :
ym := subs(solm(tm),y(t :
if (ym-6)*(ya-6)<O then b:=m yb:=ym
fi:
od:
RETURN(a) ;
end:
eise a:=m ya:=ym
Cinquime tape. On calcule une approximation de pour eps = 0.01, et on trace
dans le plan de phase la solution obtenue (voir figure 7.3).
::> dicho(O.Ol} j
2.136718750
> temps(2.13671B750,O.Ol)i
8.737500000
::> DEplot( [sys]. [x(t) ,y(t) ,z(t) ,w(t) ,t=O .. 8.7375,
([x{0}=0,y(O)=O.z(0}=cos(2.136718750) ,w(0)=sin(2.136718750)]],
stepsize=0.05. scene=[x(t) ,yetI] ,linecolor=[blue]) i
Le temps minimal pour amener le ressort de la position (0,6) Pquilibre (0,0) est
donc de 8.7375 s.
114 (
Remarque 7.14. Considrons le contrle
u(t) = signe (y(t) 0.1)/l.33.
On constate numriquement que la solution du systme associe ce contrle
passe bien par le point (0,6) au temps t = 10.92. Le temps qu'il faut cette
trajectoire pour aller de (0
1
0) au point (0,6) est bien suprieur au temps mi-
nimal calcul.
i i Principe du maxmum de Pontryagin
Figure 7.3.
2. Exercices
Exercice 7.16. Problme du temps minimal pour une fuse mouvement rectiligne
Considrons une modlisation simplifie du mouvement rectiligne d'une fuse, i.e.
x(t) = U(t), y(t) = u(t)2,
o x(t) reprsente la vitesse ety(t) est inversement proportionnelle la masse de l'engin.
Le contrle u (t) est la pousse et vrifie la contrainte lu (t) 1 1.
Rsoudre le problme du temps minimal pour atteindre le point final (Xl,Yl), en partant
de l'origine.
Indications: Le Hamiltonien est H = pxu + pyu + pO, o Px et Py sont constantes.
Quelle que soit la valeur de pO, il faut maximiser pxu + p
y
u
2
, pour ~ 1 ~ u ~ 1.
Montrer que, selon les signes de Px et Py' le contrle u est constant, et prend ses
valeurs dans {-l, 1, - ~ } .
2py
Montrer que, pour aller en un point (Xl,X2) tel que
o < X2 < Xl, il existe un seul contrle optimal, singulier et constant;
- x 2 lx 1 1, il existe un seul contrle optimal, constant, gal 1 ou -1 ;
- X2 > Xl, il existe une infinit de contrles optimaux, qui sont des successions
d'arcs 1. Remarquer aussi que le temps minimal est tf = X2. Noter qu'il n'y
a pas unicit de la trajectoire optimale dans cette zone.
Exercice 7.17. Problme de Zermelo
Le mouvement d'une barque se dplaant vitesse constante sur une rivire o il y a un
courant c (y) est modlis par
x(t) = v cos u (t) + c(y(t)), x(O) 0,
y(t) = vsinu(t),y(O) 0,
:<,. Exemples et exercices 115
116
o v est la vitesse et u (t), l' ang le de la ba rque par rapport l'axe (Ox), est le contrle.
Supposons que pour tout Y on ait c(y) > v. Quelle est la loi optimale permettant
de minmiser le dport X(tf) pour atteindre la berge oppose?
- Rsoudre le problme de temps minimal pour atteindre la berge oppose.
- Rsoudre le problme de temps minimal pour atteindre un point M de la berge
oppose.
Indications: Dans les trois cas, le Hamiltonien est
H = Px(VC05U + c(y)) + pyvsinu.
Seules les conditions de transversalit changent.
On a alorspx = -1 et H(t,) = O. On trouve
u = Arccos ( - c (:) ) .
Onapx =OetH(tt)=O, puisu
On a Px = este, H(tr) = 0, puis
Px
v
u = Arccos ( )'
1 - Px
c
Y
o Px doit tre choisi de manire atteindre M (d mthode de tir).
Exercice 7.18. Transfert optimal de fichiers informatiques
Un fichier de Xo Mo doit tre transfr par le rseau. A chaque temps t on peut choisir le
taux de transmission u(t) E [0, 1] Mols, mais il en cote u(t)f(t), o f( . ) est une fonction
connue. De plus au temps final on a un cot supplmentaire o AI > O. Le systme est
donc
x = -u, x(O) = XQ, X(tf) = 0,
et on veut minimiser le cot
t
f
C(t"u) = Jo u(t)f(t)dt+ry
t
7'
Quelle est la politique optimale?
Indications: Il est clair qu'il n'y a pas de trajectoire singulire, on peut donc supposer
po = -1. On pose fG uf et g = Le Hamiltonien est donc H = -pu fu.
Puisque p 0, on a p(t) = este, et de plus au temps final
o 8g
H(tf) = -p Dt = 2/tf)
d'o
Principe du maximum de Pontryagin
Par la condition de maximisation, u(t) dpend du signe de p + f(t), et est soit gal
0, soit gal 1. II est clair qu'au temps final tf on a U(tf) = 1 (sinon u ne serait
pas optimal, cause du terme et donc p = -21'tf f(t/). Finalement
{
0 s f(t) > -P,
u(t) =
1 si f(t) < -p.
Noter qu'on aurait pu mettre le cot sous la forme
C(tf,U) .latf (u(t)f(t) +
Exercice 7.19. Contrle optimal du niveau d'un rservoir
Figure 7.4. Barrage de Mauvoisin, dans les Alpes
On veut ajouter de l'eau dans un rservoir, de faon atteindre le niveau d'eau hl,
en tenant compte du fait qu'il faut compenser une perte d'eau linaire en temps. La
modlisation est
h ( t) = u ( t) - t, h (0) 0,
o u (t) est le contrle. Quelle est la loi optimale permettant d'atteindre l'objectif en mi-
nimisant (, u(t)2dt, le temps final tl n'tant pas fix 7
./0
d
" . ( ) ru;;
ln Icatlons: on trouve u t = 2 V 3'
Exercice 7.20. Le mouvement d'un missile, dcrit comme une particule de masse m soumise
la gravitation et la rsistance de est donn par les quations
X1 X31 X2 = Xi!, X3 = crcosu, X4 = asin u,
o u (t) E iF.. est le contrle. Le but est de minimiser la quantit tt + 9 (X(tf )), o 9 est une
fonction de classe C'. Montrer que le contrle doit vrifier
()
c, + C2t
tanu t = ---.
C3 +
Exemples et exercices 117
118
P3 C .
Indications: les quations donnent tan u = -, P3 = -P 1, P4 = -P2, avec P 1,P2
P4
C
constantes.
Exercice 7.21. Un problme de Bolzano en conomie
Un individu dispose d'un revenu r(t), 0 ~ t ~ T, qu'il peut dpenser ou placer la banque
avec un taux d'intrt T. Il veut raliser un programme de dpense u (t) sur [0, T] de manire
maximiser la quantit
r
T
ln u(t)e-atdt .
.la
L'volution de son avoir x(t) est alors donne par
x(t) r(t) + TX(t) - u(t),
et de plus on impose x(T) > D, i.e. l'avoir de l'individu est positif au temps final T. Quelle
est la loi optimale?
Remarque 7.15. De manire gnrale, on appelle problme de Bolzano un problme
de contrle optimal o on veut maxmiser un cot du type
n
CT(u) L CjXj(T).
i=l
Indications: Pour avoir l'existence de trajectoires optimales, il faut relaxer la
contrainte x(T) > 0 en x(T) :;:?: D. Le cas x(T) = 0 est alors vu comme un cas li-
mite. On distingue deux cas:
- six(T) > D, puisqu'il est non fix, alorsp(T) O. Or p -pr, d'op(t) = 0,
et H = po ln u e-
at
. La condition de maximisation sur H conduit alors une
absurdit.
- si x(T) = 0, on n'a aucune condition sur p (T). On peut prendre po 1 (pas
-(a +r)t
de singulire), et on trouve u(t) e p(D) La condition initiale p(O) est
dtermine en calculantx(t), et en imposantx(T) = 0 (cf mthode de tir).
Exercice 7.22. Politique optimale de pche
L'volution d'une population de poissons x(t) est modlise par
x(t) = D.08x(t)(1 1D-
6
x(t)) u(t), x(D) = xo,
o u (t), le contrle, reprsente le nombre de poissons pchs. Dterminer une politique
optimale de pche, de manire maximiser la quantit
et avoir au temps final x(T) > O.
r
T
e -0.03t ln u (t) dt,
.la
Indications: mme raisonnement qu' l'exercice prcdent.
1 Principe du maximum de Pontryagin
Exercice 7.23. Investissement optimal
L'volution du revenu r(t) d'une entreprise est modlise par le systme contrl
r(t)
3
- 2r ( t) + 2. u ( t), r (0) = r d,
o u(t), le contrle, reprsente l'investissement au temps t, et vrifie la contrainte
o ~ u(t) ~ a. Soit T > lin 3 un rel. Dterminer la politique optimale permettant de mi-
nimiser la quantit
-r(T) -1- fT (u(t) - r(t))dt .
./0
Indications: Montrer qu'il n'y a pas de singulire, puis que u dpend du signe de
!p = ~ P - 1, o P 2p -1, et P (T) = 1. Par intgration, montrer que 'P(t) s'annule
en te = T -lin 3, et en dduire que la politique optimale est u = 0 sur [0, te L puis
u = a sur ]te, T].
Exercice 7.24. Contrle optimal de population dans une ruche
Considrons une population d'abeilles constitue au temps t de w(t) travailleuses et de
q(t) reines. Soit u(t) le contrle, qui reprsente l'effort des abeilles pourfournirdes reines
la ruche. La modlisation est
w(t) au(t)w(t) - bw(t), q(t) c(l - u(t))w(t), 0 ~ u(t) 1,
o a,b,c sont des constantes telles que a > b. Quel doit tre le contrle u (t) pour maximiser
au temps T le nombre de reines?
Indications: Le Hamiltonien est H = Pl (auw - bw) + P2c(1 - u)w, o
Les conditions de transversalit donnent P1 (T) 0 et P2 (T) = 1 (donc
P2(t) Cste = 1), et selon la condition de maximsation on a, puisque w > 0,
{
o si Pl(t}a -PlC < 0,
u(t) =
1 si Pl (tla P2C > O.
Au temps final T on a donc u(T) = 0 puisque Pl (T)a P2(T)C = -c < O. Par
continuit de la fonction de commutation, le contrle u est nul sur un intervalle
[t 1, Tl. Sur cet intervalle, on a alors P 1 Pl b - c, d'o
et P1 est dcroissant. En rasonnant en temps inverse, on a une commutation au
temps t
l
tel que Pl (t
l
)a c = 0, soit
:Ii l Exemples et exercices 119
120
Pour t < t" on a p, = -P, (a - b) < 0, donc p, est encore dcroissant. Il n'y a
donc pas d'autre commutation.
Conclusion: la politique optimale est u(t) 1 sur [Olt,], puis u(t) = O.
Exercice 7.25. Contrle optimal d'une raction chimique
Une raction chimique est modlise par
x, -ux, + U2X21 X, (0) = 1,
X2 = ux, 3u
2
xz, xz(O) = 0,
o Xl,x2 sont les concentrations des ractifs, et le contrle u(t) vrifie la contrainte
0< u(t) ~ 1. Quelle est la politique optimale permettant de maximiser la quantit finale
x 2 (1) du second ractif?
/nd;cations: Le Hamiltonien s'crit
H = Pl ( - ux, + U2X2) + P2(UX, - 3u
2
xz).
et
p, =(p, Pz)U,P2=(-p,+3P2)U
2
, p,(l) O,pz(1)=1.
Il faut maximiser sur 10, 1] la fonction 1p = (p, - p, )x, U + (Pl - 3P2 )x2u2.
Montrer que, compte-tenu des conditions initiales, Xz (t) ne reste pas nul pour t > 0
petit.
Montrer que le contrle singulier s'crit
(p 1 - pz)x,
Us 2(Pl - 3P2)X2'
avec
(p, - p;d
2X
t
p, = 2 (p 1 - 3p 2)X 2' P 2
En dduire que forcment Pl (0) =f. pz(O), et que Us (t) "'-' +00 pour t > 0 petit.
En dduire que la politique optimale consiste prendre u
u = US'
Exercice 7.26. Contrle optimal d'une pidmie
+ 1 au dbut, puis
Considrons une population touche par une pidmie que l'on cherche enrayer par une
vaccination. On note
- I(t), le nombre d'individus infectieux, qui peuvent contaminer les autres;
- 5(t), le nombre d'individus non infectieux, mais contaminables;
- R(t), le nombre d'individus infects, et disparus, ou isols du reste de la population.
Soit r > 0 le taux d'infection, , > 0 le taux de disparition, et u(t) le taux de vaccination.
Le contrle u(t) vrifie la contrainte 0 ~ u(t) ~ a. La modlisation est
S(t) = -r5(t)/(t) u(t),
i(t) r5(t)/(t) - ~ ( I ( t ) !
R(t) = ,/(t),
1 Principe du maximum de Pontryagin
et le but est de dterminer une 10 optimale de vaccination, de manire minimiser, en un
temps T, le cot
C(u) I(T) + .i
T
u(t)dt.
Montrer que la politique optimale est bang-bang, avec u = 0 la fin.
Indications: Le Hamiltonien est
et
En remarquant que P 50::::} PI=- 0 ::::} PRO, montrer qu'il n'y a pas de
singulire, et en dduire que la politique optimale est bang-bang.
La fonction de commutation est rp(t) = -Ps (t) -1. En remarquant qu'on doit avoir
P 5 (T) 0 la fin, montrer que r.p(T) < 0 et en dduire que u = 0 la fin.
Exercice 7.27. Considrons le systme de contrle dans
o u(t) E:ra:. Dterminer la trajectoire optimale conduisant le point initial (OrO, 5) la sphre
unit 52 de JP;.3, pour le cot C(u) r' u(t)2dt .
./0
Indications: On impose la fin P (1) .1 T
X
(l )5
2
Les calculs sont fastidieux.
Exercice 7.28. Contrle optimal d'un procd de fermentation
Considrons le procd de fermentation
x(t) -x(t) + u(t)(1 -x(t), x(O) = XOI
.v(t) = x(t) - u (t )y(t); y(O} Yo)
o x(t) reprsente la concentration de sucre, y(t) la concentration d'thanol, et u(t}, le
contrle, est letaux d'vaporation. On suppose 0 ~ u(t) ~ M, et
o < xo < 1, Yo > O.
Montrer que la politique en temps minimal pour rejoindre y(tf) Yl est bang-bang, et
consiste prendre soit u M puis u = 0, soit toujours u O.
Indications: Le Hamiltonien est H = Px( - X + u(1 - x + Py(x - uy) + po, et
Px = Px (1 + u) P yI P Y U P y .
La fonction de commutation s'crit r.p Px(1 - x) - Pyy. Montrer que u(t) = 0 si
rp(t) < 0, et u(t} = M si r.p(t) > O.
En t = tf, montrer qu'on a Px(tf) = 0, et Py(t,) > 0 (faire un dessin reprsentant.
dans le plan (x;y), la cible, et l'ensemble accessible en temps tf).
Exemples et exercices 121
122
Montrer que, le long d'une singulire, on a Px (l-x) -PyY == 0, puis, par drivation,
Px ::= Py En remarquant que PxCt,) ::f Py(tf), en dduire qu'il n'y a pas de sin-
gulire, puis que la politique optimale est bang-bang.
En remarquant que cp(t,) < 0, montrer que u 0 sur un intervalle du type [tf-, tf].
En intgrant le systme sur cet intervalle, montrer que
cp(t) -py(tf)(1-e-
rHf
+y,e-tHf)et-tf.
En raisonnant sur le signe de cp(O), discuter alors en fonction des donnes la structure
de la trajectoire optimale.
Exercice 7.29. Contrle optimal d'un avion
Considrons le mouvement d'un avion, modlis par
. . u(t) c 2
x(t) = v(t). v(t) = -(-) - pg - -v(t) 1
, mv t m
o x (t) est la distance au sol pa rcourue, v (t) est le mod u le de la vitesse, le contrle u (t) est
l'apport d'nergie, m est la masse, et sont des coefficients arodynamiques. Le contrle
vrifie la contrainte
0< a u (t) b,
et le but est de dterminer une trajectoire menant du point initial x(O) = xo,v(O) = vo, au
j
'tt
u (t)dt, le temps final
0
point final x(t,) = Xf,V(tf) = v" et minimisant le cot e(u)
t, n'tant pas fix.
Montrer qu'il n'existe aucune trajectoire singulire, puis expliquer comment mettre en
uvre une mthode numrique pour rsoudre ce problme.
Exercice 7.30. Problme de Goddard simplifi
Le dcollage d'une fuse est modlis par les quations
il (t) = v(t), h (0) = 0,
v(t) = u(t) - g. v(O) = 0,
met) ,
!TI (t) -bu (t), m (0) = mo,
o h(t) est l'altitude, v(t) le module de la vitesse, met) la masse, 9 l'acclration de la
pesanteur, et b > 0 un rel. Le contrle est la pousse u (t), qui vrifie la contrainte
o u(t) u
max
Par ailleurs la masse de la fuse en l'absence de carburant est ml! si
bien que la masse met) vrifie la contrainte m, met) ma. Enfin, on suppose que
u
max
> gmo
Montrer que la politique optimale permettant de maximiser l'altitude finale est bang-bang,
avec au plus une commutation, du type u U max puis s'il ya commutation u O.
Indications: Montrer que les conditions de transversalit sont Px (t,) 1,
Pv(tt} = 0 et H(t,) = O. En dduire que la fonction de commutation s'crit
tf t
= - bPm (t).
m
Principe du maximum de Pontryagin
Noter que, au dbut, on doit avoir li > 0, i.e. u > mg, ce qui est possible puisque
u max> gmo. En ddure que, au dbut, on au> 0, et soit <p > 0, soit <p == O. Calcu-
ler <p'(t), montrer que (/(t) < 0, et conclure que l'alternative 'fi == 0 est impossible.
En dduire que la politique optimale est bang-bang, avec au plus une commutation,
du type u = u max puis s'il ya commutation u = O.
Exercice 7.31. Guidage d'un engin spatial
Figure 7.5. Contrle d'attitude d'un satellite
Considrons le mouvement d'un engin spatial, modlis par le systme de contrle (nor-
malis)
r(t) = v(t),
. fJ( t)2 1 C
v(t) = r(t) - r(t)2 + u, (t) m (t) Sin U2(t),
O(t) V ( t t ~ t ) +udt) c COSU2(t),
rt m
m (t) = - u t{ t ),
o r(t) reprsente la distance de l'engin au centre de la Terre, v(t) la vitesse radiale, (1(t) la
vitesse angulaire, m(t) la masse de l'engin. Les contrles sont u,(t), la pousse, et U2(t),
l'angle de gte. Le contrle u, vrifie la contrainte 0 ~ u 1 ~ ,Ll. On considre les conditions
aux limites
r(O) 1, r(tf) rf,
v(O) = 0, v(t,) = 0,
0(0) = 1, O(tf) =
m (0) 1.
Dterminer une trajectoire vrifiant ces conditions aux limites, et maxmisant la masse fi-
nale m (tf), le temps final n'tant pas fix.
Indications: raisonnement similaire l'exercice 7.32.
:ii ! Exemples et exercices 123
Exercice 7.32. Sujet d'examen
Le problme est de maximiser le dport latral d'une fuse dont le mouvement est plan
et la pousse est limite. Au temps t, on note x(t) = (X1 (t),X2(t)) la position de la fuse,
v(t) = (V1 (t), V2 (t)) sa vitesse, m (t) sa masse, O(t) l'angle de la direction de pousse, et u (t)
la variation de masse (proportionnelle la force de pousse). Pour simplifier, on nglige les
forces arodynamiques et on suppose que l'acclration de la pesanteur 9 est constante.
Le systme modlisant le mouvement de la fuse est alors le suivant:
X2 = V2
. C
V1 = -u cosf}
m
. c
V2 = -u sin f} - 9
m
m =-u
o c > 0 est constante. Les contrles sont (}(t) et u(t). On suppose que
f} E 1Ft et 0 :s:; u :s:; A .
Les donnes initiales sont:
Xl (0) = x ~ , X2(0) = x ~ , v, (0) = v ~ , V2(O) = V ~ , m(O) = ma.
La masse de la fuse lorsqu'il n'y a pas de carburant est m,. Autrement dit m (t) doit
vrifier:
m, :s:; m(t) :s:; ma.
On dsire mener la fuse du point initial prcdent la varit terminale
x 2 (t,) = x ~ , m (t f) = m 1,
le temps final tf tant libre, et on veut maximiser la quantit
1. Application du principe du maxmum.
On introduit les variables adjointes PX"
PX
2,PV"
Pv
2,Pm, et pO. On pose de plus
.\ = PX1(tf).
a. Ecrire le Hamiltonien associ ce problme de contrle optimal, ainsi que le
systme diffrentiel extrmal.
b. Ecrire les conditions de transversalit sur le vecteur adjoint.
e. Montrer que le Hamiltonien est nul le long de toute extrmale.
d. Calculer Px, (t),PXl (t),pv, (t) et PV2 (t) en fonction de ,,\ et pO.
2. Calcul des controles extrmaux.
a. Montrer que l'on ne peut pas avoir simultanment pO = 0 et .'\ = O.
En dduire l'expression des contrles extrmaux O(t), montrer qu'ils 50nt
constants, et prciser leur valeur 0
0
en fonction de ,,\ et pa.
Principe du maximum de Pontryagin
b. On introduit la fonction !p sur [0, t f]
Montrer par l'absurde que la fonction r.p ne s'annule sur aucun sous-intervalle
de [0, t f J. Prciser la monotonie de !p. En dduire que les contrles extrmaux
u (t) commutent au plus une fois sur [o,t,), et passent dans ce cas de la valeur
A la valeur O.
c. On suppose que
Atf>mO m,<
Montrer que u commute exactement une fois au temps
mO-ml
te = A '
passe de la valeur A la valeur 0 en ce temps tu et de plus m(t
e
) = m,.
3. Calcul des contrles en boucle ferme.
a. Montrer que
b. Montrer que
V,(tf)
00 = - arctan -(-) .
v2 tf
et en dduire que
c. Montrer les trois formules suivantes:
o mo
v, + ccosOo In-,
m,
o 0 9 2 . ( m, ma m, )
X
2
+ v
2
te - -te - C sIn 0
0
te ln - - te - - ln -
2 mo A ma
En dduire que l'on peut exprimer 0
0
en fonction des donnes
000
X 2' v" V 2,m o,m 1,A,c,g
(on ne cherchera pas une expression explicite). Montrer que l'on a ainsi
exprim les contrles 0 et u en boucle ferme. Quel est l'avantage de ce
procd?
Pi,in ; . .' ill Exemples et exercices 125
Figure 7.6. Contrle d'attitude du tlescope Hubble
Exercice 7.33. Projet: transfert orbital d'un satellite en temps minimal.
Un problme important en mcanique spatiale est de transfrer un engin spatial sou-
mis l'attraction terrestre sur une ellipse Keplerienne ou en un point de cet ellipse,
pour le problme de rendez-vous avec un autre engin. Ce type de problme clas-
sique a t ractualis avec la technologie des moteurs pousse faible et continue.
L'objectif de ce projet est d/appliquer des techniques de contrle optimal pour raliser
numriquement un problme de transfert en temps minimal, avec pousse faible, sur une
orbite gostationnaire.
Modlisation du problme. Le satellite est assimil un point matriel de masse m, soums
l'attraction terrestre et une force de propulsion F. En premire approximation, le systme
s'crit
.. q F
q = -P'llqI13 + m'
(7.24)
o q dsigne le vecteur position du satellite dans un rfrentiel dont l'origine est le centre
de la terre, /1, la constante de gravitation de la plante. Le systme libre F = 0 correspond
aux quations de Kepler. Pratiquement, la pousse est limite, i.e. IIFII ~ Fmax et on peut
changer son orientation. La propulsion se fait par jection de matire, vitesse V
e
et il faut
rajouter au systme l'quation
F
m=--
v
e
'
(7.25)
et dans le problme pousse faible, la force de pousse est petite compare la force
d'attraction. L'tat du systme est (q,q) et le problme de transfert orbital rsoudre est
de transfrer le systme d'un tat initial une orbite gostationnaire en temps minimal.
On contrle la pousse de l'engin.
Id, on considre le problme de transfert orbital masse variable dans le plan, que l'on
reprsente dans des coordonnes dites quinoxiales (p,ex,ey,L), o p est appel le pa-
ramtre, (ex,e
y
) est appel vecteur excentricit et L est la longitude. Le contrle est
126 (J:,:.ir)!i:,:' 7 1 Principe du maximum de Pontryagin
dcompos dans Je repre radiaJ-orthoradial, ce qui conduit aux quations suivantes
. 2 f!3 T max
p = - ---u
ar
W Il m
. f; (e x + cos L ) T max f;' L T max
ex = - +cosL --U
ar
+ - sm --ur
Il W m }J, m
. fP
e
y
= Vit
+ sin L . ) T max
W + sm L -;;:;-uor
f;
Tmax
- cosL--u
r
Il m
i = :2 fi;
m = -(ST maxlui
o W = 1 + ex cosL + ey sin L, o lui = + et o T max est la valeur maxi-
male du module de pousse. Le problme consiste donc, en respectant la contrainte
u; 1, minimiser le temps de transfert d'une orbite basse dfinie par
p(O) = 11625 km, ex(O) 0.75, ey(O) D, L(O) = n, une orbite gostationnaire dfinie
par p (tf) = 42165 km, ex (t,) 0, e
y
(tt) = 0, la longitude finale tant libre.
Questions.
1. Pour des raisons numriques videntes il est prfrable de normaliser la variable p en
posant fi = -CP )' En introduisant les constantes Cl' = et r;; T max, montrer que
p tf VPf
les quations s'crivent
q Fo(q) + urFr(q) + uorFor(q),
m -,sT maxlul,
avec q = (ji,ex,ey,1) et o les champs de vecteurs Fo, Fr et For sont dfinis par
o 0
o ftSinL F(exm+C:L )
F 0 = 0 ,F r = F CI r m V p W + cos L
ftCOSL r;: F(ey+sinL . )
J
p
3/2 0 m VP W +slnL
o
et crire le Hamiltonien de ce systme sous la forme
H (\Fo + urFr(q) + uorFor(q)) /\m
iST
maxlul,
o C'\m) = (p;r\e .. ,ey,'\J,I\m) est le vecteur adjoint.
2. Montrer que les contrles extrmaux vrifient u; + = 1 (pour cela, on es-
saiera de montrer que m (t) est toujours ngatif). En dduire en particuler que
m(t) = ma - 8T maxt, et montrer que les contrles extrmaux s'crivent
ur u 0 r = -r=========.
j': Exemples et exercices 127
3. En remarquant que l'on peut oublier la variable adjoint '\m. crire les quations du
systme extrmal donnes par le principe du maximum (faire les calculs l'aide de Maple).
4 (application numrique). En utilisant une mthode de tir multiple, dterminer
numriquement un vecteur adjoint initial (>P(O),'\e
x
(O),'\e
y
(O)'''\L (0)) pour lequel la tra-
jectoire extrmale vrifie les conditions initiales et finales imposes.
Comme donnes numriques, on prendra
ma = 1500 kg, 8 = 0.05112 k m - l . ~ Il, = 398600.47 km
3
.2,
et on choisira une valeur T max de plus en plus petite (problme faible pousse). Par
exemple on pourra prendre successivement
T max = 60, 24,12, 9, ~ 3, 2, 1.4, 1,0.7, 0.5, 0.3 N.
5. Pour T max = 0.3, on se propose de stabiliser le systme autour de la trajectoire construite
dans la question prcdente. Pour tenir compte de la contrainte sur le contrle, on modifie
la trajectoire obtenue selon la nouvelle contrainte lu 1 ~ 1 - E, o est un petit paramtre.
On choisit par exemple E = 0.1.
5.1. Modifier la trajectoire prcdente en tenant compte de cette nouvelle contrainte sur
le contrle.
5.2. Linariser le systme le long de la nouvelle trajectoire obtenue, et proposer une
mthode de stabilisation LQ. Effectuer les simulations numriques.
PARTIE IV
Contrle optimal et stabilisation d'une navette spatiale
Dans cette section, on traite en totalit un exemple d'application de la thorie du
contrle optimal.
On s'intresse au problme de contrle optimal d'une navette spatiale en phase de
rentre atmosphrique, o le contrle est l'angle de gte, et le cot est le flux ther-
mique total (facteur d'usure de la navette). L'objectif est de dterminer une trajec-
toire optimale jusqu' une cible donne, puis de stabiliser le systme autour de cette
trajectoire nominale, sachant que la navette est de plus soumise des contraintes
sur l'tat.
Le problme de rentre atmosphrique prsent ici est simplifi. Le problme com-
plet est difficile et a t compltement rsolu dans une srie d'articles 1"13],[14],[16J.
On prsente d'abord une modlisation du problme de rentre atmosphrique et
on pose un problme de contrle optimal. Ensuite, on rsout numriquement ce
problme de contrle optimal, et on dtermine ainsi une trajectoire nominale (tra-
jectoire de rfrence) pour la navette. Enfin, on utilise la thorie LQ pour stabiliser
la navette autour de la trajectoire nominale prcdemment dtermine.
Principe du maximum de Pontryagin
1. Modlisation du problme de rentre atmosphrique
Prsentation du projet
Ce projet a t pos par le CNES, et est motiv par l'importance croissante de la
thorie du contrle, et du contrle optimal, dans les techniques d'arocapture :
- problmes de guidage, transferts d'orbites aroassists,
- dveloppement de lanceurs de satellites rcuprables (l'enjeu financier trs
important),
problmes de rentre atmosphrique: c'est l'objet du fameux projet Mars
Sample Retllr1Z dvelopp par le CNES, qui consiste envoyer une navette
spatiale habite vers la plante Mars, dans le but de ramener sur Terre des
chantillons martiens.
En gros, le rle de l'arc atmosphrique est
de rduire suffisamment l'nergie cintique, par frottement dans
l'atmosphre;
d'amener l'engin spatial d'une position initiale prcise une cible donne;
- de plus il faut prendre en compte certaines contraintes sur l'tat: contrainte
sur le flux thermique (car il y a des gens l'intrieur de la navette !),
sur l'acclration normale (confort de vol), et sur la pression dynamique
(contrainte technique de structure),
- enfin, on cherche de plus minimiser un critre d'optimisation: le flux ther-
mique total de la navette.
Une trajectoire optimale tant ainsi dtermine, il faut ensuite stabiliser la navette
auronr de cette trajectoire, de faon prendre en compte de possibles perturbations.
Le contrle est la configuration arodynamique de la navette. La premire question
qui se pose est la suivante: les forces arodynamiques peuvent-elles contribuer frei-
ner la navette de manire adquate? En fait si l'altitude est trop leve (suprieure
120 km), alors la densit atmosphrique est trop faible, et il est physiquement impos-
sible de gnrer des forces arodynamiques suffisammanent intenses. Au contraire, si
l'altitude est trop basse (moins de 20 km), la densit atmosphrique est trop grande,
et le seul emploi des forces arodynamiques conduirait un dpassement du seuil
autoris pour le flux thermique ou la pression dynamique. En effet la rentre at-
mosphrique s'effectue des vitesses trs leves. En revanche si l'altitude est com-
prise entre 20 et 120 km, on peut trouver un compromis. C'est ce qu'on appelle la
pbase atmospbrique.
Contrle optimal et stabilisation d'une navette spatiale 129
130
Durant cette phase atmosphrique, la navette se comporte comme un lJ[al1ellr, c'est-
-dire que les moteurs sont coups: il n'y a pas de force de pousse. L'engin est donc
soumis uniquement la force de gravit et aux forces arodynamiques. Le contrle
est l'angle de gte qui reprsente l'angle entre les ailes et un plan contenant la navette.
Enfin, on choisit comme critre d'optimisation le flux thermique total de la navette.
La modlisa tion
maintenant.
du problme a t effectue dans 116.1. Nous la rappelons
Modlisation du problme
On utilise les lois de la mcanique classique, un modle de densit atmosphrique
et un modle pour forces s'exerant sur la navette, la force gravitationnelle et la
force arodynamique qui se dcompose en une composante dite de trane et une
composante dite de portance. Le systme est mono-entre et le contrle est la gte
cinmatique (l'angle d'attaque est fix).
On donne un modle gnral tenant compte de la rotation (uniforme) de la Terre
autour le l'axe J( N S, vitesse angulaire de module O. On note E = (e lle 2,e 3)
un repre galilen dont Porigine est le centre 0 de la Terre, RI = (I,j, K) un repre
d'origine 0 en rotation la vitesse n autour de l'axe J( l et l l'intersection avec le
mridien de Greenwich.
Soit R le rayon de la Terre et G le centre de masse de Ja navette. On note
R ~ = (enej,eL) le repre associ aux coordonnes sphriques de G = (r,/,L),
r ~ R tant la distance 0 G, 1 la longitude et L la latitude (voir figure 7.7, (i)).
J(
e\pe,
e
r
",G
L
1"
1
ej
eL
/7'
(i)
(ii)
Figure 7.7.
Principe du maximum de Pontryagin
Le systme de coordonnes sphriques prsente une singularit au ple Nord et
au ple Sud. Pour crire la dynamique sous forme plus simple on introduit le
repre mobile R
2
(i,j,k) dont l'origine est G de la manire suivante. Soit
( : t 1-+ (x(t):y(t),z(t)) la trajectoire de G mesure dans le repre Ri et;; la vi-
tesse relative;; ;1 +J'1 Pour dfinir i on pose;; Il/Ii. Le vecteur j est un
vecteur unitaire du plan (,e r) perpendiculaire i et orient par ie r > O. On pose
h i 1\;. La direction de la vitesse est paramtrise dans le repre R'1 (e ne I,e lJ
par deux angles (voir figure (ii)) :
- la pente " aussi appele a1lgle de vol, qui reprsente l'angle entre un plan
horizontal et un plan contenant la navette,
- l'azimut X, qui est l'angle entre la projection de ;; dans un plan horizontal et
le vecteur eL (voir figure 7.7).
L'quation fondamentale de la mcanique, qui est une quation diffrentielle du
second ordre sur , se traduit par un systme dans les coordonnes (r,I,Ltv",X).
Par ailleurs on fait les hypothses suivantes, le long de l'arc atmosphrique.
Figure 7.8. La na verre spatiale
Hypothse 1: la navette est un planeur, que la palisse de la navette est
11ulle.
Hypothse 2: on suppose que la vitesse de l'atmosphre est la vitesse de la Terre.
La vitesse relative de la navette par rapport la Terre est donc la vitesse relative ;;.
l Contrle optimal et stabilisation d'une navette spatiale 131
Les forces
Les forces agissant sur la navette sont de deux types:
- force de gravit: pour simplifier on suppose que la Terre est sphrique et que
la force de gravit est oriente selon e r' Dans le repre R
2
elle s'crit
il = -l1lg(i sin, + i cos ,),
, / ')
oug=go r-.
force arodynamique: la force fluide due l'atmosphre est une force ft qui
se dcompose en
une composante dite de trane oppose la vitesse de la forme
(7.26)
- une force dite de portance perpendiculaire v donne par
(7.27)
o J-L est l'angle de gte, p = p(r) est la densit de l'atmosphre, et
C Dl C L sont respectivement les coefficients de trane et de portance.
Hypothse 3: les coefficients CD et CL dpendent de l'angle d'attaque 0: qui est
l'angle entre l'axe du planeur et le vecteur vitesse. C'est a priori un contrle mais
on suppose que durant l'arc atmosphrique il est fix.
Notre seul contrle est donc l'angle de g te J-L dont l'effet est double: modifier
l'altitude mais aussi tourner droite ou gauche.
On choisit pour la densit atmosphrique un modle exponentiel du type
et par ailleurs on suppose que
go
g(l") =
(7.28)
Le repre n'tant pas absolu, la navette est galement soumise la force de Coriolis
211t ri 1\ q et la force d'entranement 111 n 1\ (ri 1\ q).
132 -; ! Principe du maximum de Pontryagin
Finalement, l'arc atmosphrique est dcrit par le systme
dr
dt = v sin,
dv 1 SC
D
1 ,
- = -g sin"y- -p--v- + n-r cosL( sin ,cos L cos, sinL cos X)
dt 2 nt
d,
= cos
g v 1 SC
c
- - + - ) + - p---li cos I-t + 2n cos L sin X
v r 2 111
+ 0
2
!:... cos L ( cos, cos L + sin, sin L cos X)
v
dL v
- = - cos, cos X
dt r
dl
=
dt r cos L
d'X 1 SC
t
v. v .
- = -p---- smjl. + - cos,tan L smx
dt 2 111 cos, r
. 1 r sin L cos L sin X
+ 2n( sm L - tan, cos L cos X) + n- - .
li cos,
o l' ta test q = (r) v, ,,l, L, X) et le con trle est P angle de gte JI.
(7.19)
Dans la suite on pose r = rT + h, o fT est le rayon de la Terre, et h est l'altitude
de la navette.
Le problme de contrle optimal
Le problme est d'amener l'engin spatial d'une varit initiale Mo une varit finale
Ml, o le temps terminal t ( est libre, et les conditions aux limites sont donnes dans
la table 7.1.
La navette est, au cours de la phase de rentre atmosphrique, soumise trois
contraintes:
- Contrainte sur le flux thermique
<p = C
q
J'Pv] ~ rplltllX,
(7.30)
1 Contrle optimal et stabilisation d'une navette spatiale 133
134
- Contrainte sur l'acclration normale
()
.., max
111 = 'YIlO 0: pV- "(If ,
(7.31 )
- Contrainte sur la pression dynamique
(7.32)
Elles sont sur [a figure 7.9 dans le domaine de vol, en fonction de
l'acclration d
lSCl)
et de v.
acclration
Figure 7.9. Contraintes sur l'rat, et srratgie de Harpold-Graves
Le problme de contrle optimal est de minimiser le flux thermique total
(7.33)
Remarque 7.16. Concernant ce critre d'optimisation, plusieurs choix sont
en fat possibles et les critres prendre en compte sont le facteur d'usure
li l'intgrale du flux thermique et le confort de vol li l'intgrale de
l'acclration normale. On choisit le premier critre, le temps final t f tant
libre.
Principe du maximum de Pontryagin
Stratgie d'Harpold et Graves (33]
Si on fait l'approximation ~ ':::: -d ~ le cot peut tre crit
C(/-l') = K ('l V ~ d V l K > 0,
.11)0 V d
et la stratgie optimale consiste alors maximiser l'acclration d pendant toute la
dure du vol. C'est la politique dcrite dans [33], qui rduit le problme trouver une
trajectoire suivant le bord du domaine d'tats autoriss, dans l'ordre suivant: flux
thermique maximal, puis acclration normale maximale, puis pression dynamique
maximale (voir figure 7.9).
L'avantage de cette mthode est que le long d'un arc frontire le contrle s'exprime
sous forme de boucle ferme, c'est--dire en fonction de l'tat. Cette est bien
adapte aux problmes en temps rel, et se prte bien aux problmes de stabilisation.
Cependant cette mthode n'est pas ol)timale pour notre critre, et notre but est tout
d'abord de chercher une trajectoire optimale, puis de la stabiliser.
Donnes numriques
- Donnes gnrales :
Rayon de la Terre: rT = 6378139 m.
Vitesse de rotation de la Terre: n = 7.292115853608596.10-
5
.Ivlodle de gravit: g(r) = g ~ avec go = 3.9800047.10
14
m
3
r-
Modle de densit atmosphrique:
1
p( r) = Po exp ( - -, (r - r T ) )
J
s
avec Po 1.225 kg.m-
3
et hs = 7143 m.
5
- Modle vitesse du son: v son (1') = La j ri, avec
i=O
a5 -1.880235969632294.10-
22
, a4 = 6.074073670669046.10-
15
,
a3 -7.848681398343154.10-
8
, al = 5.070751841994340.10-\
al -1.637974278710277.10
6
, ao = 2.116366606415128.10
12
.
- Nombre de Mach: lvIach (v,t) = V /1' son (r).
Donnes sur la navette:
Masse: m 7169.602 kg.
Contrle optimal et stabilisation d'une navette spatiale 135
136
Surface de rfrence: S = 15.05 ml.
C ff
" d#" k l S CD
oe lClent e tramee : = J --.
m
1 SCL
Coefficient de portance: k '
2 m
- Coefficients arodynamiques:
10.00 15.00 10.00 25.00 30.00 35.00 40.00 45.00 50.00 deg
1 0.231 0.269 0.316 0.404 0.500 0.613 0.738 0.868 0.994 "1.245
0.231 0.231 0.169 0.316 0.404 0.500 0.613 0.738 0.861:1 1.245
2.30 O. t 99 0.199 0.236 0.191 0.366 0.458 0.566 0.688 0.818 0.948 1.110
1.96 0.159 0.159 0.195 0.248 0.318 0.405 0.509 0.618 0.757 0.891 1.019
3.95 0.133 0.133 0.169 0.220 0.188 0.373 0.475 0.592 0.721 0.857 0.990
4.62 0.115 0.125 0.160 0.211 0.279 0.363 0.465 0.581 0.710 0.846 0.981
10.00 0.105 0.105 0.148 0.200 0.269 0.355 0.458 0.576 0.704 0.838 0.968
.20.00 0.101 0.101 0.144 0.205 0.275 0.363 0.467 0.586 0.714 0.846 0.970
30.000.1010.1010.1440.1080.2780.367 0.472 0.59"10.7190.849 0.972
50.00 0.101 0.101 0.144 0.208 0.278 0.36710.47,2 0.591 0.719 0.849 0.972
Mach

Tab. 7.2. TabledeC
D
(Mach,wC1deuce)
[0 00 1000 15 00 JO 00 'J 5 00 35.00 40.00 45.00 50.00 55.00
II({oo 0.000 0.;85 0.649 0.700 0.729 0.734 0.756
1 2.00 0.000 0.185 0.291 0.394 0.491 0.578 0.649 0.700 0.729 0.734 0.756
1.30 0.000 0.172 0.269 0.363 0.454 0.535 0.604 0.657 0.689 0.698 0.723
1
2.96 0.000 O. J 54 0.238 0.322 0.404 0.481 0.549 0.603 0.639 0.655 0.649
3.95 0.000 0.139 0.115 0.292 0.370 0.445 0.513 0.569 0.609 0.628 0.626
4.62 0.000 0.133 0.206 0.281 0.358 0,433 0.502 0.559 0.600 0.620 0.618
10.00 0.000 0.103 0.184 0.259 0.337 0.414 0.487 0.547 0.591 0.612 0.609
20.00 0.000 0.091 O. t 72 0.257 0.336 0.416 0,490 0.552 0.596 0.616 0.612
30.00 0.000 0.087 0.169 0.258 0.338 0.418 0,493 0.555 0.598 0.619 0.613
50.00 0.000 0.087 0.169 0.258 0.338 0.418 0.493 0.555 0.598 0.619 0.613
Mach
- Profil d'incidence impos: Si le nombre de Mach est plus grand que 10 alors
l'incidence est gale 40. Si le nombre de Mach est compris entre 2 et 10 alors
l'incidence est une fonction linaire du nombre de Ivlach, entre les valeurs 12
et 40. Si le nombre de Mach est plus petit que 2 alors l'incidence est gale
12 (voir figure 7.10).
- Contraintes sur l'tat:
Contrainte sur le flux thermique: <p = C
q
JPv
3
tpmax, o
C
q
= 1.705.10-
4
S.I. et rpmax = 717300 W.m-
2

Principe du maximum de Pontryagin
incidence
40
12
Mach numbcr
10
Figure 7.10. Profil d'incidence impos en fonction du nombre de Mach.
Contrainte sur l'acclration normale:
Contrainte sur la pression dynamique:
P = .!.pv
2
~ pmax = 25000 kPa.
2
- Conditions initiale et terminale: voir table 7.1.
Modle simplifi en dimension 3
Ici, on se limite un modle simplifi en (r,v,,), o le contrle est Il
on suppose la force de Coriolis constante, ce qui conduit au modle
dt
dt = v sin,
dv . 1 1
= -gStn, - ((.pv-
dl
dt
g v
C05')'( - - + -) + k 'pVll + 20
u r
o le contrle li vrifie la contrainte lu 1 ~ L
cos l/', et o
(7.34)
Par ailleurs on prendra comme coefficients CD et CL les modles simplifis suivants,
en fonction de la vitesse II :
l
0.585 si v > 3000,
CD (u) = 0.075 + 1.7.10-
4
v si 1000 < v ~ 3000,
0.245 si LI ~ 1000,
1 Contrle optimal et stabilisation d'une navette spatiale 137
138
(voir figure 7.11).
{
0.55 si v > 3000,
0.1732 + 1.256.10-
4
v si V :s;; 3000,
Figure 7.11. Modle simplifi des coefficients arodynamiques
Enfin, pour simplifier l'tude, on ne prend en compte que la contrainte sur le flux
thermique
cp = C
q
J'PU
3
:s;; cplll Il X .
2. Contrle optimal de la navette spatiale
Dans cette section on rsout numriquement le problme de contrle optimal pour le
systme simplifi en dimension 3, d'abord en ne tenant pas compte de la contrainte
sur le flux thermique, puis en la prenant en compte.
le problme sans contrainte
Le systme simplifi (7.34) en dimension 3 peut s'crire comme un systnze de
contrle affine mono-entre
; ( t) = X (x ( t ) + tl ( t ) Y (x ( t )), 1 li 1 :s;; 1,
X
. 8
-' =usm'-a
r
y
. 18 g uD
(g SIn, + kpv-)- + cos,( - - + D'",,/
Du ur,
! Principe du maximum de Pontryagin
(7.35)
lSC
D
1 lSC
L
O k = "J--. -,k = J -.-. Le cot est toujours le flux thermique total
_ nt _ m
avec tp C
q
v'P01v
3

Proposition 7.20 /II Toute trajectoire optimale est b a n g ~ b a n g , i.e. est une
succession d'arcs associs au contrle H = 1.
Preuve. Dans notre cas le Hamiltonien s'crit
H(x,p,po,u) = (p,X(x) + uY(x)) + ptp(x),
et la condition de maximisation implique que u = signe( (p, Y) s (P, Y) ~ O. Il suffit
donc de montrer que la fonction t H (p (t), Y(x(t))), appele fonction de commu-
tation, ne s'annule sur aucun sous-intervalle, le long d'une extrmale. Supposons le
contraire, i.e.
(p(t), Y(x(t))) = 0,
sur un intervalle 1. En drivant deux fois par rapport t il vient
(p(t),[X, Y](x(t))) = 0,
(p(t),IX,[X, Y11(x(t))) + u(t)(p(t),[Y,[X, Y]](x(t))) = 0,
o [.,.1 est le crochet de Lie de champs de vecteurs. Par consquent sur l'intervalle 1
le vecteur p(t) est orthogonal aux vecteurs Y(x(t)), [X, Y](x(t)), et [X, [X, Y])(x(t))+
u(t)[Y,rx, Y]](x(t)). Or on a le rsultat suivant.
Lemme 7.9 ~
det(Y(x),[X, Y](x ), [X, [X, Y]] (x ) + u[Y,[X, Y]](x)) ~ O.
Preuve du lemme. l'aide d'un logiciel de calcul formel comme Maple,
on montre que IY,[X, Y]] E Vect{Y,[X, YI). Par ailleurs la quantit
det(Y,[X, Y],[X,[X, Y]]), calcule galement avec Maple, n'est jamais nulle
dans le domaine de vol.' 0
Il s'ensuit que p (t) = 0 sur J. Par ailleurs le Hamiltonien est identiquement nul le
long de l'extrmale, et par consquent pO t.p(x( t)) 0 sur 1. Comme t.p ~ D, on en
dduit pO = O. Donc le couple (p (.),po) est nul sur l, ce qui est exclu par le principe
du maximum. 0
Le contrle optimal 11 (t) est donc une succession d'arcs Il 1. Nous admettons
le rsultat suivant, qui dcoule d'une tude gomtrique dtaille dans [14],[16].
Proposition 7.21 Ci La trajectoire optimale vrifiant les conditions initiale
et finale (voir table 7.1) est constitue des deux arcs conscutifs li = -1
pUlS 11 +1.
Remarque 7.17. Cette stratgie consiste faire tout d'abord (. piquer> le plus
possible la navette, puis (. redressep au maximum.
! Contrle optimal et stabilisation d'une navette spatiale 139
Simulations numriques La trajectoire optimale est donc de la forme 1-1+' o 1-
(resp. l+) reprsente un arc solution du systme (7.34) associ au contrle Tl = -1
(resp. tt = +1). Il s'agit donc de dterminer numriquement le temps de commu-
tation to i.e. le temps auquel le contrle Tl (t) passe de la valeur -1 la valeur
+1.
Pour cela, on utilise le logiciel Matlab, et on dtermine te par dichotomie, de la
manire suivante. Etant donn un temps de commutation to on intgre le systme
en (t,V,,), jusqu' ce que la vitesse v atteigne la valeur requise, soit 445 mIs (pour
cela on utilise l'option "events" de Mat/ab, qui permet de stopper l'intgration
numrique lorsqu'une fonction calcule le long de la solution s'annule). On effectue
alors une dichotomie sur te de manire ajuster l'altitude finale r (t f) = rT + h (t f)
la valeur souhaite, soit 15 km.
Remarque 7.18. Il s'agit d'un cas particulier de mthode de tir, qui se ramne
ici une dichotomie, car le problme, rappelons-le, a t simplifi. Dans le cas
gnral trat dans [13],[14], la mise en uvre d'une mthode de tir (multiple)
est ncessaire.
Le programme permettant cette dichotomie, puis le trace de la solution, sont donns
ci-dessous.
140 ','
function
%% Fonction permettant le calcul du temps de commutation te
%% et le trac de la solution, pour le cas sans contrainte
%% sur l'tat.
cIe j
global gO hs rt Cg Omega;
Omega=7.292115853608596e-005 gO=39900047e7 hs=7143
rt=6378139 Cq 1.70Se-4
range '" [0 inf 1;
% Dbut de la trajectoire (altitude 120 km) :
rO O.6497959000DE+07 i vO = O.74049501953E+04
gamO O.32114058733E-Ol;
%% Dichotomie pour trouver le temps de commutation de sorte
%% que vf,=445 ("events") et hf=:15000.
global tc i tc =: -5 j hf=O
while hf<15000
end
global te ; tc =: tc+5
xinit = [ rO ; vO ; gamO ; fluxO ] ;
options odeset('events' ,@events);
[t,xl = ode113(@systdim3,range,xinit,options);
hf=x(length(t),l)-rt j
a=tc-lO j b=:tc ; hfm=hf
while abs(hfm-150DO)>1
global te ; tc=:a;
xinit [rD vO j gamO : fluxO ] ;
options odeset('events' ,@events, , RelTol' ,le-6) i
" i Principe du maximum de Pontryagin
end
[t,x] ode113(@systdim3,range,xinit,options);
hfa=x(length(t) ,l)-rt;
global te ; te-bi
xinit (rD i vO i gamO i fluxO ] ;
options = odeset('events' ,@events,'RelTol' ,le-6) i
[t,x] odel13(@systdim3,range,xinit,options);
hfb=x(length(t),l)-rt;
global te i te=(a+b)/2
xinit (rO i vO i gamO ; fluxo ] ;
options odeset('events' ,@events.'ReITol',le-6);
Ct/x] ode113(@systdim3,range,xinit,options)j
hfm=x(length(t) ,l)-rt ;
if (hfa-lSOOD)*(hfm-15000)<=O
b=(a+bl!2
else (a+b)!2
end
%%%%%%%%%%%% Resultats %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
% te pour le probleme sans contrainte : tc;242 %
% (i .e. passage de -1 a +1) %
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
global te ; te = 242 ;
xinit [rO vO ; gamO ; fluxO ] i
options odeset('events' ,@events,'RelTol',le-6);
[t,x] ode113(@systdim3,range,xinit,options)i
disp( [/altitude finale: ' num2str(x(length{tl,l)-rt) / m'])
disp( ['vitesse finale: ' nurn2str(x(length(t),2) , rn/s'])
disp( ['gamma final: ' nurn2str(x(length(tl,3}/pi*180) / deg'])
disp( ['flux total: ' nurn2str(x(length(t} ,4) , UI'])
for i=l:length(t)
gee=g(x(i,l) i densite(i)=rho(x(i,l) j
cle(i) (x(i,2);
cdli) (x(i,2)) ; cl(i)=CLsimplelx(i,2))
end
flux_thermique = Cq.*sqrtldensite(:)) .*(x(:,2}) .A3
plot (t, flux_thermigue}
hold on i plot(t,717300, 'red')
title('Flux thermique'}
figure
subplot (311)
subplot(312)
subplot (313)
%------
plot (t, x (:,1) -rt} i title (' Altitude') i
plot(t,x(:,2)} title('Vitesse');
plot(t,x(:,3 ; title('Angle de vol')
function [value,isterminal,direction]=events(t,x)
global gO hs Omega rt Cg;
%% Arret a vitesse 445 ou altitude 10000 (en cas d'accident ... )
Contrle opti mal et stabi lisation d' une navette spatiale 141
142
value (x (2) -445) * (x(l) -rt-10000)
isterminal=l;
direetion:Oi
%--- ------------------------------ ------------------------
function dXdt systdim3(t,X,events)
% Systme simplifi de la navette en r,v/gamma (dim 3 + flux)
global Omega gO hs rt Cq i
r=X(l) i v ~ X ( 2 ) i gam=X(3)
dXdt:[v*sin(gam)
-g(r)*sin(gam)-coef_k(v)*rho(r)*(v)"'2
cos (gam) * (-g(r)/v+v/r}+2*Omega+coef_kp(v)*rho(r)*v*u(t ,r,v,gam)
Cq*sqrt(rho(r*v
A
3) ;
%---------- ---- ---------- ---
function controle:u(t,r,v,gam)
% Contrle pour le problme sans contrainte
global te ;
if t.::tc
controle -1
else controle == 1
-1 puis +1.
%- -------------------- -------------------- --------------
function locdensite rho(r)
global hs rt
locdensite = 1.225*exp(-1/hs.*(r-rt
%-- - - - - - - ~ - ~ - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - ~ ~ - - - - - - - - ~ - - - - - -
function ge=g(r)
global gO i
ge = gO./r.
A
2
%--------- ---------------
function k = coef_k (v)
11:. == 0.5*15.05* CDsimple(v) /7169.602 ;
%- .... _----------
function lep = coef_kp (v)
kp == 0.5*15.05* CLsimple(v) /7169.602 ;
%--- ----- ----
function ed=CDsimple(v)
if v ::> 3000
Principe du maximum de Pontryagin
cd=O 585 ;
elseif v>1000
cd 0.075+1.7e-4*v
else cd= 0.245 ;
end
%-------------------------
function cl=CLsirnple(v)
if v > 3000
cl=0.55
else cl = O.1732+1.256e-4*v
end
Les rsultats obtenus sont tracs sur les figures 7.12 et 7.13. On se rend compte que
cette stratgie ne permet pas de respecter la contrainte sur le flux thermique, et n'est
donc pas adapte au problme. La prise en compte de certe contrainte sur l'tat est
donc indispensa ble
Figure 7.12. Coordonnes d'tat pour le problme sans contrainte.
le problme avec contrainte sur l'tat
On tient maintenant compte de la contrainte sur le flux thermique. On admet le
rsultat suivant (voir [13],[14]).
l\J Contrle optimal et stabilisation d'une navette spatiale 143
Figure 7.13. Flux thermique, cr angle de gte (contrle).
Proposition 7.22 D La trajectoire optimale vrifiant les conditions initiale
et finale requises est constitue des quatre arcs conscutifs: u = -1,
Il + 1, un arc frontire correspondant un flux thermique maximal,
puis li +1.
Comme pour le problme sans contrainte, on a trois temps de commutation cal-
culer numriquement:
le temps de commutation t1 de -1 +1,
- le temps de commutation t 2 de + 1 li s, o Us est l'expression du contrle
permettant un flux thermique maximal,
- le temps de commutation t3 de Us +1.
Calcul du contrle iso-flux Us Le long d'un arc frontire restant flux thermique
maximal, on doit avoir t.p cpmax. Par drivation, on obtient
(
lu. 3go . "tk)
cp - ? - sm l - sm l -.) pu,
- hs
/j) =A +Bu,
o les coefficients A et B sont calculs l'aide de Maple. Le long de l'arc frontire
iso-flux, on doit avoir
cp(t) cpmax, :J(t) /j)(t) 0,
d'o l'on dduit
144 C h; p r t i (: ! Principe du maximum de Pontryagin
A (t)
- B (t)'
L'expression obtenue pour tt s (t) est
Ils =(gor
2
v
2
+ 7kpv
4
r
4
siu
t
r
3
z,4 cos
1
t
1!1r
4
v
3
cos,
1'" .., 1.., ")
-18g
o
hsrv- coS- "'1- 6g

hs + 12g(jb
s
co t + 12g0bsrv-
- 120gohsr
2
v cOS"Y + 6k2hsrir4v4)
l(k'r
2
v
2
p(r
2
v
2
+6g0hs)cos,).
Remarque 7.19. Les simulations venir nous permettront de vrfer a poste-
riori que ce contrle Us est bien admissible, i.e. vrifie la contrainte lus 1 ::;;; 1,
pendant la phase iso-flux.
Simulations numriques Le temps de commutation t 1 est calcul de la manire
suivante. On intgre le systme (7.34) jusqu' ce que cp = 0 (en utilisant l'option
evellts. On calcule alors t 1 par dichotomie de faon ajuster t.p sa valeur maxi-
male i.pIHax en ce temps d'arrt.
La boucle de dichotomie, qu'il faut insrer la fonction (simudim3.m,. du para-
graphe prcdent, est la suivante.
global tl i tl = -5 ; flux=O
while flux<717300
end
global tl; tl = tl+5
xinit = [ rO i vO ; gamO ; fluxO ] ;
options = odeset('events' ,@events);
[t,x] = odel13(@systdim3,range,xinit,options};
flux=Cq*sqrt(rho(x(end,1}))*x(end,2)3
a=tl-10 i b ~ t l ; fluxm=flux
while abs(fluxm-7173DO) >50
global tl; tl=aj
xinit = [ rO ; vO i gamo ; fluxO J ;
options odeset('events' ,@events,'RelTol',le-6};
[t,x] = odel13(@systdim3,range,xinit,options)j
fluxa=Cq*sqrt(rho(x(end,l)) )*x(end,2)A3
global tl; tl=b;
xinit (rD; vO i gamO ; fluxO ] ;
options odeset('events' ,events, , RelTol' ,le-6);
[t,x] = odel13(@systdim3,range,xinit,options) j
fluxb=cq*sqrt(rho(x(end,1)})*x{end,2)A3
global t1i tl={a+b)/2 i
xinit [rD; vO ; gamO ; fluxO ] ;
options = odeset('events' ,@events,'RelTol',le-6)i
[t,x] odel13(@systdim3,range,xinit,options);
fluxm=Cq*sqrt(rho(x(end,1}))*x(end,2)3
if (fluxa-717300}*(fluxm-717300}<=O
b=(a+bl/2
Contrle optimal et stabilisation d'une navette spatiale 145
end
else a=(a+b)!2
end
Par ailleurs, la fonction events doit tre modifie ainsi.
function (value,isterminal,directionl=events(t,x)
global gO hs Omega rt Cgj
%% Arret a derivee(flu:x)=O :
value = -1!2*x(2)!hs*sin(x(3))-3!x(2)!x(1)A2 *gO*sin(x(3))- ...
3*x(2)*coef_k(x(2))*rho(x(1) )
isterminal=lj
direction=Oj
On dtermine ainsi numriquement le premier temps de commutation t 1 = 153.5.
Le temps de sortie de la phase iso-flux est dtermin de manire complrement ana-
logue. Finalement, on arrive aux rsultats reprsents sur les figures 7.14 et 7.15.
200 400
04
1
0.2r
: :f'----------
o 200 '100
600 BOO 1000 1200 1400
Annlo do val


"',
\

@O 000 1000 1200 IJOQ
Figure 7.14. Coordonnes d'car pour le problme avec contraintes.
On a donc ainsi dtermin numenquement une trajectoire optimale vrifiant les
conditions aux limites souhaites, et respectant les contraintes sur l'tat.
Remarque 7.20. Pour le modle non simplifi en dimension 6, ce n'est pas le
cas: les contraintes sur le facteur de charge et sur la pression dynamique ne
som pas respectes, et il faut envisager une phase iso-acclration normale
(voir [13],[14]).
Principe du maximum de Pontryagin
Figure 7.15. Flux thermque ct contrle li (t).
3. Stabilisation autour de la trajectoire nominale
On se propose maintenant de stabiliser le systme simplifi autour de la trajectoire
construite dans le paragraphe prcdent, de faon prendre en compte d'ventuelles
perturbations, dues aux erreurs de modles, aux perturbations atmosphriques, etc.
Pour cela, on va utiliser la thorie linaire-quadratique traite prcdemment dans
cet ouvrage, qui permet d'exprimer le contrle sous de boucle ferme, au
voisinage de la trajectoire nomimale, de faon la rendre stable.
Le systme tudi est un systme de contrle non linaire dans lPl
lt
, du type
;(t) = f(x(t),u(t)),
o f : IR
If
X JR.11I JR.1/ est Cl, et les contrles admissibles Il sont valeurs dans
nc)Rm. Soit (XL' ( . ),lll.'()) une trajectoire solution sur [O,T], telle que pour tout
Q
tE r01Tl on aittt(t) En.
Supposons que le systme soit lgrement perturb, ou bien que l'on parte d'une
condition initiale proche de Xe (0), et que l'on veuille suivre le plus possible la tra-
jectoire nominale Xe ( ). Posons alors y ( . ) = x ( . ) - Xe ( ) et v ( . ) = li ( . ) -lt e ( ).
Au premier ordre, y ( . ) est solution du systme linaris
j, ( t) = A ( t )y ( t) + B (t ) li ( t ),
o
A (t)
af 8f
( Xc (t ), Il c ( t )), B ( t) = -8 (x c ( t ),lI L' (t ) ) .
LI
Contrle optimal et stabilisation d'une navette spatiale 147
Le but est alors de rendre l'erreur y ( . ) la plus petite possible, ce qui nous amne
considrer, pour ce systme linaire, un cot quadratique du type (4.2), o les ma-
trices de pondration Ql W, U sont choisir en fonction des donnes du problme.
Il s'agit, au premier ordre, d'un problme de poursuite avec E, = xc' En particulier
on a h = 0 pour ce problme.
C'est cette stratgie que l'on adopte pour stabiliser la navette vers sa trajectoire de
rfrence.
Pour tenir compte de la contrainte sur le contrle, il faut d'abord modifier la tra-
jectoire nominale XI! ( ) obtenue prcdemment de faon ce qu'elle respecte la
nouvelle contrainte sur le contrle lu L' 1 :S; 1 - E, o E est un petit paramtre. On
choisit par exemple E = 0.05. On trouve alors de nouveaux temps de commutation,
qui sont
tl = 143.59, t2, = 272.05) t3 = 613.37.
Dans le programme suivant, on implmente l'quation de Riccati. Celle-ci est
intgre en temps inverse puisqu'on se donne une condition finale. Il faut donc en-
suite rtablir le cours normal du temps en symtrisant la matrice de discrtisation ob-
tenue. Enfin, le contrle boucl obtenu est rinject dans le systme initial. Les simu-
lations sont effectues en prenant des conditions initiales proches, mais diffrentes,
de celles de la table 7.1.
function stabdim3
% Stabilisation de la navette, en dimension 3, par Riccati.
clc ;
global gO hs rt Cq Omega 8 mi
Omega=7.292115853608596e-005 gO=39B00047e7; hs=7143
rt=6378139 Cq = 1.705e-4 j 8=15.05 i m=7169.602 ;
range = [0 inf 1 ;
%% Debut de la trajectoire (aIt. 120000 km) :
rO = O.64979590000E+07 j vO = 0.74049501953E+04
gamO = -O.32114058733E-Ol j fluxO = 0 j
%% Entree dans la phase iso-flux :
rO=6.44391991362354ge+06 j vO=7.243006878621867e+03
gamO=-O.00319355995196
global tl t2 t3 i
%tl=-l i t2=tl ; t3=533.75-268.9198
%tl=143.5908945796609 j t2=272.0484928785223 ; t3=613.3766178785223
tl=-1 ; t2=tl j t3=613.376617878522-272.0484928785223
xinit = [ rO j vO i gamO ; fluxO ] i
options = odeset('events' ,@events, 'RelTol' ,le-6)
global te xe j
%% trajectoire nominale
[te,xe] = odeI13(@systdim3,range,xinit,options)
148 (t':;;;:;,,'.' Prncipe du maximum de Pontryagin
%% Definition des poids
global W invU i
W = eye (3 ) ; W ( l, l ) = le - 6
invU "" le-ID ;
vl(2,2)=le-3 \1(3,3)=10
global tricca ricca ;
minit == - [ le-6 ; 0 ; 0 ; 0 ; 0 ; 0 1 ; % E(T)=-Q
rangericca = fliplr(tel j
[tricca,riccaJ = odel13(@matriccati,rangericca,minit)
ricca = flipud(ricca) i
xinit=[ rD ; vO ; gamO 1 ;
[t,x] = odel13(@systboucle,te,xinit+[ 1500
close aIl
x(end,l)-rt
plot (t, x ( : ,1) -xe ( : ,1) )
figure; plot(t,x(:,2)-xe(:,2
figure; plot(t,x(:,3)-xe(:,3
for k=l:length(te)
end
contfeed(k)=uboucle(t(k j
conte(k)=u(t(k) ,xe(k,l) ,xe(k,2) ,xe(k,3);
figure i plot (t, contfeed-conte)
40 -0.004 ] )
%--------------------------------------------------------------
function (value, isterminal,direction] =events (t,x)
global gO hs Omega rt Cq;
%% Arret a vitesse 445 ou altitude 10000
value = (x(2) -445) * (x(l) -rt-lOOOO) ;
%% Arret a derivee(flux)=O :
% value == -1/2*x(2)/hs*sin(x(3-3/x(2)/x(1)2*gO*sin(x(3- ...
% 3*x (2) *coef_k (x (2) , x (1) ) *rho (x (1) )
isterminal=l;
direction=Oi
%--------------------------------------------------------------
function dXdt == matriccati(t,X)
% Eq de Riccati dE/dt=W-A'E-EA-EBU{-l}B'E, E(T)=-Q,
% en temps inverse
global W invU i
E = ( X(I) X(2) X(3)
X(2) X(4) X(5)
X(3) X(5) X(6} ];
[A,E] == matlinear(t)
%% matrice de Riccati (symetrique)
mat = -W+A'*E+E*A+E*B*invU*B'*E
dXdt = (mat(l,l) imat(I,2) imat(I,3) imat(2,2) imat(2,3) imat(3,3)
%--------------------------------------------------------------
function [matA, matS]
global te xe gO hs S m
[val,k]=min(abs(te-t
if ((v<=lOOO) 1 (v>3000)
matlinear(t}
r=xe (k, 1)- v=xe(k,2) gam=xe(k,3)
_,f : ~ i ' > 1'-/ Controle optimal et stabilisation d'une navette spatiale 149
derCD=Oi
else
derCD=1.7e-4;
end
if (v>3000)
derCL=O;
sIse
derCL=L 256e-4;
end
matA=zeros(3,3):
matA(l,2)
matA(l,3)
matA(2,1)
matA(2,2)
matA(2,3)
matA(3,l)
matA(3,2)
matA(3
/
3)
sin (gam)
v*cos(gam) i
;
-rho(r)/(2*m)*S*derCD*v

2-coef_k(v)*rho(r)*2*v
-g (r) *cos (gam) i
cos(gam)*(2*gO/(r3*v)-v/rA2)- ...
coef kp(v)*rho(r)/hs*v*u(t,r,v,gam) ;
cos(gam)*(g(r)/vA2+1/r)+rho(r)*u(t,r,v,gam)* ...
S/(2*m)*(derCL*v+CLsimple(v))
-sin(gam) * (-g(r)/v+v/r) ;
matE [0; 0 i coef_kp(v}*rho(r)*v ]
%----- ----------- --------- --------
function dXdt systboucle(t,X)
% systeme tronque de la navette en r,v,gamma (dim 3 + flux)
global Omega gO hs rt Cq i
r=X (1) ; v=X (2) i gam=x (3)
dXdt= ( v*sin(gam)

cos (gam) * (-g(r)/v+v/r}+2*Omega+ ...
coef_kp(v) *rho(r) *v*uboucle(tl ] j
%----------------- -------- ---------------------------------
function contfeedback = uboucle(t)
global te xe invU S m ricca i
[A,B) = matlinear(t) ;
[val,k] min(abs(te-t)) i r=xe(k,l) ; v=xe(k,2) ; gam=xe(k,3)
contfeedback u(te(k) ,r,v,gam)+invU*coef_kp(v)*rho(r)*v* ...
(ricca(k,3) *r+ricca(k,5) *v+ricca(k,6) *gam) ;
Quelques commentaires sur le programme. On effectue la procdure de stabili-
sation de Riccati partir de l'entre dans la phase iso-flux seulement, soit environ
une altitude de 6S km, une vitesse de 7200 mis, et un angle de vol de -0.003 rad.
En effet la phase iso-flux (flux thermique maximal) est la phase la plus dangereuse
150 ChapitrE: 7 1 Principe du maximum de Pontryagin
de la rentre atmosphrique. Notons d'ailleurs que, rcemment, la navette Colum-
bia a explos une altitude d'environ 62 km, en pleine phase iso-flux (ce drame
a eu lieu en mars 2003). C'est la phase o l'engin spatial s'chauffe le plus: les
frottements avec l'atmosphre sont trs intenses. Cette phase iso-flux est aussi assez
longue, environ 350 secondes (la dure totale de la phase de rentre atmosphrique
est d'environ 1300 secondes).
Figure 7.16. Phase il flux thermique maximal
Tout ceci justifie l'intrt port la procdure de stabilisation de la navette, partir
du point d'entre dans la phase iso-flux. Dans les simulations suivantes ce point
d'entre est donc notre condition initiale.
Notons Xe ( . ) = (1'e ( ),V
e
( . ), le ( . )) la trajectoire nominale et li e ( . ) son contrle
associ. Il vrifie Ille 1 ~ 0.95. Notons par ailleurs x = (r,v,') la trajectoire du
systme (7.34), partant d'un point x (0) et associe au contrle Il li e + v, le
contrle v tant le correctif calcul par la procdure de Riccati. Il doit vrifier la
contrainte Iv 1 ~ 0.05. Aussi, dans le programme ci-dessus, on a forc v respecter
cette contrainte.
Par ailleurs le choix des poids est trs important. On obtient des poids adapts par
ttonnements, et en tenant compte de l'ordre respectif des variables du systme. Ici
on a pns
(
10-
6
W= 0
o
Bien entendu d'autres choix sont possibles. Ici notre choix de Q force l'altitude
finale tre proche de l'altitude souhaite. En revanche on laisse plus de libert la
vitesse finale et l'angle de vol final.
La trajectoire x ( . ) part d'un point x (0) diffrent de Xe (0). On a pris les donnes
numriques suivantes:
i'-/ Contrle optimal et stabilisation d'une navette spatiale 151
- cart sur l'altitude initiale: 1500 m,
- cart sur la vitesse initiale: 40 mis,
- cart sur l'angle de vol initial: -0.004 rad, soit -0.2292 deg.
Les rsultats numriques obtenus sont assez satisfaisants: l'altitude finale obtenue
est 15359 km, et la vitesse finale est 458 mIs. L'cart par rapport aux donnes sou-
haites (altitude 15 km, vitesse 440 mis) est donc assez faible.
Notons que l'cart sur l'angle de vol initial que nous avons pris ici est assez impor-
tant. Cerre pente initiale est en effet un paramtre trs sensible dans les quations: si
l'entre de la phase atmosphrique l'angle de vol est trop faible, alors la navette va
rebondir sur l'atmosphre (phnomne bien connu, dit de reb011d), et si au contraire
il est trop important il sera impossible de redresser l'engin, qui va s'craser au sol.
Les figures suivantes sont le rsultat des simulations numriques. La figure 7.17
reprsente l'cart entre l'tat nominal et l'tat rel, et la figure 7.18 l'cart entre
le contrle nominal et le contrle rel (contrle boucl, ou contrle feedback). La
figure 7.19 reprsente l'tat, et la figure 7.20 le flux thermique. On constate que la
contrainte sur le flux thermique est peu prs respecte. On peut conclure que la
procdure de stabilisation ainsi ralise est satisfaisante.
152 Cfldpiln:' 7 ! Prncipe du maximum de Pontryagin
ecan d lliludi!

2000
0 100 200 300 400 500 600 700 600
ecart de vilesse
100

50 .

100 ----1
0 100 200 300 400 500 600 700 800
ecart sur 1 angle de vol
0.02
0.01 .

\/
0.01
0 100 200 300 400 500 600 700 BOO
Figure 7.17. Ecart entre l'tat nominal et l'tar rel.
{LC;':
O,Q.l
0,00
100 ;m
500
400 500 000 700 500 m
900
900
9{)Q
Figure 7.18. Comrle boucl, et correcrion par rapporr au contrle nominal.
" 1\: Contrle optimal et stabilisation d'une navette spatiale 153
Figure 7.19. Emt avec le contrle fcedback.
Figure 7.20. Flux thermique avec le contrle feedback.
154 Principe du maximum de Pontryagin
CHAPITRE 8
Thorie d'Hamilton-Jacobi
PARTIE 1
Introduction
La thorie d'Hamilton-J:1cobi est une branche du calcul des variations et de la
mcanique analytique, dans laquelle trouver des extrmales se rduit rsoudre une
quation aux drives partielles du premier ordre: l'quation d'Hamilton-Jacobi.
Les fondements de la thorie ont t pos par Hamilton en 1820, concernant des
problmes d'optique ondulatoire et gomtrique. En 1834, il tend ses ides des
problmes de dynamique. Jacobi en 1837 applique la mthode des problmes
gnraux de calcul variationnel.
Le point de dpart remonte cependant au 17 sicle, avec Fermat et Huygens en
optique gomtrique. Le principe de Fermat stipule que ]a lumire se propage d'un
point un autre dans un milieu inhomogne en temps minimal. Soit x 0 un point
de dpart, et S (x) le temps minimal que met la lumire pour aller de Xo x. Cette
fonction temps minimal est appele fonctio11 Ei/?ollal, ou longueur optique du che-
min. Soit v (x) le module de la vitesse de la lumire en x. Supposons que la lumire
parcourt la distance dx pendant la dure dt. Selon le principe d'Huygens, la lumire
voyage le long de la normale la surface de niveau de S. On obtient donc, au premier
ordre,
(
\7S(x) )
S x + [[\7S(x )11 v(x )dt = S(x) + dt,
d'o l'quation
qui est l'quation d'Hamilton-Jacobi de l'optique gomtrique, ou quation eiko-
nale.
j Introduction 155
156
En mcanique analytique, on remplace la fonction Eikonal par l'action
S(t,x) = lL(s,x(s),;(s))dS,
./1
o l est un chemin joignant (to,xo) (t,x), et L est le Lagrangien du systme. Le
principe de moindre action conduit aux quations d
J
Euler-Lagral1ge
d aL aL
dt a; = x'
Si la transformation de Legendre T ( x , ~ ) = (x,p), o p
aL
-. , est un
ax
diffomorphisme, on dfinit le Hamiltonien du systme H(t,x,p) = p; L(t,x,::':).
Alors, le long d'une extrmale (i.e. une courbe vrifiant les quations d'Euler-
Lagrange), on a S(t,x(t),;(t)) J't L(s,x(s),x(s))ds, et par drivation par rap-
10
. . as as
port a t, on obtient at + = L, d'o
as (as)
at + H t,x, ax
0,
qui est l'quation d'Hamilton-Jacobi.
PARTIE Il
Solutions de viscosit
De manire gnrale, on tudie le problme de Dirichlet pour l'quation d'Hamilton-
Jacobi
H (x,S (x), \lS (x)) 0 dans 0;
S g sur ao;
o n est un ouvert de ]RI! , et H est une fonction sur]R1Z x IR X RIZ
Remarque 8.1. Le cas d'une quation d'Hamilton-Jacobi d'volution
as as
+ H(x,-) 0 dans]Pl x IR",
- x
S ( 0, x ) g (x) su r IR'Z,
1 Thorie d'Hamilton-Jacobi
(8.1 )
(8.2)
est un cas particulier de (8.1). En effet il suffit de poser; (t) p- ( )
,x, = Po,p ,
et H ( ~ ) Z l P ) Po +H(x,p).
Le but de cette section est de donner un cadre mathmatique rigoureux la
dfinition d'une solution du problme (8.1). On va montrer que la notion clas-
sique de solution est insuffisante: la mthode des caractristiques met en vidence
l'apparition de sngu1arits. On introduit alors la notion de solution de viscosit.
1. Mthode des caractristiques
On introduit des chemins x (s) dans n, partant de an, appels caractristiques, le
long desquels on rsout l'quation et on obtient les valeurs de S.
Posons Z(5) = S(X(5)) et p(s) = vS(x(s)), et cherchons une quation
diffrentielle ordinaire dcrivant l'volution de Z et p. On a
~ (5) = vS (x (5 ) ) .; (s) = p (s ) .; (s), ,; (5) = d
2
S (x (s ) ) .; (s ) .
Or, en diffrentiant Pquation d'Hamilton-Jacobi H (x,S (x), "QS (x)) = 0 par rap-
port x, on obtient
Choisissons alors le chemin x (s) tel que;
aH aH
p = - ax - az .p.
Finalement, les quations
aH .
ap . Il vient alors z
. aH -
x (s ) ap (x (s ), z (s ), p (s )), x ( 0) = x E a0;
. aH - -
z (s) = p (s ). ap (x (s ), Z (s ), p (s )), p ( 0) = S (x) = g (x ),
aH
p. ap , et
M ~ -
p(s) = (x(s),z(s),p(s)) - az (x(s),z(s),p(s)).p(s), p(o) = vS (x),
sont appeles quations caractristiques.
Remarque 8.2. Dans le cas d'volution (8.2), on obtient en particulier
dt .
ds = 1, donc t = s, et Po = O. On a galement
aH aH
x = Bp' P --a'
x
1 Solutions de viscosit 157
qui sont les quations de Hamilton. Enfin, on retrouve aussi
aH
Z = fJ ap + Po = px + Po,
avec Po + H H 0, d'o ~ = p; - H L, et donc z est l'action.
Autrement dit, les caractristiques sont les extrmales du problme de mi-
nimisation de l'L1ctio1l (en tout cas si la transformation de Legrendre est un
diffomorphisme) .
Appliquons la mthode des caractristiques la construction d'une solution de (8.1)
au voisinage de la frontire.
Pour tout x E an, notons (x (x,5 ),z (x,s ),p ( ~ 5 ) ) la solution des quations ca-
ractristiques. Notons tt la normale an. Sous l'hypothse aa
H
-1= 0, on montre
11
facilement que, localement en (;;5), l'application cp(x,s) x (X,5) est inversible.
On en dduit donc, localement, que
Remarque 8.3. Dans le cas d'volution, l'hypothse aa
H
-1= est toujours
11
vrifie.
Remarque 8.4. Si g et H sont de classe Cl, alors localement la solution S est
de classe Cl.
En faisant cette construction au voisinage de tout point de an, puis en recollant les
voisinages, on obtient une solution S de (8.1) sur un voisinage de an dans n. Dans
le cas d'volution (8.2), on obtient une solution pour t
Mais en gnral, on ne peut pas prolonger S sur n tout entier, car des singularits
se produisent lorsque des caractristiques se croisent (voir figure 8.1).
Exemple 8.10. Un exemple simple de cette situation est donn par le problme de
Dirichlet pour l'quation eikonale
IIS(x)1I
2
= 1 dans st,
5 = 0 sur an.
(8.3) .
Les quations caractristiques sont
x = 2p, P = 0, Z = p.1< 2.
Si x(O) = x, z(O) = O. et p(O) = n normal an, alors x(s) x + 2sn, et
z(s) IIx(s) xii. Finalement, on trouve que la solution de (8.3) est
S(x) = d(x,an),
comme on pouvait s'y attendre. La fonction 5 n'est pas diffrentiable sur la courbe
C o des caractristiques se croisent, appele eut-locus.
c
Figure 8. L Croisement des caractristiques
Par consquent, en gnral il n'existe pas de solution globale de classe Cl sur n. n
faut donc chercher un concept de solution gnralise.
On pense d'abord au thorme de Rademacher, selon lequel toute fonction lipschit-
zienne est diffrentiable presque partout. Il est donc tentant de dfinir une solution
gnralise de (8.1) comme tant une fonction S lipschitzienne sur ri, solution de
l'quation d'Hamilton-Jacobi presque partout. Nlalheureusement ce concept est (de
loin) trop faible pour avoir unicit et stabilit par passage la limite dans Loo,
comme on peut le voir sur les deux exemples suivants.
Exemple 8.11. Le problme
as (a5)2
at + {)x = a p.p. sur lR x la, + ocl
5(0, . ) = 0,
a au moins deux solutions
- 5(t,x) = D,
{
a si Ixl ~ t,
- 5(t.x) =
. -t + Ixl si Ixl < t.
Exemple 8.12. Le problme
1
85
1=1 p.p.surl0,1[, 5(0)=5(1)=0,
ax
admet une infinit de solutions gnralises (voir figure 8.2).
En particulier, il existe une suite (5
n
) de solutions convergeant uniformment vers
a, et pourtant a n'est pas solution.
l Solutions de viscosit 159
160
1
Figure 8.2. Infinit de solutions
Ce concept de solution est donc insuffisant.
2. Dfinition d'une solution de viscosit
On cherche un concept de solution ayant les proprits suivantes:
- il existe une unique solution S de (B.I), dpendant continment de g et H;
- on a stabilit par passage il la limite vanescente, i.e. si H(x,Se, \7S,,;) = 6 S ~
pour tout > 0 petit, alors S; --l> S lorsque tend vers 0;
- si (B.l) est l'quation d'Hamilton-Jacobi d'une fonction valeur d'un problme
de contrle optimal, alors la fonction valeur est l'unique solution de (B.l).
L'ide de dpart est en fait de rgulariser l'quation (B.l) en lui ajoutant le terme
6S (mthode de viscosit vanescente), car pour une EDP quasi-linaire du second
ordre on sait montrer qu'une solution rgulire S!,: existe, et de plus on dispose
d'estimations uniformes sur tout compact, ce qui permet les passages la limite.
Le concept de solution qui convient est celui de solution de viscosit, introduit
par [22] au dbut des annes 80, et que l'on rappelle ici dans le cadre d'quations
d'Hamilton-Jacobi du premier ordre.
Soit n un ouvert de IR
u
, H une fonction continue sur 0 x IR X ]R'I , appele Hamilto-
nien, et g une fonction continue sur ao. Considrons l'quation d'Hamilton-Jacobi
du premier ordre sur n
H(x,S(x),\7S(x)) = o. (8.4)
1 Thorie d'Hamlton-Jacobi
On rappelle tout d'abord la notion de sous- et sur-diffrentiel.
Dfiniticm 8.1 ., Soit S une fonction sur n. Le sur-diffrelltiel en un point
x E n est dfini par
D+S(x) = {p E IR
'1
Ilimsup SCy) -S(x) - (p,y x) ~ O}.
)'-x Ily-xll
De mme, le sous-diffrentiel en x est
() {
11 1 f _S (-,--Y _) ---:-:-S (_x -'--) ------:-:-(p_, )1 ___ . x ~ A ) O}
D-S x = P E lR l i ~ ~ ~ Ily -xII ;).
Remarque 8.5. On a les proprits suivantes.
- Soit S une fonction continue sur n.
- P E D+S(x)
{::}
:lep E
C1(O) lep
\7rp(x)=p.
- P E D-S(x)
{::}
E C
1
(n)lrp
\7rp(x) p.
) S, ep(x)
~
S, rp(x)
S(x ),
S(x )j
- Si S est diffrentiable en x alors D + S (x) = D - S (x) = {\7S (x n.
- Si D + S (x) et D - S (x) sont non vides, alors S est diffrentiable en x.
- L'ensemble des points de il tels que D+S(x) (resp. D-S(x)) soit non
vide est dense dans n.
Dfinlton 8.2 1;> Soit S une fonction continue sur n. La fonction S est dite
sur-solution de viscosit de l'quation (8.4) si
Vx E il Vp E D+v(x) H(x,v(x ),p) ~ o.
De mme, S est une sous-solution de viscosit de (8.4) si
VxEn VpED-v(x) H(x,v(x),p);)O.
Finalement, S est une solution de viscosit de (8.4) si elle est la fois
sous-solution et sur-solution.
Remarque 8.6. Si S est une solution de viscosit nulle part diffrentiable, on
impose des conditions l o D S (x) #- 0, i.e. sur un ensemble dense.
Remarque 8.7.
- Si S est une solution de classe Cl, alors S est aussi solution de viscosit.
i Solutions de viscosit 161
162
- Rciproquement, si S est solution de viscosit, alors en tout point x de
n o S est diffrentiable, on a H(x,S(x),\7S(x)) O.
Ceci assure la cohrence avec la notion classique de solution. En particulier, si
S est lipschitzienne, alors l'quation d'Hamilton-Jacobi (8.4) est vraie presque
partout.
Exemple 8.13. la solution de viscosit du problme
est
1
05
1
ox - 1 = 0 sur ]0, 1L 5 (0)
5(1 )
{
X si 0 ~ x ~ 1/2,
5(x) =
1 - x si 1 /2 ~ x ~ 1.
0,
Remarquons toutefois que 5 n'est pas solution de viscosit de 1
1
85
1
O. No-
tons auss que cette solution est bien 5 (x) = d(x,oD.). Enfin, remarquons que,
parmi l'infinit de solutions de ce problme. 5 est la seule pouvoir tre obte-
nue comme limite de viscosit vanescente. En effet, toute autre solution admet
au moins un minimum local strict dans ]0,1[. Or si 5" converge uniformment vers
S, avec 1'V5,,1 1 = c65;:, et si on note x;:: un minimum local strict de 5", alors
'VS;::(x;) 0 et 65;::(x,:) ?3 D, ce qui est absurde.
On a les rsultats suivants (voir [22],[7],[8]).
Thorme 8.19 Q Soient n un ouvert born de !RI! ,g une fonction continue
sur an, et H : n x R't -+ IR une fonction continue, uniformment
continue en x au sens o il existe une fonction w continue
et croissante, avec w( 0) = 0 telle que
IH(x,p) - H (y,p)1 ~ w(llx y IIU + IIp 11))
Alors le problme de Dirichlet
S(x) + H{x
7
\7S(x)) 0 dans ~
Sion = g,
admet au plus une solution de viscosit.
1 Thorie d'Hamilton-Jacobi
Thorme 8.20 COI Soient g une fonction continue sur IR
IJ
, et H [a, T] x
IR" x -+ lR telle que
IH(t,x,p) - H(s,)',p)l:s;;; C(lt -51 +!lx yll)(l + IIpll),
IH (t,x,p ) - H (t,x,q ) 1 :s;;; C IlfJ - q II
Alors le problme de Cauchy
as ( as) d ] T[ . Il
a
t + H t,x, a. = a ans a, x iR ,
x ,
S (0, . ) = g( . ),
admet au plus une solution de viscosit borne et uniformment continue.
Il exste beaucoup de thormes de ce type. Ce sont des rsultats d'unicit, sous des
conditions fortes.
Une mthode pour prouver l'existence d'une solution de viscosit est de rgulariser
par une viscosit vanescente, de prouver l'existence d'une solution rgulire St:, puis
de faire des estimations uniformes pour passer la limte (voir [221). Un autre moyen
de prouver d'obtenir des rsultats d'existence (moins gnral cependant) et d'utiliser
la thorie du contrle optimal, en montrant que la fonction valeur associe un
problme de contrle optimal est solution de viscosit d'une quation
Jacobi. C'est l'objet de la section suivante.
Exercice 8.34. Soient g une fonction continue sur]Rn 1 et H : IR
n
lflI une fonction convexe
telle que
H(p)
-- --: +00.
IIp Il IIp 11-+00
En montrant que les caractristiques sont des droites, montrer que la solution de viscosit
du problme de Cauchy
as as
+ H( ax) a dans !Rn X ]0, + 00[,
S (0, . ) = 9 ( . ) su r ]Rn,
est, pour tout t =? a,
o L est le Lagrangien associ au Hamiltonien H, i.e. L(v) = sup ((PlV) - H(p)). Cette
p""Rn
formule s'appelle formule de Hopf-Lax.
i Solutions de viscosit 163
164
PARTIE III
Equations dlHamiiton-Jacobi en contrle optimal
1. Equations d'Hamilton-Jacobi d'volution
Dfinition de la fonction valeur
Soit T > 0 fix et U C IR
"I
un compact non vide. Pour tout t E ]0, T] et tout
x E IR
It
, considrons le problme de contrle optimal gnral suivant: dterminer
une trajectoire solution sur [O,t.! du systme de contrle
;;fI(S) f(Xrt(s),ll(sn ll(S) E U,
xu(t) x,
qui minimise le cot
C(t,u) = t f(xu(s),u(s))ds +g(xlI(O)),
Jo
le point initial x (0) tant libre, et le temps final t tant fix.
(8.5)
(8.6)
Dfinition 8.3 Soit x E !Rif. Dfinissons la fonctio11 valeur S sur [0, T] x
Rtl par
S (t,x) inf{ C (t,u) 1 x ri ( ) solution de (8.S)}.
La fonction valeur est la gnralisation du concept de distance. Par exemple en
gomtrie Riemannienne elle gnralise le concept de distance Riemannienne.
Remarque 8.8. Il est bien clair que S (O,x) = g(x).
l'quation d'Hamilton-Jacobi
Etablissons tout d'abord formellement l'quation d'Hamilton-Jacobi. Supposons
que pour tout t E ]0, T] et tout x E R" il existe une trajectoire optimale x /1 ( )
solution du problme de contrle optimal (8.5), (8.6) (voir thorme 6.1S). On a
alors x = x li (t), et donc
S(t,x) = S(t,xu(t)) = C(t)tl) = t f(xli(s):u(s))ds +g(xl/(O)).
Jo
j Thorie d'Hamilton-Jacobi
En drivant formellement par rapport t, on obtient
et donc
as as
-a (t,x)+-a (t,x)f(x,u(t)) f(X,ll(t)) =0.
t x
Introduisons par ailleurs le Hamiltonien du problme de contrle optimal
H (X,I),P D,li) = (P,((X,ll)) + P of (x,tt).
D'aprs le principe du maximum, le contrle optimal u ( . ) doit vrifier
H (x (t ),p (t ),fJ o,t{ (t)) max H (x (t ),p (t ),p O)u).
LIEU
On obtient par consquent
o as as 0
-p -a (t,x)+maxH(x,-p -a (t,x),p ,1I)=0. (8.7)
t vEU x
L'quation (8.7) est l'quation gnrale dite de Hamilton-Jacobi-Bellman en contrle
optimaL
Remarque 8.9. S'il n'y a pas d'extrmale anormale, on peut supposer dans le
calcul formel prcdent que 1)0 = -1, et on obtient alors l'quation usuelle
as as
-a + H l (x, -a ) = 0,
t x
o H dx,p) = maxH(x,p, -l,v).
LIEU
Le calcul prcdent est formel. En utilisant la notion de solution de viscosit, on a
le rsultat rigoureux suivant (voir [22J,[7],[RI).
Thorme 8.21 <1 On suppose qu'il existe une constante C > 0 telle que,
pour tous x,)' E "IR
'I
et tout li EU, on ait
IIf(x,u)/1 ~ c, IIf(x,u)11 ~ c, Ilg(x)1I ~ C,
Ilf(x
1
Il) - f(}\lt) Il ~ c IIx y Il,
IIf(x,u) - fO(Yl
u
)11 ~ CUx - J'II,
IIg (x) - g (y )" ~ c IIx - y II
H! ! Equations d'Hamilton-Jacobi en contrle optimal 165
166
Alors la fonction valeur S est borne, lipschitzienne en (t,x), et est Punique
solution de viscosit du problme de Dirichlet
as (as) d 1/
-a + HI x, -a = 0 ans ]0, T[ x ~ ,
t x (8.8)
S (0, . ) = g ( .) sur ~ I l ,
o Hl (x,p) = maxH(x,p, - l,v) = max ((P,f(x,v)) f (x,v)).
/JEU l'EU
Remarque 8.10. En contrle optimal, si on est capable de rsoudre l'quation
d'Hamilton-Jacobi alors on est capable d'exprimer les contrles optimaux
comme des feedbacks. En effet, rappelons que le principe du maximum per-
met d'exprimer les contrles optimaux comme fonctions de (x,p). Or on
vient de voir prcdemment que p(t) = _po ~ ~ (t,x(t)) (au moins si S est
diffrentiable en ce point). La connaissance de la solution S donne donc beau-
coup plus que le principe du maximum, mais bien entendu cette quation
d'Hamilton-Jacobi est aussi beaucoup plus difficile rsoudre. Pour les as-
pects numriques, voir le chapitre 9.
Remarque 8.11. Dans le cas de systmes linaires avec un cot quadratique,
on retrouve l'quation de Riccati. En liaison avec la remarque prcdente,
on retrouve donc le fait que, dans le cadre LQ, l'quation de Riccati permet
d'exprimer les contrles optimaux comme des feedbacks.
Faisons enfin une dernire remarque qui fait le lien entre la thorie d'Hamilton-
Jacobi et le principe du maximum.
Remarque 8.12. Au moins dans le cas o n = J.1II, i.e. s'il n'y a pas de
contrainte sur le contrle, et si le contrle s'exprime, par le PMP, comme une
fonction lisse de (x,p), alors les extrmales du principe du maximum sont les
courbes caractristiques de l'quation d'Hamilton-Jacobi (8.8).
En effet, la mthode des caractristiques consiste rsoudre, pour trouver
une solution lisse de (8.8), le systme d'quations
aH!. aH) - -
x p = ax x (0) = x E n, P (0) = \l g (x).
Notons (x (t,-;),p (t,-;)) la solution correspondante. Par construction, on a
- as -
p(t,x) = 8x (t,x(t,x)),
d'o, en utilisant (8.8),
Bp -
&(t,x) =
l Thorie d'Hamilton-Jacobi
aH
l
- -
(x (t,x ),p (t,x )).
Par ailleurs, par hypothse Hl (X,p) H (x,p, l,li (x,p)), avec de plus
DH
-a (x,p, - I,H (x,p)) 0 puisqu'il n'y a pas de contrainte sur le contrle.
u
Par consquent
et de mme
DH aH au 8H
n-+ a !.lx'
uX X U
aH
l
aH
Dp = Dp .
On retrouve donc les quations du principe du maximum
aX DH (1) DH
Dt Dp) Dt Dx .
Variante, point initial fix
Dans le problme prcdent, le point initial tait libre, ce qui a permis de rsoudre
un problme de Dirichlet. Fixons maintenant le point initial x 0, et considrons donc
le problme de contrle optimal
~ fi (s) = ((x il (s ),zt (s )), lt (s) E U,
X Il (0) = X 0, X If (t) = X,
C(t,lI) (.f(xlI(s),u(s))ds,
Jo
(8.9)
le temps final t tant fix. Pour tout t E [0, TI et tout x E R
'I
, la fonction valeur est
dfinie par
S(t,x) = inf{C(t,u) 1 x
l1
() solution de (8.9)}.
La diffrence par rapport au cas prcdent rside dans la donne initiale. Ici, il est
clair que S(O,XO) = 0, et par convention on pose S(O,x) = +00 si x =1= xo.
Thorme 8.22 10 On suppose qu'il existe une constante C > 0 telle que,
pour tous x,y E RU et tout li EV, on ait
11((x,u) Il (; c, Ilr) (x,u) Il (; C,
11((x,u) - ((y,lI) Il (; C Ilx - y Il,
Ilf(x,u) (o(y,u)11 (; Cllx - yll
Equations d'Hamilton-Jacobi en contrle optimal 167
168
Alors la fonction valeur S est borne, lipschitzienne en (t,x), et est solu-
tion de viscosit de
as as
-a +Ht(x'-a )=0 dans]0,T[xJR
11
,
tx
S(O,xo) = 0, S(O,x) +00 si x i= xa,
o Hl (x,p) = maxH(x,p, - l,v) = max (p,((x,v)) - f(x,v)).
liEU I!EU
2. Equations d'Hamilton-Jacobi stationnaires
On obtient des quations d'Hamilton-Jacobi stationnaires en laissant le temps final
libre. Pour simplifier, on se limite ici au problme du temps minimal (voir [7] pour
une gnralisation). Considrons le problme de temps minimal
;; Il (s) = f (x 1/ (5 ), Il (s n II (s) E U,
X Il (0) = X a, x If (t) = x.
(S.10)
Pour tout x E Rit, la fonction valeur, appele fonction temps minimal, est dfinie
par
T(x) = inf{t 1 XII ( . ) solution de (S.lO)}.
Comme prcdemment, on a T(xo) = 0, et T(x) = +00 si x i= xo.
Etablissons tout d'abord formellement l'quation d'Hamilton-Jacobi vrifie par T.
Supposons que pour tout x E RU il existe une trajectoire temps minimale x fi ( )
reliant Xa x. On a alors x = x /1 (t), et donc T(x) T(x 1/ (t)) = t. En drivant
formellement par rapport t, on obtient
(VT (x Il (t ) ),( (x II (t ),l{ (t ) )) 1.
On en dduit
maxH(x, pOVT(x),po,v) 0,
vEU
o H (X,P,P o,u) = (p,((x,u)) + pO est le Hamiltonien du problme de temps mi-
nimal. S'il n'y a pas d'extrmale anormale, on peut supposer que pO = -1, et on
obtient l'quation usuelle d'Hamilton-Jacobi pour le temps minimal.
En utilisant la notion de solution de viscosit, on a le rsultat suivant (voir
[22],[7],f8l).
i Thorie d'Hamilton-Jacobi
horme 8.23 <) On suppose qu'il existe une constante C > 0 telle que,
pour tous x,y E R" et tout 11 EU, on ait
IIf(x,u)11 C, Ilf(x,u) Cllx - yll
Alors la fonction temps minimal T est borne, lipschitzienne, et est solu-
tion de viscosit de
max(\7T(x ),f(x,v)) 1 dans ffi:.",
IJEU
T(xo) = 0, T(x) = +00 si x -1= xo.
Remarque 8.13. Si f(x,lt) = li et U est la boule unit de m:.
tI
, on retrouve
l'quation Eikonale de l'introduction.
Exemple 8.14. Considrons le systme de contrle
x = y, y = z, Z = u, avec lu 1 1.
La fonction temps minimal partir d'un point fix vrifie l'quation d'Hamilton-
Jacobi
DT Dr IDTI
y Dx + Z Dy + = 1.
Equations d'Hamilton-Jacobi en contrle optimal 169
CHAPITRE 9
Mthodes numriques
en contrle optimal
On distingue deux types de mthodes numriques en contrle optimal: les mthodes
directes et les mthodes indirectes. Les mthodes directes conssten t discrtiser
Ptat et le contrle, et rduisent le problme un problme d'optimisation non
linaire (programmation non linaire, ou "nonlinear programming
lt
). Les mthodes
indirectes consistent rsoudre numriquement, par une mthode de tir (" shooting
method Il), un problme aux valeurs limites obtenu par application du principe du
maximum. Dans ce chapitre, on s'intresse d'abord aux mthodes indirectes, puis
aux mthodes directes. Dans une dernire section, on compare les mthodes, et on
dcrit les mthodes hybrides qui sont un mlange des deux approches.
1. Mthode de tir simple
PARTIE 1
Mthodes indirectes
Le principe est le suivant. Considrons le problme de contrle optimal (4.27),
(4.28), et supposons dans un premier temps que le temps final tf est fix. Le principe
du maximum donne une condition ncessaire d'optimalit et affirme que toute tra-
jectoire optimale est la projection d'une extrmale. Si l'on est capable, partir de la
condition de maximum, d'exprimer le contrle extrmal en fonction de (x (t ),1) (t )),
alors le systme extrmal est un systme diffrentiel de la forme z (t) = F (t,z (t)),
o z(t) = (x(t):p(t)), et les conditions initiales, finales, et les conditions de trans-
versalit, se mettent sous la forme R(z(O),z(tf)) O. Finalement, on obtient le
problme aux valeurs limites
170 <
{
z ( t ) F ( t, z ( t ) ),
R(z(O),z(tf)) = O.
Mthodes numriques en contrle optimal
(9.1 )
Notons z(t,Zo) la solution du problme de Cauchy
~ ( t) = F ( t , z ( t )), z ( 0) = z 0,
et posons G (za) = R (za,z(tf'zo)). Le problme (9.1) aux valeurs limites est alors
quivalent
G(ZO)=O,
i.e. il s'agit de dterminer lm zro de la fonctiol1 G.
Ceci peut se rsoudre par une mthode de Newton (voir section 9.1).
Remarque 9.1. Si le temps final tf est libre, on peut se ramener la formu-
lation prcdente en considrant t f comme une inconnue auxiliaire, On aug-
mente alors la dimension de l'tat en considrant l'quation supplmentaire
dt f 0 a 'l' 1 A 'f" 1 ~ 1 b b
-d = . n peut utl Iser e meme artl1ce SI e contro e est ang- ang, pour
t
dterminer les temps de commutation.
Il peut cependant s'avrer prfrable, lorsque le temps final est libre, d'utiliser
la condition de transversalit sur le Hamiltonien.
2. Mthode de tir multiple
Par rapport la mthode de tir simple, la mthode de tir multiple dcoupe l'intervalle
[O,tr] en N intervalles [tilti+tl, et se donne comme inconnues les valeurs z(tj) au
dbut de chaque sous-intervalle. Il faut prendre en compte des conditions de recol-
lement en chaque temps t i (conditions de continuit). L'intrt est d'amliorer la
stabilit de la mthode. Une rfrence classique pour l'algorithme de tr multiple est
[62].
De manire plus prcise, considrons un problme de contrle optimal gnral.
L'application du principe du maximum rduit le problme un problme allX va-
leurs limites du type
~ ( t ) = F(t,z(t)) =
F 0 (t, z ( t )) SI t 0 ~ t < t 1
Ft(t,z(t)) si t] ~ t < t2
(9.2)
o z (x,p) E m.
111
(1) est le vecteur adjoint), et tbt2," .,t
s
E [to,tf] peuvent tre
des te111PS de commutation; dans le cas o le problme inclut des contraintes sur
l'tat, ce peut tre des temps de jonction avec un arc frontire, ou bien des temps de
1 Mthodes indirectes 171
contact avec la frontire. On a de plus des conditions de continuit sur l'tat et le
vecteur adjoint aux points de commutation. Dans je cas de contraintes sur l'tat, on
a des conditions de saut sur le vecteur adjoint, et des conditions sur la contrainte c
en des points de jonction ou de contact (voir ce sujet [39],[52],[20],[531,114],[131).
De plus on a des conditions aux limites sur l'tat, le vecteur adjoint (conditions de
transversalit), et sur le Hamiltonien si le temps final est libre.
Remarque 9.2. A priori le temps final t r est inconnu. Par ailleurs dans la
mthode de tir multiple le nombre s de commutations doit tre fix; on le
dtermine lorsque c'est possible par une analyse gomtrique du problme.
La mthode de tir multiple consiste subdiviser l'intervalle [to,t rl en N sous-
intervalles, la valeur de z (t) au dbut de chaque sous-intervalle tant inconnue.
Plus prcisment, soit to < al < . " " < ak < t f une subdivision fixe de l'intervalle
[t Ott f]. En tout point (5; la fonction z est continue. On peut considrer a) comme
un point de commutation fixe, en lequel on a
On dfinit maintenant les noeuds
Finalement on est conduit au problme aux valeurs limites
~ ( t ) F(tlZ(t))
Fdt,z (t))
F
2
(t,z(t))
Fm l (t, Z ( t )) si Tm -1 ~ t ~ Tm
T/j E {2, .. "1111 I} 1'; (T;,Z(T;-),Z(Tt)) 0
r 117 (T,lIlZ (T] ),z (1';,1)) = 0
o Tl t 0 est fix, Tm = t f' et les ri reprsentent les conditions intrieures ou
limites prcdentes.
172 ,'i
Remarque 9.3. On amliore la stabilit de la mthode en augmentant le
nombre de noeuds. C'est l en effet le principe de la mthode de tir mul-
tiple, par opposition la mthode de tir simple o les erreurs par rapport la
condition initiale voluent exponentiellement en fonction de t rto (voir [62]).
Bien sr dans la mthode de tir multiple il y a beaucoup plus d'inconnues que
dans la mthode de tir simple, mais ventuellement l'intgration du systme
(9.2) peut se parallliser.
!; i Mthodes numriques en contrle optimal
Posons = Z(Tt), et soit z
-1) la solution du problme de Cauchy
Ona
Les conditions intrieures et frontires s'crivent
vi E {2, .. . )l1l -i} r;(Tj,z(T;-,Tj
r
lll

Posons maintenant
1 ),zt) = 0)
_1))=0.
Z (z
+ T z+ T +..,...)T E lTJl(lll+l)(m-l)
= 1 l rlll l' 2,"" Z III -Il 1 m - 1
(o Z E E
ln
). Alors les conditions (9.3) sont vrifies si
G(Z)
(
-1)) )
rI (Tl,Z( T
2
) TJtZT),zi)
r
m
-l -1)
o.
(9.3)
On donc ramen dterminer un zro de la fonction G, qui est dfinie sur
un espace vectoriel dont la dimension est proportionnel1e au nombre de points de
commutation et de points de la subdivision. L'quation G = 0 peut alors tre rsolue
itrativement par une mthode de type Newton (voir la section suivante).
3. Rappels sur les mthodes de Newton
Il s'agit de rsoudre numriquement G (z) = 0, o G : rn:
/
' -+ rn:" est une fonction
de classe ct. L'ide de base est la suivante. Si Z k est proche d'un zro z de G, alors
On est alors amen considrer la suite dfinie par rcurrence
un point initial Zo E jp.lP tant choisi, et on que Zk converge vers le zro z.
Ceci suppose donc le calcul de l'inverse de la matrice jacobienne de G, ce qui doit
tre vit numriquement. Il s'agit alors, il chaque tape, de rsoudre Pquation
i Mthodes indirectes 173
174
o d k est appel direction de descente, et on pose Z k + 1
Sous des hypothses gnrales, l'algorithme de Newton converge, et la convergence
est quadratique (voir par exemple [6],[58],f611). Il existe de nombreuses variantes
de la mthode Newton: mthode de descente, de quasi-Newton, de Newton qua-
dratique, de Broyden, ... Cette mthode permet, en gnral, une dtermination trs
prcise d\un zro. Son inconvnient principal est]a petitesse du domaine conver-
gence. Pour faire converger la mthode, il faut que le point initial Zo soit suffisam-
ment proche de la solution recherche z. Ceci suppose donc que pour dterminer le
zro z il faut avoir au pralable une ide approximative de la valeur de z.
Du point de vue du contrle optimal, cela signifie que, pour appliquer une mthode
de tir, il faut avoir une ide a priori de la trajectoire optimale cherche. Ceci peut sem-
bler paradoxal, mais il existe des moyens de se donner une approximation, mme
grossire, de cette trajectoire optimale. Il s'agt l en tout cas d'une caractristique
majeure des mthodes de tir : elles sont trs prcises mais requirent une connais-
sance a priori (plus ou moins grossire) de la trajectoire optimale cherche.
PARTIE Il
Mthodes directes
Les mthodes directes consistent transformer le problme de contrle optimal en
un problme d"'optimisation non linaire en dimension finie.
1. Discrtisation totale: tir direct
C'est la mthode la plus vidente lorsqu'on aborde un problme de contrle optimal.
En discrtisant l\tat et le contrle, on se ramne un problme d'optimisation non
linaire en dimension finie (ou problme de programmation non linaire) de la forme
min F(Z),
ZEe
C = {Z 1 gi(Z) = D, i El, .. . ,r,
g;(Z) ~ d, i Et + 1, ... ,111}.
(9.4)
(9.5)
Plus prcisment, la mthode consiste choisir les contrles dans un espace de
dimension finie, et utiliser une mthode d'intgration numrique des quations
1 Mthodes numriques en contrle optimal
diffrentielles. Considrons donc une subdivision 0 to < t1 < ... < tN = tr
de l'intervalle [O,tr]. Rduisons l'espace des contrles en considrant (par exemple)
des contrles constants par morceaux selon cette subdivision. Par aiHeurs, choisis-
sons une discrtisation de l'quation diffrentielle, par exemple choisissons ici (pour
simplifier) la mthode d'Euler explicite. On obtient alors, en posant hi = t;+l - ti,
Remarque 9.4. Il existe une infinit de variantes. D'une part, on peut
discrtiser l'ensemble des contrles admissibles par des contrles constants
par morceaux, ou affines par morceaux, ou des splines, etc. D'autre part, il
existe de nombreuses mthodes pour discrtiser une quation diffrentielle or-
dinaire: mthode d'Euler (explicite ou implicite), point milieu, Heun, Runge-
Kutta, Adams-Moulton, etc (voir par exemple [23],[46],[58],[62]). Le choix
de la mthode dpend du problme abord.
La discrtisation prcdente conduit donc au problme de programmation non
linaire
Xi-j-l = Xi + hd(tXj,lt;), i = 0, .. . ,N - 1,
min C(xo
1
,XN,UO,.' .,U N),
lt i E n, i = 0, ... , N - 1,
i.e. un problme du type (9.4).
Remarque 9.5. Cette mthode est trs simple mettre en uvre. De plus
l'introduction d'ventuelles contraintes sur l'tat ne pose aucun problme.
D'un point de vue plus gnral, cela revient choisir une discrtisation des contrles,
ainsi que de l'tat, dans certains espaces de dimension finie:
N
li E Vect(U
1
, .. ,U
N
), i.e. u(t) = LlliUj(t), lli E ~
;=1
N
X E Vect(X 1,. .,X
N
), i.e. x(t) = LxjXi(t), Xi E ll?,
i=1
o les U i (t) et Xi (t) reprsentent une base de Galerkin. Typiquement, on peut
choisir des approximations polynomiales par morceaux. L'quation diffrentielle,
ainsi que les ventuelles contraintes sur l'tat ou le contrle, ne sont vrifies que
sur les points de la discrtisation. On se ramne bien un problme d'optimisation
non linaire en dimension finie de la forme (9.4).
La rsolution numrique d'un problme de programmation non linaire du type
(9.4) est standard. Elle peut tre effectue, par exemple, par une mthode de
1 Mthodes directes 175
pnalisation, ou par une mthode SQP (sequelltial quadratic programmillg). Dans
ces mthodes, le but est de se ramener des sous-problmes plus simples, sans
contraintes, en utilisant des fonctions de pnalisation pour les contraintes, ou
bien d'appliquer les conditions ncessaires de pour des problmes
d'optimisation avec contraintes. Pour le problme (9.4), (9.5), les conditions de
Kuhn-Tucker s'crivent
/If
vF(Z) + L:: j Vgi(Z) = 0,
;=1
o les multiplicateurs de Lagrange ; vrifient
)..i g i (Z ) 0, i E {1, ... , r}, eL\; 0, i E {r + 1, ... , Hl }.
Les mthodes SQP consistent calculer de manire itrative ces multiplicateurs
de Lagrange, en utilisant des mthodes de Newton ou quasi-Newton. A chaque
itration, on utilise une mthode de quasi-Newton pour estimer le Hessien du La-
grangien associ au problme de programmation non linaire, et on rsout un sous-
problme de programmation quadratique bas sur une approximation quadratique
du Lagrangien. Pour plus de dtails sur cette mthode, voir [27],[31].
2. Rsolution numrique de l'quation d'Hamilton-Jacobi
Il existe de nombreuses mthodes numriques pour rsoudre l'quation d'Hamilton-
Jacobi
as as
-a + Hl (X, -a ) = 0,
t x
o Hl (x,p) max (p,f(x,u)) f(x,u). Commenons par dcrire une
liEU
discrtisation simple de cette quation par diffrences finies. Il convient de re-
marquer, similairement aux quations de transport, que pour assurer la stabilit il
faut dcentrer le schma. Ainsi, pour discrtiser
)
If as
L::-
a
f,}(x,u),
XI)
p=t
on est amen discrtiser aas par une diffrence divise droite ou gauche, selon
xp
le signe de fI> (x,u).
Considrons un maillage de l'espace (x:-), o l = (i il' .. ,i Il) E 7L/' , suppos rgulier
l
pour simplifier, et une discrtisation rgulire (tj) de l'intervalle de temps. Notons
176 Cl ! Mthodes numriques en contrle optimal
h = (h h" .,h,l ) le pas d'espace, et et k = ti+l - f; le pas de temps. Soit SI; la
valeur approche de S(tj,x:-). 11 convient d'approcher as (x:-) par une diffrence
1 t
divise gauche (resp. droite) si fIl (x;lt ) est positif (resp. ngatif). Pour tout rel
1
a, on pose
a+ = max (a,O)
a + !a! . a -
2 ,a_ = mm (a,O) = 2
Pour tout P E {l, ... ,n}, on note efJ = (0, ... ,1, ... ,0), le Hl" tant en p-me
position. On obtient donc le schma explicite
S-: -S-:
o
Lk +1
Il existe de nombreuses mthodes de discrtisation. Le schma de discrtisation par
diffrences finies propos ci-dessus est le plus simple, mais on peut adopter des
schmas suprieur.
11 existe aussi les mthodes de front d'onde (voir [60]), qui consistent calculer
les ensembles de niveau de la fonction valeur S solution de l'quation d'Hamilton-
Jacobi. Particulirement efficaces en petite dimension, ces mthodes consistent
faire voluer le front d'onde de la fonction valeur en partant d'un point ou d'un
ensemble initial donn. La complexit algorithmique est linaire en fonction du
nombre de points de discrtisation. Ces mthodes ont t implmentes de manire
trs efficace sur des problmes de dimension moyenne (typiquement 3). La construc-
tion de tels schmas n'est cependant pas immdiate, et en fonction de l'quation
il faut tre capable d'laborer un schma stable et consistant (voir [60] pour des
exemples).
Remarq/te 9.6. Notons que, de mme que prcdemment, l'introduction de
contraintes sur l'tat ne pose aucun problme: il suffit en effet d'imposer la
fonction valeur d'tre gale +00 sur le domaine interdt. Numriquement,
cela signifie impose une valeur assez grande la fonction valeur, en les
points du maillage qui sont dans le domaine interdit.
Remarque 9.7. Lorsqu'on a localis les courbes de commutations, on peut
ventuellement raffiner le maillage autour de ces courbes pour obtenir une
meilleure prcision.
1 Quelle mthode choisir? 177
178
PARTIE III
Quelle mthode choisir?
Les mthodes directes prsentent les avantages suivants sur les mthodes indirectes:
- teur mise en uvre est plus simple car elles ne ncessitent pas une tude
thorique pralable comme les mthodes indirectes; en particulier, on n'a pas
tudier les variables adjointes, ou bien connatre il Pavanee la structure
des commutations;
elles sont plus robustes;
- elles sont peu sensibles au choix de la condition initiale (contrairement aux
mthodes indirectes, cf ci-dessous) ;
- il est facile de tenir compte d'ventuelles contraintes sur l'tat;
elles permettent de calculer les contrles optimaux sous forme de feedback,
i.e. en boude ferme, ce qui est particulirement adapt aux problmes de
stabilisation, et/ou la mise en uvre de systmes embarqus.
En revanche,
- les mthodes directes sont moins prcises que les mthodes indirectes; par
exemple dans les problmes de contrle optimal issus de l'aronaurique,
la prcision des mthodes directes s'avre en gnral insuffisante, malgr
l'augmentation du nombre de pas de la discrtisation;
- la discrtisation directe d'un problme de contrle optimal comporte souvent
plusieurs minima (locaux), et les mthodes directes peuvent converger vers ces
minima; pourtant la solution ainsi dtermine peut s'avrer tre trs loigne
de la vraie solution optimale;
les mthodes directes sont gourmandes en mmoire, et de ce fait peuvent
devenir inefficaces si la dimenson d'espace est trop grande.
Remarque 9.8. Si la dynamique du systme de contrle est complique, le
calcul du systme extrmal, notamment des quations adjointes, peut tre
effectu avec un logiciel de calcul formel comme lvlaple.
Les avantages des mthodes indirectes sont
- l'extrme prcision numrique;
- la mthode de tir multiple est, par construction, paralllisable, et son
implmentation peut donc tre envisage sur un rseau d'ordinateurs monts
en parallle.
Mthodes numriques en contrle optimal
Les inconvnients des mthodes indirectes sont les suivants:
- elles calculent les contrles optimaux sous forme de boucle ouverte;
elles sont bases sur le principe du maximum qui est une condition ncessaire
d'optimalit seulement, et donc il faut tre capable de vrifier a posteriori
Poptimalit de la trajectoire calcule;
rigidit de la mthode: la structure des commutations doit tre connue
l'avance (par exemple par une tude gomtrique du problme). De mme, il
n'est pas facile d'introduire des contraintes sur Ptat, car d'une part cela re-
quiert dlappliquer un principe du maximum tenant compte de ces contraintes
(qui est beaucoup plus compliqu que le principe du maximum standard),
d'autre part la prsence de contraintes sur l'tat peut rendre complique la
structure de la trajectoire optimale, notamment la structure de ses commuta-
tions.
- Deuximement, il faut tre capable de deviner de bonnes conditions initiales
pour l'tat et le vecteur adjoint, pour esprer faire converger la mthode de
tir. En effet le domaine de convergence de la mthode de Newton peut tre
assez petit en fonction du problme de contrle optimaL
Remarque 9.9. Que l'on ait urilis une mthode directe ou une mthode in-
directe, il faut tre capable de vrifier, a posteriori, que l'on a bien obtenu la
trajectoire optimale. Les causes sont cependant diffrentes selon la mthode.
- Si on a utilis une mthode directe, il se peut qu'elle ait converg vers
un (pseudo)-minimum local, d la discrtisation du problme. No-
tons toutefois que l'quation d'Hamilton-Jacobi donne une condition
ncessaire et suffisante d'optimalit, et conduit donc des trajectoires
globalement optimales.
- Les mthodes indirectes sont bases sur le principe du maximum qui
donne une condition ncessaire d'optimalit locale. Une fois ces tra-
jectoires dtermines, la thorie des points conjugus permet d'tablir
qu'une extrmale est localement optimale avant son premier temps
conjugu (voir f12]). L'optimalit globale est beaucoup plus diffi-
cile tablir en gnral, et sur des exemples spcifiques on l'tablit
numriquement.
Remarque 9.10. Les mthodes directes donnent les contrles extrmaux sous
forme de boucle ferme, et les mthodes indirectes sous forme de boucle ou-
verte seulement. Cependant, une trajectoire optimale ayant t dtermine
par une mthode indirecte, on peut stabiliser cette trajectoire en calculant,
par une mthode LQ par exemple, un contrle feedback localement autour
ce la trajectoire.
Le tableau suivant rsume les caractristiques des mthodes directes et indirectes.
:;: 1 Quelle mthode choisir? 179
180
de la trajectoire optimale
les a"aloix al'-a----i'
condition initiale
de contraintes sur l'tat
contr es ( oca ement) optimaux
en boucle ouverte
trs grande prcision numrique

calculs paralllisa bJes
petit domaine de convergence
Tab.9.4.
Pour pallier J'inconvnient majeur des mthodes indirectes, savoir la sensibilit
extrme par rapport la condition initiale, on propose plusieurs solutions.
Une premire solution raisonnable consiste combiner les deux approches
mthodes directes et indirectes, de faon obtenir ce qu'on appelle une mthode h}l-
bride. Quand on aborde un problme de contrle oprimal, on peut d'abord essayer
de mettre en uvre une mthode directe. On peut ainsi esprer obtenir une ide as-
sez prcise de la structure des commutations, ainsi qu'une bonne approximation de
la trajectoire optimale, et du vecteur adjoint associ. Si on souhaite plus de prcision
numrique, on met alors en uvre une mthode de tir, en esprant que le rsultat
fourni par la mthode directe donne une approximation suffisante de la trajectoire
optimale cherche, fournissant ainsi un point de dpart appartenant au domaine de
convergence de la mthode de tir. En combinant ainsi les deux approches (mthodes
directes puis indirectes), on peut bnficier de l'excellente prcision numrique four-
nie par la mthode de tir tout en rduisant considrablement le dsavantage d la
petitesse de son domaine de convergence.
En appliquant d'abord une mthode directe, on peut obtenir une approximation
de l'tat adjoint. En effet, on a vu qu'une mthode directe consiste rsoudre
numriquement un problme de programmation non lnaire avec contraintes. Les
multiplicateurs de Lagrange associs au Lagrangien de ce problme de programma-
tion non linaire donnent une approximation de l'tat adjoint (on a dj vu que le
vecteur adjoint n'est rien d'autre qu'un multiplicateur de Lagrange). A ce sujet, voir
[20J,[631,[32].
Une deuxime solution consiste utiliser une mthode d'homotopie (ou mthode de
cOlltilluatioll). Il s'agit de construire une famille de problmes de contrle optimal
(P )nEro, Il dpendant d'un paramtre Ct E [0,11, o le problme initial correspond
Po. On doit pour que le problme PI soit plus simple rsoudre que Po.
Mthodes numriques en contrle optimal
Une telle famille ne peut tre construite que si l'on possde une bonne intuition et
une bonne connaissance de la physique du problme. Par la mthode de tir, chaque
problme de contrle optimal Pu se ramne la dtermination d'un zro d'une
fonction. On obtient donc une famille un paramtre d'quations non linaires
GO' ( Z ) 0, a E [0, 1] .
Supposons avoir rsolu numriquement le problme Pl, et considrons une sub-
division 0 = ao < 0'1 < ... < fJ = 1 de l'intervalle [0,1]. La solution de Pt
peut alors tre utilise comme point de dpart de la mthode de tir applique au
problme POIl -1' Puis, par une procdure inductive finie, la solution du problme
P
Oi
+
1
constitue une condition initiale pour appliquer la mthode de tir au problme
PUj' Bien entendu il faut choisir judicieusement la subdivision (ai), et ventuelle-
ment la raffiner.
Pour faciliter l'intuition, il est important que le paramtre a soit un paramtre na-
turel du problme. Par exemple si le problme de contrle optimal comporte une
contrainte forte sur l'tat, du type c(x) ~ 1, une mthode d'homotopie peut consis-
ter relaxer cette contrainte, en rsolvant d'abord des problmes o c (x) ~ A, avec
A > 0 grand. Cela revient donc rsoudre une srie de problmes de contrle opti-
mal o l'on introduit petit petit la contrainte sur l'tat. Mathmatiquement, pour
pouvoir esprer la convergence de la mthode en passant d'un pas un autre, il faut
que la chane de problmes de contrle optimal introduite dpende continment du
paramtre a.
On peut gnraliser cette approche par homotopie:
- chaque problme Pn peut lui-mme tre rsolu par homotopie, i.e. par la
rsolution de sous-problmes (ce peut tre le cas si par exemple le problme
de contrle optimal initial comporte plusieurs contraintes sur l'tat fortement
actives) ;
- la classe de problmes considrs peut dpendre de plusieurs paramtres.
Dans ce cas il faut choisir un chemin dans l'espace des paramtres, reliant
le problme initial au problme plus simple rsoudre.
En conclusion, on utilisera plutt une mthode directe si
- on n'a pas besoin d'une grande prcision de calcul;
la dimension d'espace est assez petite;
- on n'a aucune ide a priori de la trajectoire optimale recherche, par exemple
on ne sait rien sur la structure des commutations;
- on veut introduire facilement des contraintes sur l'tat.
On utilisera plutt une mthode indirecte
! Quelle mthode choisir 7 181
182
- si la dimension d'espace est assez grande;
- si on a besoin de calculer la trajectoire optimale de manire trs prcise;
dans un deuxime temps, aprs avoir appliqu une mthode directe qui a
donn une premire approximation de la solution optimale.
Cependant, pour des problmes de contrle optimal o le systme de contrle
est raide (en anglais st;ff system), en aronautique notamment, l'application d'une
mthode directe peut s'avrer insuffisante pour obtenir une bonne approximation
de la solution optimale et du vecteur adjoint, i.e. cette approximation ne constitue
pas une condition initiale assez prcise pour faire converger la mthode de tir. En
effet, le problme aux valeurs limites sous-jacent est mal conditionn, si bien que le
domaine de convergence de la mthode est trs petit, inaccessible par une mthode
directe. Dans ce cas, on a recours une mthode d'homotopie pour tenter de faire
converger ]a mthode de tir.
Par ailleurs, pour des problmes de contrle optimal complexes, comme par exemple
mission interstellaires, o la trajectoire optimale a une structure trs complique,
une prcision extrme est requise pour calculer numriquement cette trajectoire.
Dans ce cas l'application d'une mthode de tir s'avre indispensable.
En revanche, si le systme extrmal est lui-mme trs complexe (c'est le cas dans
certains problmes de contrle optimal de robots industriels, o l'criture des
quations adjointes peut requrir des centaines, voire des milliers de lignes), une
mthode directe peut tre prfrable la mthode de tir, avec toutefois les limita-
tions prcdemment dcrites.
Exemple 9.15. Comparons les mthodes dcrites sur un exemple simple. Considrons
le problme du temps minimal pour le systme de contrle
avec lu(t)1 ~ 1.
Solution exacte.
x(t) y(t), x{O) = 0,
y ( t) = u (t), y (0) ~
(9.6)
Commenons par calculer la solution exacte de ce problme. Le Hamiltonien est
H = Pxy + pyu + pO, et les quations adjointes sont
. .
Px = D, P y = -p x .
On en dduit que Px(t) cste = , et donc py(t) = -t + Il. Par ailleurs la
condition de maximum du principe du maximum donne u(t) signe(p}, (t)). En
particulier les contrles extrmaux ont au plus une commutation.
Dcrivons la trajectoire obtenue en prenant u (t) = 1 sur [01t1 [, puis 1t (t) -1 sur
]t [, T]. D'aprs les quations (9.6), on obtient
! Mthodes numriques en contrle optimal
t
1
si a ~ t ~ th alors x (t) = - et y (t )
2
- si t 1 ~ t ~ T, alors x (t )
t ,
Les trajectoires obtenues en prenant d'abord 11 -1, puis lt 1, sont les
symtriques des prcdentes par rapport l'origine (voir figure 9.1).
Figure 9.1. Synthse optimale
Il est clair que la courbe r dfinie par
1
f {(x,y) E JPl2 , x = y; signe(y)}
est la courbe de commutation. Plus prcisment, le contrle temps minimal est donn
par
, 1
y- y-
- si x > 2 signe(y) ou si x = 2' alors lt (x,y) = + 1 ;
1 1
. y-. (). y- 1 () 1
51 X < TSlgne y ou SI X = --, a ors Il x,y = - .
_ 2
Calculons la fonction temps minimal T(x,y) pour aller de (0,0) (x,y). Supposons
que le point (x,y) est en dessous de la courbe f. Ce point est atteint par la succession
d'un arc u = +1, puis lt -1. On en dduit qu'il existe un unique couple (t il T)
Tl
tel que x = - 2 + lt1 T t ~ , et y = -T + 2t1- La rsolution de ce systme
t!1 ! Quelle mthode choisir? 183
184
conduit facilement T = 2JX + - y. De mme, si le point (x,y) est au-
dessus de la courbe r, on calcule T = 2JX + + y. Enfin, le long de la courbe
r, on a clairement T Iy 1. la fonction temps minimal est donne par
la formule
F+
?
si
Y-
2 x + lY- - y x 2 signe(y),
T(x,y) (9.7)
F+
?
y-
2 x +
Y
- + y
SI
X < 2 signe(y).
Remarque 9.11. Notons que la fonction temps minimal (9.7) vrifie bien
l'quation d'Hamilton-Jacobi associe au problme de contrle optimal (9.6)
aT laTI
y ex + ay = 1, T(O,O) O.
Les ensembles de niveau de la fonction temps minimal, i.e. les ensembles T-
1
(r) =
((x,y) E JR2 1 T(x1y) r}, o r > 0, sont reprsents sur la figure 9.2. Notons
que T-
1
(1') est aussi le bord de l'ensemble accessible en temps r.
Figure 9.2. Ensembles de niveau de la fonction temps minimal
Sur cet exemple, nous proposons trois mthodes numriques. Tout nous
rsolvons numriquement l'quation d'Hamilton-Jacobi. Ensuite, nous mettons en
1 Mthodes numriques en contrle optimal
uvre une mthode directe, puis une mthode indirecte, pour aller en temps minimal
de (0,0) (0, - 1). Par commodt les programmes sont effectus sous Matlab, en
utilisant certaines routines spcifiques.
Rsolution numrique de l'quation d'Hami1ton-Jacobi.
Notons h x (resp. h y) le pas de discrtisation en x (resp. en y). On discrtise de la
maniere suivante:
- si y (1) < a alors
y (j) TU + 1,1)
hx
- si y (j) > 0 alors
TU,j) (0 T(i,j) - TU,; + 1) T(i,j) - TU,; - 1)) - '1
+max l l ' 1 - .
'y J y
(
.)T(i)) - TU -1,j) (0 TU,j) - TU,; + 1) TU,j) - TU,; 1))
Y , +max , " 1.
hx hy 'y
Notons que, en posant 111 = min (TU,; - 1), T(i
1
; + 1)), on a :
.. . . { 0 si T < 111,
T(/" + 1), T - T(J,J - 1) = T _ m .
hy hy -,-- 81 T > m.
'y
Avec pas h x = h)' = 0.01, et 200 itrations) on obtient le rsultat de la figure
9.3.
Le programme est le suivant.
funetion hjb2
%% Discretisation de l'equation d'HJB :
%% y dS/dx + IdS/dyl l, S(O,O)=O.
%% On discretise de la maniere suivante :
%% si y(jl<O y(j)*(S(i+l,j)-S(i,j!hx
%% + max(O, (S(i,j)-S(i,j+111/hy, (8(i,j)-S(i,j-l!hy) "" 1
%% si y(jO y(j)*(S(i,j}-S(i-l,j/hx
%% + max(O, (S{i,j}-S(i,j+l!hy, (S(i,j)-8(i,j-l!hy) 1
%% et on remarque que, si m=min{S(i,j-l) ,8(i,j+1 :
%% rnax(O, (S-S(i,j+1!hy, (S-S(i,] l/hy) 0 si S < m
~ % = (S-m)/hy si 8 > m
clear all close all cle;
hx = 0.01 hy = 0.01 big=le6; Nit=200 ;
xmin :: -1 xmax = 1 i ymin = -1 i ymax ::= 1
x = ( xmin : ~ ~ : xmax l ; y [ymin: hy ymax
S ::= ones (length (x) ,length(y) )*big Snew = S
iD find(x==O) i jO = find(y==O) i
S(iO,jO) '" 0 ;
il: Quelle mthode choisir? 185
186
for it=l:Nit
for i=2:1ength(x)-1
for j=2:1ength(y)-1
end
m '" min ( S (i, j -1) , S (i , j + 1) )
ify(j):>O
if y(j)*(m-S(i-l,j :> hx
Snew(i,j) S(i-l,j)+hxjy(j)
else
Snew(i,j} '" (hx*hy+hx*m+hy*y(j}*S(i-l,jj(hx+hy*y(j})
end
else
if y(j)*(S(i+l,j)-m) :> hx
Snew(i,j) S(i+1,j}-hxjy(j)
else
Snew(i,j) (hx*hy+hx*m-hy*y(j)*S(i+1,j)/(hx-hy*y(j})
end
end
end
S = Snew
S(iO,jO} == 0
end
[X,Y] meshgrid(x,y}; Nx size(X,l}-2 i Ny size{X,2)-2
figure; contour(S(Nx/4:3*Nx/4,Ny!4:3*Ny/4), [0:0.1:1]) i
Les rsultats sont donns sur la figure 9.3.
Figure 9.3. Ensembles de niveau de la fonction temps minimal
Le problme est la lenteur de la convergence de cet algorithme. Ici, la convergence
est en max (h x: h y ) 1/4 Les valeurs prises dans le programme prcden t ne son t donc
Mthodes numriques en contrle optimal
pas et il faut prendre des valeurs h x,h}' beaucoup plus petites. Mais alors
le temps d'excution du programme est trs long. Il faut donc absolument avoir
recours un langage de programmation compil comme le C++ pour implmenter
cet algorithme, et avoir ainsi un temps d'excution raisonnable. Ceci a t effectu,
les rsultats sont sur la figure 9.4. Notons qu'il faudrait en fait, vu la lenteur de la
prendre hx = h,. 10-
5
, mais dans ce cas mme en C++ l'algorithme
n'est pas efficace. Il faut envisager un algorithme plus fin, ou une mthode
front d'onde (voir [60]).
Solution Iheorique
Figure 9.4. Comparaison des rsulrars numriques
Hi Quelle mthode choisir? 187
188
Mise en uvre d'une mthode directe. On se ramne un problme de program-
mation non linaire. Un tel problme se rsout l'aide d'une mthode SQP. Cet
algorithme est implment dans la ToolBox optim de Nlatlab, il s'agit de la routine
(mincoll.m, que l'on utilise ici.
function direct
%% Discretisation directe (en utilisant fmincon.m)
%% du probleme de temps minimal
%% xdot=y, ydot=u, lul<=l,
le probleme etant de joindre (0,0) a (0,-1) en temps minimal.
clear aIl i close aIl i cic
N 20; % nombre de pas de discretisation
uinit = 2
y
rand(N,l)-1 i % initialisation aleatoire du controle
tfinit 1 i xinit = [uinit ; tfinitl ;
% point de depart pour fmincon
lb -ones(N+l,l); Ib(N+l) = 0 i ub = ones(N+l,l) ; ub(N+l) 20
% contrainte sur le controle lui <; 11 et 0 < ~ tf <= 20
[rep, Fval, exitflagl = fmincon(@tempsfinal,xinit, [l, (]I (], (],lb,ub,@cond)
exitflag
tf rep(end) ; x(l)=O ; y(l) 0
for i=l:N
x(i+l) = xii) + tf/N*y(i)
y(i+l) = y(i) + tf/N*rep(i)
end % calcul de la trajectoire optimale
subplot(121) i plot(x,y) ; axis square; titIe{'Trajectoire')
subp1ot(122) i plot(linspace(O,tf,N) ,rep(l:N
axis square; title('Controle') i
%--------------------------------
function [c,ceq] = cond(x)
N = length(x)-l ;
c = 0 ;
tf = x{end) xf = 0 ; yf
for i=l:N
end
xf xf + tf/N*yf i
yf = yf + tf/N*x(i)
o i
% calcul du point final au temps tf
% avec la methode d'Euler explicite
ceq (xf i yf+l ); % on impose la condition finale xf=O, yf=-l
%--------------------------------------
function val tempsfinal(x)
val x(end) % x=(u;tf), ou u est le discretise du controle,
% et tf est le temps final
Les rsultats sont tracs sur la figure 9.5.
1 Mthodes numriques en contrle optimal
Trajecloire Controle
0.8
\
0.6
DA
0.5
0.2
0,
0
02
0.4
0.6
05
0.8
1 1
02 0 0.2 0.4 0.6 0 0.5 1.5 2 2.5
Figure 9.5. Rsultats de la mthode directe
Mise en uvre d'une mthode indirecte. On se ramne ici un problme de tir
simple. On utilise une mthode de Newton, implmente dans la ToolBox optn de
Matlab, savoir la routine (solve.m.
funetion tirsimple
% Methode de tir simple, en utilisant fsolve.m,
% pour le systeme de controle
% xdot=y, ydot=u, \ul<=l.
% On veut aller de (0,0) (0,-1) en temps minimal.
clear ail clf i cIe i format long i
global xO xO=[O;O]
PO=[lil] ; tf=5 i
% Calcul de PO,tf
options=optimset('Display', 'iter', , LargeScale' ,'on');
[POtf,FVAL,EXITFLAG]=fsolve{@F, [POitf],options) i
EXITFLAG % 1 si la methode converge, -1 sinon
% Trace de la trajectoire optimale
options = odeset{'AbsTol' ,le-9,'RelTol' ,1e-9)
[t,zl = ode45(@sys, [O;POtf(3)], [xOiPOtf(1) iPOtf(2)] ,options)
subplot(121) i plot(z(:,1),z(:,2)) i
axis square i title{'Trajectoire') i
subplot(122) ; plot{t,sign(z(:,4)))
axis square i title('Controle') i
%--------------------------------------- ---------------------
function Xzero=F(X)
in Quelle mthode choisir? 189
190
% Definition de la fonction dont on cherche un zero
global xO ;
options odeset('AbsTol' ,le-9,'RelTol' ,le-9)
[t,z) '" ode1l3(@sys, [OiX(3)], (xOjX(l) ;X(2)] ,options)
HamEnd = z(end,3)*z(end,2)+abs(z(end,4))-1 ;
Xzero = [ z(end,l) % on impose xf=O
z(end,2}+1 % on impose yf=-!
HamEnd ]; % tE libre donc H(tf)=O
%------ -----------------
function zdot=sys(t,z)
u=sign(z(4)) i
zdot [z(2)
u
o
-z(3) % systeme extremal
Les rsultats sont tracs sur la figure 9.6.
Trajectoire Controle
0.5
0.5
a
o
os
0.5
1 S ~ - - - - ~ - - - - ~ - - - - ~ ~ - - ~ 1 L - - - ~ ~ - - ~ - - - - ~ - - - - ~ - - ~
a 0.2 DA 0.6 0.8 o 0.5 1.5 2 2.5
Figure 9.6. Rsultats de la mthode indirecte
1 Mthodes numriques en contrle optimal
PARTIE 3
Annexe
CHAPITRE 10
Rappels d'algbre linaire
PARTIE 1
Exponentielle de matrice
Soit lK = JR ou C, et soit Il . Il une norme multiplicative sur M'l (OC) (i.e.
IIAB Il :::; liA IIIIB Il pour toutes matrices A,B E Mil (lK); par exemple les normes
d'oprateurs sont multiplicatives).
j
i
l
i
j
1

J
1
Dfinition 10.1 ,. Soit A E M'l (OC). On dfinit l'exponentielle de la ma-
trice A par
+00 A k
exp(A) = e
A
= L kt'
k=l
L __________________ '"' ________ , ______ ,_, _______ _
C'est une srie normalement convergente dans le Banach M'l (IK), vu que
Proposition 10.23 Q
- Pour tout A E Mil (JK), on a e
A
E CL" (JK), et (e
A
)-1 = e-
A

- L'application exponentielle est OC-analytique (et donc en particulier
est de classe Ccc sur le corps IK).
- La diffrentielle de Frchet d exp(O) de l'application exponentielle
en 0 est gale l'identit sur Mil (JK).
192 i i ,;_;!:,:"., : Ci i Rappels d'algbre linaire
Pour toutes matrices A,B E Mil (OC) qui commutent, i.e.
AB = BA, on a
- SiP E GL
I1
(JK),alorsPe
A
p-l
['AP-l
e .
- Pour A E Mu (OC), Papplication f(t) = et 1\ est drivable, et
f'(t) = Ae
tA
= e
tA
A.
PARTIE Il
Rduction des endomorphismes
Vespa ce vectoriel Mil (OC) est de dimension 11
2
sur OC, donc les lments l,A) ... ,A
Il2
sont linairement dpendants. Par consquent il existe des polynmes P annulateurs
de A, i.e. tels que P (A) = O. L'anneau OCrX] tant principal, l'idal des polynmes
annulateurs de A admet un unique gnrateur normalis, i.e. un unique polynme de
plus petit degr, dont le coefficient dominant est gal 1, annulant A ; on l'appelle
poi'ynme minimal de la matrice A, not 'irJ\
Par ailleurs, le polynme caractristique de A, not XA , est dfini par
XA (X) = det (X l - A ).
Thorme 10.24 t'J Thorme de Hamilton-Cayley
XA (A) = O.
En particulier, le polynme minimal 'irA divise le polynme caractristique XA' No-
tons que deg XA = 11 et deg 'irA ~ 11.
Exemple 10.16. Pour une matrice N E Mn (OC) nilpotente, i.e. il existe un entier
p ~ 1 tel que NP = 0, on a ncessairement p ~ n, 7fN (X) = x
P
et XN (X) = X
n

Exemple 10.17. Pour une matrice compagnon, i.e. une matrice de la forme
A = [-;n _ a ~ _ , ' O O -a2 _:J
Rduction des endomorphismes 193
194
on a
Le scalaire ,,\ E OC est dit valeuf propre s'il existe un vecteur non nul v E !Kil, appel
vecteu1' propre, tel que Av = ;\LJ. I:espace propre associ la valeur propre /\ est
dfini par
E(A) = Ker (A - ,,\1);
c'est l'ensemble des vecteurs propres de A pour la valeur propre ,\,
Lorsque OC = C, les valeurs propres de A sont exactement les racines du polynme
caractristique XA. En particulier on a
XA (X) = II (X - Ai t
'i
et liA (X) = II (X - Ai )5
i
,
i:l i=1
avec si :s:;; 111 i' L'entier Si (resp. 111 i) est appel ordre de nilpotence (resp. multiplicit)
de la valeur propre Ai' I;espace caractristique de la valeur propre /\ est dfini par
horme 10.25 (1 Thorme de dcomposition des noyaux
Soient A E Mn (OC) et P E lK[X] un polynme tel que
P(X) = II Pi(X),
i=1
o les polynmes Pi sont premiers entre eux deux deux. Alors
Ker P(A) EB Ker P i(A).
i=1
De plus, chaque sous-espace Ker Pi (A) est invariant par A, et la projec-
tion Pi sur Ker Pi (A) paralllement EB Ker Pi (A) est un polynme
i 'fi
en A.
En appliquant ce thorme au polynme minimal de A, on obtient, lorsque OC = C,
Cil =EBN(/\).
i=l
Rappels d'algbre linaire
Notons que N(;) = Ker (X - Ad
si
Ker (X _ /\; yHi.
La restriction de A N (Ai) est de la forme i 1 + Ni, o Ni est une matrice nilpo-
tente d'ordre si. On peut alors montrer que toute matrice A E Mil (I[) admet une
unique dcomposition A = D + N, o D est diagonalisable sur C, N est nilpotente,
et de plus D N = ND (dcomposition D + N).
On peut prciser ce rsultat avec la thorie de Jordan.
Thorme 10,26 41 Dcomposition de Jordan
Soit A E Mn (IK) ; on suppose que liA est scind sur.lK. (ce qui est toujours
i=l
telle que
o les matrices A i sont diagonales par blocs
et o les matrices 1 i,k, 1 ~ i ~ r, 1 ~ k ~ e i, sont des blocs de Jordan,
Le. des matrices carres de la forme
(
'
li,k = i
1
o
n'ayant pas forcment toutes le mme ordre Il i , I ~ 1. Pour tout i E {1, .. "r},
onaej =dimE(j),et max Ili.kl=Sj.
l ~ k ~ e i .
j Rduction des endomorphismes 195
CHAPITRE 11
Thornle de Cauchy-Lipschitz
Dans cette section nous rappelons une version gnrale du thorme de Cauchy-
Lipschitz, adapte la thorie du contrle, qui tablit sous certaines conditions
j'existence et l'unicit d'une solution d'une quation diffrentielle. Une bonne
rfrence ce sujet est [61], Appendix C.
PARTIE 1
Un nonc gnral
Soit 1 un intervalle de IR et V un ouvert de]R11. Considrons le problme de Cauchy
~ ( t ) = f(t,x(t)), x(to) = X0
1
(11.1)
o f est une application de 1 x V dans ]RTl, et Xo E V. Le thorme de Cauchy-
Lipschitz usuel affirme l'existence et l'unicit d'une solution maximale pourvu que
f soit contnue, et localement lipschitzienne par rapport x. Mais en thorie du
contrle ces hypothses doivent tre affaiblies car on est amen considrer des
contrles non continus (a;u mieux, continus par morceaux), et par consquent la
continuit du second membre n'est plus assure. En particulier la solution, si elle
existe, n'est pas en gnral drivable partout et il faut donc redfinir de manire
adqua te le concept de solution.
196 1: 1 Thorme de Cauchy-Lipschitz
Dfinition 11.1 ~ On suppose que pour tout tEl la fonction x ........". ((t,x)
est mesurable, et que pour tout x E U la fonction t f-t f(t,x) est continue.
On appelle solution du problme de Cauchy (11.1) tout couple U,x( . )),
o] est un intervalle tel que] Clet t 0 E ] , et o x ( . ) est une fonction
absolument continue de] dans V telle que, pour tout tE],
x(t) = Xo + i
t
f(s,x(s))ds,
to
ce qui est quivalent
;(t) ((t,x (t)) p.p. sur l,
x(to)=xo
Une solution U,x ( . )) est dite maximale si, pour toute autre solution
U, x ( . )), on a J Clet x ( .) x ( . ) sur J.
On a alors le thorme suivant.
Thorme 11.27 " Thorme de Cauchy-Lipschitz
On suppose que la fonction { : 1 x V -!- V vrifie les deux hypothses
suivantes:
- ( est localement lipschitzienne par rapport x au sens suivant:
Yx E V :3r > 0, B (x,r) C V, :3a E L loc (l,IPi.+)
Yt E l Yy,z E B(x:r) 1I((t,y) - f{t:z) Il ~ a(t)lIy - zn,
( est localement intgrable par rapport t, i.e.
Alors pour toute donne initiale (to,xo) EIx V, il existe une unique
solution maximale U:x( . )) du problme de Cauchy (11.1).
Remarque .11.1. On n'a pas forcment] I; par exemple considrons le
problme de Cauchy ;(t) = x(tf, x(O) = xo. Alors
- si x 0 = 0, on a] = R et x ( . ) == 0 ;
- si Xo > 0, on al =:1 oo,l/xo[ et x(t) = xo/(l xot);
- si Xo < 0, on aJ ]l/xo, + oo[ et x(t) xo/(l - xot).
Remarque Il.2. Si ( est seulement continue on I!'a pas unicit en gnral;
par exemple considrons le problme de Cauchy x(t) = #TI, x(O) = o.
~ i Un nonc gnral 197
La fonction nulle est solution, ainsi que
{
0 SI t ~ 0,
X(t) = "/
t- 4 SI t > O.
Thorme 11.28 CI Thorme d'explosion
Sous les hypothses du thorme de Cauchy-Lipschitz, soit (Jatb Lx ( . ))
une solution maximale. Si b < sup l, alors pour tout compact K contenu
dans V, il existe un rel rJ > 0 tel que x (t) ~ K, pour tout t E lb - rJ,b [.
Remarque 11.3. En particulier si V =]RI/, alors Ilx(t)11 +00.
r-b
Remarque 11.4. On a une proprit semblable si a > inf l.
Enonons maintenant une version globale du thorme de Cauchy-Lipschitz.
Thorme 11.29 fi) Sous les hypothses du thorme de Cauchy-Lipschitz,
on suppose de plus que V = Rn et que f est globalement lipschitzienne
par rapport x, i.e.
3a EL,t
oc
1 Vt El VJ\Z E Rtl Ilf(t,y)-f(t,z)11 ~ a(t)lly-zll.
Alors J 1.
Exercice 11.35. lemme de Gronwall
Soient ' ~ J et y : [to,t,] jR+ deux fonctions continues vrifiant
3c ~ 0/ \lt E [to,ttl y(t) ~ c + It/!J(S)y(S)dS .
to
Montrer que
Vt E [to,t,] y(t),;; c exp (l ' ~ ' ( s ) d s ) ,
Indication: poser F(t) 1: Ij,(s)y(s)ds. puis G(t) F(t)exp ( -1: tjJ(S)dS) '
Exercice 11.36.
- SOt Yo E lR. Justifier qu/il existe une solution maximale y(.) sur un intervalle ]a,b[
du problme de Cauchy
(E) y(O) = Yo.
198 ! [ ! Thorme de Cauchy-Lipschitz
- Montrer que pout tout t E ]a,b [ :
y(t) = e-tyo + t -
t
Y(S)4 ds
./0 1 + 52
- Soit T tel que 0 < T < b. Supposons que pour tout t E [OJ] on ait ly(t)1 ~ 1. A
l'aide du lemme de Gronwall, montrer que
vt E [0, Tl ly(t)1 ~ IYol
- Supposons que IYol < 1. Montrer que ly(t)1 ~ 1 pour tout t E IO\b[, puis que
b +00.
Indicaton: utiliser le lemme de Gronwall, et le thorme d'explosion.
Exercice 11.37. Soit q : lR -+ iR. une fonction de classe C', strictement positive et croissante.
Montrer l'existence et l'unicit d'une solution maximale dfinie sur un intervalle contenant
[0, + 00[, pour le problme de Cauchy y"(t) +q(t)y(t) = 0, y(O) = Yo, y'(O) y/o, puis que
toutes les solutions de l'quation diffrentielle y"(t) + q(t)y(t) = 0 sont bornes sur lR+.
Indication: driver la fonction V(t)
y(t)2 + yl(t)2 .
q(t)
Exercice 11.38. Mthode des entonnoirs
Soit (E) : xl(t) = f(t,x(t)) une quation diffrentielle, o f : 1Ft x lR -;. IR est de classe Cl.
On dit que 0: (resp. m est une barrire infrieure (resp. une barrire suprieure), si c'est
une fonction de classe Cl telle que pour tout t E lR on ait o:'(t) < f(t,O'(t)) (resp.
(j'(t) > f(t,/3(t))). On appelle entonnoir l'ensemble
E = ((t,y) E lR x IR 1 a(t) < y < (3(t)}.
Montrer que si t 1-+ x(t) est une solution de (E) sur un intervalieJ C lR telle que x(t
o
) Xo
avec (to,xo) E E, alors (t,x(t)) E E pour tout t ~ to,t E J.
Indication: raisonner par l'absurde, et poser tl = inf{t ~ ta / (tx(t)) 1. E}.
Montrer que x(t
1
) o:(tl) ou {;(t
l
), et conclure.
Exercice 11.39. Loi de Hubble
Une des thories actuelles de l'univers (thorie du bigbang) admet que l'origine de
l'univers est une gigantesque explosion partir de laquelle la matire de l'univers a com-
menc diverger partir du point O.
On considre que cette expansion est homogne et isotrope; les positions successives se
dduisent les unes des autres par une homothtie de centre 0 :
DM (t) "'(t,to) DM (ta).
- Montrer que la vitesse du point M se met sous la forme
v (M) H (t) DM (t) (loi de Hubble)
o on explicitera H(t).
; i Un nonc gnral 199
- Montrer que la loi de Hubble est incompatible avec une valeur constante de H.
a
- La valeur actuelle de H est H :::::: 2,5.10-
18
S-1. En prenant comme modle H(t) = -
t
(o 0: est dterminert trouver l'ordre de grandeur du rayon maximum de l'univers
(on rappelle la vitesse de la lumire c = 3.10
8
m .5-
1
).
En dduire l'ge de l'univers selon cette thorie.
PARTIE Il
Systmes diffrentiels linaires
Considrons le problme de Cauchy dans IR"
= A(t)x(t) + B(t), x(to) = xo, (11.2 )
olesapplicationst Ho A(t) E M
lI
(IR)ett B(t) E R
II
sont localement
sur l'intervalle l considr.
Dfinition 11.2 (> On appelle rsolvante du problme (11.2) la solution
du problme de Cauchy
BR
(t,ta) = A (t)R (t,to), R (to,to) = Id,
o R (t,to) E Mn (IR).
Proposition 11.24 CI La rsolvante possde les proprits suivantes:
- R(tl,tO) R(tl,tdR{tl,tO)'
- Si = det R (t,to), on a

75t(t,t
o
) = tr A(t).8(t,to), 1.
- La solution du problme de Cauchy (11.2) est donne par
x(t) R{t,to)xo + J't R(t,s)B(s)ds
to
(formule de variation de la constante).
200 Thorme de Cauchy-Upschitz
Remarque 11.5. Lorsque to = 0, on note plutt M (t) R (t,O). La formule
de variation de la constante s'crit alors
x(t) = M(t)xo +M(t) t M(s)-lB(s)ds.
Jo
Remarqlle 11.6. Expression de la rsolvante
La rsolvante admet le dveloppement en srie
R (b,a) l + 1", ,,;;b A (5 t )ds 1 + 1,;;, 1 ';;'1,;;1> A (s2)A (stlds
t
dS
2
+ ... + l' A(sll) ... A(Sl)ds
1
".ds
ll
+ ...
.la ~ s 1 ~ ~ 5 " ~ b
De plus cette srie est normalement convergente. C'est un dveloppement en
srie chronologique.
Cas des systmes autonomes. Considrons le problme de Cauchy dans IR,t
;(t) = Ax(t), x(O) = X0
1
o A E Mil (R). Alors, dans ce cas, la rsolvante est M t 1-+ e
fA
, et la solution
de ce problme est
La dcomposition Jordan permet de prciser ce rsultat. En effet, on a
On calcule facilement
1 t
o o
On obtient donc le rsultat suivant.
[:,.'(1:,' 1 Systmes diffrentiels linaires 201
Proposition 11.25 Toute solution du systme; (t) = A x (t) est de la
forme

(h;k i,k i
o V i.k E N (>\j) (voir chapitre prcdent pour la dfinition de l'espace
caracrristiq ue N (
j
) ).
Exercice 11.40. Rsoudre le systme diffrentiel
{
x" = 2x 3y,
y"=x 2y.
Indication: exprimer ce systme comme un systme diffrentiel d'ordre 1.
Exercice 11.41. On pose
A =
Rsoudre le systme diffrentiel X' = AX. En dduire e
A
.
Exercice 11.42. Soit A : 10, + oo[ -;. Mn (iR) une application continue. On considre le
systme diffrentiel x'(t) = A (t)x(t) et l'on note R (t,to) sa rsolvante.
- Montrer que la rsolvante S(t,to) du systme y(t)
5 ( t, t 0) = R (t, t 0 ) T
- On pose
Montrer que A (t) possde une base de vecteurs propres indpendante de t. En
dduire la rsolvante R(t,to).
Exercice 11.43. On suppose que l'quation diffrentielle
X'(t) = AX(t) + B(t),
o A E Mn (IR) et t ,...... B(t) est une application continue de IR+ dans IIt
n
1 admet une solution
X sur jR+ qui vrifie
Montrer que X(t) tend vers a lorsque t tend vers +00. Indication : montrer que X()
est de Cauchy en +00.
202 . ! Thorme de Cauchy-Lipschitz
Exercice 11.44. Soit A une matrice carre reelle d'ordre n dont les valeurs propres (dans !C)
sont distinctes de k E Z. Soit d'autre part B : IR......,.}Rn une application continue et
1-priodique. Montrer que le systme diffrentiel Xl Ax + B(t) admet une et une seule
solution 1-perodique.
Exercice 11.45. Soit A : 1R+ ......,. A1n (IR) une application continue et periodique de periode
T. On considre le systme diffrentiel dans jRn
x'(t) A(t)x(t), x(O) XQ.
Soit M(t) E .l'An (IRY la rsolvante du systme, c'est--dire la solution du problme de Cau-
chy M 'Ct) A (t)M(t), M(O) Id. Montrer pour tout t ~ 0 la relation
M(t + T) = M(t)M(T).
En dduire que l'origine est asymptotiquement stable pour le systme si et seulement si [es
valeurs propres complexes de la matrice M (T) (appele matrice de monodrome) sont de
module strictement plus petit que 1.
PARTIE III
Applications en thorie du contrle
1. Systmes de contrle linaires
Considrons le systme de contrle linaire
; (t) = A (t)x (t) + B (t) Il (t) + r (t), x (t 0) = x o.
Les hypothses du thorme 11.27 sont clairement vrifies si les applications
t t--l- A(t), B(t)u(t), r(t), sont localement intgrables sur l'intervalle l considr.
Supposons donc
- A ( . ) E L loc (J,Nt'l (lR)),
r ( . ) E L 1 (1 1Ft'l ).
loc '
Par ailleurs, les hypothses assurant l'intgrabilit locale de B ( . )11 ( . ) dpendent
de l'ensemble des contrles considrs.
- Si Il ( . ) E L ~ c (l,JR;.m), alors on suppose que B ( . ) E L loc ({M,I,m (IR)).
Si Il ( . ) E (l,JR
m
), alors on suppose que B ( . ) E Lfoc (I,M
l1
,m OR)).
Hi 1 Applications en thorie du contrle 203
- De manire gnrale, si 11 ( .) E (I,Ilf
J1l
), alors on suppose que
B ( . ) E L,Il)C (l,Mu m (IR)) o ~ + ~ = 1.
l , P q
- Si les contrles sont des fonctions mesurables valeurs dans un compact
n C]RlII, alors on suppose que B( . ) E LIac (l,Ml/,m (IR)).
2. Systmes de contrle gnraux
Considrons le systme de contrle
;(t) f(t,x(t),u(t)), x(to) = Xo,
o f est une fonction de l x V x U, l est un intervalle de IR, V un ouvert de Rtl et
U un ouvert de R
m

Pour rester dans un cadre trs gnral, il suffit de supposer que pour chaque contrle
Il considr, la fonction F : (t,x) 1-+ f(t,x,u (t)) vrifie les hypothses du thorme
11.27. Bien entendu, en fonction de]a classe de contrles considre, ces hypothses
peuvent tre plus ou moins difficiles vrifier.
On peut donner des hypothses certes moins gnrales, mais qui suffisent dans la
grande majorit des cas. Ces hypothses sont les suivantes:
- L'ensemble des contrles considrs est inclus dans L ~ C (I,R111).
- La fonction f est de classe Cl sur l x V x U.
Il est facile de montrer qu'alors les hypothses du thorme 11.27 sont vrifies, et
donc que, pour chaque contrle fix, il existe une unique solution maximale U,x ( . ))
du problme de Cauchy
;(t) f(t,x(t),u(t)) p.p. sur],
x(to) =xo-
204 ] 1 ! Thorme de Cauchy-Lipschitz
CHAPITRE 12
Modlisation
d'IJn systme de contrle linaire
PARTIE 1
Reprsentation interne des systmes de contrle linaires
Considrons le systme linaire observ
{
~ (t) = A x ( t ) + B li (t ),
)1 (t) = C x ( t ),
(12.1)
o x(t) E ~ n , u(t) E JRI1f, y(t) E IRP, A E M
Il
(JR:.), B E Mu.m(JK), et
C E M/J,lI (IR).
On appelle reprse11tation interne ou reprsentation d'tat c01Itillue l'expression de
la sortie y (t) sous la forme
t
y(t) = CetAx(O) + Cetil Jo e-
sA
Btt(s)ds,
appele en anglais input-output relation.
; i Reprsentation interne des systmes de contrle linares 205
PARTIE Il
Reprsentation externe
des systmes de contrle linaires
Dfinition 12.1" La rponse impulsio1l11elle d ~ u n systme linaire est
la sortie de ce systme ( conditions initiales nulles) quand on l'excte en
entre par une impulsion de Dirac.
Ici, la rponse impulsionnel1e est donc la matrice
W(t)={ceIAB si t):O,
o si t < O.
En effet, posons, pour tout t E [O,],
u(t) =
et u (t) = 0 sinon. Alors
o
o
l/c
o
o
Remarque 12.1. Puisque x(O) = 0, on a, pour t ): 0,
[,
t [,+00
y(t) = W(t -s)u(s)ds = W(t -s)tt(s)ds .
. 0 0
Autrement dit (onrappellequef*g(x) = f f(x-y)g(y)dy),onalersultat
.IR
suivant.
Proposition 12.26 ID 'rit ): 0 y(t) = (W * li )(t).
Cela incite utiliser la transformation de Laplace, qui transforme un produit de
convolution en un produit.
206 ;. ! Modlisation d'un systme de contrle linaire
Dfinition 12.2 G Soit f E Lioc ([0, + ooLIR). Il existe a E:IR U {oo} tel
que, pour tout complexe s, on ait
si Re s > a alors {+oo e-stlf(t)ldt < +00,
.Jo
- si Re s < a alors (+oo e-stlf(t)ldt = +00 .
.Jo
Pour tout complexe 5 tel que Re 5 > a, on dfint la transforme de
Laplace de f par
.c(f)(s) = {+oo e-stf(t)dt.
Jo
Remarque 12.2. La transformation de Laplace est linaire (en faisant atten-
ron toutefois au problme du domaine de dfinition). De plus, on a
L(f '" g) L(f).c(g).
Enfin, pour toute fonction f de classe Cl, on a
L(f')(s) s .c(f)(s) f(O).
Posons alors Y(s) L(Y) (5) et U (s) = L(U )(5) (o, par convention, y (t) = 0 et
tl (t) = a si t < 0).
Dfinition 12.3 fA La matrice de transfert H est la transforme de Laplace
de la matrice de rponse impuisionnelle, i.e.
H(s) = L(W)(s) = ( ~ X J W(t)e-stdt .
.Jo
Proposition 12.27 e Y(s) = H(s)U(s).
Par ailleurs, en appliquant la transformation de Laplace au systme (12.1), avec
x (0) 0 et X (s) .c(x) (5), on a
s X (s) = A X (s) + B U (S), y (5) = C X (s ),
d'o
Y(s) = C(s! -A)-lBU(s).
La proposition suivante s'ensuit.
H 1 Reprsentation externe des systmes de contrle linaires 207
Proposition 12.28 oH(s) C(sI - A ) ~ I B .
Remarque 12.3. En particulier, on a L( CetA B )(5) C(s l - A )-1 B.
Proposition 12.29 ij Les coefficients de la matrice de transfert H(s) sont
des fractions rationnelles en s, avec un numrateur de degr strictement
infrieur au degr du dnominateur.
Preuve. Il suffit de remarquer que
( 1 A )
-1 1 (1 A )T.
5 - = det(s 1 _ A) corn s
Remarque 12.4. Si le systme s'crit
alors
{
;. (t) = A x ( t) + Bu (t ),
y(t) = Cx(t) + Du(t),
H(s) = C(sI -A)-tB +D.
o
Dans ce ca s, il est clair que les coefficients de la matrice H (s) sont des frac-
tions rationnelles dont le numrateur et le dnominateur ont mme degr.
Rciproquement, lorsqu'on dispose d'une matrice de transfert H(s) pour'
reprsenter un systme linaire continu, on peut chercher calculer un modle
d'tat (i.e. dterminer des matrices A,B,C) tel que H(s) = C(sI - A)-l B. Un
tel triplet (A, B, C) est appel ralisation d'tat continue de la matrice de transfert
H(s).
Proposition 12.30 Il La fonction de transfert (i.e. In = P = 1)
admet la ralisation
0 1 0 0
0
0 0 1
A= , B=
1 0
0 0 1
0
-ait -a
ll
-l
-al -al
1
208 II 1 Modlisation d'un systme de contrle linaire
La dmonstration se fait par un calcul facile. On peut de mme montrer que tout
matrice de transfert dont les coefficients sont des fractions rationnelles (le degr du
numrateur tant infrieur ou gal celui du dnominateur) admet une ralisation
(voir par exemple [49]).
Remarque 12.5. Il n'y a pas unicit de la ralisation. En effet si (A,B, C) est
une ralisation de H(s), alors il est bien clair que (A bB llC 1) est aussi une
ralisation de H (s) avec
Al=(A 0), B
1
= ( B ) ~ C
1
=(C 0).
* *' *'
Il existe un thorme d'unicit d'une ralisation minimale sous forme d'un
systme linaire contrlable et observable (voir par exemple (491).
Exercice 12.46. Dterminer une ralisation de la matrice de transfert
(
1/(5
2
-1))
H(s) = 5/(5
2
+5) .
5/(5
2
-5)
p , , ~ Reprsentation externe des systmes de contrle linaires 209
CHAPITRE 13
Stabilisation
des systmes de contrle
PARTIE 1
Systmes linaires autonomes
1. Rappels
Considrons le systme diffrentiel ,; (t) = A x (t ), o A EMil (JE.) et x (t) E JP!./I
On note x ( ',x 0) la solution telle que x (O,x 0) = x o. On rappelle que le point origine
0, qui est un point d'quilibre, est stable si
't1E: > 0 3'1] > 0 'tIxo E]R/I Ilxoll ~ (5 =} 'tIt ~ 0 Ilx(t1xo)11 ~ c.
Le point 0 est asymptotiquement stable s'il est stable et de plus x (t,x 0) --l- O.
l-+:xl
Pour un systme linaire, la stabilit locale est quivalente la stabilit globale.
1 Thorme 13.30 ..
!
i
1
1
i
1
i
1
1
- S'il existe une valeur propre). de A telle que Re /\ > 0, alors le
point d'quilibre 0 est instable.
- Si toutes les valeurs propres de A sont partie relle strictement
ngative, alors le point d'quilibre 0 est asymptotiquement stable.
- Le point d'quilibre 0 est stable si et seulement si toute valeur
propre de A est partie relle ngative ou nulle, et si toute valeur
1 propre partie relle nulle est simple.
L_._._. ______ . ______ ._. ___ ~ ___ . __ . ________ . __ . ___ . ___ ._. __ _
Remarque 13.1. Une valeur propre). de A est simple si et seulement si 1\ est ra-
cine simple du polynme minimallif\ . Ceci quivaut dire que N ().) = E (/\),
210 ': h.::!,::::,' 1 : ~ i Stabilsation des systmes de contrle
ou bien que Ker (A - /\1) Ker (A 1)2, ou encore que la dcomposition
de Jordan de A n'a pas de bloc de Jordan strict en .
La dmonstration de ce thorme est claire d'aprs la proposition 11.25.
Dfinition 13.1 ~ La matrice A est dite de Hurwitz si toutes ses valeurs
propres sont partie relle strictement ngative.
2. Critre de Routh. critre de Hurwitz
Dans cette section, on considre le polynme complexe
et on cherche des conditions pour que ce polynme ait toutes ses racines partie
relle strictement ngative, i.e, soit de Hurwitz.
Critre de Routh
Dfinition 13.2 ~ La table de Routh est construite de)a manire suivante:
1.10 al a4 a6
al 1.13 aS a
ventuellement complt par des 0
ventuellemen t complt par des 0
, b 1.111.12 - 1.101.13 b 1.111.14 - 1.101.15
ou 1 = , 2 = " ..
al al
b
1
a) -a
1
b
2
bIas -a,b
J
b 1 ' Cl
o Cl
Le processus continue tant que le premier lment de la ligne est non nul.
La table de Routh est dit cOl1zplte si elle possde 11 + 1 lignes dont le
premier coefficient est non nuL
Thorme 13.31 '" Tous les zros de P sont partie rel1e strictement
ngative si et seulement si la table complte existe, et les lments de la
premire colonne sont de mme signe.
Thorme 13.32 1II Si la table complte alors P n'a aucun zro ima-
ginaire pur, et le nombre de zros partie relle strictement positive est
gal au nombre de changements de signes dans la premire colonne.
Systmes linares autonomes 211
Critre de Hurwitz
On pose 0u+l = O,z+l = 0111-1 = O. On dfinit la matrce carre d'ordre 11
1 3
as
0
a2 a4

al a3
H

ao al

al


*
o * = ao ou a 1 selon la parit de 11.
Soient (Hi )iE{1, ... ,lI} les mineurs principaux de H, Le.
as
a4 , ... , Hu = detH.
a3
Thorme 13.33 CIl Si a 0 > 0, tout zro de P est de partie relle strictement
ngative si et seulement si Hi > 0, pour tout i E {1, ... ,11}.
Remarque 13.2. Supposons ao > O.
- Si pour toute racine de P, on a Re ~ 0, alors a k ~ et H k :;? 0,
pour tout k E {l, ... ,11}.
- Si 11 ~ 3 et si ak :;? et Hk :;? 0, pour tout k E {1,2,3}, alors toute
racine de P vrifie Re ~ O.
Remarque 13.3. Une condition ncessaire de stabilit est donc, si 00 > 0,
~ l a i s cette condition n'est pas suffisante (poser P (z) z4 + Z2 + 1).
Exercice 13.47. Une condition ncessaire et suffisante pour qu'un polynme de degr
infrieur ou gal 4, avec a 0 > 0, a it toutes ses rad nes partie relle strictement ngative,
est
212 13 Stabilisation des systmes de contrle
3. Stabilisation des systmes de contrle linaires autonomes
Dfinition 13.3 fi Le systme ~ ( t ) = Ax(t) + Bu(t), avec x(t) E R/J,
Il (t) E m;.111 ,A E Ml11R, B E Mt/,m IR, est dit stabilisable (par retour d'tat
linaire, ou feedback linaire), s'il existe K E M
m
,1l JR tel que le systme
boucl par le feedback Il (t) = Kx(t), i.e.
;(t) = (A + BK)x(t))
soit asymptotiquement stable, i.e.
'ri)" E Spec(A + BK) Re/\ < O.
Remarque 13.4. Ce concept est invariant par similitude
A l = PA P - \ BI = P B, KI = K P -1 .
Thorme 13.34 fi Thorme de placement de ples (pole-sbiftil1g theo-
rem)
Si la paire (A,B) vrifie la condition de Kalman, alors pour tout polynme
rel P unitaire de degr 11, il existe K E M
m
,1! 1R tel que XA +B K P, i.e.
caractristique de A + BK est gal P.
Corollaire 13.5 11' Si le systme de contrle ~ ( t ) = Ax(t) + Bu(t) est
contrlable alors il est stabilisable.
Dmonstration du corollaire
Il suffit de prendre P(X)
ples.
(X + 1)n et d'appliquer le thorme de placement de
IJ
Dmonstration du thorme de placement de ples
Faisons d'abord la dmonstration dans le cas m 1 (on se ramnera ensuite ce
cas). Par thorme on sait que le systme est semblable la forme de Brunovski
o
~ ) B - ( ~ )
1 ' - 0 .
-al 1 -a
n
-l
Posons alors K (k, ... k
n
) et u = Kx. On a
A+BK= ( ~
k
1
~ a n
o
Fe:ln!(' Systmes linaires autonomes 213
214
et donc
XA+BK(X) = X
n
+ (a, - k
n
+ ... + (an - k
l
).
Donc, pour tout polynme P(X) = Xn + (X,X
n
-
l
+ ... + n, il suffit de choisir
k, = an - Cfn, .,k
n
= al - al'
Dans le cas gnral o m " montrons le lemme fondamental suivant.
Lemme 13.10 e Si la paire (A,B) vrifie la condition de Kalman, alors il existe
y E IR
m
et C E Mm,n tels que la paire (A + BC,By) vrifie la condition de
Kalman.
D'aprs ce lemme, pourtout polynme P unitaire de degr n, il eXste K l E M"n (IR!)
tel que ;tA +B(.!.8yK 1 P, et donc en posant K C + yK 1 E JVl.m,n (IR), on a
XA+BK = P, ce qui prouve le thorme.
Preuve du lemme
Soit Y E IR
m
tel que By "1= O. On pose x, = By. On a le fait suivant.
Fait 1: Il existe X2 E Ax, + lm B (et donc il existe y 1 E ]Rm tel que
Xl = AXl + BY1) tel que dim Vect{x hX = 2.
En effet sinon, on a AXl + lm B C lP..x" doncAxl E lP.x, et lm B C lP'-.x,. D'o
lm AB = Alm B C Mx, C 1Rxll
et par rcurrence immdiate
On en dduit que
lm (B,AB, .. B) = lm B + lm AB + ... + lm An-l B C lP.x"
ce qui contredit la condition de Kalman.
Fait 2: Pour tout k n, il existe Xk E AXk_l + lm B (et donc il existe
Yk-l E IR
m
tel que Xk = AXk-l + BYk_') tel que dim Ek = k, o
Ek = Vect{x"" .,Xk}'
En effet sinon, on a AXk_l + lm BeEk_l, d'o AXk-l C Ek-l et
lm B C On en dduit que
En effet, on remarquequeAxl =X2-By, EEk-' 1mB CEk_"demme
pour AX2, etc, Xk_, BYk-1 E Ek-l + lm B C Ek-l. et enfin,
AXk-l E Ek-1'
Par consquent
lm AB = Alm B C AEk-l C Ek-l1
et de mme
i Stabilisation des systmes de contrle
D'o
lm (B,AB, ... ,An-l B) C Ek-l1
ce qui contredit la condition de Kalman.
On a donc ans construit une base (x" ... ,x
n
) de iR
n
. On dfinit alors
C E M
m

n
( J l ~ ) par les relations
CXl Y1, CX2 = Y2,"" CXn-l = Yn-ll CX
n
quelconque.
Alors la paire (A + BC,X1) vrifie la condition de Kalman, car
(A + BC}X1 = AX1 + BY1 = X2, ... ,(A + BC}x
n
_1 = AX
n
-1 + BYn-l Xn.
[J
Le thorme est prouv.
[J
Remarque 13.5. Pour la rnise en uvre nurnrique du placernent de ples,
une prernire solution est, si la dimension d'espace n!est pas trop grande,
d'appliquer les critres de Routh ou de Hurwitz de faon dterminer une
condition ncessaire et suffisante sur K pour stabiliser le systme. En effet il
suffit de calculer, par exemple Paide d'un logiciel de calcul formel comme
Maple, le polynme caractristique de la matrice A + BK.
Une deuxime solution consiste irnplrnenter une mthode systmatique
ralisant un placement de ples. Ce problrne est essentiellement un problme
inverse aux valeurs propres. Il existe beaucoup d'algorithmes mettant en
uvre une mthode de placement de ples. Parmi celles-ci, citons-en qui sont
implmentes dans la Control Toolbox de Matlab. La premire, ackel:m, est
base sur la formule d'Ackermann (voir [41]), est limite aux systmes rnono-
entre, mais n'est pas fiable nurnriquement. Il vaut mieux utiliser place.m,
qui est une mthode de placement de ples robuste (voir [42]), base sur des
dcornpositions aux valeurs propres.
Dans l'exemple 13.18 trait plus loin, nous donnons un exernple d'utilisation
de cette procdure.
Enfin, une troisime solution consiste appliquer la thorie LQ (voir section
4.4).
PARTIE Il
Interprtation en termes de matrice de transfert
Tout d'abord, remarquons que les ples de la rnatrice de transfert H (s) sont exac-
tement les valeurs propres de A. C'est pourquoi on parle des ples de A (ou 11lodes
propres). Ainsi, le systme est naturellement stable si les ples sont partie relle
strictement ngative.
li 1 Interprtation en termes de matrice de transfert 215
1
Dfinition 13.4 ri Le systme est dit EBSB-stable (Entre Borne, Sortie
Borne) si pour toute entre borne, la sortie est borne.
l. __ _
1. Proposition 13.31 CI Si les ples de A sont partie relle strictement
ngative alors le systme est EBSB-stable (la rciproque est fausse).
L _______ _
Remarque 13.6. La EBSB-stabilit peut donc se tester par les critres de
Routh -Hurwi tz.
Un feedback s'interprte de la manire suivante. Posons C
H(s) = (sI - At1B, et X(s) = H(s)U(s). On prend tl
U = KX + V, d'o
X(s) = (1 -H(s)K)-lH(s)V(s).
I. On a
Kx + v, i.e.
j Proposition 13.32 Si les ples de l - H(s)K sont partie relle stricte-
j ment nga tive, alors le systme est EBSB-stable.
L--___________________________ ___
Dans cette interprtation, la matrice de feedback K s'appelle le gain.
Remarque 13.7. La rponse impulsionnelle est W(t) = e
tA
B, donc
- si W(t) -1- 0, alors le systme est asymptotiquement stable;
t--+oo
- si Il W (t) Il est borne quand t -+ +00, alors le systme est stable;
- si IIW(t)11 diverge, alors le systme est instable.
PARTIE III
Stabilisation des systmes non linaires
1. Rappels
Considrons le systme diffrentiel dans ]R"
;; ( t) = f (x ( t ),
o f : R'l -+ }Rn est Cl. On note x ( . ,X 0) la solution de ce systme telle que
x(O,xo) = Xo.
216 C hap! i 1'0 13 ! Stabilisation des systmes de contrle
Dfiniton 13.5 (>
- Le point x est un point d'quilibre si f(x) = O.
- Le point d'quilibre x est dit stable si
- Le point d'quilibre x est dit localement asymptotiquement stable
(LAS) si x est stable et si de plus x (t,x 0) X.
1-+00
Thorme 13.35 19 Thorme de linarisation
Soit A la matrice jacobienne de f au point d'quilibre x.
- Si toutes les valeurs propres de A sont relle strictement
ngative, le point d'quilibre x est localement asymptotique-
ment stable.
- S'il existe une valeur propre de A partie relle strictement positive,
alors le point d'quilibre x est instable.
DfinWoll 13.6 'il SOtt n un ouvert de ]Ru contenant le point d'quilibre
x. La fonction V : n ---.:, IR est une fonction de LyapwlOv en x sur n si
- V est Cl sur n,
- V(;;) = 0, et 'r/x E n \ {;;) V(x) > 0,
- 'r/x E ,0 (\JV(x )f(x)) ~ (si l'ingalit est stricte, on dit que la
fonction de Lyapunov est stricte).
d
Remarque 13.8. V(x(t)) = (VV(x(t))J(x(t))).
Thorme 13.36 ~ Thorme de Lyapunov
S'il existe une fonction de Lyapunov au point d'quilibre x sur D, alors le
point x est stable. Si la fonction de Lyapunov est stricte alors x est LAS.
Si de plus V est propre sur n alors x est globalement asymptotiquement
stable (GAS) sur n.
[ ~ , , : ; ! ~ 1 Stabilisation des systmes non linaires 217
218
Thorme 13.37 " Principe de Lasalle
Soit V : n -+ 1R+ une fonction de classe Cl telle que
- V est propre, i.e. \IL E V(n) V-
1
([O,L]) est compact dans n,
- \Ix E n (\7V(x ),f(x)) ~ O.
Soit l le plus grand sous-ensemble de {x Eni (\7V(x )J(x)) O}
invariant par le flot (en temps t ;?; 0) de;'; = f(x). Alors toute solution
x (t) de;'; = f(x) tend vers I, Le.
d (x (t ),I) -; O.
t-+ClO
Remarque 13.9. On peut noncer le principe de Lasalle dans le cas particulier
o l'ensemble invariant l se rduit au point ;;. L'nonc est alors le suivant.
Soit;; E n un point d'quilibre, et V : n -+ :IR une fonction de classe Cl
telle que
- V (;;) = et \Ix E n \ {;;} V (x) > 0,
- V est propre,
- \Ix E n (\7V(x ),f(x)) ~ 0, et de plus si x (t) est une solution du
systme telle que (\7V(x(t)),f(x(t))) = pOUf tout t ~ 0, alors
x(t)=;;. '
Alors;; est GAS dans n.
Exercice 13.48. Dterminer les points d'quilibre du systme diffrentiel
{
x/Ct) = sin (x(t) + y(t))
y'(t) ex(t) - 1,
puis tudier leur stabilit.
Exercice 13.49. Soit le systme diffrentiel
{
Xf(t) y(t) (1 + x(t) - y(t)2),
Y/Ct) = x(t) (1 + y(t) - x(t)2).
Trouver les points d'quilibre de ce systme, et voir s'ils sont asymptotiquement stables
(resp. instables).
Exercice 13.50. On considre le mouvement d'un solide rigide en rotation soumis une
force extrieure,
1 1 W ~ = (12 -/3)W2
W
3 - w,
/ 2 W ~ (/3 /,)W3
W
l -W2
13 W ~ = (11 12 )w, W2 W3
1 Stabilisation des systmes de contrle
O 1,,12'/3 sont les moments d'inertie du solide, i.e. des constantes donnes. Construire une
fonction de Lyapunov permettant de montrer que l'quilibre est asymptotiquement stable.
Exercice 13.51. Soit 9 : lR --- lR de classe Cl telle que g(O) = 0 et xg(x} > 0 s x =f. O.
Montrer que le point d'quilibre x = ~ x 1 = 0 est asymptotiquement stable pour l'quation
diffrentielle x" + x' + g(x) = O.
Indication: on tudiera la fonction F(x) r g(y)dy au voisinage de 0 et on
./0
2
introduira la fonction de Lyapunov V(x,y) = F(x) + Y2 .
Exercice 13.52. Soit f : IR
n
--;. iR
n
une fonction continue telle que toute solution de
l'quation yi f(y), y(O) Yo, reste sur une sphre de IR
n
, i.e.
Vt ;;:: 0 lIy(t)11 = lIy(O)!!.
- Montrer que f(O) O.
- Montrer que l'origine est asymptotiquement stable pour le systme Xl = f(x) - x.
Exercice 13.53. Lemme de Lyapunov et applications
1.
2.
a. Soit A E jV/.n (IR) dont les valeurs propres sont de partie relle strictement
ngative. Montrer qu'il existe B E A1n (lit) symtrique dfinie positive telle
queATB+BA=-ld.
(Indication: poser B = r+
oo
e tA TetA dt)
./0
b. En dduire que V(x) = (x,Bx) est une fonction de Lyapunov pour l'quation
diffrentielle x' = Ax, et que l'origine est asymptotiquement stable.
a. SOt q : ]Rn --;. ]Rn une fonction continue telle que q (x) o(llxl!). Montrer
que la fonction V prcdente est encore une fonction de Lyapunov pour le
systme x' = Ax + q(x), et que l'quilibre 0 est asymptotiquement stable.
b. Quel rsultat peut-on en dduire sur la stabilit des points fixes d'un systme
autonome x' = F(x), o F : Rn -+ Rn est de classe C' ?
2. Stabilisation locale d'un systme de contrle non linaire
Considrons le systme de contrle non linaire
; ( t) = f (x (t ), u ( t ) ),
et soit (xe,u
a
) un point d'quilibre, i.e. f(xc1u
e
) = O. Le systme linaris en ce
point est
y (t) = A Y (t) + B v (t ),
;)1 ! Stabilisation des systmes non linaires 219
o
220
Thorme 13.38 " Si le systme linaris est stabilisable par le feedback
v Ky, alors le point d'quilibre (x e,ll e) est LAS pour le systme boucl
Exemple 13.18.
Figure 13.1. Le robot 2kif'
(Centre Automatique et systmes de Fontainebleau, cole des Mines de Paris).
On tablit qu'une condition ncessaire et suffisante sur K pour stabiliser le pendule
invers (cf exemple 5.9) localement autour du point d'quilibre = Cl = 0, fi 0,
iJ = 0) est
k
4
-k
2
L>O, k3 k
1
L-(m+M)g>0, k,>o,
k
2
((k
4
k2L)(k3 - k
1
L - (m + M)g) - MLgk
2
) > k
1
(k
4
- k
2
L)2.
Mettons en uvre, en Mat/ab, sur cet exemple. diffrentes mthodes de stabilisa-
tion.
function placementpole
% L'exercice consiste stabiliser le systeme de controle suivant
% (pendule invers)
%
% xiddot (m*L*thetadotA2*sin(theta)-m*g*cos(theta)*sin(theta)+u )j ...
% (M+m*sin(theta)A2 )
% thetaddot = ...
% (M+m)*g*sin(theta}-u*cos(theta) )j(L*(M+m*sin(theta}A2 ))
% avec M masse du chariot,
% m masse du pendule (tige sans masse),
% L longueur de la tige,
% au voisinage de sa position d'equilibre instable
Stabilisation des systmes de contrle
%
%
%
%
Le systeme
(
0 1
A =
(
0 0
( 0 0
(
0 0
Pour cela
plusieurs
xi = xidot theta =thetadot
:=
O.
linearise en ce point est Xdot=AX+Bv avec
0 0
) ( 0
-m*g/M 0 )
et B
( 1/r4
0 1 ) ( 0
(M+m)*g/{L*M) 0
) (
-l/(L*M)
on va poser u=K*X, o K k1 lc2 k3 k4 } , et tester
mthodes.
% 1. Mthode directe! calculer l'aide de Maple le polynome
% caractristique de la matrice A+B*IC, puis en appliquant
% le critre de Routh dterminer une CNS sur le
% pour que la matrice A+B*K soit Hurwitz.
% Tester diffrents feedbacks K.
% Par identification des coefficients, dterminer un feedback
% K permettant de placer
% les poles exactement aux valeurs (-l,-l,-l,-l).
% Tester tous les feedbacks ainsi dtermins sur le systme non
% linaire initial.
%
% 2. Utilisation des outils Matlab (Control Toolbox).
% 2.a. Utiliser la fonction Matlab "acker" pour placer les poles
% exactement aux valeurs (-1,-1,-1,-1).
% 2.b. Utiliser la fonction Matlab "place" pour placer les poles
% exactement aux valeurs (-1,-2,-3,-4).
% (attention : il faut forcment prendre des poles distincts.
% voir l'aide sur place)
% 2.c. Utiliser la fonction Natlab "lqr" pour stabiliser le systme.
% Tester ces diffrents outils pour stabiliser le systme non
% linaire initial.
% On prendra les valeurs numriques suivantes
% M = 10 ; m = 1 ; L = 1 j g 10;
clear aIl i close aIl ; clc
global M m L g M = 10 ; m 1 iL'" 1 ; 9
% 1. Mthode directe. On calcule avec Maple
10
% PolyCaract(A+B*K) (X) - X
A
4 + (k4-Jc2*L)/(M*L)*X
A
3 +
% (k3 -k1 *L- (m+M) Tg) / (M*L) *x"'2
% + k2*g/ (M*L) *X + 11:.1 *g/ (M*L)
% et d'aprs le critre de Routh on obtient la CNS suivante
% k4-k2*L::.O, k3-kl*L-{m+Ml*g:::.O, k1::.0,
% k2*k4-k2*L)*{k3-k1*L-(m+Ml*g)-M*L*g*k2l:;:. k1* (k4-k2*L) "'2.
% (on peut remarquer que ncessairement k2:::.0)
% Avec les valeurs numriques, cela donne :
% kl:;:.O. k3>kl+llO, Jc4::.k2, k2*((k4-k2)*(k3-kl-l10)-100*k2} ::. kl*(k4-
k2)"'2.
% Par exemple a marche si Icl=l, k2=1, k3=300, k4,=2
% (on peut fixer k1:l, k2=1, k4=2, et donner une ingalit sur k3 ... )
kl=l ; k2=1 ; k3=300 ; k4-2
xinit '= [0.5 0.2 0.4 1 ] ;
[t,x] ode4S (@systeme, (0 100) ,xinit, [] ,kl,k2,k3,k4)
figure j subplot(2,2,11 plot(t,x(:,1)) title('xi')
subplot(2,2,2) plot(t,x(:,2)) title('xidot')
subplot (2, 2 , 3) plot (t, x ( ! , 3) ) t i tle ( , the ta' )
1 Stabilisation des systmes non Iinares 221
subplot(2,2,4) ; plot(t,x(:,4)) ; title('thetadot')
% Pour avoir les poles exactement aux valeurs (-1,-1,-1,-1),
% on rsout le systme linaire
% (k4-k2)/10 4
% (k3-k1-110)/10 6
% k2 4
% k1 1
% d'oO kI-l, k2=4, k3-171, k4-44.
k1-1 ; k2=4 ; k3-171 ; k4-44 ;
xini t = [ a . 5 O. 2 0.4 1 ] i
[t,x) - ode45 (@systeme, [0
figure; subplot(2,2,1)
subplot(2,2,2)
subplot(2,2,3)
subplot(2,2,4)
20] , xinit, [] , k1, k2, k3, k4)
plot (t,x (:,1)) title (, xi')
plot(t,x(:,2)) title('xidot')
plot(t,x(:,3)) title('theta')
plot(t,x(:,4)) title('thetadot')
% 2. Utilisation des outils Matlab
% Dfinition des matrices A et B
A
=
[ a 1 a a
a a -m*g/M a
0 a 0 1
a a (M+m) *g/ (L*M) 0 ]
;
B ==
[ a l/M ; 0 j -l/(L*M)
% 2.a. Utilisation de acker
; k4=-K(4) ;
K - acker (A, B, [- 1 -1 -1 -1])
k1==-K(1) i k2=-K(2) ; k3--K(3)
xini t - [o. 5 O. 2 0.4 1 ] ;
[t.x) - ode45(@systeme. [0 20) , xinit, [] , k1, k2, k3, k4}
plot(t,x(:,l)) title('xi'}
plot(t,x(:,2)) title('xidot'}
plot(t,x(:,3)) title('theta')
plot(t,x(:,4)) title('thetadot')
figure; subplot(2,2,l)
subplot(2,2,2)
subplot(2,2,3)
subplot(2,2,4)
% 2.b. Utilisation de place
K '" place(A,B, [-1 -2 -3 -4))
k1=-K(1) ; k2--K(2) i k3=-IC(3) ; k4=-K(4) ;
xini t = [O. 5 0.2 0.4 1 ] ;
[t,x] = ode45(@systeme, [0 20] ,xinit, [) ,kl,k2,k3,k4)
figure subplot(2,2,l) plot(t,x(:,l)) title('xi')
subplot(2,2,2) plot(t,x(:,2)) title{'xidot')
subplot(2,2,3) plot(t,x(:,3)) title('theta')
subplot(2,2,4) plot(t,x(:,4)) title('thetadot'}
% 2.c. Utilisation de lqr
[IC,S,e] = Iqr(A,B,eye(4) ,1)
k1=-K(1) ; k2=-IC(2) i k3=-l3) ; k4=-K(4) i
xinit = [0.5 0.2 0.4 1 ] i
[t,x] = ode45(@systeme, [0 30] ,xinit, [] ,k1,k2,k3,k4)
figure j subplot(2,2,1) plot(t,x(:,l)) title('xi')
subplot(2,2,2) plot(t,x(:,2)) title('xidot')
subplot(2,2,3) plot(t,x(:,3)) title('theta')
subplot(2,2,4) plot(t,x(:,4)) title('thetadot'}
222 Chi.:piu'<2! J 1 Stabilisation des systmes de contrle
%-- ------- -------------
------------------------------
function xdot systeme(t,x,kl.k2,k3,k4l
global M m L g
xi = x(l) ; xidot = x(2) i theta = x(3) i thetadot x(4)
u = kl*xi + k2*xidot + k3*theta + k4*thetadot ;
xdot = [ xidot
...

thetadot
...
(M+ml*g*sin(theta)-u*cos(theta)
1 (L*' (f>1+m*sin (theta) "'2 ] i
Les rsultats sont reprsents sur les figures 13.2 pour la mthode directe (question
1), et 13.3 pour l'utilisation de place.m (question 2.b). On peut constater l'efficacit
de cette dernire procdure .
1

the!,.. Iholao'
20 4Cl 00 UO 100 20 40 O [l0 loa
Figure 13.2 .. Mthode directe
ExerCce 13.54. On considre le systme de contrle
x(t) = f(x(t)) + u(t)g(x(t)),
o l'tat x et le contrle u sont des rels, les fonctions f et 9 sont de classe C:xJ, et f(O) O.
On suppose que le point d'quilibre (x = O,u = 0) est globalement asymptotiquement
stabilisable au sens suivant: il existe un contrle feedback u (x) de classe ex., avec u(O) = 0,
et une fonction de Lyapunov globale stricte V pour le systme boucl x f(x) -\- u (x)g (x)
au point d'quilibre x = O.
li! 1 Stabilisation des systmes non linaires 223
.1 .Ido!
[\/

o 10 1$
4
1)
10 20
Iholndol

OC;
o 5 10 15 20
Fi6'l.J:re 13.3. Utilisation de place.nt
On considre alors le systme augment
{
= f(x(t)) + y(t)g(x(t)),
y(t) = v(t),
o v est le nouveau contrle. En considrant la fonction
montrer que le feedback
15 20
v (x,y)
Bu
Bx (x)(f(x) + yg(x))
V
x (x}g(x) - (y - u(x)}
rend le point d'quilibre (x = o,y = o,v = O) asymptotiquement stable pour le systme
augment.
3. Stabilisation asymptotique par la mthode de Jurdjevic-Quinn
Proposition 13.33 fi On considre le systme affine lisse dans IR
Il
111
(t) = f (x (t )) + L li i (t )g i (x (t ) ),
i=1
avec/ex) O.
("
1::: 1 Stabilisation des systmes de contrle
Supposons qu'il exste une fonction V : ]Rn .......,. m:+ telle que
- Oet\fxi=x V(xO,
- V est propre,
- \f x E Rn L r V ( X ) (\7 V (X ),f (X )) 0,
{x E }RH 1 L f V (X) et L L g i V (x)
\fk EN} =
0, \fiE { 1, ... ,n},
Alors le feedback II i (x) = - L g i V (x), i = 1, ... tm, rend le point
d'quilibre x globalement asymptotiquement stable.
m
Preuve. Soit F(x) f(x) LLg; V(x)gdx) la dynamique du systme boucl. No-
=1
tons tout d'abord que F(i) 0, i.e. x est un point d'quilibre pour le systme
boucl. En effet, V est lisse et atteint son mnimum en X, donc vV(x) 0, d'o
LYj V(x) = 0 pour = 1" . . ,m ; de plus, f(x) = O. On a
m
LF V(x) = (vV(x),F(x)) = LfV(X) - L (L
gi
V(X))2 ::::; 0,
=1
et si LFV(X(t)) = 0 pour tout t, alors
LfV(X(t)) = 0 et Lgi V(x(t)) = 1, .. . )m.
Par drivation,
d
0= dtLgj V(x(t)) = L(L
gi
V(x(t)),
puisque LYj V(x(t)) O. D'o, clairement,
Vi E {1, .. . ,m} Vk E N LYi V(x(t)) O.
On en dduit que x(t) = X, et la conclusion s'ensuit par le principe de Lasalle. 0
Exercice 13.55. Systme prdateurs-proies
Considrons le systme prdateurs-proies contrl
X x(l - y) + u,
y = -Y(' -x).
Pour le point d'quilibre (x ',y 1). montrer que la fonction V(x,y} 2 xye -x-y
e
vrifie les hypothses de la proposition prcdente, et en dduire un feedback stabilisant
globalement ce point d'quilibre.
il! 1 Stabilisation des systmes non linaires 225
CHAPITRE 14
Observabilit
des systmes de contrle
Dans tout le chapitre, on se limite au cas linaire autonome
;;(t) =Ax(t) +Bll(t),
y ( t ) C x ( t) + D li (t ),
(14.1)
ox(t) EIRl1,U(t) EIRIII,y(t) Elffi/),A EM
ll
(lR),B EM
ll
,m(JPl),C EMp,n(IR)
et D E M'J,JI! (IR). Dans toute la suite, on peut supposer que D = 0, cela ne change
rien aux rsultats qui suivent.
PARTIE 1
Dfinition et critres d'observabilit
Notons (Xli (t,xo)')'1/ (t,xa)) la solution de (14.1) telle que XII (O,xa) = xo.
Dfinition 14.1 1> Le systme (14.1) est observable en temps T si
(dans ce cas on dit que X 1 et Xl sont distinguables).
Autrement dt, si Xl et Xl sont distinguables s'il existe un contrle tel que les tra-
jectoires observes diffrent. De manire quivalente, on peut dire
i.e. , la connaissance de la trajectoire observe dtermine de manire univoque l'tat
initial.
L'intrt de la notion d'observabilit est le suivant. Si on considre le systme comme
une bote noire laquelle on applique une entre (contrle, input) Il (t), et de laquelle
226 i\ 1 Observabilit des systmes de contrle
merge une sortie (observable, output) y la proprit d'tre distinguable signifie
la possibilit de diffrentier par des expriences de type entre-sortie.
On est aussi motiv par la stabilisation. En effet, on a vu comment stabiliser un
systme par retour d'tat. Or il peut coteux de mesurer l'tat complet
d'un systme. On peut alors se demander si la connaissance partielle de cet tat per-
met de reconstituer l'tat complet (c'est la proprit d'observabilit), et de stabiliser
le systme entier: c'est la stabilisation par retour d'tat ou synthse
rgulateur-observateur.
Thorme 14.39 1) Le systme (14.1) est observable (en temps T quel-
conque) si et seulement si
(
C )
CA
rang :
CA
IZ
-
1
=n.
Preuve. Faisons une dmonstration directe de ce thorme. On montre d'abord le
lemme fondamental suivant.
Lemme 14.11 Ol' Le systme (14.1) est observable en temps T si et seulement si,
pour le systme observ x = Ax, y = Cx, x(O) = Xc. on a
Xo =1- 0 =? y( . ) 0 sur
Preuve du lemme
Le systme (14.1) est observable en temps T si et seulement si
(Xl =/: X2 =? 3u E L T1iR
m
) 1 Yu ( ,Xl) =/: Yu ( "X2) sur Tl)
(Xl =1- X2 =? :lu E L oc(fo, T1lR'.m) 3t E [0, Tl /
Ce
tA
x, + Ce
tA
l
t
e-
SA
Bu(s)ds =1- Ce
tA
X2 + Ce
tA
l
t
e-
sA
BU(S)dS)
(xo =Xl X2 =/: 0 =? 3t E [o,Tl 1 CetAxo =1- 0)
(xo =/: 0 =? y( . ) ?/= 0 sur [0, Tl pour le systme x = Ax,y = Cx,x(O) = xo)
o
On est maintenant en mesure de montrer le thorme.
Si (14.1) n'est pas observable en temps T, alors
3x
o
=/: 0 l'rit E [0, T] y(t) = 0,
1 1 Dfinition et critres d'observabilit 227
28
i.e.
'it E [0, Tl Ce
tA
Xo = O.
D'o. par drivations sucessives, et en prenant t = 0,
CXo = CAxo =... CAn-1xo 0,
i.e.
(
) Xo = 0, et donc rang ( ) < n.
CA
n
-.
1
CA
n
-
1
Rciproquement, si le rang de cette matrice est strictement infrieur n, alors il
existe x a =f:. 0 tel que
CXo CAxo = ... = CA
n
-1 Xo = 0,
et donc par le thorme d/Hamilton-Cayley,
'it E CetAxo = 0,
et par consquent le systme (14.1) n'est pas observable. o
Remarque 14.1. Pour un systme linaire autonome, l'observabilit a lieu en
temps quelconque si elle a lieu en temps T.
Remarque 14.2. La notion d'observabilit pour un systme linaire autonome
ne dpend pas de la matrice B.
Remarque 14.3. On a
rang ( ) = Il {::} rang (CT ATC
T
CA,,-l
et par consquent, le systme = Ax + Cx est observable si et
seulement si le systme AT x + CT u est contrlable. la dualit
contrlabilit/observabilit. Ce fait, trs important, permet de transfrer aux
systmes observs tous les rsultats tablis sur les systmes contrls.
On aurait pu prouver cette quivaJence directement en utilisant l'application
entre-sortie, et en remarquant qu'une application linaire E : L 2 --;. Rit
est surjective si et seulement si l'application adjointe E* :]R1/ L
2
est
injective.
Corollaire 14.6 Q Le systme (14.1) est observable en temps T si et seule-
ment si la matrice
est inversible.
l'T
O(T) = Jo
Observabilit des systmes de contrle
CT Ce-sA ds
Dfinition 14.2 Cl Similitude
Les systmes
{
; 1 = A 1 X 1 + B 1
11
1
YI = C
1
X
l
sont dits semblables s'il exisre une matrice P E GLu (IR) telle que
Proposition Tour systme x Ax + B Il, Y = Cx, est semblable
un systme x Ax + Bu,)1 = Cx, avec
i.e.
1
;1= iXl+BlU
;2 = + A
3
X
2 + B
2
u
partie non observable
YI C
1
X
l
et la paire (A 11 1) est observable.
Preuve. 11 suffit d'appliquer le rsultat vu en contrlabilit au systme Je
CTU.
Dfinition 14.3'" Dans cette dcomposition, les valeurs propres de A 3
appeles modes propres illobservables de A, et les valeurs propres de
dites modes propres observables de A.
i Dfinition et critres d'observabilit 229
Proposition 14.35 -Forme de Brunovslci, cas p = 1
Dans le cas p = 1, le systme;;' = Ax + Bu, y = Cx, est observable si
et seulement s'il est semblable ausystme;l = Aixi +B
1
u,y = C1x[,
avec
0
1 0
Al
0
0 0
Exercice 14.56. Ressort
Le systme mx + kx = u est-il observable
- avec y =x?
- avec Y = x?
Exercice 14.57. Amortisseurs d'une voiture
Le systme
0 -ail
, Cl
0
1 -al
{
~ ' = -k1Xt - d t ~ l + /,u,
X2 = -k
2
X2 - d
2
X
2 + /2 U
est-il observable
- avecYt = x" Y2 = X2 ?
avec Y Xl?
- avec y 1 = X 1. Y:2 = X 2 ?
(0 ... 01).
Exercice 14.58. Le pendule invers linaris (cf exemple 5.9) est-il observable
- avec Y = ?
avec Y = (J?
- avec y 1 = (J, Y2 ?
PARTIE Il
Stabilisation par retour d'tat statique
On peut se demander si, tant donn un systme contrlable et observable
; = A x + Bu, y = Cx, il existe un feedback u = Ky stabilisant le systme, i.e. si
la matrice A + BK C est Hurwitz.
30 Chilpiilf' i 1 Observabilit des systmes de contrle
La rponse est NON. Pour le voir, considrons les matrices
Le systme; = Ax + Bu, y = Cx, est trivialement contrlable et observable.
Pourtant, pour toute matrice scalaire J( = (k), la matrice

n'est pas Hurwitz.
En conclusion, un feedback par retour d'tat statique ne suffit pas en gnraL C'est
pourquoi, dans la suite, on va voir comment construire un retour d'tat dynamique.
PARTIE III
Observateur asymptotique de luenberger
Motivation: supposons que le systme; = Ax + Bu, y Cx, soit observable. Le
A
but est de construire un observateur asymptotique x ( . ) de x ( . ), i.e. une fonction
A A
dynamique x ( . ) de l'observable y ( . ), telle que x (t) x (t) ---+ O. L'ide est de
t ...... +oo
copier la dynamique du systme observ et d'y ajouter un correctif en tenant compte
de l'cart entre la prdiction et la ralit.
Dfinition 14.441 Un observateur asymptotique (ou observateur de Lue1t-
A
berger) x ( . ) de x ( . ) st une solution d'un systme du type
A A A
X ( t ) A x (t) + B Il ( t) + L ( C x ( t ) Y ( t ) ),
o L E M
7t
,p (1R) est appele matrice de gain, telle que
A
x(t) -x(t) O.
1--+00
A
Remarque 14.4. Introduisons e (t) = x (t) - x (t), l'erreur entre la prdiction
A
x ( . ) et l'tat rel x ( . ). On a
(t) = (A + L C) e (t ),
Palle ii! 1 Observateur asymptotique de luenberger 231
et donc e (t) o pour toute valeur initiale e (0) si et seulement si la
1-4+00
matrice A + L C est Hurwitz. Construire un observateur asymptotique revient
donc dtermner une matrice de gain L telle que A + L C soit Hurwitz. Ainsi,
de manire duale au thorme de placement de ples, on a le rsultat suivant.
Thorme 14.40 III Thorme de placement des modes propres de
l'observatcur
Si la paire (A, C) cst observable, alors le systme admet un observateur
asymptotique (i.e. on peut construire une matrice de gains L telle que
A + L C soit Hurwitz).
Preuve. La paire (AT,C
T
) tant contrlable, diaprs le thorme de placement de
ples il existe une matrice L T telle que la matrice AT + CT L T soit Hurwitz. 0
PARTIE IV
Stabilisation par retour dynamique de sortie
On a vu comment construire
un rgulateur (feedback) pour un systme contrlable,
- un observateur asymptotique pour un systme observable.
Il sembJe naturel, pour un systme contrlable et observable, de construire un
rgulateur en fonction de l'observateur asymptotique de l'tat: c'est Ptape de
synthse rgulateur-observateur.
Dfinition 14.5 CI On appelle feedback dynamique de sortie, ou
ohservateur-1"gulateur, le feedback li
1\
Kx, o
1\ 1\ 1\
x =Ax +Bu +L(Cx -JI).
232 Clv,p:ir(:- l 1 Observabilit des systmes de contrle
Thorme 14.41 Q Thorme de stabilisation par retour dynamique de
sortie
Si le systme'; = Ax + B li, Y = Cx, est contrlable et observable, alors
il est stabilisable par retour dynamique de sortie, i.e. il existe des matrices
de gain K E Mm.1l et L E MIl,/1 ( ~ ) telles que les matrices A + BK
et A + L C soient Hurwitz, et alors le systme boud
fi
X Ax +BKx
fi fi fi
x (A + BK)x + LC(x - x)
est asymptotiquement stable.
Preuve. Posons e ~ - x. Alors
et donc ce systme est asymptotiquement stable si et seulement si les matrices
A + BK et A + Le sont Hurwitz
1
ce qui est possible avec les proprits de
contrlabilit et d1observablit. 0
Dfinition "14.6 e Les valeurs propres de A + BK sont dites modes propres
du rgulateur, et les valeurs propres de A + L C sont dites modes propres
de l'observateur.
Application la stabilisation locale d'un systme non linaire par retour dynamique
de sortie.
Considrons le systme non linaire
,; ( t) = f (x (t ),11 (t ) )
y(t) g(x(t))
Soit (xelu
e
) un point d'quilibre, i.e. f(X,llc) O. Le systme linaris en (xe,u
e
)
s'crit
avec
(5x (t) = A ox (t) + Bou (t)
oy(t) = Cox(t)
D'aprs le thorme de linarisation, on obtient le rsultat suivant.
\\1 ! Stabilisation par retour dynamique de sortie 233
Thorme 14.42 III Si le systme linaris est contrlable et observable,
alors il existe des matrices de gains K et L telles que les matrices A + BK
1\
et A + L C soient Hurwitz, et alors le contrle Il = li e + K 5x, o
1\ 1\
5x = (A +BK +LC)5x -L(y -g(x
e
)),
stabilise localement le systme au voisinage du point d'quilibre (Xe,lle).
Exercice 14.59. Problme d'examen
Figure 14.1. Contrle du raffinage (Institut franais du ptrole).
On considre un mlangeur dans lequel arrivent un mme produit, par deux entres
diffrentes, avec des concentrations respectives C1 et C2 (constantes), et des dbits Ul (t)
et U2 (t). Le volume dans le mlangeur est not V(t) et la concentration du produit c(t).
Le dbit en sortie est d(t) = ,JV(t), o, est une constante. Les contrles sont U1 (t) et
U2 (t).
1. Par un bilan volume-matire, tablir que
{
d
dt V(t) = Ul (t) + U2(t) - d(t),
:t (c(t)V(t)) = Cl U 1 (t) + C2 U2(t) - c(t)d(t),
puis que
{
V(t) = Ul (t) + U2(t) - ,JV(t),
. 1
c(t) = V(t) ((Cl - C(t))U1 (t) + (C2 - C(t))U2(t)).
Le but est de stabiliser le systme des dbits constants en entre et en sortie,
une concentration constante en sortie, et un volume constant, i.e. on veut que,
lorsque t tend vers +00,
Ul (t) --1 u ~ , U2(t) --1 u ~ , d(t) --Jo dO, c(t) --1 co, V(t) --1 Va.
~ 3 4 C hr:lpi t '2 id 1 Observabilit des systmes de controle
2.
a. Montrer que
{
0 a dO r.-;(V a
u, + u
2
= = IV
o 000 0 0
C 1 U 1 + c 2 u 2 C d = lC y'VO.
b. Montrer que le systme linaris au point d'quilibre estdonn
par les matrices
A . B =
(
0: 0) ( 1
o 2a' /3,
avec a
c. Montrer que ce systme linaris est contrlable.
d, On pose X ( Enoncer et dmontrer une condition suffisante sur
K = pour que le systme boucl par le feedback u = KX soit
localement asymptotiquement stable en ce point d'quilibre.
e. Construire un tel feedback plaant les ples en -1.
3. On observe en sortie la quantit y(t) = c(t)V(t}.
a. Ecrire le systme linaris observ au point d'quilibre prcdent, et montrer
qu'il est observable.
b. Expliquer soigneusement comment effectuer une stabilisation locale en ce
point par retour d'tat dynamique, en utilisant l'observable prcdente. On
donnera notamment des conditions ncessaires et suffisantes sur les matrices
de gain assurant la stabilisation,
Exercice 14.60. Problme d'examen
On considre un systme mcanique plan form d'un rail (reprsent par un segment) et
d'un chariot, assimil un point matriel de masse m, roulant sans frottement sur le rail.
Le rail tourne autour du point O. Soit () l'angle que fait le rail avec l'axe horizontal, et x
l'abscisse du chariot sur le rail (distance entre a et le chariot), Soit J le moment d'inertie du
rail par rapport 0, et 9 l'acclration de la pesanteur. Le contrle est le couple u exerc
sur le rail (voir figure 14.2).
1.
a. Montrer que le Lagrangien du systme s'crit
" 1'2 1 '2 2 '2
L(x,xJ1J1)=JO +m(x +x (J )-mgxsinO,
b. En dduire que les quations du systme mcanique sont
{
x(t) = x(t)iJ(tl - 9 sin O(t)
8(t) = J + (U(t) - 2mx(t)x(t)f.J(t) - mgx(t) COSO(t)) ,
iV 1 Stabilisation par retour dynamique de sortie 235
36
Figure 14.2. Chariot sur rail
c. En posant y = X, 0 w. et X = (x,y,B,w). mettre ce systme sous forme d'un
systme de contrle (5) de la forme X(t) = f(X(t),u(t)).
2. Dterminer les points d'quilibre (Xe,u
e
) du systme de contrle (5).
3. Ecrire le systme linaris autour du point d'quilibre (Xe,u
e
) = (0,0), et montrer
qu'il est contrlable.
4.
5.
a. Enoncer et dmontrer une condition suffisante sur K = (kl,k2,k3,k4) pour
que le systme boucl par le feedback u = KX soit localement asymptoti-
quement stable en ce point d'quilibre.
b. Construire un tel feedback plaant les ples en -1.
a. Le systme linaris est-il observable si on observe y = x ?
b. Est-il possible de stabiliser le systme en (0,0) par le retour d'tat statique
u = ky?
6. Expliquer soigneusement comment effectuer une stabilisation en (0,0) par retour
d'tat dynamique, en utilisant l'observable prcdente. On donnera notamment des
conditions ncessaires et suffisantes sur les matrices de gain assurant la stabilisation.
Exercice 14.61. Problme d'examen
On considre un systme mcanique plan form de deux pendules de masse m, coupls par
un ressort de raideur k, et ayant un angle Oi, i = 1,2, avec la verticale. Pour simplifier, on
suppose que les tiges, de longueur l, des pendules, sont de masse nulle, et que, en approxi-
mation, l'axe du ressort reste horizontal au cours du mouvement. On note g l'acclration
de la pesanteur. le contrle est une force u horizontale exerce sur le pendule de droite.
Avec l'approximation prcdente, les quations du systme mcanique sont
{
m / 2 ~ 1 (t) = ka
2
( sin 02(t) sin 0
1
(t)) cos ()1 (t)
m/
2
02 (t) = ka
2
( sin 0
1
(t) - sin O
2
(t)) cos 02 (t)
mgl sin 0
1
(t)
mgl sin 02 (t) + u(t) cos B
2
(t)
1. En posant Wj = 0;, i 1,2, et X = (01,Wt,02,W2), mettre ce systme sous forme d'un
systme de contrle (5) de la forme X(t) = f(X(t),u(t)).
1 Observabilit des systmes de contrle

k ,

..... '
II
Figure 14.3.
Montrer que (Xe,u e) (0,0) est un point d'quilibre du systme.
Dans la suite du problme, on pose
ka
2
9 ka
2
0: = m/ 2 + T' f3 = mIl' ,
2. Ecrire le systme linaris autour du point d'quilibre (Xe,u
e
) = (0,0), et montrer
qu'il est contrlable.
3.
4.
a. Dmontrer qu'une condition suffisante sur K (k 1,k2.,k
3
,k
4
) pour que le
systme (5) boucl par le feedback u = KX soit localement asymptotique-
ment stable en ce point d'quilibre est
2a
k4 < 0, k3 < -, f3,k, +a')'k
3
+
/
0;2
,
(ak4 +f3k
2
)( -"'jk
4
(2a-"yk
3
) +/(ak
4
+f3k
2
)) +.8
2
-cl +f-hk 1).
b. Construire un tel feedback plaant les ples en -1.
a. Le systme linaris est-il observable si on observe y = 0
1
?
b. Est-il possible de stabiliser le systme en (0,0) par le retour d'tat statique
u = koY?
c. Expliquer soigneusement comment effectuer une stabilisation en (0,0) par
retour d'tat dynamique, en utilisant l'observable prcdente. On donnera
notamment des conditions suffisantes sur les matrices de gain assurant la
stabilisation.
!,'' :v ! Stabilisation par retour dynamique de sortie 237
Bibliographie
[1] H. Abou-Kandil, G. Freiling, V. Ionescu, G. Jank, Matrix Riccati equations,
Control and systems theory, Systems & Control: Foundations & Applica-
tions, Birkhauser Verlag, Basel, 2003.
[2] A. Agrachev, Y. Sachkov, <Control theory from the geometric viewpoint>,
Ellcyclopaedia of Ma th ematica 1 Sciences, 87, Control Theory and Optimiza-
tion, II, Springer-Verlag, Berlin, 2004.
[3] B. D. Anderson, J. B. Jvloore, Optimal filtering, Prentce hall, Englewood
Cliffs, 1979.
[4] B. d'Andra-Novel, M. Cohen de Lara, Cours d'Automatique, commande
linare des systnzes dynamiques, les Presses, Ecole des Mines de Paris, 2000.
[5] V. I. Arnold, Mthodes mathmatiques pour la mcanique classique, Editions
Mir, Moscou, 1976.
[6] A. Avez, Calcul diffrentiel, Masson, Paris, 1983.
[7] M. Bardi, 1. Capuzzo-Dolcetta, Optimal control and viscosity solutions of
Hamilton-Jacobi-Beltman equatOllS, Birkhauser, Inc., Boston, 1997.
[8] G. Barles, Solutio11s de viscosit des quations de Hamilton-Jacobi, Math. &
Appl. 17, Springer-Vedag, 1994.
[9] A. Bensoussan, Filtrage optimal des systmes linaires, Dunod, Paris, 1971.
[10] M. Bergounioux, Optimisation et contrle des systmes linaires, Dunod,
Collection Sciences Sup, 2001.
[11] O. Bolza, Calculus of variations, Chelsea Publshing Co., New York, 1973.
[12] B. Bonnard, M. Chyba, The role of singular trajectories in control theory,
Math. Monograph, Springer-Verlag, 2003.
[13] B. Bonnard, L. Faubourg, E. Trlat, (Optimal control of the atmospheric
arc of a space shutde and numerical simulations by multiple-shooting tech-
niques) Math. Models Methods Applied Sei. 2, 15,2005.
[14] B. Bonnard, L. Faubourg, G. Launay, E. Trlat, (Optimal control with state
constrants and the space shuttle re-entry problem), Journal of Dynamical
and Control Systems, Vol. 9, na 2, 2003, 155-199.
238 Bibliographie
[15] B. Bonnard, L Kupka, (Generic properties of singular trajectories:t, Aunales
de l'IHP, Analyse non linaire, Vol. 14, nO 2, 167-186, 1997.
[16] B. Bonnard, E. Trlat, (Une approche gomtrique du contrle optimal de
l'arc atmosphrique de la navette spatiale>, ESAIM Cont. Opt. Cale. Var.,
Vol. 7,2002, 179-222.
[17] U. Boscain, B. Piccoli, Optimal syntheses for control systems 011 2-D Mani-
folds, Springer SMAI series, Vol. 43, 2004.
[18] H. Brezis, Analyse fonctionnelle, thorie et applications, Masson, Paris,
1983.
[19] R. Broekett, Pinite dimensiollallinear systems, Wiley, New York, 1973.
[20] A. E. Bryson, Y. C. Ho, Applied optimal control, Hemisphere PubJishing
Corp. Washington, D.C., 1975.
[21] F. Clarke, Optimization and 1l01lsmooth allalysis, Canadian Mathematical
Society Series of Monographs and Advanced Texts, John Wiley & Sons, Ine.,
New York, 1983.
[22] M. G. Crandall, P. L Lions, (Viscosity solutions of Hamilton-Jacobi equa-
tions>, Trans. Amer. Math. Soc. 277, 1983, 1-42.
[23] M. Crouzeix, A. Mignot, Analyse mmtrique des quations diffrentielles,
Collection Mathmatiques Appliques pour la Matrise, Masson, Paris, 1984.
[24] P. Faurre, M. Depeyrot, Elments d'automatique, Dunod, 1974.
[25] P. Faurre, M. Robin, Elments d'automatique, Dunod, 1984.
[26] H. Federer, Geometric 11leasure theory, Die Grundlehren der mathematischen
Wissenschaften, Band 153, Springer-Verlag, New York Inc., 1969.
[27] R. Fletcher, Practical Methods of Optimization, Vol. 1, Unc011.strained Opti-
mization, and Vol. 2, Constrail1ed Optimizatioll, John Wiley and Sons, 1980.
[28] B. Friedland, Control system design, Mac Graw-Hill, New York, 1986.
[29] R. V. Gamkrelidze, Discovery of the maximum pr1tciple, <Journal of Dyna-
mical and Control Systems), Vol. 5, na 4, 1999,437-451.
[30] J.-P. Gauthier, Y. Kupka, Determillstic observation theory and applications,
Cambridge University Press, Cambridge, 2001.
[31] P. E. Gill, W. Murray, M. H. Wright, Practical Optimization, London, Aca-
demie Press, 1981.
[32] W. Grimm, A. Markl, <Adjoint estimation from a direct multiple shooting
method" J. Opt. Theory Appl. 92, na 2, 1997, 262-283.
Bibliographie 239
[33] J. Harpold, C. Graves, <Shuttle entry guidance), Journal of Astronautical
Sciences, Vol. 27, pp. 239-268, 1979.
[34J R. F. Hard, S. P. Sethi, R. G. Vickson, <A survey of the maximum principles
for optimal control problems with state constraints>, SIAM Review 37, n02,
1995, 181-218.
[35] L. M. Hocking, Optimal control, an introduction to the the01')1 with appli-
Oxford Applied Mathematics and Computing Science Series, 1991.
[36] A. D. Ioffe, V. M. Tihomirov, The01')1 of extremal problems;, Studies in Mathe-
maties and its Applications, 6, North-Holland Publishing Co., Amsterdam-
New York, 1979.
[37] A. Isidori, Non/inear control systems, Third edition, Communications and
Control Engineering Series, Sprnger-Verlag, Berlin, 1995.
[38] A. Isidori, NOlllinear control systems;, Communications and Control En-
gineering Series, Springer-Verlag London, Ltd., London, 1999.
[39] D. Jacobson, D. LeIe, J. L. Speyer, (New necessary conditions of optimality
for control problems with state-variable inequality constraints), Journal of
Mathematical Analysis and Applications, Vol. 35, pp. 255-284, 1971.
[40] V. Jurdjevic, Geometrie control theory, Cambridge university press, 1997.
[41] T. Kailath, Linear Systems, 1980.
[42] J. Kautsky, N. K. NichoIs, <Robust pole assignment in linear state
Int.J. C01ltrol, 41,1985,1129-1155.
[43] H. K. Khalil, Nonlillear systems, Macmillan Publishing Company, New York,
1992.
[44] H. Kwakernaak, R. Sivan, Linear optimal control systems, John Wiley, New-
York, 1972.
[45] J. Lafontaine, Introduction aux varits diffrentielles, Presses universitaires,
Grenoble, 1996.
[46] P. Lascaux, R. Thodor, Analyse numrique matricielle applique rart de
l'ingnieur, Tomes 1 et 2, Masson, Paris.
[47J A. Laub, <A Schur method for solving algebraic Riccati equations), IEEE
Trans. Automat. Control, AC-24, 1979, 913-921.
[48] W. F. Arnold, A. J. Laub, < Generalized eigenproblem algorithms and software
for algebraic Riccati equarions), Proc. IEEE 72, 1984,pp. 1746-1754.
[49] E. B. Lee, L. Markus, FOlmdatiol1S of optimal control theory, John Wiley?
New York, 1967.
Bibliographie
[50] G. Leitmann, An introduction to optimal control, N1cGraw-HilI Book Com-
pany, 1966.
[51] A, Locatelli, Optimal control, an introduction, Birkhauser, Basel, 2001.
[52] H. Maurer, <On optimal control problems with bounded state variables and
control appearing linearly), SIAM Journal on Control and Optimization,
Vol. 15, 3, pp. 345-362, 1977.
[531 A. Miele, <Recent advances in the optimization and guidance of aeroassocia-
ted orbital transfers), Acta Astronalltica, Vol. 38, 10, pp. 747-768, 1996.
[541 H. Nijmeijer, A . .J. Van der Shaft, Nonlinear dyna111ical control systems,
Springer VerIag, 1990.
[551 R. Pallu de la Barrire, Cours d'automatique thorique, collection Universi-
taire de Mathmatiques, Na 17, Dunod, Paris, 1966.
[56.1 F. Pham, Gomtrie diffrentielle, 1992.
[57] L. Pontryagin, V. Boltyanski, R. Gamkrelidze, E. Michtchenko, Thorie
matbmatique des processus optimaux, Editions Mir, Moscou, 1974.
[58] J. Rappaz, M. Picasso, Introduction l'analyse mimtique, Presses Polytech-
niques et Universitaires Romandes, Lausanne, 1998.
[59J A. V. Sarychev, < First and second-order integral functionals of the calculus of
variations which exhibit the Lavrentiev phenomenon), J. of DYl1amical and
Control Systems, Vol. 3, No. 4, 1997, 565-588.
[60] J. A. Sethian, Level set methods and fast marchil1g methods. Evoluillg in-
terfaces in complltatiollal fluid mechal1ics, computer vision, and
materials science. Cambridge Monographs on Applied and Computational
Mathematics, 3, Cambridge University Press, 1999.
[61] E. D. Sontag, Mathematical Control Deterministic Finite Dimel1sO-
nal Systems, Springer-Verlag, lnd edition, 1998.
[62] J. Stoer, R. Bulrsch, Introductio11 to llumerical a llLllysis, Springer-Verlag, Ber-
lin, :1980.
[63.1 O. von Stryk, R. Bulirsch, <Direct and indirect methods for trajectory opti-
mization), Amzals of Operations Research 37, 1992, 357-373.
[641 A. Subbotin, Generalized solutions of (irst-order PDEs, The dynamical op-
timization perspective, Systems & Control : Foundations & Applications,
Birkhauser Boston, Inc., Boston, MA, 1995.
[65] H. J. Sussmann, J. C. Wi1Iems, The brachistochrone problem and modern
control the ory ), Contempol'a1]1 trends in 1l0nlillear geometric coutrol theOl-Y
Bibliographie 241
and its applications (Mexico City, 2000), 113-166, World Sei. Publishing,
River Edge, N], 2002.
[66] H. J. Sussmann, <New theories of set-valued differentials and new versions
of the maximum princip le of optimal control theory>, Nonlillear Control in
the Year 2000, A. Isidori, F. Lamnabhi-Lagarrigue and W. Respondek Eds.,
Springer-Verlag, 2000, 487-526.
[67] H. J. Sussmann, <A nonsmooth hybrid maximum prineiple), Stability and
stabilizatio1t of nonlinear systems (Ghent, 1999), 325-354, Lecture Notes in
Control and Inform. Sei., 246, Springer, London, 1999.
[68] E. Trlat, (Sorne properties of the value hmction and its level sets for affine
control systems with quadratie cost,) ] our1lal of Dynamical and Control Sys-
tems, Vol. 6, N 4,2000,511-541.
[69J E. Trlat, tude asymptotique et transcendance de la fonction valeu?' en
contrle optimal; catgorie log-exp en gomtrie sous-Rienzall11iemle dans
le cas Martinet. Thse de doctorat, Univ. de Bourgogne, 2000.
[70] R. Vinter, Optimal control, Systems & Control: Foundations & Applica-
tions, Birkhauser Boston, Ine., Boston, MA, 2000.
11-2 Bibliographie
algorithme, 1 71
analytique, 33
application entre-sortie, 81
asservissement, 64
avion, 122
boucle ferme, 55
boucle ouverte, 179
calcul des variations, 57
commande, 4
commutation, 36
compact, 19
condition de Kalman, 25
condition de transversalit, 104
contrainte sur l'tat, 108
contrlabilit, 87
contrlabilit
le long d'une trajectoire, 91
contrlabilit locale, 87
contrle, 4
contrle admissible, 80
contrle extrmal, 35
contrle optimal, 94
contrle singulier, 90
convergence faible, 21
convexe, 19
convolution, 206
cot quadratique, 49
Index
critre de Hurwitz, 212
critre de Routh, 211
dcomposition de Jordan, 195
diffrentielle au sens de Frchet, 82
distinguable, 226
EBSB-stabilit, 216
ensemble accessible, 84
pidmie, 120
quation d'Hamilton-Jacobi, 156
quation de Duffing, 10
quation de Riccati, 58
quation de van der Pol, 12
quation eikonale, 158
quations d'Euler-Lagrange, 89
erreur, 65
existence de trajectoires
optimales, 94
exponentielle de matrice, 192
extrmale, 105
feedback linaire, 213
fermentation, 121
filtre de Kalman, 69
fonction de commutation, 36
fonction de Lyapunov, 217
fonction de transfert, 208
fonction valeur dans le cas LQ, 57
fonction valeur, 164
forme de Brunovski, 27
fuse, 115
gain, 216
Hamilton-Jacobi, 155
Hamiltonien, 91
Hurwitz, 211
investissement, 119
matrice compagnon, 193
matrice de contrlabilit, 31
matrice de Kalman, 25
matrice de pondration, 50
matrice de transfert, 207
mthode d'homotopie, 180
mthode de continuation, 180
mthode de Jurdjevic-Quinn, 224
mthode de Newton, 173
mthode des caractristiques, 157
mthode SQP, 188
mthodes numriques directes, 174
mthodes numriques
indirectes, 170
missile, 117
mode propre, 233
multiplicateur de Lagrange, 108
navette spatiale, 128
observabilit, 226
observateur asymptotique, 231
observateur de Luenberger, 231
oscillateur harmonique, 8
pche, 118
pnalisation, 109
pendule invers, 88
placement de ples, 213
plan de phase, 10
point d'quilibre, 210
polynme caractristique, 193
principe bang-bang, 20
principe de Lasalle, 218
principe du maximum de
Pontryagin, 103
principe du maximum faible, 99
principe du maximum,
cas linaire, 36
principe du maximum, cas LQ, 53
problme aux valeurs limites, 170
problme de Bolzano, 118
problme de Cauchy, 196
problme de Goddard, 122
problme de Lagrange, 97
problme de Mayer-Lagrange, 100
problme poursuite, 64
problme de Zermelo, 115
problme LQ, 49
programmation non linaire, 170
programmation quadratique, 176
raction chimique, 120
ralisation minimale, 209
rduction
des endomorphismes, 193
rgulateur d'tat, 64
rgulation
sur un intervalle infini, 73
rgulation, 64
rentre atmosphrique, 128
rponse impulsionnelle, 206
reprsentation d'tat continue, 205
reprsentation interne, 205
rservoir, 117
rsolvante, 100
retour d'tat linaire, 213
retour d'tat statique, 230
retour dynamique de sortie, 232
ruche, 119
satellite, 126
similitude, 27
singulire, 90
solution de viscosit, 156
sous-diffrentiel, 161
stabilisation, 213
stabilit d'un point d'quilibre, 210
sur-diffrentiel, 161
synthse optimale, 40
synthse
rgulateur-observateur, 232
table de Routh, 211
temps de commutation, 36
temps minimal, 34
thorme de Cauchy-Lipschitz, 196
thorme de Hamilton-Cayley, 193
thorme de Lyapunov, 217
thorie du contrle, 4
thorie linaire-quadratique, 49
tr multiple, 1.71
tir simple, 170
trajectoire singulire, 90
trajectoire temps-optimale, 34
transfert de fichiers, 116
transfert orbital, 126
transformation de Laplace, 206
valeur propre, 194
vecteur adjoint, 36