Chapitre 2 Commande linéaire quadratique

2.1 Systèmes continus:

2.1.1 Principe du minimum de Pontriaguine

Soit un système décrit par le modèle d’état suivant :
𝑥̇ = 𝑓 (𝑥, 𝑢, 𝑡) (1)
et le critère de performance à optimiser a la forme ci-dessous :
𝑇
𝐽(𝑥0 , 𝑡0 , 𝑢) = 𝐺 (𝑥𝑇 , 𝑇) + ∫𝑡 𝐿(𝑥, 𝑢, 𝑡)𝑑𝑡 (2)
0

On définit l’hamiltonien du système comme étant :

𝐻(𝑥, 𝑢, 𝜌, 𝑡) = 𝐿(𝑥, 𝑢, 𝑡) + 𝜌 ′𝑓(𝑥, 𝑢, 𝑡) (3)

où 𝜌 est appelé vecteur d'état-adjoint.

Le principe du minimum de Pontriaguine énonce que la trajectoire optimale
minimise l’hamiltonien du système:

𝐻(𝑥̃, 𝑢𝑜𝑝𝑡 , 𝜌̃) ≤ 𝐻(𝑥̃, 𝑢, 𝜌̃) ∀ 𝑢 ∈ 𝑈 (4)

L’extrémalité de la solution conduit à un jeu d’équations, appelées équations

canoniques de Hamilton, qui régissent les dynamiques de l’état d’une part et de l’état
adjoint d’autre part:

- Equation d'état
𝜕𝐻
= 𝑥̇ (5)
𝜕𝜌

-Equation d'état adjointe

𝜕𝐻
𝜌̇ = − (6)
𝜕𝑥
Les équations provenant des conditions dites terminales, en 𝑡0 d’une part et en 𝑇
d’autre part sont appelées équations de transversalité :
- Condition à l’origine:
𝜕𝐺 𝜕𝐺
(− 𝐻 (𝑡0 ) + ) 𝛿𝑡0 + (𝜌(𝑡0 ) + ) ′𝛿𝑥0 = 0 (7)
𝜕𝑡0 𝜕𝑥0

- Condition à l’arrivée:
𝜕𝐺 𝜕𝐺
( 𝐻 (𝑇) + ) 𝛿𝑇 + (𝜌(𝑇) + ) ′𝛿𝑥𝑇 = 0 (8)
𝜕𝑇 𝜕𝑥𝑇

Si l'ensemble des commandes admissibles est ouvert (pas de contraintes de

saturation sur la commande 𝑢), on a:
𝜕𝐻
- Equation de commande =0 (9)
𝜕𝑢

Propriété de l'hamiltonien:

𝑑𝐻 𝜕𝐻
= (10)
𝑑𝑡 𝜕𝑡

Démonstration:

𝑑𝐻 𝜕𝐻 ′ 𝜕𝐻 ′ 𝜕𝐻 ′ 𝜕𝐻
= ( ) 𝑥̇ + ( ) 𝑢̇ + ( ) 𝜌̇ +
𝑑𝑡 𝜕𝑥 𝜕𝑢 𝜕𝜌 𝜕𝑡
𝑑𝐻 ′
𝜕𝐻 ′ 𝜕𝐻
= −𝜌̇ 𝑥̇ + ( ) 𝑢̇ + 𝑓′ 𝜌̇ +
𝑑𝑡 𝜕𝑢 𝜕𝑡

𝜕𝐻 𝑑𝐻 𝜕𝐻
Comme 𝑥̇ = 𝑓 et = 0 alors =
𝜕𝑢 𝑑𝑡 𝜕𝑡
2.1.2 Commande Linéaire Quadratique:
On parle de commande linéaire quadratique : LQ ou LQR pour linear quadratic
regulator. Le système est linéaire et la commande est quadratique. La commande
optimale est un retour d’état.

2.1.2.1 Commande LQ à horizon fini:

Soit le problème de commande optimale du système :

𝑥̇ (𝑡) = 𝐴𝑥(𝑡) + 𝐵u(t) (11)

1 𝑇
𝐽 (𝑥0 , 𝑡0, 𝑢) = 𝑥𝑇 ′𝑆𝑥𝑇 + ∫𝑡 (𝑥 ′ 𝑄𝑥 + 𝑢′𝑅𝑢)𝑑𝑡 (12)
2 0

les matrices 𝑄, 𝑅 et 𝑆 étant symétriques avec 𝑄 et 𝑆 ≥ 0 et 𝑅 > 0

L’hamiltonien s’écrit alors :

1
𝐻 (𝑥, 𝑢, 𝜌, 𝑡) = 𝜌′𝐴𝑥 + 𝜌′𝐵𝑢 + (𝑥 ′ 𝑄𝑥 + 𝑢′ 𝑅𝑢 )
2

L’hamiltonien, vérifie les conditions suivantes :

- équation d’état adjointe:
𝜕𝐻
𝜌̇ (𝑡) = − = −𝐴′ 𝜌(𝑡) − 𝑄𝑥(𝑡) (13)
𝜕𝑥

- condition de transversalité:
𝜌(𝑇) = 𝑆𝑥𝑇 (14)

- absence de contraintes sur la commande:

𝜕𝐻
= 𝐵 ′ 𝜌 + 𝑅𝑢 = 0
𝜕𝑢
 𝑢(𝑡) = −𝑅 −1𝐵 ′ 𝜌(𝑡) (15)

Alors l’équation dynamique du système s’écrit :

𝑥̇ (t)= 𝐴𝑥 (𝑡) − 𝐵𝑅−1 𝐵′ 𝜌(𝑡) (16)

Comme 𝜌(𝑇) = 𝑆𝑥𝑇 est une relation linéaire entre la valeur final du
vecteur d'état adjoint 𝜌 et l'état final 𝑥𝑇 alors on peut supposé que:

𝝆(𝒕) = 𝑭(𝒕)𝒙(𝒕) (17)

avec 𝑭(𝑻) = 𝑺

𝝆̇ = 𝑭̇𝒙 + 𝑭𝒙̇ (18)

De l'équation (19), on peut écrire:

𝝆̇ = −(𝑨′ 𝑭 + 𝑸)𝒙 (19)

Et de l'équation (21), l'expression de la commande devient:

𝑢(𝑡) = −𝑅 −1𝐵 ′ 𝐹𝑥(𝑡) (20)

A partir des équations (16), (17),(18), (19) et (20), on obtient:

(𝑭̇ + 𝑭𝑨 + 𝑨′ 𝑭 − 𝑭𝑩𝑹−𝟏 𝑩′ 𝑭 + 𝑸)𝒙 = 𝟎

Ce qui donne: 𝑭̇ + 𝑭𝑨 + 𝑨′ 𝑭 − 𝑭𝑩𝑹−𝟏 𝑩′ 𝑭 + 𝑸 = 𝟎 (21)

initialisée par 𝐹 (𝑇 ) = 𝑆 (22)

La solution 𝐹 est obtenue par la résolution de l'équation (21) initialisée par l'équation
(22).L'équation différentielle (21) est appelée équation de Riccati continue.
On montre que la condition :

𝒙′(𝑭̇ + 𝑭𝑨 + 𝑨′ 𝑭 − 𝑭𝑩𝑹−𝟏 𝑩′ 𝑭 + 𝑸)𝒙 = 𝟎

s'écrit aussi:

𝑑 ′
(𝑥 𝐹𝑥) + 𝑥 ′ 𝑄𝑥 + 𝑢′ 𝑅𝑢 = 0
𝑑𝑡

Le critère:

1 1 𝑇 ′
𝐽 (𝑥0 , 𝑡0 , 𝑢) = 𝑥𝑇 𝑆𝑥𝑇 + ∫ (𝑥 𝑄𝑥 + 𝑢′𝑅𝑢)𝑑𝑡
2 2 𝑡0

s'écrit alors:

1 𝑇 𝑑
𝐽 (𝑥0 , 𝑡0, 𝑢) = (𝑥𝑇 𝑆𝑥𝑇 − ∫ (𝑥 ′ 𝐹𝑥 )𝑑𝑡 )
2 𝑡0 𝑑𝑡

soit, avec la condition de transversalité 𝑆 = 𝐹 (𝑇)

1
𝐽(𝑥0 , 𝑡0 , 𝑢) = 𝑥0′ 𝐹 (𝑡0)𝑥0
2

Le minimum du critère est donc :

1
𝐽̌(𝑥0 ) = 𝐽(𝑥0 , 𝑡0 , 𝑢𝑜𝑝𝑡 ) = 𝑥0′ 𝐹 (𝑡0 )𝑥0 (23)
2

L'équation (20) montre que la commande optimale obtenue s’écrit comme un retour
d’état: 𝑢 = −𝐾(𝑡)𝑥 (24)

avec 𝐾(𝑡) est un gain non stationnaire donné par :

𝐾 (𝑡) = −𝑅 −1 𝐵 ′ 𝐹(𝑡) (25)

2.1.2.2 Commande LQ à horizon infini:

Le critère à minimiser s'écrit:

1 ∞
𝐽(𝑥0 , 𝑡0 , 𝑢) = ∫𝑡 (𝑥 ′ 𝑄𝑥 + 𝑢′𝑅𝑢 )𝑑𝑡 (26)
2 0

Ce critère est fini si le système est stabilisable à tout instant t, (c’est-à-dire qu’à chaque
instant, il existe un 𝐾(𝑡) tel que les valeurs propres de 𝐴 − 𝐵𝐾 soient à partie réelle
négative). Le cout final n'apparait pas dans le critère car l’état tend à l'infini vers zéro
si le système bouclé est stable.
Dans le cas d’un problème LTI (linéaire à temps invariant), la commande optimale est
un retour d’état statique 𝑢 = −𝐾𝑥 où 𝐾 est exprimé par l’équation (25) et où 𝐹 vérifie
l’équation algébrique de Riccati :

̅ 𝑨 + 𝑨′ 𝑭
𝑭 ̅−𝑭
̅ 𝑩𝑹−𝟏 𝑩′ 𝑭
̅ + 𝑸 = [𝟎] (27)