REGULADOR LINEAL CUADRÁTICO ÓPTIMO (LQR)

El regulador lineal cuadrático está dado por las siguientes ecuaciones:

El sistema a ser controlado es descrito por las ecuaciones espacio de estado:

𝑥̇ (𝑡) = 𝐴(𝑡)𝑥(𝑡) + 𝐵(𝑡)𝑢(𝑡), 𝑥(𝑡0 ) = 𝑥0,

𝑦(𝑡) = 𝐶𝑥(𝑡)

Y el índice de desempeño asociado a ser minimizado es:

𝑡𝑓
1 𝑇 1 𝑇
𝐽(𝑥) = 𝑥 (𝑡𝑓 )𝐹𝑥(𝑡𝑓 ) + ∫ [𝑥 (𝑡) 𝑄(𝑡)𝑥(𝑡) + 𝑢𝑇 (𝑡)𝑅(𝑡)𝑢(𝑡)]𝑑𝑡
2 𝑡0 2

Donde Q = QT ≥ 0 y F = FT 0 son matrices reales simétricas semi-definidas positivas y R =

RT > 0, es una matriz real simétrica y definida positiva, el estado inicial t0, y el estado final
tf son especificados y u (t) y x (t) no están restringidos.
La teoría del control óptimo se refiere a operar un sistema dinámico a un costo mínimo. El
caso donde la dinámica del sistema se describe mediante un conjunto de ecuaciones
diferenciales lineales y el costo se describe mediante una función cuadrática se denomina
problema LQ. Uno de los principales resultados en la teoría es que se proporciona la
solución por el regulador lineal cuadrático “LQR” (por sus siglas en ingles Linear-
Quadratic Regulator), un controlador por retroalimentación. El regulador lineal cuadrático
LQR es una parte importante de la solución para el problema LQG (control lineal cuadrático
Gaussiano).
Los ajustes de un controlador (regulador) que gobierna una máquina o un proceso (como
un avión o un reactor químico) se encuentran utilizando un algoritmo matemático que
reduce al mínimo una función de costo con factores de ponderación suministrados por un
humano (ingeniero). La función de costo frecuentemente se define como una suma de las
desviaciones de las mediciones clave, altitud deseada o temperatura de proceso, de sus
valores deseados. Por lo tanto, el algoritmo encuentra los ajustes del controlador que
reducen al mínimo las desviaciones no deseadas. La magnitud de la acción de control en
sí también se puede incluir en la función de costo.
El algoritmo LQR reduce la cantidad de trabajo realizado por el ingeniero de sistemas de
control para optimizar el controlador. Sin embargo, el ingeniero aún necesita especificar los
parámetros de la función de costo y comparar los resultados con los objetivos de diseño
especificados. A menudo, esto significa que la construcción del controlador será un proceso
iterativo en el cual el ingeniero juzga los controladores "óptimos" producidos a través de la
simulación y luego ajusta los parámetros para producir un controlador más consistente con
los objetivos de diseño.
El algoritmo LQR es esencialmente una forma automatizada de encontrar un controlador
de retroalimentación de estado apropiado. Como tal, no es frecuente que los ingenieros de
control prefieran métodos alternativos, como la retroalimentación de estado completo,
también conocida como colocación de polos, en la que existe una relación más clara entre
los parámetros del controlador y el comportamiento del controlador.
La dificultad para encontrar los factores de ponderación correctos limita la aplicación de la
síntesis del controlador basado en LQR.
La Figura muestra el diagrama de bloques de la realimentación de estados para el regulador
cuadrático lineal. Se observa que en general la ganancia LQR será dependiente del tiempo
aun cuando el sistema sea LTI y la función de costo tenga matrices de ponderación Q y R
constantes.

Figura. Sistema en lazo cerrado con LQR.

Se puede notar que la ganancia del controlador LQR es un controlador lineal por
realimentación de estados y que la ganancia LQR sólo depende de parámetros que se
conocen con anticipación y luego podría ser calculado fácilmente offline.
Una vez obtenida la ley de control óptima, el sistema en lazo cerrado está dado por:
𝑥̇ (𝑡) = 𝐴𝑐 (𝑡)𝑥(𝑡) = [𝐴(𝑡) − 𝐵(𝑡)𝐾(𝑡)]𝑥(𝑡)
ECUACIÓN DIFERENCIAL DE RICCATI
Una ecuación diferencial de la forma:
𝑑𝑦
= 𝑃(𝑥)𝑦 + 𝑄(𝑥)𝑦 2 + 𝑅(𝑥)
𝑑𝑥
Recibe el nombre de ecuación diferencial de RICCATI. Esta ecuación diferencial no se
puede resolver por los métodos convencionales, sin embargo si se conoce una solución
particular 𝑦 = 𝜑(𝑥) el cambio de variable 𝑦 = 𝜑(𝑥) transforma la ecuación dada en una
ecuación que se puede resolver con facilidad.
Primera Solución
Se debe Llevar la ecuación de RICCATI a una ecuación de BERNOULLI par luego
resolverla. Esta transformación se consigue mediante la sustitución.
 𝑑𝑦 𝑑𝑧
Si 𝑦 = 𝜑(𝑥) + 𝑧, entonces = 𝜑′ (𝑥) + reemplazando en la ecuación de Riccati, se
𝑑𝑥 𝑑𝑥
tiene:
𝑑𝑧
𝜑′ (𝑥) + = 𝑃(𝑥)(𝜑(𝑥) + 𝑧) + 𝑄(𝑥)(𝜑(𝑥) + 𝑧)2 + 𝑅(𝑥)
𝑑𝑥
Realizando operaciones:
𝑑𝑧
𝜑′ (𝑥) + = 𝑃(𝑥)𝜑(𝑥) + 𝑃(𝑥)𝑧 + 𝑄(𝑥)(𝜑2 (𝑥) + 2𝜑(𝑥)𝑧 + 𝑧 2 ) + 𝑅(𝑥)
𝑑𝑥
𝑑𝑧
𝜑′ (𝑥) + = 𝑃(𝑥)𝜑(𝑥) + 𝑃(𝑥)𝑧 + 𝑄(𝑥)𝜑2 (𝑥) + 2𝑄(𝑥)𝜑(𝑥)𝑧 + 𝑧 2 𝑄(𝑥) + 𝑅(𝑥)
𝑑𝑥
Agrupando términos:
𝑑𝑧
𝜑′ (𝑥) + − 𝑃(𝑥)𝜑(𝑥) − 𝑃(𝑥)𝑧 − 𝑄(𝑥)𝜑2 (𝑥) − 2𝑄(𝑥)𝜑(𝑥)𝑧 − 𝑧 2 𝑄(𝑥) − 𝑅(𝑥) = 0
𝑑𝑥
𝑑𝑧
(𝜑′ (𝑥) − 𝑃(𝑥)𝜑(𝑥) − 𝑄(𝑥)𝜑2 (𝑥) − 𝑅(𝑥)) + ( − 𝑃(𝑥)𝑧 − 2𝑄(𝑥)𝜑(𝑥)𝑧 − 𝑧 2 𝑄(𝑥)) = 0
𝑑𝑥

Pero como 𝜑(𝑥) es una solución particular, se tiene que:

(𝜑′ (𝑥) − 𝑃(𝑥)𝜑(𝑥) − 𝑄(𝑥)𝜑2 (𝑥) − 𝑅(𝑥)) = 0

Luego la ecuación finalmente se reduca a:

𝑑𝑧
− 𝑃(𝑥)𝑧 − 2𝑄(𝑥)𝜑(𝑥)𝑧 − 𝑧 2 𝑄(𝑥) = 0
𝑑𝑥
𝑑𝑧
− (𝑃(𝑥)𝑧 − 2𝑄(𝑥)𝜑(𝑥))𝑧 = 𝑧 2 𝑄(𝑥)
𝑑𝑥
La cual corresponde a la ecuación de Bernoulli.
Segunda Solución
Se debe llevar la ecuación diferencial a una ecuación lineal.
1
Ahora mediante el cambio de variable 𝑦 = 𝜑(𝑥) + 𝑧, la ecuación de Riccati, se transforma
en una ecuación lineal.
𝑑𝑦 𝑑𝑧
Si 𝑦 = 𝜑(𝑥) + 𝑧 −1 , entonces 𝑑𝑥
= 𝜑′ (𝑥) − 𝑧 −2 𝑑𝑥, reemplazando en la ecuación de Riccati,
se tiene:
𝑑𝑧
𝜑′ (𝑥) − 𝑧 −2 = 𝑃(𝑥)(𝜑(𝑥) + 𝑧 −1 ) + 𝑄(𝑥)(𝜑(𝑥) + 𝑧 −1 )2 + 𝑅(𝑥)
𝑑𝑥
Realizando operaciones:
 𝑑𝑧
𝜑′ (𝑥) − 𝑧 −2 = 𝑃(𝑥)𝜑(𝑥) + 𝑃(𝑥)𝑧 −1 + 𝑄(𝑥)(𝜑2 (𝑥) + 2𝜑(𝑥)𝑧 −1 + 𝑧 −2 ) + 𝑅(𝑥)
𝑑𝑥
𝑑𝑧
𝜑′ (𝑥) − 𝑧 −2 = 𝑃(𝑥)𝜑(𝑥) + 𝑃(𝑥)𝑧 −1 + 𝑄(𝑥)𝜑 2 (𝑥) + 2𝑄(𝑥)𝜑(𝑥)𝑧 −1 + 𝑧 −2 𝑄(𝑥) + 𝑅(𝑥)
𝑑𝑥
Agrupando términos:
𝑑𝑧
𝜑′ (𝑥) − 𝑧 −2 = 𝑃(𝑥)𝜑(𝑥) + 𝑃(𝑥)𝑧 − 𝑄(𝑥)𝜑2 (𝑥) − 2𝑄(𝑥)𝜑(𝑥)𝑧 − 𝑧 2 𝑄(𝑥) − 𝑅(𝑥) = 0
𝑑𝑥
(𝜑′ (𝑥) − 𝑃(𝑥)𝜑(𝑥) − 𝑄(𝑥)𝜑2 (𝑥) − 𝑅(𝑥))
𝑑𝑧
+ (−𝑧 −2 − 𝑃(𝑥)𝑧 −1 − 2𝑄(𝑥)𝜑(𝑥)𝑧 −1 − 𝑧 −2 𝑄(𝑥)) = 0
𝑑𝑥

Pero como es una solución particular se tiene que:

(𝜑′ (𝑥) − 𝑃(𝑥)𝜑(𝑥) − 𝑄(𝑥)𝜑2 (𝑥) − 𝑅(𝑥)) = 0
Luego, la ecuación se reduce a:
𝑑𝑧
−𝑧 −2 − 𝑃(𝑥)𝑧 −1 − 2𝑄(𝑥)𝜑(𝑥)𝑧 −1 − 𝑧 −2 𝑄(𝑥) = 0
𝑑𝑥
𝑑𝑧
−𝑧 −2 − (𝑃(𝑥) + 2𝑄(𝑥)𝜑(𝑥))𝑧 −1 = 𝑧 −2 𝑄(𝑥)
𝑑𝑥
De donde:
𝑑𝑧
+ (𝑃(𝑥) + 2𝑄(𝑥)𝜑(𝑥))𝑧 = −𝑄(𝑥)
𝑑𝑥
Que es la ecuación a resolver.
REGULACIÓN DE SISTEMAS USANDO EL REGULADOR LINEAL CUADRÁTICO LQR
Control LQ discreto
Consideremos el sistema en tiempo discreto definido por:
𝑥𝑘+1 = 𝐴𝑥𝑘 + 𝐵𝑢𝑘 , 𝑥 ∈ 𝑅 𝑛 , 𝑢 ∈ 𝑅 𝑝
El problema de control que queremos resolver es: Encontrar la secuencia de control uK que
lleve al sistema de la condición inicial Xi = X0 al estado final Xn = Xf minimizando el funcional
cuadrático.
𝑁−1
1 1
𝐽𝑖,𝑁 = 𝑥𝑁𝑇 𝑆𝑥𝑛 + ∑ 𝑥𝑁𝑇 𝑄𝑥𝑘 + 𝑢𝑁
𝑇
𝑅𝑢𝑘
2 2
𝑘=𝑖

Las matrices de peso S, Q y R pueden seleccionarse para penalizar ciertos

estados/entradas más que otros. Como veremos, las matrices S y Q deben ser semi-
definidas positivas, y la R definida positiva.
Regulación de temperatura de un horno con LQR
La figura representa un horno aislado longitudinalmente, pero expuesto a la temperatura
ambiente Text en un extremo y calentado en el otro extremo u.

El horno posee 3 puntos de medición indicados como “termocuplas” para censar las
temperaturas en x1, x2 y x3.
Un modelo de ecuaciones de estado, tomando como variables de estado las temperaturas
en x1, x2 y x3, como entrada de control u y como entrada de perturbación Text, es:
𝑥1̇ 3/2 1/2 0 𝑥1 1 1
[𝑥2̇ ] = [1/2 −1 1/2 ] [𝑥2 ] + [0] 𝑢 + [0] 𝑇𝑒𝑥𝑡
𝑥3̇ 0 1/2 −3/2 𝑥3 0 0
Criterios de diseño
Se desea diseñar un regulador para la temperatura en x2 para que con una temperatura de
referencia Tref = 200°C se satisfagan las siguientes especificaciones:
* Tiempo de establecimiento menor a 5 segundos.
* Sobre impulso menor a 15%.
* Error cero estático a una entrada Tref escalón arbitraria.
* Error cero estático a una perturbación escalón Text arbitraria.
Las especificaciones exigen agregar una acción integral.
Se diseña la ganancia de realimentación usando la función LQR. Se escoge (para la planta
aumentada (Aa; Ba) con acción integral).
0 0 0
𝑄 = [0 0 0] 𝑦 𝑅 = 𝜆−𝑘 ; 𝑐𝑜𝑛 𝑘 = 0, 1, 2,3.
0 0 1
Esta elección de pesos representara la función de costo de minimización.
∞
𝐽 = ∫ [𝜎 2 (𝑟) + 𝜆𝑢2 (𝑟)𝑑𝑟
0

Donde σ es la integral del error de seguimiento.

Se diseñan las ganancias usando la función:
𝐾𝑎 = 𝑑𝑙𝑞𝑟(𝐴𝑎, 𝐵𝑎, 𝑄, 𝑅)
Para los distintos valores de λ, y se obtuvo un conjunto de cuatro ganancias.
Se simularon las respuestas del sistema de lazo cerrado para cada una de ellas. Se observa
que a menor λ, mejor desempeño de x2(l) pero mayor el esfuerzo de control requerido.
Es interesante chequear el patrón de polos de lazo cerrado obtenidos por el controlador
óptimo de alta ganancia (λ = 10-3).

Se puede notar que un polo se ubica justo cancelando el cero estable del sistema (lo que
evita un sobre impulso excesivo) y los otros 3 se distribuyen como un filtro Butterworth.
Como ya se vio anteriormente, el criterio de desempeño cuadrático para sistemas de tiempo
discreto es:
𝑁−1

𝐽0,𝑁 = 𝑥𝑁𝑇 𝑆𝑥𝑛 + ∑ 𝑥𝑁𝑇 𝑄𝑥𝑘 + 𝑢𝑁

𝑇
𝑅𝑢𝑘
𝑘=𝑖

Donde por simplicidad notacional escribimos xk para representar x[k]. Cuando el tiempo final
N (el horizonte de optimización) se fija a 𝑁 = ∞ obtenemos un problema de control óptimo
de horizonte finito. En este caso, para estabilidad, requerimos que lim 𝑋𝑁 = 0.
𝑁<−∞
∞

𝐽0,∞ = ∑ 𝑥𝑁𝑇 𝑄𝑥𝑘 + 𝑢𝑁

𝑇
𝑅𝑢𝑘
𝑘=𝑖
Para sistemas de tiempo discreto hay un resultado paralelo al LQR de tiempo continuo. El
control óptimo se encuentra también mediante la realimentación de estado, pero se requiere
resolver una ecuación de Riccati diferente.