Problema de alcan

cabilidade para
sistemas com saltos markovianos
Daniel Alexis Gutierrez Pachas


DO ICMC-USP
SERVICO
DE POS-GRADUA
C
AO
Data de Deposito: 4 de agosto de 2014
Assinatura:

Problema de alcan
cabilidade para sistemas com
saltos markovianos 1

Daniel Alexis Gutierrez Pachas

Orientador: Prof. Dr. Eduardo Fontoura Costa

Monograa apresentada ao Instituto de Ciencias Matematicas e de Computacao - ICMC-USP, para o Exame

de Qualicacao, como parte dos requisitos para obtencao do ttulo de Doutor em Ciencias de Computacao e
Matematica Computacional.

USP - S
ao Carlos
Agosto de 2014

Doutorado financiado pela Capes.

Resumo

muito relevante para problemas em engenharia e outras areas

E
o estudo de sistemas que apresentam mudancas abruptas de comportamento, que sao muitas vezes bem modelados por sistemas
chaveados ou, em particular, sistemas com saltos markovianos.
Brevemente, o problema de alcancabilidade consiste em determinar estrategias de controle que levem alcancar um certo alvo,
apartir de um estado incicial. Neste projeto de doutorado, abordamos este problema para sistemas chaveados e sistemas com saltos markovianos, buscando condicoes testaveis que garantem a
existencia de solucoes e metodologias computacionalmente viaveis
para determina-las.
No texto sao descritos os primeiros resultados obtidos, tais
como a prova do teste de W-alcancabilidade para sistemas com
saltos markovianos discretos sem rudo aditivo. Alem disto, para
sistemas chaveados discretos e formulado um algoritmo que determine as sequencias de chaveamento que resolvam o problema de
alcancabilidade associado. Alem disso, sao descritas as linhas de
pesquisa no que resta do doutorado e uma linha alternativa.

Sum
ario

1 Introduc
ao

2 Fundamentac
ao te
orica
2.1 Notacoes . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Sistemas chaveados e sistemas com saltos discretos
2.3 Sistemas chaveados e sistemas com saltos contnuos
2.4 Conjuntos alcancaveis regressivos . . . . . . . . . .
2.5 Formulacao de problemas de alcancabilidade . . . .

.
.
.
.
.

13
13
14
15
16
18

3 Resultados obtidos
3.1 O algoritmo gerador de sequencias (AGS) . . . . . . . . . . . . . . . . .
3.2 Prova direta do teste de W-alcancabilidade . . . . . . . . . . . . . . . .

19
19
24

4 Linhas de Pesquisa
4.1 Primeira linha : W-Alcancabilidade como condicao necessaria. . . . . .
4.2 Segunda linha : W-alcancabilidade caracterizando o n
umero maximo de
iteracoes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.3 Terceira linha : Metodologia para sistemas chaveados contnuos. . . . .
4.4 Quarta linha : O problema de alcancabilidade estocastica. . . . . . . .

27
27

5 Cronograma de Execuc
ao

31

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

28
28
29

Captulo

1
Introduc
ao

Recentemente, em diversas areas de atuacao os sistemas hbridos sao objetos de

estudo em virtude de sua relevancia pratica. Estes sistemas podem ser bem modelados
empregando uma componente contnua e outra discreta no seu comportamento. Um
exemplo e um sistema de refrigeracao, onde a temperatura e determinada por um
aparelho de ar-acondicionado e por um interruptor que decide quando acionar ou nao
o aparelho. A temperatura e regida pelo modo 1 quando o aparelho esta desligado
(similarmente pelo modo 2, quando o aparelho esta ligado ), e a passagem de um modo
para outro, atraves de uma logica de controle. O sistema seleciona o modo 2 quando
esta no modo 1 e a temperatura ultrapassa certo limite, e seleciona o modo 1 quando
esta no modo 2 e o limite nao e ultrapassado. Desta forma o aparelho e regido por uma
dinamica contnua que interage com a dinamica discreta do interruptor.
Os sistemas chaveados lineares, vide [Sun (2007)], pertencem a uma classe especial
de sistemas hbridos, e sao compostos por uma colecao de subsistemas lineares (que
podem ser equacoes diferenciais ou equacoes em diferenca) e uma lei de chaveamento
que escolhe estes subsistemas. A formulacao de condicoes testaveis que veriquem nao
somente proporcionam um desao para a pesquisa academica. Alem disto, apresentam
muitas aplicacoes como por exemplo em controle de sistemas mecanicos, controle de
processos industriais, controle de trafego aereo, etc. Os sitemas chaveados, tambem
modelam adequadamente processos complexos com dinamica aleatoria.
9

10

Captulo 1 Introducao
Um sistema linear chaveado pode ser descrito por

x(t) = A(t) x(t) + B(t) u(t),

y(t) = C(t) x(t) + D(t) u(t),

x(0) = x0 ,

(1.1)

onde x Rn e a variavel de estado, u Rm e a variavel de controle, y Rp e a variavel

de sada, e e a lei de chaveamento que escolhe um valor em I = {1, 2, . . . , N }. Para
manter uma representacao u
nica em (1.1), escrevemos x(t) = x(t)

= ddt x(t) para sistemas contnuos e x(t) = x(t + 1) para sistemas discretos. Quando o modo i I e seleccionado no tempo t, isto e (t) = i, o sistema e regido pelo subsistema (Ai , Bi , Ci , Di ).
Desta forma, denotamos (1.1), via (A, B, C, D), sendo A = (A1 , . . . , AN ) e da mesma
forma para as outras matrizes. A lei de chaveamento pode ser expressada em funcao
do tempo atual e seus valores anteriores. Quando a lei de chaveamento e uma cadeia de
Markov, chamamos (1.1) de sistemas lineares com saltos markovianos (ou simplesmente
SLSM), veja [O. Costa, Fragoso & Marques (2005)] para sistemas a tempo discreto e
[O. Costa, Fragoso & Todorov (2013)] para sistemas a tempo contnuo. Estes sistemas
sao de muita utilidade na modelagem de processos em que haja mudancas ou alteracoes
abruptas, presentes na industria, na engenharia, e na economia, como por exemplo o
descrito em [Bertolucci (2011)].
O problema de alcancabilidade (ou simplesmente PA) e um problema relevante
na area. Ele consiste em determinar estrategias de controle u(t) que levem um qualquer estado inicial x0 alcancar um alvo x pre-especicado. Nosso interesse de pesquisa e abordar este problema em sistemas chaveados e sistemas com saltos markovianos. Propondo condicoes testaveis que garantem a existencia de solucoes, junto
com metodologias computacionalmente viaveis (facil implementacao) para determinalas. Este trabalho se insere dentro da pesquisa do grupo a qual se relaciona com
controle e ltragem de sistemas dinamicas, veja [E. Costa, Do Val & Fragoso (2005),
E. Costa, Manfrim & Do Val (2006), Gomez & E. Costa (2010), Bertolucci (2011)].
Este projeto ja tem alguns resultados tais como a prova do teste de W-alcancabilidade,
vide [E. Costa, Manfrim & Do Val (2006)], para sistemas sem rudo aditivo. Este resultado e descrito em [Gutierrez & E. Costa (2014)]. Alem disto, para sistemas chaveados
discretos foi elaborado um algoritmo gerador de sequencias (ou simplesmente AGS).
Este algoritmo determina todas as sequencias de chaveamento (i0 , i1 , . . . , it ), que levem
qualquer estado inicial x0 Rn alcancar x no instante de tempo t + 1.
Tambem sao descritos no texto as linhas de pesquisa a serem desenvolvidas e uma
linha de pesquisa alternativa.

11
Linha 1: Formular W-alcancabilidade como condicao necessaria de existencia de
solucoes para os problemas de alcancabilidade em sistemas chaveados e SLSM.
Linha 2: Usar o teste de W-alcancabilidade como criterio que determine o numero
maximo de iteracoes do AGS.
Linha 3: Formular uma metodologia para determinar solucoes do PA em sistemas
chaveados contnuos.
Linha alternativa: Estudo do problema de alcancabilidade estocastica.
A organizacao deste texto e como segue: no captulo 2, descrevemos a fundamentacao
teorica utilizada no texto. No captulo 3, resumimos os resultados obtidos. No captulo
4 descrevemos as linhas de pesquisa propostas e nalmente no captulo 5 descrevemos
o andamento do doutorado num cronograma.

Captulo

2
Fundamentac
ao te
orica

Neste captulo, introduzimos a notacao utilizada no texto, descrevemos os sistemas chaveados e com saltos markovianos a tempo discreto e contnuo, formalizamos
a construcao dos conjuntos alcancaveis regressivos, e apresentamos os problemas de
alcancabilidade a serem desenvolvidos.

2.1

Notac
oes

Consideramos Rn o espaco vectorial real de dimensao n, Mn,m o espaco vectorial

das matrizes reais de dimensao n m, sendo Mn = Mn,n , Mn0 (respectivamente
Mn+ ) o cone convexo fechado das matrizes simetricas positiva semidenidas (respectivamente o cone aberto das matrizes simetricas positivas denidas). Escrevemos U 0
(respectivamente U > 0) quando U Mn0 (respectivamente U Mn+ ) e U a matriz
transposta de U . Denotamos por C n,m o espaco vectorial formado pelas matrizes U,
sendo Ui Mn,m e similarmente C n = C n,n . Alem disso, denotamos por C n0 (respectivamente C n+ ) ao subespaco formado pelas matrizes U, sendo Ui Mn0 (respectivamente
Ui Mn+ ). Representamos por 1n a matriz identidade de dimensao n, 0n a matriz
nula de dimensao n, 1{} ao operador indicador, Prob() e a medida de probabilidade e
E{} e o valor esperado.
. .
.
Seja matriz V Mn e escrevendo ela da forma V = [ v1 .. v2 .. .. vn ], denotamos

= [vec(U1 ) , . . . , vec(UN ) ] .
por vec(V ) = [v1 , . . . , vn ] e o operador linear e invertvel (U)

Denotamos por TV = (TV,1 , . . . , TV,N ) : C n C n , sendo TV, i (U) = N

j=1 pji Vj Uj Vj . De
13

14

Captulo 2 Fundamentacao teorica

[O. Costa, Fragoso & Marques (2005)], verica-se (T

A (U)) = M (U),

onde

p11 A1 A1 p21 A2 A2 pN 1 AN AN
p12 A1 A1 p22 A2 A2 pN 2 AN AN
2

M=
Mn N .
..
..
..
.
.

.
.
.
.
p1N A1 A1 p2N A2 A2 pN N AN AN
Denotamos por = Im(B) B Mn,m e por M 1 a imagem inversa de M , o que
existe independentemente da inversibilidade de M . Escrevemos por CA(v1 , v2 , . . . , vk )
(respectivamente,{CL) a combinacao am (linear) dos vetores
v1 , v2 , . . . , vk , ou seja,
}
k
k
CA(v1 , . . . , vk ) = x = i=1 i vi :
e denida de maneira
i=1 i = 1 e i R , e CL
similar, sem a restricao de soma unitaria para i . Dizemos que V e um subespaco am se
existir uma base de vetores v1 , v2 , . . . , vk tal que V = CA(v1 , v2 , . . . , vk ), e similarmente
para subespacos lineares (gerados por combinacoes lineares de vetores).

2.2

Sistemas chaveados e sistemas com saltos discretos

Os sistemas chaveados a serem estudados neste doutorado sao sistemas sem a presenca de uma variavel de sada, que denotamos por (A, B). A versao discreta e da
forma:

x(t + 1) = A(t) x(t) + B(t) u(t), t = 0, 1, . . .

(2.1)
x(0)
= x0 Rn ,

(0)
= i0 I.
Para cada , escrevemos () = i . Seguindo a notacao de [Sun, Ge & Lee (2001)],
expressamos a variavel x no instante t, por
x(t) = (t, 0)x0 + (t, 1)Bi0 u(0) + + (t, t 1)Bit2 u(t 2) + Bit1 u(t 1), (2.2)
onde (t, ) = Ait1 Ait2 Ai . Esta classe de sistemas e bastante ampla e tem sido
muito estudada em virtude de aplicacoes, vide [Sun,Ge & Lee (2005), Sun (2007)].

SLSM a tempo discreto

Para diferenciar um SLSM dos outros sistemas chaveados, escrevemos a lei de chaveamento por . Denotamos por P = [pij ] MN a matriz de probabilidades de
transicao, onde pij = Prob((t + 1) = j|(t) = i) e distribuicao de probabilidades
i (t) = Prob((t) = i). Considerando A C n e B C m,n , denimos um SLSM a tempo
discreto por

x(t + 1) = A(t) x(t) + B(t) u(t), t = 0, 1, . . .

(2.3)
x(0)
= x0 Rn ,

(0)
= i0 I.

2.3 Sistemas chaveados e sistemas com saltos contnuos

15

Denotamos por (t, ) ao gramiano de alcancabilidade, descrito por

(t, ) =

t1

(t, + 1)Bi Bi (t, + 1) ,

t>

e (t, t) = 0n .

(2.4)

Estas matrizes, satisfazem (t + 1, ) = Ait (t, )Ait + Bit Bit .

2.3

Sistemas chaveados e sistemas com saltos contnuos

A versao contnua pode ser

x(t)
x(0)

(0)

por
= A(t) x(t) + B(t) u(t), t 0
= x0 Rn ,
= i0 I.

(2.5)

Suponhamos que no intervalo [0, t] ocorrem nt chaveamentos, sendo t1 , t2 , . . . , tnt os

instantes de chaveamento e t0 = 0, tais que (tk ) = (tk+1 ), k = 0, 1, . . . , nt 1.
Diferentemente de sua contrapartida discreta, assume valor num intervalo de tempo,
ou seja o tempo de permanencia do modo i0 e t1 , o tempo de permanencia do modo i1
e t2 t1 e assim sucessivamente. Portanto o valor da variavel x no tempo t e
t1
t2
Ai0 (t1 )
x(t) = (t, 0)x0 + (t, t1 )
e
Bi0 u( )d + (t, t2 )
eAi1 (t2 ) Bi1 u( )d +
0
t1
tnt
t
+ (t, tnt 1 )
eAint 1 (tnt ) Bint 1 u( )d +
eAint (t ) Bint u( )d , (2.6)
tnt 1

tnt

onde (t, tk ) = eAint (ttnt ) eAint 1 (tnt tnt 1 ) eAik+1 (tk+2 tk+1 ) eAik (tk+1 tk ) , k = 0, . . . , nt .

SLSM a tempo contnuo

Seguindo a notacao de [O. Costa, Fragoso & Todorov (2013)], denimos as matrizes
de transicao P (t) = [pij (t)], onde pij (t) = Prob((t + h) = j|(h) = i), para qualquer
h > 0. Alem disso satisfaz e a equacao de Chapman-Kolmogorov P (t + h) = P (t)P (h).
Denotando por o(h) a uma funcao tal que limh0 o(h)
= 0, existe uma matriz = [ij ],
h
que e chamado gerador innitesimal que satisfaz.
{
ij h + o(h)
, i = j,
Prob((t + h) = j|(t) = i) =
1 + ii h + o(h) , i = j,
com 0 ij , i = j, e 0 ii =

j=i

ij , para todo i I. De (2.5).

16

Captulo 2 Fundamentacao teorica

Um SLSM a tempo contnuo pode ser escrito como

= A(t) x(t) + B(t) u(t), , t 0

x(t)
x(0) = x0 Rn ,

(0) = i0 I,

(2.7)

sendo o valor da variavel x no tempo t, analoga a (2.6). Assumindo por t = tnt +1 ,

expressamos o gramiano de alcancabilidade, (t, 0) por
nt tk+1

(2.8)
(t, 0) =
(t, )Bint k Bin k (t, ) .
k=0

2.4

tk

Conjuntos alcanc
aveis regressivos

Lembremos que um conjunto alcancavel esta composto por todos os estados que
podem ser alcancados desde qualquer estado inicial x0 Rn . Denotamos este conjunto
por R e dizemos que (1.1) e um sistema alcancavel quando R = Rn . Determinar
estes conjuntos e um tema de pesquisa iniciada ha muitos anos. Por exemplo, para um
sistema Ex(t + 1) = Ax(t) + Bu(t) e proposta uma construcao de espacos vetoriais,
vide [Banaszuk, Kociecki & Przyluski (1988)]. A construcao deste conjuntos, inicia denindo R0 = {0}, calculando progressivamente Rt+1 = E 1 (ARt + ), e determinando
R como a uniao deles.
Para sistemas chaveados existe uma proposta similar, veja [Sun, Ge & Lee (2001)].
O procedimento consiste em determinar para cada sequencia de chaveamento (i0 , . . . , it ),
os conjuntos alcancaveis (que sao subespacos vetoriais) que sao denotados por Ri0 ,i1 ,...,it .
Finalmente, a uniao de todos estes conjuntos formam R . Sem embargo esta proposta
tem um alto custo operacional que involve (mn)n N operacoes, isto diculta sua implementacao. Apesar que neste trabalho propoem uma variante que reduz este custo. Ele
consiste em assumir as matrizes Ai invertveis, mas esta condicao e muito restritiva e
de pouco interesse visando aplicacoes reais.
Diferentemente dos trabalhos descritos anteriormente, no texto e proposta a construcao dos conjuntos alcancaveis de forma regressiva e sendo o alvo x pre-especicado.
), ao conjunto que armaPara cada modo operacao i, denimos Vi (
x) = A1
i (i + x
zena todos os estados que alcancam x quando (2.1) e regido por este modo. Similarmente, dado um conjunto L denimos por Vi (L) = A1 (L + i ) ao conjunto de estados
que atingem L.
Em base a estas denicoes, para a sequencia de chaveamento (i0 , i1 , . . . , it ) construmos o conjunto de estados que alcancam x, da forma:
Vit ,...,i1 ,i0 (
x) := Vit (Vit1 ,...,i1 ,10 (
x)).

(2.9)

2.4 Conjuntos alcancaveis regressivos

17

Ilustramos na Fig. 2.1 , a construcao destes conjuntos para 3 modos operacao e algumas
propriedades destes conjuntos sao apresentadas a seguir.

Figura 2.1: Construcao regressiva de conjuntos que alcancam x.

Propriedades
Lema 2.1. Se L for um susbespaco am, entao para quaisquer v1 , v2 Vi (L) temos
CA(v1 , v2 ) Vi (L), ou seja, Vi (L) tambem e um subespaco am. Em particular se
x = 0, temos que Vit ,...,i1 ,i0 (
x) e um subespaco am.
Demonstrac
ao: Sejam 1 , 2 R tais que 1 + 2 = 1 e para v1 , v2 Vi (L), existem
as estrategias de controle u1 , u2 Rm , que vericam Ai vj + Bi uj L, j = 1, 2. Como
L e am, verica-se
Ai (

j=1

j vj ) + Bi (

j=1

j uj ) =

j (Ai vj + Bi uj ) L,

j=1

isto mostra que 1 v1 + 2 v2 Vi (L), portanto Vi (L) e am. Para a segunda armacao,
procedemos por inducao. Como Vi0 (
x) e am, pela primeira armacao: verica-se
Vi1 ,i0 (
x) e am. Assumindo Vit1 ,...,i0 (
x) e am, verica-se Vit ,...,i0 (
x) e tambem e am,
completando prova do lema.
interessante comentar que Vi (L) e am, mas pode tambem ser linear, por exemplo
E
quando algum dos (ou ambos) pontos v1 , v2 e a origem. Situacao oposta nao ocorre,
ou seja, um subespaco linear L nao pode dar origem a um subespaco Vi (L) am.
Lema 2.2. Se L for um susbespaco linear, ent
ao Vi (L) tambem e um subespaco linear.
Em particular, Vik ,...,i1 ,i0 (0) e um subespaco linear.
Demonstrac
ao: Analoga a demonstracao do lema 2.1, substituindo as combinacoes
am por combinacoes lineares e eliminando a restricao de soma unitaria em .

18

Captulo 2 Fundamentacao teorica

2.5

Formulac
ao de problemas de alcancabilidade

Os problemas de controle sao modelos matematicos que avaliam o comportamento

de um sistema, a m de encontrar uma acao adequada de controle que leve a um
rendimento satisfatorio ao problema. Um problema de controle relativamente comum
e o Problema de alcancabilidade. Ele consiste em determinar estrategias de controle
u(t) que alcancam x desde qualquer estado inicial x0 . Os problemas de controle, que e
de interesse neste doutorado sao:
P1 - Problema de alcancabilidade para sistemas chaveados: Dado x,
encontrar uma sequencia de chaveamento (i0 , i1 , . . . , it ) tal que, para qualquer
x0 Rn , exista o controle u(t) = f (x(, (), 0 t)), que leve x(t + 1) = x.
P2 - Problema de alcancabilidade para sistemas com saltos markovianos: Dado x, encontrar uma sequencia de chaveamento (i0 , i1 , . . . , it ) tal que,
para qualquer x0 Rn , exista o controle u(t) = f (x(, (), 0 t)), que leve
Prob(x(t + 1) = x) Prob((0) = i0 , (1) = i1 , . . . , (t) = it ) > 0.
Quando x = 0, nos referimos a P 1 e P 2 como problemas de controlabilidade. A
razao fundamental para estudar o problema de alcancabilidade, reside no fato de sistemas chaveados serem complexos, vide [Sun, Ge & Lee (2001), Sun,Ge & Lee (2002),
Sun & Ge (2004), Sun (2007)], no sentido que o sistema como um todo nao pode ser
comprendido pelas partes isoladas; por exemplo, podemos ter um sistema (1.1) alcancavel composto de subsistemas nao alcancaveis.

Captulo

3
Resultados obtidos

Neste captulo,sao apresentados os resultados obtidos ate o momento no doutorado.

Primeiro, apresentamos o algoritmo gerador de sequencias para sistemas chaveados discretos com exemplos que a ilustram. Segundo, adaptamos o teste de W-alcancabilidade,
para (2.3), junto com os resultados preliminares que levam a uma prova direta dele.

3.1

O algoritmo gerador de sequ

encias (AGS)

Como foi comentado no secao 2.4, a proposta do trabalho e construir os conjuntos

alcancaveis de forma regressiva. Por exemplo do lema 2.1 temos que (2.9) e um conjunto
am quando o alvo nao e a origem. Suponhamos que existem vetores v1 , v2 , . . . , vq tais
que L = CA(v1 , v2 , . . . , vq ), podemos construir Vi (L) em base ao seguinte resultado.
Lema 3.1. Se L = CA(v1 , v2 , . . . , vq ), entao Vi (L) = CA(V ), sendo V dado pelo
algoritmo 1.
Demonstrac
ao: Por construcao (passo 3), V e um conjunto de pontos para os quais
existe um controle que leva a um elemento de L, de forma que V Vi (L). Usando
a propriedade dada no lema 2.1, vem de imediato que CA(V ) Vi (L). Falta apenas
mostrar que Vi (L) CA(V ); se negarmos esse fato, assumindo que existe pelo menos
um ponto w em Vi (L) nao pertencente a CA(V ), entao pelo lema 2.1 novamente temos
CA({V, w}) Vi (L) e existiria algum w
ortogonal a S satisfazendo o sistema linear do
passo 3 que seria incluido em V .

19

20

Captulo 3 Resultados obtidos

Algoritmo 1: Calculo do Vi (L), para L = CA(v1 , v2 , . . . , vq )

inicio
Passo 1: Considere V = {} e fazer j = 1.
..
Passo 2: Fazer M = [A
[ i .B
]i ], m = vj e p = 1.
wp
Passo 3: Resolver M
= m, atendendo wp = 0, e acrescente wp em V.
u
Se nao existir tal solucao acrescente wp = 0 em V e va para o passo 5. Se
nao existir solucao independente do valor de wp , mantenha V inalterado e va
para o passo 5.
.
Passo 4: Acrescente uma u
ltima linha [w ..0 0] em M e um zero na
p

ultima posicao de m (para forcar ortogonalidade de wp com o vetor wp+1 a

ser calculado no passo a seguir). Incremente p e volte para o passo 3.
Passo 5: Se j < q, incremente j e volte para o passo 2, caso contrario pare.
fin
Em caso algum conjunto do tipo (2.9) seja igual Rn , calculamos as estrategias de
controle via o seguinte teorema.
Teorema 3.2. Se Rn = Vit ,...,i1 ,i0 (
x) ent
ao a sequencia de chaveamento (i0 , i1 , . . . , ik )
garante uma solucao para P1. Alem disso, seja U = [u(t) , u(t 1) . . . , u(0) ] , calculamos as estrategias de controle resolvendo
.
.
.
[Bit ..(t + 1, t)Bit1 .. ..(t + 1, 1)Bi0 ]U = x (t + 1, 0)x,

(3.1)

sendo (t, ) a funcao descrita na sec

ao 2.2.
Demonstrac
ao: A prova do lema e por inducao e adaptando (2.2) ao sistema (3.1).

Algoritmo 2: Algoritmo gerador de sequencias (AGS)

Entrada: O alvo x Rn e horizonte N .
Sada: Sk , k = 1, 2, . . . , .
inicio
Iterac
ao 1: Fazer I0 = I;
Para cada i0 I0 , calcular Vi0 (
x).
Se Vi0 (
x) = , atualizar I0 = I0 {i0 } e S1 = I0 .
Iterac
ao k: Fazer Ik1 = I;
Para cada (ik1 , . . . , i0 ) Ik1 I0 , calcular Vik1 ,...,i0 (
x).
n
Se Vik1 ,...,i0 (
x) = R , armazenar (ik1 , . . . , i0 ) em Sk .
Atualizar Ik1 I0 := Ik1 I0 Sk .
fin

3.1 O algoritmo gerador de sequencias (AGS)

21

Em S1 armazenamos os modos que levam alcancar o alvo desde algum estado inicial.
Para k 2, em Sk armazenamos as sequencias com k modos de operacao que alcancam
o alvo desde qualquer estado inicial.
Buscando descrever AGS forma simples e didatica apresentamos dois exemplos que
a ilustram. Suponhamos (2.1) com 3 subsistemas, assumindo as matrizes
[
]
[
]
[ ]
[ ]
[ ]
1 0
cos sin
1
0
0
A1 = A2 =
, A3 =
, B1 =
, B2 =
, B3 =
,
0 1
sin cos
0
1
0
onde (0, /2). Denotando por v = (cos , sen ) e = . Ilustramos AGS
primeiro para o problema de controlabilidade e logo para o problema de alcancabilidade.

Caso 1: O problema e controlabilidade

Sejam x = 0, I = {1, 2, 3} e = 4.
Iterac
ao 1: Fazer I0 = I, calcular Vi0 (0), i0 I0 e armazenar eles na seguinte
tabela.
i0
1
2
3

Vi0 (0)
span{e1 }
span{e2 }

Como V3 (0) = , entao S1 = I0 = {1, 2}.

Iterac
ao 2: Fazer I1 = I, calcular Vi1 ,i0 (0), (i1 , i0 ) I1 I0 , e armazenar eles
na seguinte tabela.
i1
1
2
3

Vi1 ,1 (0)
span{e1 }
R2
span{v }

Vi1 ,2 (0)
R2
span{e2 }
span{v }

Portanto S2 = {(1, 2), (2, 1)} e atualizando I1 I0 = {(1, 1), (3, 1), (3, 2), (2, 2)}.
Observe que V1,1 (0) = V1 (0) e V2,2 (0) = V2 (0).
Iterac
ao 3: Fazer I2 = I, calcular Vi2 ,i1 ,i0 (0), (i2 , i1 , i0 ) I2 I1 I0 , e
armazenar eles na seguinte tabela.
i2
1
2
3

Vi2 ,1,1 (0)

span{e1 }
R2
span{v }

Vi2 ,3,1 (0)

R2
R2
span{v2 }

Vi2 ,3,2 (0)

R2
R2

}
span{v2

Vi2 ,2,2 (0)

R2
span{e2 }
span{v }

22

Captulo 3 Resultados obtidos

Portanto S3 = {(1, 3, 1), (1, 3, 2), (1, 2, 2), (2, 1, 1), (2, 3, 1), (2, 3, 2)} e atualizando
I2 I1 I0 = {(1, 1, 1), (2, 2, 2), (3, 1, 1), (3, 3, 1), (3, 3, 2), (3, 2, 2)}. Via (3.1),
calculamos as estrategias de controle para a sequencia (1, 3, 2).

[
] u(2)
[
]
0 0
cos
x1 cos x2 sen

u(1) =
,
1 0 sen
x1 sen x2 cos
u(0)
sendo u(2) = x2 sec , u(1) e qualquer valor real, e u(0) = x1 x2 tan .
Ilustramos a dinamica descrita pela variavel de estado na Fig. 3.1.

Figura 3.1: Dinamica de variavel de estado segundo a sequencia (1, 3, 2), x(0) = x0 ,
x(1) = A2 x0 + B2 u(0), x(2) = A3 x1 + B3 u(1), 0 = A1 x(2) + B1 u(2).
Iterac
ao 4: Fazer I3 = I, calcular Vi3 ,i2 ,i1 ,i0 (0), (i3 , i2 , i1 , 10 ) I3 I2 I1 I0 .
Como sao 18 conjuntos para avaliar, escrevemos somente as sequencias em S4 .
S4 = {(1, 2, 2, 2), (1, 3, 1, 1), (1, 3, 2, 2), (2, 1, 1, 1), (2, 3, 1, 1), (2, 3, 2, 2)}.

Figura 3.2: Sequencias e subespacos que resolvem o problema de controlabilidade.

3.1 O algoritmo gerador de sequencias (AGS)

23

Caso 2: O problema de alcancabilidade

Sejam x = x = (cos, sen), > , I = {1, 2, 3}, e = 3.
Iterac
ao 1: Fazer I0 = I, calcular Vi0 (x ), i0 I0 e armazenar eles na seguinte
tabela.
i0
1
2
3

Vi0 (x )
x2 = sen
x1 = cos
x

Portanto S1 = I0 = I.
Iterac
ao 2: Fazer I1 = I, calcular Vi1 ,i0 (x ), (i1 , i0 ) I1 I0 , e armazenar eles
na seguinte tabela.
i1
1
2
3

Vi1 ,1 (x )
x2 = sen
R2
x + span{v }

Vi1 ,2 (x )
R2
x1 = cos
x + span{v }

Vi1 ,3 (x )
x2 = sen
x1 = cos
x

Assim, S2 = {(1, 2), (2, 1)} e I1 I0 = {(1, 1), (1, 3), (2, 2), (2, 3), (3, 1), (3, 2), (3, 3)}.
Observemos que V1,1 (x ) = V1 (x ) e V2,2 (x ) = V2 (x ).
Iterac
ao 3: Fazer I2 = I, calcular Vi2 ,i1 ,i0 (x ), (i2 , i1 , i0 ) I2 I1 I0 , e armazenar eles na seguinte tabela. Como sao 21 conjuntos para avaliar, apresentamos
somente as sequencias de S3 .
S3 = {(1, 2, 2), (1, 2, 3), (2, 1, 1), (2, 1, 3), (1, 3, 1), (1, 3, 2), (2, 3, 1), (2, 3, 2)}.
Via (3.1), obtemos as acoes de controle para a sequencia (2, 3, 1).
[

] u(2)
[
]
1 0 sen
x
cos

x
sen

+
cos

1
2
u(1) =
0 0 cos
x1 sen x2 cos + sen
u(0)

cuja solucao e u(2) = x1 sec + sec cos , u(1) R e u(0) = x1 x2 tan .

Resumimos as possveis combinacoes de indices no seguinte arvore.

24

Captulo 3 Resultados obtidos

Figura 3.3: Dinamica de variavel de estado segundo a sequencia (2, 3, 1), x(0) = x0 ,
x(1) = A1 x0 + B1 u(0), x(2) = A3 x(1) + B3 u(1), x = A2 x(2) + B2 u(2).

Figura 3.4: Sequencias e subespacos (am) que resolvem o problema de

alcancabilidade.

3.2

Prova direta do teste de W-alcancabilidade

A nocao da alcancabilidade fraca ou simplesmente W-alcancabilidade, foi proposto

em [E. Costa, Manfrim & Do Val (2006)], para um SLSM x(t+1) = A(t) x(t)+B(t) w(t),
sendo w(t) N (0, 1n ) , junto com o teste de W-alcancabilidade que verica os conceitos estruturais de controlabilidade e alcancabilidade. Similarmente, ao caso sistemas simples (sem saltos), este teste propoe vericar o posto completo das matrizes
W(n2 N ) = (W1 (n2 N ), . . . , WN (n2 N )), chamadas matrizes de W-alcancabilidade, onde
.
. .
Wi (n2 N ) = [Xi (0)..Xi (1).. ..Xi (n2 N )].
A construcao destas matrizes, descrita em [E. Costa, Manfrim & Do Val (2006)], e
denindo Xi (t) = E{x(t)x(t) 1(t)=i } e Qi (t) = E{w(t)w(t) 1(t)=i } e assumindo
independencia entres a variavel de estado e a variavel de rudo. Obtendo um sistema
em diferencas da forma Xi (t + 1) = TA,i (X(t)) + TB,i (Q(t)). Sem embargo, com estas
denicoes de X(t) e Q(t) para (2.3), torna a construcao inviavel devido a que o termo
aditivo no estado agora e o controle, e nao um rudo.

3.2 Prova direta do teste de W-alcancabilidade

25

A pesar do teste ja ter sido demonstrado em [Narvaez & E. Costa (2011)] utilizando
relacoes de dualidade, neste trabalho de doutorado foi elaborado uma prova direta.
Para obter isso, denimos.
Xi (0) = 0n ,

Xi (t) = E{(t, 0) 1{(t)=i} } e Qi (t) = i (t)1n .

(3.2)

usando a relacao que envolve (2.4) na secao 2.2, junto com os resultados de esperanca
condicionada, veja [Cinlar (1975)], temos uma equacao em diferencias igual a descrita
em [E. Costa, Manfrim & Do Val (2006)].
Lema 3.3. Considerando as matrizes denidas em (3.2), vale a armac
ao.
Xi (t + 1) = TA,i (X(t)) + TB,i (Q(t)).

Alem disso, considerando Q(t)

= TB (Q(t)), obtemos
X(t) =

t1

1)).
TA (Q(t

=0

Da relacao (T
A (U)) = M (U),

onde M a matriz descrita na secao 2.1, e possvel

estender o teorema de Cayley Hamilton, aplicando ferramentas de algebra linear nas
equacoes obtidas no lema 3.3.
Lema 3.4. Sejam A, U C n e t n2 N . Ent
ao, existem 1 , . . . , n2 N R, tais que
TAt (U) = 1 TAn

2 N 1

(U) + 2 TAn

2 N 2

(U) + + n2 N TA0 (U).

A importancia deste resultado de extensao permitira limitar o calculo das matrizes

Wi (t) para t = n2 N . Para obter este valor e necessario o seguinte resultado.
Lema 3.5. Seja t > n2 N e ker(Wi (n2 N )Wi (n2 N ) ) = {0}, vale o seguinte
ker(Wi (t)Wi (t) ) = {0}.
Equivalentemente, se Posto(Wi (n2 N ) ) < n, entao Posto(Wi (t) ) < n.
Os lemas 3.3, 3.4, 3.5 sao demonstradas em [Gutierrez & E. Costa (2014)] e servem
como resultados preliminares para demonstrar o teste de W-alcancabilidade.
Teorema 3.6 (Teste de W-alcan
cabilidade). O sistema (2.3) e W-alcanc
avel se e
2
somente se Posto(Wi (n N )) = n, para cada i I.

26

Captulo 3 Resultados obtidos

Em [Narvaez & E. Costa (2011)] foi feita a prova do teste de W-alcancabilidade

para um SLSM a tempo contnuo que tem uma variavel de sada y em sua estrutura. Contudo, porem a prova dele usa relacoes de dualidade com a nocao de Wobservabilidade e propriedades de invariancia de espaco nulo nas matrizes que compoem
as matrizes de W-alcancabilidade, sendo esta demonstracao de forma indireta.
Apesar de nao ser muito relevante a prova do teste de W-alcancabilidade, a simplicidade com a que foi feita. Usando somente ferramentas de algebra linear, tornou um
primeiro resultado a ser publicado em [Gutierrez & E. Costa (2014)].

Captulo

4
Linhas de Pesquisa

As linhas de pesquisa a serem desenvolvidas neste projeto sao:

1. Formular W-alcancabilidade como condicao necessaria de existencia de solucoes
para os problemas P1 e P2.
2. Usar o teste de W-alcancabilidade como criterio que determine o numero maximo
de iteracoes de AGS.
3. Elaborar uma metodologia que determine as estrategias de controle para sistemas
chaveados contnuos.
4. Estudar o problema de alcancabilidade estocastica (alternativa).

4.1

Primeira linha : W-Alcancabilidade como condic

ao
necessaria.

Para um sistema do tipo x(t + 1) = Ax(t) + Bu(t), o PA , ja foi amplamente abordado na literatura, veja [Hespanha (2009), Antsaklis & Michel (2009)]. Uma condicao
necessaria e suciente que garante a existencia de solucoes e vericar o posto completo
.
. .
da matriz [B ..AB .. ..An1 B]. Existem tentativas similares para sistemas mais complexos, como por exemplo para sistemas estocasticos, veja [Ehrhardt & Kliemann (1982)],
onde foi introduzida a nocao de controlabilidade fraca em sistemas contnuos e que logo
foi adaptado em [Ji & Chizeck (1988)], para um SLSM a tempo discreto.
27

28

Captulo 4 Linhas de Pesquisa

Outros conceitos que servem de condicao necessaria ja foram proposto, contudo

para outros criterios de como o alvo e alcancado, vide [Czornik & Swiernak (2001),
Czornik & Swiernak (2004)].
O teste de W-alcancabilidade ja vem sendo utilizado como condicao necessaria de
existencia de solucoes para o PA. Apesar que nao tinha sido demonstrado, devido a
in
umeros de exemplos que foram testados e a experiencia do grupo, acreditamos que
esta proposta seja valida.

4.2

Segunda linha : W-alcancabilidade caracterizando

o n
umero m
aximo de iterac
oes.

O AGS apresentado na secao 3.1 pode ter um custo computacional elevado devido
ao fato de nao haver um criterio para o n
umero de passos. Nao conhecemos qualquer
resultado que caracterize o n
umero de passos do AGS, nem de outros metodos similares,
como os metodos progressivos descritos na secao 2.3.
Neste tema, pretendemos investigar sob quais condicoes o n
umero de iteracoes do
AGS e nito. Em um segundo momento, caracterizar o n
umero maximo de iteracoes.
Claramente, se W-alcancabilidade for uma condicao necessaria, de acordo com o
tema da primeira linha de pesquisa, entao o AGS nao encontrara uma solucao (n
umero
2
de passos innito, sem sucesso). Intumos que o n
umero de passos seja n N ou menor,
independentemente de W-alcancabilidade. Pensamos nesta possibilidade devido a que
as matrizes de W-alcancabilidade denidas na secao 3.2 tem dimensao n2 N .

4.3

Terceira linha : Metodologia para sistemas chaveados contnuos.

Esta tarefa nao e trivial, pois uma solucao para u(t) que leve o estado inicial atingir
o alvo (analogamente a (3.1)) so e simples de expressar em termos de uma sequencia de
chaveamento em todo intervalo [0, T ]. Para isso e necessario conhecer os nT instantes
de chaveamento t0 = 0, t1 , t2 , . . . , tnT . Expressando assim u(t) = f (x(t), (ti )) onde
ti t ti+1 , que nao satisfaz os problemas P1 e P2, pois estes instantes podem variar
em cada iteracao. Em particular para SLSM, isso signicaria projetar um controle u(t)
assumindo uma realizacao da cadeia (s), o s T ; em tempo contnuo, realizacoes
da cadeia tem probabilidade zero, logo os controles obtidos teriam probabilidade zero
de levar o estado ao alvo.
Outra diferenca entre abordagens do caso discreto e contnuo, relacionadas com
o problema em questao, podem ser notadas na construcao das chamadas sequencias

4.4 Quarta linha : O problema de alcancabilidade estocastica.

29

de Wong, as quais envolvem relacoes algebricas baseadas em A no caso discreto, e

n1
baseadas em Di =
nuo. As sequencias de Wong aparecem
=0 Ai no caso cont
em [Berger & Reis (2013)] na construcao dos conjuntos alcancaveis que sao invariantes
para sistemas sem saltos e em [Sun,Ge & Lee (2005)] com uma proposta similar.

4.4

Quarta linha : O problema de alcancabilidade estoc

astica.

Numa variante dos problemas P1 e P2 descritos anteriormente, propomos uma

linha de pesquisa alternativasobre alcancabilidade estocastica. Seguindo a notacao
de [Bujorianu & Lygeros (2007)], para um conjunto mensuravel A, denimos
ReachT (A) = { |t [0, T ] : xt () A},
Reach (A) = { |t 0 : xt () A}.
Estes conjuntos determinam os estados que atingem A no intervalo [0, T ] ou [0, ].
Denominamos por problema de alcancabilidade estocastica (PAE), aquele de encontrar
estrategias de controle u(t) que impliquem em P (TA < T ) ou P (TA < ), sendo
TA = inf{t > 0|xt A} o primeiro instante de tempo que a variavel x atinge o conjunto
A. Em [Bujorianu & Lygeros (2007)], sao descritas algumas tecnicas e ferramentas
matematicas que levem a resolver este problema, como por exemplo via um problema
de parada otima ou visando resultados da teoria de potencial. Em [Bujorianu (2010)],
formulam o PAE como um problema de parada otima. Esta formulacao leva a uma
inequacao variacional similar a descrita em equacoes diferenciais parciais.
Apesar, destas areas nao serem diretamente relacionadas existe uma relacao surprendentecom o trabalho de mestrado do candidato, vide [Gutierrez (2013)]. Neste
trabalho e mostrada a equivalencia entre uma inequacao variacional associada a um
problema de obstaculo e um problema de complementariedade adequadamente escrito.
Esta equivalencia e aproveitada para resolver numericamente o problema do obstaculo via um algoritmo de ponto interior. A proposta seria estudar esta formulacao
variacional e adapta-lo em diversas aplicacoes.

Captulo

5
Cronograma de Execuc
ao

Considere as seguintes etapas. O cronograma de execucao encontra-se na Tabela 1.

Etapa 1 - Primeiras disciplinas. Otimizacao linear I (A), Otimizacao linear II
(A), Solucao numerica de equacoes a derivadas parciais (A).

Etapa 2 - Ultimas
disciplinas. Preparacao pedagogica (A), Seminarios de computacao e matematica computacional (A), Metodologia de pesquisa cientica em
computacao (A), Processos Estocasticos (A) e Programacao Dinamica (aguardando avaliacao).
Etapa 3 - Revisao bibliograca e texto para exame de qualicacao;
Etapa 4 - Linha 1 - W-alcancabilidade como condicao necessaria;
Etapa 5 - Linha 2 - O teste de W-alcancabilidade como criterio que determine o
numero maximo de iteracoes;
Etapa 6 - Linha 3 - Metodologia para sistemas chaveados contnuos;
Etapa 7 - Linha 4 - Problema de alcancabilidade estocastica;
Etapa 8 - Elaboracao de artigo(s);
Etapa 9 - Elaboracao da tese de doutorado.
31

32

Etapa
1
2
3
4
5
6
7
8
9

Captulo 5 Cronograma de Execucao

Sem. I

Sem. II

Sem. III

Sem. IV

Sem. V

Sem. VI

Sem. VII- VIII

OBS: O smbolo enfatiza que a Etapa 7 e alternativa, como antes descrito

Refer
encias Bibliogr
aficas

[Antsaklis & Michel (2009)] P. J. Antsaklis and A. N. Michel. Linear systems. Birkhauser eds., pages 214-246, Boston, 2006.
[Banaszuk, Kociecki & Przyluski (1988)] A. Banaszuk, M. Kociecki and K. Przyluski.
Remarks on controllability of implicit linear discrete-time system. Systems and
Control letters, 10, pages 67-70, North-Holland, 1988.
[Berger & Reis (2013)] T. Berger and T. Reis. Controllability of linear dierentialalgebraic systems-a survey. in: Diferrential-Algebrais Equations Forum, Springer
-Verlag, pages 1-61, Berlin, Heildelberg, 2013.
[Bertolucci (2011)] L. Bertolucci. Rastreador linear quadratico com custo medio de
longo prazo para sistemas lineares com saltos markovianos. Dissertac
ao do mestrado em ciencias da computac
ao e matematical computacional. Instituto de Ciencias Matematicas e de Computacao, Sao Carlos, 2011.
[Bujorianu & Lygeros (2007)] Manula L. Bujorianu and Jhon Lygeros. New insights on
stochastic reachability. In proceedings of the 46th IEEE Conference on Decision
and Control, pages 61726177, New Orleands USA, 2007. IEEE Computer Society
Press.
[Bujorianu (2010)] Manuela L. Bujorianu. Variational inequalities for the stochastic
reachability problem. 49th IEEE Conference on Decision and Control, pages 1854
1859, Atlanta USA, 2010. IEEE Computer Society Press.
[Cinlar (1975)] E. Cinlar. Introduction to stochastic processes. Prentice-Hall eds., pages
106-138, New Jersey, 1975.
33

34

Referencias Bibliogracas

[Czornik & Swiernak (2001)] A. Czornik and A. Swiernak On controllability with respect to the expectation of discrete time jump linear systems. Journal of the Franklin
Institute, 338: 443-453, 2001.
[Czornik & Swiernak (2004)] A. Czornik and A. Swiernak On direct controllability of
discrete time jump linear system. Journal of the Franklin Institute, 341: 491-503,
2004.
[E. Costa, Do Val & Fragoso (2005)] E. F. Costa, J. B. R. do Val and M. D. Fragoso. A
new approach to detectability of discrete-time innite Markov jump linear systems.
SIAM Journal on Control and Optimization, 43:2132-2156,2005.
[E. Costa, Manfrim & Do Val (2006)] E. F. Costa, A. L. P. Manfrim, and J. B. R. do
Val Weak controllability and weak stabilizability concepts for linear systems with
Markov jump parameters. ACC06 American Control Conference, Minneapolis,
USA,2006.
[Ehrhardt & Kliemann (1982)] M. Ehrhardt and W. Kliemann Controllability of linear
stochastic systems. Systems and Control Letters, Vol 2:3, 1982.
[Gomez & E. Costa (2010)] Maria J. F. Gomez and E. F. Costa. On the stability of
the recursive Kalman Filter With Markov jump parameters. ACC10 American
Control Conference, Baltimore, 2010.
[Gutierrez (2013)] D. Gutierrez. Inequac
oes variacionais e aplicac
oes em problemas
tipo obstaculo com resolucao numerica via complementaridade. Dissertacao de
mestrado em matematica. Universidade Federal de Juiz de Fora, 2013.
[Gutierrez & E. Costa (2014)] D. Gutierrez and E. F. Costa. W-alcancabilidade para
sistemas lineares com saltos markovianos a tempo discreto. INPROCEEDINGS
CNMAC14 XXXV Congresso Nacional de Matematica Aplicada e Computacional,
Natal, 2014.
[Hespanha (2009)] J. P. Hespanha. Linear systems theory. Princeton University Press
eds., pages 95-109, New Jersey, 2009.
[Ji & Chizeck (1988)] Y. Ji and H. J. Chizeck. Controllability, observability and
discrete-time Markovian jump linear quadratic control. Internat J. Control,
48(2):481-498,1988.
[Narvaez & E. Costa (2011)] A. R. R. Narvaez and E. F. Costa. On the controllability
of continuous-time markov jump linear system. INPROCEEDINGS IFAC 18 th

Referencias Bibliogracas

35

World Congress of the International Federation of Automatic Control, Milano,

2011.
[O. Costa, Fragoso & Marques (2005)] O. L. V. Costa, M. D. Fragoso and R. P. Marques. Discrete-time Markov jump linear systems. Springer-Verlag eds., New York,
2005.
[O. Costa, Fragoso & Todorov (2013)] O. L. V. Costa, M. D. Fragoso and M. G. Todorov. Continuous-time Markov jump linear systems. Springer-Verlag eds., New
York, 2013.
[Sun, Ge & Lee (2001)] Zhendong Sun, S. S. Ge and T. H. Lee Reachability and controllability of switched linear discrete-time systems. Automatic Control, IEEE
Transactions 46: 1431-1441,2001.
[Sun,Ge & Lee (2002)] Zhendong Sun, S. S. Ge and T. H. Lee Controllability and
reachability criteria for switched linear systems. Automatica 38: 775-786,2002.
[Sun & Ge (2004)] Zhendong Sun and S. S. Ge Analysis and Synthesis of switched
linear control systems. Automatica 41: 181-195,2004.
[Sun,Ge & Lee (2005)] Zhendong Sun, S. S. Ge and T. H. Lee Switched linear systems,
Control and Design. Springer-Verlag, eds., London, 2005.
[Sun (2007)] Zhendong Sun. Reachability analysis of constrained switched linear systems. Automatica 43: 164-167, 2007.