Apresentacao 3

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Dificuldades encontradas
Cronograma e Referências
Conclusão
Um sistema de acompanhamento visual para

robôs móveis semi-autônomos em ambientes
semi-estruturados
Ricardo F. Machado
Paulo F. F. Rosa (Orientador)
Antonio E. Carrilho da Cunha, (Orientador)
Instituto Militar de Engenharia
15 de dezembro de 2010
Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 1 / 62

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Roteiro
1 Introdução
2 O sistema SAVAR
3 Tarefas realizadas
4 Dificuldades encontradas
5 Cronograma e Referências
6 Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Objetivo
Realizar uma tarefa de acompanhamento visual em um ambiente

semi-estruturado por um robô móvel com rodas, dotado de uma
câmera de vı́deo com dois graus de liberdade como seu único
sistema sensorial.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Resumo dos trabalhos recentes
Figura: Trabalhos Recentes - Conceitos.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Contribuições
Figura: Conceitos empregados no SAVAR.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Enunciado do Problema
O sistema deve ser capaz de:

controlar dois graus de liberdade da câmera e do robô;
utilizar controladores distintos;
utilizar uma rede ethernet e uma única câmera como sistema
sensorial e
possibilitar capacidades desviar de obstáculos e reconhecer
marcos confiáveis.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Metodologia proposta
Passo 1 - Revisar a literatura;

Passo 2 - Formular os modelos cinemático e dinâmico do robô;
Passo 3 - Construção do robô;
Passo 4 - Simular e comparar com o desempenho real do robô;
Passo 5 - Desenvolver um modelo de rastreamento visual;
Passo 6 - Desenvolver um modelo de navegação visual e
Passo 7 - Integrar o Sistema e avaliar seu desempenho.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Metodologia proposta
Objetivos intermediários:
desenvolver e construir um robô móvel com rodas;
desenvolver software de simulação e controle;
desenvolver controladores visual e cinemático e
integrar os diversos subsistemas.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Sistema de Acompanhamento Visual de Alvos por Robô
Figura: Visão geral do SAVAR - Sistemas de coordenadas.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Diagrama em blocos do Sistema
Figura: Diagrama em blocos do sistema.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Subsistema Robô-Câmera

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Subsistema de Acompanhamento Visual

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Rastreador e Estimador Visual
Figura: Visão do alvo e sistemas de coordenadas.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Rastreamento visual
Figura: Controle da câmera.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Formulação do controlador de rastreamento visual
Objetivo manter na imagem:

a posição do alvo (ξx,y )
numa posição de interesse
(Ix,y ).
a projeção do alvo num
tamanho apropriado.
Figura: Centralização do alvo.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Objetivo manter na imagem:

a posição do alvo (ξx,y )
numa posição de interesse
(Ix,y ).
a projeção do alvo num
tamanho apropriado.
Figura: Projeção apropriada.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

O estado da câmera (S) pode ser alterado:
S(t + 1) = S(t) + Ṡ(t)
S(t) , pant(t) til(t) zoom(t)
Considerando o centro do alvo:

S → S0 e θ(ângulos com o eixo ótico)→ 0
 kξx − Cx k 
K1 ∗
 f  u(t) = KP ∗ err (t)
 kξy − Cy k 
Ṡ(t) =  K2 ∗  kP = ganho do controlador
 f 
 S  err (t)= o erro de estado
K3 ∗ ( − 1)
S0
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Controlador de rastreamento visual - Estratégia
Problemas do termo integral:

A ausência pode causar oscilações no sistema.
A presença pode causar reposta mais lentas.
SOLUÇÃO: Inserir uma função de truncamento δ(., λ)
 kξx − Cx k 
K1 ∗ δ ∗ ( , λ1 )
 f  (
 kξy − Cy k  x if x >= λ
Ṡ(t) =  K2 ∗ δ ∗ , λ2 )  δ(x, λ) =
 f  0 if x < λ
 S 
K3 ∗ δ ∗ (( − 1, , λ3 ))
S0

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Controlador de rastreamento visual - Estratégia
Problemas no processamento dos comandos:

Frequentes comandos causam elevado custo ao processamento
da câmera e perda de comandos(fila queue);
Ao contrário do PAN-TILT a distância focal(f ) não muda de
imediato;
Estrátegia:Agrupamento de comandos
POST/ (PAN TILT SPEED);
GET/ (PAN TILT SPEED);
GET/ (ZOOM);

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Estimador de acompanhamento visual
Figura: Utilização do PAN e TILT.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Estimador de acompanhamento visual - Formulação
ξx = f ∗ tanh(γ − ϕ)
f ∗ (γ̇ − ϕ̇)
ξ˙x =
cos2 (γ − ϕ)
ϕ̇ = γ̇ + Kϕ ∗ ξx , para Kϕ > 0
Temos que em malha fechada:

ϕ̇ = γ̇ + Kϕ ∗ ξx garante a convergência ξx para zero.
ξx
γ = ϕ + arctan( )
f
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Posição relativa do alvo - vista lateral.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Posição relativa do alvo - vista de topo.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Estimador de acompanhamento visual - Formulação
h
b= )
tanh(ψ
kerrok2 = b 2 + d 2 − 2 ∗ b ∗ d cos(pi − ϕ) (pelo teorema de Carnot)
b ∗ sin(pi − ϕ)
α = arcsin
kerrok
Dessas variáveis encontramos o erro de apontamento do SAVAR

θerro − θSAVAR = α e as suas projeções

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Acompanhamento do alvo no sistemas de coordenadas inerciais.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Modelando o movimento do alvo - Formulação
Obtido a velocidade e aceleração do alvo, temos a posição P:

ˆ x+δt = Pos
Pos ˆ x + 1 ∗ acel
ˆ x + vel ˆ x ∗ δt 2
2
ˆ y +δt = Pos
Pos ˆ y + 1 ∗ acel
ˆ y + vel ˆ y ∗ δt 2
2
Espaço de estados
Decompondo suas componentes linear e angular e colocando na
forma de espaço de estados:
xk = Φk,k−1 xk−1 + wk−1
Z k = H k xk + vk

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Onde temos:
T
xk = xk yk θk νk ωk
Matriz de transição de estados:

1
 
2
1 0 0 δt cos(θk−1 ) 2
νk−1 δt sin(θk−1 ) 
 1 
0 1 0 δt sin(θ )
k−1 νk−1 δt 2 cos(θk−1 )
Φk,k−1 = 
 2 

0 0 1 o δt 
 
0 0 0 1 0 
0 0 0 0 1

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
representa o ruido do processo

T
wk−1 = 0 0 0 ξv ξω
vetor de medidas:
T
Zk = xk yk
relação entre as medidas e o vetor de estados:

1 0 0 0 0 T
H= por último vk = γx γy , que são os
0 1 0 0 0
erros de medidas direcional (x− e y −).

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Otimização do acompanhamento visual - Formulação
Incertezas
Os dados de entrada (informações de imagem) e
O estado de transição um objeto em movimento
Estrátegia:um filtro de Kalman poderia se usado como observador

de estado
Fundamento da aplicação:
o vetor de estado, pode ser estimado sobre o plano da
imagem.
o filtro minimiza o erro de estimação alterando o modelo de
transição de estado.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Otimização do acompanhamento visual - Formulação

matriz de covariância do erro estimado
P̂k0 = Φk,k−1 P̄k,k−1 ΦT
k,k−1 + Qk−1
o ganho ótimo do filtro

Kk = P̂K0 HT 0 T
k [Hk P̂K Hk + Rk ]
−1
atualização baseado nos novos valores de Zk

x̂k = Φk,k−1 x̂k−1 + Kk [Zk − Hk Φk,k−1 x̂k−1 ]
matriz de covariância do erro usada para predição

0 0
Pk = Pk − Kk Hk Pk
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Estrategia de acompanhamento.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Estratégia de acompanhamento visual - Formulação

Por uma aproximação ”backward”, temos que:
−−−→
P1P2
A velocidade do alvo em t = t2 pode ser calculada valvo ≈
T
Para o SAVAR por Runge-Kutta:

∆x ≈ v1 ∗ T ∗ cos ω1 ∗ T
∆y ≈ v1 ∗ T ∗ sin ω1 ∗ T
∆θ ≈ ω ∗ T
Método de controle
Adotou-se um observador na origem do sistema inercial com base
nas posições absolutas do Alvo e do SAVAR e uma lei de controle
proporcional.
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Desenvolvimento de software simulação e controle

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Simulação do controlador de acompanhamento visual
Figura: Simulação Simulink.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Simulação1 MatLab.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Simulação1 MatLab - Zoom.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Detecção de obstáculo e estimador de caminhos
Figura: Deteção de obstáculos.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Obtenção dos Mapas
Figura: Algoritmo de deteção de obstáculos.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Área segura e obstáculos.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Obtenção do Mapa de Textura.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Exemplo1
Ricardo F. Machado (IME) - Mapa
Sistema de de Textura
Acompanhamento Visual - e pontos mediais.Set/2010
SAVAR 49 / 62
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Figura: Exemplo2
Ricardo F. Machado (IME)
- Mapa de Textura e pontos mediais.Set/2010
Sistema de Acompanhamento Visual - SAVAR 50 / 62
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Desenvolvimento de nova interfaces
Figura: Interface de rede.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Tarefas realizadas no periodo passado
revisão da literatura;
projeto em CAD de um robô móvel tipo(2,0);
construção do robô;
desenvolvimento de interfaces de controle e comunicação;
desenvolvimento de software de controle (Robô-Câmera);
elaboração de artigo (aceito na VI SBEIN1 ) e
redação de 40 páginas da dissertação (revisadas pelo
orientador).
Teste dos módulos servidores com implementação de
algorı́tmos;
1
Seminário Brasileiro de Engenharia Inercial
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Tarefas realizadas no atual perı́odo
revisão da literatura;
desenvolvimento de nova interface de controle e comunicação;
testes dos novos módulos servidores;
desenvolvimento de software de simulação e controle em
tempo real (MatLab);
simulação do controlador dos motores e com implementação
de algorı́tmos e
redação de 35 páginas adicionais da dissertação (em fase de
revisão pelo orientador).

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Avaliação dos Resultados - Controle baseado na Visão
Pontos observados
O controle funcionou de forma bem comportada com base
exclusivamente no espaço imagem;
Consegue resolver o problema de controle de rastreamento
visual de alvo dinâmico por um robô móvel Tipo(2, 0);
Possui a aplicabilidade extendida por considerar o controle da
cinemática PAN-TILT de uma câmera IP;
Redução na complexidade e custo computacional, comparado
com sistemas baseados na posição, em homografia e outras
abordagens.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Avaliação dos resultados - Detecção de obstáculos
Pontos observados
A abordagem é adequada para a orientação com câmeras
monoculares na presença de ruı́do, vibrações e mudanças nas
condições ambientais.
Os efeitos de são totalmente reduzidos com a utilização dos
mapas de croma;
A alteração do fator de redução Gaussiana altera pouco o
custo computacional final.
É requirido uma memória temporal dos resultados dos mapas

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Implementação no MatLab para simulação em tempo real e

Implementação de rotinas para os algoritmos de visão.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Contribuições esperadas
Potencial uso de uma arquitetura cliente-servidor para robôs;

Controle e gerenciamento de tarefas robóticas complexas por
robôs com hardware mais simples e
Emprego nos projetos desenvolvido no laboratório de robótica
do IME.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Próximas etapas
Passo 4 e 7
finalização do software embarcado para os sensores inerciais;
Integrar os módulos e executar tarefas e
finalização da redação e digitação da dissertação.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Cronograma
Figura: Cronograma
Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Conclusão
O controle baseado em dados obtidos da imagem foi simulado

mostrando-se funcional para implementação no SAVAR. Um
algorı́tmo preliminar para detecção de obstáculos foi realizado
mostrando-se promissor e de baixo custo computacional.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Referências I
Capparella, F., Freda, L., Malagnino, M., and Oriolo, G. (2005).

Visual servoing of a wheeled mobile robot for intercepting a moving object.
pages 2737 – 2743.
Felser, M. (2005).
Real-time ethernet - industry prospective.
Proceedings of the IEEE, 93(6):1118 –1129.
Katramados, I., Crumpler, S., and Breckon, T. P. (2009).

Real-time traversable surface detection by colour space fusion and temporal analysis.
In Computer Vision Systems, volume 5815 of Lecture Notes in Computer Science, pages 265–274. Springer
Berlin / Heidelberg.
Samaranayake, L., Alahakoon, S., and Walgama, K. (2003).

Speed controller strategies for distributed motion control via ethernet.
In Intelligent Control. 2003 IEEE International Symposium on, pages 322 – 327.
Tsai, C.-Y., Song, K.-T., Dutoit, X., Van Brussel, H., and Nuttin, M. (2009).
Robust visual tracking control system of a mobile robot based on a dual-jacobian visual interaction model.
Robot. Auton. Syst., 57(6-7):652–664.

Roteiro
Introdução
O sistema SAVAR
Tarefas realizadas
Conclusão
Referências II
Yoon, J.-I. and Ahn, K.-K. (2006).

Face tracking system using embedded computer for robot system.
In SICE-ICASE, 2006. International Joint Conference, pages 5593 –5597.

Apresentacao 3

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Apresentacao 3

Transféré par

Droits d'auteur :

Formats disponibles

Roteiro

Um sistema de acompanhamento visual para

Instituto Militar de Engenharia

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 1 / 62

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 2 / 62

Realizar uma tarefa de acompanhamento visual em um ambiente

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 3 / 62

Resumo dos trabalhos recentes

Figura: Trabalhos Recentes - Conceitos.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 4 / 62

Figura: Conceitos empregados no SAVAR.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 5 / 62

O sistema deve ser capaz de:

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 6 / 62

Passo 1 - Revisar a literatura;

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 7 / 62

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 8 / 62

Sistema de Acompanhamento Visual de Alvos por Robô

Figura: Visão geral do SAVAR - Sistemas de coordenadas.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 9 / 62

Diagrama em blocos do Sistema

Figura: Diagrama em blocos do sistema.

Figura: Diagrama em blocos do sistema.

Subsistema de Acompanhamento Visual

Figura: Diagrama em blocos do sistema.

Rastreador e Estimador Visual

Figura: Visão do alvo e sistemas de coordenadas.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 13 / 62

Figura: Controle da câmera.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 14 / 62

Formulação do controlador de rastreamento visual

Objetivo manter na imagem:

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 15 / 62

Formulação do controlador de rastreamento visual

Objetivo manter na imagem:

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 15 / 62

Formulação do controlador de rastreamento visual

Considerando o centro do alvo:

Controlador de rastreamento visual - Estratégia

Problemas do termo integral:

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 17 / 62

Controlador de rastreamento visual - Estratégia

Problemas no processamento dos comandos:

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 18 / 62

Estimador de acompanhamento visual

Figura: Utilização do PAN e TILT.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 19 / 62

Estimador de acompanhamento visual

Figura: Utilização do PAN e TILT.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 20 / 62

Estimador de acompanhamento visual

Figura: Utilização do PAN e TILT.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 21 / 62

Estimador de acompanhamento visual - Formulação

Temos que em malha fechada:

Estimador de acompanhamento visual

Figura: Posição relativa do alvo - vista lateral.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 23 / 62

Estimador de acompanhamento visual

Figura: Posição relativa do alvo - vista de topo.

Ricardo F. Machado (IME) Sistema de Acompanhamento Visual - SAVAR Set/2010 24 / 62

Estimador de acompanhamento visual - Formulação

kerrok2 = b 2 + d 2 − 2 ∗ b ∗ d cos(pi − ϕ) (pelo teorema de Carnot)