RECONOCIMIENTO DE

OBJETOS UTILIZANDO PCL Y

OPENCV

SISTEMA DE VISIN
Tiene 3 partes fundamentales:
Seales
Medios

percibidas Imgenes

de transmisin Cmaras

Mecanismos

de decodificacin del
sistema receptor y/o cerebro
Anlisis de informacin de un
ordenador.

OBJETIVO DEL
PROYECTO
Mtodo

para identificar objetos de

uso comn.

HERRAMIENTAS (SOFTWARE Y
HARDWARE)

RECONOCIMIE
NTO DE
OBJETOS

DESARROLLO
3

Nodos (programas), comunicados

entre si.
ROS
NODO
SEGMENTACIN

DIVIDIR/SEPAR
AR UNA
IMAGEN

RANSAC

NODO MAESTRO
(INSTRUCCIONES)

NODO OBJETO

ANLISIS Y
OBTENCIN DE
DATOS

SURF

FUNCIONALIDAD DE LOS
NODOS
NODO MAESTRO

NODO OBJETOS

ENTRENAMIENTO

ENCONTRAR OBJETO

BSQUEDA ESPECFICA

POR FORMAS

ENTRENAMIENTO
Mensaje:
modelo a
utilizar

NODO
SEGMENTACI
N

Guardar
Imagen del
Kinect

Filtro

Cmara de
profundidad
NODO
OBJETOS

Mensaje
Recibido :
Coordenadas
de las
esquinas

Obtencin de
esquinas del
objeto

Recorte de la
Imagen RGB

Anlisis de
los datos del
objeto

Guardar
Imagen RGB

Segmentaci
n (RANSAC)
Cilindro
Esfera
Prisma
Rectangular

BSQUEDA ESPECFICA
Seleccin de
objeto en
particular

MENSAJE

NODO
SEGMENTACI
N

Guardar
Imagen del
Kinect

Obtencin
de
esquinas
del objeto
M

Anlisis de
datos del
objeto

NODO
OBJETOS

Recorte en la
imagen RGB

Guardar
Imagen

NODO
MAESTRO:
Confirmacin
y Posicin del
Objeto.

Coincidencias: BD
Recortada/Evaluac
in

Transformar
a escala de
Grises

Segmentaci
n (RANSAC)

E
N
S
A
J
E

MENSAJE

BSQUEDA POR FORMAS

Mensaje:
modelo a
utilizar

NODO
SEGMENTACI
N

Guardar
Imagen del
Kinect

Filtro

Cmara de
profundidad
Coordenadas
del objeto.

Mensaje
NODO
MAESTRO:
Confirmacin
y Posicin del
Objeto.

Anlisis de
los datos del
objeto

Segmentaci
n
(RANSAC)
Cilindro
Esfera
Prisma
Rectangular

ALGORITMO SURF
Speeded

Up Robust Features basado

en mtodo SIFT (Scale Invariant
Feature Transformation).

Funcin:

Transformacin de la
imagen a una representacin
compuesta de
puntos de inters.

ALGORITMO SURF
Clculos

para la generacin de puntos

clave mediante la reduccin de
dimensiones y el clculo de vectores,
estudia cada pxel y se realiza una
comparacin con los pixeles vecinos.

Usa

el determinante de la matriz
Hessiana para la localizacin y la
escala de los puntos.

ALGORITMO RANSAC
Random

Sample Consensus, mtodo

iterativo para estimar parmetros de un
modelo matemtico de un conjunto de datos
observados llamados inicialmente "outliers".

Produce

un resultado razonable slo con una

cierta probabilidad (no determinstico),
incrementa con el nmero de iteraciones.

Datos

resultantes: inliers. Se ajustan al

modelo.

IMPACTO SOCIAL
Objetivo

principal: Implementacin
del proyecto en un robot de servicio.

Asistir

cualquier persona para

cubrir
necesidades
bsicas.
(Prioridad:
Discapacitados/Tercera
edad)

IMPACTO SOCIAL
Aplicacin

(objetos especficos en
casa o supermercado) en equipos de
telefona mvil Personas con
problemas de la vista.
Glasses Dispositivo de
visualizacin.

Google

Robtica

de rescate

APLICACIN EN MVILES

Object Surfing
Image
Match
er

Buscar coincidencias
mediante homografas.

CVCamera
Configuraciones de las
cmaras de los equipos
mviles.

 Transformacin.
Conserva

la naturaleza de los elementos transformados.

ALGORTIMOS DE LA APP

SURF
Los

puntos de inters son reas

distintivas de la imagen: esquinas,
manchas, intersecciones en T.

Caracterstica

detector
Repetibilidad.

ms importante de un
de
keypoints

Objetivo: Encontrar los mismos

keypoints en diferentes condiciones

 La

vecindad de cada keypoint es

representada como un vector
caracterstico.

El

descriptor tiene que ser distintivo

y a la vez robusto al ruido, a la
deteccin de errores, y a
deformaciones geomtricas y
fotomtricas.

ALGORITMOS DE LA APP
(2)

ORB (Oriented FAST and Rotated

BRIEF)
Detector

de puntos caractersticos

FAST.
Descriptor

BRIEF.

Detectores
+
Descriptores

Correspondenc
ia de
imgenes.

DONAXI@HOME

Aplicacin del Proyecto en un Robot de

Servicio

Imgenes almacenadas en la Etapa de Entrenamiento

La imagen obtenida es en realidad una nube de puntos (estructura de

datos 3D) que captura la cmara de profundidad del kinect.

Objetos segmentados de una escena en tiempo real

La segmentacin tambin es obtenida en tiempo real, el

objeto identificado se visualiza con puntos rojos. El crculo
amarillo en la escena representa el punto (0,0,0)

La imagen almacenada es procesada de acuerdo a los

diferentes parmetros que requiere el mtodo RANSAC
(Nmero mximo de iteraciones, distancia angular entre los
puntos normales y el plano normal, Distancia umbral del
modelo, limites del radio) y el modelo seleccionado

Cuando el proceso se repite un cierto nmero de veces, los

datos obtenidos

Las
coordenadas
obtenidas
estn
referenciados
con
respecto al punto de
origen del Kinect, es
decir su punto medio.

La imagen en RGB corresponde a la escena capturada por la

cmara de profundidad. Las coordenadas de las esquinas del
objeto segmentado son enviadas al Nodo Objeto para realizar

El algoritmo SURF busca coincidencias entre el objeto

segmentado y el almacenado anteriormente en la etapa
de entrenamiento.

Al finalizar el procedimiento con el algoritmo SURF, se

determina si el objeto encontrado es el que estamos
buscando . En caso de ser as, el nodo Maestro recibe las