Manipulacin inalmbrica de un brazo robtico por medio del kinect. Garzn et al.

MANIPULACIN INALMBRICA DE UN BRAZO ROBTICO POR MEDIO

DEL KINECT
HANDLING WIRELESS OF A ROBOTIC ARM THROUGH THE KINECT

Diego Andrs Garzn Villa1, Jos Bestier Padilla B2, Jess David Cardona Cuesta1.
Grupo GIDET de la Universidad del Quindo (e-mail: diegoandresdag@hotmail.com,
jesusdcardonac@hotmail.com).
2.
Programa de Tecnologa en Instrumentacin Electrnica de la Universidad del Quindo y
Lder del GIDET. (e-mail: jbpadilla@uniquindio.edu.co).
1.

Recibido: Octubre 2 de 2013

Aceptado: Octubre 7 de 2013
*Correspondencia del autor. Programa de Tecnologa Electrnica de la Universidad del Quindo,
grupo GIDET de la Universidad del Quindo
E-mail: jbpadilla@uniquindio.edu.co

RESUMEN
La implementacin de robots ha permitido desde aos atrs mejorar la calidad de vida del ser humano mediante
su reemplazo en actividades que requieren ser repetitivas o que presentan altos grados de dificultad. El presente
trabajo consiste en direccionar un brazo robtico cuyas funciones se generarn y transmitirn desde un ordenador
va inalmbrica, el robot empleado se encuentra dentro de la clasificacin de robots mviles manipuladores. Para
generar el direccionamiento del brazo se utiliza el Kinect como dispositivo de reconocimiento de movimientos;
una vez realizado el procesamiento adecuado de la informacin captada, se transmiten los datos de forma inalmbrica utilizando la tecnologa Zigbee hacia el brazo robtico, compuesto por un sistema de recepcin y un circuito
microcontrolado que permite manipularlo.
Palabras claves: Kinect, brazo robtico, reconocimiento de movimientos, transmisin inalmbrica.
ABSTRACT
The implementation of robots from years ago has allowed improving the quality of human life by his replacement
in activities that require repetitive or that have high degrees of difficulty. This work involves directing a robotic
arm whose functions are generated and transmitted wirelessly from a computer, the robot employee is within the
classification of mobile robot manipulators. To generate the address of the arm is used as the Kinect motion recognition device, once they have made the proper processing of the captured information is transmitted wirelessly
using the ZigBee technology to the robotic arm, comprising a system reception and microcontroller circuit which
allows handling.
Keywords: Kinect, robotic arm, motion recognition, wireless transmission.

Rev. Invest. Univ. Quindo. (Col.), 24(2): 187-192; 2013

187

Revista de Investigaciones - Universidad del Quindo

INTRODUCCIN
La robtica se dedica al diseo, construccin, operacin, disposicin estructural, manufactura y aplicacin
de los robots, tiene mltiples aplicaciones en la realizacin de diversas actividades en las que pueda reemplazarse la mano de obra humana, en este sentido, el
aporte tecnolgico est representado por la complejidad
en la utilizacin de materiales y herramientas para llevar a cabo las diferentes actividades necesarias en el
contexto industrial y en muchos otros que requieren la
intervencin de seres humanos en la ejecucin de tareas
complejas. Un brazo robtico que se encuentra dentro
de la clasificacin de robots mviles manipuladores, es
un tipo de brazo mecnico normalmente programable
con funciones parecidas a las de un brazo humano; este
puede ser la suma total del mecanismo o puede ser parte
de un robot ms complejo. Las partes de estos manipuladores o brazos son interconectadas a travs de articulaciones que permiten, tanto un movimiento rotacional
(tales como los de un robot articulado), como un movimiento de translacin o desplazamiento lineal. El brazo
robtico, se puede disear para realizar cualquier tarea
que se desee: soldar, sujetar, girar, etc., dependiendo de
la aplicacin. En algunas circunstancias, lo que se busca es la simulacin de un brazo robtico, como en los
robots usados en tareas de desactivacin de explosivos
(1).
Existen dos formas principales como un brazo robtico
puede ser controlado, la primera ser programado para
tener un movimiento autnomo, la segunda poder ser
manipulado de alguna forma por un sujeto; en esta segunda opcin, hay diversas formas de realizar la manipulacin en tiempo real del brazo robtico, la cual se
puede lograr con mandos de palanca, guantes especialmente diseados o la captacin de las diferentes posiciones que puede adoptar el brazo del sujeto; en esta
ltima las aplicaciones requieren de un equipamiento
especifico que se le conecta generalmente a un computador para poder detectar los movimientos del usuario y
siendo posible reemplazar todos estos elementos como
los guantes, por un sensor el cual no es invasivo con un
hardware adicional pero genrico como el Kinect (2).
Es claro que existe una gran cantidad de aplicaciones simuladoras donde los usuarios se benefician significativamente, cabe indicar que cada aplicacin va enfocada
a un tipo de persona, sin embargo, la finalidad resulta la
misma. Por otro lado, para el proceso de la extraccin de
la informacin referente a la posicin en las tres dimen-

188

siones de las extremidades del cuerpo, se debe realizar

una representacin precisa, objetiva y lo ms completa
posible para posteriormente realizar un anlisis detallado de la informacin obtenida. Los mtodos que se
utilizan normalmente para obtener coordenadas aproximadas de la postura del cuerpo de forma automtica son
caras e invasivas y en algunos casos requieren de voluminosas instalaciones (3). El problema de obtener una
informacin precisa y fiable de la postura corporal es
debido a la morfologa mvil, no rgida y articulada de
la que est compuesto el cuerpo humano. De esta forma
es difcil encontrar una herramienta de medicin que se
adapte a las diferentes y mltiples configuraciones que
puede adoptar la postura corporal. La biometra digital
se define por la Sociedad Americana de fotogrametra
como: la tecnologa para obtener informacin fiable de
los objetos fsicos o del entorno, a travs del registro de
las imgenes, se realiza la medicin o interpretacin,
los sistemas basados en esta tecnologa son capaces de
estimar alteraciones morfolgicas o funcionales, la solucin por adoptar, es la utilizacin de una instalacin
con mltiples cmaras, aplicando el concepto de visin
estreo sobre una previa configuracin y calibracin de
las cmaras. Este sistema es costoso, voluminoso y no
portable, adems, suele requerir de ciertas condiciones
de iluminacin muy restringidas, aunque tienen la ventaja de ser poco invasivos, ya que suelen utilizar pequeos marcadores ligeros reflectantes; la alternativa a
este sistema comnmente utilizada es el uso de acelermetros, esta solucin resulta ser costosa e invasiva, ya
que stos suelen ser de grandes dimensiones e incluso
no pueden colocarse en cualquier parte del cuerpo ni
obtener mediciones espaciales en posiciones estticas,
adems, suelen dar resultados poco precisos debido a la
complejidad de las articulaciones multiaxiales (4).
En este trabajo se busca disear e implementar un sistema con software y hardware, que permita dirigir los
movimientos de un brazo robtico haciendo uso del Kinect, transmitiendo la informacin de forma inalmbrica como se ilustra en la figura 1.

Figura 1. Propuesta del sistema implementado

Rev. Invest. Univ. Quindo.(Col.), 24(2): 187-192; 2013

Manipulacin inalmbrica de un brazo robtico por medio del kinect. Garzn et al.

MATERIALES Y METODOS
A. Definicin de objetivos
Mediante una herramienta de hardware y software,
captar en tiempo real las imgenes que contenga simultneamente posiciones espaciales en Y, X y Z, en
puntos previamente seleccionados del cuerpo humano,
interpretarlas y transmitir la informacin que se dirigir
hacia el brazo robtico. Para cumplir este objetivo se
plantearon algunos objetivos especficos con el fin de
llevar a cabo este proceso, estos son:
Establecer una interfaz entre el sensor y el ordenador utilizando la plataforma de programacin Visual Studio 2010, que captara la informacin suministrada por el kinect.
Desarrollar un algoritmo que procese la informacin suministrada por el kinect y enviar la informacin procesada al mdulo de recepcin inalmbrica
Xbee.
Implementar una tarjeta basada en un microcontrolador, que interprete la informacin captada por el
mdulo de recepcin inalmbrica (Xbee) y accione
los respectivos servomotores del brazo robtico.
Establecer una interfaz grfica desde el brazo robtico hacia operador que permita visualizar la manipulacin del brazo.
B. Obtencin de informacin
Para la obtencin de las imgenes del usuario que manipule el brazo se utiliza el Kinect, este ofrece una visin
de las tres dimensiones a partir de la cmara, la cual genera una imagen tridimensional de lo que tiene delante
y adems permite reconocer partes del cuerpo humano;
para ello utiliza un snar de luz infrarroja, el proyector
lser infrarrojo proyecta sobre la escena un patrn de
50000 puntos invisibles al ojo humano, luego de rebotar
en los objetos de la escena el patrn de puntos es captado por la cmara infrarroja que se encuentra a 7,5cm de
separacin del proyector, entonces el circuito integrado,
analiza la disparidad provocada por los objetos de la
escena entre el patrn de puntos proyectados y el patrn
de puntos captados, cuando la cmara recibe la luz infrarroja generada por el can de infrarrojos se combina
con el sensor monocromtico CMOS que genera una
malla de puntos mediante los cuales se crea una imagen
del entorno que la cmara enfoca as como la profundidad de los objetos, es de la que se parte para un procesado ms completo. Acto seguido el chip de procesado de
imagen (PrimeSense PS1080) descompone la imagen
en los parmetros necesarios para su tratamiento.

Rev. Invest. Univ. Quindo. (Col.), 24(2): 187-192; 2013

Con respecto a la implementacin del sistema que gestiona la comunicacin entre el ordenador y el Kinect,
se hace uso de las libreras de libre distribucin SDK
(Software Development Kit) de Windows para Kinect,
dentro del entorno grfico de programacin Visual Studio 2010 basado en lenguaje C#. Basados en las tcnicas de fotogrametra digital, con las cuales se realizan
medidas reales sobre la imagen enfocada en un ngulo
libre, se obtienen medidas tridimensionales precisas sin
tener que colocar la cmara de una forma especfica, tan
solo enfocando el objetivo (usuario). sta libre localizacin de la posicin de la cmara nos permite una gran
portabilidad del sistema, permitiendo su utilizacin en
escenarios de diferentes dimensiones. Cabe indicar que
lo primero que se hace a la hora activar el sistema es
una calibracin, con el fin de obtener los parmetros
intrnsecos de la cmara y los diferentes coeficientes
de distorsin de la misma, evitando que al momento de
capturar se deba realizar otro tipo de calibracin. Una
de las partes ms importantes se refiere al proceso de
automatizacin de captacin de los puntos de inters
del usuario, donde intervienen tcnicas de visin por
computador (5). La deteccin automtica es una de las
caractersticas principales del sistema, permitiendo el
anlisis de los datos y respuesta a estos de manera instantnea. Ya con una informacin precisa y confiable en
las tres dimensiones de cada uno de los diferentes puntos de inters que conforman el cuerpo humano (figura
2), se procede a realizar el algoritmo correspondiente
con respecto a las acciones que ejecuta el usuario.

Figura 2. Puntos de inters del usuario.

C. Algoritmo y transmisin (ordenador, mdulo inalmbrico)

Al contar con la informacin confiable y precisa de los
puntos de inters con los cuales se desea trabajar en el
usuario, como: las palmas de las manos, las muecas,
codos, hombros, el punto central de la cadera y la ca-

189

Revista de Investigaciones - Universidad del Quindo

[2]

beza; posiciones que representan la cinemtica directa

del brazo robtico, se podr realizar el procesamiento
adecuado para transmitir la informacin.

[3]

La cinemtica inversa, consiste en encontrar los valores

que deben adoptar las coordenadas articulares del robot,
para que su extremo se posicione y oriente segn una
determinada localizacin espacial, igualmente permite
calcular el ngulo que debe tomar cada articulacin para
que el efector final llegue al punto determinado, dado en
coordenadas [Px, Px, Pz] y orientacin en ngulos de
Euler (ZYZ), [ ]. Teniendo en cuenta que el brazo
robtico utilizado cuenta con cinco grados de libertad,
ms la pinza, es necesario para su modelado matemtico realizar desacople cinemtico, es decir, los primeros tres grados de libertad (partiendo desde la base) son
utilizados para el posicionamiento, los dos restantes se
utilizan para la orientacin del efecto final (Figura 3).

Figura 4. Esquemas de relaciones Geomtricas de

la posicin

Teniendo en cuenta que las articulaciones cuatro y cinco son las que aportan la orientacin del efector final
(4, 5), y conociendo los valores de los ngulos de
Euler en su configuracin (ZYZ) [ ], se tiene que:

[4]
[5]

Figura 3. Articulaciones que se tienen en cuenta en la cinemtica inversa.

Finalmente, con el sexto grado de libertad se logra abrir

y cerrar la pinza, en consecuencia no se tiene en cuenta
para los clculos de la cinemtica inversa, ya que no
aporta cambios en la posicin ni en la orientacin del
efector final.
Para obtener el modelo cinemtico inverso se recurri
al mtodo geomtrico. Las ecuaciones que conforman
el modelo geomtrico inverso para los tres grados de
posicionamiento (1, 2, 3), se obtienen de las relaciones geomtricas existentes en la figura 4, las cuales
se detallan en las ecuaciones 1, 2 y 3.

[1]

[2]
190

[3]

El ngulo de la articulacin cuatro tiene como funcin

rotar la mueca sobre su mismo eje, motivo por el cual
el valor de (5) se halla conociendo nicamente el ngulo de los ngulos de Euler, como se escribe en la
ecuacin 5 (6). Ya procesados los datos de las extremidades del usuario entregados por el sensor Kinect, se
procede a enviar la informacin necesaria hacia el brazo
robtico por va inalmbrica mediante los mdulos de
comunicacin Xbee Serie 2, con el fin de transmitir la
informacin.
D. Implementacin del mdulo SSC-32 que interpreta
la informacin captada por el mdulo Xbee y acciona
los servomotores del brazo robtico.
La recepcin en el brazo robtico de la informacin
previamente procesada se consigue gracias al mdulo
Xbee serie 2, y acoplndolo al max232 se adecuan los
niveles de tensin entre el mdulo de recepcin y el
mdulo de control SSC-32, el cual tiene un conector
db9 que utiliza RC232C, un estndar que designa una
norma para el intercambio de una serie de datos binarios entre un equipo terminal de datos y un equipo de
comunicacin de datos.
Un ejemplo de la lnea de cdigo para el movimiento
del servomotor es: #5 P1600 S750 <cr>, El ejemplo
mover el servo del canal 5 a la posicin 1600 (corresponde a la posicin 1600 del rango entre 500 y 2500).
Se mover desde su posicin actual a una velocidad de
750 uS por segundo hasta que alcance el destino del coRev. Invest. Univ. Quindo.(Col.), 24(2): 187-192; 2013

Manipulacin inalmbrica de un brazo robtico por medio del kinect. Garzn et al.

mando. Para comprender mejor el argumento de velocidad, tenga en cuenta que un desplazamiento de 1000 uS
equivale a un giro de 90 aproximadamente. Un valor
de velocidad de 100 uS por segundo significa que el
servo tardar 10 segundos en girar 90. As mismo, un
valor de velocidad de 2000 uS por segundo equivale a
500 mS (medio segundo) para girar 90 (7).
E. Interfaz grfica desde el brazo robtico hacia operador
La interfaz grfica que sirve al usuario de operacin del
brazo robtico, tambin incorporara un grfico de supervisin de los movimientos del robot en tiempo real
gracias a la cmara IP f-m166 de easyn, la cual tiene
una conexin inalmbrica a una red Wi-Fi compatible
con los estndares IEEE 802.11b/g (8), las imgenes
en video que sern transmitidas desde la cmara a una
pgina web, se vern en la interfaz en el ordenador diseada para este proyecto (figura 6).

Figura 7. Obtencin de la informacin por medio del kinect.

Despus de obtener los datos de las ecuaciones, correspondientes a los datos iniciales entregados por el sensor Kinect, se procede a enviar los datos hacia el brazo robtico por va inalmbrica mediante los mdulos
de comunicacin XBEE serie 2 acoplados al Max 232
(Figura 8) permitiendo una correcta transmisin de la
informacin. Finalmente el microcontrolador recibe la
informacin y de esta manera direcciona rdenes a los
diferentes servomotores a partir de los cuales son posibles los movimientos.

Figura 6. Interfaz Diseada.

RESULTADOS
Por medio de la definicin de los objetivos y despus
de la construccin del brazo robtico se procedi a implementar la fase de programacin por medio de la cual
fue posible interpretar la informacin obtenida por el
kinect (Figura 7) y a partir de ella usar procedimientos matemticos que ms adelante arrojaran resultados
cuantitativos por medio de los cuales fue posible dar rdenes de movimiento al brazo robtico de acuerdo a los
grados obtenidos mediante los procesos matemticos.
Segn lo anterior, para la obtencin de los datos matemticos iniciamos con los movimientos de un brazo
humano captados por el Kinect por medio de los cuales
fue posible obtener las respectivas coordenadas de los
movimientos con la utilizacin de las libreras de libre
distribucin SDK de Windows a partir de las cuales se
estimaron los algoritmos para los respectivos puntos de
inters del brazo robtico.
Rev. Invest. Univ. Quindo. (Col.), 24(2): 187-192; 2013

Figura 8. Mdulo de alimentacin y transmisin para el Xbee

La implementacin de la interfaz grfica que supervisa los movimientos del robot mediante la utilizacin de
una cmara de un telfono celular con sistema Android,
por medio de una conexin a internet en la aplicacin
3DX ANDROIDDESKTOP fue exitosa ya que se logr
la visualizacin precisa de los movimientos del brazo
en tiempo real.
DISCUSIN
Segn con Alvarado (2011) quien propuso el diseo y
construccin de una mano robtica inalmbrica mediante la utilizacin de servomotores, cuya entrada y salida
de seales fue controlada mediante microcontroladores
y a su vez, el envo y recepcin de los datos fue establecido mediante dispositivos inalmbricos XBEE lo cual

191

Revista de Investigaciones - Universidad del Quindo

segn l, le permiti ejercer un control de forma eficaz,

se ahorr energa y se maximiz la produccin (9); por
otra parte Luengas & et al (2010), utilizaron mdulos
XBEE para el desarrollo de la transmisin inalmbrica satisfaciendo la necesidad de transmitir informacin
con baja interferencia, gran alcance y fcil adaptacin al
dispositivo; a su vez los mdulos se caracterizan por ser
de bajo costo, bajo consumo de potencia, uso de bandas
de radio libres, redes flexibles y extensibles (10). Ventajas con las cuales estamos de acuerdo ya que se pudo
evidenciar los beneficios que estos mdulos brindan al
trabajar con ellos, de esta manera confirmamos que optar por la utilizacin de este tipo de mdulos para la
transmisin de informacin a nuestro brazo robtico fue
la decisin adecuada.
De acuerdo con Guillen (2006) quien propone el control local y remoto de un brazo robtico mediante un
servidor que publica una pgina web por medio de la
cual se hace posible el control y las rdenes de movimiento desde cualquier computadora (11). Este tipo de
procedimiento puede compararse con la utilizacin de
la aplicacin que se le ha dado al sistema Android como
mtodo para ejecutar la interfaz grfica y la respectiva
visualizacin, sin embargo, ste ltimo presenta la ventaja de visualizacin desde un telfono celular, de tal
forma que optimizando los materiales con aquellos que
permitan un transporte de la informacin sin tener una
distancia tan restringida, es posible realizar un monitoreo desde cualquier punto donde se encuentre el usuario.
CONCLUSIONES
Se logr identificar y manipular el brazo robtico a partir del Kinect, igualmente se obtuvo una buena respuesta con respecto al tiempo y posicionamiento del brazo
robtico con relacin al brazo del usuario; se consigui
con el Kinect como sensor de posicionamiento los datos
esperados los cuales deban de ser precisos y confiables; pese a que la tasa de transmisin de datos enviados
desde el ordenador hacia el brazo robtico se considera
baja (5 datos de posicionamiento por segundo), la simulacin del brazo robtico con respecto al del usuario
y en relacin a la velocidad de desplazamiento ofrece
respuestas aceptables.

192

AGRADECIMIENTOS
Agradecemos a los integrantes del Grupo de Investigacin en Desarrollos Tecnolgicos GIDET, adscrito
al programa de Tecnologa en Instrumentacin Electrnica de la Universidad del Quindo y aquellos que
colaboraron independientemente al desarrollo y apoyo
permanente en la realizacin de este proyecto de final
de carrera.

BIBLIOGRAFA
1. Del Solar, J., and Salazar, R., Introduccin a la robtica, Universidad de Chile: Departamento de ingeniera
en electrnica, 2005.
2. Arenas Velzquez, J., Guerro Medina, J., Morales Carrera, D., and Valquez Sandoval, L., Brazo robtico, Universidad del Valle de Mxico: Campus Tlalpan, 2007.
3. Garzn, D., Padilla, J., and Arango, R., Sistema de exploracin musical basado en el Kinect, Universidad del
Quindo: Programa de tecnologa en electrnica, 2012.
4. Reyes, M., Ramrez, M., Revilla, J., and Radeval, S.,
ADIBAS: Sistema Multisensor de Adquisicin Automtica de Datos Corporales Objetivos, Robustos y
Fiables para el Anlisis de la Postura y el Movimiento, Universidad del Barcelona: Depart. De Matemtica
Aplicada y Anlisis, 2012.
5. Kean, S., Hall, J., and Perry, P., Meet the Kinect,
ISBN-13 (electronic): 978-1-4302-3889-8, 2011.
6. Esparza, C., Carvajal, S., and Garca, V., Evaluacin de
un sistema de control para un brazo robtico de cinco
grados de libertad utilizando una red can-bus, Unidades Tecnolgicas de Santander, vol.1, num.5, Diciembre
2010 [reset-uts, ISSN 1909-258x].
7. Frye, J., Manual de SSC-32 Ver 2.01XE,2009.
8. http://easyn.gmc.globalmarket.com/products/details/
easyn-f-m166-indoor-night-vision-two-way-audio-wifiip-camera-1192195.html
9. Alvarado. Mano robtica inalmbrica. Universidad Politcnica Salesiana Sede Guayaquil. Facultad de ingeniera. Tesis de grado. 2001.
10. Luengas, L., Sanchez, G., Enciso, S., and Torres, D.,
2010. Dispositivo sensrico para el manejo inalmbrico
del brazo robtico Mitsubishi RV-M1. En: http://www.
iiis.org/CDs2011/CD2011IMC/CICIC_2011/PapersPdf/
CB832SN.pdf
11. Guillen. Monitoreo y control del brazo robtico Staubli
RX -90. Instituto tecnolgico de Costa Rica, Escuela de
Tecnologa Electrnica. 2006.

Rev. Invest. Univ. Quindo.(Col.), 24(2): 187-192; 2013