Estructura del sensor Kinect

noviembre 3, 2012 por maleny abrego, posted in kinect

COMPONENTES INTERNOS CLAVE:

 Una cámara VGA 640×480 a color (CMOS) con un filtro de color Bayer.
 Una cámara infrarroja 640×840 (CMOS).
 Un proyector infrarrojo.
 Un pequeño motor.
 Algunos chips de control.
 4 micrófonos.

CUERPO COMPLETO DEL SENSOR:

El dispositivo es tan complicado, que la placa principal se divide en tres secciones
diferentes (en comparación con el enfoque estándar de una sola tarjeta) y requiere
un ventilador de refrigeración propio. La lista completa de los componentes se
administra en forma consistente en los siguientes:
Motor Eléctrico
3 Secciones De Placa Base
Ventilador De Refrigeración
Dos Cámaras
Ir Proyector
4 Micrófonos
Cuatro Tipos Diferentes De Tornillos
15 Fichas Incluyendo:
Wolfson Adc Estéreo Con Preamplificador De Micrófono
Fairchild N-Channel Powertrench Mosfet
Nec Usb 2.0 Hub Controlador
Unidentified Sap Paquete De Chips
Cámara Interfaz De Controlador
Marvell Soc Interfaz De Controlador De Cámara
Hynix 512mb Ddr2 Sdram
Analog Devices Cmos Carril-A-Carril De Salida Del Amplificador Operacional
Ti 8-Bit, 8-Canal De Muestreo De Un Convertidor A / D
Allegro Bajo Voltaje Y Paso A Paso Simple / Doble Controlador De Motor
St 8mbit Nv Memoria Flash
Imagen Primesense Sensor Procesador
Ti Controlador De Audio Usb
Kionix Acelerómetro
Se dice que el poder de procesamiento a bordo del Kinect y el firmware asociado
es capaz de colocar un mínimo de estrés de la CPU de Xbox 360 y el empate en
el poder de procesamiento es tan bajo como «un solo dígito” . Una estimación
probablemente sería inferior al 3-5% de la potencia del procesador de Xbox se
pierde a Kinect gracias al diseño francamente brillante y codificación de software
utilizando dentro de la caja elegante de color negro
1

Abstract
—

El Grupo Robótica y Sistemas Integrados de laUniversidad Nacional de

Córdoba está llevando adelante unproyecto financiado por el Ministerio de
Ciencia y Tecnología dela provincia de Córdoba y la SeCyT-UNC de un brazo
robóticopara LaparoscopíaPara las operaciones quirúrgicas mínimamente
invasivas, es degran ayuda disponer de un brazo robótico que sostenga
alendoscopio. Sin embargo, también es de gran importancia queeste brazo
robótico afecte lo menos posible a las operaciones quenecesite realizar el
cirujano. Por tal motivo, se propuso y se inicióel estudio de un sensor óptico
que permita ubicar espacialmente alos brazos del cirujano y, de esta manera,
planificar la trayectoriadel brazo robótico a los efectos de evitar colisiones
entre ellos.El sensor Kinect se presenta como una excelente posibilidaddado
que permite adquirir las imágenes en el espectro visible y,con la información
del espectro infrarrojo, armar un planotridimensional de los objetos. En este
caso, se desarrollaron dosaplicaciones que servirán como punto de inicio
para el proyectodel Brazo Robótico. La primera aplicación proporciona
unentorno de ensayos capaz de evaluar todos los componentes delsensor
en tiempo real. La segunda aplicación permite registrar yguardar trayectorias
del cuerpo de una o varias personaspudiendo reproducirlas luego en cualquier
momento.
Index Terms
—

Sensor óptico Kinect

–
colisiones determinación3D
I.

I
NTRODUCCIÓN
ESDE el año 2007, se está desarrollando en el GRSI
–
Grupo Robótica y Sistemas Integrados de la Universidad
Nacional de Córdoba, el proyecto “Brazo Robótico paraLaparoscopía” c
uyo objetivo es el de asistir al cirujano en lasoperaciones laparoscópicas. Este
proyecto nace a raíz de un pedido del Servicio de Cirugía Pediátrica - Hospital
de Niñosde la Santísima Trinidad de Córdoba.Uno de los sub-proyectos consiste
en incorporar al sistemaRobótico un sensor de imágenes que permita utilizar
lasmismas para planificar los desplazamientos del brazo robóticode manera
de evitar colisiones entre el brazo robot y los brazosdel cirujano. A tal efecto, se
adquirió un sensor Kinect.En el presente trabajo, se detallan las actividades
realizadascon el sensor Kinect orientadas a determinar las capacidadestécnicas y
de funcionamiento del sensor de manera de poder diseñar luego aplicaciones para
detectar movimientos osuperficies tridimensionales con el objetivo de asegurar
lacorrecta planificación de las trayectorias del Brazo Robóticode modo de no
colisionar con los brazos del cirujano.Se desarrollaron dos aplicaciones necesarias
para el proyecto general del brazo de laparoscopía. La primeraaplicación es un
entorno de prueba capaz de confirmar el buenfuncionamiento del sensor y todos sus
componentes internos.La segunda aplicación, se entiende como una herramientacapaz de
captar y guardar todas las trayectorias que realice elcuerpo de una o varias
personas, pudiendo reproducirlas luegoen cualquier momento.Además de este proyecto
general, también se prevé lautilización del sensor Kinect para dirigir un robot móvil
quetenga visión tridimensionalII.

EL SENSOR
K
INECT Y SU COMPOSICIÓN
El sensor de Kinect es un equipo alargado conectado a
un pivote, diseñado para estar en una posición horizontal. Eldispositivo tieneuna
cámara RGB,un sensor de profundidad yun micrófono multi-array bidireccionalque, en
conjunto, capturan imágenes y movimientos de loscuerpos en 3D, además de ofrecer
reconocimiento facial yaceptar comandos de voz.
Fig. 1 Dimensiones del sensor Kinect
El sensor de Kinect adquiere imágenes de video con unsensor CMOS de colores a
una frecuencia de 30 Hz, en coloresRGB de 32-bits y resolución VGA de 640×480
pixeles. Elcanal de video monocromo CMOS es de 16-bit, resoluciónQVGA de
320×240 pixeles con hasta 65,536 niveles desensibilidad (Fig. 2.).Para calcular
distancias entre un cuerpo y el sensor, el sensor emite un haz láser infrarrojo que
proyecta un patrón de puntossobre los cuerpos cuya distancia se determina. Una
cámarainfrarroja capta este patrón y por hardware calcula
la profundidad de cada punto. El rango de profundidad delsensor de Kinect está
entre 0.4 y 4 mts (Fig. 3.) Existen 2
Estudio del funcionamiento del sensor Kinect yaplicaciones para bioingeniería
Ladislao Mathe, Darío Samban, Gabriel Gómez (dariosamban@ gmail.com)
D
2modos (Default y Near) para determinar distancias. Se haelegido el modo
“
Default
”
ya que permite medir hasta 4metros de distancia con respecto al sensor El ángulo de
vista (FOV) es de 58° horizontales y 45°verticales. Por otro lado el pivote permite
orientar enelevación, hacia arriba o hacia abajo incrementando el FOVhasta en
27°.El array del micrófono tiene cuatro cápsulas, y opera concada canal
procesando en 16-bit de audio con un ratio defrecuencia de 16 kHz.La cámara de
Kinect funciona con hardware y software propios para el reconocimiento de imagen.
Fig. 2.
–
Composición interna del sensor Kinect.
La cámara tiene dos funciones principales:

generar un mapa en 3D de la imagen que tiene en sucampo visual y

reconocer humanos en movimiento entre los objetos dela imagen a partir de diferentes
segmentos de lasarticulaciones del cuerpo y un esquema en escala degrises.
Fig. 3
–
Rango de distancias admitidas por el sensor Kinect. Existen 2modos
(Default y Near).
En un amplio campo visual con objetos, la cámara Kinecttrata de reconocer a qué
distancia están los distintos objetos,distinguiendo movimientos en tiempo real.El sensor
Kinect puede llegar a distinguir la profundidad decada objeto con una resolución
de 1 centímetro y lasestimaciones de la altura y anchura con una exactitud
deaproximadamente 3 milímetros.El hardware de Kinect está compuesto por la cámara
y el proyector de luz infrarroja, añadido al firmware y a un procesador que utiliza
algoritmos para procesar las imágenestridimensionales.
Fig. 4 Funcionamiento del sensor monocromático
El procesador es capaz de interpretar los movimientos quese registran de los
objetos capturados por la
cámara deKinect
en
“
eventos con significado
”
que aparecen en pantalla.Los movimientos buscados por el algoritmo
soncontextualizados. Por ejemplo, si se está aplicando el sensor Kinect a un juego
como
Kinect Adventures
, donde una balsadesciende por la corriente del río, dado que este juego
requieremovimientos tales como
agacharse
o
tumbarse
, el algoritmo buscará la identificación de estos movimientos en tiempo real para
producir eventos en pantalla. Si el usuario navega por elmenú con interface gráfica de
Netflix
entonces se buscaránmovimientos con las manos horizontales y verticales que
seránregistrados en los fenómenos de pantalla.(GetLab) III.

D
ETECCIÓN DE ARTICULACIONES MEDIANTE EL SENSOR KINECT
Normalmente, el flujo de datos
“crudos”
que suministra elsensor Kinect proporciona la información de 20 puntos de
una persona cuando está dentro del rango visual admisible (Fig. 5).De esta
manera, es posible obtener la información posicionalen tiempo real y en los 3 ejes
cartesianos de estos 20 puntos por persona. Cabe destacar que la información
recolectada estáen un formato imagen de 640x480 pixeles tomada a unavelocidad
de 30 FPS
(Frames per Second o Cuadros por segundo)
.Con el fin de obtener todas las trayectorias que realiza
una persona, es necesario registrar y archivar los 20 puntos queentrega el
dispositivo. Cabe destacar que esta es la
3funcionalidad más importante que tiene el sensor para laaplicación buscada, dado que
otorga la posibilidad de tener la posición tridimensional en cada instante de
tiempo. Si se tomauna sucesión dinámica de estas entregas, se podrá
obtener todas las trayectorias de todos las partes del cuerpo de una persona.IV.

ELECCIÓN DEL KIT DE DESARROLLO DE SOFTWARE

-
SDK PARA PROGRAMAR EL KINECT
Antes de iniciar el desarrollo de la primera aplicación serealizó un estudio y
análisis de distintos kits de desarrollo conel objetivo de decidir con que SDK (
software development kit
) programar las aplicaciones. Esta instancia es crucial ya queuna vez comenzado
el desarrollo de las aplicaciones, hubiesesido un gran problema tener que dar marcha
atrás y cambiar laSDK si hubiese surgido algún problema de compatibilidad conlos
equipos o bien con las aplicaciones a realizar
Fig. 5
–
Conjunto de 20 puntos detectado por el sensor Kinect.
Entre las opciones, se encontraron dos posibles librerías:librerías libres o librerías
oficiales (Fig. 6). Dentro de
las primeras, la más conocida y la más utilizada es la llamada
OpenNi
que guarda compatibilidad con las librerías de
OpenKinect
. Para el desarrollo de la aplicación se seleccionóla librería
OpenNi
debido a su mayor difusión en Internet y por lo tanto, existir más información con distintas
aplicaciones.En cuanto a la oficial, Microsoft lanzó la SDK 1.0 paraKinect la cual
cuenta con una ordenada documentación yamplia información en la web.A pesar de
que las librerías OpenNi presentaban másventajas, al haber mucha más información por
parte de la SDK oficial, se decidió utilizar la librería oficial para desarrollar
las primeras aplicaciones.
Fig. 6.
–
Comparación entre Microsoft SDK for Kinect 1.0 y el OpenNi
V.

DESARROLLO

DE

LA

APLICACIÓN

PARA

ENSAYOS
DEL SENSOR
“
TEST KINECT
”
Primero se establecieron los requerimientos funcionales
del proyecto y para esto fue necesario diferenciar todos losdispositivos que existen
dentro del sensor Kinect.
KINECT 2.0
julio 13, 2013 por maleny abrego, posted in kinect

Llega Xbox One y con él nuevo Kinect 2.0 totalmente rediseñado, donde
podremos encontrar diferencias en hardware y potencia.

Como podrán observar Kinect para Xbox One en su versión 2.0 solo integra una
sola cámara, lo cual deja las interrogantes de, ¿por qué solo uno y no 3 como en
su versión anterior?, ¿será que esta versión ha perdido funcionalidades y que
mejoras integra?
La nueva versión de Kinect integra como ya habíamos visto una sola cámara, pero
no es cualquier tipo de cámara:

Características:
Cuenta con una cámara RGB HD 1080P a 30 cuadros por segundo, que se puede
utilizar con Skype, al igual que un aumento en el campo de visión. Aparte de la
cámara, el rediseño trae mejoras en comandos de voz que ahora nos permitirán al
usar la frase “Xbox ON” para encender el Xbox One, cambiar instantáneamente
entre un jugar a otro juego, televisión en directo, ver películas, escuchar música,
navegar por la web, entre otras funcionalidades.

¿Qué más integra esta nueva cámara, es decir, qué novedades existen para
los desarrolladores y gamers?
Pues bien, si te ha gustado las características de la cámara y los nuevos
comandos y funciones espera a ver todo que podrás hacer como desarrollador:

Sensor de profundidad: Es tres veces más sensible y puede detectar trozos tan
pequeños como las arrugas de la camida o cambios en la respiración. La
ampliación de 60° el campo de juego permite integrar hasta 6 Jugadores
simultáneamente sin la afectación de ninguno en la detección del movimiento.
¿Y si me pongo a jugar durante la noche o a ver películas con la luz apagada,
será que el sensor puede detectar mis movimientos sin perder la
sensibilidad o profundidad?
Con Kinect 2.0 podrás jugar tus videojuegos favoritos, controlar el televisor o
escuchar música ya sea con la luz encendida o apagada. Lo anterior es un gran
logro para quienes nos gusta ver películas de terror o jugar juegos de
terror/suspenso durante la noche, eso sí, te recomendamos apartar todos los
objetos con los que te puedes pegar o causar un accidente a la hora de estar
jugando ya que aunque Kinect no se verá afectado, el ojo humano aún no cuenta
con visión nocturna.
Mejoras en el Esqueleto:
En esta nueva versión del software que incluye Kinect 2.0 es posible seguir y
detectar los dedos de las manos, cosa que en su versión anterior solo marcaba
con un círculo las extremidades como las manos. Esto permitirá que la detección
de movimientos, en juegos de deportes, destreza y/o baile, sea mucho más
exacta.

Esqueleto de Orientación:
¿Te ha pasado que durante algún baile o ejercicio necesitas girar la cabeza o las
piernas y resulta que no te detecto bien el movimiento lo cual provoca que te de
una calificación más baja al termina el ejercicio?
Pues eso ya no te volverá a ocurrir, como vemos en la imagen, con este esqueleto
podrá ser registrado el movimiento de cualquier extremidad de tu cuerpo de una
manera mucho más exacta y en tiempo real.

Esqueleto de detecta la fuerza y los músculos.

Con este nuevo esqueleto, Kinect sabrá sobre que pierna o extremidad estas
ejerciendo mayor fuerza por lo que hacer trampa en los juegos de ejercicio ya no
será posible, este esqueleto te detecta con un color verde áreas donde no ejerces
ningún tipo de fuerza y de color rojo el área donde más estés haciendo fuerza.

Incluso durante los juegos de pelea, este esqueleto detecta los movimientos de tus
manos como si fueran golpes, al girar el brazo a tras se mostrará el golpe con un
circulo blanco más grande.

Y no hay de qué preocuparse para los juegos donde sea necesario un combo de
movimientos para lograr algún ataque especial, ya que es tan sensible este nuevo
Kinect que los detecta sin ningún problema.
¿Creen que Kinect pueda detectar no solo los movimientos sino que también sea
capaz de monitorizar tu frecuencia cardiaca con tan solo mirarlo?
La respuesta es un sí, esta es una funcionalidad que integra este nuevo sensor y
aun que no ha sido probada frente a un monitos cardiaco real es una buena
iniciativa por parte de los desarrolladores de Kinect lo cual permitirá a mi parecer
extenderse no solo para el área de video juegos sino que también para el área
médica.

¿Sorprendido?
Kinect no solo ahora es capaz de saber tu ritmo cardiaco sino que también mide tu
estado de ánimo con las expresiones faciales que tengamos al momento de
utilizarlo.
Esto no solo quiere decir que puede detectar si estamos felices, tristes, enojados,
etc., sino que también si tenemos los ojos o la boca abierta o cerrada entre otros.
Son 6 nuevas formas que tiene Kinect de ver el mundo con tan solo una cámara,
pero no es todo aun…

¿Recuerdas que anteriormente no podía alguien meterse al área de juego porque

te quitaba el control del mismo, cosa que era molesto para quien estaba jugando?
¡Pues señores no más!,
Una de las mejoras que nos salgan canas de todos colores porque teníamos un
puntaje alto y gracias a quien se atravesaba perdíamos y nos hacían pasar
corajes.

¿Cómo?
Simple Kinect no evitará que sigan pasando por enfrente de ti o atrás de ti
mientras juegas pero si hará que al momento de detectar a la otra persona
automáticamente le asignará el jugador 2, lo que permitirá dejarnos jugar
tranquilamente.
Uno de los avances con esa mejora es sin duda que no importa si estas al dado
izquierdo o derecho del jugador uno, Kinect es capaz de seguirte a donde vayas
sin cruzarse los controles es decir que puedes moverte, brincar, intercambiar los
controles (físicos del Xbox One) sin afectar tu jugador.

No solo eso, ahora es capaz de detectar hasta 6 personas simultáneamente y

cada una es independiente de la otra, es decir que si están bailando o haciendo
una actividad no se cruzarán los movimientos entre los jugadores, lo cual hace
mucho más divertido a la hora de jugar en modo Multiplayer.
Aunque Kinect 2.0 integra solo una cámara hemos vistos como añade muchas
funciones y ventajas a la hora de utilizarlo, lo que permitirá revolucionar no solo los
video juegos sino también nos permitirá, a quienes desarrollamos, expandir
nuestros horizontes y desarrollar mejores sistemas que el día de mañana puedan
ayudar a llevar al mundo al siglo 22.