Universidad Manuela Beltrn.
Fernndez Cesar, Estado del arte, dispositivos para el reconocimiento del lenguaje de seas
ESTADO DEL ARTE DE DISPOSITIVOS DESTINADOS PARA EL RECONOCIMIENTO
DE LENGUAJE DE SEAS
Fernandez Surez, Cesar Augusto
cesar. fernandez@academia.umb.edu.co
Universidad Manuela Beltrn
Astract- In this paper the literature review of some
devices that allow the recognition of sign language
is done. These devices make use of sensors such as
Kinect, Leap Motion, and gloves containing
accelerometers, which provide data or images,
which allow to created a data base of signs or hand
gestures, for later use in recognition of dactilolgic
language .
ResumenEn este documento se realiza la revisin
de literatura de algunos dispositivos, que permiten
el reconocimiento del lenguaje de seas. Dichos
dispositivos hacen uso de sensores, como Kinect,
leap motion, y guantes que contienen acelermetros,
que arrojan datos o imgenes, que permiten
establecer una base datos, de las seas o gestos de
las manos, para su posterior utilizacin en
reconocimiento del lenguaje dactilolgico.
palabras claves:
lenguaje de seas, leap motion , Kinect
,reconocimiento, acelermetro, dactilolgico.
INTRODUCCIN
El lenguaje de seas o lenguaje dactilolgico,
constituye a principal herramienta de comunicacin
para personas sordas, mudas y sordomudas,
alrededor del mundo. Sin embargo, aunque esta
lengua es acogida en la gran mayora del mundo.
Sin embargo, este sigue presentando aun grandes
limitaciones. Esto se debe a que no todas las
personas conocen dicho lenguaje, lo que restringe la
comunicacin de la poblacin sordomuda a
comunicarse, solo aquellos que conocen su mismo
lenguaje.
Por tal motivo se hace necesario el desarrollo de
dispositivos, que permitan convertir el lenguaje de
1
seas aun lenguaje verbal o escrito, hablado por
toda la poblacin.
Actualmente se desarrollan mltiples, proyectos que
buscan la creacin de dispositivos, que realicen un
reconocimiento de los gestos del mano usado en el
lenguaje de seas, para una posterior traduccin a
un lenguaje escrito. Dentro de dichos proyectos
destacan aquellos que usan sensores, como leap
motion, Kinect y guantes con acelermetros, para
captar informacin los gestos propios del lenguaje
de seas. Esta informacin, sirve para crear
software, que trabajando en conjunto con estos
sensores, permiten en tiempo traducir los gestos a
un lengua textual.
1.INSCRIPCIN RECONOCIMIENTO DE
IDIOMAS MEDIANTE LEAP MOTION
CONTROLLER
En este trabajo, se describe la creacin de un
mtodo de reconocimiento de lenguaje dactilolgico
usando el controlador Leap Motion . Para realizar
esto se colocan las manos y los dedos sobre un
controlador de que tiene seguimiento esqueltico.
Este reconoce el marco de los dedos para obtener de
datos con una alta precisin tales como la posicin
de los huesos de los dedos, as como tambin el
grado de los dedos pulgar e ndice. Adems, el uso
de Leap Motion permite realizar un (finger spelling
Recogniton )sin ningn contacto fsico.[1]
El desarrollo de este proyecto se realiza durante 4
secciones. la Seccin 1 consiste en consultar
trabajos relacionados con el reconocimiento del
lenguaje de signos de forma detallada. La Seccin
3, explica un mtodo de reconocimiento del alfabeto
manual. La seccin 4 describe la bsqueda de una
solucin ptima para la generacin automtica de
algoritmos de reconocimiento del alfabeto manual.
Universidad Manuela Beltrn. Fernndez Cesar, Estado del arte, dispositivos para el reconocimiento del lenguaje de seas 2

En la Seccin 5, se describe como se llevo a cabo el sistema detecta con xito gestos almacenados en
los experimentos usando la necesarios para evaluar un diccionario prestablecidos en el software que se
la viabilidad del mtodo propuesto. [1] implementa con este dispositivo ,con una precisin
del 91%. Tambin dicho sistema tiene la capacidad
2. RECONOCIMIENTO DE GESTOS DE LA de definir y aadir gestos hechos a la medida.
MANOS CON LOS DISPOSITIVOS LEAP Hecho que fue puesto a prueba en un experimento
MOTION Y KINECT en que 10 personas con impedimentos utilizan el
sistema para comunicarse con 5 personas que no
Este documento, describe un esquema de tienen discapacidad, en el cual la mayora de los
reconocimiento de gestos de la mano voluntarios manifestaron que el sistema era de gran
especficamente y la obtencin de datos de esos con
utilidad [3]
el Leap Motion. Dicha toma de datos se realiza
mediante Un conjunto de funciones ad-hoc basadas
sobre la posicin y orientacin de las puntas de los
dedos. se calcula y se alimenta en un clasificador
SVM multi clase, que permite reconocer los gestos
que se realizan. Tambin se tiene en cuenta Un
conjunto de caractersticas como la extraccin de la
profundidad calculada Del Kinect y combinndolas
con los Leap Motion. Esto se hace con el fin de
mejorar el rendimiento del reconocimiento. [2]

Los resultados experimentales descritos en el

documento, muestran que la combinacin de los
dispositivos leap motion y Kinect, permite realizar
un mejor reconocimiento de los gestos de la mano,
as como tambin otros gestos de la lengua de seas
que incluyen el brazo completo como tambin otras
extremidades. [2]
3.USO DEL SISTEMA KINECT PARA
SORDOS Y MUDOS, BASADO EN EL
LENGUAJE DE SIGNOS Y GESTOS DE LAS
MANOS. UN ESTUDIO PILOTO
Este articulo presenta el desarrollo de un sistema
para detectar y comprender los gestos usados en el
lenguaje de signos, con la ayuda de una herramienta
software a la medida, para una posterior traduccin
del gesto a un lenguaje verbal. Este sistema emplea
un algoritmo de deformacin dinmica de tiempo
(DTW) , tambin emplea una herramienta software
off-the-shelf, que permite realizar la generacin del
lenguaje vocal. [3]
No obstante, la herramienta principal de este
sistema es el Kinect, y se utiliza para captar el flujo
de video de un usuario. El mtodo propuesto, para
Figura 1.Procedimiento inicial para la deteccin de
la mano, descrito en el articulo[3]
4.RECONOCIMIENTO DE IMGENES DEL
LENGUAJE DE SEAS MEXICANO
Este documento presenta el desarrollo de una tesis,
que consiste en realizar un sistema el
reconocimiento de las imgenes en las cuales las
manos, muestran una sea de una determinada letra
del alfabeto para del lenguaje de seas, establecido
en Mxico, por el estndar internacional ISO 639-2
sgn-MX.[4]
Hace nfasis en su proyecto solo es vlido para
dicho, estndar, ya que, si se desea aplicar en otros
pases, estos pueden tener un lenguaje de seas con
algunas variaciones, que no se tuvieron en cuenta
para el proyecto.
Universidad Manuela Beltrn. Fernndez Cesar, Estado del arte, dispositivos para el reconocimiento del lenguaje de seas 3

El sistema descrito usa dos mdulos, que son

mdulo de aprendizaje y mdulo de Este artculo, propone un enfoque de codificacin
reconocimiento. Para realizar el reconocimiento se discriminativo ejemplar(DEC) haciendo uso
toman imgenes obtenidas del dispositivo Kinect, tambin del sensor Kinect, para modelar mltiples
que hace una comparacin de los patrones signos. El mtodo propuesto para realizar este
almacenados en la base de conocimientos, proyecto consta de 3 pasos. El primer paso es,
establecida para el sistema. [4] seleccionar una cantidad de ejemplares candidatos
El mdulo de aprendizaje, se ejecuta cuando se especficos de la clase, se aprenden a partir del
detecta una nueva patrona, que guarda una similitud lenguaje de signos en vdeos de cada signo de
bastante alta comparada con un patrn ya categora teniendo en cuenta su discriminacin.[5]
almacenado. El Kinect trabaja con una frecuencia El segundo paso toma todos los vdeos de todos los
de muestreo de una imagen por segundo, tiempo signos y los describe como un conjunto de
mnimo establecido para reconocer una seal del similitudes entre cuadros dentro de ella y los
alfabeto. Este proyecto tiene como facilitar la ejemplares candidatos. Esto se hace en lugar de
comunicacin de personas con una hipoacusia, simplemente utilizando una medida de distancia, las
bastante severa, que para su comunicacin diaria similitudes se deciden por un conjunto de
requieren hacer uso continuo del lenguaje de seas. clasificadores basados en ejemplares a travs del
[4] aprendizaje de mltiples instancias, en el que un
vdeo positiva o negativa, se trata como una bolsa
positivo o negativo y las tramas similares para el
ejemplo dado en el espacio como instancias.[5]
El tercer paso, se formula la seleccin de los
ejemplares ms discriminativos en un marco para
producir simultneamente una seal de clasificador
de vdeo para reconocer los signos. Para evaluar
dicho mtodo, se tom como base el lenguaje de
Figura 2, captura del lenguaje de seas y manos,
signos estadounidense como un conjunto de datos,
descrito en el artculo[4]
que incluye aproximadamente 2000 frases, mientras
que cada una de las frases es capturada por el sensor
5.CODIFICACIN EJEMPLAR
Kinect con l la informacin esqueleto, color y la
DISCRIMINATIVO PARA EL
profundidad y. Los resultados experimentales
RECONOCIMIENTO DEL LENGUAJE DE
descritos en el artculo de la base de datos
SIGNOS CON KINECT
construida para el proyecto, demuestran que el
Universidad Manuela Beltrn. Fernndez Cesar, Estado del arte, dispositivos para el reconocimiento del lenguaje de seas 4

enfoque proceso es eficaz y viable para el
reconocimiento del lenguaje de signos. [5]
Dado que con el mtodo propuesto , se obtuvo
98.25% de precisin media de la clasificacin de
una lista de 121 sub palabras CSL de uso frecuente.
Cabe mencionar que el mtodo bosques aleatorio
demostr un rendimiento superior al mtodo
tradicional de un solo rbol, tradicionalmente usado.
[6]

Figura 3, toma de datos de extremidades

superiores, descrito en el artculo [5]

6. RECONOCIMIENTO DEL LENGUAJE DE

SIGNOS Y SUB PALABRAS, RANDOM
FOREST. UTLIZANDO SENSORES
ELECTROMIOGRAFICOS Y
ACELEROMETROS DE SUPERFICIES

Este documento describe la realizacin de un marco
SLR precisa y gil mediante un rbol de decisin
mejorada, en el clasificador de base de los bosques
al azar. Dicho marco se utiliza para reconocer sub
palabras de lengua de signos chinos. utilizan
grabaciones de un par de dispositivos porttiles,
colocados en ambos brazos que consisten en
sensores de electromiografa de superficie (EMG) y
acelermetros (ACC). Los resultados
experimentales descritos en documento
demostraron que el mtodo basado en los bosques al
azar propuesto para el reconocimiento de la lengua
de signos china sub words (CSL) tiene validez .[6]
Figura 4, diagrama implementado para el proyecto,
descrito en el artculo[6]
7.TRADUCCIN AUTOMTICA DEL
LENGUAJE DACTILOLGICO DE SORDOS
Y SORDOMUDOS MEDIANTE SISTEMAS
ADAPTATIVOS
Este articulo describe el desarrollo de un modelo de
sistema que integra hardware-software para realizar
la traduccin automtica del lenguaje dactilolgico
que es usado por sordomudos y sordos. El hardware
consiste en un guante que captura los movimientos
gestuales de la mano, esto lo realiza en trminos de
seales espacio- temporales. [7] Por su parte el
Universidad Manuela Beltrn. Fernndez Cesar, Estado del arte, dispositivos para el reconocimiento del lenguaje de seas 5

software integra un modelo computacional por Hay mltiples alternativas para el reconocimiento
aprendizaje y adaptacin, este permite que se del lenguaje, o lenguaje dactilolgico. Tales como el
reconozcan de forma automtica los movimientos, uso de los sensores leap motion, Kinect, y guantes
segn los trminos de un determinado lenguaje que integran acelermetros en su diseo. A menudo
dactilolgico. se usan, solo uno de estos sensores obtenidos,
El modelo fue evaluado haciendo uso de dos sub resultados efectivos en la captura e interpretacin de
modelos, tomando como referencia las seas los gestos usados en dicho lenguaje. Sin embargo,
efectuadas por varios individuos sanos. El primer aquellos proyectos que integran en diseo y
sub modelo permite la reduccin de la construccin los 2 primeros sensores, obtiene
dimensionalidad en las seales de entrada. El mejores resultados en su ejecucin, permitindoles
segundo sub modelo, es el encargado del ser mucho ms verstiles al tomar los datos.
reconocimiento, este permite identificar los Por otro lado se encuentran aquellos dispositivos,
movimientos gestuales de la mano en trminos de que integran en su diseo el uso de guantes con
un determinado lenguaje dactilolgico. Estas acelermetros, para tomar los datos de las
evaluaciones expuestas en el artculo, permitieron articulaciones de las manos y los getos realizados
concluir que el modelo propuesto en el artculo, no con ellas. Este diseo, requiere el uso de menos
solo puede ser implementado en un solo lenguaje elementos para funcionar, sin embargo, no permite
dactilolgico, si no que permiten el reconocimiento reconocer otros tipos de gestos del lenguaje que
e interpretacin de otros lenguajes , as como incluyen las extremidades superiores.
tambin un mayor nmero de smbolos de los Se recomienda optar o tomar como referencia para
distintos lenguajes. [7] el desarrollo de futuros proyectos, los diseos que
incluyen el uso en conjunto del leap motion, y el
Kinect ya que permiten no solo una toma de datos
ms verstil, en comparacin con el prototipo que
usa acelermetros. Sino tambin permite, una
captura del lenguaje de seas que incluye las
manos, y las dems extremidades superiores.

REFERENCIAS
Figura 5,Hardware del guante de la mano descrito
en el articulo.[7]
1.Alejandro Pea Palacio1. ( 2013). Traduccin
automtica del lenguaje dactilolgico. Revista
8. DISCUSIN: Ingeniera Biomdica, 14.
Universidad Manuela Beltrn. Fernndez Cesar, Estado del arte, dispositivos para el reconocimiento del lenguaje de seas 6

2.Tianzhu Zhang. ( 2013). Discriminative Exemplar

Coding for Sign Language. Beijing: IEEE
TRANSACTIONS ON CYBERNETICS.

3.Chen Xiang. ( 2016). Los sensores electromiogrficos

aleatoria Bosque-al reconocimiento del lenguaje
de signos subwords aislado utilizando datos de
los acelermetros y Superficies. Hefei: Hefei
TECH.

4.Fauto Pavel. (2012). Reconocimiento del lenguaje de

seas mexicano. Mexico DF: UPN.

5.Ghulam Abbas PhD. (2014). A Kinect-Based Sign

Language Hand Gesture. Assistive Technology,
11.

6.Giulio Marin, Fabio Dominio, Pietro Zanuttigh. (2015).

HAND GESTURE RECOGNITION WITH LEAP
MOTION AND KINECT DEVICES. University of
Padova, 5.

7.Makiko Funasaka. (2015). Sign Language Recognition

using Leap Motion Controller. Tech. and Appl, 7.