Académique Documents
Professionnel Documents
Culture Documents
TITULO PROPUESTA
RECONOCIMIENTO DEL LENGUAJE DE GESTOS MANUALES ALFABÉTICOS
MEDIANTE VISIÓN ARTIFICIAL
AUTOR
OSCAR JAVIER CORTÉS BAGUI COD: 20032083007
DIRECTOR
FRANK NIXON GIRALDO
REFERENCIA AL CONSEJO
Este proyecto busca realizar el reconocimiento del lenguaje de señas empleado por
personas con incapacidad para hablar o escuchar. Este lenguaje se desarrolla mediante
gesturas hechas a través de las manos, con las cuales se puede simbolizar el alfabeto
completo realizando símbolos estándar de comunicación no audible.
Mediante la incorporación de la electrónica, se busca implementar un sistema en la
capacidad de reconocer el símbolo que esta representando la mano, para ser identificado
como una letra del alfabeto ante el usuario. De esta manera se pretende realizar un
sistema de comunicación entre personas que se comunican a través de gesturas que
describan el alfabeto con personas que se comunican de modo oral.
I. DATOS DE ENLACE
Pagina WEB:
E-mail: oscarbagui@hotmail.com
oscarbagui@yahoo.com
Versión del Documento: 1.0
Código Documento: _________________________
________________________________________________________________________________________________
Espacio Exclusivo Consejo Curricular
APROBADO MODIFICAR RECHAZADO
HOJA DE ACEPTACIÓN
Observaciones
_________________________________________________________
_________________________________________________________
_________________________________________________________
_________________________________________________________
_________________________________________________________
_________________________________________________________
_________________________________________________________
_________________________________________________________
_______________________________
Representante Consejo Curricular
_______________________________
Director del Proyecto
_______________________________
Revisor del Proyecto
Fecha de Presentación
1.0. INFORMACIÓN GENERAL DEL PROYECTO
Tipo de Entidad:
Universidad Pública: X Universidad Privada: Instituto de Investigación Público:
Centro de Investigación Privado: Organizaciones Gubernamentales: ONG:
Empresa, Centro Empresarial o Gremio de la Producción:
Dirección:
Teléfono: Fax:
Correo Electrónico:
Sede de la Entidad: Nit:
Ciudad: Departamento:
Tipo de contribuyente:
Entidad de derecho público Entidad de economía mixta Entidad industrial y
comercial del estado
Cuando se entabla una comunicación a través de signos, es necesario que los interlocutores
tengan un previo conocimiento de la simbología que se está tratando, de este modo los
mensajes son entendidos por los participantes de la comunicación. Sin embargo cuando se
pretende realizar una comunicación mediante símbolos entre personas que no posean
conocimiento de la simbología, los mensajes no son captados, o por lo menos no de modo
correcto. Está es la razón por la cual se propone elaborar un sistema que permita la
comunicación a través de las manos (con gesturas) entre personas sordomudas y personas de
habla oral, sin la necesidad de que estás últimas conozcan previamente los signos manuales
del alfabeto.
Para realizar la adquisición de las imágenes se empleara una WebCam USB, y para el
reconocimiento de las mismas, se hará uso de las redes neuronales artificiales, por presentar
alto desempeño frente a este tipo de aplicaciones y ser una de las herramientas más poderosas
y versátiles en la actualidad.
Durante siglos las personas sordomudas han sido consideradas como disminuidas y privadas
de las capacidades mentales que poseen las personas que hablan y oyen. Este prejuicio está
tan arraigado que algunos idiomas designan con la misma palabra “tonto” y “mudo”. Esto
debido a la gran brecha que se ha formado entre las personas sordomudas y el mundo de habla
oral, pues las primeras son discriminadas al no poder comunicarse con el resto de las personas
por la carencia de un sistema de comunicación conocido por ambos diferente al escrito, que
permita entablar diálogos. La sordera es aislamiento: impide que otros se comuniquen mediante
las palabras y los sonidos con quien la padece, y a su vez, también evita que el sordo interactúe
con los demás de la misma manera.
Varias cosas se han hecho por parte de los sordomudos y sus familias para tratar de disminuir
esta limitante. El lenguaje de señas es uno de ellos, tal vez el más importante. Cuando a los
gestos y a los movimientos de las manos se les ha podido dar un significado, las personas que
comparten ese lenguaje pueden entenderse y dialogar. Parecería una solución ideal.
Desafortunadamente, la mayor parte de las personas que no están afectadas por la sordera, o
no tienen un familiar que la sufra, no están interesadas en aprender un lenguaje de este tipo.
Así el número de interlocutores que puede encontrar un sordomudo que emplee el lenguaje de
las señas es realmente reducido. Generalmente sólo otros amigos sordomudos y sus familiares.
El aislamiento es menor, pero sigue siendo aislamiento.
La limitante de las personas sordomudas es bastante clara, pues no pueden expresar lo que
quieren decir y ser entendidos sus mensajes por personas que no conozcan previamente el
significado de los signos realizados, en otras palabras, no pueden ser escuchados por cualquier
persona.
3.1.2 Identificación de Problemas
PROBLEMA DESCRIPCIÓN
Falta de interés por parte de las personas que pueden escuchar y hablar, por aprender el
sistema de comunicación para personas sordomudas.
Para las personas que pueden hablar y escuchar, no es una prioridad aprender sistemas de
comunicación para sordomudos, así como su lenguaje. Solo es de interés en el caso de tener
algún familiar y/o amigo cercano con estas discapacidades.
Debido a esto existe un aislamiento hacia las personas sordomudas y son desconectados de la
sociedad, al no poder emitir mensajes y hacerse entender de forma clara con cualquier persona.
Con el desarrollo de este proyecto se pretende brindar una herramienta para que las personas
con incapacidad para hablar y oír, puedan comunicarse con la sociedad mediante la
incorporación de la electrónica.
A través del sistema propuesto se espera que personas en la necesidad o con el interés por
aprender el lenguaje de signos puedan hacerlo de modo prácticamente gratuito, pues tan solo
requerirán de un computador personal y una WebCam USB y la aplicación desarrollada. La
principal justificación por implementar el sistema desde JAVA es para hacerlo asequible a los
usuarios finales y evitar problemas por licencias costosas.
El impacto directo sobre la economía del usuario, radica en que el aprendizaje se hace de modo
autodidacta, evitando inscripciones a capacitaciones para aprender el lenguaje de signos, que
resultan costosas y requieren de un tiempo de aprendizaje extenso. Además, una de las
ventajas del sistema de reconocimiento de signos a través del PC es que si se olvida el
conocimiento adquirido debido a la falta de práctica al transcurrir del tiempo, la aplicación
permitirá un continuo entrenamiento sin costos adicionales.
También el sistema esta dispuesto para las personas que no lo practican el lenguaje
continuamente puedan realizar entrenamiento y perfeccionamiento sobre el mismo.
3.4 MARCOS DE REFERENCIA
3.4.1 Marco teórico
INTRODUCCIÓN
En su función esencial, esta comunicación es acústica. Por esta razón, cuando no es posible
utilizar el canal auditivo para establecer la comunicación, se buscan sistemas alternativos, como
son: la labio lectura, la lengua de signos u otros. El deterioro del canal auditivo no es, por tanto,
un impedimento para la comunicación, gracias a que se puede utilizar el canal visual como
elemento de sustitución para la recepción del mensaje oral, signado o escrito.
El lenguaje es la capacidad del ser humano para comunicarse mediante un sistema de signos o
lengua para ello. No se debe confundir con lengua o idioma, que es la representación de dicha
capacidad. La comunicación humana es de manera principal mediante el lenguaje oral o escrito,
pero no exclusivamente, ya que para las personas incapacitadas en muchas ocasiones no
puedes ser utilizar estos medios para informar sus necesidades. De esta manera establecen la
comunicación por otros medios tales como visuales (señales de la circulación, lenguaje de
sordomudos o de banderas, fotografías, dibujos, gestos, etc.) y táctiles (presiones con la mano
o con el pie, lectura de los ciegos mediante el sistema Braille, etc.).
El lenguaje utilizado por los sordomudos y por los ciegos es un lenguaje icónico, denominado
lenguaje signado, en él se engloban muchas formas de comunicación no verbal, es decir
movimientos corporales con valor significativo. Los gestos son otras variantes del código no
lingüístico son el código no lingüístico gestual y el código no lingüístico auditivo y dactil.
El alfabeto actual con pocas variaciones fue introducido por el Español Juan Pablo Bonet en
1620 para utilizarlo en la educación de una persona sorda. Permite la trascripción literal letra a
letra del mensaje con las mismas estructuras lingüísticas del código fonético-auditivo.
A B C
3.5 Objetivos
3.5.1 General
• Realizar un sistema en la capacidad de reconocer signos manuales propios del lenguaje
para sordomudos que describan el alfabeto a través de una web cam conectada a un
PC, el cual debe interpretar el signo mostrado frente a la cámara en tiempo real,
traduciendo el signo hecho con al mano a la letra del alfabeto correspondiente.
3.5.2 Específicos
El sistema debe obtener la imagen elaborada por la persona, que mediante un signo representa
alguna letra del alfabeto, y traducirla a lenguaje escrito de forma virtual, es decir a través de un
computador personal, se debe visualizar la letra descrita mediante lenguaje de signos. Tal
sistema debe permitir el entrenamiento para personas interesadas en aprender el lenguaje de
signos, de un modo práctico y económico, pues para acceder al sistema tan solo será necesario
contar con una web cam y un computador personal, el software será gratuito y con la posibilidad
de correr bajo cualquier sistema operativo.
Web Cam
Elemento a través
del cual se obtiene
la imagen
Software
Captura de
imagen
Algoritmo de
entrenamiento
Red neuronal
Elemento de captura
Para adquirir la imagen correspondiente al gesto manual realizado por el usuario es necesario
contar con un dispositivo que capture y digitalice la imagen. Para esto el sistema funcionará con
una Web Cam de interfaz de comunicación USB, esto para brindar mayor versatilidad. El
dispositivo como requisitos mínimos debe manejar una resolución de 640x480 píxeles a una
velocidad de 30 fps. Se escoge como elemento de captura una Web Cam por ser más
económica frente a una cámara digital.
Captura de imagen
Una vez la imagen ha sido digitalizada y transmitida al PC a través del puerto USB, es
necesario capturar la imagen en el software desarrollado. En este proceso se debe generar un
3.8 Resultados Esperados
Una vez el proyecto sea finalizado, se espera obtener un sistema didáctico, versátil, de fácil uso,
que cumpla con las expectativas de los usuarios finales. Durante la elaboración del proyecto se
espera generar y desarrollar algoritmos de óptimo desempeño, los cuales podrán ser aplicados
no solo en la aplicación que se desarrollará, sino en general para desarrollos posteriores en
temas relacionados con visión artificial.
Poster de presentación
Articulo IEEE
Presentación en Público, mediante exposición.
4.0 PRESUPUESTO
PRESUPUESTO GLOBAL DE LA PROPUESTA POR FUENTES DE
FINANCIACIÓN
(En miles de $)
FUENTES TOTAL
RUBROS
Colciencias Univ. Distrital Contrapartida
PERSONAL ----------- ----------- 100 100
EQUIPO ----------- ----------- 2200 2200
MATERIALES ----------- ----------- 150 150
SALIDAS DE CAMPO ----------- ----------- ----------- -----------
VIAJES ----------- ----------- ----------- -----------
BIBLIOGRAFÍA ----------- ----------- 180 180
SOFTWARE ----------- ----------- ----------- -----------
PUBLICACIONES ----------- ----------- ----------- -----------
SERVICIOS
----------- ----------- ----------- -----------
TÉCNICOS
CONSTRUCCIONES ----------- ----------- ----------- -----------
MANTENIMIENTO ----------- ----------- ----------- -----------
ADMINISTRACIÓN ----------- ----------- ----------- -----------
TOTAL ----------- ----------- 2630 2630
DESCRIPCIÓN DE LOS GASTOS DE PERSONAL
(En miles de $)
TOTAL
PUBLICACIONES FUNCIÓN
INVESTIGADOR En
FORMACIÓN (1) DENTRO DEL DEDICACIÓN
/AUXILIAR miles
Nal Intern PROYECTO
de $
1 hora
Frank Giraldo Ingeniero Tutor
semanal
Diseño e 20 Horas
Oscar Cortés Ingeniero 50
implementación Semanales
TOTAL 50
MATERIALES Y SUMINISTROS
(En miles de $)
Materiales* Valor
CABLE DE EXTENSIÓN USB 5
CD’s 10
Papelería y tinta 15
TOTAL 30
HOJA DE VIDA (RESUMEN)
1. ESTUDIANTE
Apellidos: Cortés Bagui Nombre: Oscar Javier
Fecha de Nacimiento: 18 de Mayo de 1983 Nacionalidad: Colombiana
Correo Electrónico: oscarbagui@hotmail.com Tel/Fax: 7160886
Entidad donde Labora: Cargo Actual:
2. Títulos Obtenidos (Area/disciplina, Universidad, Año):
ANEXO 1
ANALISIS DEL PROBLEMA.
Total
PROBLEMA 1 2 3 4 5 6 7
Activos
1. Carencia de un sistema de
comunicación efectivo entre personas 0 2 0 1 2 2 0
sordomudas y personas de habla oral. 7
2. Falta de interés por parte de las
personas que pueden escuchar y hablar,
por aprender el sistema de comunicación 3 0 0 2 1 1 0
para personas sordomudas.
7
3. Tiempo demasiado extenso para aprender
el lenguaje de labio lectura o de signos. 3 1 0 1 2 1 3
11
4. Costos elevados en academias que
prestan el servicio de capacitación en el 0 2 0 0 0 1 0
lenguaje de signos y labio lectura. 3
5. Cuando el lenguaje de signos no es
utilizado de modo rutinario se olvida al 0 1 3 0 0 1 0
cabo del tiempo. 5
6. Brecha en la comunicación entre personas
sordomudas y personas de habla oral. 3 3 0 1 1 0 1
(Discriminación). 9
7. Carencia de un sistema de entrenamiento
y práctica para personas que se capaciten en 0 2 3 1 3 2 0
el lenguaje de signos. 11
Total Pasivos 9 11 6 6 9 8 4 53
Anexo 1.1
Grafico