Realidad virtual Interaccin Uso de dispositivos

mviles

tesis
Sahar Ali Aseeri

En cumplimiento parcial de los

requisitos para el grado de

Maestro de la ciencia

Universidad Rey Abdullah de Ciencia y Tecnologa de la

Informtica

visual Computing

Thuwal, Provincia de la Meca, Reino de Arabia

Saudita de julio de 2013

 2
La tesis de Sahar Ali Aseeri es aprobado por el comit de examen

Presidente del Comit: Prof. Peter Comit Wonka

Co-Presidente: Dr. Daniel Acevedo-Feliz Comit de

usuario: Prof. Markus Hadwiger Comit de usuario:

Prof. Xin Gao

 3

Derechos de

autor 2013

Sahar Ali Aseeri

Todos los derechos reservados

 4

ABSTRACTO

Realidad virtual Interaccin Uso de

dispositivos mviles Sahar Ali Aseeri

With the use of an immersive display system such as CAVE system, the user is
able to realize a 3D immersive virtual environment realistically. However,
interacting with virtual worlds in CAVE systems using traditional input devices to
perform easy operations such as manipulation, object selection, and navigation is
often difficult. This difficulty could diminish the immersion and sense of presence
when it comes to 3D virtual environment tasks. Our research aims to implement and

evaluate alternative approaches of interaction with immersive virtual environments

on mobile devices for manipulation and object selection tasks. As many researchers
have noted, using a mobile device as an interaction device has a number of
advantages, including built-in display, built-in control, and touch screen facility.
These advantages facilitate simple tasks within immersive virtual environments.
This research proposes new methods using mobile devices like Smart-phones to

perform dierent kinds of interactions both as an input device, (e.g. performing

selection and manipulation of objects) and as an output device (e.g. utilizing the
screen as an extra view for a virtual camera or information display). Moreover,
we developed a prototype system to demonstrate and informally evaluate these
methods. The research conclusion suggests using mobile devices as a 3D-controller.
This will be a more intuitive approach to interact within the virtual environment.
 5

ACKNOWLEDGEMENTS

My initial and foremost thanks go to Allah for endowing me with health, patience,

and knowledge to complete this thesis.

Grateful acknowledgment is made to King Abdullah University of Science and

Technology, incorporated in the great education I have gained in the past two years

provided with the opportunity of writing this thesis which was created by the help
of Allah then and their support.

Further, I am deeply indebted and grateful to Prof.Peter Wonka, for the sup- port,

encouragement and facilities he has provided me. Thank you for everything.

Thereafter, I would like to thank, with deep gratitude and appreciation, the inspira-

tion, encouragement, valuable time and great guidance given to me by my

respectable supervisor Daniel Acevedo-Feliz. Thank you for everything.

Por ltimo, me reservo mi agradecimiento ms especial a mi maravillosa familia. En

primer lugar, a mis padres que me han dado amor y apoyo incondicional durante mi
vida cada vez que estaba en el xito o prdida, y tambin por su paciencia, apoyo y
oraciones. Espero que todo lo que he hecho puede hacerte feliz y saludable. En

segundo lugar, a mis tres hermanas encantadoras, as como a mis dos hermanos
maravillosos, por su amor, estmulo, apoyo emocional y moral.
 6

TABLA DE
CONTENIDO

Comit de examen de aprobacin 2

Derechos de autor 3

Abstracto 4

Expresiones de gratitud 5

lista de abreviaciones 8

Lista de Figuras 9

1 Introduccin 11
1.1 Definicin del problema ...................................................................................................14
1.2 Investigar objetivos ............................................................................................................15
1.3 La motivacin y la importancia .....................................................................................15
1.4 Definicin de trminos ................................................................................................................17
1.5 Organizacin .........................................................................................................................21

2 Revisin de literatura 22
2.1 Manipulacin de objetos ..................................................................................................22
2.2 Seleccin de objetos ...........................................................................................................25
2.3 Otros trabajos relacionados......................................................................................................27

3 Descripcin del sistema y Arquitectura 34

3.1 Escenario Tpica ..................................................................................................................34
3.2 Diseo Arquitectura del Sistema...................................................................................35
3.2.1 Marco CalVR el sistema de visualizacin inmersiva ...............................39
3.2.2 capa de redes .............................................................................................................. 40
3.2.3 Marco OSG en el dispositivo mvil ................................................................40
 7
3.3 Cmo Funcionamiento del sistema......................................................................................40
3.4 Descripcin del sistema ....................................................................................................42
3.4.1 Mecanismo de interaccin ................................................................................42
3.4.2 La manipulacin de la cmara .........................................................................43
3.4.3 Seleccin de objetos ............................................................................................46

4 Resultados y Evaluacin 49
4.1 Presentacin del Sistema Prototipo.............................................................................50
4.1.1 La manipulacin de la cmara .........................................................................50
4.1.2 Seleccin de objetos ............................................................................................53
4.2 Prueba de evaluacin....................................................................................................................53
4.2.1 Pruebaobjetivos.....................................................................................................53
4.2.2 PruebaAmbiente ...................................................................................................53
4.2.3 Participantes ..........................................................................................................55
4.2.4 Tareas ....................................................................................................................................55
4.2.5 PruebaProcedimiento .........................................................................................57
4.3 resultados...............................................................................................................................58
4.3.1 Comparacin con el Estado-of-the-Art Resultados Dispositivos .......58
4.3.2 La satisfaccin del usuario Resultados ........................................................59
4.3.3 Resumen de resultados ......................................................................................61
4.3.4 Participante Evaluacin general ............................................................................62
4.4 Discusin ................................................................................................................................63

5 Conclusin y trabajo futuro sesenta y cinco

5.1 Conclusin.................................................................................................... sesenta y cinco
5.2 Trabajo futuro ....................................................................................................................................66
5.3 Lecciones aprendidas ........................................................................................................68

referencias 70

Apndices 74
 8

LISTA DE ABREVIACIONES

calit2 California Institute for Telecommunications

y Tecnologa de la Informacin

FOV Campo de visin

FWIP Finger caminar en el lugar

HE Inmersivo entorno virtual

JNI Java Native Interface

KAUST Universidad Rey Abdullah de Ciencia y

Tecnologa
KVL Laboratorio de Visualizacin KAUST

SEOR Realidad mixta

OSG OpenSceneGraph

PDA Asistente personal digital

UCSD Universidad de California, San Diego

UIC Universidad de Illinois en Chicago

VC Videoconferencia
VE Ambiente virtual
VR Realidad virtual
 9

LISTA DE FIGURAS

1.1 Nuestro sistema prototipo............................................................................................... 14

1.2 Ejemplo de un entorno virtual semi-inmersin (simulador de vuelo) . 18
1.3 Ejemplo de un entorno virtual completamente inmersivo (sistema CAVE)
. . 18
1.4 Crnea un sistema CAVE al (KAUST) ....................................................................19
1.5 NexCAVE un entorno virtual semi-inmersin en KAUST .................................... 20
1.6 Un dispositivo de seguimiento ptico utilizado para detectar la posicin del
usuario en el VE 21

2.1 Un diseo de la arquitectura del sistema del sistema animador mvil ......... 23
2.2 Un usuario controlar un mundo virtual en la pantalla mediante el uso de un
dispositivo mvil 25
2.3 Un usuario interacta con un humano virtual ......................................................... 27
2.4 Un ejemplo de una interfaz de VC para la visualizacin del entorno virtual en
una PDA..........................................................................................................................................29
2.5 Una escena de navegacin 3D usando un dispositivo mvil .............................. 32

3.1 Un modelo de camin 3D en el VE ................................................................................ 35

3.2 diseo de la arquitectura del sistema ......................................................................... 36
3.3 NexCAVE sistema ............................................................................................................... 36
3.4 Un sistema de seguimiento ............................................................................................. 37
3.5 Rastreador componentes unidos con dispositivos dierent............................... 37
3.6 Dierent tipos de dispositivos porttiles que se utilizan con nuestro sistema
de . . 38
3.7 Java Native Interface (JNI) Comunicacin ................................................................. 38
3.8 men CalVR ........................................................................................................................... 39
3.9 Cmo el sistema funciona................................................................................................. 41
3.10 Mecanismo de interaccin por trama ......................................................................... 43
3.11 la manipulacin de la cmara ......................................................................................... 44
3.12 El campo de visin de la cmara mediante la manipulacin a dispositivos
mviles .................................................................................................................................... 44
3.13 mecanismo de manipulacin de la cmara mediante un dispositivo
mvil en el VE. . 45 la seleccin de objetos de 3.14 ...................................................46
3.15 mecanismo de seleccin de objetos utilizando un dispositivo mvil en el VE
 10
47
3.16 El clculo de la nueva matriz de posicin de objeto 3D por trama .................. 48
 11
4.1 El uso de dispositivos de mano con el NexCAVE .......................................................... 50
4.2 Ejemplo de uso de un dispositivo mvil como un dispositivo de salida para
ver la VE 51
4.3 la manipulacin de la cmara de fotografas en pantalla .................................... 52
4.4 la seleccin de objetos de fotografas en pantalla .................................................. 54
4.5 Mediante el dispositivo mvil para manipular la cmara virtual y para ver
el VE sin limitaciones ......................................................................................................... 55
4.6 tarea de manipulacin directa e indirecta................................................................. 56
4.7 Mltiples usuarios que interactan con el VE usando un dispositivo mvil y
una
Gyro-ratn.............................................................................................................................. 56
4.8 Resultados - El uso de dispositivos mviles para facilitar la interaccin con el
VE 60
4.9 Resultados - El uso de dispositivos mviles para reducir el tiempo necesario
para aprender a
hacer frente a VE ................................................................................................................. 60
4.10 Resultados - Los usuarios que prefieren interactuar con ellos mediante el
VE dispositivos mviles .................................................................................................... 61

5.1 entorno virtual local con mltiples usuarios ........................................................... 67

5.2 entorno virtual global ........................................................................................................ 67
 12

Captulo 1

Introduccin

Hoy, realidad virtual (VR) es considerado uno de los temas de investigacin ms

importantes en grficos por ordenador [1], Y se ha llegado a ser ampliamente
utilizado como una herramienta funcional en muchos campos. En el pasado, VR

normalmente se ha restringido a las universidades de investigacin, grandes

corporaciones y los militares para la formacin. Sin embargo, el progreso rpido
tanto en la tecnologa de hardware y software ha ayudado a superar estas
limitaciones y permitir VR est disponible y til para una poblacin mucho ms

amplia [2].

tecnologa de realidad virtual utiliza grficos por ordenador para crear un

mundo realista que responde a la entrada del usuario. En otras palabras, la realidad
virtual es una experiencia en la que el usuario se sumerge eectively en un mundo
virtual de respuesta, permitiendo que los usuarios se sientan que son parte de la

accin. Otro significado importante es que el entorno de realidad virtual se refiere a

cmo los usuarios pueden sumergirse y sentirse parte del mundo virtual y capaz de
interactuar con este entorno de manera significativa [1]. Por lo tanto, las
caractersticas clave de la realidad virtual de acuerdo con las definiciones anteriores
son: mundo virtual, la inmersin, la retroalimentacin sensorial, y la interaccin. Las
tres primeras caractersticas dependen de la ltima de ellas capaz de ser ejecutado

correctamente. Por lo tanto, se cree que la interaccin a ser una de las

caractersticas ms importantes de VR. Ayuda a los usuarios se sientan realmente
 13
involucrados dentro de los entornos virtuales inmersivos (IVE) [3].
 14
La interaccin en VR se describe generalmente como la capacidad del usuario

para moverse y interaccio- nes con los objetos dentro del mundo virtual [1]. La

interaccin en Ives se compone de tres elementos: velocidad, alcance y mapeo.

Steuer (1992)[4] velocidad definida como el tiempo de respuesta del sistema a las
acciones del usuario tales como la manipulacin, seleccin de objetos,

y la navegacin en el IVE. Por lo tanto, las respuestas tardas a la accin del usuario
aect la
interactividad en el entorno virtual en 3D. Adicionalmente, se define como rango de
interacciones resentir tantes que se pueden utilizar para manipular objetos del

entorno. Este elemento aumenta la interactividad en el IVE cuando el usuario es

capaz de manipular un gran nmero de objetos. Por ltimo, se define el mapeo como
la conexin entre el usuario y las acciones ejecutadas en el IVE, con el objetivo de
producir resultados naturales de acuerdo a las interacciones de los usuarios.

Basado en las definiciones anteriores de interaccin, se puede concluir que el

xito de las tareas en Ives por lo general depende del xito del dispositivo de
interaccin [5].A Measure de que el xito del dispositivo de interaccin dentro de la

IVE; debemos tener en cuenta la inmersin y la sensacin de presencia[1]. Los

desarrolladores han descubierto que el sentido ms fuerte de la sensacin del
usuario sumergido emerge cuando el dispositivo de interaccin es fcil e

interesante. Esto significa que la interaccin con dispositivos de interaccin

inadecuados podra disminuir la inmersin y la sensacin de presencia [6]. Por lo
tanto, el nivel de la facilidad de los controles sobre la interactividad de los objetos
virtuales con los dispositivos actuales del estado de la tcnica tales como ratn, el

teclado y joystick / varita vara de un dispositivo a otro [1].

En esta investigacin, el rea del problema es que la interaccin con los objetos
en mundos virtuales utilizando dispositivos de entrada tradicionales (por ejemplo,
la palanca de mando o en el tubo) es a menudo difcil. Esta dificultad podra
disminuir la inmersin y la sensacin de presencia en las tareas Ment de inmersin
 15
en 3D virtuales ambientes. En un intento de aumentar la inmersin en el mundo
virtual, los dispositivos mviles se pueden utilizar como un dispositivo de

interaccin. Esta investigacin presentar enfoques dierent

 13
para interactuar con Ives mediante el uso de dispositivos mviles para la
manipulacin y selec- cin objeto.

Nosotros la hiptesis de que el uso de dispositivos mviles como un controlador

de 3D para la interaccin facilitar tareas simples, tales como la manipulacin,

seleccin de objetos, y la navegacin dentro de Ives. Adems, la hiptesis de que el

uso de dispositivos mviles como un dispositivo de interaccin se incrementar la

inmersin y la sensacin de presencia dentro de la IVE. Por otra parte, pro- poner
que el uso de una pantalla tctil en un dispositivo mvil para interactuar con Ives
reduciran el tiempo necesario para que los usuarios aprender a lidiar con el mundo

virtual. Cumpla cabalmente esto, desactivamos las funciones del botn en el

dispositivo mvil para fomentar el uso de la pantalla tctil. Por ltimo, la hiptesis
de que el uso de un dispositivo mvil rastreado con la capacidad de mostrar una

vista sincronizada de la IVE permitir a los usuarios manip- Ulate los objetos
virtuales con mayor facilidad en los casos en que varios usuarios comparten el IVE.

Nuestro sistema prototipo funciona como una aplicacin de servidor-cliente (ver

Figura [1.1]). Se compone de un sistema de CAVE y un dispositivo mvil. En el

sistema de cuevas que utilizamos CalVR marco [7] Para nuestro entorno virtual y
OpenSceneGraph consecutivo (OSG) NA- tivamente en un dispositivo Android. Dos
escenas similares se crean, uno para el servidor y el otro para el cliente. Para

moverse a travs de estas dos escenas al mismo tiempo, hemos conectado El sistema
CalVR y el dispositivo Android a travs del protocolo TCP / IP para entregar una sola
escena sincronizado para el usuario. Esto se produce al permitir que el usuario

inter- acto con objetos en un nico entorno mediante el envo y la recepcin de

datos de transformacin.

La principal contribucin de este trabajo es proporcionar nuevos enfoques para

interactuar con Ives en los dispositivos mviles para la manipulacin y seleccin de

objetos. Adems, ofrecemos una nica escena sincronizada a los usuarios, tanto en el
cliente y el servidor, ella se designa les permite interactuar con una sola IVE. Con el

fin de evaluar, al menos, nuestra hiptesis

 14
a nivel informal y debido a limitaciones de tiempo, nuestro sistema prototipo se
limita a trabajar en un objeto y slo permite un nico usuario interactuar dentro del

IVE con un dispositivo mvil. No obstante, este sistema de prueba de concepto

demuestra las capacidades de los dispositivos mviles como plataformas de
interaccin VE.

Figura 1.1: Nuestro sistema prototipo: permite al usuario interactuar con una nica
escena chronized sin- usando un dispositivo mvil.

1.1 Definicin del problema

1. La interaccin con los objetos en los mundos virtuales con la entrada

tradicional, como una palanca de mando o en el tubo es a menudo difcil y

podra disminuir la inmersin y la sensacin de presencia para el usuario en

3D tareas de entorno virtual de inmersin.

2. El sistema CAVE o NexCAVE permite a un usuario interactuar con el IVE

mediante el uso de dispositivos de entrada tradicionales.
 15
3. Generalmente, de entrada tradicional utiliza tcnicas de manipulacin
indirectos para manipular objetos usando los botones.

1.2 Investigar objetivos

1. Ahabilitar el uso de dispositivos mviles como 3D-controlador en Ives.

2. Acentrarse en las capacidades de los dispositivos mviles de (es decir, multi-

pantalla tctil, pantalla, sensores, acelermetro, magnetmetro, giroscopio, y

los movimientos del dedo monitor), que proporcionan nuevas posibilidades

para tcnicas de interaccin en los dispositivos mviles dentro de Ives.

3. A aumentar la inmersin y la sensacin de presencia al usar dispositivos

mviles en Ives.

4. A permiten que varios usuarios interactuar con el entorno virtual al mismo

tiempo el uso de dispositivos mviles.

1.3 Motivacin e Importancia

El amplio uso de 3D en salas de cine, juegos, educacin, e investigadores del ejrcito

ha motivado que se ocupa de hacer que el mundo virtual en 3D ms eective. Como

se mencion anteriormente, la interaccin es una de las caractersticas ms
importantes de VR, lo que ayuda a aumentar la eectiveness de la experiencia
virtual en 3D. tareas de interaccin VR dependen de las tcnicas de interaccin y los

dispositivos de interaccin [6]. Los investigadores han tratado de combinar estos

dos componentes para producir ms interacciones naturales dentro de la IVE que
son ms intuitivos.

Interacciones hacen uso de una amplia variedad de dispositivos de entrada,

incluyendo la palanca de mando, guantes de datos, y los objetos instrumentados. El
nivel de interactividad proporcionada por el uso de estos
 16
dispositivos - especialmente con las tareas de manipulacin de objetos en 3D en el
IVE - vara segn el dispositivo
[8]. Esto es importante ya que la eectiveness de las tcnicas de interaccin de

objetos 3D en tareas de manipulacin de la IVE se aected por el eectiveness de los

vicios de la interaccin de-. Esto significa que hay una relacin entre las tcnicas de
interaccin y el dispositivo de interaccin para producir alto nivel de interaccin [6].

Existen varios problemas que se relacionan con la interaccin en la realidad

virtual. Uno de estos problemas es objeto de manipulacin [6]. De hecho, la

manipulacin es una de las tareas ms fundamentales en tanto reales como Ives.
Hay dos tipos de tcnicas de interaccin manipulacin, manipulacin directa y la
manipulacin indirecta. la manipulacin indirecta, como Nintendo Wiimote, utiliza
medios indirectos como los botones para seleccionar y mani- finales de los objetos
virtuales. La manipulacin directa, tales como la manipulacin directa de mano, es

una tcnica natural que es intuitivo para los seres humanos, ya que utiliza las manos
para seleccionar y manipular los objetos virtuales. Sin embargo, usando la
manipulacin directa no siempre es posible con todos los dispositivos de interaccin
[8]. Si el usuario no puede manipular los objetos virtuales eectively, a continuacin,
el usuario podra ser incapaz de realizar otras tareas en el IVE.

Nosotros proponer para superar esta limitacin utilizando dispositivos de mano

como telfonos mviles y tabletas. Los dispositivos porttiles se han extendido por
todo el mundo, y muchas personas estn utilizando a diario. Los rpidos avances en
los telfonos inteligentes con El respeto a al tanto de hardware como de software

tienen un enorme potencial para el uso de dispositivos mviles como 3D-

controladores. Esto es porque tienen muchas capacidades tales como multi-pantalla
tctil, la pantalla del monitor, los sensores, acelermetro, magnetmetro, giroscopio,

y movimientos de los dedos, que proporcionan nuevas posibilidades para tcnicas

de interaccin dentro de Ives. Este escenario se abre un rea interesante para
aplicaciones de realidad virtual.
 17
En este trabajo, nuestros objetivos principales son para aprovechar las ventajas

de las ltimas novedades en dispositivos mviles, incluyendo pantallas multi-touch

y pantallas de monitor, el uso de dispositivos mviles como los dos dispositivos de

entrada y salida. Consideramos que el dispositivo mvil como un dispositivo de
entrada mediante el uso de la pantalla tctil para proporcionar un medio directo de
interaccin a travs de contacto directo para permitir al usuario manipular los

objetos en el entorno virtual en 3D. Adems, consideramos que el dispositivo mvil

como un dispositivo de salida mediante el uso de un dispositivo mvil con pantalla
incorporada para permitir al usuario ver el entorno virtual en la pantalla. Esto da al

usuario la flexibilidad para mover y explorar el entorno libremente. Finalmente, el

uso de dispositivos mviles dentro de la IVE permite a varios usuarios utilizar su
propio dispositivo para interactuar con el mundo virtual en lugar de permitir slo

un usuario interactuar con el medio ambiente. Mediante el uso de un mvil como

dispositivo de interaccin con el IVE, creemos que la puerta se abrir a los
desarrolladores al considerarlos como 3D-controladores para interactuar con el
mundo virtual en 3D.

1.4 Definicin de trminos

Inmersin
La inmersin en la IVE es un trmino usado para describir la cantidad que el
usuario participa en el interior del mundo virtual. Es decir, cunto el usuario

se sienta parte del mundo virtual fsicamente [1].

Immersive entorno virtual (IVE)

Una de las caractersticas ms importantes de VR es la inmersin en un

ambiente artificial en el que el usuario se siente el ambiente es la realidad. Hay

dos tipos de la IVE, entornos virtuales semi-envolventes y entornos virtuales

de inmersin integracin global. Un ejemplo de un entorno virtual semi-
 18
inmersin es un simulador de vuelo en el que el usuario no llega a ser

totalmente sumergida (ver Figura [1.2]).En

 18
un entorno virtual completamente inmersivo (por ejemplo, sistema de

CAVE) el usuario se convierte totalmente sumergido dentro del mundo

virtual (vase la Figura [1.3]).

Figura 1.2: Ejemplo de un entorno virtual semi-inmersin (simulador de vuelo) [9].

Figura 1.3: Ejemplo de un medio ambiente (sistema CAVE) virtual completamente

inmersivo [10].
 19
sistema de cuevas

El sistema CAVE es un tipo de dispositivo de salida VR. Es un entorno 3D tual

vir- completamente inmersivo (slo si tiene seis lados) que se desarroll en la

dcada de 1990 por el profesor Tom DeFanti y otros en la Universidad de

Illinois en Chicago (UIC) (vase la Figura [1.4]).

Figura 1.4: Cornea un sistema de CAVE en el King Abdullah Universidad de

Ciencia y Tecnologa (KAUST) [11].

NexCAVE
NexCAVE es un tipo de dispositivo de salida VR. Es un entorno virtual 3D semi-
inmersivo implementado en KAUST y diseado por el profesor Tom DeFanti
en el Instituto de California de las Telecomunicaciones y Tecnologas de la

Informacin (Calit2) de la Universidad de California, San Diego (UCSD). Se

configura como un sistema de 21-azulejo usando monitor muestra [12] (ver
figura [1.5]).
 20

Figura 1.5: NexCAVE un entorno virtual semi-inmersin en KAUST [12].

Navegacin

La navegacin es una especie de tarea de interaccin usado en el IVE; que

proporciona al usuario informacin sobre su / su ubicacin moviendo el
usuario de un lugar a una nueva ubicacin de destino en el mundo virtual[6].

La manipulacin y seleccin de objetos

La manipulacin es una especie de tarea de interaccin en el IVE. La

manipulacin incluye la seleccin de las tareas objeto de mover los objetos 3D
dentro del mundo virtual [6].

Sistema de rastreo
El sistema de seguimiento es uno de los componentes ms importantes en los
sistemas de realidad virtual. Permite que el usuario se mueva en la IVE,
utilizando el espacio fsico mediante la deteccin de posicin usando

rastreadores de usuario [6] (ver figura [1.6]).

 21

Figura 1.6: Un dispositivo de seguimiento ptico utilizado para detectar la posicin

del usuario en el VE.

1.5 Organizacin

El resto de esta tesis de investigacin se organiza en varios captulos. Captulo 2

proporciona la revisin del trabajo relacionado en cuatro secciones principales:
estudios relacionados con objeto cin manipula-, estudios relacionados con el objeto
de seleccin, y estudios que se ocupan de los aspectos dierent de VR y el uso del

mvil como un dispositivo de interaccin. Captulo 3 proporciona la metodologa de

investigacin utilizada en este trabajo. Se presenta la descripcin del sistema y la
arquitectura de diseo. Tambin demuestra que la idea bsica del prototipo y las
herramientas utilizadas en la fase de implementacin. El captulo 4 presenta la
evaluacin y los resultados finales fase informal del sistema. En este captulo se
presenta una descripcin detallada de la prueba cin evaluacin, la prueba los
participantes, y las tareas, as como los resultados finales y discusin. Captulo 5
concluye la investigacin que se ha hecho y propone trabajos futuros.
 22

Captulo 2

Revisin de la

literatura

Los trabajos de investigacin relacionados con el uso de dispositivos mviles para la

interaccin VR ha sido de gran inters para muchos investigadores desde principios
de 1990. Con el uso de la realidad virtual difusin, los informticos introdujeron

varios enfoques para superar las limitaciones de interaccin dentro del entorno
virtual (VE) mediante el uso de un dispositivo mvil como un dispositivo de
interaccin. La literatura disponible se compone de artculos que han sido

publicados en revistas cien- Entific o carteles que se han presentado en las

conferencias. La presentacin de estos estudios se organizar bajo los siguientes
temas:

Estudios relacionados con la manipulacin de objetos

Estudios relacionados con el objeto de seleccin

Los estudios que se ocupan de los aspectos dierent de VR y el uso de telfonos

inteligentes como un dispositivo de interaccin

2.1 ObjetoManipulacin

Para facilitar la tarea de manipulacin de objetos dentro del VE, utilizamos

 23
dispositivos mviles para mover objetos en 3D a travs de la pantalla tctil.

Gutirrez et al. (2004) [13] Arrojar luz sobre el uso de dispositivos de mano como
interfaces en el VE. Se centr en la manipulacin de 3D
 24
objetos, sin caracteres articulados: traslacin, rotacin y de la cmara manage-

ment. A ello se sum la creacin de una representacin grfica en 3D de personajes

y objetos en el VE a la derecha en el dispositivo de mano. El animador mvil nombre

fue dado a la interfaz utilizada, y una representacin 3D de los objetos se utiliz in-
lugar de los controles 2D. Brevemente, el objeto 3D era la estructura jerrquica o
esqueleto que se utiliza para controlar a los personajes virtuales 3D. El dispositivo

de mano permite que el usuario modifique la postura del carcter y su orientacin

en cada junta se muestra en la pantalla de simulacin (VE System) usando un lpiz
ptico en el de mano. En caso de que hubiera ms de un carcter en el VE, una lista

de personajes virtuales apareci por el usuario para elegir. El sistema utilizado

consiste en cuatro componentes principales: VE capa del sistema, red,2.1]).

Figura 2.1: Un diseo de arquitectura de sistema del sistema de animador mvil: los
componentes principales del sistema son del sistema, capa de red, los datos de
caracteres VE, y mano interfaz porttil. [13]

El sistema implementado ha demostrado la eficiencia al permitir que ms de un

usuario a interactuar en una compartida VE. El principal problema observado fue la
divisin del usuario de
 25
atencin entre la mano porttil y la pantalla de simulacin. El dispositivo de mano

ha demostrado ser una herramienta muy eective para modificar la postura y la

ubicacin de los personajes virtuales en el VE. En nuestro estudio hemos construido

un sistema que tiene los mismos componentes utilizados en esta investigacin. La
deferencia que utilizamos los telfonos inteligentes como un dispositivo de mano
para manipular objetos en 3D y la cmara en el VE.

Otros dos estudios se han realizado sobre la manipulacin de objetos utilizando

dispositi- vos mviles. El primer estudio, realizado por Katzakis y Hori (2009) [14],
Mostr alguna evidencia inicial de que un dispositivo mvil se puede utilizar
eectively como un controlador de 3-DOF de mano inalmbrico en VE tareas. Se
explor el uso del acelermetro y magnetometer- telfonos mviles equipados, en
lugar de utilizar un ratn o un teclado, como controladores de 3 DOF en una tarea de
rotacin 3D para manipular un objeto 3D. Compararon tres dispositivos - biliares

mo-, ratn y del teclado tctil. Indicaron que una tarea de rotacin 3D en un VE
tomara slo cinco minutos de prctica utilizando un dispositivo mvil, casi la mitad
del tiempo que le llev con los otros dispositivos. Los resultados indicaron que el
uso de dispositivos mviles para tareas de rotacin entorno virtual en 3D parece
facilitar una interaccin ms rpida en comparacin con otros dispositivos, tales
como dispositivos de ratn o del panel tctil.

El segundo estudio se realiz por Lee et al. (2011) [15]. Se introdujo un nuevo
mtodo para la manipulacin de objetos 3D: un dispositivo mvil en lugar de los
seguidores costosos utilizados anteriormente. Los componentes usados en el

entorno experimental son: PC normal, rastreador o (dispositivo mvil) remoto y de

la red Wi-Fi. Figura [2.2] Muestra el usuario controla el dispositivo mvil para
cambiar su postura y la posicin y el dispositivo mvil a su vez enva los datos a la
computadora a travs de Wi-Fi. El espacio virtual en 3D en la pantalla de la

computadora cambiar en consecuencia. Segn el documento, se espera que el uso

 26
de este mtodo para la manipulacin Ject 3D ob- estar acostumbrado a todo el

mundo, se puede aplicar fcilmente, y se puede utilizar para una gran cantidad de
reas.
 27

Figura 2.2: Un usuario controlar un mundo virtual en la pantalla mediante el uso de

un dispositivo mvil: cualquier movimiento aplicado en el dispositivo mvil se
aplicar directamente al mundo virtual. [15]

Delos dos estudios anteriores se puede concluir que los mviles son eective
cuando se utiliza como un dispositivo de interaccin para las tareas de manipulacin
para cambiar las transformaciones de objetos, tales como la traslacin, rotacin y
escalado. Esta investigacin se centrar en el uso de dispositivos mviles para tareas

de manipulacin para cambiar la cmara y el objeto transformaciones de traslacin,

rotacin y escalado.

2.2 ObjetoSeleccin

Para mejorar la interaccin 3D y superar algunas dificultades cuando interactuamos

dentro de los entornos 3D, Miguel et al. (2007)[diecisis]propuesto el ver a travs
de la tcnica de interfaz de lente usando dispositivos de asistente digital personal
(PDA). Ellos utilizan esta tcnica con el PDA para la manipulacin espacial y algunas
funciones tales como objetos lecting Se- en el espacio 3D. Se implementaron una
aplicacin cliente-servidor conectado
 28
con dos capas de red, TCP y UDP, para recibir imgenes del entorno desde el

servidor al cliente y para enviar los comandos desde el cliente al servidor. Se

determin la funcionalidad de su enfoque a travs de opiniones de los usuarios y la

observacin de los comportamientos de los usuarios. Tales opiniones y
comportamientos mostraron que el uso de ver a travs de la interaccin de la lente
basado en PDA era un poderoso mtodo para mejorar la interaccin 3D de una

forma ms natural. El principal problema observado fue una pequea latencia

cuando Enviar- ing las imgenes al cliente y algunas imgenes se perdieron. Nuestro
estudio es similar excepto en la utilizacin de los telfonos inteligentes en lugar de

los dispositivos PDA y tratando de evitar esta latencia mediante la creacin de la

empresa virtual en el servidor (CAVE), as como en el cliente (Smart-telfono).

A aumentar la inmersin y la sensacin de presencia a travs de la interactividad

dentro del VE, se utiliz la pantalla tctil para seleccionar directamente y manipular

objetos en el mundo virtual. Chuah y Lok (2012) [8] Examin la posibilidad de

utilizar los telfonos inteligentes como dispositivo de interaccin VR para
seleccionar y manipular objetos en entornos virtuales. Se discuten dos tipos de

aplicaciones. La primera aplicacin fue un (MR) juego de realidad mixta basada en la

seleccin de objetos en general y plantean la manipulacin. Fue creado para evaluar
la usabilidad de la Smart-telfono como un dispositivo de interaccin en un entorno

(MR). En general, los resultados indicaron que 100 por ciento de los participantes
respondieron, positivamente a si podran utilizar el mvil como un dispositivo de
interaccin en el VE, y respondieron mejor para ambos objetos de seleccin y de

posicionamiento. La segunda aplicacin fue un examen de la vista ality Re- Virtual,

que es un ejemplo de la adaptacin de una aplicacin en el mundo real existente
para utilizar un Smart-telfono como un dispositivo de interaccin (ver Figura [2.3).
Esta aplicacin se ha demostrado que mejora la interfaz original (la televisin como

un dispositivo de salida y Wiimote como un dispositivo de entrada) de dos maneras.

En primer lugar, se reduce la necesidad de formacin y asociaciones de los botones
 29
de memorizacin para cada herramienta. En segundo lugar, que combina lo real y

los mundos virtuales ms sin problemas. Debido a las funciones del telfono, la
adaptacin del telfono inteligente fue fcil, rpida y completamente exitoso.
 30

Figura 2.3: Un usuario interacta con un humano virtual: el humano virtual siga el
movimiento de los telfonos inteligentes usando un rastreador. [8]

2.3 Otros trabajos relacionados

Varios otros estudios cubiertos otros aspectos relacionados con el uso del telfono
mvil como dispositivo de interaccin 3D dentro de VE, que no estn cubiertos en
los estudios anteriores e ilustran que el uso de dispositivo mvil ser un medio que

se puede utilizar para realizar tareas de interaccin. Por ejemplo, la contencin

entre tcnica de interaccin 2D y 3D y la incertidumbre en cuanto a que es
apropiado y cuando, era conocido como uno de los principales problemas que

afectan el avance del desarrollo mundo virtual. Para superar estos problemas
Watsen et al. (1999)[17]desarrollado un nuevo mtodo que se puede utilizar para
realizar tareas correspondientes a interfaces 2D con PDA como la computadora de

mano 3Com Palm- piloto. Ellos informan de las tcnicas que se implementaron y los
detalles de la utilizacin de bamb y una palma-piloto para la aplicacin en el
mundo virtual. A pesar de varias limitaciones, los investigadores indicaron que el
uso de una PDA como una interfaz
 31
en un VE permitido que las tcnicas de la interfaz de usuario sin forzar la metfora

2D en un espacio 3D o 3D metfora en un espacio 2D. Llegaron a la conclusin de

que este enfoque era prometedor y se necesita ms investigacin para resolver las
limitaciones.

Marsden y Nicholas (2005) [19] Escribi un artculo acerca de un proyecto de

preservacin cultural con el Museo del Distrito Seis en Ciudad del Cabo, frica del
Sur. Fueron aforos en es- para crear un Distrito Seis virtual como habra aparecido
antes de los desalojos masivos. Ellos trataron de aprovechar el trabajo de

visualizacin Mirilla de Yee [20] to examine the possibility of using PDAs to create a
peephole time-machine that would allow users to virtually view the old District Six
while standing in the current District Six. To accomplish this project they
investigated whether the PDA can provide an eective level of in- teraction and
provide an intuitive navigation scheme for viewing virtual worlds. This was done by
using client-server system where the view is on the server and the PDA receives the

view of the environment over the network as 2D images. Specifically the study
focused on the development and evaluation of using the PDA as an interaction
device. The study result confirmed that using the PDA was eective for interaction
for viewing virtual worlds.

In another related study, Weberet al. (2005) [18] discussed the interaction
between remote human computers and VEs. The research relied on a thin client
solution that in turn relies on videoconferencing (VC) protocol standards connected

to a VE. The former uses H.323 (standard VC protocol), which is a protocol that
supports multi- media communications to transfer audio and video data over
networks. According to this research, the proposal was a VC interface to a VE via a
PDA. The remote user could access the VE via sight and hearing. On the PDAs,
seeing and hearing the VE was made possible by equipping PDAs with VC software.
Enabling remote human computer interactions with a VE brings new applications to
 32
the mobile plat-
 29
form. This research aims to simplify the interaction between the mobile and the PC
by using the videoconferencing protocol (see Figure [2.4]). Nuestra investigacin se

centrar en el uso de dispositivos mviles con el fin de acceder al VE visual e

interactuar con el medio ambiente utilizando el incorporado en la pantalla de
visualizacin y la instalacin de la pantalla tctil. El VE y el dispositivo mvil se

conectar mediante el protocolo TCP / IP.

Figura 2.4: Un ejemplo de una interfaz de VC para la visualizacin del entorno

virtual en un PDA. [18]

Otro trabajo relacionado se llev a cabo por la montaa y Liarokapis (2005) [21]

Como parte del Proyecto Locus. Se introdujo una nueva forma de interactuar con las
escenas de realidad virtual utilizando dispositivos mviles. En su artculo se
analizan tres prototipos que adoptan formas ent dier- de interaccin con escenas
de realidad virtual en base tanto interaccin con la pantalla, sensores externos y una
mezcla de ambos enfoques. Propusieron que los sensores externos (la interaccin a
travs del movimiento y el gesto) puede ser un enfoque ms intuitivo para el

dispositivo mvil dentro de escenas de realidad virtual. Ellos evaluar y probar esta
hiptesis durante el proyecto Locus.
 30
La investigacin sugiere que hay dierences entre el uso de los dispositivos mviles y
el uso de equipo de escritorio
mejores sistemas para interactuar con el VE, proponiendo que los paradigmas de
interaccin tradicionales pueden no ser apropiadas en este nuevo contexto.

Como resultado de la necesidad de visualizacin expresiva para los datos 3D y la

interaccin con los dispositivos mviles, Knodelet al. (2008) [22] Explorado la
posibilidad de utilizar una nueva tcnica que permite a los usuarios mviles para
interactuar junto con los datos dierent usando Var- hardware de pagars. Como

parte de esta investigacin, trataron de aprovechar el desarrollo reciente de la

tecnologa mvil como interfaz multi-touch y superar las limitaciones, tales como
pequeos botones. Ellos utilizan esta tcnica para mover la cmara sicin po- en el
entorno 3D con tamaos dierent de hardware. La investigacin concluy que hay
una necesidad de ms avances en el uso de dispositivos mviles para la
visualizacin e interaccin y demostr la aplicabilidad directa del resultado de

investigacin con respecto al escenario de colaboracin.

Otro estudio realizado por Kim et al. (2009) [5] Proporciona nuevas

posibilidades para las tcnicas de interaccin mediante el uso de dispositivos

porttiles de pantalla multi-touch como el iPhone y el iPod Touch para la navegacin
en Ives. Ellos describen la aplicacin de una tcnica de interaccin de navegacin
llamado dedo caminar en el lugar (FWIP) [23], Que era de- sarrollados para un
dispositivo multi-tctil ms grande. El proyecto FWIP se implement para el

dispositivo Lemur. El proyecto se ha mejorado para utilizar los dispositivos de mano

multi-pantalla tctil como el iPhone / iPod Touch, que se utiliza para tareas de
navegacin en un entorno virtual CAVE. Los resultados iniciales mostraron que el
uso de dispositivos de mano para las tareas de navegacin en Ives proporciona
suficiente precisin. Con todo, el papel de re- portado que el uso de dispositivos de
mano multi-touch es uno de los enfoques para navegar tareas en un entorno 3D, y su

uso aumentar el xito de Ives.

 31

Promoverinvestigacin por Benzina et al. (2011) [24] Introdujeron lo que

llamaron Motion Control Phone- Based como una tcnica para interactuar con el VE.
Ellos utilizan un telfono mvil con sensores integrados como un dispositivo de
entrada 3D para la interaccin de viaje para proporcionar una forma sencilla de
realizar un seguimiento de la mano del usuario. Para examinar la eectiveness de
esta tcnica, el
los investigadores trataron de determinar el nmero de grados de libertad necesarios
para llevar a cabo
la orden de desplazamiento tan fcilmente como sea posible. Tambin trataron de
investigar las funciones de mapeo dierent entre la accin del usuario y la reaccin

de punto de vista en el VR. Cumpla cabalmente sus objetivos que utilizan un telfono
con capacidad multi-tctil para VE traduccin o punto de vista de control directo y
sensores incorporados. En general, los resultados indicaron que los usuarios
realizan mejor usando el dispositivo mvil con 4 metforas DOF y que el uso de
dispositivo mvil es el mapeo deseado.

Por otra parte, el progreso rpido tanto en la tecnologa de hardware y software

significa un gran poten- cial para dispositivos mviles. Gang, Pan et al.
(2011)[25]concentrados en la consideracin de los beneficios de los dispositivos

mviles capacitivos, tales como pantallas tctiles, (sistemas electromecnicos

micro) incorporados en MEMS sensores de movimiento, cmaras incorporadas,
acelermetros, TER magnetome-, giroscopios y los movimientos del dedo, para

interactuar y navegar en una entorno de realidad virtual, transformar punto de

vista, se mueven los avatares y zoom vista de la cmara. Ellos presentaron y se
ilustran una nueva interaccin llamada inclinacin y Touch, utilizando un

dispositivo mvil como un controlador de 3D- en un VE. Que un prototipo del

sistema de inclinacin y tctil, utilizando una aplicacin mvil en el telfono y una
aplicacin de servidor en el ordenador conectado con Wi-Fi. Con el fin de
interactuar con el entorno 3D, o manipular y rotar Jects obstructivas en el equipo,
 32
puede inclinar el telfono mvil y tctil con el dedo o los dedos. Figura [2.5] Muestra

el resultado de la aplicacin de navegacin en un VE usando un dispositivo mvil.

Aqu, el usuario controla un ave volando libremente en la selva.
 33

Figura 2.5: Una escena de navegacin 3D usando un dispositivo mvil: el usuario

controla un pjaro en la selva usando un dispositivo mvil. [25]

Adems Lee et al. (2011) [26] introduced a new approach for dual interactions

between multi-display and Smart-phones to share the content display views for
indi- vidual and private users. Also, they used Smart-phones for remote control and
for a dual visualization interface of the large display. The research team used Sam-

sung Galaxy based on the Android system as a mobile phone interaction and OSG
library for 3D graphics rendering and scene graph management. Further, two
Wiimotes were used to receive multi-touch inputs and capture the users

interactions. Finally, a Wi- Fi connection was used to establish communication

between the Smart-phone and the multi-display. The study results indicate that dual
interaction between multi-display and Smart-phone for collaborative design review

and sharing among multi-users is possible and can be adapted to various displays.
Also, it is an easy way to share ideas and interact with multimedia among the users.
 34

En general, los resultados de los estudios anteriores encontrado alguna

evidencia de la posibilidad de utilizar los dispositivos mviles como 3D-controlador

para la interaccin VR en procesos tales como la manipulacin y seleccin de
objetos. A pesar de esto, y el creciente inters en la investigacin de que se trate con

la utilizacin de los mviles como un dispositivo para la interaccin VR, el resultado

es an limitada en tamao y calidad y se necesita ms investigacin. Esta
investigacin ser una continuacin de eorts anteriores y abordar algunos
problemas y aadir algunas mejoras para hacer que el dispositivo mvil un
dispositivo de entrada y salida para realizar tareas de interaccin dentro de los Ives.
 35

Captulo 3

Descripcin del sistema y Diseo

arquitectnico

En este captulo, se presenta una descripcin y un diseo de arquitectura de todo el

sistema, incluyendo la forma en que funciona. Los objetivos principales de este

captulo son para describir los mtodos de interaccin, a entender cmo funciona el
sistema, y muestran cmo utilizar estos mtodos en el IVE utilizando dispositivos
mviles. El captulo se divide en varias secciones. En primer lugar, se describe un

escenario tpico que un usuario puede realizar. A continuacin, un diseo de la

arquitectura del sistema se explica incluyendo las subsecciones: CalVR marco para
el sistema de inmersin pantalla, capa de red, y el marco OSG en el dispositivo mvil.

Despus de eso, la explicacin se menciona nada acerca de cmo funciona el sistema.

La seccin final describe el mecanismo de interaccin del sistema, la manipulacin
de la cmara, y las tareas de seleccin de objetos.

3.1 Escenario Tpica

Los usuarios entran en el sistema de cuevas o NexCAVE. Llevan las gafas 3D y llevan
un dispositivo mvil conectado con un rastreador para ver el entorno virtual en 3D

a travs de una pantalla de visualizacin en el dispositivo mvil. Los usuarios deben

encontrar un objeto 3D en la escena para aplicar las tareas de manipulacin de la
cmara y seleccin de objetos por la pantalla de visualizacin y
 36
la pantalla tctil en el dispositivo mvil. Figura [3.1] Muestra un modelo de camin

(objeto 3D) aparece en la NexCAVE y la pantalla del mvil. Cualquier tarea que se

aplica sobre el camin ya sea en el dispositivo mvil o en el NexCAVE se aplicar a la

otra parte mediante el envo y la recepcin de la transformacin de los datos de la
posicin del carro en la red. En las siguientes secciones vamos a explicar y definir
cada componente en el sistema y cmo se aplican las tareas con ms detalle.

Figura 3.1: Un modelo de camin 3D en el VE: el usuario controla el modelo de

camin 3D en el VE mediante el uso de un dispositivo mvil.

3.2 Diseo Arquitectura del Sistema

El sistema propuesto se implementa como una aplicacin cliente-servidor. El lado

del servidor se ha desarrollado utilizando CalVR [7]. CalVR es un marco basado en

VR OSG, una biblioteca de grficos 3D, que fue escrito en C ++ y desarrollado para el
sistema operativo Linux. El lado del cliente se ha desarrollado utilizando OSG en

funcionamiento de forma nativa en el sistema operativo Android. Nuestro principal

modo de operacin es para enviar y recibir datos mations transforma- de CalVR a
los dispositivos Android y viceversa utilizando el protocolo de capa de red TCP / IP
(vase la Figura [3.2]).
 37

Figura 3.2: diseo de la arquitectura del sistema.

En el lado del servidor, se utiliz un sistema de visualizacin de inmersin (el

sistema NexCAVE) que se ejecuta el marco CalVR (ver Figura [3.3]). En la parte

superior del sistema de NexCAVE es un sistema de seguimiento ptico (cmara ART

TrackPack4 infrarrojo) que rastrea las posiciones y movimientos de los usuarios
dentro de la VE el uso de dispositivos de seguimiento [27] (ver figura [3.4]).

Figura 3.3: Sistema de NexCAVE: un entorno virtual semi-inmersin en KAUST.

 38

Figura 3.4: Un sistema de seguimiento: cmara TrackPack4 infrarrojo ART se

utiliza para detectar la posicin mvil en el VE [28].

Figura [3.5] Muestra tipos dierent de componentes de seguimiento unidos a

dierent vicios de-. Estos rastreadores se utilizan para encontrar la posicin del
dispositivo en el interior del VE. Por ejemplo, la cabeza-tracker es un par de gafas 3D
adjunto con un rastreador, Gyro-ratn-tracker es un dispositivo de entrada
inalmbrico adjunto con un rastreador, mvil-tracker es un Galaxy S Smart-telfono

cantado-Sam adjunto con un rastreador.

Figure 3.5: Tracker components attached with dierent devices - (a)Head-tracker

(b)Gyro-mouse-tracker (c)Mobile-tracker.

On the client side, the Sam-sung Galaxy S Smart-phone or Tablet runs Android
2.2 as a minimum platform because there are incompatibilities in some devices with
 39
the OSG library (see Figure [3.6]). Also, we used the Java Native Interface (JNI),

which is a programming framework that allows Java code to interact with code writ-

ten in other languages, such as C, C++, and assembly language. In our case, we used
Java and C++ languages. The JNI allows Java code to communicate with C++ code.
This helps us to develop a Java interface based on OSG libraries to provide 3D
graphics applications on mobile devices (see Figure [3.7]).

Figure 3.6: Dierent kinds of hand-held devices that are used with our system.

Figura 3.7: Java Native Interface (JNI) de comunicacin.

 40
3.2.1 Marco CalVR el sistema de visualizacin inmersiva

Dado que la tecnologa VR est en constante desarrollo, las empresas de

realidad virtual ylos investigadores han estado desarrollando marcos que pueden
trabajar con las plataformas de hardware y software dierent con el fin de hacer el
proceso de creacin de software ms fcil, tanto en trminos de desarrollo y

mantenimiento. CalVR es un nuevo marco VR basado en la concepcin del escenario

grfico, que fue desarrollado por Schulze y otros (2013) en el Laboratorio de
Visualizacin de inmersin en el Instituto de California para Las telecomunicaciones
y tecnologa de la informacin en la Universidad de California, San Diego (UCSD) [7].
Tiene varias caractersticas, incluyendo un sistema de sonido y programacin de
alto nivelinterfaces para aplicaciones de interaccin. CalVR incluye clases

orientadas a objetos que estn escritas en C ++. Fue desarrollado para CentOS Linux,
pero podemos ejecutarlo en otros sistemas Linux y Mac OS. CalVR integra la
biblioteca OSG para los grficos OUT- PUT. CalVR tiene varios mtodos de
navegacin incorporados, un sistema de men 3D extensible (ver Figura [3.8]), Y
cuenta con soporte para una variedad de pantalla 3D y seguimiento de siste-
mas.

Figura 3.8: Men CalVR: un sistema de men extensible 3D [7].

 40
3.2.2 capa de redes

The system is implemented as a client-server application. The CAVE server has one
open port waiting for a mobile device connection. We used the TCP/IP protocol to
send and receive reliable transformation data between the server and the client. The
TCP/IP protocol will start to send and receive segments every frame from the server

to the client and from the client to the server after the server accepts the client. The
transformation data sent from the server to the client contains two 4x4 matrices,
one for the object transformation (such as scaling, position, and orientation) and the

other for the tracker transformation (position and orientation). The transformation
data sent form the client to the server contains one 4x4 matrix for object
transformation (position and orientation).

3.2.3 OSG Framework on Mobile Device

OSG es una de las herramientas grficas 3D de alto rendimiento utilizados ms

comnmente. Se utiliza en el campo de la realidad virtual, visualizacin cientfica,
juegos, simulacin y aplicaciones mviles. Proporciona un marco orientado a

objetos basado en el concepto de escenario grfico. Con OSG, podemos crear

aplicaciones con grficos de alto rendimiento y optimizaciones de renderizado de
alta velocidad [29]. Se utiliz la biblioteca OSG en un dispositivo mvil, ya que
podemos instalar esta librera de grficos 3D en el sistema operativo Android.

Adems, para crear VE similar a la que hemos creado en el servidor porque el

servidor utiliza la misma biblioteca para la salida de grficos. Por ltimo, para
asegurarse de que podemos importar los objetos con los mismos archivos de

extensin en el servidor, as como en el cliente.

3.3 Cmo Funcionamiento del sistema

Nuestro sistema se compone de un VE y un dispositivo mvil, los cuales se basan en

la OSG. Utilizamos CalVR para nuestra VE y la OSG en el androide. Esto crea dos
 41
escenas similares:
 42
uno en el sistema CalVR y el otro en el dispositivo androide. Con el fin de mover

estas dos escenas al mismo tiempo, tenemos que conectar el sistema y CalVR

dispositivo Android a travs del protocolo TCP / IP. Esto proporciona una nica
escena sincronizado con el usuario y permite a l / ella para interactuar con un
nico entorno. Todo esto ocurre como resultado del envo y recepcin de los datos
de seguimiento de la transformacin que se mueve la cmara virtual en el

dispositivo Android. Tambin podemos enviar y recibir la transformacin de objetos

3D en la escena para cambiar la posicin del objeto en el VE en ambos lados de
servidor y cliente (ver Figura [3.9]).

Figura 3.9: Cmo funciona el sistema.

 43
3.4 Descripcin del sistema

Nuestro sistema permite al usuario realizar las siguientes tareas de interaccin: dos
de manipulacin de la cmara y seleccin de objetos. En la tarea de manipulacin de
la cmara, vamos a utilizar la pantalla incorporada en el dispositivo mvil con el fin

de ver el entorno en la pantalla del mvil. En la tarea de seleccin de objetos, vamos

a utilizar la superficie de la pantalla en el dispositivo mvil para seleccionar el
objeto directamente con el fin de trasladarlo de un lugar a otro en el VE. En las

siguientes secciones vamos a explicar en ms detalle sobre el mecanismo de

interaccin, la manipulacin de la cmara, y la seleccin de objetos.

3.4.1 Mecanismo de interaccin

Cuando los usuarios entran en el sistema de cuevas o NexCAVE, llevan un

dispositivo mvil conectados a los sistemas CAVE travs de una red Wi-Fi y est listo
para recibir la transformacin de los datos de la posicin de los objetos y la posicin
de seguimiento procedente del sistema CAVE. Tambin son listo para enviar la

trama de datos de transformacin de los objetos per- al sistema CAVE al hacer clic
sobre el objeto (vase la Figura [3.10]). El dispositivo mvil est conectado a un
dispositivo de seguimiento para encontrar lado de la posicin del dispositivo mvil

en-el VE. Cuando un usuario desea seleccionar y mover un objeto 3D a partir de un

lugar a otro utilizando la pantalla tctil mvil, l / ella debe primero encontrar el
objeto al mover la cmara virtual dentro del VE y luego seleccione el objeto para

moverlo a otro lugar en el VE. Todos los cambios aplicados al objeto 3D se aplicarn
inmediatamente al objeto 3D en el lado del servidor del sistema CAVE.
Los pasos principales de nuestro sistema son los siguientes:

Ejecutar el CalVR plug-in en el sistema NexCAVE que el servidor.

Ejecutar la aplicacin en el dispositivo Android como el cliente.

Conectar el cliente con el servidor a travs del protocolo TCP / IP para enviar y

recibir los datos de transformacin.

 44
Comenzar a interactuar con dos escenas, una en el sistema CalVR y el otro en

el dispositivo androide. Cualquier cambio en cualquiera de los sistemas se

pueden ver inmediatamente en el otro.

Figura 3.10: Mecanismo de interaccin por trama.

3.4.2 La manipulacin de la cmara

A manipular la cmara dentro del mundo virtual que necesitamos para manipular el
dispositivo mvil para cambiar la vista que aparece en la pantalla del mvil dentro
de la VE. Esto permite al usuario moverse libremente dentro del VE y ver todo a
travs de la pantalla del mvil. Este mtodo permite al usuario para mover la

cmara virtual alrededor del objeto dentro de la VE y ver el objeto desde cualquier
lado (vase la Figura [3.11]). Adems, algunos de los sistemas de visualizacin de
semi-envolventes tienen la forma de un semicrculo que restringe campo de visin
virtual del usuario (FOV) en la interaccin con el VE; sin embargo, utilizando el
mtodo de manipulacin de cmara virtual permitir al usuario ver e interactuar
con el VE sin limitaciones (ver Figura [3.12]).
 45

Figura 3.11: manipulacin de la cmara: la visualizacin del objeto de orientaciones

dierent utilizando el dispositivo mvil.

Figura 3.12: El FOV de la manipulacin de la cmara mediante un dispositivos

mviles.
 46
interaccin manipulacin de la cmara se lleva a cabo moviendo el dispositivo

mvil con el fin de cambiar la posicin de la cmara virtual en el VE usando un

sistema de seguimiento. El componente rastreador est unido al dispositivo mvil;

que ayuda al sistema a determinar la posicin y orientacin del dispositivo mvil en
el interior del VE. Cuando nos movemos el dispositivo mvil, las transformaciones
Tracker (posicin y orientacin) se enva a travs de la toma de corriente desde el

servidor al cliente para cambiar de posicin la cmara del manipulador (cmara

virtual) dentro de la VE en el dispositivo mvil (vase la Figura [3.13]).

Figura 3.13: mecanismo de manipulacin de la cmara utilizando un dispositivo

mvil en el VE.
 47
3.4.3 ObjetoSeleccin

Durante la interaccin de seleccin de objetos que cambiar la posicin del objeto en

el VE usando la pantalla tctil mvil arrastrando y soltando el objeto de un lugar a
otro (vase la Figura [3.14]).

Figura 3.14: seleccin del objeto: por la pantalla tctil mvil podemos arrastrar y
soltar el objeto en un nuevo lugar.

interaccin seleccin de objetos se implementa mediante el uso de la tcnica de

rayos de fundicin a presin. Para manipular objetos en 3D, el usuario debe
encontrar el objeto de destino moviendo la cmara virtual (es decir, la pantalla del

dispositivo mvil) dentro del VE. A continuacin, el usuario ser capaz de

seleccionar el objeto utilizando la pantalla tctil mvil. Cualquier cambio realizado
en el objeto 3D se aplicarn directamente al objeto 3D en el lado servidor del

sistema de CAVE (vase la figura[3,15]).

 48

Figura 3.15: mecanismo de seleccin de objetos utilizando un dispositivo mvil

en el VE.

Ray-casting es uno de los modos ms fundamentales de las tcnicas de

manipulacin en 3D (tcnicas de interaccin basados en sealar). Esta tcnica se

proyecta un rayo virtual en 3D para el objeto 3D cuando el usuario selecciona el

objeto a travs de la pantalla tctil en el dispositivo mvil. Este rayo virtual se

genera a partir de la cmara a travs del plano de la imagen para definir la direccin
de sealar y comprueba la interseccin de rayos con el objeto ms cercano [6].

Despus de que el rayo intersecta con cualquier objeto en la escena, podemos mover
 49
el objeto
 50
de un lugar a otro mediante la seleccin y el clculo de la nueva posicin del objeto

en cada trama y, a continuacin el envo de la matriz de objeto con el lado servidor

para cambiar el objeto de forma simultnea en tiempo real. Para el clculo de la

matriz de posicin de objeto que usamos la ecuacin en la figura [3.16] Para
encontrar la nueva posicin del objeto.

Figura 3.16: Clculo de la nueva matriz de posicin de objeto 3D por trama: esto se
realiza cuando un usuario selecciona un objeto en 3D en el dispositivo mvil.
 51

Captulo 4

Resultados y Evaluacin

Nosotros desarrollado una aplicacin interactiva telfono mvil para activar los
dispositivos mviles en un dispositivo de interaccin 3D para ser utilizado en el VE.
Este captulo presenta los resultados iniciales del sistema propuesto y los de una
prueba de evaluacin informal, as como la comparacin de esta tcnica con el
estado de la tcnica actual. Vamos a comparar el dispositivo mvil con el dispositivo
de Gyro-ratn que hemos descrito en el captulo 3. La prueba de evaluacin se

centrar en la utilidad de emplear dispositivos mviles para tareas de interaccin. El

propsito de la evaluacin fue investigar las opiniones y sugerencias de los usuarios
para el uso de dispositivos mviles como 3D-controlador en el VE, la validez de
nuestras hiptesis, y la eect del uso de dispositivos mviles cuando el usuario
interacta con el VE. El captulo est organizado de acuerdo a la siguiente
estructura: La primera seccin ofrece una presentacin de los resultados del sistema

prototipo para la manipulacin de la cmara y seleccin de objetos. A continuacin,

la segunda seccin se presenta la prueba de evaluacin informal que incluye
objetivos de la prueba, entorno de prueba, los participantes y las tareas. La tercera
seccin presenta los resultados del cuestionario, incluyendo la comparacin con los
dispositivos del estado de la tcnica, resultados de satisfaccin del usuario, y
comentarios generales participante. Finalmente, la ltima seccin se analizan los

resultados.
 52
4.1 Presentacin del Sistema Prototipo

En esta seccin se presentan los resultados iniciales del sistema propuesto utilizar el
marco CalVR en el servidor y el marco OSG en el lado del cliente. La aplicacin de
servidor se ha probado en Scientific Linux OS utilizando el sistema NexCAVE, y la

aplicacin cliente ha sido probado en el sistema operativo Android, ya sea utilizando

un Galaxy S Smart-telfono-sung Sam o una tableta Galaxy ejecutar la plataforma
Android 2.2 (vase la figura [4.1]). Una conexin Wi-Fi se utiliza para conectar las

aplicaciones cliente-servidor. En la parte superior del sistema de NexCAVE es un

sistema de seguimiento ptico ART TrackPack4. Se utiliza para realizar un
seguimiento de las posiciones y movimientos de los usuarios dentro de la VE. En las

siguientes secciones, vamos a discutir los resultados iniciales de la manipulacin de

la cmara y el objeto tareas de seleccin.

Figura 4.1: El uso de dispositivos de mano con el NexCAVE: a la izquierda es un

dispositivo mvil y de la derecha es un dispositivo de tableta.

4.1.1 La manipulacin de la cmara

Figura [4.2] Da un ejemplo del uso del mvil como un dispositivo de salida en el
sistema. Podemos ver que el dispositivo mvil es capaz de mostrar el rea cubierta
por el mvil en la pantalla NexCAVE. En este caso, el dispositivo mvil se considera

una cmara virtual que se utiliza para ver el VE en la pantalla mvil.

 53

Figura 4.2: Ejemplo del uso de un dispositivo mvil como un dispositivo de salida
para ver el VE.

Figura [4.3] Muestra dos ejemplos del uso de un dispositivo mvil para mover el
era cam- virtual alrededor del objeto dentro de la VE con el fin de ver el objeto desde

todos los lados. Este mtodo permite a los usuarios moverse libremente dentro del
VE y ver todo a travs de la pantalla del mvil.
 54

Figura 4.3: Cmara de manipulacin de fotografas en pantalla: usando el dispositivo

mvil para manipular la cmara virtual alrededor del objeto en 3D con el fin de ver
el objeto desde todos los lados (a) El lado frontal del objeto, (b) El lado derecho del
objeto , (c) la parte superior y los lados del objeto, y (d) el lado posterior del objeto.
 55
4.1.2 ObjetoSeleccin

A seleccionar un objeto, el usuario tiene que encontrar el objeto de destino con el

dispositivo mvil y seleccionar el objeto directamente desde la pantalla tctil. El
objeto seleccionado es entonces destaca por un cuadro delimitador y otras
operaciones se puede realizar. Figura [4.4] Muestra un ejemplo de uso del

dispositivo mvil para seleccionar el objeto con el fin de moverla de un lugar a otro
dentro de la VE.

4.2 Prueba de evaluacin

En esta seccin, vamos a describir los objetivos de la prueba, entorno de prueba, los

participantes, tareas y procedimiento de prueba.

4.2.1 Pruebaobjetivos

El objetivo principal de la prueba informal fue evaluar la eectiveness y la

satisfaccin subjetiva de utilizar el dispositivo mvil como 3D-controlador para
interactuar con el VE. Se pidi a los participantes a interactuar con el VE para aplicar

las tareas de manipulacin de la cmara y seleccin de objetos, y luego grabar sus

opiniones sobre el uso del dispositivo mvil para la interaccin en lugar de otros
dispositivos tales como el dispositivo de Gyro-ratn.

4.2.2 PruebaAmbiente

Todos los participantes se les dio el mismo dispositivo mvil Galaxy cantado-Sam

que contiene la aplicacin, y se ensayaron en el sistema de NexCAVE. El experimento

se realiz en KAUST en la visualizacin Laboratory KAUST (KVL).
 56

Figura 4.4: seleccin de objetos de fotografas en pantalla: usando el dispositivo

mvil para seleccionar y mover un objeto 3D de derecha a izquierda.
 57
4.2.3 Participantes

Ser capaz de probar el sistema, los estudiantes KAUST y sta se utiliz como prueba
de la comuni- dad. La prueba se realiz informal con 10 participantes, donde cinco
hembras y cinco machos fueron elegidos aleatoriamente de colegios KAUST. Los
participantes procedan de las ciencias divisiones biologa, ingeniera, y de la

computadora. Ellos estaban familiarizados con Smart-uso del telfono, y no haba

necesidad de que las especificaciones o habilidades particulares para realizar la
prueba.

4.2.4 Tareas

tareas mltiples fueron diseados para evaluar la interaccin mediante dispositivos

mviles y Gyro-ratn. Dos tareas se llevaron a cabo para el dispositivo mvil. El
primero tiene que ver con el mvil para manipular la cmara virtual dentro del VE
con el fin de ver el objeto desde todos los lados y tambin para ver el campo de

visin virtual desde el otro lado de la NexCAVE. Esto permitir al usuario ver e
interactuar con el VE sin limitaciones (ver Figura [4.5]).

Figura 4.5: Uso del dispositivo mvil para manipular la cmara virtual y para ver el
VE sin limitaciones (la imagen en la esquina es el VE en la pantalla de visualizacin
del dispositivo mvil).
 58
El segundo compuesta utilizando la pantalla tctil en el dispositivo mvil para la

seleccin de objeto directo y la manipulacin para mover el objeto de un lugar a

otro. Por otra parte, una tarea se llev a cabo para el dispositivo Gyro-ratn, que
estaba usando botones para seleccionar de manera indirecta y manipular el objeto

en un espacio virtual en 3D (vase la Figura [4.6]).

Figura 4.6: tarea de manipulacin directa e indirecta: a la izquierda es la

manipulacin indirecta y de la derecha es la manipulacin directa.

La ltima tarea era para permitir que dos usuarios introducir el VE, un usuario

utilizando un Gyro-ratn y el otro mediante un dispositivo mvil para interactuar al

mismo tiempo con el VE (vase la Figura [4.7]).

Figura 4.7: Mltiples usuarios que interactan con el VE usando un dispositivo mvil
y un ratn Gyro-.
 59
4.2.5 PruebaProcedimiento

La prueba se realiz informal con cada participante de forma individual. Las citas
fueron programadas con cada participante 15 das antes de la prueba. Antes de
comenzar la prueba, los participantes se les dio una breve explicacin de la finalidad
y el procedimiento de la prueba (ver Apndice A). La aplicacin del lado del cliente

haba sido instalado previamente en un Galaxy cantado-Sam S Smart-telfono con la

plataforma Android 2.2. En la prueba, se pidi a los participantes a llevar el
dispositivo Gyro-ratn para realizar una lista de tareas y despus de terminar se les

pedir a llevar el dispositivo mvil para realizar las mismas tareas con el fin de
comparar entre ellos. El tiempo para la prueba era ilimitado y la duracin para cada
participante vari de 10 a 15 minutos. Despus de realizar la prueba, se pidi a los

participantes que respondan el cuestionario de usuario y registrar sus opiniones y

sugerencias. El cuestionario incluye siete preguntas divididas en tres partes (ver
Apndice A). La primera parte incluye tres preguntas de comparacin. Esto implica
una comparacin entre el mvil y los dispositivos Gyro-ratn en trminos de

facilidad de uso, facilidad de aprendizaje, y cuyo dispositivo de aumento de la

inmersin y la sensacin de presencia dentro de la VE. Estas preguntas son las
siguientes:

1. Qu dispositivo es mejor para manipular el objeto en VE usando una pantalla

tctil o un botn del puntero?

2. Qu dispositivo aumenta la inmersin y la escena de la presencia dentro del

VE?

3. Cul de los dos dispositivos es ms fcil de aprender a realizar la tarea de

manipulacin de objetos?

La segunda parte del cuestionario incluye tres declaraciones respecto a la

satisfaccin del usuario. Se les pide a los participantes si estn de acuerdo o no con
la tos por el estado. Estas declaraciones califica el concepto general del sistema que
 60
se utilizan dispositivos mviles para la interaccin 3D dentro del VE. Estos estados

son los siguientes:

 61
4. El uso de dispositivos mviles como un controlador de 3D facilita la seleccin

ulacin y el objeto manip- de la tarea interaccin dentro de la VE.

5. El uso de una pantalla tctil en dispositivos mviles para interactuar con

entornos virtuales ayuda a reducir el tiempo que se tarda en aprender a
manipular los objetos en el mundo virtual mediante la desactivacin de las
funciones de los botones y utilizando la pantalla tctil.

6. Yo prefiero tener mi propio dispositivo mvil para mover objetos por m

mismo en lugar de no usar el mvil y pidiendo al usuario del controlador para
mover objetos de un lugar a otro.

La tercera parte incluye una pregunta abierta a conocer la retroalimentacin de

los participantes con respecto a sus opiniones y sugerencias. Esta pregunta es la

siguiente:

7. Escribirsu opinin y sugerencia? (Le gust o no le gusta).

4.3 resultados

Despus de realizar la prueba informal, se recogieron los datos de los cuestionarios

de los usuarios. El cuestionario se utiliz para investigar la comparacin entre los
dispositivos mviles y Gyro-ratn. Adems, se explor el nivel de la satisfaccin del

usuario de usar el mvil como un dispositivo de interaccin en el VE.

4.3.1 Comparacin con el Estado-of-the-Art Resultados

Dispositivos

La prueba evalu la mvil como dispositivo de interaccin 3D a travs de un

experimento que compara la tarea de seleccin de objeto usando dos dispositivos de

entrada, especficamente el mvil y los dispositivos Gyro-ratn. Un objeto 3D se

present en el NexCAVE y la pantalla del mvil; el usuario sea necesario para
seleccionar el objeto utilizando la pantalla tctil y la traslade de un lugar a otro. El
 62
experimento se repiti con la Gyro-ratn
 59
dispositivo. Los resultados de la primera parte del cuestionario con respecto a la

comparacin entre el mvil y los dispositivos Gyro-ratn fueron los siguientes:

por la primera pregunta, el 100% de los participantes informaron de que el

dispositivo mvil es mejor para la manipulacin de objetos en el VE utilizando la
pantalla tctil. Para la segunda pregunta, 100% de los participantes dijo que el
dispositivo mvil aumenta la inmersin y la sensacin de presencia dentro de la VE.

Por ltimo a la tercera pregunta, el 80% de los participantes informaron que el uso
de los dispositivos mviles son fciles de aprender cmo usarlo mientras se
manipula el objeto en el VE, mientras que el 20% de ellos se encontr que el uso de

mviles y los dispositivos de Gyro-ratn son equivalentes en facilidad de

aprendizaje para manipular el objeto en el VE.

4.3.2 La satisfaccin del usuario Resultados

Los resultados del cuestionario en la parte satisfaccin del usuario se midieron a

travs de tres estados (preguntas cuatro, cinco y seis) dados a los usuarios despus
de que el complemento cin de las tareas. El resultado en el primer elemento, que
era declaracin de cuatro, mostr que el 90% de los participantes muy de acuerdo
con esta afirmacin, mientras que el otro 10% de los participantes de acuerdo en

que utilizan dispositivos mviles facilitan la interaccin dentro de la VE (vase la

Figura [4.8]). Adems, el resultado en la segunda declaracin, que fue la pregunta
cinco, muestra que el 40% de los participantes estuvo muy de acuerdo, el 50% de

los participantes estuvo de acuerdo, y el 10% de los participantes no estaban

seguros de si el uso de dispositivos mviles reducen el tiempo necesario para
aprender cmo tratar dentro de la VE (vase la Figura [4.9]). Por ltimo, el resultado

en el tercer punto que era cuestin de seis mostr que todos los participantes
prefieren muy de acuerdo y de interactuar a s mismos dentro de la VE (vase la
Figura [4.10]).

En general, todos los participantes juzgado que la interaccin utilizando los

 60
dispositivos mviles dentro de la VE es fcil y cmodo de usar, y tenan actitudes

positivas hacia el sistema.

 61

Figura 4.8: Resultados - El uso de dispositivos mviles para facilitar la interaccin

con el VE.

Figura 4.9: Resultados - El uso de dispositivos mviles para reducir el tiempo

necesario para aprender cmo hacer frente a VE.
 62

Figura 4.10: Resultados - Los usuarios que prefieren interactuar a s mismos con el
VE usando dispositivos mviles.

4.3.3 Resumen de resultados

Los resultados se exponen con ms detalle como sigue:

Todos los participantes encontraron que el uso de dispositivos mviles facilitan

las interacciones dentro de la VE en lugar de utilizar los dispositivos de entrada
tradicionales.

Todos los participantes encontraron que el uso de la pantalla tctil de los

dispositivos mviles, en lugar de utilizar los botones de los dispositivos de
entrada tradicionales, facilita la interaccin dentro de la VE de una manera
eective.

Todos los participantes encontraron que el uso de dispositivos mviles con

manipu- cin directa mediante el empleo de la pantalla tctil para seleccionar
los objetos a mano puede aumentar la inmersin y la sensacin de presencia
dentro del mundo virtual.
 63
Ms de la mitad de los participantes informaron de que el uso de dispositivos
mviles puede reducir
 64
el tiempo necesario para aprender a lidiar con el VE.

Todos los participantes prefirieron utilizar sus propios dispositivos mviles

para interactuar con el VE en vez de estar cerca de la usuario del controlador y

solicitando objetos pueden mover en el VE.

4.3.4 Participante Evaluacin general

respuestas, las respuestas y sugerencias de los participantes se obtuvieron de la

tercera parte del cuestionario (pregunta siete). Sobre la base de las opiniones de los

participantes que trataron de nuestro sistema, se podra argumentar que el uso de

dispositivos mviles para la interaccin dentro de la VE para seleccionar y
manipular objetos es fcil de aprender y utilizar, facilita la interaccin en entornos

virtuales, y aumenta la inmersin y la sensacin de presencia dentro de el VE. Nos

damos cuenta de que esto es slo evidencia anecdtica apoyada por los comentarios
de los usuarios. Algunos de los comentarios fueron:

Uso del mvil tiene grandes caractersticas, aprender un poco mejor que Gyro-
ratn, y en general utilizando el dispositivo mvil con pantalla tctil es mejor

para la interaccin.

El uso de dispositivos mviles con pantalla tctil es ms fcil para aprender a

seleccionar y manipular el objeto en el VE, porque no hay manera de saber
sobre el men CalVR en el servidor sin orientacin. Adems, no hay duda de

que la idea de sustituir el Gyro-ratn con el dispositivo mvil es un progreso

esencial para el VE uso, pero algunas mejoras deben ser considerados en el
trabajo futuro para mejorar la tarea de seleccin de objetos .

La idea de utilizar los dispositivos mviles como un dispositivo de interaccin

animar a la gente a usar el VE con sus propios recursos en lugar de utilizar los
dispositivos de realidad virtual para interactuar con el mundo virtual.
 65
El uso de dispositivos mviles aumenta la flexibilidad de la interaccin,

especialmente para los usuarios que no saben cmo interactuar con el mundo

virtual en 3D.

Me gusta la idea de permitir que mltiples usuarios interactuar con el VE

con su propia pantalla para ver el VE en lugar de utilizar la pantalla grande

para ver el VE.

Creo que el uso de este tipo de mtodo de interaccin con mltiples objetos y
usuarios para la aplicacin dierent tales como juegos, por ejemplo, har que
esta tcnica
ms eflcient para su uso en el VE .

4.4 Discusin

Nosotros tratado de examinar la posibilidad de utilizar dispositivos mviles para

interactuar con el VE para realizar tareas simples, tales como la manipulacin y

seleccin de objetos. Hemos llevado a cabo una prueba informal para comparar el
uso de los dispositivos mviles y Gyro-ratn, y para eva- luar la satisfaccin del
usuario en relacin con el uso del dispositivo mvil para interactuar dentro del VE.
Los resultados demostraron que todos los usuarios probados estaban dispuestos a
utilizar su propio mvil para interactuar con el VE con tipos dierent de

aplicaciones y con mltiples usuarios.

De el resumen de los resultados anteriores, se puede decir que el sistema puede

facilitar las interacciones dentro de la VE. Esto es debido a que es fcil de usar en

trminos de su diseo simple, que desactiva las funciones de los botones y emplea la
pantalla tctil para tareas sencillas. El uso de la pantalla tctil tambin puede
permitir a los usuarios utilizar el dispositivo de interaccin sin tener que memorizar

las funciones de los botones.

 66
El uso de un dispositivo mvil puede aumentar la inmersin y la sensacin de

presencia dentro del mundo virtual mediante el uso de la pantalla tctil para mover
los objetos. Debido a que utiliza la interaccin manipulacin directa que permite a
los usuarios se convierten en parte de la VE, ya que
 67
usar sus manos para seleccionar y manipular los objetos con la pantalla tctil.

Con respecto a la capacidad de uso de los dispositivos mviles y Gyro-ratn para

seleccionar y ma- objetos nipulate en el VE, podemos decir que unos pocos

participantes encontraron que la facilidad de uso de ambos dispositivos es

equivalente, y esto se debe a que ya tenan experiencia en el uso de Gyro -mouse
dispositivos antes de que se realiza el examen. Sin embargo, los otros participantes

encontraron que la capacidad de uso del mvil era mejor que la del dispositivo de
Gyro-ratn en trminos de facilidad de aprendizaje.

Por otra parte, todos los usuarios prefieren interactuar con el VE a s mismos

mediante el uso de dispositivos mviles para sentir que son parte del mundo virtual

y que les permita interactuar con mltiples usuarios con el VE al mismo tiempo. Esto
sucede mediante el uso de sus propios dispositivos mviles en lugar de tener slo
un usuario interactuar con el mundo virtual y los dems mirando el VE sin ninguna

interaccin. Esto proporciona a los usuarios una experiencia ms interesante en el

mundo virtual y un fuerte sentido de ser parte de la VE.

En resumen, el uso de dispositivos mviles puede resolver un problema

relacionado con los dispositivos de entrada tradicionales, que utilizan la interaccin

indirecta a travs de la manipulacin de la existencia de botones. Adems, se puede

aumentar la inmersin y la sensacin de presencia dentro del mundo virtual a
travs de la pantalla tctil. Por otra parte, todos los participantes estuvieron de

acuerdo del uso de dispositivos mviles como un gran dispositivo de interaccin

dentro de la VE, ya que tiene magnficas caractersticas que captura la atencin de
los usuarios y desarrolladores.
 68

Captulo 5

Conclusin y trabajo futuro

5.1 Conclusin

Tenemos enfoques alternativos propuestos para interactuar con el VE mediante el

uso de dispositivos mviles para tareas de manipulacin de la cmara y seleccin de
objetos. Con este enfoque, el usuario es capaz de utilizar el dispositivo mvil con

tipos dierent de aplicaciones para interactuar con el VE. El uso de dispositivos

mviles puede resolver el problema de la utilizacin de dispositivos de entrada
tradicionales dentro de la VE, que utiliza la manipulacin indirecta (interaccin a
travs de toneladas Pero-). Adems, los dispositivos mviles permiten la
manipulacin directa mediante una pantalla tctil que puede aumentar la inmersin
y la sensacin de presencia dentro del mundo virtual y Vides pro muchas

posibilidades de tcnicas de interaccin 3D en grficos y visualizaciones del mundo

virtual, ya que oers independencia de insumos tradicionales, mientras el
movimiento y la interaccin con los objetos espaciales en 3D. Se encontr que el uso
de telfonos mviles es fcil de aprender y utilizar para la interaccin dentro del VE.
Todos los resultados de las pruebas informales indican que el uso de dispositivos
mviles facilita las tareas de interaccin y todos los participantes coincidieron en la
usabilidad de utilizarlo como un dispositivo de interaccin poderosa dentro del VE.
 69
5.2 Trabajo futuro

Como trabajo futuro nos gustara realizar una prueba de evaluacin formal para

evaluar el uso de los dispositivos mviles de los aspectos dierent para compararlo
con tipos de dispositivos de interaccin dierent VR. Esta evaluacin se referir
sobre la comparacin de la precisin, los tiempos de las tareas de terminacin y la
eectiveness de utilizar la pantalla tctil o los botones para realizar tareas de
interaccin dentro del VE. Adems, vamos a construir una aplicacin completa para

ser instalado en cualquier tipo de sistema operativo (SO Android / iOS) y compatible
con clases dierent de dispositivos mviles. Adems, un mayor desarrollo se podra
hacer para interactuar con mltiples objetos al permitir al usuario importar una
escena completa que contiene una serie de objetos en el servidor y, as como en el
cliente para interactuar con las dos escenas al mismo tiempo.

Por otra parte, algunas mejoras se podran hacer para permitir que varios
usuarios interactuar con un medio ambiente al mismo tiempo usando sus propios

dispositivos de forma local o remota. EVs locales pueden llevar a cabo mediante la
adicin y la aceptacin de los usuarios reales de compartir un VE, al mismo tiempo
(ver Figura [5.1]). Por otro lado, podemos lograr entornos virtuales remotos si el
uso de NexCAVE o nico sistema de seguimiento ptico. Esto sucede por el ex

panding la red para conectar entre ms de un local de VE para agregar y aceptar los
usuarios reales y virtuales para el entorno virtual para interactuar entre s (vase la
Figura [5.2]).

Finalmente, para hacer que el telfono mvil el nico dispositivo que se utiliza

para interactuar con el VE para realizar todas las tareas de interaccin (como la
manipulacin, seleccin de objetos, y la navegacin), tenemos que aadir la tarea de
navegacin para las dos tareas anteriores: la manipulacin de la cmara y seleccin

de objetos. Esto se lograr mediante la entrada de dos dedos en una pantalla tctil
para navegar por la cmara en el VE.
 70

Figura 5.1: entorno virtual local con mltiples usuarios.

Figura 5.2: entorno virtual Global: remota de conexin entre los entornos virtuales
mltiples locales.
 71
5.3 Lecciones aprendidas

Nosotros comenz nuestro proyecto de investigacin con la idea de utilizar

dispositivos mviles para interactuar con el VE. Despus se hicieron bsquedas y

leer la mayora de los papeles, carteles, y ar- tculos publicados, encontramos que la
investigacin en este campo tiene un tamao limitado y la mayora de los proyectos
de investigacin terminado con PDAs y dispositivos antiguos. Adems, se encontr
que la mayor parte de la bsqueda re estaba preocupado con el uso de dispositivos

mviles en la realidad aumentada (AR) y pocos de ellos es el uso de dispositivos

mviles para la interaccin. Esta limitacin caus dificultades en los recursos de
informacin COL- lecting para la escritura. Por otra parte, estas pocas fuentes
encontradas Nos dieron con las ideas y alentaron a que continuemos buscar
profundamente en este campo y centrarse ms en algunos detalles, tales como
capacidades mviles, permitiendo que mltiples usuarios interactuar entre s, y el

aumento de la inmersin para interactuar con el mundo virtual eectively.

En consecuencia, hemos decidido hacer un uso completo para ser instalado en

los dispositivos mviles para interactuar con el VE. Esta aplicacin tiene algunas
caractersticas recogidas de las investigaciones existentes y algunos de ellos
nuestras propias ideas. Esta aplicacin es capaz de hacer todas las tareas de in-
teraccin en un dispositivo como la manipulacin, seleccin de objetos, y la

navegacin. Adems, nuestro objetivo era hacer un estudio formal para publicar el
trabajo en una conferencia internacional. Pero ya que haba un lmite de tiempo, ya
que nos limita slo a seis meses para la ejecucin y la escritura, que decidimos hacer

slo los resultados iniciales para demostrar que el uso de dispositivos mviles como
un controlador 3D es capaz de hacer todas las tareas de VE.

Nosotros esperar que el uso de dispositivos mviles como un dispositivo de

interaccin proporcionar algunas ventajas. Se puede reemplazar el dispositivo de

RV (Por ejemplo los sistemas y sistemas de cuevas de seguimiento) que son tan
 72
caros mediante el uso de sensores y construido en la pantalla incorporada. Ms-

ms, puede permitir a las personas y organizaciones que utilizan 3D entorno virtual
en cualquier lugar sin restricciones.
 73

En cuanto a la parte de la implementacin, hemos enfrentado algunos obstculos

con programa- cin en CalVR y OSG en el dispositivo mvil se utiliz con este

sistema. Aqu hay algunas lecciones aprendidas de estos problemas:

1. Este proyecto necesita experiencia en la biblioteca CalVR, y no hay recursos

para CalVR marco de trabajo en el Internet.

2. Este proyecto necesita experiencia en el marco de la programacin de JNI para

construir la interfaz de Java con el fin de interactuar con las bibliotecas de OSG
en OS Android con C ++ y Java idiomas.

3. No utilice OSG con sistema operativo Android, ya que hay pocos recursos en

lnea para aprender acerca de l y hay pocos expertos en esta tcnica. Tambin

hay algunas limi- taciones en la programacin y algunos dispositivos mviles y

tabletas son incompatibles con esta biblioteca.

4. Nosotrosfomentar el uso de otras plataformas o herramientas de la biblioteca

grfica en el dispositivo mvil en lugar de utilizar la biblioteca OSG. Esto har

que la programacin sea ms fcil y sin ningn tipo de limitaciones. Por lo

tanto, se recomienda utilizar la herramienta Unity3D que es un motor grfico

que utiliza OpenGL ES para el sistema operativo Android y otros sistemas
operativos.

5. Algunos ejemplos de las limitaciones en la programacin que nos enfrentamos

cuando usamos OSG con Android:

Slo determinados tipos de modelos que funcionan con OSG en Android

(por ejemplo, .osg o Osgt).

Modos de carcasa, tales como osg :: :: PolygonMode LINE, no es compatible

con la OSG para android.
 74

Referencias

[1] G. Nalbant y B. Bostan, La interaccin en la realidad virtual, en el 4

Simposio Internacional de Diseo Interactivo medial (ISIMD), 2006.

[2] E. Hodgson, E. Bachmann, D. Waller, A. Bair, y A. Oberlin, realidad virtualen

la naturaleza: Un sistema autnomo y porttil de simulacin , en los Talleres
de Realidad Virtual (VR), IEEE 2012. IEEE, 2012, pp. 157-158.

[3] WR Sherman y AB Craig, Descripcin realityinterface virtual, aplica- cin, y el

diseo, Presencia: Teleoperadores y entornos virtuales, vol. 12, no. 4, pp. 441-
442, 2003.

[4] J. Steuer, Definicin de realidad virtual: Dimensiones determinar

telepresencia, Journal of comunicacin, vol. 42, no. 4, pp. 73-93, 1992.

[5] J.-S. Kim, D. Gracanin, K. Matkovic, y F. Quek, iPhone / iPod Touch como
dispositivos de entrada para la navegacin en entornos virtuales de
inmersin, en la Conferencia de la realidad virtual, 2009. VR 2009. IEEE.
IEEE, 2009, pp. 261-262.

[6] RE. A. Arquero, MI. Kruij, J. J. LaViola Jr, y YO. PAGoupyrev, 3D usuario
interfaces: teora y prctica. Addison-Wesley, 2004.

[7] JP Schulze, A. Prudhomme, P. Weber, y TA DeFanti, Calvr: una

avanzada framework de cdigo abierto software de realidad virtual , en IS &
T / SPIE Electronic ima- ing. Sociedad Internacional para la ptica y Fotnica,
2013, pp. 902-864 864 902.

[8] JH Chuah y B. Lok, Experiencias en el uso de un telfono

inteligente como un re virtuales lidad dispositivo de interaccin , en el
Taller sobre O de la plataforma de Realidad Virtual, Condado de Orange, CA,
2012.
 75
[9] simulador de vuelo Sx02 con pantalla envolvente. [En lnea]. Disponible: http:
//www.bornrich.com/sx02-flight-simulator-with-surround-screen.html

[10] Cmo engranaje de la realidad virtual funciona. [En lnea]. Disponible:http: //

electrnica. howstuworks.com / aparatos / otros-gadgets / VR-gear2.htm

[11] KAUST ncleo visualizacin crnea laboratorio. [En lnea].

Disponible:http://kvl.kaust.edu. SA / Pginas / CORNEA.aspx

[12] KAUST visualizacin ncleo laboratorio shaow caso. [En

lnea]. Disponible: http:
//kvl.kaust.edu.sa/Pages/Showcase.aspx

[13] METRO. Guti'errez, F. Vexo, y D. Thalmann, El animador mvil: animacin de

personajes interactiva en entornos virtuales de colaboracin, en Realidad
Virtual, 2004. Proceedings. IEEE. IEEE, 2004, pp. 125-284.

[14] N. Katzakis y M. Hori, Los dispositivos mviles como controladores de varios

grados de libertad, en interfaces de usuario 3D (3DUI), 2010 IEEE Simposio
sobre. IEEE, 2010, pp. 139-140.

[15] D. Lee, J.-I. Hwang, Kim GJ, y SC Ahn, la interaccin 3D usando el dispositivo
mvil en entornos 3D con pantalla grande, en Actas de la 13 Conferencia
Inter- nacional sobre la Interaccin Hombre con dispositivos y servicios
mviles. ACM, 2011, pp. 575-580.

[16] MM Miguel, T. Ogawa, K. Kiyokawa, y H. Takemura, A See- basado en PDA

travs de la interfaz dentro de un ambiente de inmersin, en realidad
artificial y Telexistence, 17a Conferencia Internacional sobre. IEEE, 2007,
pp. 113-118.

[17] K. Watsen, R. Ms oscuro, y M. Capps un ordenador de mano como un

dispositivo de interaccin para un entorno virtual, en Tercera Internacional
Immersive taller tecnologa de proyeccin (IPT 1999), Stuttgart, Alemania,
1999.

[18] METRO. Weber, T. Pfeier, y B. Jung, Pr @ senz-p @ ce: la interaccin mvil

con la realidad virtual, en Actas de la 7 Conferencia Internacional sobre la
interaccin persona-ordenador con dispositivos y servicios mviles. ACM,
2005, pp. 351-352.
 72
[19] G. Marsden y N. Consejo, el control de navegacin para entornos virtuales
mviles, en Actas de la 7 Conferencia Internacional sobre la interaccin
persona-ordenador con dispositivos y servicios mviles. ACM, 2005, pp. 279-
282.

[20] K.-P. Yee,Mirilla pantallas: la interaccin pluma en com- putadoras de mano

espacialmente conscientes, en Actas de la conferencia SIGCHI en factores
humanos en los sistemas de computacin. ACM, 2003, pp. 1-8.

[21] DM Fotis, D. Mountain, F. Liarokapis, J. Raper, y V. Brujic-okretic, Inter-

actuando con los modelos de realidad virtual en dispositivos mviles, en la
Universidad de Salzburgo. Citeseer de 2005.

[22] S. Kndel, M. Hachet, P. Guitton et al., La visualizacin y la interaccin con la

tecnologa mvil. En Mobile HCI, 2008, pp. 557-558.

[23] J.-S. Kim, D. Gracanin, K. Matkovi'c, y F. Quek, Finger caminar en el lugar

(fwip): Una tcnica de desplazamiento en entornos virtuales, en Smart
Graphics. Springer, 2008, pp. 58-69.

[24] A. Benzina, M. Toennis, G. Klinker, y M. Ashry, control de movimiento

basado en un telfono en vr: anlisis de grados de libertad, en CHI'11
Resmenes Extendidos en factores humanos en sistemas de computacin.
ACM, 2011, pp. 1519-1524.

[25] Y. Du, H. Ren, G. Pan, y S. Li, Tilt & contacto: telfono mvil de in- teraccin
3d, en Actas de la 13 conferencia internacional sobre computacin ubicua.
ACM, 2011, pp. 485-486.

[26] JY Lee, MS Kim, DW Seo, C.-W. Lee, JS Kim, y SM Lee,

Dualinteracciones entre mltiples pantallas y telfonos inteligentes para el
diseo y la distribucin de colaboracin , en Realidad Virtual Conferencia (VR),
IEEE 2011. IEEE, 2011, pp. 221-222.

[27] NexCAVEsistema de visualizacin interactiva ayuda a la investigacin

universitaria. [En lnea].
Disponible: http://www.kaust.edu.sa/media/features/nexcave.html

[28] Trackpack4. [En lnea]. Disponible:http://www.abs-tech.com/produto.php?id

produto = 913
 73
[29] R. Wang y X. Qian, OpenSceneGraph 3.0: Gua para principiantes. PACKT
Lishing pu- de 2010.
 74

APNDICES

UN Apndice UN

Pruebas y Evaluacin
Interaccin Virtual Realty Uso de dispositivos
mviles

Estimado participante, el objetivo de este trabajo es hacer que los dispositivos

mviles como 3D-controlador para interactuar y realizar tareas simples, tales como

la manipulacin y seleccin de objetos dentro del entorno virtual. El propsito de la

prueba informal es de- terminar la usabilidad, la eectiveness, y la satisfaccin
subjetiva de utilizar el dispositivo mvil como un dispositivo de interaccin en el
mundo virtual en 3D. El repre- eectiveness se resiente de la inmersin y la
sensacin de formar parte del entorno virtual tocando y moviendo el objeto en 3D
directamente con la mano. La prueba se llevar a al menos quince minu- tos. Se le

dar algunas tareas a realizar con el dispositivo mvil y luego va a repetir las
mismas tareas con Gyro-ratn de comparar entre ellos. Despus de completar todas
las tareas, se le pedir a responder el cuestionario y escribir su opinin y
sugerencias. Cualquier comentario o sugerencia de sus pensamientos acerca de la
interaccin utilizando los dispositivos mviles se supone que deben contribuir a
este estudio para obtener mejores ideas y resultados.
Gracias por tu participacin, Sahar
Aseeri
 75
Lista de tareas:

1. Objeto Seleccin utilizando el dispositivo de Gyro-ratn

Seleccionar y manipular objetos con el botn izquierdo utilizando el dispositivo
de Gyro-ratn.

2. La manipulacin de la cmara mediante dispositivo mvil

Encontrar el objeto utilizando la pantalla de visualizacin mvil en el entorno

virtual como una cmara virtual.

3. Objeto Seleccin mediante dispositivo mvil

Seleccionar y manipular objeto mediante la entrada de un solo dedo en una

pantalla tctil mediante el uso de dispositivo mvil.

4. Usando el mvil y el Gyro-ratn al mismo tiempo.

Dos usuarios de un dispositivo mvil de uso y el otro dispositivo de un solo uso
Gyro-ratn.

Preguntas Comparacin:

1. Qu dispositivo es mejor para manipular el objeto en VE usando la pantalla

tctil o el botn del puntero?

Mvil (Interaccin directa mediante pantalla tctil)

Gyro-ratn (Interaccin indirecta utilizando el botn del puntero)

2. Qu dispositivo aumenta la inmersin y la sensacin de presencia dentro

del mundo vir- tual?

Mvil

Gyro-ratn
 76
3. Cul de los dos dispositivos es ms fcil para aprender a realizar la tarea de
manipulacin de objetos?

Mvil

Gyro-ratn

Satisfaccin del usuario:

4. El uso de dispositivos mviles como un controlador de 3D facilitar la

seleccin tareas de interaccin ma- nipulacin y el objeto dentro del entorno

virtual.

Totalmente de acuerdo De acuerdo Incierto Discrepar

Fuertemente Discrepar

5. El uso de una pantalla tctil en dispositivos mviles para interactuar con Ives
ayuda a reducir el tiempo que se tarda en aprender a manipular los objetos en

el mundo virtual mediante la desactivacin de las funciones de los botones y el

uso de la pantalla tctil.

Totalmente de acuerdo De acuerdo Incierto Discrepar

Fuertemente Discrepar

6. Yo prefiero tener mi propio dispositivo mvil para mover objetos por m

mismo en lugar de no usar el mvil y pidiendo al usuario del controlador para
mover objetos de un lugar a otro.

Totalmente de acuerdo De acuerdo Incierto Discrepar

Fuertemente Discrepar

Pregunta abierta:
 77
7. Escribir su opinin y sugerencia? (Le gust o no le gusta)