La Realidad Mediada

Hoy: Realidad Virtual de bajo costo con Head Mounted

displays y Cardboards

Una introduccin a las tecnologas para

la modelizacin fsica y representacin
espacial simultnea de informacin digital
Lic. Miguel Grassi
UNTREF Laboratorio de Arte Electrnico e Inteligencia Artificial
La Realidad Intervenida

1) Realidad Virtual (RV - VR)

2) Realidad Aumentada (o
Expandida)

2-1) Realidad Expandida Mvil

2-2) Realidad Aumentada
Espacial (SAR)

2-3) Virtualidad aumentada (AV -
Augmented Virtuality)

3) Realidad Mixta (Mixed Reality)

4) Realidad Mediada (Computer-
mediated reality)

5) Virtualidad Embebida
(Emboded Virtuallity o Embedded
System)

6) Intervencin Robtica (I-ROB)

7) Realidad Intervenida (R-INT)
 Realidad Virtual

Designa los sistemas donde

los estmulos sensoriales
reales pretenden
reemplazarse completamente
por los que genera el sistema.

Ejemplo: Oculus Rift, Samsung Gear

VR, HTC Vive, PlayStation VR, etc. :
 Realidad Aumentada o Expandida

Define aquellos sistemas en los

que la percepcin -directa o
indirecta- del mundo real es
enriquecida mediante el
agregado de informacin digital,
sin reemplazar completamente la
percepcin directa de los objetos
reales, sino complementndola
con informacin no evidente de
otro modo .

Ejemplo: Google Glass,

Microsoft HoloLens, etc. :
 Realidad Expandida Mvil
La percepcin de la
realidad es indirecta,
mediante un
dispositivo mvil
(Tablet, Smart Phone
o similar) dotado de
cmara y pantalla.

CulTu-RA Plataforma de Realidad Aumentada para Cultura y

Turismo - Miguel Grassi - 2012
Virtualidad Aumentada (AV)

Consiste en la
integracin de elementos
reales, (personas, el
propio usuario,
dispositivos...) dentro de
un entorno virtual mayor
(Wii Remote, Kinect) en
las que el usuario
comanda, mediante
actitudes corporales, un
avatar de si mismo
inmerso en el mundo
virtual de la aplicacin
Realidad Aumentada Espacial (SAR)

El agregado de la
informacin se hace
directamente sobre los
objetos reales,
generalmente mediante
alguna tcnica de
proyeccin. La
percepcin del objeto en
esos casos suele ser
directa.
Realidad Mixta (Mixed Reality)

En 1994 Paul Milgram y Fumio Kishino definen la realidad mixta

como "cualquier lugar entre los extremos de un continuum que se
extiende entre los extremos del mundo real y la virtualidad
completa"[1].

El uso de esta denominacin permite referirse al campo completo,

sin necesidad de precisar una determinada ubicacin dentro de ese
continuum.

[1] Taxonomy of Mixed Reality Visual Displays, P. Milgram and A. F. Kishino, IEICE
Transactions on Information and Systems, E77-D(12), pp. 1321-1329, 1994.
Realidad Mediada (Computer-mediated reality)

Bajo esta denominacin

podramos englobar todos
los puntos anteriores, y se
aplicara a aquellos sistemas
que aumentan, diminuyen o
de algn otro modo
MODIFICAN mediante la
intervencin de
computadoras, la percepcin
que se tiene del mundo real
Virtualidad Embebida (Emboded
Virtuallity o Embedded Systems)

El trmino hace referencia al concepto de la computacin ubicua,
popularizado por Mark Weiser en su famossimo artculo de la revista
Scientific America[1] en 1991. Consiste en la incorporacin de la capacidad
de procesamiento electrnico de la informacin en la mayora de los
objetos cotidianos, con el objeto de multiplicar sus prestaciones.

Esto incluye, especialmente,

dotar a esos objetos de
capacidades de comunicacin
integrndolos en grandes redes
inteligentes

La Internet de las Cosas (IoT)

alcanzar 75 mil millones de
dispositivos para el 2020

[1] The Computer for the 21st Century. Mark Weiser- 09-91 Scientific American Ubicomp
Context Aware Systems

Se basa en dispositivos generalmente mviles- capaces de
sensar su entorno y adaptar su comportamiento al contexto.
 Si bien es un desprendimiento de la
computacin ubicua o pervasiva
profetizada por Weiser, se potencia
ahora gracias al GPS, Bluetooth y BTLE,
redes NFC, iBeacons, etc.
La Internet de las Cosas (IoT)
Intervencin Robtica (I-ROB)
 Es el concepto que proponemos para designar al conjunto de recursos mecatrnicos
y robticos que se integran en los objetos de diseo para darles la habilidad de
desplazarse, modificar su forma y, en general, reaccionar fsica y mecnicamente a
la interaccin con otros objetos, con el usuario y con el entorno en general.
https://youtu.be/lX6JcybgDFo
Intervencin Robtica (I-ROB)

https://goo.gl/photos/6bssmsfZdhF4LeXg8

https://youtu.be/5yG-eGKREWo
Intervencin Robtica (I-ROB)

https://goo.gl/photos/6bssmsfZdhF4LeXg8
Realidad Intervenida (R-INT)

Es la denominacin que proponemos para
asignar al conjunto completo de tecnologas
que acabamos de enumerar.

En las tecnologas Realidad MEDiada

(indicadas con lneas punteada color rojo en
el diagrama) lo nico que se altera es la
PERCEPCION que el usuario tiene de la
realidad; el mundo fsico que el usuario
contempla permanece esencialmente
inalterado para, por ejemplo, un observador
externo

En la Realidad INTervenida (indicada con

lnea continua y color azul), en cambio, se
modifican fsicamente los objetos,
transitoria o permanentemente como
resultado de la relacin con el usuario y el
entorno y esta modificacin es apreciable
tanto para el usuario como para cualquier
eventual observador
Head Mounted Displays

VR de inmersin total con gafas y

auriculares montados en la cabeza
 Inmersin total (VR) con HM Displays

En la Realidad Virtual los estmulos sensoriales reales pretenden
reemplazarse completamente por los que genera el sistema.

La aislacin del ambiente se logra mediante un dispositivo montado en
la cabeza (Head Mounted): Usualmente Gafas, con o sin auriculares.

Oculus Rift Samsung Gear VR HTC Vive PlayStation VR

Google
Cardboards: Original Modelos Enhaced Impresa 3D
Principios que intervienen

Esteroscopa (a cada ojo lo suyo)
Visor estereoscpico Anteojo polarizado actual
porttil J. Fleury
Hermagis, 1870

View-Master
Modelo E ,1950

Anteojo de Anaglifos actual Google Cardboard

Principios que intervienen
 Las experiencias a 360 requieren

Para visualizar

Head tracking

Sincronizar la imagen (estereoscpica y/o panormica)
con el punto de vista del usuario en tiempo real

Para generar

Toma simultnea (video o foto)

Lentes o espejos

Cmaras mltiples sincronizadas

Combinacin de ambas

Panormica en secuencia

Mediante panning

Mediante stitching
 Principios que intervienen

Inmersin - Navegacin

 Hands tracking

Leap Motion

Environment
recognition

VR Tracker: https://youtu.be/kt660Ca99bA
Lo que se viene de Google

Daydream
Otoo 2016 (?) Developer Tablet disponible por
u$s 512. Slo en ciertos pases
HMD con control
manual (BT?)
 Las dos clases principales de dispositivos

Dispositivos que se conectan a PC
o consolas de Video Juego

Pantallas propias

Precio elevado

Vinculados con cable

Alto rendimiento

SDK complejo

Ideales para juegos y aplicaciones
interactivas pesadas, diseadas ad-
hoc, de precio elevado

Recursos de hardware adicionales
para positional tracking, comandos
inalmbricos, etc.

Dispositivos basados en telfonos
mviles (mobile VR headsets)

Sin pantallas propias (usan la del
smartphone)

Bajo costo (sin considerar el precio
del telfono)

Porttiles (sin cable)

Rendimiento mediano

SDK simple

Alta compatibilidad con muchas
aplicaciones generales

Ideales para experiencias visuales a
360, muchas de ellas gratuitas
 Google Cardboard

Versiones comerciales

Van desde los 15 a los 70 dlares

Las oficiales se pueden comprar en: https://vr.google.com/cardboard/get-cardboard/

Versiones DIY (desde 0 a 20 dlares)

3d printed
Cartn

https://vr.google.com/cardboard/downloads/wwgc_manufacturers_kit.zip http://www.thingiverse.com/thing:729029
 Google Cardboard
https://vr.google.com/cardboard/

Manual de 20 pginas con recomendaciones para la fabricacin del modelo
de cartn

Planos detallados

Cambios y mejoras permanentes (Ej. El botn)
Planos de las lentes
Google Cardboard
https://vr.google.com/cardboard/

NFC (Near Field Communication) tag 4 cm

 Permite lanzar automticamente la aplicacin
por default (Cardboard App) al colocar el
telfono en las gafas

Nuevo sistema de botn

 Permite a los usuarios interactuar con la
pantalla. Es compatible con todos los modelos
de telfono, a diferencia del modelo magntico
Google Cardboard
 QR viewer profile
 Permite a los usuarios configurar correctamente las
aplicaciones para que trabajen bien con un modelo de
gafas en particular. Suele imprimirse al costado de las
gafas o en una etiqueta autoadhesiva

 Viewer Profile Generator

 Permite al creador/fabricante de un modelo de gafas
generar un perfil con la informacin de su propio
dispositivo para que el usuario configure sus
aplicaciones y pueda aparearlas con sus gafas
 Brinda herramientas para su ajuste y calibracin
 Finalizada la carga y el ajuste, genera el QR especial
para ese perfil
Google Cardboard
 Uso del Viewer Profile Generator Requiere las gafas a
calibrar, un Smartphone compatible, otra computadora e
Internet

 Se accede desde la computadora (NO desde el telfono) a:

https://vr.google.com/cardboard/viewerprofilegenerator/

 Se cargan en el form que aparece all los parmetros

geomtricos bsicos de las gafas

 Al enviar el form se generar una pgina que presenta una

imagen 360 de un ambiente 3D estereoscpico interactivo que
se usar para la calibracin

 Se accede a ese ambiente virtual con el mvil usando el QR

que aparece en la pgina del formulario. Una vez abierto, se
coloca el smartphone en las gafas a calibrar

 Como el formulario de calibracin est sincronizado con la

imagen de RV, cuando se modifican los valores en el formulario
usando el teclado de la computadora, se altera la imagen que se
ve en el telfono

 Una vez que se logra la imagen correcta, se salva el perfil y se

genera el QR viewer profile especfico para esas gafas
 Fuentes de Contenidos

Steam
VRTIFY
 Especialmente juegos  Conciertos y Videos
Musicales en RV

Youtube VR y 360
 Videos

Grandes medios

Noticias. Acontecimientos Present trailers (Stranger

Locales. Msica del Coln things) y preparan lanzamientos
Acontecim. Histricos
en Videos 360
 Generacin de Contenidos

Hardware para registros a 360

GoPro Odyssey
16 cmaras HERO4 sincronizadas Samsung 360
en toma simultnea, produce videos 3840 x 920 a 30 fps
estereoscpicos de 4 veces 4K
Generacin de Contenidos

Soluciones basadas en Software

VideoStitch Studio

Google Cardboard Camera PTGui Panorama Tool

 Generacin de Contenidos

Herramientas de desarrollo

 Google VR SDK for Android y iOS

 Lens distortion correction.
 Spatial audio.
 Head tracking.
 3D calibration.
 Side-by-side rendering.
 Stereo geometry configuration.
 User input event handling.

 Unity VR SDK for Android

Oculus Rift por menos de u$s100?
Permite aplicaciones de Realidad Virtual de PC (Steam) en VR Mobile Headsets

VRidge es un software de Rifcat

para PC que simula un VR
Headset conectado a la PC y
enva el contenido generado por la
aplicacin de VR al Google
Cardboard. Usa un Leap motion
para el tracking posicional (manos)

u$s 69 para la Leap Motion

u$s 1 para un soporte 3D Printed

u$s 15 Google Cardboard viewer

u$s15 para la full version del VRidge (Hay una versin free
con restricciones de tiempo a 10 minutos por sesin)
 Consideraciones fisiolgicas y ergonmicas

Fatiga visual y/o auditiva temprana

Enfermedad del Simulador (simulator sickness)

Aparicin de nauseas cuando los ojos perciben movimiento
y el cuerpo no (diferencias entre el sistema vestibular y
visual)

Enfermedad del movimiento (carsickness)

Aparicin de nauseas o mareos cuando hay disparidad
entre lo que se siente y lo que se espera sentir. Suele
aparecer cuando se lee en un auto en movimiento
Interesados en Participar en proyectos de
I+D en Realidad Virtual y Aumentada

Registrarse en:

miguelgrassi.com.ar/RegistroRV.htm
 Preguntas

Muchas gracias !!!

Material disponible para descarga en: https://untref.academia.edu/MiguelGrassi

Distribucin libre bajo los tminos de la licencia Creative Commons:

Miguel Grassi
Attribution-NonCommercial
ShareAlike CC BY-NC-SA
https://creativecommons.org/licenses/by-nc-sa/4.0