28/11/2010

CY3F8 Virtual Reality

7: Input
p Devices and
Tracking Technologies

AB & FH Autumn 2010-11

Interaction and VR
“ Interaction with a virtual world is a key 
ingredient of a VR experience.

IIndeed, if the display of a virtual world 
d d if th di l f it l ld
does not respond at least to a user’s 
physical movement, then it is not 
considered virtual reality.”

– ‐ Sherman and Craig, 2003

Interaction Methods
• Should be easy and intuitive
• Are often unnatural (but humans adapt)
• May or may not mimic real life
• Often rely on metaphors and people’ss 
Often rely on metaphors and people
familiarity with them

1
 28/11/2010

Interaction Tasks
1. Manipulation
• Comprising selection and 
action (sometimes 
performed simultaneously)

2. Navigation
• Travel
– How the user moves 
through space
• Wayfinding
– How the user knows 
where they are and where 
they are going

Interaction Tasks
3. Interacting with others
• Shared environments
• Collaborative environments

4. Interacting with the VR 
system
• e.g.  Changing world 
parameters  

Tracking Technology – Performance 
Criteria
The following come from S. Kalawsky – The Science of Virtual Reality:
• Static accuracy: The ability of the tracker to determine the coordinates of 
a position in space. This is the value without averaging or similar filters 
applied
• Dynamic Accuracy: The accuracy of the system as the sensor is moved. 
Highly dependant on the integration period of samples, if a long 
integration period is used then the dynamic accuracy may be very high
integration period is used then the dynamic accuracy may be very high
• Latency: The latency is the time taken to get new data from the sensors 
including how quickly the sensors respond to changes in position.
• Update rate: The time taken to process the data from the sensors and 
calculate a position. If running faster than the capture (latency part) it may 
reuse old data (static accuracy may be high). A high update rate alone isn’t 
necessarily an advantage.
• Phase Lag: The total time delay of the tracker system, i.e. latency + update 
rate or the true age of an atom of data as it leaves the tracker system.
• Registration: The correspondence between actual position and reported 
position. Basically calibration both initial and over time, drift.
• Signal to noise ratio: What it says, signal relative to the background noise.

2
 28/11/2010

Tracking Technology – Performance 
Criteria
But consider also:
• Degrees of freedom per target
– Normally a 3 DoF tracker will measure EITHER position 
x,y,z OR orientation roll, pitch, yaw
– A 6 DoF tracker will measure both position and 
orientation
• Number of simultaneous targets
– Some tracking system can’t track many targets at once
– Others must reduce performance for every additional 
target due to limited bandwidth or similar
• Workspace
– Some trackers have a fixed maximum workspace, 
others may lose performance as workspace increases

Mechanical Trackers
• Includes joystick and mouse (older), 
• More usually cables and kinematic links 
with sensorised joints
• Pros: 
– Good
Good accuracy, responsiveness, 
accuracy responsiveness
registration and robustness.
– Very low latency
• Cons:
– Tend to have a limited range of operation. 
Physical links have a fixed length, cables 
get tangled if rotated
– Low transparency. 

Optical Trackers
• Active: LEDs
• Passive: fiducials, retroreflective markers, natural markers 
in the environment
• Inherent trade of between accuracy and range of operation
• Can get either image processing or fixed transducer types
• Can be inside
Can be inside‐out
out or outside
or outside‐in
in i.e. receivers are fixed or 
i.e. receivers are fixed or
mobile
– Outside‐in has the advantage that a 
number of cameras can be used to 
track a single target which increases 
accuracy and improves line‐of‐sight
– Inside‐out has the advantage of being 
maximally sensitive to orientation
• Image processing systems require 
controlled light conditions

3
 28/11/2010

Optical Trackers
• Pattern recognition systems used to be less 
attractive because the computation was too high 
but processing time is minimal now
• Pros:
– High data rates (much faster than sound), great for            
real time
real time
– Can be made simply, easy access to technology
– Passive systems very scalable (many targets)
• Cons:
– Line of sight
– Ambient noise (even for IR)
– Non‐uniform performance across axes, often depth    
less accurate (same reason as humans)

Magnetic Trackers
• For a while magnetic trackers were the most widely used solution though 
not any longer
• AC type (7‐14Khz usually) 
– Uses three‐axis magnetic dipole source and three‐axis magnetic sensors
– Metallic or other ferrous materials in the environment can induce distortions 
as AC causes eddy currents (in newer technology this effect is greatly reduced)
• DC type (pulsed)
– Three axis magnetometers or hall effect sensors (mutually orthogonal)
Three axis magnetometers or hall effect sensors (mutually orthogonal)
– Leave a short time delay for eddy‐currents to die out
– Affected by any permanent magnetic field (earth, power outlets, motors etc)
• Can also use Earth magnetic field intentionally for yaw measurement
• Pros:
– Very responsive, low latency
– Can track multiple targets though update rate drops (probably not much more 
than 10 at once for real time)
• Cons:
– Lose accuracy and registration rapidly as working volume increases (S/N ratio 
drops)

Acoustic Trackers
• Use ultrasound either time‐of‐flight or phase coherent measurement 
techniques. 
• Usually target has emitters and receivers are in fixed locations. Can have lots of 
receivers to maximise line of sight
• Phase systems:
– Better performance because of higher data rates
– Can operate continuously rather than having to wait for an echo to return
– Don
Don’tt measure absolute position, they measure change and are susceptible to drift
measure absolute position they measure change and are susceptible to drift
• Time‐of‐flight:
– More vulnerable to acoustic noise.
• Pros:
– Good accuracy, responsiveness, robustness and registration (if workspace kept 
small)
– Can have multiple targets (but at a reduction in update rate)
• Cons: 
– Occluded sensors have a big impact on performance
– Acoustic properties affected by environment (humidity, temperature, pressure) but 
can be compensated for
– Position accuracy better than orientation (unless target has big gap between 
emitters)

4
 28/11/2010

Inertial Trackers
• Combine multi‐axis gyroscopes (angular velocity) and accelerometers 
(MEMS)
• Measure roll and pitch accurately using accelerometers (earth gravity 
field)
• Yaw must be integrated from gyro measurement
• Position x,y,z much less accurate. Accelerometers are double integrated to 
get position
• Errors accumulate with time: e.g. error of 0.0098m/s2 (1 milli‐g).  error is 
Errors accumulate with time: e g error of 0 0098m/s2 (1 milli g) error is
double‐integrated:  0.0098 t2/2 = 4.5 meters after 30 seconds
• Filtering techniques can account for large part of white noise (evenly 
distributed noise)
• Can’t account of Gyro Bias Drift – fundamental limitation of gyros
• Pros:
– Unlimited working volume
– No line‐of‐sight issues
– Tilt sensing very accurate
– Highly responsive
• Cons:
– Yaw and position has measurement drift. Errors accumulate quickly over time. 

Sensor Fusion in Trackers
• Rarely actually use one technology in isolation
• More common to get information from multiple 
sources and fuse the data to get a better estimate
• Common sensor fusion techniques include Kalman
filtering and Bayesian networks
• Inertial sensors for orientation are usually combined 
with a 3 axis magnetometer to adjust for yaw drift
• Inertial sensors for position are very often combined 
with optical or acoustic sensors to account for drift
• Other sensing technologies are used such as force 
sensors, bend sensors, capacitance and GPS but 
normally in combination with the main ones those 
already discussed

Input Devices ‐ Examples
• Standard keyboard and mouse
• Joysticks
• Wired gloves
• Motion Capture Suits
• Force balls
• 3D/6 DOF wands and mice
• Speech recognition
• Biosensors
• Eye/gaze tracking

5
 28/11/2010

Input Devices – Wired Gloves

PinchGlove

DataGlove
CyberGlove CyberGrasp

Input Devices – Force Balls
SpacePilot

SpaceBall

SpaceMouse

SpaceTraveler

Input Devices – Wands and Mice
Wanda 3D Pointer

Intersense Wand (used in the Reading CAVE)

6
 28/11/2010

Input Devices – Wii Remote

• Most real trackers like the Wii Remote 
combine multiple sensing technologies
• Has inertial components (3‐axis accelerometer 
and 3‐axis gyro)
• Optical components. High speed 
O i l Hi h d
cmos camera on the remote 
(inside looking out) with an IR 
pass filter detects 4 IR LEDs on 
the sensor bar
• http://www.youtube.com/watch?v=Jd3‐eiid‐
Uw

Input Devices – MS Kinect
• Wide variety of input types: 
capable of gesture, face and 
speech recognition
• Normal camera plus 2 cameras for depth sensing and 4 
microphones
• Depth sensing works by projecting a pattern on the 
Depth sensing works by projecting a pattern on the
scene (presumably in IR). Two cameras for depth are 
sensitive to pattern. Pattern is denser the further away 
it is
• Normal camera + depth sensing used together to 
isolate individual users and find facial characteristics 
and gestures
• Speech recognition can isolate separate voice 
commands (probably using something like ICA) and 
select which person is talking from camera feed