Etude de Faisabilite D'Un Dispositif de Pointage Pour Ecran Geant

15 mai 2007
TER Master Informatique
ETUDE DE
FAISABILITE D’UN
DISPOSITIF DE
POINTAGE POUR
ECRAN GEANT
Editeurs:
ZHANG Yihua
TEBBOUCHE Hichem
ELHAMDOUNI AlaeEddine
GREPILLAT Nicolas
Remerciement
Nous tenons à remercier Madame Hascoet qui
nous a dans un premier temps proposé un sujet
qui nous a de suite intéressé. De plus, son
expérience et sa connaissance du domaine nous
ont été d’une aide précieuse.
Un grand merci également à Nancy, qui a

toujours été présente pour répondre à nos mails et
à nos questions orales. Elle a de plus réussi à
nous mettre sur la bonne voie à un moment clé du
développement du HandVu.
2
Résumé
Ce TER s'inscrit dans le courant de la recherche de l’Interaction

Homme Machine, et particulièrement à ce qui se rapporte aux
systèmes de pointages. Le but de ce TER est d’étudier la faisabilité
d’un dispositif qui permettra d’interagir avec un écran géant (type
écran géant du LIRMM), un élément du type souris classique n’étant
pas toujours bien adapté. Les systèmes de pointages ont suscité de
nombreux projets de recherche depuis plusieurs années. Nous en
ferons un bilan complet avant de nous pencher sur deux systèmes qui
nous ont paru intéressants lors de notre étude : "HandVu" et
"Artoolkit". Pour une plus grande facilité de lecture de ce mémoire,
nous diviserons ces trois parties en trois parties indépendantes, plus
les annexes dans une dernière partie.
Avant-propos
Ce mémoire s'adresse à toutes les personnes intéressées par les

nouveaux dispositifs de pointage. Notre état de l’art très complet
permettra en effet aux lecteurs de se faire une idée précise de
l’existant.
Il est également un très bon point de départ pour les personnes qui
voudraient faire un système utilisant "HandVu" ou "Artoolkit". Nous
avons poussé ces mécanismes au maximum, et notre étude comme le
code fourni en annexe permettra de leur faire gagner beaucoup de
temps.
Enfin il est destiné aux étudiants qui reprendront le projet de faire

un dispositif de pointage pour l’écran géant du LIRMM. Notre
conclusion trace clairement un chemin pour l’aboutissement du projet.
3
Sommaire
Partie I : synthèse sur les systèmes existants…….p5
Partie II : HandVu……………………………………..p55
Partie III : ARToolKit………………………………….p62
Partie IV : Annexe…………………………………..…p67
4
SYNTHESE SUR LES
SYSTEMES DE
POINTAGES
EXISTANTS
5
SOMMAIRE
I) Introduction....................................................................................8
II) L’interaction gestuelle....................................................................9
II.1 Exploiter la dynamique du mouvement......................................10
II.2 Interfaces gestuelles: des avantages et des inconvénients...........11
III La réalité mixte............................................................................11
III.1 La réalité augmentée.................................................................13
Artoolkit....................................................................................14
HandVu……………………............................................................16
III.2 La virtualité augmentée.............................................................19
The MobiVR...............................................................................22
IV. Les écrans tactiles......................................................................24
IV.1 Technologie capacitive............................................................. 24
IV.2 Technologie résistive Analogique...............................................24
IV.3 Technologie résistive Analogique-Digitale..................................29
IV.4 Technologie à infra-rouge..........................................................30
IV.5 Technologie Acoustique.............................................................32
IV.6 Technologie NFI........................................................................35
IV.7 Comment choisir parmi ces technologies...................................36
IV.8 Exemple de fabrication..............................................................37
Le Mimio system.......................................................................37
Le SmartBoard..........................................................................39
6
V Les systèmes se basant sur la vision par ordinateur......................40
V.1 Les systèmes ne se servant que de la vision par ordinateur........41
V.1.1 The Perceptual windows……………………………………………….42
V.2 Les systèmes couples avec un dispositif laser.............................43
Upen laser................................................................................43
V.3 Les systèmes qui allient caméra et capteur physiques................45
The FreeHand...........................................................................45
V.4 Les systèmes combinant un rétroprojecteur avec une caméra....46
Le TouchLight............................................................................46
Le PlayAnywhere........................................................................48
Le TouchPad .............................................................................49
VI Bilan de l’état de l’art……………………………………………………………… 51
VII Ajustement du cahier des charges ……………………………………………..51
VIII Organisation au sien du groupe ……………………………………………….53
7
Introduction:
De nouvelles techniques d'interaction apparaissent chaque année

dans le but de rendre l'interaction plus efficace et plus naturelle, et
surtout plus adapté à un besoin précis. Notre recherche nous a
montré que même l'interaction avec des applications conventionnelles
employant des dispositifs standard est susceptible d'être sensiblement
améliorée.
Nous dresserons donc un état de l'art de ces systèmes. Toutefois,

afin de garder le maximum de cohérence, nous avons dégagé 4 fils
conducteurs, à savoir: l'interaction gestuelle, la réalité mixte, les
écrans tactiles et enfin les systèmes de vision par ordinateur.
Le premier chapitre sur l'interaction gestuelle représente les

premières recherches sur un système de pointage qui serait autre que
la souris. Il est aujourd'hui totalement dépassé, mais il constitue un
peu le début de la recherche dans ce domaine, c'est pourquoi nous
avons tenu à en parler brièvement.
Ensuite, nous définirons ce qui est pour nous la réalité mixte et la

virtualité mixte. C'est une question épineuse car les scientifiques en
ont souvent une version différente. Nous donnerons celle qui nous
parle le plus.
Le troisième chapitre est un état de l'art complet des systèmes

d'entrées par écran tactile. Nous en expliquerons les différents
mécanismes et les différentes versions, en concluant par une synthèse
complète et un petit bilan de que choisir selon ses besoins.
Enfin, nous donnerons plusieurs exemples de ce qui se fait en

termes de vision par ordinateur. C'est dans ce chapitre que se trouve
certainement la solution pour notre écran géant. Nous dresserons des
«fiches» de ce qui se fait actuellement dans le domaine, en dressant
des points de comparaisons équivalent, et en concluant sur si ce
modèle peut nous intéresser ou non.
8
II. L'interaction gestuelle
L'interaction gestuelle constitue un moyen non conventionnel
d'employer les dispositifs de pointage en exploitant notre capacité à
mémoriser et à reproduire des trajectoires, capacité que nous
employons notamment pour écrire.
II.1 Exploiter la dynamique du mouvement
FIGURE 1
Dans les interfaces classiques, lorsqu'un utilisateur effectue une

action de type cliquer-glisser, seules la position initiale et la position
finale du pointeur sont pris en compte, indépendamment de la
trajectoire effectuée.
Dans la plupart des interfaces à manipulation directe, les

dispositifs de pointage servent essentiellement à spécifier des
positions. Dans un mouvement de cliquer-glisser par exemple, seules
la position initiale et la position finale sont interprétées (figure ci-
dessus). En exploitant la dynamique du mouvement, les techniques
d'interaction gestuelles permettent d'enrichir la sémantique des
actions élémentaires de l'utilisateur. Voici les premiers travaux de
Baudel en 1995
9
Figure 2
Exemples usuels de techniques d'interaction gestuelle dans une

application graphique : l'utilisateur commence par créer un rectangle,
un cercle, et un label. Il supprime ensuite le cercle et duplique le
label. Enfin, il regroupe les deux labels et les déplace vers la gauche.
Ce schéma illustre quelques techniques d'interaction gestuelle

classiques, telles qu'on peut les trouver dans des applications comme
Mankof.
Chaque action de type cliquer-glisser produit, à la manière d'un

logiciel de dessin, une trace, qui disparaît une fois interprétée. La
trace pourra être interprétée comme un nouvel objet à créer, dont le
type la taille et la position seront déduites des caractéristiques du
geste. Elle pourra également être interprétée comme une commande
d'édition, dont la nature et les objets ciblés seront également déduits
du geste selon un algorithme prédéterminé. Toutefois, ce mécanisme à
été repris dans Windows Vista & XP et semble fonctionner de manière
satisfaisante sur les tabletPCs.
II.2 Interfaces gestuelles: des avantages et des

inconvénients
L'avantage principal de l'interaction gestuelle est qu'elle permet

d'effectuer des interactions concises. Ainsi, la plupart des opérations
gestuelles de l'exemple précédent réclament habituellement au moins
deux étapes dans une interface classique : créer un rectangle
nécessite de cliquer sur l'outil « rectangle » puis de désigner deux côtés
opposés du rectangle par un cliquer-glisser. De même, la suppression
d'un objet requiert une sélection, puis l'appui d'une touche ou un clic
sur le bouton « supprimer ». Or, un geste suffit pour spécifier à la fois
une commande et les arguments de cette commande. En outre,
l'interaction gestuelle n'utilise pas de widgets intermédiaires tels que
les barres d'outils, ce qui économise de la place sur l'écran et permet à
l'utilisateur de se focaliser sur les objets d'intérêt.
L'autre atout de l'interaction gestuelle est qu'elle exploite une

métaphore déjà connue, à savoir le dessin sur une feuille de papier.
L'utilisation de stylets et l'exploitation de gestes iconiques tels que le
geste de rature exploitent davantage encore la puissance de cette
analogie.
Bien que fort prometteuses, les interfaces essentiellement basées

sur les techniques gestuelles restent difficiles à mettre en œuvre. Les
ambiguïtés potentielles, par exemple, sont nombreuses : ainsi, dans
10
l'exemple de la figure 2, le cercle pourrait être interprété comme la
lettre « O », et le déplacement d'objets comme la création d'un segment
de droite. Plus encore que les difficultés liées à l'apprentissage, les
erreurs de reconnaissance résultant d'un vocabulaire gestuel
complexe sont une source de frustration considérable pour
l'utilisateur. La tendance actuelle semble ainsi aller vers l'utilisation
de gestes simples, plus rapides et plus tolérants aux erreurs de par
leur construction logique, mais ce au détriment de leur facilité
d'assimilation dû à leur nature arbitraire.
III La réalité mixte

On peut définir les systèmes mixtes comme tout système qui met
en œuvre une ou plusieurs augmentations. Une augmentation est
l’expression d’un lien entre le monde physique et le monde
numérique, c’est-à-dire :
• Soit l’ajout d’une entité d’un des deux mondes dans l’autre monde
• Soit la manipulation d’une entité d’un des deux mondes par des
outils de l’autre monde.
On peut aussi également dire que le système mixte c’est :
• Un système mixte mobile est un système dont les augmentations

dépendent de la localisation de l’utilisateur.
• Un système mixte collaboratif est un système dont les

augmentations pour un utilisateur dépendent des actions et des
connaissances de cet utilisateur.
• Un système mixte collaboratif et mobile est un système dont les

augmentations pour un utilisateur dépendent à la fois de sa
localisation, de son orientation et de ses activités.
11
Nous considérons les étapes intermédiaires sous l’appellation de
Réalité Mixte, qui mélange des objets réels et virtuels. La Réalité Mixte
(RM) se décline en 2 sous cas : la Réalité Augmentée (RA) et la
Virtualité Augmentée (VA) selon la proportion d’objets réels ou virtuels
comme le montre la figure ci-dessous.
Nous allons maintenant définir les deux points clés de la réalité

mixte, à savoir la réalité augmentée et la virtualité augmentée.
III.1 La Réalité Augmentée :
L’interaction se passe dans le monde réel et elle est augmentée

par l’ordinateur. Voici un schéma que nous expliquerons par la suite
pour mieux comprendre ce concept.
12
Figure: À gauche: l'argile lumineuse avec le calcul des courbes.
À droite: une dalle de sol intelligent et un des capteurs de charge qui
la composent.
La réalité augmentée désigne des techniques consistant à

superposer au monde réel des informations générées par ordinateur.
L'exemple typique est un utilisateur (chirurgien, militaire,...) qui est
assisté dans sa tâche par un système vestimentaire comprenant un
casque virtuel ou des lunettes translucides. Une autre technique
courante consiste à projeter des images sur un espace de travail: les
surfaces augmentées telles que les tables, les tableaux ou les murs
interactifs emploient des techniques d'interaction basées sur la
capture des mouvements de la main ou s'appuient sur des interfaces
tangibles. L'argile lumineuse par exemple, consiste en un matériau
déformable destiné à concevoir des maquettes de paysages, et sur
lesquelles sont projetées des informations topographiques (image de
gauche). L'interaction se fait par modelage du matériau, dont la forme
est capturée en temps réel par un scanner laser.
L'informatique diffuse, décrit une réalité augmentée où

l'informatique, s'aidant de la miniaturisation et de la mise en réseau,
se fond avec l'environnement quotidien jusqu'à être invisible et fournit
des informations et des services à l'endroit et au moment opportuns
13
ARTOOLKIT
Présentation générale:
ARToolKit est une bibliothèque ouverte de vision par ordinateur

écrite en C qui peut détecter la position et l’orientation d’une caméra
relativement à des marqueurs spécifiques. Ceci permet de construire
des applications de réalité augmentées (AR).Ces applications
impliquent l’injection du monde virtuel dans le monde réel. Par
exemple, dans l'image à droite, une construction virtuelle
tridimensionnelle semble tenir sur une vraie carte. Elle peut être vue
par l'utilisateur dans l'affichage de l’écran du casque qu'il porte.
Quand l'utilisateur déplace la carte, le corps virtuel se déplace avec lui
et semble attaché au vrai objet!
Une des difficultés clés dans le développement des applications de

la Réalité Augmentées est le problème de traquer le point de vue de
l’utilisateur. Pour savoir à partir de quel point de vision tirer les
images virtuelles, l'application a besoin de savoir où l'utilisateur, ou
dans notre cas la caméra, regarde
dans le vrai monde.
Fonctionnement:
Comme mentionné dans

l’introduction, la librairie ARToolKit
permet le revêtement du monde
réel avec des graphismes en temps-
réel. Les images du flux vidéo sont
fouillées à la recherche de formes
carrées qui représentent le bord
noir d’un éventuel marqueur. La
position et l’orientation d’un tel
marqueur sont calculées relativement à la caméra, puis une tentative
de comparer et d’égaler ce marqueur avec l’exemplaire spécifié par le
programme est faite. Si le marqueur est identifié, alors l’objet virtuel
lié à ce marqueur peut être transformé pour convenir à l’alignement et
l’inclinaison du marqueur à fin d’être dessiné. La librairie OpenGl
peut être utilisée pour construire notre objet virtuel, ou un fichier
VRML décrivant cet objet peut être passé en argument à ARToolKit.
14
Exemples de marqueurs.
• Tout d'abord il faut acquérir le flux vidéo à l'aide d'une caméra.
• Chaque image est ensuite analysée dans le but de détecter des

carrés noirs
• Si un carré noir est trouvé, la position de la caméra par rapport au

carré est calculée
• Le système cherche une correspondance entre le motif à l'intérieur

du carré et ceux enregistrés dans le système.
• Un objet graphique est calculé à partir de la position de la caméra

selon le motif
• L'objet est superposé au carré noir
• Au final l'utilisateur voit sur les images réelles filmées, l'objet généré
par l'application.
15
Au niveau de la vidéo, la librairie est également très ouverte puisque
plusieurs types de caméras et d'entrées vidéo sont supportés. Une
fonction de calibration est également disponible, cette fonction permet
d'améliorer le calcul de positionnement.
La librairie permet de gérer plusieurs motifs simultanément et de les

faire interagir entre eux.
Bilan
• Précision. Elle est à priori satisfaisante bien que des problèmes

de calibrages ont été détectés. De plus il faut gérer les
problèmes du type si quelque chose passe devant la caméra....
• Le degré de liberté: 4. On peut déplacer les objets sur les axes x,
y et z, et les faire pivoter uniquement sur z(La rotation sur y ou
x entraine la perte visuel du marqueur).
• Nombre d'interactions différentes possibles: On peut associer un
marqueur avec une action. Donc on peut faire autant
d’interaction que l’on veut.
• Le nombre de points de contact maximum supportés Il peut y
avoir autant d’utilisateurs que de marqueurs. Nombre non
limité.
• Compatibilité avec les surfaces. Ceci marche bien pour tous les
écrans.
• Ergonomie : Il suffit d’avoir des marqueurs pour faire
fonctionner l’application.
Conclusion
Ce système est très intéressant et sera certainement étudié en détails

dans la troisième partie de notre TER.
HandVu
HandVu est une librairie permettant la détection de la main, le

suivi et la reconnaissance de postures de cette dernière en temps réel.
Ce programme a été développé par M.Mathias Kölsh à l'université de
Santa Barbara Toutes ces opérations s'effectuent à l'aide d'une
caméra connectée à l'ordinateur.
Caractéristiques de HandVu
● Travaille avec différents types de caméra
16
● Réagit de différentes manières suivant le changement de lumière.
● Est sensible à l’arrière plan.
● Délai de détection : 5-150ms pour une fenêtre de 640x480 (à 50Hz).
● Robuste et permet un déploiement sans contrainte de la scène
visuelle.
● Open Source (programme écrit en C/C++)
Fonctionnement
HandVu fonctionne avec divers types de caméra ayant une résolution

d'au moins 320x240.
Le schéma ci-dessous illustre le fonctionnement de HandVu :
Le fonctionnement de HandVu se fait en trois étapes : détection de la

main, suivi de la main et reconnaissance de la posture de cette
dernière.
Détection de la main
La main est détectée seulement dans les postures standards et il

s'avère nécessaire d'éviter des gestes brusques durant ce processus
comme on peut le voir si dessous.
17
Suivi de la main
Une fois la main détectée, l'utilisateur peut la bouger dans n'importe

quelle direction. Pour un suivi de la main satisfaisant, il s'avère
nécessaire d'opérer dans un environnement possédant de bonnes
caractéristiques lumineuses. De plus, il faut éviter les mouvements
trop rapides de la main ou un changement brusque des postures de la
main.
Postures reconnues
HandVu est capable de reconnaître 6 postures différentes de la main.

Ces 6 postures de reconnaissances peuvent être effectuées à n'importe
quel moment pendant le suivi de la main. Il est à noter que toutes les
postures doivent se faire dans un plan parallèle au plan de l'image
vers le haut et avec un sens de rotation n’excédant pas 15 degrés
dans le sens inverse des aiguilles d'une montre.
La figure suivante illustre les 6 postures :
18
Bilan
• Précision. Bonne si l’on considère que nous disposons d’une

caméra correcte et d’un environnement lumineux satisfaisant.
• Le degré de liberté: 2. On peut se déplacer sur x y mais pas sur
z. De plus il n’est pas possible de faire des rotations sur ces
axes. En fait ce serait éventuellement possible de faire une
rotation sur z mais il faut faire 360° avec la main…
• Nombre d'interactions différentes possibles: Il y a 6 postures
reconnues. Chacune d’entre elle peut donner lieu à une
interaction différente.
• Le nombre de points de contact maximum supportés Un seul
utilisateur à la fois, et un seul point de contact.
• Compatibilité avec les surfaces. Ceci marche bien pour tous les
écrans.
• Ergonomie: simple, vu qu’il suffit de bouger la main.
Conclusion:
Cette librairie est riche et peut être utilisée comme déclencheur

d'événement avec d'autres applications écrites en langages C ou JAVA
par exemple. Ce système nous à intéressé et rentre dans les pistes
possibles de recherche pour un système de pointage.
III.2 La Virtualité Augmentée :
L’interaction avec l’ordinateur est augmentée par des objets et des

actions dans le monde réel.
Nous possédons des capacités innées à interagir de façon physique

avec des objets du monde réel, et ces capacités sont très peu
exploitées dans les interfaces actuelles où les objets sont
essentiellement virtuels. La virtualité augmentée traduit une nouvelle
tendance dans la recherche en IHM qui vise à introduire des objets
physiques dans les interfaces utilisateur conventionnelles.
19
Figure: À gauche: interface «saisissable», où des briques physiques
sont utilisées pour manipuler des objets virtuels (travaux de
Fitzmaurice et Al). À droite: un assemblage de phidgets est assigné à
des widgets de contrôle sonore (Greenberg et Boyle en 2002).
Certains emploient le terme d'interfaces «saisissables», pour décrire

des interfaces où certains objets interactifs traditionnels sont
remplacés par des objets physiques. Ils évoquent un prototype où des
«briques» comportant des capteurs de position et d'orientation sont
librement placées sur une table, sur laquelle sont projetés des objets
graphiques. Lorsqu'une brique est posée sur un objet virtuel, celui-ci
peut être librement manipulé. Plusieurs briques peuvent être
manipulées simultanément, soit sur des objets séparés, soit sur le
même objet pour le redimensionner ou le déformer.
Dans le même esprit, Saul Greenberg propose de s'aider de

contrôleurs physiques supplémentaires pour interagir avec les
applications existantes. Ainsi, des boutons ou des potentiomètres
électroniques peuvent être assignés aux fonctions les plus
couramment utilisés, puis agencés sur l'espace de travail.
Donc il est vraiment difficile de faire une approche ou plutôt une

définition précise et consensuelle de la Réalité Mixte, car chaque
auteur en fonction de sa communauté scientifique d’origine, de ses
intérêts et de ses travaux, propose sa définition. Pour mieux cerner ce
concept nous nous proposons donc de faire une revue de quelques
systèmes existants pour dégager des traits communs.
Applications bureautiques
Nous avons regroupé dans cette catégorie des applications qui

sont principalement dérivées d’applications classiques de bureautique
tels les traitements de texte, les tableurs, les logiciels de présentation,
les calculatrices, etc.… sans être liées à un domaine d’application
spécifique.
20
Les applications qui cherchent à augmenter les documents
papiers sont nombreuses. En effet, dans notre société actuelle, l’écrit
a une place prédominante dans tous les domaines d’activités. Les
applications bureautiques en général et le traitement de texte en
particulier sont, de loin, les applications les plus utilisées par toute
personne disposant d’un ordinateur.
Le DigitalDesk par Wellner est certainement l’un des systèmes de

RA les plus connus. A la différence des systèmes d’interfaces
graphiques comme Windows ou X/Motif qui est basé sur la métaphore
du bureau en cherchant à reproduire des actions (couper/coller) ou
des objets (poubelle, etc..) sur l’écran de l’ordinateur, ce système est
littéralement le bureau de l’utilisateur.
Le dispositif technologique est représenté sur la Figure 4 :
• Un vidéoprojecteur affiche des documents virtuels sur le bureau et

peut aussi compléter des documents réels posés sur le bureau.
• Une caméra permet de suivre les actions de l’utilisateur (avec un

stylo ou directement avec son doigt, d’où le terme « digital ») mais
aussi de numériser les documents réels ou des annotations
graphiques et textuelles.
• Un micro détecte les tapotements de l’utilisateur sur le bureau qui

sont le substitut au clic de la souris.
21
Applications pour l’enseignement, la formation et l’apprentissage
La MagicBook se propose d’augmenter des livres ordinaires qui

peuvent être feuilletés et lus comme tout livre (y compris les images)
sans technologie additionnelle. Cependant, les utilisateurs munis d’un
casque de visualisation semi-transparent peuvent voir apparaître des
modèles virtuels 3D posés sur les pages. Les contenus virtuels
peuvent être de taille quelconque et animés. S’ils le souhaitent les
utilisateurs peuvent complètement s’immerger dans la scène virtuelle
comme dans un système de Réalité Virtuelle
The MobiVR
MobiVR est un système qui permet d'interagir sur un écran virtuel

qu'il crée. Le point fort de ce système est qu'on peut l'installer dans
n'importe quel dispositif portable (téléphone par exemple) et l'utiliser
n'importe où. Ainsi, en regardant par le focus de l'appareil, on voit un
écran (virtuel) sur lequel on peut cliquer avec le doigt.
Fonctionnement:
MobiVR est composé d'un dispositif qui a un mini écran, un

système de trace pour suivre les mouvements de doigt et sans besoin
de capteurs ou de signaux extérieur. En utilisant un dispositif
portable comme le téléphone caméra, l'utilisateur met l'objectif devant
un de ses yeux. Il voit alors un écran virtuel que le téléphone projette.
Avec le doigt, il choisit les objets sur l'écran virtuel comme le click
d'une souris.
22
Bilan
Précision: Ce système mérite d'être amélioré car il à été largement

souligné dans les articles que ce n'était pas encore tout à fait au point.
Le degré de la liberté: 2
Nombre d'interactions possibles: une seule pour l'instant.
Combatibilité sur le surface: Il n'y a pas besoin d'écran, il peut donc

être utilisé partout.
Ergonomie: L'utilisateur peut facilement l'utiliser car il clique sur ce

qu'il voit.
Conclusion:
Ce système est très intéressant surtout par sa portabilité. Mais on

ne peut faire d'opérations comme bouger l'objet car on est limité à une
seule interaction. De plus, il ne serait pas très précis et il reste encore
quelques problèmes à régler pour qu'il soit totalement opérationnel. Il
ne sera pas retenu, car nous on souhaite bien sûr utiliser notre écran
géant.
23
IV Les écrans tactiles.
Un écran tactile constitue un périphérique informatique qui

regroupe les fonctionnalités d'affichage d'un écran (moniteur) et celle
d'un dispositif de pointage, comme la souris ou un trackball.
Cette combinaison permet de réduire le nombre de ces

périphériques et de créer des logiciels dont l'ergonomie est adaptée à
cette utilisation. Ceci est utilisé pour les PDA.
Il existe six types de mise en œuvre: la technologie capacitive, la

technologie résistive Analogique, la technologie résistive Analogique-
Digitale, la technologie à infrarouge, la technologie à ondes de surface
et la technologie N.F.I.
IV.1 Technologie capacitive
Dans les systèmes capacitifs, une couche qui accumule les

charges est placée sur la plaque de verre du moniteur. Lorsque
l’usager touche la plaque avec son doigt, certaines de ces charges lui
sont transférées. Les charges qui quittent la plaque capacitive créent
un déficit mesurable. Avec un capteur positionné dans chacun des
coins de la plaque, il est possible en tout temps de mesurer et de
déterminer les coordonnées du point touché. Le traitement de cette
information reste le même que pour les circuits résistifs.
Un des avantages majeurs des systèmes capacitifs par rapport aux

résistifs provient de la capacité de transmettre la lumière au travers
de sa surface avec un meilleur rendement. En effet, jusqu’à 90% de la
lumière traversera un surface capacitive par rapport à un maximum
de 75% pour les résistifs, ce qui donne une clarté d’image supérieure
pour les systèmes capacitifs.
24
IV.2 Technologie résistive Analogique
Les systèmes résistifs sont constitués d’une plaque de verre à

surface conductrice (couche d'ITO résistive). Celle-ci est recouverte
par un film plastique dont la surface est conductrice (couche d'ITO
résistive). Ces 2 couches sont tenues distantes par de microscopiques
cales d’espacement; de plus une couche additionnelle est ajoutée sur
la surface du film plastique pour éviter les égratignures (par exemple
par les pointes de Stylets).
Un courant électrique est induit dans les 2 faces conductrices

durant l'action tactile. Lorsque l’usager touche avec la pointe d'un
Stylet (ou d'un doigt), la pression exercée vient forcer un contact entre
les 2 faces électrifiées. La "variation dans les champs électriques de
ces 2 faces conductrices" permet de déterminer les coordonnées du
point de contact. Une fois les coordonnées déterminées, reste le
traitement logiciel par le système.
La conductibilité électrique de ces 2 faces s'amenuise un peu lors

de chaque contact entre elles (à cause du choc électrique: micro
étincelles). C'est pourquoi la précision de la détection des coordonnées
du point touché se réduit avec l'usage. Cette technologie oblige
l'utilisateur à "Recalibrer" le panneau Tactile. Ce recalibrage consiste
à masquer l'usure des 2 couches conductrices (ITO) de l’écran Tactile
en répartissant, sur toute sa surface, les erreurs dues à l'imprécision
croissante des régions tactiles les plus usagées.
Technologie résistive 4/8 Fils
Coût et durée de vie
Les dalles tactiles résistives 4 et 8 fils demeurent les plus basiques

et les moins chères du marché. Elles accusent aussi la durée de vie la
plus courte avec un nombre d'impact maximum de 1 à 10 millions et
une garantie de 1 ou 2 ans. En revanche, il devient relativement facile
de piloter une dalle tactile à 4 ou 8 fils en utilisant des circuits
intégrés de base. Ainsi le circuit du contrôleur et le connecteur de la
languette peuvent être intégrés, à faible coût, sur une carte mère
d'ordinateur. Aujourd'hui, beaucoup de processeurs contiennent un
circuit de contrôleur 4 fils et les pins du processeur peuvent parfois
être directement connectées à la languette de la dalle tactile.
Construction
Les dalles tactiles résistives 4 et 8 fils jouissent d'une construction

similaire. La construction la plus courante est appelée "Film-Glass"
(FG). Des "barres résistantes" conductrices ("frit") sont imprimées sur
25
une dalle de verre enduite d'ITO, généralement sur les côtés courts
pour mesurer l'axe X. Sur une dalle tactile 4 fils, chacune des ces
barres sera connectée à la languette (2 parmi les 4), et deux fois à la
languette (4 fils parmi 8) pour une dalle tactile 8 fils. Des "Spacer
dots" sont imprimés sur le verre, et la périphérie de la dalle de verre
est enduite de colle à l'extérieur de la zone active. Le revêtement
plastique (généralement à base de polyester, "coversheet") est collé sur
le verre.
Le "coversheet" a été préalablement enduit d'ITO, de "spacer dots"

sur sa face interne contenant 2 "barres résistantes" conductrices
(généralement les côtés longs pour mesurer l'axe Y). Comme pour les
barres sur le verre, les barres du "coversheet" sont connectées à la
languette en utilisant deux fils pour une dalle tactile 4 fils ou quatre
fils pour une dalle tactile 8 fils. Pour une plus grande résistance à
l'usure, le revêtement est enduit d'un produit augmentant la dureté de
sa surface. Les dalles tactiles résistives 4/8 fils possèdent
généralement une dureté de 3H ou 4H, donc une grande résistance
aux rayures pouvant être causées par une pointe de stylet dure.
Comment le contact est identifié
Le principe de la reconnaissance de l'impact est simple. Lorsque

l'écran est touché, les deux films ITO se mettent en contact : le
courant peut alors circuler. Le déclenchement de la circulation du
courant, indique au contrôleur d'appliquer 0V et 5V aux barres sur le
verre et de mesurer la tension au point de contact via un des fils sur
le revêtement. Ensuite, il applique 0V et 5V aux barres du revêtement
et mesure la tension au point de contact via un des fils sur le verre.
Les tensions ainsi mesurées seront proportionnelles sur chaque axe à
la position de l'impact sur la dalle et les coordonnées du toucher
seront transmises au système selon la résolution du contrôleur.
Technologie résistive 5 fils
26
Les dalles tactiles résistives 5-fils reviennent à un coût légèrement

supérieur à celui des dalles résistives 4-fils et 8-fils, mais elles offrent
une durée de vie et une stabilité plus importantes. Les chipsets de
contrôleurs sont disponibles pour piloter les dalles tactiles résistives
5-fils, mais ils sont en général plus coûteux que ceux des contrôleurs
4-fils. La plupart des utilisateurs de dalles résistives 5-fils utilise le
contrôleur PCB (Carte) fourni par le fabricant.
Construction
D'aspect général, une dalle tactile résistive 5-fils est sensiblement

identique à une dalle résistive 4/8-fils. Des barres conductrices
résistives ("frit") sont imprimées sur une dalle de verre enduite d'ITO.
Un film plastique, typiquement en polyester, enduit d'ITO sur sa face
interne est apposé en surface et collé en sa périphérie.
Il possède une dureté approximative de 3H ou 4H, ce qui signifie

que les dalles résistives 5-fils résisteront aux rayures d'un objet tel
une pointe de stylet dure.
27
Le principe de reconnaissance du point d'impact est semblable au
résistif 4/8-fils (c.-à-d. la tension mesurée au point de contact
demeure proportionnelle aux coordonnées de l'impact) mais les deux
axes sont mesurés sur le verre et le "coversheet" agit simplement en
tant que sonde de tension. Lorsque l'écran est touché, les deux
couches d'ITO entrent en contact et un courant électrique se forme.
Cette tension ainsi créée indique au contrôleur d'exécuter un cycle
rapide de mesure comme suit :
• il affecte les tensions 0V et 5V à une paire de frits sur le verre

représentant un axe et mesure la tension au moment du contact
par l'intermédiaire du fil connecté au coversheet
• il applique ensuite 0V et 5V à l'autre paire de frits sur le verre
représentant l'autre axe et mesure la tension au moment du
contact par l'intermédiaire du fil de coversheet.
Les tensions ainsi mesurées seront proportionnelles à la position de

l'impact sur la dalle sur chaque axe et des coordonnées seront
transmises à l'ordinateur selon la résolution du contrôleur.
Avantages
Les avantages de la technologie résistive 5-fils sont semblables à la

technologie 4/8-fils, de plus, elle offre une durée de vie et une
garantie plus longues et reste opérationnelle avec un coversheet
coupé. Les dalles tactiles résistives 5-fils sont disponibles du 5.7"
jusqu'au 60". Elles ont une faible consommation d'énergie. Vous
pouvez utiliser tout type de stylet pour toucher et activer la dalle
tactile.
Afin d'optimiser la durée de vie du produit, il convient d'utiliser le

coversheet uniquement en sonde de tension et pas en tant qu'axe de
mesure. A l'utilisation, l'ITO enduit sous le coversheet développe des
microfissures dues à la flexion de la matière plastique. Ces fissures
modifient localement la linéarité du courant électrique. Sur une dalle
tactile résistive 4/8-fils, ce défaut de linéarité affecte la précision du
contact uniquement sur un axe. Avec une dalle tactile résistive 5-fils,
le coversheet est utilisé comme sonde de tension avec une impédance
élevée et la linéarité de l'ITO sur le coversheet n'influe pas sur les
mesures. Pour ces raisons, les dalles tactiles résistives 5-fils ont un
cycle de vie excédant 35 millions de contacts en un seul point (soit,
environ 19.000 contacts par jour, 365 jours par an sur 5 ans).
Contrairement à la technologie résistive 4/8-fils, une dalle tactile

résistive 5-fils continuera de fonctionner correctement même si le
coversheet est entaillé.
Le choix des matériaux et les méthodes de construction

permettent d'offrir une durée de garantie plus importante.
28
Les inconvénients
Hormis leurs prix légèrement plus élevés que ceux des dalles
tactiles 4/8-fils, la technologie 5 fils offre une qualité optique
inférieure aux technologies non résistives, causée par l'association
Polyester/ITO/Verre.
De plus, les dalles résistives 5 fils souffrent parfois d'un

phénomène appelé "Pillowing". Normalement, le revêtement supérieur
est étiré et fixé solidement sur le verre rendant sa surface plate et
sous tension. La déformation se produit lorsque le revêtement ou la
colle n'arrive plus à maintenir le "coversheet" plat et sous tension.
Ceci est dû soit à une qualité médiocre des matériaux soit aux
variations extrêmes de température ou encore de pression et
d'humidité.
Les options
Les dalles tactiles résistives 5 fils offrent des options dans le choix
des matériaux utilisés qui peuvent réduire les désavantages mais
augmenter le coût du produit. Les options les plus courantes sont
"Glass on Glass" (une fine couche de verre est laminée sur le dessus
du revêtement augmentant la dureté de la surface et réduisant
l'usure), le renforcement de la dalle de verre contre la casse (en
utilisant un verre traité ou en laminant un verre additionnel sur la
partie inférieure).
La capture de signature et le "Palm rejection" sont aussi des

caractéristiques optionnelles sur beaucoup de dalles tactiles résistives
5 fils. La prise en compte de la signature exige un contrôleur ayant un
circuit rapide d'acquisition et de traitement des données.
IV.3 Technologie résistive Analogique-Digitale
Cette Technologie brevetée évite les inconvénients de la technologie

résistive Analogique décrite ci-dessus: usure, déréglage progressif de
la précision du tactile, nécessité des Recalibrages.
Elle n'utilise pas "la variation dans les champs électriques de 2

faces conductrices" pour déterminer les coordonnées du point touché.
Elle repose sur un autre procédé électrique résistif beaucoup plus
précis et fiable: Analogique & Digital.
Ce procédé Tactile est conçu pour être utilisé "directement"avec les

doigts (pouces,index,etc), c'est à dire "sans jamais utiliser aucun
Stylet". Il se décrit:
29
• inusable (tests sur plus de 10 années), indéréglable, aucun
Recalibrage
• auto-adaptatif au touché de chaque type de doigts
(gros,mous,fins,calleux,ongles,...)
• multi-touch (utilisable avec 2 doigts simultanément)
Ce Tactile est utilisé par exemple, par le Tactil-Pocket-Computer TDA

"Jackito" présenté dans le site internet http://www.jackito.com/.
IV.4 Technologie à infra-rouge
Les dalles tactiles Infrarouges concèdent un coût supérieur aux

dalles résistives, mais elles possèdent d’excellentes caractéristiques
concernant leur durée de vie, leur qualité optique et leur résistance au
vandalisme. Comme la technologie tactile Infrarouge ne requiert
aucun support (dalle de verre) pour fonctionner, il n'existe pas d'usure
mécanique. La garantie offerte par les constructeurs s'échelonne de 3
à 5 ans, mais on estime sa durée de vie à 7 ans.
Construction
Une dalle tactile Infrarouge comporte un cadre composé

généralement de 2 éléments principaux. La partie électronique
contient les émetteurs et les récepteurs infrarouges. Les DELs
infrarouges sont installées à la périphérie interne de ce cadre.
Certains constructeurs y incluent le contrôleur. Dans ce cas, la dalle
tactile est formée de bords plus larges mais le produit semble plus
simple à installer et à maintenir. Un cadre polycarbonate noir
possédant la propriété de transmettre la lumière infrarouge est apposé
sur le cadre électronique. Il est généralement collé afin de créer une
composition étanche à l'eau et aux contaminants. La dalle de verre
n'intervient pas dans la fonction tactile. Elle est fixée sur la partie
inférieure du cadre tactile. Elle peut être claire, antireflet ou blindée.
Le principe de reconnaissance du point d'impact s'avère très

simple. Les émetteurs et récepteurs infrarouges créent un maillage
lumineux, mais invisible à l'intérieur du cadre (zone active). Lorsque
l'utilisateur touche la dalle, il interrompt le faisceau lumineux. Les
récepteurs privés de lumière infrarouge détectent le point d'impact et
transmettent les coordonnées X et Y au contrôleur. Contrairement aux
30
autres technologies tactiles, les coordonnées sont acquises avant que
l'utilisateur ne touche la dalle de verre à une distance d'environ 2mm.
Avantages
La technologie tactile Infrarouge offre une excellente qualité

optique, une durée de vie et une stabilité importantes. Elle peut être
activée par tout objet, même une main gantée et existe en version
anti-vandalisme. Les dalles tactiles infrarouges proposent l'une des
meilleures qualités optique du marché. Du fait qu'elles ne disposent
pas de revêtement et qu'elles peuvent être utilisées sans le support
verre, l'utilisateur peut obtenir un produit tactile sans aucune perte
en luminosité ni dégradation de l'image vidéo.
Une dalle tactile infrarouge est utilisable avec tout type d'objet
d'un diamètre d'environ 2 mm minimum. Un doigt nu, ganté, un
stylet, un objet métallique ou tranchant active la fonction tactile sans
détériorer le produit. Il n'y a pas de contrainte concernant le matériau
de l'objet activant la dalle tactile, il suffit qu'il soit opaque aux rayons
infrarouges. Aucune force n'est nécessaire pour couper ce rayon.
Comme il n'y a pas d'usure mécanique, elle offre une grande

longévité et est très résistante au vandalisme. Le support verre peut
être rayé ou cassé, elle continuera à fonctionner. Cette résistance au
vandalisme n'a pas de limite. L'épaisseur, le nombre et la nature du
support (Verre en général) sont modifiables à volonté et à moindre
coût. Outre sa résistance au vandalisme, elle répond parfaitement aux
exigences des environnements et des conditions d'utilisation les plus
rigoureuses.
Les Inconvénients
Hormis leur coût supérieur à celui des dalles résistives, les dalles
tactiles infrarouges sont en général d'une épaisseur supérieure aux
autres technologies. Leur fonctionnement peut être perturbé par des
objets volants, collés ou une luminosité importante et directe.
Du fait de leur construction, les dalles tactiles infrarouges ont une

épaisseur supérieure à 5 mm et jusqu'à 15mm pour des versions
blindées. Cette épaisseur importante ne facilite pas l'intégration des
dalles tactiles dans des moniteurs bureautiques. De nombreux
facteurs peuvent perturber le fonctionnement de la dalle tactile, ou
fausser les informations, mais toutefois sans jamais la détériorer. En
effet, tout objet volant ou collé sur la dalle coupant le faisceau
infrarouge, sera détecté comme un impact de l'utilisateur.
31
IV.5 Technologie à onde de surface (Acoustique)
Les écrans tactiles SAW (ou onde acoustique) commandent un coût

plus élevé que les technologies résistives ou capacitives, mais
compensent avec l'excellente vie, la longévité et la qualité optique.
Puisque les écrans tactiles SAW sont faits à partir d'un verre pur sans
enduits (un matériel très dur) et emploient des ondes acoustiques
(vibration microscopique à haute fréquence en surface de verre) plutôt
que les signaux électriques, aucun "mécanisme d'usure" des contacts
normaux et également aucune dérive ne se créent. Pour cette raison,
les fabricants de SAW offrent des garanties de 5 ans ou plus.
Construction
32
Un écran tactile SAW consiste en une seule pièce de verre, comme
celle utilisé en verre normal de fenêtre, avec les modèles spéciaux de
réflecteur collés sur les bords extérieurs sur la surface supérieure.
Quatre sont collés aux coins du verre en ligne avec les modèles de
réflecteur. Chaque capteur est relié à la languette par deux fils pour
un total de huit fils dans celle-ci.
Deux premiers capteurs constituent les émetteurs (un pour

chaque axe) et produisent une onde acoustique dans la surface de
verre d'un signal électrique envoyé par le contrôleur.
Deux seconds capteurs deviennent des récepteurs qui

convertissent l'onde acoustique reçue de la surface de verre dans un
signal électrique qui est renvoyé au contrôleur. Les modèles de
réflecteur génèrent des séries de "raies" courtes qui sont orientées à
45 degrés des axes de X ou de Y sur le verre et le service pour refléter
l'onde acoustique des émetteurs à travers le secteur actif du verre
puis de nouveau aux capteurs de réception. Les raies sont appliquées
au verre dans un processus semblable à l'impression écran en
utilisant une "encre" spéciale et sont durcies et collées sur la surface
de verre en utilisant un processus qui n'exige pas de température
élevée Un morceau de bande est typiquement employé dans un des
coins de l'écran tactile pour absorber toutes les ondes acoustiques qui
viennent des capteurs de transmission et qui n'ont pas été reflétées
par les raies pour les empêcher de se refléter en arrière du bord du
verre et de causer des interférences.
Comment le contact est identifié?
L'invention du SAW a créé une technologie élégante de contact en

utilisant une combinaison des principes électroniques et mécaniques.
Les ondes acoustiques extérieures en verre sont facilement absorbées
par les matériaux mous qui touchent le verre. Le contrôleur envoie un
33
signal électrique court et à haute fréquence à l'un des capteurs de
transmission. L'onde résultant des vagues mécaniques est reflétée par
les raies à travers la surface du verre. Ces vagues sont encore reflétées
par les raies sur le bord opposé du verre à un des capteurs de
réception. Le capteur de réception convertit alors les vagues
mécaniques reçues de nouveau dans un signal électrique et les
envoient au contrôleur. Ce processus représente un axe. Il est alors
répété en utilisant l'autre paire de capteurs représentant l'autre axe.
Le chemin pris par les vagues reflétées devient plus court au bord
de l'écran près de la paire d'émetteur-récepteur et plus long au bord
opposé. Puisque la vitesse du bruit à l'intérieur du verre (la vitesse de
propagation de l'onde acoustique) demeure constante et lente
comparée à la vitesse de l'électronique, il devient facile pour le
contrôleur de distinguer les différents chemins que les vagues
prennent à travers l'écran.
Avantages
La technologie SAW offre la meilleure exécution optique, la

longévité, la stabilité, la main gantée pour l'entrée et les la plupart des
options pour la sûreté contre la rupture. Le SAW Tempéré est
également moins chère qu'une autre technologie “anti-vandalisme”
comme l'infrarouge et le capacitif projeté
Optiquement, aucune technologie ne peut offrir une meilleure
exécution. Les écrans tactiles SAW emploient le verre pur dans le
secteur actif sans couches supplémentaires d'ITO, de micro-fils ou de
plastiques. La transmissivité spécifique est de 90-92% et il n'y a
aucun décalage de couleur qui se produit avec des enduits d'ITO.
Le verre est également la surface la plus dure utilisée dans les

écrans tactiles. Il n'a aucun usage des contacts normaux et il résiste
efficacement à tous les produits chimiques et est relativement difficile
de rayer.
Le rejet de contaminant est un dispositif de l'ajustement

automatique du seuil du contrôleur de SAW. Si quelque chose entre
en contact avec l'écran qui cause un changement du signal reçu mais
de séjours constants dans cette position, le contrôleur le traitera
comme contaminant et ajustera le seuil automatiquement pour le
compenser.
Les écrans tactiles SAW ont également un avantage significatif

dans quelques applications au-dessus de son concurrent plus étroit,
capacitif, parce qu'un doigt ganté (soit cuir, caoutchouc ou tissu)
créera un contact identifié.
34
Inconvénients
La technologie SAW a un certain nombre d'inconvénients

comparés à d'autres technologies, y compris avoir un coût plus élevé
que les technologies résistives, réagissant à l'eau, ne pouvant pas
employer les aiguilles dures, le cachetage et avoir un temps de
réponse plus lent et une sensibilité réduite.
Puisque les ondes acoustiques extérieures sont absorbées

doucement par n'importe quoi, les baisses de l'eau frappant la surface
de l'écran tactile causeront des faux contacts.
Les écrans tactiles SAW n'identifieront également pas les objets

durs qui sont employés en tant qu'une aiguille, telle que des stylos,
des crayons, des cartes de banque, des ongles, et beaucoup de
prosthétique (membres artificiels pour les handicapés).
Il est plus difficile de la sceller que les autres technologies tactiles.

Généralement, des garnitures et le silicone en caoutchouc ne peuvent
pas être employés pour créer un joint entre l'écran tactile et la clôture
qu'il est monté dedans. C'est parce que le caoutchouc et de tels
matériaux mous absorberont le signal d'onde acoustique et altéreront
l'exécution de l'écran tactile. Tous les fabricants de SAW fournissent
les matériaux spéciaux que le client devrait employer pour empêcher
la poussière et les éclaboussures de liquides d'entrer dans l'habitacle
ou dans les raies de l'écran tactile SAW.
Options
En plus de l'option tempérée typique standard du SAW, certains

fabricants offrent les armatures pré-scellées pour aider des clients à
réaliser la norme IP65 des clôtures évaluées.
D'autres options incluent la stratification afin d'augmenter la

résistance et empêcher des morceaux de verre de tomber hors d'un
écran tactile SAW tempéré cassé (comme un pare-brise d'avant de
voiture) et de la stratification de filtres optiques spéciaux tels que
l'intimité et les filtres de polariseur. Des articles stratifiés doivent
toujours être ajoutés au dos de l'écran tactile SAW.
35
IV.6 Technologie NFI
En dehors des quatre principales technologies utilisées pour les

dalles tactiles, il existe une technologie baptisée NFI (pour Near Field
Imaging). Le principe consiste à intercaler une couche conductrice
(identique à celle utilisée dans les technologies capacitives et
résistives) entre deux plaques de verre. Un champ électrostatique de
faible intensité est alors créé en permanence sur la face externe de la
dalle de verre qui va être en contact avec l'utilisateur.
Le profil des lignes de champ est analysé en permanence par un

contrôleur et lorsque l'on touche l'écran (avec un doigt muni d'un
gant, un stylet,...) le champ est perturbé. L'analyse du profil des lignes
de champ permet de calculer l'emplacement du point de contact. Cette
technologie permet de travailler dans des ambiances industrielles très
sévères (eau, poussières, agressions chimiques,...) tout en conservant
un degré élevé de luminosité, puisque l'interface avec l'extérieur n'est
constituée que d'une dalle de verre.
Ecran équipé d'une pellicule optoélectronique permettant de

pointer directement à l'écran à l'aide du doigt à la fonction d'affichage,
l'écran tactile marie la fonction de pointage.
Dans ce but, une couche contenant une matrice électronique

transparente est superposée à l'écran ; lorsque le doigt appuie sur une
zone de l'écran, cette matrice permet de déterminer les coordonnées
de la zone en question. Les technologies les plus utilisées sont l'écran
résistif, l'écran capacitif et la technologie NFI.
Ce mode de pointage ne convient pas à un usage prolongé sur un

écran dressé verticalement, car le bras se fatigue rapidement de rester
levé en permanence.
En revanche, il convient bien aux applications de bornes

interactives, car il permet de s'affranchir d'un dispositif de pointage
externe de type boule de commande ou souris.
36
IV.7 Comment choisir parmi ses technologies?
En effet, chaque technologie a ses avantages et ses

inconvénients. 4 technologies principales et leurs dérivées sont
disponibles actuellement sur le marché :
Résistif: Technologie la plus populaire, dû à son prix abordable, sa facilité

d'utilisation et d'intégration.
Utilisations : Technologie la plus sensible au vandalisme, à
destination d'un usage privé ou par un employé.
Ex : Terminaux de point de vente, équipement
médical, équipement industriel.
Avantages : Utilisable avec tout type d’objet non contendant.
Possibilité d’utilisation dans un produit étanche
(IP66…). Temps de réponse le plus rapide.
Précision élevée permettant la capture d’écriture.
Coût le plus abordable.
Inconvénients : La surface peut être coupée avec un objet
contendant, qualité optique inférieure aux autres
technologies.
Dérivé : Résistif 4 fils, Résistif 8 fils, Résistif 5 fils (durée
de vie plus longue, peut continuer à fonctionner
avec une dalle coupée).
Capacitif: Cette technologie est un bon compromis entre le résistif et l'onde
acoustique ou l'infrarouge.
Utilisations : Tout type.
Avantages : Résistant au vandalisme (version blindée).
Inconvénients : Ne peux être utilisée qu'avec un doigt non ganté.
Dérive. N'est pas résistante aux rayures.
Déclinaisons : Capacitif projeté, très résistant aux rayures et au
vandalisme. Peut être utilisé avec un doigt ganté.
Cout élevé.
Infrarouge: Une des technologies les plus résistantes au vandalisme et utilisée
pour un usage extérieur.
Utilisations : Tous types d'environnements.
Avantages : Qualité Optique. Activée par tous types de
pointeurs (stylet, doigt ganté, etc.…). Intégration
étanche possible. Pas de dérive avec le temps.
Très résistante au vandalisme.
Inconvénients : Peut être perturbée par des objets volants ou
collés et par une autre source lumineuse.
Epaisseur de la dalle.
Onde Technologie dite intelligente, offrant une bonne qualité et une
Acoustique: bonne résistance au vandalisme.
Utilisations : Tout type.
Avantages : Qualité Optique. Pas de dérive. Peut être utilisée
avec des gants. Très résistante au vandalisme.
Inconvénients : Interaction tactile avec la poussière et l'eau. Ne
peut être activée qu'avec un objet mou.
Déclinaisons : Waterproof.
37
IV.8 Exemples de fabrication
The Mimio System
Le MimioBoard (produit commercialisé) est un autre système

permettant de se servir de n'importe quel tableau d'une manière
interactive. En effet, grâce au stylo Mimio, on peut interagir comme
une souris sur le tableau sur lequel est projetée l'image. Le stylo
Mimio peut faire les deux clicks d'une souris, avec quelques
fonctionnalisées de plus comme grossir l'image ou encore éclairer une
image volontairement noircie à la manière d'une lampe de poche.
Inversement, tout élément écrit à l'encre numérique sur le tableau est
intégré en temps réel sur le pc.
Fonctionnement:
Tout le dispositif repose sur la barre de capture Mimio. Pour faire

marcher le système, il suffit simplement de fixer cette barre avec son
système de ventouse sous l'écran. Il faut ensuite la connecter au pc à
l'aide d'un câble USB. Mimio se sert d’un système de positionnement
ultrasonore, consistant en une barre de capture, des stylets marqués
par leur couleur, et une gomme électronique. Le stylet et la gomme
électronique émettent un bourdonnement ultrasonore lorsqu'ils
touchent le tableau avec une légère pression. C’est ainsi que les
données de tracé sont envoyées à la barre de capture. Cette dernière
localise en continu la position du stylet ou de la gomme pendant que
l’utilisateur écrit sur le tableau.
38
Bilan
• Précision. Très bonne, c'est un contact direct avec l'écran.

• Le degré de liberté: 2.
• Nombre d'interactions différentes possibles: .2 interactions
différentes sont possibles sur le stylo. Bien sûr selon le réglage
du pc, ces interactions peuvent avoir différents rôles.
• Le nombre de points de contact maximum supportés: 1 seule.
Du moins pour le moment car le site internet de Mimio annonce
que la nouvelle version sera multi utilisateurs
• Compatibilité avec les surfaces. Marche sur n'importe quel
écran grand d'au maximum 1.60m
• Ergonomie Excellente, il est très simple de cliquer avec un stylo
sur un écran.
Conclusion:
On a personnellement trouvé ce système très performant. Il

constitue une petite révolution dans le monde des présentations sur
tableau. Malheureusement la barre Mimio ne fait que 1.60 mètres de
large maximum. Cette solution ne peut être retenue pour l'écran du
LIRMM, ou en tout cas il faut l'améliorer, mais évidement les codes ne
sont pas open source.
The Smartboard:
Le SmartBoard est un tableau interactif relié à l'ordinateur. Il

permet d'interagir sur un tableau directement. Le but du SmartBoard
est de rendre plus simple et plus interactive les présentations. Les
stylos remplacent la souris. Il inclut des instruments dédiés (effaceur
et stylets) mais il autorise aussi l'emploi des stylos feutres usuels, le
doigt, la brosse ordinaire.
39
Fonctionnement:
Les capteurs de la surface détectent les points sollicités que ce soit

avec un feutre, une brosse ou un doigt. La réaction du système
dépend du mode actif :
- En mode écriture, toute pression entraîne une écriture à encre

électronique dont la couleur est la couleur courante, par exemple
bleu. Ainsi, écrire avec un feutre rouge trace des inscriptions à encre
physique rouge.
- En mode commande, toute pression en-dehors des icônes projetées

se traduit par une sélection : de l'encre physique est déposée et le
système produit un rectangle élastique!
Bilan
• Précision. Assez moyenne si l'on s'en réfère à des témoignages

internet.
• Le degré de liberté: 2.
• Nombre d'interactions différentes possibles: 1 seule.
L'interaction correspond au clic gauche de la souris.
• Le nombre de points de contact maximum supportés : 1 seul
possible. Si la surface est touchée par 2 point de contact, alors
le système prend le point médian.
• Compatibilité avec les surfaces. Le Smartboard comprend son
propre écran, il ne peut fonctionner que sur celui ci.
• Ergonomie Bonne. Il suffit de toucher l'écran
Conclusion:
Ce système ne nous intéresse pas pour notre cas, car il faut

utiliser leur écran. Il se révèle tout de même pratique à l'utilisation
malgré quelques défauts remarqués par les utilisateurs:
1 seul point de contact supporté, La résolution spatiale est inférieure

à celle d'un tableau conventionnel et l'utilisateur ne peut jouer sur
l'épaisseur du trait.
40
V. Les systèmes se basant sur la vision par
ordinateur.
Les techniques de visions par ordinateur permettent de se passer
de câbles et de marqueurs encombrants et permettent donc une plus
grande liberté de mouvement aux utilisateurs. Parmi l'ensemble des
gestes que les hommes accomplissent lorsqu'ils communiquent, les
gestes de pointage sont facilement interprétables et peuvent conduire
a des interfaces homme machine plus naturelles et plus puissantes.
Ainsi de nombreuses études ont été menées sur la reconnaissance

de gestes de pointage par vision. Mais ces systèmes ne se suffisent
souvent pas à eux même, et ils doivent dans la plupart des cas être
couplés avec d'autres systèmes.
Nous trierons ces différents systèmes de pointage par vision en 4

catégories, en rapport aux systèmes avec lesquels ils sont couplés.
• Les systèmes ne se servant que de la vision par ordinateur.

• Les systèmes qui allient en plus des capteurs physiques.
• Ceux couplés avec un dispositif laser.
• Les méthodes utilisant en plus un rétroprojecteur.
V.1 Les systèmes ne se servant que de la vision par

ordinateur
Ce genre de système à été développé principalement pour des

personnes handicapées. En effet, ce genre de système n'est souvent
pas très adapté pour nous, car trop limité en termes de degré de
liberté et d'interaction avec l'écran. Cependant, ils constituent une
véritable révolution pour les personnes à mobilité réduite. De
nombreux systèmes existent, étant semblables, la caméra fixant soit le
mouvement des yeux ou de la tête. L'exemple que l'on donne prend en
compte les mouvements de la tête, ce qui semble être le plus simple
d'utilisation. Voici comment marche la “Perceptual Windows”.
The perceptual windows
Ce système à été développé dans un premier temps pour personnes

handicapées. Il est en fait l'évolution des systèmes se basant sur le
regard. Mais, il est difficile de contrôler tous les mouvements des
yeux. C'est pourquoi le pointeur va cette fois-ci suivre les mouvements
de la tête.
41
Pour mettre en place ce système, il nous faut uniquement une
webcam placé au dessus de l'écran qui filme la tête et bien sur le tout
relié à un pc.
Fonctionnement:
Il faut bien sûr au début calibrer la webcam pour définir à quel

vitesse de déplacement elle doit suivre le curseur. A partir de cette
base, plusieurs variantes existent, qui sont des évolutions. Le système
prévu pour les handicapés prévoyait de remplacer le clic gauche par la
fermeture de l'oeil gauche pendant au moins 1s, et inversement pour
le clic droit.
Mais ce système à aussi été développé pour personnes valides. Il

permet par exemple à une personne de faire défiler le texte en
baissant la tête, la souris pouvant être attribué à d'autres
interactions.
Bilan
• Précision. Sur un écran de pc, la précision est acceptable, de

nombreuses personnes handicapées se servant aujourd'hui de
ce genre de système.
• Le degré de liberté: 2. C'est simplement une souris normale
mais différente.
• Nombre d'interactions différentes possibles: 2 clics comme une
souris deux boutons.
• Le nombre de points de contact maximum supportés : Il ne peut
y avoir qu'un seul utilisateur à la fois.
• Compatibilité avec les surfaces. Ceci marche bien pour un écran
de pc, mais plus on agrandit, plus on perd de la facilité
42
d'utilisation et plus les mouvements de tête deviennent
contraignants.
• Ergonomie: Contraint à ne pas trop bouger
Conclusion:
Ce système est particulièrement intéressant pour les personnes ne

pouvant se servir de leur bras. Il constitue pour eux un véritable
progrès. Cependant pour nous ce système n'est pas très intéressant
car pas trop adapté pour un grand écran, et de plus il faut que la
webcam soit juste en face de nous, sinon ca devient beaucoup plus
compliqué à utilisé...
IV.2 Les systèmes couplés avec un dispositif laser
Le laser est déjà utilisé depuis un certain temps. Au début, son

utilisation se limitait à un rôle visuel, notamment lors de présentation
sur écran ou tableau. Mais associé à une caméra, il peut devenir un
formidable outil de pointage. Nous présenterons un seul modèle, car il
n'y a pas énormément de changement d'un modèle à l'autre. Nous
vous présentons ici l' ”UpenLaser”, une des dernières innovations en
termes de laser.
Upen Laser
Upen est un stylo qui utilise le laser pour interagir entre un mur
écran et l'utilisateur. Il faut placer une caméra fixe en face de l'écran
pour localiser le curseur. En effet, lorsque l'utilisateur déplace le stylo,
c'est cette caméra qui retransmet au pc les coordonnées du curseur.
Fonctionnement:
Upen est composé de deux boutons comme la souris, un bouton

pour allumer ou éteindre le laser et une connexion wifi. Lorsque
l'utilisateur allume la fonction laser, la caméra localise le curseur sur
le mur écran. Grâce à la connections wifi, l'utilisateur peut faire des
opérations avec deux boutons. Ce système à la particularité
d'autoriser plusieurs utilisateurs à interagir en même temps.
43
Bilan
Précision: Il y a un problème de calibrage quand l'utilisateur est loin

de l'écran.
Le degré de la liberté: 2 . Il peut déplacer les cibles dans l'écran en x y.
Nombre d'interactions possibles: 2 boutons remplaçant les deux clicks

souris.
Compatibilité avec la surface: L'utilisateur peut utiliser Upen sur

n'importe quel mur écran.
Ergonomie: Upen est très facile d'utilisation pour les écrans géants
Conclusion:
Upen laser est un dispositif portable. L'utilisateur peut faire

facilement des interactions sur un mur écran. Devant le même écran,
il est possible d'avoir plusieurs utilisateurs. Mais si l'utilisateur est
très loin d'écran, le calibrage pose un problème. Upen laser est
éventuellement adapté pour nous.
V.3 Les systèmes qui allient en plus des capteurs physiques.
De nombreux prototypes de systèmes de pointages ont déjà testé

de créer des dispositifs à base seulement de capteurs. Certains ne
mettaient des capteurs que sur les mains quand d'autres les plaçaient
sur tout le bras. Mais les résultats n'ont jamais été réellement
concluants.
44
Mais le système présenté ci-dessous allie les capteurs pour le
déplacement du curseur, avec une caméra pour les actions. Voici le
système “freehand”.
The freehand system
Ce système permet d'interagir sur un écran grâce à la main. Il est

en fait l'évolution des systèmes se basant sur un dispositif de capteur
sur les doigts. Le point fort de ce système est qu'il peut détecter les
vrais mouvements des tremblements de la main. Sa précision en est
donc fortement augmentée.
Fonctionnement:
L'utilisateur peut utiliser ce système sur un écran géant et n'est

pas bloqué par la distance (4, 5mètres sans problèmes). Les capteurs
sont placés sur chaque doigt et sur le dos de la main. Il y a un rayon
laser qui sort de chaque capteur jusqu'au récepteur. Lorsque
l'utilisateur ouvre la main, il peut contrôler le curseur de l'écran qui
suit le mouvement de la main, Chaque doigt donne une commande
différente qui s'active quand on plie le doigt ou quand on ferme la
main. De plus, ce système permet de zoomer une zone.
Bilan
Précision: Nous n'avons pas pu avoir de documentations objectives

sur la précision. La seule démonstration disponible semblait toutefois
très correcte.
Degré de la liberté: 2. En effet; on peut se déplacer sur 2 axes x et y.
Nombre d'interactions possibles: 6. Les 5 doigts peuvent avoir une

interaction différente plus le fait de fermer le poing.
Compatibilité avec les surfaces: Ce système peut éventuellement

s'adapter pour notre écran géant.
45
Ergonomie: L'ergonomie est bonne si le calibrage a été bien fait.
Conclusion:
Ce système est assez intéressant et pourrait être adapté pour

nous. Cependant le système parait plus compliqué au niveau
électronique. Il sera en tout cas parmi ceux que l'on comparera pour
notre choix final.
V.4 Les systèmes combinant un rétroprojecteur avec une

caméra.
Ces systèmes sont parmi les plus performants. De très nombreux

prototypes ont été créés sur ce système. Ils reposent sur une base
commune, mais donne des résultats très différents. On donnera
différents systèmes qui nous ont paru intéressant. Dans l'ordre, on
commencera par les travaux d'Andrew Wilson, avec le “touchLight”,
puis son évolution le “playAnywhere”. Ensuite, dans un registre
complètement différent, nous expliquerons le fonctionnement de la
“magic table”. Nous finirons sur le “touchPad”, qui peut être vu
comme un mélange de tous ces systèmes.
Le TouchLight . (A. wilson)
Il s'agit d'un système qui permet d'avoir des interactions

directement avec l'image projetée. En effet, l'image est projetée sur
une surface transparente (type vitre), et après calibrage, il nous
permet d'effectuer diverses actions dessus par le toucher.
Principalement, on peut agrandir une image et la déplacer selon 4
degrés de liberté.
Fonctionnement:
Il s’agit d’une interface tactile combinant deux caméras à un

projecteur qui permet à l’utilisateur de déplacer, de manipuler et de ré
agencer à la main des éléments et des images sur son écran
d’ordinateur. L'écran tactile permet de toucher les objets et de les
déplacer. Ensuite les différentes interactions sont possibles grâce aux
caméras qui analysent les formes de la main. A chaque forme on peut
associer une action, cela se fait au niveau du calibrage. Avec un tel
système on peut imaginer des réunions de travail virtuelles, des visites
virtuelles de bâtiments....
46
Bilan
• Précision. Très bonne.

• Le degré de liberté: 4 car on peut faire des rotations.
• Nombre d'interactions différentes possibles: N'est pas limité, il
suffit d'en réinitialiser de nouvelles.
• Le nombre de points de contact maximum supportés Ce
système est plutôt mono utilisateur.
• Compatibilité avec les surfaces. Il faut un écran spécial qui va
avec le système. C'est à dire transparent pour que les caméras
puissent filmer, et qu’ils soit tactiles.
• Ergonomie Comme dans tous ces systèmes de toucher : très
simple.
Conclusion:
Système intéressant mais qui nécessite trop de contraintes

matérielles. Complètement ingérable pour l'écran du LIRMM.
47
L'écran interactif PlayAnywhere . (A. wilson)
Il s’agit d’un prototype d’affichage interactif qui transforme

n’importe quelle surface ordinaire en zone de travail interactive. Grâce
à la technologie Computer Vision, l’ordinateur détecte quand un
utilisateur touche la surface et peut ainsi interagir avec des objets
placés dessus. Ainsi, quand on place une feuille de papier,
l’ordinateur peut décider d’y afficher un film, un diaporama etc.
Fonctionnement:
Il s'agit en fait de l'évolution du TouchLight. Dans sa première

version, Andy Wilson projetait l'image sur un écran transparent sur
lequel il pouvait interagir. Là c'est le même système qui est mis en
place, à la seule différence que l'on peut projeter l'image là où on veut.
Ainsi, sur cette simple table en bois, on peut en plus de projeter un

film, créer des objets virtuels qui entrent en contact avec l'image
projetée. De plus sur une simple fenêtre type Windows, on peut
cliquer avec le doigt comme on le ferait avec la souris.
Bilan
• Précision. Parfaite.
• Le degré de liberté: 4 car on peut faire des rotations.
• Nombre d'interactions différentes possibles: N'est pas limité.
• Le nombre de points de contact maximum supportés Ce
système est conçu pour permettre à différents utilisateurs
d’interagir.
• Compatibilité avec les surfaces. N'importe quelle surface plane
peut faire l'affaire.
• Ergonomie Enfantine
48
Conclusion:
Ce système est absolument génial. Il constitue une des dernières

avancées technologiques, car ce projet a à peine un an. Il peut tout à
fait être adapté à notre écran géant, bien que cela nous ramène à
nous déplacer en permanence sur les 5m40 de largeur.
The TouchPad System
Ce système de pointage est composé d'une plaque tactile, de deux

caméras fixant les 2 mains de l'utilisateur, tout ceci relié au pc, pour
interagir avec l'écran géant. C'est un système interactif bi manuel
entre le mur écran et la plaque. Grâce aux mouvements des doigts sur
la plaque tactile, l'utilisateur peut choisir précisément ses cibles. Il
interagit dessus à l'aide des cameras qui reconnaissent les différents
gestes de sa main, certains gestes étant calibrés pour répondre à telle
ou telle interaction.
De plus ce système permet d'être utilisé par plusieurs utilisateurs,

chacun possède alors une plaque tactile et deux cameras.
Fonctionnement:
La moitié gauche de la plaque sert uniquement à se déplacer dans

l'écran et à choisir une fenêtre. Lorsqu'on a choisit la fenêtre, on se
sert de la moitié droite pour manipuler des opérations pour cette
fenêtre. Avec un doigt prioritaire et un doigt secondaire, l'utilisateur
peut localiser le curseur, choisir les cibles, bouger des fenêtres...
Chaque plaque tactile a une étiquette d'identification unique. Par

rapport à ces étiquettes différentes, le mur écran peut être segmenté
pour chaque utilisateur.
49
Bilan
Précision: Très bonne tant qu'il y à un seul utilisateur. Le système

semble vite atteindre ses limites quand plusieurs personnes veulent
interagir avec l'écran.
Le degré de la liberté: 4, il peut générer les rotations sur x et y.
Nombre d'interactions possibles: On n'a pas de limite à ce niveau,

chaque geste de la main peut représenter une action.
Compatibilité sur différentes surface: il peut être utilisateur sur

n'importe quel écran, en particulier le notre.
Ergonomie: il est très facile d'utilisation, et peut être particulièrement

adapté pour des réunions.
Conclusion
Ce système est très intéressant surtout dans le partage du mur

écran pour différents utilisateurs. Il peut éventuellement s'adapter
pour nous. Mais, il semble être compliqué quand il y a plusieurs
utilisateurs. Il sera en tout cas parmi ceux que l'on comparera à la fin
pour notre choix.
50
Bilan de l’état de l’art.
La première remarque est que nous avons tous été impressionnés

par le nombre de recherches et d’expérimentations faites dans le
domaine des dispositifs de pointage, et ce depuis une bonne dizaine
d’années.
Parmi ces nombreux systèmes, les plus riches sont sans contexte
ceux utilisant une surface tactile couplée avec une caméra. Certains
systèmes utilisant uniquement des surfaces tactiles donnent
également de très bons résultats. C’est le cas des travaux entre autres
de Jeff Han, véritable référence en la matière.
Cependant, un autre domaine est également très en vogue, il s’agit

de la réalité mixte. Nos recherches nous ont montré que l’on peut
obtenir de systèmes très complexes et sophistiqués avec cette
technologie. Ils marchent pour la plupart uniquement avec une
caméra, et sont souvent open source.
C’est donc vers ce domaine que l’on va se tourner, aussi bien pour
notre objectif de développement que pour les faibles coûts de
réalisation.
Parmi les différents systèmes de réalité mixte, deux systèmes nous

ont paru prometteurs. ARToolKit, dont on a déjà parlé, et la
bibliothèque HandVu. Il semblerait que ce soit les deux meilleures
pistes pour étudier la faisabilité d’un dispositif de pointage.
Ajustement du sujet suite à ce Bilan.
Conformément au cahier des charges, nous allons nous pencher

sur ARToolKit pour interagir au travers d’applications avec l’écran.
Mais étant donné que nous avons trouvé un deuxième système « open
source », HandVu, qui nous parait très intéressant, nous avons pensé
qu’il serait riche d’enseignements de faire un comparatif entre les
deux. Ainsi, à la suite de cette étude, on pourra savoir ce qui
fonctionne le mieux dans le contexte de notre travail. Le but sera donc
d’analyser dans quels cas il est préférable d’utiliser l’un plutôt que
l’autre.
51
A partir de cette étude approfondie, d’autres étudiants après nous
seront capables de construire un système de pointage pour n’importe
quel écran (donc entre autre celui du LIRMM) en utilisant un des deux
systèmes.
Deux pistes de recherche en réalité mixte: ARToolKit et HandVu.
Les obstacles du développement de la réalité mixte ont longtemps

été du à la contrainte de fonctionnement. Ainsi on demandait aux
utilisateurs par exemple d'enfiler des combinaisons, casques, lunettes
ou tout autre vêtement contenant des marqueurs. Ces contraintes
d'utilisation ont pour l'instant plutôt découragé les personnes ayant
essayé ce genre de système.
Exemple: Test du système «Artag»:
Cependant ce domaine étant en pleine expansion, différentes

applications sont maintenant accessibles au public, c’est le cas de
ARToolKit et de HandVu.
52
Organisation au sein du groupe
Etant donné que nous nous orientons sur deux pistes différentes,
nous avons décidé de séparer le groupe en deux. Un groupe se lance
dans l’implémentation de HandVu et l’autre dans ARToolKit. Ainsi,
nous pourrons comparer facilement les différences entre les deux
systèmes. Pour ceci, nous décidons de coder la même application pour
pouvoir être le plus objectif possible.
A noter que Hichem n’a pas pu participer entièrement à toutes les
étapes en raison de sa maladie et de ses séjours à l’hôpital. Cependant
nous le félicitons de n’avoir jamais baissé les bras et d’avoir toujours
suivi l’évolution du projet.
Même si nous avons tous suivi l’évolution de chaque membre du

groupe, nous avons décidé de nous répartir de la manière suivante :
HandVu:
Yihua:
-Responsable du fonctionnement d’openCV.
-Implémentation d’un jeu simple.
-Co-responsable de l’implémentation du jeu TicTacToe en réseau.
(thread de la reconnaissance et du suivi de la main)
Nicolas:
-Responsable du fonctionnement du HandVu.
-Implémentation du jeu de mémory.
-Co-responsable de l’implémentation du jeu TicTacToe en
réseau.(thread de l’application du jeu)
- Responsable du rapport sur HandVu
ARToolKit:
Alae eddine:
-Responsable du fonctionnement et du développement d’ArToolKit.
-Co-auteur du rapport sur ArToolKit.
-Co-responsable de l’implémentation du TicTacToe en réseau
(thread de la communication entre les deux pc).
-Responsable général de tout ce qui touche au réseau.
Hichem:
- Responsable du mémoire final.
- Co-responsable du rapport sur ArToolKit.
53
2007
HandVu
yhua Zhang
GREPILLAT Nicolas
Nous ne reviendrons pas sur la fiche présente dans notre état de l’art,
cependant, nous allons faire un complément technique et revenir sur deux
ou trois points importants si les lecteurs souhaitent utiliser le logiciel.
Précisions pour l’utilisation
HandVu est capable de reconnaître 6 postures différentes de la main.

Après expérimentation, on se rend compte que seulement 3 positions sont
assez bien reconnues. Il s’agit de closed, lback et open. (lback étant en fait
une partie de la position open). Voici donc ci-dessous les trois positions
fonctionnant avec cette bibliothèque.
Notre Travail.
Matériel.
Nous utilisons le matériel basique que nous possédons, à savoir pc et
webcams personnelles.
Mise en place de handVu.

Nous avons commencé par télécharger HandVu. Mais ce système
fonctionne grâce à la librairie «OpenCV», qui est une bibliothèque gratuite
d'analyse d'images et de vision par ordinateur. Nous avons dû dans un
2
premier temps nous adapter à ses différents codes afin d’avoir les premiers
résultats:
1) Voir sa main reconnue par la caméra.
2) Obtenir le suivi visuel de la main.
3) Faire réagir aux différentes positions
Récupération des données grâce au réseau.

Il a ensuite fallu réfléchir sur la méthode permettant, à partir d’un
programme C++ ou Java, d’intégrer les valeurs concernant la main et les
éventuels signaux.
En effet, la bibliothèque étant développée en C/C++, il est nécessaire de
définir la manière de faire le pont entre ses entrées/sorties et celles de
l’application à développer.
Nous avons décidé de réaliser une interface de communication de type
client-serveur
En effet, quand on lance HandVu, le serveur se connecte à un port
TCP/IP (par défaut le port 7045) qui envoi en continu les coordonnées de la
main, et le nom d’une éventuelle posture reconnue.
Chaque événement est transmi sous une chaîne de caractère ASCII,
délimitée par les espaces et les retours à la ligne.
Cette chaîne est donc reçue par le client grâce à une boucle infinie jusqu’à
ce que l’on quitte l’application.
Nous avons donc codé une première application Java, qui contient un
«thread» dédié à l’interrogation du serveur.
Le travail fut déjà bien avancé lorsque cette application a fonctionné.
Implémentation d'un jeu de Memory.

Une fois ce travail achevé, nous avons travaillé sur l’implémentation d’un
jeu utilisant ce principe: le jeu du Memory.
Mise à part le développement traditionnel d’une application Java, le travail
principal a consisté à remplacer les traditionnels « écouteurs de souris » par
les coordonnées que l’on récupère sur le serveur.
Nous avons également prêté attention à l’Interface Homme Machine.
C'est-à-dire, pour guider l’utilisateur dans le jeu, par exemple lorsqu’il
retourne deux cartes identiques, une signal sonore le prévient ou encore une
animation se lance lorsque le jeu est fini. Le code commenté est bien sûr
fourni en annexe.
3
Voici quelques captures d’écrans de l'application réalisée.
Reconnaissance de la main
Ce qui se traduit sur l’application comme suit :
On déplace le curseur en adoptant une position neutre pour être sûr de ne

pas faire une posture reconnue par mégarde.
4
Donc on se place sur la carte à retournée
Ensuite il nous reste plus qu’à faire une position reconnue («Open» dans ce
cas là).
5
Et la carte se retourne automatiquement avec un petit signal sonore
6
Implémentation d’un jeu de TicTacToe en réseau.
Afin d’exploiter un peu plus le fonctionnement de la librairie HandVu,

nous avons décidé de créer un jeu en réseau. C'est-à-dire deux personnes
qui jouent simultanément sur leur pc en interagissant grâce à HandVu, et
qui visualisent en même temps les déplacements de leur adversaire.
Nous sommes donc partis du travail précédent, et le but de cette deuxième

application est de savoir si on peut interagir correctement avec plusieurs
utilisateurs. Cette perspective est importante car le multiutilisateur (même si
il nécessite 2 pc et 2 webcam) est particulièrement appréciée dans les
dispositifs de pointage.
Travail supplémentaire.
C’est principalement au niveau du réseau que le travail a changé. En effet

l’application doit maintenant comporter un troisième « thread », qui renverra
en permanence la grille de jeu modifiée, et un booléen autorisant l’utilisateur
à jouer uniquement à son tour.
Voici le principe que l’on a mis en œuvre.

Réseau
Connexion
Connexion
locale 7045
locale 7045
Echange
d’informations
7
Pour avoir une interface plus conviviale, nous avons remplacé les croix et
les ronds par des taureaux et des toréadors. La main représente l’endroit ou
pointe l’utilisateur. Ce qui donne à l’écran des deux utilisateurs :
Utilisateur 1:
Utilisateur 2:
8
Difficultés rencontrées.
1) La principale difficulté a été l’installation du HandVu, elle n’a pas été

aussi simple que ce qui était décrit sur leur site web (
http:/www.moveinstitute.org). En effet, l’application ne marche
qu’avec la version beta5 d’OpenCv, et de plus il faut rajouter quelques
fichiers .dll trouvés sur le net. Cette étape a pris plus de temps que
prévu, mais à force de persévérance, l’objectif a été atteint. Le manuel
d’installation est fourni en annexe.
2) La partie réseau nous a également posé quelques difficultés, car le

serveur envoyait en continu les informations, ce qui rendait impossible
toute application complémentaire. Nous avons donc contourné le
problème en faisant un «thread» dédié à la réception des informations,
en plus du thread principal.
3) Enfin, si l’application marche assez bien, nous avons connu des

problèmes matériels. En effet, pour utiliser de manière optimale le
HandVu, il faudrait une caméra plus performante que les simples
webcams dont nous disposons. Dans notre cas, l’application
fonctionne parfaitement lorsqu’il y a de bonnes conditions d’éclairage,
et que l’utilisateur soit de préférence devant un mur de couleur uni.
9
2007
Rapport TER
Partie 3 : ARToolKit
El Hamdouni Alae‐Eddine
UFR – Univ Montpellier II
10/05/2007
Sommaire
ARToolKit ................................................................................................................................................. 3
Compréhension de l’outil : ............................................................................................................... 3
Raisons d’intérêt : ............................................................................................................................. 3
Utilisation et développement : ........................................................................................................ 4
Implémentation d’une démonstration : ..................................................................................... 4
2
ARToolKit
Comme on a vu dans la première partie, cet outil va être notre deuxième centre
d’intérêt.
Le premier travail à faire au début était, bien évidement, la compréhension de

l’outil en sa totalité, la recherche des raisons qui peuvent nous satisfaire pour
‘adopté’ ce système et enfin la manipulation des différentes composantes de l’outil.
tout en essayant de concevoir une application qui pourra servir à exploiter le
maximum des capacités qu’on peut en tirer.
Le premier travail à faire au début était, bien évidement, la compréhension de

l’outil en sa totalité. Nous nous sommes ensuite penchés sur ses différentes
caractéristiques afin de savoir si l’on pourrait ‘adopter’ ce système. Enfin il a fallu se
plonger dans la manipulation des différentes composantes de l’outil, en vue de
concevoir une application, dont l’objectif est d’exploiter le maximum des capacités de
cet outil.
Notre outil ne dispose quasiment d’aucune bibliographie satisfaisante pour un

travail de recherche, outre la documentation générée automatiquement à partir du
code source ou des petits articles -qui ne dépassent pas quelques pages- publiés sur
le net et difficiles à trouvés.
Compréhension de l’outil :
Les grands traits du fonctionnement de l’outil ARToolKit sont mentionnés dans la
première partie. Pour avoir d’avantage de détails, j’ai été obligé de pousser un peu la
recherche vers les aspects techniques du fonctionnement du système :
o Sur les aspects mathématiques et algorithmiques : en ce qui concerne

l’estimation de la position et de l’orientation(les systèmes de coordonnées,
équations de transformations, etc.).
o Sur l’implémentation elle même: calibration de la caméra, traitement d’image,
lecture de la vidéo en arrière plan, etc.
Raisons d’intérêt :
Lors de la phase de compréhension, j’ai déduis que notre système peut savoir
d’une manière plus ou moins efficace la position donc les coordonnées d’un pattern
réel, ce qui représente une étape primordiale dans la conception d’un système de
pointage. Cet avantage va être handicapé par la difficulté d’interaction qu’impose cet
outil. Comparé à un simple et familier outil de pointage comme la souris, son
système de positionnement s’avère plus libre mais en ce qui concerne les interactions
comme les clicks, on ne trouve pas vraiment comment il peut être exploité. Cette
défaillance vient du faite que lors d’une éventuelle superposition de deux marqueurs
3
ou plus, ceux du bas vont être camouflés par ceux du premier plan et par
conséquent le système va agir comme s’ils n’étaient pas là.
Utilisation et développement :
L’installation de ARToolKit dans ses deux versions est détaillée dans l’annexe du
rapport. L’utilisation nécessite la calibration de la caméra (voir annexe).
L’archive qui contient ARToolKit regroupe d’autres petites applications qui

servent à : calibrer la caméra, tester la vidéo, tester le fonctionnement des
implémentations 3D au sein d’un flux vidéo en temps réel, …
Nous avons préféré travailler sur la version java malgré la complexité que
représente la jointure d’un code C /C++ avec celui de java. Pour cela il m’a fallu
d’abord consacrer énormément de temps pour manipuler certaines technologies dont
dépend l’outil à savoir :
¾ Maîtrise des outils 3d. (OpenGl, java3d)

Le gros du travail été de faire fonctionner la 3D. Il a fallu se former à java3D et
à OpenGl sous java avec Jogl ou Gl4Java. Là aussi, les problèmes n’ont pas manqué
concernant la compatibilité entre les différentes versions des librairies : par exemple,
la dernière version de Jogl a des fonctions qui prennent plus de paramètres que
celles qui étaient dans les anciennes. Donc le développeur se trouve incapable de
définir ce qu’il faut mettre dedans.
¾ Familiarisation avec la JNI (java native interface) qui nous permet d’exploiter
les fonctions implémentées au sein du code C++.
Implémentation d’une démonstration :

Une petite démonstration utilisant Jogl sous Eclipse a été implémentée pour
montrer le fonctionnement de la librairie :
Détection de marqueurs.
Formation d’un cube 3D sur chaque marqueur détecté.
4
Reconnaissance de deux marqueurs en même temps
Reconnaissance d’un marqueur mobile
Difficultés rencontrées.
1) Le plus gros problème été la familiarisation avec la 3D. Personne n’avait de
connaissance réelle dessus, et cela nous à couté beaucoup de temps pour se
former sur le sujet.
De plus nous avons vu qu’il y avait un problème avec java3D. En effet, on a
été confronté à une multitude de petits bugs assez inexpliqués. On s’est
tourné sur OpenGl comme bibliothèque graphique, et il s’est avéré que
l’application fonctionnait beaucoup mieux.
2) Ensuite nous avons remarqué que parmi les nombreux marqueurs censés être
reconnus, seul certains fonctionnaient réellement. On n’a pas réussi à
5
expliquer ce problème, mais nous pensons qu’il faut une caméra de meilleure
qualité pour qu’il analyse les petites différences présentes entre les
marqueurs.
3) Encore une fois, étant donné qu’on se sert de caméra, l’environnement

lumineux et l’arrière plan derrière l’utilisateur jouent énormément. Il faudra
donc un bon éclairage.
6
Comparatif ArToolKit / HandVu.
D’après notre étude, le système HandVu correspond beaucoup plus à
un système de pointage qu’ArToolkit. De plus, la librairie HandVu est
relativement simple à utiliser, en comparaison de la complexité de mise en
œuvre d’une application avec la librairie Artoolkit.
Nous conseillons donc fortement à toutes personnes désirant faire un

système de pointage à proprement parlé d’utiliser la librairie HandVu.
Cependant, nous n’avons pas vraiment eut le temps d’essayer de coupler les
deux, mais nous pensons que cela peut offrir d’avantage de possibilités.
2007
Rapport TER
Partie IV : Annexe
UFR
10/05/2007
Concernant HandVu
Liens important
● http://www.movesinstitute.org
● http://www.opencv.com
Installation
L'installation se fait en exécutant le fichier MSI se trouvant sur le site
de l'auteur.
Nous avons utilisé la version HandVu Beta 3, qui tourne aussi bien
sur les plateformes Windows que Linux.
Pour fonctionner, HandVu requiert la librairie OpenCV de Intel.
Il est à noter qu'il y a des différences majeures entre les versions 4 et
5 d'OpenCV et que cette dernière version n'est pas compatible avec les
versions précédentes. Il faut installé OpenCV beta5a.
● Télécharger le fichier HandVuBeta3.msi

● Télécharger OpenCV version beta 5a.
● Télécharger le fichier DLLTester
● Faire un contrôle des librairies en ouvrant un éditeur de ligne de
commande et exécuter le fichier DLLTester comme ceci:
2
●Il se peut que certaines librairies ne soient pas trouvées.
Dans ce cas, il faudrait aller les chercher dans OpenCV et les copier
dans le répertoire d'installation de HandVu.
Concernant ARToolKit
Installation et exécution d’ARToolKit :
Version C++ :
ARToolKit est disponible sur ce site: www.hitl.washington.edu/artoolkit/
(version 2.65 avec support VRML ou version 2.72). Après la décompression,
entrez dans le dossier est exécutez le fichier ‘Configure.win32.bat’ .Après,
Ouvrez le dossier ‘exemples’ et entrez dans l’un des exemples fournis. Ouvrez
la solution ‘VC++ 6 Workspace’ et convertissez la en un projet ‘VC++ 8’. Les
configurations ‘Debug’ sont bonnes contrairement aux celles ‘Release’. Pour
compiler à priori sous la configuration ‘Release’, soyez sûr de mettre les
propriétés suivantes comme celles de la page de propriété du mode ‘Debug’ :
• C/C++ : Général : Autre Répertoire Include :

$(ProjectDir)..\..\include .
• Editeur de Liens : Général : Fichier de sortie :
$(ProjectDir)..\..\bin\$(ProjectName).exe.
• Editeur de Liens : Général : Répertoire de librairie
supplémentaire : "$(ProjectDir)..\..\lib".
• Editeur de Liens : Entrée : Dépendance Supplémentaire : libAR.lib
libARvideo.lib libARgsub_lite.lib
Il est possible maintenant de générer une solution en mode ‘Release’. Le

fichier exécutable sera créé dans le répertoire ‘bin’. Ce répertoire contient les
librairies dynamiques nécessaires à l’exécution. Il reste à signaler que pour
compiler le code, en plus de la librairie GLUT, Microsoft DirectX 8.1 SDK ou
supérieur doit être installé.
Version Java :
La Version JAVA de ARToolKit appelée jARToolKit, est disponible sur le
site : http://www.c-lab.de/jartoolkit/. Vous y trouverez plusieurs projets
éclipse (disponible sur www.eclipse.org) dont:
a. Un dossier ‘/bin’ contenant des librairies dynamiques nécessaire

pour la liaison de cette version avec la source C++ (JNI).
b. Un projet ‘jARToolKit’ qui génère les fichier d’entête utilisés par le
projet Ms Visual Studio associé :
3
"msvc7/jARToolkit/JARToolkit.h", "msvc7/jARVideo/JARVideo.h"
et "msvc7/jARFrameGrabber/JARFrameGrabber.h". Ici il faut
configurer la jSDK utilisée par le projet de manière à ce que le
chemin de ça librairie native soit celui du dossier bin de java
installée sur le système. Le Fichier ‘jARToolKit.jar’ doit être ajouté
à ce projet comme fichier jar externe ou bien copié dans le dossier
‘jre/lib/ext’ de la jSDK installée.
c. Un projet de démonstration (DemoJOGL ou DemoGL4Java ou …)
pas complet et pauvre mais qui fait le nécessaire !
Le dossier de jARToolKit seul ne suffit pas, vous aurez besoin de

certaines librairies pour la construction 3D selon l’API déployée :
¾ Pour l’API JOGL (Java OpenGl), une archive est disponible sur
https://jogl.dev.java.net/ et qui contient le fichier jar ‘jogl.jar’ et
les librairies ‘jogl.dll’,’jogl_cg.dll’ pour Windows ou
‘libjogl.so’,’libjogl_cg.so’ pour linux.
¾ Pour l’API Gl4Java, on trouve les fichiers jar et les librairies sur :
http://www.jausoft.com/gl4java.php
¾ Pour la Java3D, elle est disponible sur
http://java.sun.com/products.java-media/3D/ sous sa version
1.5 (au jour de la rédaction)
www.hitl.washington.edu/artoolkit/
artoolkit.sourceforge.net/
mtd.fh-hagenberg.at/depot/graphics/artoolkit/index.html

Etude de Faisabilite D'Un Dispositif de Pointage Pour Ecran Geant

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Etude de Faisabilite D'Un Dispositif de Pointage Pour Ecran Geant

Transféré par

Droits d'auteur :

Formats disponibles

15 mai 2007

TER Master Informatique

Un grand merci également à Nancy, qui a

Ce TER s'inscrit dans le courant de la recherche de l’Interaction

Ce mémoire s'adresse à toutes les personnes intéressées par les

Enfin il est destiné aux étudiants qui reprendront le projet de faire

Partie I : synthèse sur les systèmes existants…….p5

Partie III : ARToolKit………………………………….p62

II) L’interaction gestuelle....................................................................9

II.1 Exploiter la dynamique du mouvement......................................10

II.2 Interfaces gestuelles: des avantages et des inconvénients...........11

III La réalité mixte............................................................................11

III.1 La réalité augmentée.................................................................13

III.2 La virtualité augmentée.............................................................19

IV. Les écrans tactiles......................................................................24

IV.1 Technologie capacitive............................................................. 24

IV.2 Technologie résistive Analogique...............................................24

IV.3 Technologie résistive Analogique-Digitale..................................29

IV.4 Technologie à infra-rouge..........................................................30

IV.5 Technologie Acoustique.............................................................32

IV.6 Technologie NFI........................................................................35

IV.7 Comment choisir parmi ces technologies...................................36

IV.8 Exemple de fabrication..............................................................37

V.1 Les systèmes ne se servant que de la vision par ordinateur........41

V.1.1 The Perceptual windows……………………………………………….42

V.2 Les systèmes couples avec un dispositif laser.............................43

V.3 Les systèmes qui allient caméra et capteur physiques................45

V.4 Les systèmes combinant un rétroprojecteur avec une caméra....46

VI Bilan de l’état de l’art……………………………………………………………… 51

VII Ajustement du cahier des charges ……………………………………………..51

VIII Organisation au sien du groupe ……………………………………………….53

De nouvelles techniques d'interaction apparaissent chaque année

Nous dresserons donc un état de l'art de ces systèmes. Toutefois,

Le premier chapitre sur l'interaction gestuelle représente les

Ensuite, nous définirons ce qui est pour nous la réalité mixte et la

Le troisième chapitre est un état de l'art complet des systèmes

Enfin, nous donnerons plusieurs exemples de ce qui se fait en

II.1 Exploiter la dynamique du mouvement

Dans les interfaces classiques, lorsqu'un utilisateur effectue une

Dans la plupart des interfaces à manipulation directe, les

Exemples usuels de techniques d'interaction gestuelle dans une

Ce schéma illustre quelques techniques d'interaction gestuelle

Chaque action de type cliquer-glisser produit, à la manière d'un

II.2 Interfaces gestuelles: des avantages et des

L'avantage principal de l'interaction gestuelle est qu'elle permet

L'autre atout de l'interaction gestuelle est qu'elle exploite une

Bien que fort prometteuses, les interfaces essentiellement basées

III La réalité mixte

On peut aussi également dire que le système mixte c’est :

• Un système mixte mobile est un système dont les augmentations

• Un système mixte collaboratif est un système dont les

• Un système mixte collaboratif et mobile est un système dont les

Nous allons maintenant définir les deux points clés de la réalité

III.1 La Réalité Augmentée :

L’interaction se passe dans le monde réel et elle est augmentée

La réalité augmentée désigne des techniques consistant à

L'informatique diffuse, décrit une réalité augmentée où

ARToolKit est une bibliothèque ouverte de vision par ordinateur

Une des difficultés clés dans le développement des applications de

Comme mentionné dans

• Tout d'abord il faut acquérir le flux vidéo à l'aide d'une caméra.

• Chaque image est ensuite analysée dans le but de détecter des

• Si un carré noir est trouvé, la position de la caméra par rapport au