1

LOG 340
ANALYSE ET CONCEPTION
DES INTERFACES USAGER
TESTS PSYCHOMOTEURS

Eric Fimbel
Département de génie électrique
Dernière révision 2004-11-09 18:35
 2

Motivations

• Évidence. On réalise beaucoup d'opérations élémentaires,

comme pointer, cliquer, localiser un composant...
• Évidence. Les dispositifs d'entrée-sortie changent, les
styles d'interface (look-and-feel) aussi.
• Évidence. Les usagers sont des êtres humains, avec leurs
capacités et leurs limites.
• Question. Que devient l'usabilité si l'usager a du mal a voir
les composants et à cliquer dessus ?

Les performances sur des opérations élémentaires

peuvent affecter significativement l'usabilité
 3

Objectifs
1. Déterminer comment les performances des sujets sur
des opérations élémentaires sont affectés par différents
facteurs.
– Qu'il s'agisse de nouveaux dispositifs d'entrée-sortie ou de
caractéristiques des composants (taille, placement, etc.).

2. Vérifier ou établir des critères ergonomiques, à respecter

pour obtenir des interfaces efficientes.
– Les critères trouvés dans la littérature sont souvent des recettes
empiriques, dont la portée est limitée.
 4

Méthode utilisée
• Mesurer les performances de sujets sur des opérations
élémentaires, en conditions contrôlées.
– Exemple: pointer, lire un écran, détecter un changement.

• Utiliser des tâches ou des conditions qui mettent en

évidence l'effet des facteurs à l'étude.
– Exemple : étude de la couleur : cibles de couleurs différentes.

• Analyses quantitatives ou statistiques.

– Résultats quantitatifs ou statistiques, effets significatifs.

• Méthode rigoureuse issue de la psychologie expérimentale.

– Les résultats doivent être reproductibles.
 5

Contexte d'utilisation
 Durant le développement de librairies de composants
graphiques de base.
 Durant l'élaboration ou la validation des standards (look-and-
feel) qui seront suivis par l'interface.
– Taille des composants, disposition des écrans, actions de base...

 Durant la validation de mécanismes d'interface non-standard.

– Exemple. Commandes par mouvements de souris.

 Recommandation. Ne pas utiliser les tests psychomoteurs

pour des tâches réelles, simples ou complexes.
– Utiliser plutôt les tests de performances ou d'usabilité.
 6

Exemple de test - oddball

• Idée : se baser sur le temps de réaction pour mesurer la
difficulté de discriminer une caractéristique.
– Couleur, taille, « poids » (haptique), profondeur (3D)...

• Série d’objets visuels, présentés l'un après l'autre.

– Normaux.
– Anormaux (odd), de temps en temps.

• Détecter aussi vite que possible les objets anormaux.

– Mesurer la vitesse de détection et le taux d’erreur.

• Variante.
– On peut contrôler le degré de différence avec les objets normaux
(ex. différence de taille, en %).
 7

Exemple de test - oddball

• Objet normal = disque.

 8

Exemple de test - oddball

• Oddball = carré.
 9

Exemple de test - pointage

• Idée. Se baser sur le temps d'exécution pour mesurer la
difficulté de pointer sur une cible.
– En fonction du dispositif (souris, doigt, stylet...).
– En fonction des caractéristiques de la cible (distance, taille, objets
voisins...).

• Pointeur placé au centre.

• Une cible apparaît.

– Position, taille, diamètre, délai aléatoires.

• Le sujet pointe dessus le plus vite possible.

 10

Exemple de test - pointage

 11

Exemple de test - pointage

• Trajectoires superposées.

données artificielles
 12

Exemple de test – recherche visuelle

• Idée. Se baser sur le temps d'exécution pour déterminer la difficulté
à repérer une caractéristique donnée.
– Couleur, taille, forme...

• Présenter un ensemble d’objets identiques, sauf un.

• Cliquer sur l'objet différent le plus vite possible.

• Mesurer le temps d'exécution.

• Variante : mesurer les points de fixation du regard.

– Traceur oculaire.

• Variante : faire varier le degré de différence.

– Exemple : taille.
 13

Exemple de test – recherche visuelle

• Caractéristique: couleur.
 14

Méthodologie
1. Formuler une hypothèse sur l'effet du facteur à l'étude.

2. Déterminer les variables contrôlées et dépendantes.

3. Etablir un protocole de test pour vérifier l'hypothèse.

– Si possible, prendre ou modifier un protocole connu.

4. Développer ou paramétrer un logiciel de tests.

5. Faire un pré-test.

6. Recruter les sujets.

7. Tester les sujets.

8. Analyser les résultats.

 15

Types de facteurs
• Affectent l'exécution des opérations élémentaires.
1. Perceptuels.
– Affectent surtout les processus de perception, comme la recherche visuelle,
discrimination visuelle, détection de sons...
– Exemple : taille et couleur des composants...

2. Moteurs.
– Affectent surtout les processus de mouvement : pointage, manipulation des
objets...
– Exemples : taille et distance des composants, type de pointeur...

3. Cognitifs.
– Affectent surtout les processus cognitifs, comme le raisonnement, la mémoire, la
prise de décision...
– Exemples : nombre et disposition des composants, textes d'aide...

4. Mixtes (visuo-moteur, perceptivo-cognitif...).

 16

Hypothèses de recherche
• Prédit un effet du ou des facteurs à l'étude.
• Précise, et vérifiable par des tests.
• Tip. Il est souvent aussi informatif de vérifier l'hypothèse que de
l'infirmer.
• Exemples.
 Le temps de pointage est proportionnel à la distance, pourvu que la
cible soit assez grosse.
 Le contraste lumineux, mais non la couleur affecte le temps de
détection d'un objet.
 La texture des composants permet de les identifier plus vite que
leur forme (ou leur contour).
 17

Hypothèses de recherche
• Contre-exemples.
 La complexité de l'écran affecte les performances.
Trop vague.

 Le clavier est plus rapide que la souris.

Concerne des opérations de base différentes (presser des touches
vs. pointer).
 18

Types d'hypothèses et de résultats

1. Effet significatif.
– Le facteur X a un effet sur Y.
– Exemple. La direction de pointage a un effet sur la précision.
– La précision dépend de la direction, mais on ne sait pas comment.

2. Relation qualitative.
– Le facteur X augmente / diminue Y.
– Exemple. La vitesse de détection augmente avec le contraste.

3. Relation quantitative.
– Exemple. Loi de Hick. Temps de décision ~ log (nb.options).

4. Effet de groupe.
– Le groupe A et le groupe B performent différemment sur la tâche T.
– Exemple. Les personnes âgées sont moins précises que les jeunes sur des tâches
de pointage.
 19

Variables contrôlées et dépendantes

• Ces variables sont celles qui sont mentionnées dans
l'hypothèse de recherche.
1. Variables contrôlées.
2. Variables dépendantes (ou mesurées).
3. Facteurs confondants (parfois appelées variables
confondantes).
 20

Variables contrôlées et dépendantes

• Variables contrôlées.
– Aussi appelées facteurs ou paramètres.
– On les fait varier durant le test (au moins 2 valeurs différentes).
– Exemple. Tâche de pointage: diamètre, distance, direction, délai.

• Variables dépendantes (ou mesurées).

– Variables mesurées : obtenues directement.
– Exemples : temps de réaction, temps d'exécution, résultat ok/no,
trajectoire de la souris durant un pointage.
– Variables dérivées : calculées à partir des variables dérivées. Exemples :
variabilité des trajectoires.

 Facteurs confondants
– Parfois appelés variables confondantes.
– Peuvent affecter les résultats, et ne sont pas bien contrôlées.
– Exemple. délai entre essais, fatigue, luminosité de l'écran, etc.
 21

Mesure des performances

• Ce sont les variables mesurées les plus fréquentes.

1. Temps d’exécution ET (execution time).

– Temps moyen, variabilité.

2. Taux d’erreur RF (rate of failures).

– Ratio nombre d'échecs / nombre d'essais.
 22

Variables dérivées
3. Courbe d'apprentissage.
– Évolution des variables avec la pratique.
– Moyenne sur N 1ères/dernières répétitions.

4. Stabilité ou variabilité.
– Variabilité intrinsèque ou dûe à la fatigue.
Cour be d'appr e ntis s age (Tâche #1)

97400
T e m p s d 'e x e c u tio n ( m s )

87400
77400
67400
57400
47400
37400
27400
17400
Log11
Log13
Log15

Log27
Log29

Log35
Log37
Log17
Log19
Log21
Log23
Log25

Log31
Log33

Log39
Log5
Log1
Log3

Log7
Log9

ici : dans un test de performances (c) LESIA 2004

 23

Autres variables dérivées

5. Mesures géométriques.
– Position du bras ou de la souris à chaque instant, position du
regard, trajectoire suivie...

6. Mesures cinématiques.
– Vitesse instantanée de la souris, des yeux, ...

7. Mesures dynamiques.
– Forces et pressions appliquées.

8. Mesures physiologiques.
– Conductivité de la peau, commandes myoélectriques (EMG)...

9. Etc.
 24

Protocole de test
• Caractérise les tâches faites par chaque sujet, dans quel ordre,
combien de fois, et dans quelles conditions.
• Un test se divise en sessions (séances).
– En général, une seule session, de 30 minutes à 2 heures.
– Sessions supplémentaires si il y a trop de tâches ou si on étudie des phénomènes
d'apprentissage.

• Chaque session se compose de blocs.

– Un bloc dure quelques minutes, avec une pause entre chaque bloc.
– Typiquement, un bloc représente une tâche, dans une condition donnée (exemple
: avec interface A ou interface B).

• Chaque bloc se compose d'essais (répétitions).

– Généralement la même tâche avec des variantes (ex. changer le texte à
transcrire, le fichier à chercher, etc.).
 25

Consigne et blocs de pratique

• La consigne lue au sujet fait partie intégrante du protocole.
– Se base sur un texte écrit, lu de la même façon à tous les sujets.

• Les performances changent avec la consigne.

– Exemple : faire la tâche A vs. faire la tâche A le plus vite possible, vs. faire
la tâche A le plus vite possible et sans erreurs.

• On fait également une pratique initiale.

– La même pour tous les sujets.
– Évite les erreurs de compréhension de la consigne.
– Permet l'adaptation aux équipements (ex. clavier, souris).

• Méthodes possibles.
– Nombre fixé d'essais ou durée fixée.
– Répéter jusqu'à ce que les performances soient stables.
 26

Concevoir le protocole de test

Collecter le maximum d'infomation en temps limité.
Minimiser les biais et la variabilité.
• Intervalle entre sessions.
– Éviter les sessions le même jour (fatigue, rhythmes circadiens).
– 1 jour de délai (pour mesurer entraînement), 1 semaine, et/ou 1
mois (pour mesurer apprentissage à long terme).

• Durée des sessions.

– Assez long pour collecter des données, pas assez pour que les
sujets se fatiguent (2 heures, c'est déjà très long).

• Ordre des blocs et des essais.

– ContrôIer les effets d'apprentissage entre tâches similaires.
– Changer l'ordre des blocs pour 50% des sujets.
– Randomiser l'ordre des essais à l'intérieur d'un bloc.
 27

Types de protocoles de test

• Le type de protocole doit être adapté à l'hypothèse de recherche.

1. Effet significatif.
– Protocole de type condition contrôle – condition cible.

2. Relation qualitative.
– Protocole de type condition contrôle – condition cible.
– Également, protocole de type variation de paramètre.

3. Relation quantitative.
– Protocole de type variation de paramètre.

4. Effet de groupe.
– Protocole de type groupe contrôle – groupe cible.
 28

Condition contrôle - condition cible

• Prendre 2 valeurs bien distinctes de la (ou des)
variable(s) contrôlée(s).
– Chaque valeur de la variable correspond à une condition.
– Quand la variable représente un facteur présent ou absent (ex.
du bruit de fond), on parle de condition contrôle (variable
absente) et condition cible (variable présente).

• Typiquement, faire les 2 conditions à tous les sujets.

– Ordre fixé ou moitié-moitié.

• Exemple. Tâche de détection.

– Boutons avec un motif animé (condition cible) ou statiques
(condition contrôle).
 29

Groupe contrôle - groupe cible

• Faire passer la ou les mêmes tâches aux 2 groupes.
– Les groupes doivent différer seulement pour la caractéristique à
l'étude.
– Exemple : âge. Maintenir le même niveau éducatif, le même
pourcentage hommes-femmes (ou que l'un des 2 sexes), etc.

• Exemple. Tâche de pointage.

– Gauchers vs. droitiers.
– Personnes âgées - jeunes.
– Hypothèses ? Protocoles ?
 30

Variation de paramètre(s)
• Faire varier les variables contrôlées entre les essais.
– Prendre au moins 8 valeurs différentes pour pouvoir établir des
relations numériques.
– Ne pas prendre trop de valeurs, sinon le test serait trop long.

• Faire passer les essais dans un ordre aléatoire.

– Même ordre pour tous les sujets, ou varie de sujet à sujet.
– On peut aussi prendre un ordre fixe, mais il faut le justifier
soigneusement.

• Analyses.
– Typiquement, on calcule le coefficient de corrélation entre les deux
côtés de la relation quantitative. Ex. ET - log(D/d).

• Exemple. Pointage.
– Varier la taille des boutons aléatoirement, 16 valeurs possibles.
 31

Contrôle des facteurs confondants

• Recenser tous les facteurs confondants potentiels.
– Utiliser le bon sens.
– Revue de la littérature (psychologie expérimentale et ergonomie).

• Fixer les facteurs confondants potentiels.

– Exemple : si on veut étudier seulement l'effet de la taille, fixer la couleur, la forme
etc..
– Exemple : maintenir le poignet rigide si on veut seulement des mouvements de
l'avant bras.
– Exemple : ne prendre que des droîtiers si on soupçonne que les gauchers
pourraient performer différemment.

• Faire varier pseudo-aléatoirement les facteurs confondants.

– S'arranger pour qu'ils soient uniformément distribués : leur effet disparaîtra par
moyennage.
– Exemple : prendre autant d'hommes que de femmes, tous les âges entre 20 et 60
ans...
 32

Pré-test
• Répétition du test.
– Généralement, les développeurs le rôle de sujets.

• Motivation: garantir que tout se passera bien.

– Points à ajuster ou corriger : documents de test, liste de tâches et
protocole (ordre de présentation, nombre de répétitions), le logiciel
de test (déboguage), méthodes d'analyse des données.

• Règle d'or pour les tests avec sujets humains.

– Ne jamais improviser.

• Sauf exception les résultats ne sont pas utilisables.

Le pré-test est indispensable, mais il ne fournit aucun résultat.

 33

Groupes de sujets
• Groupe de sujets aussi homogène que possible.
– Permettra d'éliminer la variabilité dûe aux facteurs personnels.

• Contrôler les paramètres socio-démographiques.

– Age, sexe, langue et culture d'origine (pour éviter les problèmes de
compréhension de consigne, ou des textes affichés à l'écran), années d'étude
et de pratique avec l'ordinateur, le cas échéant, latéralité (gaucher/droitier).

• Quand deux groupes diffèrent par un seul facteur, équilibrer tous les
autres paramètres socio-démographiques.
• Critères d'exclusion.
– État dépressif, médication ou substance affectant la vigilance ou la motricité,
troubles neurologiques ou moteurs, déficit de vision,
– Tout ceci biaise les performances du sujet.
 34

Nombre de sujets
• Nombre de sujets à recruter : dépend des tâches, des
paramètres mesurés et de leur variabilité.
– Le nombre total d'essais (tous sujets confondus) doit être suffisant
pour éliminer l'effet de la variabilité.
– Il y a un trade-off entre le nombre de sujets et la durée du test.

• Typiquement.
– 6-10 sujets : résultats informatifs pour les temps d'exécution.
– 12 sujets et plus : résultats informatifs pour les taux d'erreurs.
– 20-30 sujets : résultats robustes et généralisables.
 35

Nombre de sujets
1. Plus il y a de conditions à tester, plus il faut de sujets.
– Le nombre de sujets augmente au moins proportionnellement au nombre
de conditions différentes (pour diminuer les effets de la variabilité).

2. Plus les effets attendus sont faibles, plus il faut de sujets.

– Pour obtenir une différence statistiquement significative.
– Exemple : la direction de pointage cause (supposément) une variation de
5% des performances -> on devrait prendre au moins 30 sujets (règle du
pouce).
– Exemple : la présence d'animation cause une variation de 20% : 8-12
sujets suffisent (règle du pouce).

• Ceci est formalisé par l'analyse de puissance statistique.

– Taille des groupes en fonction de l'effet attendu et de la significativité.
 36

Considérations éthiques et légales

• Les tests avec sujets humains doivent suivre les règles d'éthique
de la recherche.
1. Les sujets (participants) doivent être libres et consentants.
2. Complètement informés.
– Motifs et déroulement de l'étude, (dés)avantages personnels.

3. Pouvoir se retirer à tout moment.

– Dans ce cas, pouvoir demander de détruire toutes leurs données.

4. Aucune donnée nominale ne doit être informatisée.

– Participation confidentielle, tout papier permettant d'identifier le sujet
conservé sous clé.

5. Tout est résumé dans un formulaire de consentement.

– Un contrat légal entre l'expérimentateur et le sujet.
 37

Matériel de test
1. Logiciel de test.

2. Documents nécessaires.

3. Local et équipements.
 38

Logiciel de test
• Logiciel avec sniffer, spécialement développé pour le test.
– Gère la présentation des tâches, les messages, les répétitions...

• Il existe des logiciels commerciaux (progiciels), qui assurent

des mesures très précises.
– Exemple : e-prime.
– Problèmes : ils ne sont généralement pas adaptables pour les
tâches reliées aux interfaces.
 39

Documents à préparer pour le test

1. Liste de contrôle à l'attention de l'expérimentateur.

2. Procédure de test à l'attention de l'expérimentateur

– Inclut les procédures d'exception (ex. quoi faire si le sujet se sent mal).

3. Formulaire de consentement.

4. Fiche de renseignements à remplir par le sujet.

– Renseignements personnels + données socio-démographiques.

5. Consigne à lire au sujet.

– Aussi appelée script d'orientation.

6. Feuilles d'observations
– Pour noter ce qui se passe durant le test.
 40

Local et équipements
• Local silencieux.
– Pas d'interférences (bruit, passage de personnes, etc.) durant le
test.

• Équipements utilisés.
– Ordinateur, bureau et 2 sièges.

• L'expérimentateur est assis en arrière.

– Hors de la vue du sujet, assez près pour observer.

sujet

expérimentateur
 41

Déroulement d'une session de test

1. Préparation du local, équipements, logiciel et documents.
2. Remplissage de documents.
– Formulaire de consentement, fiche de renseignements.

3. Lecture de la consigne au sujet.

– Doit être fait de la même façon pour tous les sujets.

4. Entraînement (le même pour tous les sujets).

– Quelques répétitions pour éviter les erreurs de compréhension.

5. Test.
6. Sauvegarde des données, transcription des notes, archivage
des documents.

Garder le même local, les mêmes équipements

et le même expérimentateur pour tous les tests
 42

Analyse des résultats

• Deux types d’analyses fréquemment utilisés.
– Aussi appelées "types d'études", car le protocole est fait en
fonction de l'analyse.

1. Étude de groupe.
– Moyenner les résultats de tous les sujets et tous les essais.

2. Étude de cas parallèle.

– Moyenner séparément les résultats de chaque sujet.
 43

Étude de groupe
• Moyenner les résultats pour chaque groupe.
– Tous les sujets et tous les essais.

• Détecter des différences significatives entre groupes.

– Exemple de technique d'analyse statistique: Anova.
– Significativité augmente avec différence de moyenne entre groupes.
– Diminue avec variabilité à l'intérieur de chaque groupe.

• Résultats valides pour la moyenne de la population.

– Représentée par chaque groupe.
– Exemple: moyenne pour personnes âgées, jeunes...

• Perd les caractéristiques individuelles.

– Presque pas applicable aux individus.
– Exemple: couleur des yeux « moyenne » ?
 44

Étude de cas parallèle

• Isoler les résultats de chaque sujet.

• Sépare la variabilité inter et intra individuelle.
– Exemple: vitesse de mouvement de bras chez une personne vs.
plusieurs personnes avec des longueur de bras différents.

• Cas idéal: on a "le même" résultat chez tous les sujets.

– Résultat applicable à chaque individu.
– Résultat valide pour toute la population.
– Exemple: "tout le monde diminue la vitesse quand la cible devient
plus petite".
 45

Types d'analyse de données

• Types d'analyses le plus adaptées aux interfaces.

1. Données et statistiques descriptives.

– Tables de résultats.
– Moyennes, mesures de dispersion, histogrammes.
– Graphiques.

2. Analyse de différences significatives.

– Différence de groupes (ex. Anova).
– Différence entre conditions.

3. Analyses quantitatives.
– Corrélations (régression statistique mono ou multivariables).
– Ajustement des paramètres d’une équation (fitting).
 46

Statistiques descriptives
• Diagrammes de barre.
– Barre épaisse = moyenne.
– Ligne fine = écart type (en excel: "error bar").

temps moyen

9000
8000
7000
6000
5000 Grande difference
4000 Petite difference
3000
2000
1000
0
4x4 6x6

Figure X. temps moyen en fonction de la différence entre odd-ball

et figures de référence
 47

Statistiques descriptives
• Histogrammes de distribution de résultats.

Figure X. histogramme des notes

 48

Statistiques descriptives
• Présentation graphique de distribution en 2 dimensions.
– Nuage de points.

Figure X. Distribution des temps d'exécution.

Horizontal: distance (pixels)
Vertical : temps de pointage en millisecondes
 49

Statistiques descriptives

• Présentation graphique de distribution en 3 dimensions.

– Surfaces.

Utiliser avec prudence. Joli, mais parfois pas très parlant

 50

Résumé et remarques finales

1. Mesurer l'effet de différents facteurs sur les performances
dans les opérations de base.

2. Tests en condition contrôlée.

3. Méthodologie rigoureuse et éprouvée, issue de la

psychologie expérimentale.
4. Permettent de vérifier ou d'établir des principes d'ergonomie.

5. Utiles pour le développement de standards (look-and-feel)

ou de librairies de composants.

6. Résultats généraux et reproductibles.