Qualités psychométriques de

la mesure
Séances 8, 9 et 10

1
Plan
• Mesure en GRH
• Concepts clés
• Fidélité
• Validité
• Utilité

2
Objectifs des séances
À la suite de ces séances, vous serez en mesure:
• de comprendre l’importance de la mesure en GRH
• d’expliquer les critères pour juger la qualité d’une mesure
• de distinguer les erreurs de mesure
• de connaître les différents types d’échelles de mesure
• de distinguer les références normative et critériée
• d’expliquer en quoi consistent la fidélité et la validité,
comprendre ce qui les influence
• de décrire les différentes formes de mesure de la fidélité et en
interpréter les coefficients
• de décrire les différentes facettes de la validité
• d’interpréter les coefficients de validité critériée
• d’expliquer le concept d’utilité
• de comprendre et calculer la sensibilité des mesures
• de comprendre l’importance des biais transculturels
3
Quand mesure-t-on en GRH?

4
Importance de la mesure en GRH
• Appui pour la prise de décisions
• Subjectivité de la mesure de l’humain
• Coût des activités de GRH
• Coût des erreurs
• Encadrement légal complexe
• Risques de poursuites
• Réputation de l’entreprise

5
Critères pour juger la qualité d’une mesure
• Fidélité
• Validité
• Utilité
• Absence de biais transculturels
• Coûts d’utilisation
• Respect du cadre légal et facilité à
défendre légalement
• Validité apparente

6
Erreurs de mesure
• Erreur aléatoire : « erreur non prédictible
provenant de facteurs subjectifs, de
facteurs extérieurs ou de facteurs liés aux
instruments de mesure » (Fortin et Gagnon, 2016,
p.288)
• Erreur systématique : « erreur prédictible
survenant de façon constante chaque fois
qu’il y a prise de mesure et attribuable à
des facteurs permanents » (Fortin et Gagnon,
2016, p.288)

7
Types d’échelles de mesure

• Nominale
• Ordinale
• Intervalle
• Proportionnelle

8
Référence normative vs critériée

• Référence normative : « interprétation d’un

score basée sur sa valeur relative à un score
normal ou standard » (Fortin et Gagnon, 2016, p.292);
comparaison à une norme ou un groupe
• Référence critériée: « Interprétation d’un score
basée sur sa valeur actuelle » (Fortin et Gagnon,
2016, p.293); comparaison avec la personne elle-
même à différents moments dans le temps

9
Notions de base en mesure
Corrélation
• Procédure statistique représentant le niveau de relation
entre deux variables
• Relation peut être positive (changement dans le même
sens), nulle (pas de relation) ou négative (changement
dans le sens inverse)
• Coefficient (r) varie entre -1 et 1
Coefficient de détermination (r2)
• Pourcentage de la variation totale qui est expliquée par
l’autre variable

10
 100

80

60
Rendement à l'emploi

40

20

0
0 20 40 60 80 100

Résultats au test
11
Notions de base en mesure (suite)

Discrimination
• « Action de séparer, de distinguer deux ou
plusieurs êtres ou choses à partir de certains
critères ou caractères distinctifs » (source :
http://www.larousse.fr/dictionnaires/francais/discrimination/2587
7)
• Doit permettre de différencier les candidats
• Liée au niveau de difficulté
• Distribution étalée des résultats

12
Relation fidélité et validité
• Fidelité: Stabilité (constance) et homogénéité
des résultats d’une mesure
• Validité: Capacité d’un instrument à mesurer
ce qu’il est sensé mesurer

13
Distinction fidélité et validité

http://www.psychometrie.jlroulin.fr/cours/aide_quizz.html?met7.html

14
La fidélité (ou fiabilité)

• Stabilité (constance) et homogénéité des résultats

d’une mesure
• Degré d’exactitude : précision, fiabilité, constance
• En d’autres mots, c’est une mesure sans erreurs
aléatoires

15
Sources d’erreurs aléatoires
• Candidat et évaluateurs
• Tendance à répondre au hasard
• État général mais passager
• Réaction spécifique fortuite ou inhabituelle
• Interaction avec les caractéristiques de
l’évaluateur/du candidat

16
Sources d’erreurs aléatoires
• Situation
• Conditions d’administration non
standardisées
• Instrument
• Composantes non standardisées
• Ambiguïtés et insuffisances

17
Mesures de la fidélité

• Fidélité test-retest (temporelle)

• Fidélité inter-juges ou intercodeurs
• Cohérence interne ou homogénéité
• Formes parallèles

18
Tableau récapitulatif
Types de Nombre Nombre de Nombres
fidélité d’outils passations d’évaluateurs

Test-retest

Inter-juge

Interne

Formes
parallèles
19
Interprétation des coefficients de fidélité
• Interprétation selon le contexte : plus c’est
important, plus ça doit être élevé!
ATTENTION
• Plus il y a d’énoncés, plus la fidélité augmente
• Plus il y a de variance, plus la fidélité
augmente
• Le niveau de difficulté doit être approprié aux
répondants
• Dilemme étendue-précision

20
Façons d’accroître la fidélité
Trois principes généraux
• Augmentation du nombre de mesures
(items/questions)
• Standardisation (des conditions de mesure, des
directives et des outils d’évaluation)
• Composantes claires et complètes
Autres façons
• Motiver candidat
• Prévoir période d’adaptation, ambiance détendue
• Directives claires
• Formation des évaluateurs

21
La validité
• « Capacité d’un instrument à mesurer ce qu’il est
sensé mesurer » (Fortin et Gagnon, 2016, p.299)
• Qualité des inférences, de l’interprétation faite
des résultats
a) inférence descriptive : mesurer ce qu’il est censé
mesurer
b) inférence relationnelle : lien avec une autre variable
(ex. réussite)
• PRÉCISIONS
• Unitaire
• Question de degré
• Contextuelle
• Une mesure ne peut être valide si elle n’est pas d’abord
fidèle

22
Formes ou facette de la validité
• Apparente ?
• De contenu
• Critériée
• Prédictive
• Concomitante (ou concourante)
• De généralisation
• Conceptuelle

23
 C o n stru it C o n te n u
so u s-ja c e n t d e l’e m p lo i

Va lid ité d e
Va lid ité c o n te n u
c o n c e p tu e lle
Va lid ité
a p p a re n te

O u til C ritè re d e
d ’é va lu a tio n Va lid ité re n d e m e n t
c rité rié e 24
Validité apparente

• Aussi appelée validité de face ou validité

nominale
• Correspondance logique et évidente entre
la méthode de sélection et le poste perçue
par un profane
• Importante pour les candidats dont
l’attitude et la motivation peuvent être
affectées
• Aucun lien avec la validité réelle

25
 Validité de contenu
 « Représentativité de l’instrument de mesure »
(Bourhis, 2013, p.306)
 L’outil reflète-t-il le contenu du poste? Y a-t-il
adéquation entre les compétences mesurées et
celles nécessaires au rendement?
 La validité de contenu se fait à partir de
jugements qualitatifs.
 Quatre composantes :
 Stimuli
 Conditions d’application
 Processus d’évaluation
 Processus décisionnel
26
 (Source : Pettersen, 2000, p.62)
27
Validité critériée
• « Capacité à prévoir un phénomène futur à
partir des résultats d’un test » (Bourhis, 2013,
p.311)
• Résultat d’une corrélation entre deux
mesures (celle du prédicteur et celle du
critère)
• Trois stratégies de validation
• prédictive
• concomitante
• de généralisation
• Trois erreurs possibles

28
Validité prédictive
• Méthode longitudinale
• Corrélation entre les résultats au test des
candidats (temps 1) et leur rendement ou
leur réussite au travail plus tard (temps 2)
• Plus réalisable pour les grandes entreprises

29
Validité concomitante

• Corrélation obtenue entre le prédicteur

et le critère à partir de titulaires de poste
• Calculée en même temps

30
Validité de généralisation
(méta-analyse)
• Constat statistique basé sur l’ensemble des
études de validité faites par rapport à un
outil d’évaluation
• Prend en considération les erreurs
méthodologiques de chacune de ces
études
• Permet d’évaluer la valeur prédictive
générale de chacun des outils utilisés en
dotation

31
Interprétation du coefficient de validité
• Mesure statistique
• Toujours à refaire pour tenir compte de la
situation et de l’usage
• Transformation du coefficient de corrélation
en coefficient de détermination pour
comprendre en pratique
• ATTENTION si on utilise plusieurs
instruments pour mesure la même chose!

32
Validité conceptuelle
• « Justesse avec laquelle un instrument de
mesure permet d’obtenir des résultats
conformes au construit défini dans son
contexte théorique » (Fortin et Gagnon, 2016,
p.301)
• Quatre techniques
• Groupes connus
• Vérification d’hypothèses
• Analyse factorielle
• Convergence et divergence; méthode multitrait-
multiméthode

33
Façons d’accroître la validité
• Analyse d’emploi précise, complète
• Recours à des experts de contenu (titulaires,
superviseurs) pour définir les exigences
• Choix d’instruments de mesure spécifiques et
appropriés
• S’assurer que les compétences mesurées
sont vraiment nécessaires à l’emploi
• Utilisation de plus d’une mesures

34
L’utilité
 Définition : Gain espéré à la suite de
l’utilisation d’un prédicteur, d’une méthode
 Deux types de gains :
a) économique
b) bonnes décisions de dotation ou
accroissement du % d’employés satisfaisants

 Gain économique : comparaison des coûts

et des bénéfices
Formule financière comme
ΔU = ( T x Nn x rxy x SDy x Zs) – (Na x Cy)

35
 Bonnes décisions de sélection
Critère
Erreur Bonne décision
(rende- Élevé
ment) Faux négatif Vrai positif

Bonne décision Erreur

Faible
Vrai négatif Faux positif

Faible Élevé

Prédicteur
(test)

36
Exemple : prédiction du rendement par
l’habileté cognitive
Employé Habileté cognitive (x) Rendement (y)
E 10 7
F 4 5
G 5 4
H 8 6
I 2 4
J 6 5
K 8 5
L 5 7
M 8 7
N 6 8
r = 0.56 r2= 0,31
37
 Vrai +: EMH
Faux +: K
Vrai -: FGIJ
Faux -: LN
S co re au critère (p erform an ce) 9
Note de passage: 7
N
8
L M
7 E
6 H
J Niveau de
F performance
5
I G K minimal: 6
4
3
2
1
0
0 2 4 6 8 10
Score au prédicteur (habileté cognitive)

38
 Table de contingences

Rendement Rendement 100

attendu insuffisant
80

60

Rendement à l'emploi
40

Réussite au 27 3
test 20

0
0 20 40 60 80 100

Résultats au test

Échec au 0 23
test r = 0,97

39
 Table de contingences

Rendement Rendement 100

attendu insuffisant
80

60

Rendement à l'emploi
40

Réussite au 21 4
test 20

0
0 20 40 60 80 100

Résultats au test

Échec au 12 16
test r = 0,55

40
 Table de contingences

Rendement Rendement
attendu insuffisant 100

80

60

Réussite au 15 10

Rendement à l'emploi
40

test
20

0
0 20 40 60 80 100

Résultats au test

Échec au 12 16
test r = 0,18

41
Augmentation du pourcentage d’employés
satisfaisants
• Calcul s’appuyant sur trois renseignements
1.La validité de l’instrument
2.Le taux de sélection : « Ratio du nombre de
candidats sélectionnés sur le nombre total de
candidats » (Bourhis, 2013, p.315)
3.Le pourcentage de candidats susceptibles de
convenir au poste parmi les candidats
• Utilisation des tables de Taylor-Russel

42
La sensibilité et la spécificité des mesures
Sensibilité
« Capacité d’un instrument
de mesure à déceler
correctement la présence
d’un état » (Fortin et Gagnon,
2016, p.306)
Vrai positif
(vrai positif + faux négatif)
Spécificité
« Capacité d’un instrument
de mesure de reconnaître
correctement l’absence
d’un état » (Fortin et Gagnon,
2016, p.306)
Vrai négatif
(vrai négatif + faux positif)
43
Étalonnage (normes)
• Pour interpréter les résultats et diminuer
les biais, on compare un résultat particulier
à la norme du groupe de références
approprié
• Exemples : test d’intelligence ou de
personnalité

44
Validation transculturelle
 Un même item n’a pas le même degré de
difficulté (ex. test d’intelligence) ou la
même signification pour toutes les cultures
(ex. test de personnalité) donc biais
culturel
 Il faut viser l’équivalence
 Qualité de la traduction est importante
mais non suffisante
 Processus de validation implique de
nouvelles normes

45
Comment s’assurer de la rigueur des
instruments de mesure ?
• Choix des méthodes de sélection
• Méthodes validées
• Méthodes spécifiques au poste
• Recours aux experts du poste
• Appel à plus d’un évaluateur
• Formation des évaluateurs

46