EVALUATION

valuer la comptence professionnelle

Pyramide de Miller

Fait
Does
Comportement
Behaviour
Dmontre
Shows How

Sait comment
Knows How
Savoir
Cognition
Sait
Knows

Source : Miller GE. The assessment of clinical kills/competence/performance.

Academic Medicine (Supplement) 1990; 65: S63-S7.
 valuer la comptence professionnelle
Types d
dinstruments
instruments

Performance in vivo :
Fait PS. incognito, Vido, Dossiers
Portfolio

Performance in vitro :
Dmontre
ECOS Ex.
ECOS, Ex PS.
PS

preuves
p contenus cliniques
q :
S it commentt
Sait QCM, Q. dv., Ex. oral

preuves factuelles :

Sait QCM, Ex. crit, oral

Source : Miller GE. The assessment of clinical kills/competence/performance.

Academic Medicine (Supplement) 1990; 65: S63-S7.
 Organiser
g lvaluation

Choisir
Ch i i lle type
t d'valuation
d' l ti
diffrents types : valuations crites, orales ou pratiques.
valuations pratiques ds lors que les objectifs valuer sont
des objectifs de matrise de gestes
valuations orales dlicates utiliser
interactions relationnelles entre valuateur et valu perturbent
une relle valuation des capacits (dans un sens qui peut tre
favorable comme dfavorable)
rserves aux cas o il est souhaitable d'valuer
d valuer des capacits
d'expression orale
valuations crites majoritairement utilises pour
ll'valuation
valuation de connaissances. Il est possible galement de
combiner crit et oral (ex. : rapport crit prsent
oralement une commission d'valuation compose de
p
professionnels))
 Organiser
g lvaluation

Choisir
Ch i i lle type
t de
d question
ti
questions fermes : pas de questions ouvertes : rdaction
rdaction
d ti n mais
m is choix
h ix des
d s rponses
p ns s dun
d une rponse
p ns avec des
d s mots
m ts
parmi un ensemble de propositions aucune dmarche nest propose
p
plusieurs stratgies
g de rsolution
sont possibles
Avantages et inconvnients
q
questions fermes
se corrigent vite et objectivement (c'est juste ou c'est faux),
permettent de rellement identifier les connaissances d'une
personne sur un sujet donn
ne peuventt pas t
tre utilises
tili sii l'
l'on veutt ttester
t des
d capacits
it ddu
registre de la prise de dcision, de l'initiative personnelle, de la
crativit ou de la communication
quest
questions
ons ou
ouvertes
ertes
rponses plus difficiles corriger et toujours avec une part
subjective.
 Questions ouvertes
Q

Les
L questions
ti ouvertes
t (ou
( items
it subjectifs)
bj tif )
rponse labore ou dveloppe
question sous forme d
dun
un nonc prsentant
un problme rsoudre
le cadre de rfrence ncessaire sa rsolution
implique de
rsoudre le problme prsent,
structurer sa rponse en tenant compte du cadre de rfrence,
rdiger
di ou exprimer
i oralement
l t la
l rponse
avec ses propres
mots, son style et son criture ou encore agir en situation
(preuve pratique).
chaque tudiant fournit gnralement une "rponse"
rponse
diffrente avec des degrs variables de pertinence, de
justesse et de prcision.
frquemment
f t lless rdacteurs
d t s des
d s questions
sti s sous-estiment
s s sti t lless
difficults d'utilisation, de rdaction et de correction.
 Questions ouvertes
Q

Diffrents types
Questions rdactionnelles classiques
Questions rponses courtes
Questions rponses courtes
Dfinition
question laquelle on peut rpondre en quelques mots ou phrases.
dans le cas dune question avec des sous-questions, la rponse chacune
de celles-ci doit pouvoir tre exprime en quelques mots ou phrases

QROC Question dveloppement court

n'exige qu'un seul lment prvoit plusieurs lments
d'information comme rponse. d'information.
rponse plus longue : une ou deux
phrases un ou deux paragraphes

Exemple
E l d
de question
ti d t courtt : Discutez
dveloppement
l Di t d des avantages
t d
du ttraitement
it t
XYZ pour un malade atteint de...
 Questions ouvertes
Q

Avantages
A t d
des QROC
correction plus facile et moins subjective
structuration laisse ppeu de p
place l'interprtation
p
plus facile crer
Peut-on valuer le raisonnement et lhabilet
rsoudre les problmes ?
Oui
Il est possible de prsenter une information trs complexe dans
ll'n
nonc
n de
d ttelle
ll sorte
s t que
qu lal rponse
p ns du candidat,
ndid t bien
bi n que
qu courte,
u t
tmoigne dun niveau lev de fonctionnement intellectuel.
L'utilisation de scnarios ("cas cliniques") dans la formulation de la
question permet d'valuer
d valuer le raisonnement clinique tel qu'il
qu il ss'exerce
exerce
en pratique.
 Questions ouvertes
Q

E
Exemples
l
Exemple 1 : mesure des connaissances factuelles
Nommez trois causes possibles de lindigestion
a)
b)
c)
Exemple 2 : mesure de la capacit de raisonnement de niveau plus complexe
Une femme de 62 ans est hospitalise pour des maux de tte d'apparition rcente,
accompagns de diplopie. Une anne auparavant, on a diagnostiqu qu'elle souffrait
d'un lymphome diffus grandes cellules et de stade III. La polychimiothrapie associant
doxorubicine (Adriamycine), vincristine et prednisone, a entran une rmission
complte; elle a t discontinue aprs six cycles. Au cours de la prsente
hospitalisation, les examens complmentaires, dont la ponction lombaire, ont
diagnostiqu une lymphomatose mninge. Il n'y a pas de rcidive du lymphome
d'
d'autres endroits.
d i
numrez trois modalits thrapeutiques disponibles, pour cette patiente :
a)
b)
c)
 Questions fermes
Q

Les
L diffrents
diff types d
de questions
i f
fermes

Questions choix multiples (QCM)
Questions de type vrai-faux
vrai faux
Questions de type appariement
Questions de type
Q yp rarrangement
g
Questions de type problme mathmatique
Questions de type phrase complter
Test de closure
 Questions fermes
Q

Questions
Q ti choix
h i multiples
lti l (QCM)
Question comprenant un nonc dans lequel est prsent le
problme rsoudre et le cadre de rfrence permettant
p p de
le rsoudre ainsi qu'une suite de rponses suggres
acceptables parmi lesquelles l'valu choisit ; les mauvaises
rponses suggres sont des leurres ou distracteurs.
Diffrentes formes de QCM :
trouver la seule bonne rponse ou la seule rponse fausse,
trouver la meilleure rponse,
trouver toutes les bonnes rponses ou toutes les fausses,
trouver la rponse qui donne l'ordre exact d'une srie d'noncs,
rsoudre plusieurs items se rapportant tous un mme problme
prsent ds le dbut.
 Questions fermes
Q

Questions
Q i d
de type vrai-faux
i f
Question comprenant un nonc (ou une proposition) et le candidat
doit indiquer
q s'il est vrai ou f
faux.
Diffrentes formes de questions de type vrai-faux :
forme de base,
forme bon-mauvais (utilise notamment pour ll'orthographe)
orthographe),
forme correction dans laquelle il faut d'une part indiquer si l'nonc est
vrai ou faux et d'autre part, si l'nonc est faux, crire les mots
ncessaires ((correspondant
p une partie
p souligne
g de l'nonc)) pour
p que
q
l'nonc devienne vrai,
forme plus grand-plus petit (utilise notamment en mathmatiques),
forme rponses
p pondres
p o l'item comporte
p plusieurs
p choix (ex : je
j
suis certain que l'nonc est vrai, je crois que l'nonc est vrai, je ne
sais pas si l'nonc est vrai ou faux...) permettant de mesurer la fois la
connaissance du sujet valu et le degr de conviction des valus quant
ll'exactitude
exactitude de cette connaissance
connaissance.
 Questions fermes
Q

Questions
Q i d
de type appariement
i
srie d'noncs constituant l'ensemble-stimuli chacun des
lments duquel on demande d'associer
d associer un lment d'un
d un
ensemble-rponses. En gnral, l'ensemble-stimuli est plac
gauche et est plus long lire mme s'il peut comporter moins
d'lments
d lments que l'ensemble
l ensemble-rponses
rponses
Diffrentes formes de questions de type appariement :
association simple
p (un seul ensemble-rponses
p dont chaqueq
lment doit tre associ un lment de l'ensemble-stimuli),
association multiple (plusieurs ensembles-rponses)
classification (l
(l'ensemble-rponses
ensemble rponses A.A ammonitrates 1 N
1.
comporte une srie de catgories). B. scories potassiques 2. P
C. chlorure de potassium 3. K
D. super triple 4. P et K
Exemple : Pour chaque engrais de la liste de gauche (A E),
E. nitrate de chaux 5. N et K
indiquez le numro de la liste de droite (1 6) mentionnant
tous les lments nutritifs qu'il contient. 6. N et P et K
 Questions fermes
Q

Questions
Q i d
de type rarrangement

srie d'noncs prsente dans un ordre fix au hasard ou
selon des rgles sans rapport avec le problme,
problme lltudiant
tudiant
doit les placer dans un ordre conforme un mode
d'organisation indiqu en prcisant par des lettres ou des
nombres cet ordre.
ordre
diffrentes formes de questions de type rarrangement
forme de base
forme limite par des choix multiples dans laquelle des
suggestions d'ordre sont proposes.

A. nouaison E. arrt de croissance

B. vraison F. grappes visibles
C. sortie des feuilles G. floraison
Exemple : Classez dans l'ordre chronologique d'apparition les
8 stades de dveloppement de la vigne prsents ci-contre. D. dbourrement H. maturit
 Outils simplifis
p dvaluation en Mdecine

Questions
Q ti rponses
courtes
t QCM

QROC
Q QCM
Q

Largementt utiliss
L tili
dans tous les pays,
pour toutes les disciplines
pour toutes les annes
galement pour les concours
 Conseils pour la rdaction de questions
rponses courtes

1. Utilisez des questions auxquelles on peut rpondre d'une faon raliste

en quelques mots ou phrases.
phrases
en gnral, chaque question ou sous-question ne devrait demander qu'un seul
lment d'information.
Exemple : "Quel
Quel est le diagnostic le plus probable et quel traitement
recommandez-vous ?" devrait tre scinde en deux questions distinctes.
si une question demande plusieurs lments d'information (par exemple, si un
traitement a plusieurs composantes), sa formulation et sa notation doivent
en tenir compte.
2. Prvoir dans les espaces rservs aux rponses le nombre suffisant de
lignes ou autres repres de faon indiquer l'tendue de la rponse.
3. Dans une question, il faut veiller ce que les lignes aient la mme
longueur pour ainsi viter de fournir des indices additionnels quant la
rponse requise.
 Conseils pour la rdaction de questions
rponses courtes

4 Utilisez
4.
des questions directes telles que "Quel est le meilleur traitement de ...?",
des verbes spcifiques tels que "nommer", "indiquer les grandes lignes de ...",
"dcrire". Le verbe "discuter " doit tre vit dans une question rponse
courte
t car il iimplique
li ncessairement
i t une rponse
llongue.
lorsqu'on utilise des verbes, tels que "dcrire", "indiquer les grandes, lignes
de ...", il importe d'ajouter certaines indications quant aux limites de la
rponse attendue (par exemple "dcrivez brivement", "indiquez brivement
les grandes lignes ...").
")
parfois, il peut tre ncessaire de prciser ce qui ne doit pas apparatre dans
la rponse (exemple : "Indiquez un traitement couramment accept dans ce
cas. Soyez spcifique; les doses, les horaires et champs d'application du
traitement ne sont pas requis
requis")). Il faut ssefforcer
efforcer de bien mettre en
vidence le critre vis dans la correction de la question.
5. Ne pas fournir d'indices quant la rponse la question.
exemple d'une question qui nen fournit pas : "Quel(s) examen(s) complmentaire(s)
additionnel(s) pourrait(aient) tre requis,
requis en vue de la dcision thrapeutique?
thrapeutique?", par
opposition la question suivante : "Quels examens complmentaires allez-vous faire
avant de dcider du traitement?".
6. Si une seule rponse doit tre considre comme acceptable, lnonc
de la question doit tre trs spcifique sur ce point.
point Voici quelques
exemples : "Quel est le meilleur traitement ...?", "Quel est... le plus souvent
utilis ... ?", "Quel est le diagnostic le plus probable?".
 Conseils pour la rdaction de questions
rponses courtes

7. Notation :
la valeur de chaque question et, dans le cas d'une question avec sous-
questions, la valeur de chaque sous question, doivent tre dtermines
lavance et indiques sur la feuille de rponse.
pour chaque question ou sous
sous-question
question : tablir la notation pour la(les)
rponse(s) acceptable(s), les rponses qui ne sont pas acceptables de mme
que pour les rponses qui, tout en n'tant pas la meilleure rponse, nen sont
pas moins acceptables. Cette notation doit tre labore avant l'examen et
non au moment de la correction des preuves.
p Toutefois, certains
ajustements peuvent s'avrer
' ncessaires
au moment de la correction,
surtout dans, le cas de rponses non prvues.
8. Nature des situations cliniques
autant que possible
possible, la longueur des scnarios (("cas
cas cliniques
cliniques")) doit tre
proportionnelle la valeur attribue aux questions. Il faut veiller ce que les
candidats ne perdent pas trop de temps lire et analyser des questions qui
rapportent peu de points.
les scnarios cliniques
q doivent tre prpars
p p en tenant compte
mp des
connaissances que tout spcialiste, prt exercer d'une faon autonome, est
cens avoir acquises.
9. Bien que la conception initiale des modles de rponses puisse tre
confie un seul examinateur, il importe cependant, pour en assurer la
validit, de faire appel lexpertise d'autres examinateurs. Les modles
de rponses doivent tre approuves par le Jury d'examen avant
lexamen.
Exemples
p
Exemples
p
Exemples
p
Exemples
p
Exemples
p
Exemples
p
Exemples
p
Exemples
p
Exemples
p
Exemples
p
 Question choix multiples
Q p

C
Constat
t t
examen compos de QCM : mthode la plus fiable, valable et
rentable pour valuer la comptence clinique des candidats, en
particulier pour mesurer leur savoir mdical.
point de vue des candidats, les examens choix multiples consistent
souvent en des qquestions p
piges,
g non pertinentes
p et ambigus.
g
pourquoi cette divergence dans les perceptions de lutilit des
examens choix multiples ?

Attribuable la faon dont les questions sont structures

questions conues pour tester la simple mmorisation de
connaissances
i ti
tires
d de manuels
l ou pour poser aux candidats
did t ddes
difficults en valuant les connaissances de situations relativement
rares.
questions
ti souventt rdiges
di d dans un llangage ou une f
forme
comprhensible par lauteur mais qui portent confusion lorsque les
candidats les lisent.
 Classification des QCM
Utilisation au NBME depuis 1953

QCM Questions choix multiple

Type
T A : une rponse
QCR Questions choix de rponses

choix unique positif parmi 5 rponses possibles

Type
T B : association
ss i ti ou attribution
tt ib ti
attribution de la meilleure rponse possible parmi 5 possibilits
Type R : appariement ou attribution largie
idem B mais avec une liste de rponses plus vaste
Type K : regroupement
Quadruple vrai-faux VRAI
LA
ou
MEILLEURE
FAUX
RPONSE
 Exemples
p

QCM type A
E
Exemple
l
Une femme de 60 ans prouve des difficults sortir de son fauteuil et se
tenir droite. Elle na en revanche aucune peine marcher sur sol plat et
parvient
i t fl
flchir
hi ses hhanches
h sans aucune diffi
difficult.
lt
Lequel des muscles suivants est le plus probablement dficient?
(A) Gluteus maximus m. grand fessier
(B) Gluteus medius m. moyen fessier
(C) Obturator externis m. obturateur externe
(D) Obturator internus m. obturateur interne
(E) Psoas major m. psoas

Anatomie Cl: A
 Exemples
p

QCM type B
Exemple
p
(A) le captopril
(B) le diazoxide
(C) le dinitrate disosorbide
d isosorbide
(D) la nifdipine
(E) le propranolol
Quelle substance inhibe
1. la libration de la rnine?
(A) (B) (C) (D) (E) Cl: E
2 lla d
2. dgradation
d ti d de lla b
bradykinine?
d ki i ?
(A) (B) (C) (D) (E) Cl: A
3. l'ouverture des canaux calciques?
(A) (B) (C) (D) (E) Cl: D
 Exemples
p

QCM type
Q yp R
Exemple
(A) Adnovirus (L) Haemophilus influenzae
(B) Aspergillus fumigatus (M) Histoplasma capsulatum
(C ) Bacillus anthracis (N) Mycobacterium tuberculosis
(D) Candida albicans (O) Mycoplasma pneumoniae
(E) Chlamydia psittaci (P) Neisseria gonorrhoeae
(F) Coccidioides immitis (Q) Neisseria meningitidis
(G) Coronavirus (R) Pneumocystitis carinii
(H) Corynebacterium diphteriae (S) Rhinovirus
(I) Coxiella burnetii (T) Streptococcus pneumoniae
(J) Coxsackievirus (U) Streptococcus pyogenes
(K) Epstein-Barr Virus (groupe A)
Veuillez indiquer pour chacun des patients suivants prsentant un tat fbrile
le microorganisme qui a le plus de chances dtre
d tre llagent
agent responsable de la
maladie dcrite.
1. Un enfant de 7 ans prsente un tat hautement fbrile et des douleurs pharynges.
Le pharynx est hypermi, l'amygdale droite tumfie est recouverte d'un exsudat
mucode blanchtre
blanchtre. Il y a une adnopathie sousangulomaxillaire droite douloureuse.
douloureuse
La culture du frottis sur plaque dagar montre de nombreuses petites colonies -
hmolytiques inhibes par la bacitracine.
Cl: U
 Exemples
p

QCM type K
Exemple
L'enrichissement de l'air inspir par 5 % CO2 entrane chez un sujet
en bonne sant:
(1) une augmentation de la ventilation
(2) une hypoxmie artrielle
(3) une augmentation de la circulation crbrale
(4) un abaissement du bicarbonate plasmatique
Rpondre A B C D E
si sont vrais 1,2,3 1,3 2,4 4 TOUS
cl B
 Classification des QCM
Utili ti au NBME d
Utilisation depuis
i 1953

type
K Contexte clinique
Regroupement

type
R
Appariement
pp

type Raisonnement
B
Association

type
Interprtation
A
Une rponse

Rappel de connaissances
 Types de questions prnes
par les organismes de certification

VRAI LA
ou MEILLEURE
FAUX RPONSE

QCM A, QCM B et QCM R

Difficults observes avec le modle VRAI ou FAUX
QCM de type K
p : un enfant q
Exemple qui souffre dune crise aigu
g de fivre rhumatismale
prsente habituellement
(1) un temps de sdimentation allong
(2) un intervalle PR allong
(3) un titre dantistreptolysine O lev
(4) d
des nodules
d l sous-cutans

Rpondre A B C D E
si sont vrais 123
1,2,3 13
1,3 24
2,4 4 TOUS

Principales critiques

1F+2VC Difficile dvaluer le jugement clinique en

1V+2FB terme de Vrai ou Faux
4V+3FD Difficile
ff l dcrire
d d
des complments
l absolument
b l
4F+2FB vrai ou faux sans tomber dans la futilit
 Amlioration du type
yp K : type
yp K

A une question
i ou une affirmation
ffi i iincomplte
l suivent
i
quatre ou cinq rponses (ou fins de phrase), pour
lesquelles il faut dcider si elles sont vraies ou
fausses. Pour obtenir un point, les quatre dcisions
doivent tre jjustes ((PE).
)
Il sest avr utile de pondrer les rponses
attribuer un demi-point
p (DP) un candidat ayant
y donn
quatre bonnes rponses sur cinq
De noter chaque item indpendamment
+ 0,2
0 2 si exact
- 0,2 si faux pas de note < 0
0 si pas de rponse
 Format des Q
QCM bien conues

Tronc ou nonc ou vignette (Stem)

Un patient de 32 ans se plaint de faiblesse des extrmits depuis 4 jours.
Sa temprature est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La
1 respiration est superficielle 42/min. Il a une faiblesse symtrique des
muscles du visage et des muscles proximaux et distaux des extrmits. La
sensibilit est normale. Les rflexes osto-tendineux sont absents. Les
rflexes
fl plantaires
l t i sontt en flflexion.
i
Question (Lead-in)
2 Parmi les diagnostics suivants, quel est le plus probable?

Complments (Options)
A- Encphalomylite aigu dissmine
B
B- Syndrome de Guillain
Guillain-Barr
Barr
3 C- Myastnie grave
D- Polyomylite
E- Polymyosite
 Gabarit des Q
QCM bien conues

Tronc

1
Enonc (corps de la question)

Question
2
C
Complments
l t
Complment 1
Les complments ne doivent
Complment 2 pas transmettre de
3 nouvelles informations
Complment 3

Complment 4 Il ne devrait
devra t pas y avo
avoirr de
Complment 5 verbes
 Caractristique
q des Q
QCM bien conues

Tronc
Un patient
U ti t dde 32 ans se plaint
l i td
de ffaiblesse
ibl d
des extrmits
t it d
depuis
i 4 jjours.
Sa temprature est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La
respiration est superficielle 42/min. Il a une faiblesse symtrique des
muscles du visage et des muscles proximaux et distaux des extrmits. La
sensibilit est normale. Les rflexes osto-tendineux sont absents. Les
rflexes plantaires sont en flexion.
Question
Q
Parmi les diagnostics suivants, quel est le plus probable?

Complments
A- Encphalomylite aigu dissmine
B- Syndrome de Guillain-Barr Continuum
C- Myastnie grave pour
p
D- Polyomylite la meilleure rponse
E- Polymyosite

D C A E B
La moins correcte La plus correcte
 A quelles exigences les QCM doivent-ils
rpondre ?
Principe
p : un examen QCM a p
pour objectif
j
de tester un aspect qualitatif essentiel de la formation des
tudiants examins, cd
des connaissances spcifiques primordiales
la
l capacit
p it de
d les
l s mettre
m tt en pratique
p ti en situation
sit ti concrte
t
Condition pralable
dfinition des connaissances spcifiques
pondration
du contenu : objectifs dapprentissage
Conditions essentielles
bonnes q questions si :
thme de la question correspond aux exigences futures
niveau dexigence adquat
focalises sur un contenu ou un problme clairement dfini
(d
(domaine
i circonscrit)
i it)
fiabilit de la mesure des items si :
capable de diffrencier les candidats quant leur aptitude
difficult adapte au groupe cible
formulation de faon simple et claire
aucun indice suggrant la solution par mgarde (cues)
 Que vise le thme d'une q
Q question?

Dans la formulation dune q

question,, ncessit de se limiter un
aspect particulier du thme choisi,
p.ex. la cause (la plus vraisemblable) dun problme
la faon correcte ou la plus efficace de procder pour trouver
lorigine dun problme ou la dmarche correcte,
lattitude qui a le plus de chances de rgler un problme.
Items pertinent
auquel on est souvent confront dans la situation ou lactivit
concernes
qui pourrait avoir des consquences graves en cas d'erreur
o les fausses ides sont rpandues
qui est essentiel pour la comprhension de futurs domaines
d'enseignement
Vrifiez limportance du thme envisag en posant cette
question:
ti "D
"Dans quelle
ll mesure est-il
t il iimportant
t t pour le
l candidat
did t
quil soit mme de rsoudre ce problme de manire
autonome et/ou quil sache rpondre cette question ?"
 Comment formuler les q
questions ?

Trois
T i rgles
l de
d base:
b
1. tronc long, rponses courtes
2 formuler de faon simple et prcise
2.
3. ne pas crer de questions piges
 A quoi faut-il veiller lors de la formulation du
tronc ?

Lnonc
L
prcise lobjet de la question
doit tre le plus concis possible
peut tre constitu
dun mot, dune phrase
d
dune
une histoire clinique
dune iconographie
Les p
points majeurs
j
toutes les informations ncessaires pour donner la rponse
sont prsentes
d
dune
une manire gnrale
gnrale, il n
ny
y a pas d
dinformations
informations superflues ...
la rpons est possible sans voir les propositions
la formulation est de prfrence positive et elle lest toujours
dans les questions de type K K
 A quoi faut-il veiller lors de la formulation du
tronc ?

Il faut
f sassurer
que
une seule notion est soumise la rflexion de l'tudiant
ll'nonc
nonc n
n'induit
induit pas un jugement de valeur
l'nonc ne comporte pas des adverbes "sans appel"
l'nonc est rdigg sur un mode le plus
p souvent affirmatif
ff f ou
ventuellement interrogatif
 A quoi faut-il veiller lors de la formulation des
rponses ?

Les
L propositions
i i
font suite l'nonc et sont videmment en rapport avec
celui ci
celui-ci
sont au nombre de 5
parmi ces propositions, l'tudiant doit distinguer la ou les
proposition(s) exacte(s) des erreurs (ou distracteur ou cues)
Contenu
chaque
h proposition
iti ne contient
ti t qu'une
' notion
ti +++
deux propositions ne sont pas mutuellement exclusives +
les propositions ne sont pas interdpendantes ll'une
une de
l'autre +.
les propositions sont homognes en ce qui concerne +++ :
forme et structure
contenu
 A quoi faut-il veiller lors de la formulation des
rponses ?

Critres
C i du
d contenu des
d propositions
i i
toutes les rponses doivent toucher le mme thme, donc
respecter llhomognit
homognit du contenu
les distracteurs :
correspondent des notions claires. Il peut sagir par ex. de
f
fausses id
ides largement
l rpandues,
d d
de concepts errons ou d de
vues dpasses.
doivent pas forcment tous tre totalement faux, mais la
rponse correcte doit tre
indubitablement la meilleure.
chaque rponse doit tre aussi courte que possible
on utilisera des rponses qui se recoupent seulement si le
problme sous-jacent lexige et pas pour augmenter
artificiellement la difficult dun item.
 A quoi faut-il veiller lors de la formulation des
rponses ?

Des rponses du type

"toutes les rponses qui prcdent" ou "les propositions B et C
sont toutes deux correctes " ne doivent pas tre utilises.
"aucune
aucune des rponses qui prcdent
prcdent" ne devrait tre utilis
quexceptionnellement comme 5me rponse (sauf rponse un
calcul numrique). On peut y recourir si elle teste des
connaissances importantes ou lorsqu
lorsquon
on ne peut pas proposer la
bonne rponse de manire explicite en raison dune association trop
forte avec le tronc. Il est vident que la rponse "aucune des
rponses qui prcdent
prcdent" devrait aussi tre parfois une rponse
fausse, mais cela pose souvent problme.
Critres formels

viter de fournir des indices formels
l et verbaux
ordre des rponses respectant si possible une certaine logique
viter de positionner
p la rponse
p correcte prfrentiellement
p
en C ou D.
un dosage quilibr et une disposition alatoire des items Vrai
et Faux
Exemples
p
Exemples
p
 A quoi faut-il veiller lors de la formulation des
rponses ?

6 cueils
il frquents
f
viter
i :
toutes les rponses doivent correspondre au tronc du point
de vue grammatical
les distracteurs devraient avoir une longueur et une
diffrenciation aussi proches que possible de celles de la
rponse
correcte
t
viter les indications focalisant lattention sur 2-3 rponses.
viter les indices de convergence
les associations verbales entre tronc et bonne rponse
on vitera dutiliser des termes absolus, tels que "jamais",
"toujours", pour rendre des affirmations clairement fausses.
 Exemples
p

1. (A) Seul agglutination' correspond grammaticalement la formulation du tronc.

2. (B) Cest de loin la rponse la plus longue et la plus diffrencie.
3. (B) ou (A): deux fois 'le module LTC', soit 'dclench', soit 'enclench'
 Exemples
p

4. (C) Les rponses contiennent 3 fois le terme 'Uniform', 2 fois 'Source' et 2

fois 'Locator'. (C) contient les trois lments.
5 (D) L
5. Le tterme 'cognitif
itif' se
s ttrouve d
danss lle ttronc ett d
danss lla rponse
s D.
D
6. (E) C'est la seule affirmation non absolue.
7. (D) Des informations sur la bonne rponse sont voques dans la question 2
 Comment vrifie-t-on les q
questions ?

Les
L auteurs
t contrlent
t l t ...
relecture du texte, notamment en vous imaginant comment vous y
rpondriez vous-mme
vrification sur la base des "points"du chapitre 1 de ce mode
demploi si toutes les rgles de base ont t respectes
vrification plus particulirement labsence de cues
Les auteurs documentent leurs items
mention de lobjectif ou du domaine auquel litem correspond et
indication de la rponse
p correcte
prciser lobjet de litem sous forme de mots cls et mentionner si
possible une ou plusieurs rfrences de la littrature, permettant
de justifier la "rponse correcte". Le cas chant, il nest pas inutile
d
dexpliquer
li pourquoii lles distracteurs
di ont t
choisis
h i i et pourquoii ils
il
sont faux.
laisser ensuite reposer litem une semaine, puis le reprendre " tte
repose ".
"
 Comment vrifie-t-on les q
questions ?

Les
L experts vrifient
ifi lle contenu et lla forme
f
1 ou 2 experts de la discipline certifieront la justesse et
llappartenance
appartenance du thme au programme de formation,
formation
indpendamment de la forme
Un expert en examens QCM devrait ensuite certifier les
it
items exclusivement
l i tddu point
i tdde vue dde lla f
forme ett d
de lla
langue
 Barmes des QCM
Q

4 grandes
d possibilits
ibilit
Tarif normal - Tarif internat
Tarif rgressif - Points ngatifs
Tarif normal
notion "1 point par rponse juste, 0 point pour les fausses".
le
l totall est la
l note de
d l'tudiant.
l' di Il est ncessaire
i d'avoir
d' i un
nombre de questions gal la note maximum.
barme adapt au mono-rponses.
ne prendd pas en compte l'aspect
l' multiple
l i l des
d multi-rponses
l i (tout
(
faux ou tout juste).
notion ayant un gros dfaut et une grosse qualit.
d'
d'un ct,
t la
l correction
ti estt trs
t facile
f il ett trs
t rapide,
id
d'un autre ct, le hasard n'est pas pris en compte. En effet, si le
nombre de rponses possibles est de 5 (1 chance sur 5 d'avoir juste),
avec 20 q
questions l'tudiant peut
p avoir 4/20 sans rien savoir.
 Barmes des QCM
Q

Tarif
T if rgressif
if
seule solution, pour les mono-rponses, qui permet de s'opposer
l'effet
ff hasard.
au dpart, l'tudiant la note maximale, chaque rponse fausse,
un point est dduit du total.
pour annuler l'effet
l effet du hasard il suffit de poser plus de questions
que la note maximale le permettrait.
comme pour le systme prcdent, le tarif rgressif ne s'occupe pas
de ll'aspect
aspect multiple des multi
multi-rponses
rponses et la correction n'est
n est pas
sujette l'ambigut.
malheureusement, les tudiants paniquent devant ce barme, le taux
d'chec
d chec est plus grand par rapport aux autres mthodes.
mthodes
 Barmes des QCM
Q

Tarif internat et points ngatifs

ne s'appliquent qu'aux multi-rponses.
comme pour les autres, l'tudiant acquiert un point par rponse
juste.
juste
pour le type internat, si l'tudiant coche une rponse fausse, il
n'obtient qu'1/2 point, s'il en coche deux, il n'a qu'1/4 et 0 au del.
p
pour les points
p ngatifs,
g f , chaque q mauvaise
m rponse
p enlve 1/(n-1)
/( ) ((n :
nombre de rponses possibles).
ainsi, on obtient 0 si on coche toutes les rponses possibles. (1 point
pour la bonne et -(n-1x(1/n-1)) pour les mauvaise)
cess d
deuxx mth
mthodes
d s ont
nt lle ds
dsavantage
nt d
de lla complexit
mpl xit ett de
d la
l
lenteur pour la correction, mais l'informatique peut facilement s'en
charger.
Une question reste pose : ll'abstention
abstention.
Pour certains, une non-rponse est une faute (-1 point), pour d'autre
ce n'est pas une rponse juste (0 point). Il y a bel est bien une
nuance, qui selon le choix interdit l'usage de certaines techniques.
E l'occurrence,
En l' l'
l'usage de
d (-1
( 1 point)
i t) oblige
bli l'l'enseignant
i t utiliser
tili lle
tarif rgressif.
 Dernier conseil

L
La mise
i au point
i d
dun b
bon QCM d dure llongtemps, aussi,
i
si vous le pouvez, travailler plusieurs en utilisant par
exemple le scnario suivant :
chaque auteur prpare un certain nombre ditems.
lquipe
q p dauteurs se runit pourp rdiger
g le questionnaire
q en
veillant : quilibrer les items relevant de la mmoire, ceux
relevant plus du raisonnement, ceux jugs difficiles ceux
jugs plus faciles...
faciles
si possible le questionnaire sera test auprs dun groupe
tmoin et le QCM dfinitif sera finalis au regard de ce test.
le barme sera annonc clairement au groupe dtudiants
concerns en amont de lexamen.