Vous êtes sur la page 1sur 60

EVALUATION

valuer la comptence professionnelle


Pyramide de Miller
Fait

Does

Dmontre

Comportement
Behaviour

Shows How

Sait comment
Knows How

Sait

Knows
Source : Miller GE. The assessment of clinical kills/competence/performance.
Academic Medicine (Supplement) 1990; 65: S63-S7.

Savoir
Cognition

valuer la comptence professionnelle


Types d
dinstruments
instruments
Fait

Dmontre

S it commentt
Sait

Performance in vivo :
PS. incognito, Vido, Dossiers
Portfolio
Performance in vitro :
ECOS Ex.
ECOS,
Ex PS.
PS
preuves
p
contenus cliniques
q
:
QCM, Q. dv., Ex. oral

Sait
Source : Miller GE. The assessment of clinical kills/competence/performance.
Academic Medicine (Supplement) 1990; 65: S63-S7.

preuves factuelles :

QCM, Ex. crit, oral

Organiser
g
lvaluation
Choisir
Ch i i lle type
t
d'valuation
d' l ti

diffrents types : valuations crites, orales ou pratiques.


valuations pratiques ds lors que les objectifs valuer sont
des objectifs de matrise de gestes
valuations orales dlicates utiliser

interactions relationnelles entre valuateur et valu perturbent


une relle valuation des capacits (dans un sens qui peut tre
favorable comme dfavorable)
rserves aux cas o il est souhaitable d'valuer
d valuer des capacits
d'expression orale

valuations crites majoritairement utilises pour


ll'valuation
valuation de connaissances. Il est possible galement de
combiner crit et oral (ex. : rapport crit prsent
oralement une commission d'valuation compose de
p
professionnels)
)

Organiser
g
lvaluation
Choisir
Ch i i lle type
t
de
d question
ti
questions fermes : pas de

rdaction
d ti n mais
m is choix
h ix des
d s rponses
p ns s
parmi un ensemble de propositions
Avantages et inconvnients

questions ouvertes : rdaction


dun
d
une rponse
p ns avec des
d s mots
m ts

aucune dmarche nest propose


p
plusieurs stratgies
g
de rsolution
sont possibles

q
questions fermes

se corrigent vite et objectivement (c'est juste ou c'est faux),


permettent de rellement identifier les connaissances d'une
personne sur un sujet donn
ne peuventt pas t
tre utilises
tili sii l'
l'on veutt ttester
t des
d capacits
it d
du
registre de la prise de dcision, de l'initiative personnelle, de la
crativit ou de la communication

quest
questions
ons ou
ouvertes
ertes

rponses plus difficiles corriger et toujours avec une part


subjective.

Questions ouvertes
Q
Les
L questions
ti
ouvertes
t (ou
( items
it
subjectifs)
bj tif )
rponse labore ou dveloppe
question sous forme d
dun
un nonc prsentant

un problme rsoudre
le cadre de rfrence ncessaire sa rsolution

implique de

rsoudre le problme prsent,


structurer sa rponse en tenant compte du cadre de rfrence,
rdiger
di
ou exprimer
i
oralement
l
t la
l rponse

avec ses propres


mots, son style et son criture ou encore agir en situation
(preuve pratique).

chaque tudiant fournit gnralement une "rponse"


rponse
diffrente avec des degrs variables de pertinence, de
justesse et de prcision.
frquemment
f
t lless rdacteurs
d t
s des
d s questions
sti s sous-estiment
s s sti
t lless
difficults d'utilisation, de rdaction et de correction.

Questions ouvertes
Q
Diffrents types
Questions rdactionnelles classiques
Questions rponses courtes

Questions rponses courtes


Dfinition
question laquelle on peut rpondre en quelques mots ou phrases.
dans le cas dune question avec des sous-questions, la rponse chacune
de celles-ci doit pouvoir tre exprime en quelques mots ou phrases

QROC

n'exige qu'un seul lment


d'information comme rponse.

Question dveloppement court

prvoit plusieurs lments


d'information.
rponse plus longue : une ou deux
phrases un ou deux paragraphes

Exemple
E
l d
de question
ti d
dveloppement
l
t courtt : Discutez
Di
t d
des avantages
t
d
du ttraitement
it
t
XYZ pour un malade atteint de...

Questions ouvertes
Q
Avantages
A
t
d
des QROC

correction plus facile et moins subjective


structuration laisse p
peu de p
place l'interprtation
p
plus facile crer

Peut-on valuer le raisonnement et lhabilet


rsoudre les problmes ?

Oui
Il est possible de prsenter une information trs complexe dans
ll'n
nonc
n de
d ttelle
ll sorte
s t que
qu la
l rponse
p ns du candidat,
ndid t bien
bi n que
qu courte,
u t
tmoigne dun niveau lev de fonctionnement intellectuel.
L'utilisation de scnarios ("cas cliniques") dans la formulation de la
question permet d'valuer
d valuer le raisonnement clinique tel qu'il
qu il ss'exerce
exerce
en pratique.

Questions ouvertes
Q

E
Exemples
l
Exemple 1 : mesure des connaissances factuelles
Nommez trois causes possibles de lindigestion
a)
b)
c)

Exemple 2 : mesure de la capacit de raisonnement de niveau plus complexe


Une femme de 62 ans est hospitalise pour des maux de tte d'apparition rcente,
accompagns de diplopie. Une anne auparavant, on a diagnostiqu qu'elle souffrait
d'un lymphome diffus grandes cellules et de stade III. La polychimiothrapie associant
doxorubicine (Adriamycine), vincristine et prednisone, a entran une rmission
complte; elle a t discontinue aprs six cycles. Au cours de la prsente
hospitalisation, les examens complmentaires, dont la ponction lombaire, ont
diagnostiqu une lymphomatose mninge. Il n'y a pas de rcidive du lymphome
d'
d'autres
endroits.
d i
numrez trois modalits thrapeutiques disponibles, pour cette patiente :

a)
b)
c)

Questions fermes
Q
Les
L diffrents
diff
types d
de questions
i
f
fermes

Questions choix multiples (QCM)


Questions de type vrai-faux
vrai faux
Questions de type appariement
Questions de type
Q
yp rarrangement
g
Questions de type problme mathmatique
Questions de type phrase complter
Test de closure

Questions fermes
Q
Questions
Q
ti
choix
h i multiples
lti l (QCM)

Question comprenant un nonc dans lequel est prsent le


problme rsoudre et le cadre de rfrence permettant
p
p
de
le rsoudre ainsi qu'une suite de rponses suggres
acceptables parmi lesquelles l'valu choisit ; les mauvaises
rponses suggres sont des leurres ou distracteurs.
Diffrentes formes de QCM :

trouver la seule bonne rponse ou la seule rponse fausse,


trouver la meilleure rponse,
trouver toutes les bonnes rponses ou toutes les fausses,
trouver la rponse qui donne l'ordre exact d'une srie d'noncs,
rsoudre plusieurs items se rapportant tous un mme problme
prsent ds le dbut.

Questions fermes
Q
Questions
Q
i
d
de type vrai-faux
i f
Question comprenant un nonc (ou une proposition) et le candidat
doit indiquer
q
s'il est vrai ou f
faux.
Diffrentes formes de questions de type vrai-faux :
forme de base,
forme bon-mauvais (utilise notamment pour ll'orthographe)
orthographe),
forme correction dans laquelle il faut d'une part indiquer si l'nonc est
vrai ou faux et d'autre part, si l'nonc est faux, crire les mots
ncessaires ((correspondant
p
une partie
p
souligne
g
de l'nonc)) pour
p
que
q
l'nonc devienne vrai,
forme plus grand-plus petit (utilise notamment en mathmatiques),
forme rponses
p
pondres
p
o l'item comporte
p
plusieurs
p
choix (ex : je
j
suis certain que l'nonc est vrai, je crois que l'nonc est vrai, je ne
sais pas si l'nonc est vrai ou faux...) permettant de mesurer la fois la
connaissance du sujet valu et le degr de conviction des valus quant
ll'exactitude
exactitude de cette connaissance
connaissance.

Questions fermes
Q
Questions
Q
i
d
de type appariement
i
srie d'noncs constituant l'ensemble-stimuli chacun des
lments duquel on demande d'associer
d associer un lment d'un
d un
ensemble-rponses. En gnral, l'ensemble-stimuli est plac
gauche et est plus long lire mme s'il peut comporter moins
d'lments
d
lments que l'ensemble
l ensemble-rponses
rponses
Diffrentes formes de questions de type appariement :
association simple
p (un seul ensemble-rponses
p
dont chaque
q
lment doit tre associ un lment de l'ensemble-stimuli),
association multiple (plusieurs ensembles-rponses)
classification (l
(l'ensemble-rponses
ensemble rponses A.
A ammonitrates
1 N
1.
comporte une srie de catgories).
B. scories potassiques
2. P

Exemple : Pour chaque engrais de la liste de gauche (A E),


indiquez le numro de la liste de droite (1 6) mentionnant
tous les lments nutritifs qu'il contient.

C. chlorure de potassium

3. K

D. super triple

4. P et K

E. nitrate de chaux

5. N et K
6. N et P et K

Questions fermes
Q
Questions
Q
i
d
de type rarrangement

srie d'noncs prsente dans un ordre fix au hasard ou


selon des rgles sans rapport avec le problme,
problme lltudiant
tudiant
doit les placer dans un ordre conforme un mode
d'organisation indiqu en prcisant par des lettres ou des
nombres cet ordre.
ordre
diffrentes formes de questions de type rarrangement
forme de base
forme limite par des choix multiples dans laquelle des
suggestions d'ordre sont proposes.

Exemple : Classez dans l'ordre chronologique d'apparition les


8 stades de dveloppement de la vigne prsents ci-contre.

A. nouaison

E. arrt de croissance

B. vraison

F. grappes visibles

C. sortie des feuilles

G. floraison

D. dbourrement

H. maturit

Outils simplifis
p
dvaluation en Mdecine
Questions
Q
ti
rponses

courtes
t

QROC
Q

Largementt utiliss
L
tili
dans tous les pays,
pour toutes les disciplines
pour toutes les annes
galement pour les concours

QCM

QCM
Q

Conseils pour la rdaction de questions


rponses courtes

1. Utilisez des questions auxquelles on peut rpondre d'une faon raliste


en quelques mots ou phrases.
phrases
en gnral, chaque question ou sous-question ne devrait demander qu'un seul
lment d'information.
Exemple : "Quel
Quel est le diagnostic le plus probable et quel traitement
recommandez-vous ?" devrait tre scinde en deux questions distinctes.
si une question demande plusieurs lments d'information (par exemple, si un
traitement a plusieurs composantes), sa formulation et sa notation doivent
en tenir compte.

2. Prvoir dans les espaces rservs aux rponses le nombre suffisant de


lignes ou autres repres de faon indiquer l'tendue de la rponse.
3. Dans une question, il faut veiller ce que les lignes aient la mme
longueur pour ainsi viter de fournir des indices additionnels quant la
rponse requise.

Conseils pour la rdaction de questions


rponses courtes
4 Utilisez
4.

des questions directes telles que "Quel est le meilleur traitement de ...?",
des verbes spcifiques tels que "nommer", "indiquer les grandes lignes de ...",
"dcrire". Le verbe "discuter " doit tre vit dans une question rponse
courte
t car il iimplique
li
ncessairement

i
t une rponse

llongue.
lorsqu'on utilise des verbes, tels que "dcrire", "indiquer les grandes, lignes
de ...", il importe d'ajouter certaines indications quant aux limites de la
rponse attendue (par exemple "dcrivez brivement", "indiquez brivement
les grandes lignes ...").
")
parfois, il peut tre ncessaire de prciser ce qui ne doit pas apparatre dans
la rponse (exemple : "Indiquez un traitement couramment accept dans ce
cas. Soyez spcifique; les doses, les horaires et champs d'application du
traitement ne sont pas requis
requis")). Il faut ssefforcer
efforcer de bien mettre en
vidence le critre vis dans la correction de la question.

5. Ne pas fournir d'indices quant la rponse la question.

exemple d'une question qui nen fournit pas : "Quel(s) examen(s) complmentaire(s)
additionnel(s) pourrait(aient) tre requis,
requis en vue de la dcision thrapeutique?
thrapeutique?", par
opposition la question suivante : "Quels examens complmentaires allez-vous faire
avant de dcider du traitement?".

6. Si une seule rponse doit tre considre comme acceptable, lnonc


de la question doit tre trs spcifique sur ce point.
point Voici quelques
exemples : "Quel est le meilleur traitement ...?", "Quel est... le plus souvent
utilis ... ?", "Quel est le diagnostic le plus probable?".

Conseils pour la rdaction de questions


rponses courtes
7. Notation :

la valeur de chaque question et, dans le cas d'une question avec sousquestions, la valeur de chaque sous question, doivent tre dtermines
lavance et indiques sur la feuille de rponse.
pour chaque question ou sous
sous-question
question : tablir la notation pour la(les)
rponse(s) acceptable(s), les rponses qui ne sont pas acceptables de mme
que pour les rponses qui, tout en n'tant pas la meilleure rponse, nen sont
pas moins acceptables. Cette notation doit tre labore avant l'examen et
non au moment de la correction des preuves.
p
Toutefois, certains
ajustements peuvent s'avrer
'
ncessaires

au moment de la correction,
surtout dans, le cas de rponses non prvues.

8. Nature des situations cliniques

autant que possible


possible, la longueur des scnarios (("cas
cas cliniques
cliniques")) doit tre
proportionnelle la valeur attribue aux questions. Il faut veiller ce que les
candidats ne perdent pas trop de temps lire et analyser des questions qui
rapportent peu de points.
les scnarios cliniques
q
doivent tre prpars
p p
en tenant compte
mp des
connaissances que tout spcialiste, prt exercer d'une faon autonome, est
cens avoir acquises.

9. Bien que la conception initiale des modles de rponses puisse tre


confie un seul examinateur, il importe cependant, pour en assurer la
validit, de faire appel lexpertise d'autres examinateurs. Les modles
de rponses doivent tre approuves par le Jury d'examen avant
lexamen.

Exemples
p

Exemples
p

Exemples
p

Exemples
p

Exemples
p

Exemples
p

Exemples
p

Exemples
p

Exemples
p

Exemples
p

Question choix multiples


Q
p

C
Constat
t t

examen compos de QCM : mthode la plus fiable, valable et


rentable pour valuer la comptence clinique des candidats, en
particulier pour mesurer leur savoir mdical.
point de vue des candidats, les examens choix multiples consistent
souvent en des q
questions p
piges,
g
non pertinentes
p
et ambigus.
g

pourquoi cette divergence dans les perceptions de lutilit des


examens choix multiples ?

Attribuable la faon dont les questions sont structures

questions conues pour tester la simple mmorisation de


connaissances
i
ti
tires
d
de manuels
l ou pour poser aux candidats
did t d
des
difficults en valuant les connaissances de situations relativement
rares.
questions
ti
souventt rdiges
di d
dans un llangage ou une f
forme
comprhensible par lauteur mais qui portent confusion lorsque les
candidats les lisent.

Classification des QCM


Utilisation au NBME depuis 1953

Type
T
A : une rponse

QCM Questions choix multiple


QCR Questions choix de rponses

choix unique positif parmi 5 rponses possibles

Type
T
B : association
ss i ti ou attribution
tt ib ti
attribution de la meilleure rponse possible parmi 5 possibilits

Type R : appariement ou attribution largie


idem B mais avec une liste de rponses plus vaste

Type K : regroupement
Quadruple vrai-faux

VRAI
ou
FAUX

LA
MEILLEURE
RPONSE

Exemples
p

QCM type A

E
Exemple
l

Une femme de 60 ans prouve des difficults sortir de son fauteuil et se


tenir droite. Elle na en revanche aucune peine marcher sur sol plat et
parvient
i t fl
flchir
hi ses h
hanches
h sans aucune diffi
difficult.
lt
Lequel des muscles suivants est le plus probablement dficient?
(A) Gluteus maximus
m. grand fessier
(B) Gluteus medius
m. moyen fessier
(C) Obturator externis
m. obturateur externe
(D) Obturator internus
m. obturateur interne
(E) Psoas major
m. psoas
Anatomie

Cl: A

Exemples
p

QCM type B

Exemple
p

(A) le captopril
(B) le diazoxide
(C) le dinitrate disosorbide
d isosorbide
(D) la nifdipine
(E) le propranolol
Quelle substance inhibe
1. la libration de la rnine?
(A) (B) (C) (D) (E)
2 lla d
2.
dgradation
d ti d
de lla b
bradykinine?
d ki i ?
(A) (B) (C) (D) (E)
3. l'ouverture des canaux calciques?
(A) (B) (C) (D) (E)

Cl: E
Cl: A
Cl: D

Exemples
p
QCM type
Q
yp R

Exemple

(A) Adnovirus
(L) Haemophilus influenzae
(B) Aspergillus fumigatus
(M) Histoplasma capsulatum
(C ) Bacillus anthracis
(N) Mycobacterium tuberculosis
(D) Candida albicans
(O) Mycoplasma pneumoniae
(E) Chlamydia psittaci
(P) Neisseria gonorrhoeae
(F) Coccidioides immitis
(Q) Neisseria meningitidis
(G) Coronavirus
(R) Pneumocystitis carinii
(H) Corynebacterium diphteriae
(S) Rhinovirus
(I) Coxiella burnetii
(T) Streptococcus pneumoniae
(J) Coxsackievirus
(U) Streptococcus pyogenes
(K) Epstein-Barr Virus (groupe A)
Veuillez indiquer pour chacun des patients suivants prsentant un tat fbrile
le microorganisme qui a le plus de chances dtre
d tre llagent
agent responsable de la
maladie dcrite.
1. Un enfant de 7 ans prsente un tat hautement fbrile et des douleurs pharynges.
Le pharynx est hypermi, l'amygdale droite tumfie est recouverte d'un exsudat
mucode blanchtre
blanchtre. Il y a une adnopathie sousangulomaxillaire droite douloureuse.
douloureuse
La culture du frottis sur plaque dagar montre de nombreuses petites colonies hmolytiques inhibes par la bacitracine.
Cl: U

Exemples
p

QCM type K

Exemple

L'enrichissement de l'air inspir par 5 % CO2 entrane chez un sujet


en bonne sant:
(1) une augmentation de la ventilation
(2) une hypoxmie artrielle
(3) une augmentation de la circulation crbrale
(4) un abaissement du bicarbonate plasmatique
Rpondre
A
B
C
D
E
1,2,3
1,3
2,4
4
TOUS
si sont vrais
cl B

Classification des QCM


Utili ti au NBME d
Utilisation
depuis
i 1953
type
K

Contexte clinique

Regroupement

type
R
Appariement
pp

type
B

Raisonnement

Association

type
A

Interprtation

Une rponse

Rappel de connaissances

Types de questions prnes


par les organismes de certification

VRAI
ou
FAUX

LA
MEILLEURE
RPONSE

QCM A, QCM B et QCM R

Difficults observes avec le modle VRAI ou FAUX


QCM de type K
Exemple
p : un enfant q
qui souffre dune crise aigu
g de fivre rhumatismale
prsente habituellement
(1) un temps de sdimentation allong
(2) un intervalle PR allong
(3) un titre dantistreptolysine O lev
(4) d
des nodules
d l sous-cutans

Rpondre
si sont vrais

A
123
1,2,3

B
13
1,3

C
24
2,4

D
4

E
TOUS

Principales critiques
1F+2VC
1V+2FB
4V+3FD
4F+2FB

Difficile dvaluer le jugement clinique en


terme de Vrai ou Faux
Difficile
ff l dcrire
d
d
des complments
l
absolument
b l
vrai ou faux sans tomber dans la futilit

Amlioration du type
yp K : type
yp K
A une question
i ou une affirmation
ffi
i iincomplte
l suivent
i
quatre ou cinq rponses (ou fins de phrase), pour
lesquelles il faut dcider si elles sont vraies ou
fausses. Pour obtenir un point, les quatre dcisions
doivent tre jjustes ((PE).
)
Il sest avr utile de pondrer les rponses
attribuer un demi-point
p
(DP) un candidat ayant
y
donn
quatre bonnes rponses sur cinq
De noter chaque item indpendamment
+ 0,2
0 2 si exact
- 0,2 si faux
0 si pas de rponse

pas de note < 0

Format des Q
QCM bien conues

Tronc ou nonc ou vignette (Stem)


1

Un patient de 32 ans se plaint de faiblesse des extrmits depuis 4 jours.


Sa temprature est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La
respiration est superficielle 42/min. Il a une faiblesse symtrique des
muscles du visage et des muscles proximaux et distaux des extrmits. La
sensibilit est normale. Les rflexes osto-tendineux sont absents. Les
rflexes
fl
plantaires
l t i
sontt en flflexion.
i

Question (Lead-in)

Parmi les diagnostics suivants, quel est le plus probable?

Complments (Options)
3

A-

Encphalomylite aigu dissmine

B
B-

Syndrome de Guillain
Guillain-Barr
Barr

C-

Myastnie grave

D-

Polyomylite

E-

Polymyosite

Gabarit des Q
QCM bien conues

Tronc
1

Enonc (corps de la question)

Question
C
Complments
l
t
Complment 1

Complment 2
Complment 3
Complment 4
Complment 5

Les complments ne doivent


pas transmettre de
nouvelles informations
Il ne devrait
devra t pas y avo
avoirr de
verbes

Caractristique
q des Q
QCM bien conues

Tronc
Un patient
U
ti t d
de 32 ans se plaint
l i td
de ffaiblesse
ibl
d
des extrmits
t it d
depuis
i 4 jjours.
Sa temprature est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La
respiration est superficielle 42/min. Il a une faiblesse symtrique des
muscles du visage et des muscles proximaux et distaux des extrmits. La
sensibilit est normale. Les rflexes osto-tendineux sont absents. Les
rflexes plantaires sont en flexion.

Question
Q

Parmi les diagnostics suivants, quel est le plus probable?

Complments
A-

Encphalomylite aigu dissmine

B-

Syndrome de Guillain-Barr

C-

Myastnie grave

D-

Polyomylite

E-

Polymyosite

D
C A
E
La moins correcte

Continuum
pour
p
la meilleure rponse

B
La plus correcte

A quelles exigences les QCM doivent-ils


rpondre ?
Principe
p : un examen QCM a p
pour objectif
j

de tester un aspect qualitatif essentiel de la formation des


tudiants examins, cd
des connaissances spcifiques primordiales
la
l capacit
p it de
d les
l s mettre
m tt en pratique
p ti
en situation
sit ti concrte
t

Condition pralable

dfinition des connaissances spcifiques


pondration

du contenu : objectifs dapprentissage

Conditions essentielles

bonnes q
questions si :
thme de la question correspond aux exigences futures
niveau dexigence adquat
focalises sur un contenu ou un problme clairement dfini
(d
(domaine
i circonscrit)
i
it)
fiabilit de la mesure des items si :
capable de diffrencier les candidats quant leur aptitude
difficult adapte au groupe cible
formulation de faon simple et claire
aucun indice suggrant la solution par mgarde (cues)

Que vise le thme d'une q


Q
question?
Dans la formulation dune q
question,, ncessit de se limiter un
aspect particulier du thme choisi,
p.ex. la cause (la plus vraisemblable) dun problme
la faon correcte ou la plus efficace de procder pour trouver
lorigine dun problme ou la dmarche correcte,
lattitude qui a le plus de chances de rgler un problme.

Items pertinent
auquel on est souvent confront dans la situation ou lactivit
concernes
qui pourrait avoir des consquences graves en cas d'erreur
o les fausses ides sont rpandues
qui est essentiel pour la comprhension de futurs domaines
d'enseignement

Vrifiez limportance du thme envisag en posant cette


question:
ti
"D
"Dans
quelle
ll mesure est-il
t il iimportant
t t pour le
l candidat
did t
quil soit mme de rsoudre ce problme de manire
autonome et/ou quil sache rpondre cette question ?"

Comment formuler les q


questions ?
Trois
T i rgles
l de
d base:
b
1. tronc long, rponses courtes
2 formuler de faon simple et prcise
2.
3. ne pas crer de questions piges

A quoi faut-il veiller lors de la formulation du


tronc ?
Lnonc
L

prcise lobjet de la question


doit tre le plus concis possible
peut tre constitu
dun mot, dune phrase
d
dune
une histoire clinique
dune iconographie

Les p
points majeurs
j

toutes les informations ncessaires pour donner la rponse


sont prsentes
d
dune
une manire gnrale
gnrale, il n
ny
y a pas d
dinformations
informations superflues ...
la rpons est possible sans voir les propositions
la formulation est de prfrence positive et elle lest toujours
dans les questions de type K
K

A quoi faut-il veiller lors de la formulation du


tronc ?
Il faut
f
sassurer

que

une seule notion est soumise la rflexion de l'tudiant


ll'nonc
nonc n
n'induit
induit pas un jugement de valeur
l'nonc ne comporte pas des adverbes "sans appel"
l'nonc est rdig
g sur un mode le plus
p
souvent affirmatif
ff
f ou
ventuellement interrogatif

A quoi faut-il veiller lors de la formulation des


rponses ?
Les
L propositions
i i
font suite l'nonc et sont videmment en rapport avec
celui ci
celui-ci
sont au nombre de 5
parmi ces propositions, l'tudiant doit distinguer la ou les
proposition(s) exacte(s) des erreurs (ou distracteur ou cues)

Contenu
chaque
h
proposition
iti ne contient
ti t qu'une
'
notion
ti +++
deux propositions ne sont pas mutuellement exclusives +
les propositions ne sont pas interdpendantes ll'une
une de
l'autre +.
les propositions sont homognes en ce qui concerne +++ :
forme et structure
contenu

A quoi faut-il veiller lors de la formulation des


rponses ?
Critres
C i
du
d contenu des
d propositions
i i
toutes les rponses doivent toucher le mme thme, donc
respecter llhomognit
homognit du contenu
les distracteurs :
correspondent des notions claires. Il peut sagir par ex. de
f
fausses
id
ides largement
l
rpandues,

d
d
de concepts errons
ou d
de
vues dpasses.
doivent pas forcment tous tre totalement faux, mais la
rponse correcte doit tre

indubitablement la meilleure.

chaque rponse doit tre aussi courte que possible


on utilisera des rponses qui se recoupent seulement si le
problme sous-jacent lexige et pas pour augmenter
artificiellement la difficult dun item.

A quoi faut-il veiller lors de la formulation des


rponses ?
Des rponses du type
"toutes les rponses qui prcdent" ou "les propositions B et C
sont toutes deux correctes " ne doivent pas tre utilises.
"aucune
aucune des rponses qui prcdent
prcdent" ne devrait tre utilis
quexceptionnellement comme 5me rponse (sauf rponse un
calcul numrique). On peut y recourir si elle teste des
connaissances importantes ou lorsqu
lorsquon
on ne peut pas proposer la
bonne rponse de manire explicite en raison dune association trop
forte avec le tronc. Il est vident que la rponse "aucune des
rponses qui prcdent
prcdent" devrait aussi tre parfois une rponse
fausse, mais cela pose souvent problme.

Critres formels


viter de fournir des indices formels
l et verbaux
ordre des rponses respectant si possible une certaine logique
viter de positionner
p
la rponse
p
correcte prfrentiellement
p
en C ou D.
un dosage quilibr et une disposition alatoire des items Vrai
et Faux

Exemples
p

Exemples
p

A quoi faut-il veiller lors de la formulation des


rponses ?
6 cueils

il frquents
f

viter
i
:
toutes les rponses doivent correspondre au tronc du point
de vue grammatical
les distracteurs devraient avoir une longueur et une
diffrenciation aussi proches que possible de celles de la
rponse

correcte
t
viter les indications focalisant lattention sur 2-3 rponses.
viter les indices de convergence
les associations verbales entre tronc et bonne rponse
on vitera dutiliser des termes absolus, tels que "jamais",
"toujours", pour rendre des affirmations clairement fausses.

Exemples
p

1. (A) Seul agglutination' correspond grammaticalement la formulation du tronc.


2. (B) Cest de loin la rponse la plus longue et la plus diffrencie.
3. (B) ou (A): deux fois 'le module LTC', soit 'dclench', soit 'enclench'

Exemples
p

4. (C) Les rponses contiennent 3 fois le terme 'Uniform', 2 fois 'Source' et 2


fois 'Locator'. (C) contient les trois lments.
5 (D) L
5.
Le tterme 'cognitif
itif' se
s ttrouve d
danss lle ttronc ett d
danss lla rponse

s D.
D
6. (E) C'est la seule affirmation non absolue.
7. (D) Des informations sur la bonne rponse sont voques dans la question 2

Comment vrifie-t-on les q


questions ?
Les
L auteurs
t
contrlent
t l t ...

relecture du texte, notamment en vous imaginant comment vous y


rpondriez vous-mme
vrification sur la base des "points"du chapitre 1 de ce mode
demploi si toutes les rgles de base ont t respectes
vrification plus particulirement labsence de cues

Les auteurs documentent leurs items

mention de lobjectif ou du domaine auquel litem correspond et


indication de la rponse
p
correcte
prciser lobjet de litem sous forme de mots cls et mentionner si
possible une ou plusieurs rfrences de la littrature, permettant
de justifier la "rponse correcte". Le cas chant, il nest pas inutile
d
dexpliquer
li
pourquoii lles distracteurs
di
ont t
choisis
h i i et pourquoii ils
il
sont faux.
laisser ensuite reposer litem une semaine, puis le reprendre " tte
repose ".
"

Comment vrifie-t-on les q


questions ?
Les
L experts vrifient
ifi
lle contenu et lla forme
f
1 ou 2 experts de la discipline certifieront la justesse et
llappartenance
appartenance du thme au programme de formation,
formation
indpendamment de la forme
Un expert en examens QCM devrait ensuite certifier les
it
items
exclusivement
l i
td
du point
i td
de vue d
de lla f
forme ett d
de lla
langue

Barmes des QCM


Q
4 grandes
d possibilits
ibilit
Tarif normal
Tarif rgressif

Tarif normal

- Tarif internat
- Points ngatifs

notion "1 point par rponse juste, 0 point pour les fausses".
le
l totall est la
l note de
d l'tudiant.
l' di
Il est ncessaire

i d'avoir
d'
i un
nombre de questions gal la note maximum.
barme adapt au mono-rponses.
ne prend
d pas en compte l'aspect
l'
multiple
l i l des
d multi-rponses
l i
(tout
(
faux ou tout juste).
notion ayant un gros dfaut et une grosse qualit.
d'
d'un ct,
t la
l correction
ti estt trs
t facile
f il ett trs
t rapide,
id
d'un autre ct, le hasard n'est pas pris en compte. En effet, si le
nombre de rponses possibles est de 5 (1 chance sur 5 d'avoir juste),
avec 20 q
questions l'tudiant peut
p
avoir 4/20 sans rien savoir.

Barmes des QCM


Q
Tarif
T if rgressif

if
seule solution, pour les mono-rponses, qui permet de s'opposer
l'effet
ff hasard.
au dpart, l'tudiant la note maximale, chaque rponse fausse,
un point est dduit du total.
pour annuler l'effet
l effet du hasard il suffit de poser plus de questions
que la note maximale le permettrait.
comme pour le systme prcdent, le tarif rgressif ne s'occupe pas
de ll'aspect
aspect multiple des multi
multi-rponses
rponses et la correction n'est
n est pas
sujette l'ambigut.
malheureusement, les tudiants paniquent devant ce barme, le taux
d'chec
d
chec est plus grand par rapport aux autres mthodes.
mthodes

Barmes des QCM


Q
Tarif internat et points ngatifs

ne s'appliquent qu'aux multi-rponses.


comme pour les autres, l'tudiant acquiert un point par rponse
juste.
juste
pour le type internat, si l'tudiant coche une rponse fausse, il
n'obtient qu'1/2 point, s'il en coche deux, il n'a qu'1/4 et 0 au del.
p
pour les points
p
ngatifs,
g f , chaque
q mauvaise
m
rponse
p
enlve 1/(n-1)
/( ) ((n :
nombre de rponses possibles).
ainsi, on obtient 0 si on coche toutes les rponses possibles. (1 point
pour la bonne et -(n-1x(1/n-1)) pour les mauvaise)
cess d
deux
x mth
mthodes
d s ont
nt lle ds
dsavantage
nt
d
de lla complexit
mpl xit ett de
d la
l
lenteur pour la correction, mais l'informatique peut facilement s'en
charger.

Une question reste pose : ll'abstention


abstention.

Pour certains, une non-rponse est une faute (-1 point), pour d'autre
ce n'est pas une rponse juste (0 point). Il y a bel est bien une
nuance, qui selon le choix interdit l'usage de certaines techniques.
E l'occurrence,
En
l'
l'
l'usage de
d (-1
( 1 point)
i t) oblige
bli l'
l'enseignant
i
t utiliser
tili
lle
tarif rgressif.

Dernier conseil
L
La mise
i au point
i d
dun b
bon QCM d
dure llongtemps, aussi,
i
si vous le pouvez, travailler plusieurs en utilisant par
exemple le scnario suivant :
chaque auteur prpare un certain nombre ditems.
lquipe
q p dauteurs se runit pour
p
rdiger
g le questionnaire
q
en
veillant : quilibrer les items relevant de la mmoire, ceux
relevant plus du raisonnement, ceux jugs difficiles ceux
jugs plus faciles...
faciles
si possible le questionnaire sera test auprs dun groupe
tmoin et le QCM dfinitif sera finalis au regard de ce test.
le barme sera annonc clairement au groupe dtudiants
concerns en amont de lexamen.

Centres d'intérêt liés