Vous êtes sur la page 1sur 34

Leffet de testing sur les rsultats scolaires :

1910-2010

Richard P. PHELPS
2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Meta-analyss
Une mthode pour
rsumer une littrature
de recherche importante,
avec une mesure unique
et comparable.

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

L'effet de tests standardiss sur les


rsultats scolaires des lves
tude de 12 ans
analys a peu pr de 700 tudes
unique, et plus de 1500 effets unique
2000 autres tudes taient pass en
revue mais pas inclus (juges
inappropris dinclure)
centaines autres ne passeront pas en
revue il ny a pas assez de temps ou
dargent
2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Chercher les tudes dinclure dans la


mta-analyse

1. On a inclus les tudes quont trouv en effet dun test


sur les rsultats scolaires des lves ou sur les
enseignements des enseigneurs

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

tudes inclus dans la mta-analyse

2. quand:

Un test est introduit de nouveau ou est enlev


La quantit de testing est augment ou est diminu
Consquences dun test sont introduit ou sont enlev

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

tudes inclus dans la mta-analyse


3. plus les mta-analyse dautres chercheurs (e.g.)
Kulik, Kulik, Bangert-Drowns, &
Schwalb (1983-1991) propos de:
testing pour obtenir le dessus
sur le sujet, << mastery testing
>>
frquence de testing, et
programmes des tudiants
universitaire redoubl
Basol & Johanson (2009) propos
du frquence de testing
Jaekyung Lee (2007) propos des
administrations trs grandes
W.J. Haynie (2007) propos de la
formation
2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Nombre dtudes et deffets,


par type de mthodologie
Nombre
dtudes

Nombre
deffets

Quantitatives

177

640

Enqutes et sondages
dopinion (EUA et Canada)

247

813

Qualitatives

245

245

TOTAL

669

1698

Type de mthodologie

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Taille deffet: d de Cohen


d = (YE - YC) / Spool
YE = moyenne du groupe
exprimental
YC = moyenne du groupe contrl
Spool = dviation standardis

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Taille deffet: Autres formules


d = t*((n1+n2/n1*n2)^0,5
d = 2r/(1-r)^0,5
d = (YE avant-YE aprs-YC avant+
YC aprs)/Spool aprs

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Taille deffet: Interprtation

d entre 0,25 et 0,50 un effet faible


d entre 0,50 et 0,75
d plus de 0,75
2012, Richard P PHELPS

un effet moyen
un effet fort

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

10

tudes quantitatives
(population couverture 7 million
personnes )

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

11

tudes quantitatives : Taille deffet


Taille deffet calcul << squelettique >> :
d +0,55

un effet moyen

Taille deffet squelettique rgl pour la fiabilit (a cause de lerreur qui


rsulte du procs quand on mesure)
d +0,70

un effet assez fort

Taille deffet par chercheur


d +0,88

2012, Richard P PHELPS

un effet fort

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

12

Modrateurs important

Taille
deffet
moyen
+0,98

Group de Traitement (par contre le


group de contrle)
connaissant de performance
a enseignement spcialis (e.g.,
tuteurs)
consquences de test plus fortes
testing est plus frquent
2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

+0,96
+0,87
+0,85
13

Modrateurs Origine de testing

Chercheur ou
Professeur
National
Commercial
Rgional
Total
2012, Richard P PHELPS

Nombre
dtudes

Taille
deffet
moyen

87

0,93

24
38
11
160

0,87
0,82
0,72

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

14

Modrateurs Patronage de test

International
Local
National
Rgional
Total

2012, Richard P PHELPS

Nombre
dtudes
5
99
45
11
160

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Taille
dEffet
moyen
1,02
0,93
0,81
0,64

15

Modrateurs Dsigne dtude


Taille
deffet
moyen
0,97

Nombre
dtudes
12

Pr-post
Exprience, Quasi107
exprience
Multi variance
26
Exprience, post test
7
Pr-post (avec test
8
parallle)
Total
160
2012, Richard P PHELPS
Association Mondiale des Sciences d'Education, 17th
Congres, Reims, June, 2012

0,94
0,80
0,60
0,58
16

Modrateurs Taille dtude

Agrget
Taille petite
Taille grande
Total

2012, Richard P PHELPS

Nombre
dtudes
9
118
33
160

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

Taille
deffet
moyen
1,60
0,91
0,57

17

Modrateurs Taille dadministration

Salle de classe
Taille moyenne
Taille grande
Total

2012, Richard P PHELPS

Nombre
dtudes
115
6
39

Taille
deffet
moyen
0,95
0,72
0,71

160

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

18

Enqutes et sondages dopinion

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

19

Pourcentage ditems denqute,


par groupe de rpondeur et type denqute

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

20

Nombre et pourcentage darticles denqute,


par consquence de test et le groupe
affect
Consquence

Nombre

Groupe affect

forte

507

62

moyenne

184

23

faible

33

pas connu

89

TOTAL

2012, Richard P PHELPS

813

Nombre

Elves

393

46

coles

281

33

Enseigneurs

116

14

11

pas de
consquence

64

TOTAL

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

854

21

Sondages dopinion, par an


244 entre 1958 et 2008, aux tats-Unis et en Canada
813 combinaisons uniques de question-rponse.
a peut pr 700.000 rponses uniques dindividuels

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

22

Enqutes et sondages dopinion :


Tests standardiss simples et tests de performance

Tests simples
(N 125)

Tests de performance
(N 50)

Connaissance des lves est amlior

1,2

1,0

pondre par la population de ltude

1,9

0,5

Enseignement est amlior

1,0

1,4

pondre par la population de ltude

0,9

0,9

Tests aligne le programme scolaire

1,0

1,0

pondre par la population de ltude

0,5

0,9

Lopinion des rpondants

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

23

tudes qualitatives : Rsum


(On ne peut pas calculer un taille deffet)

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

24

tudes qualitatives, par mthodologie


Nombre
dtudes

Dossiers

120

43

Exprimentes ou comparaisons avant-aprs

21

Entrevues (individu ou groupe)

75

27

Journaux

Revues des rapports officiels, enregistrements

33

12

Revues des recherches

Enqutes

22

TUDES TOTAL

281

100

Mthode de recherche

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

25

tudes qualitatives:
L'effet sur les rsultats scolaires des lves
244 tudes menes depuis 100 ans aux plus de 30 pays
Nombre d
tudes

Pourcentage
dtudes

Pourcentage
pas infr

Positive

204

84

93

Positive infr

24

10

Mlang

Pas de change

Ngative

244

100

100

Direction deffet

TUDES TOTAL
2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

26

tudes qualitatives : Le testing amliore les


rsultats scolaires et lenseignement
Nombre
dtudes

200

95

Rsultats mlangs

<1

Non

10

TUDES TOTAL

211

100

Nombre
dtudes

Oui

158

96

Non

165

100

Connaissance est amlior


Oui

Enseignement est amlior

TUDES TOTAL

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

27

tudes qualitatives:
Variation par rigueur et consquence de test
Niveau de rigueur
Direction deffet

fort

moyen

faible

tudes Total

Positive

95

67

42

204

Positive infr

10

24

Mlang

Pas de change

Ngative

113

80

51

244

TUDES TOTAL

Consquence
Direction deffet

fort

moyenne

faible

pas connu

tudes Total

Positive

133

27

38

204

Positive infr

12

24

Mlang

Pas de change

Ngative
2012, Richard P PHELPS

TUDES TOTAL

3
Association Mondiale des Sciences d'Education, 17th
Congres,
154 Reims, June,
33 2012
51

3
28

244

tudes qualitatives : Tests standardiss simples


et tests de performance
Tests simples
(N =176)

Tests de performance
(N = 69)

Rsultats dtude

En gnrale, positifs

93

95

Consquences de test fortes

71

42

Rigueur dtude fort

46

48

Attitudes des lves positives

60

71

Attitudes des enseigneurs positives

55

80

Connaissances des lves amlior

95

95

Enseignement amlior

92

100

Nombre des lves important

86

68

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

29

Une littrature de recherche norme


Mais, prtentions que la littrature
nexiste pas de toute sont
communes
Quelques prtentions sont fait
par ceux qui opposent le testing
standardis qui prennent leurs
dsirs pour la ralit
Autres sont << prtentions de
premierit >>
2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

30

Revues des recherches dprciant

2012, Richard P PHELPS

Avec une revue de la littrature


de recherche dprciant un
chercheur assure tout le monde
que nimporte quautre chercheur
a fait une tude sur le mme
sujet

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

31

Prtentions de premierit

Avec une prtention


de premierit, un
chercheur insiste
quon est le premier
tudier un sujet

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

32

Les cots sociaux

Les recherches des faibles sont perdu; les rsultats


qui restes sont favorables aux puissants
Dcisions politiques sont bass sur leurs rsultats
On paie encore et encore pour recherches dj fait

2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

33

Leffet de testing sur les rsultats scolaires :


1910-2010

Richard P. PHELPS
2012, Richard P PHELPS

Association Mondiale des Sciences d'Education, 17th


Congres, Reims, June, 2012

34

Vous aimerez peut-être aussi