L’Évaluation Nationale

2017
Les premiers résultats

Port-au-Prince, 12-14 Septembre

2018

Oliver Neuschmidt
IEA Hamburg
 2

Contenu
•  Objectifs et introduction générale
•  Phases précédentes de l'évaluation nationale en
Haïti
•  L’évaluation nationale en 2017
•  Les premiers résultats
 3

Objectifs
Développement d’une Évaluation Nationale pour la
4ème AF avec l’objectif de générer des informations
pertinentes sur le niveau de compétence des élèves
et sur les facteurs qui influencent l’apprentissage.

Consultations de IEA avec le MENPF et l’assistance de IHFOSED

autour de
•  Sélection et adaptation du matériel d'évaluation et des
questionnaires contextuels adaptés au contexte haïtien
•  Développement des procédures administratives et pour
l‘évaluation des résultats
•  Fournir des analyses des données recueillies et assister dans
les rapports et la diffusion des données
•  Renforcer les capacités du MENPF
 4

Contenu
•  Objectifs et introduction générale
•  Phases précédentes de l'évaluation nationale
en Haïti
•  L’évaluation nationale en 2017
•  Les premiers résultats
 5

Phases précédentes
•  Phase Pré-pilote (Mai 2015)
-  Pré-pilote dans environ 60 écoles basé sur un tirage des
items de les évaluation internationales à grande échelle
(IEA TIMSS- mathématiques et IEA RL – compréhension
de l‘écrit)
à La plupart des items internationales étaient trop difficiles
à Décision de créer des questions spécialement pour
le contexte haïtien
•  L’évaluation nationale 2016 – (526 écoles)
à  Épreuve (mathématiques/Français/Créole)
à  Questionnaire d’élève + Questionnaire pour le directeur
à  En plus: Pilote (40 écoles): Questionnaire pour les
enseigneurs et matériel de IEA LaNA (une nouvelle
évaluation internationale de l‘IEA et plus facile que
TIMSS/PIRLS)
 6

Phases précédentes
Basé sur les résultats de l’évaluation 2016:

•  Rapports psychométriques sur tous les tests

mènent à la sélection des éléments de test
performants par MENFP et IHFOSED
•  Les domaines cognitifs et de contenu étaient
définis et affinés
•  Elaboration sur les questionnaire de contexte
•  Administration d’un questionnaire pour les
enseignants dans tous les écoles
•  Amélioration du système de saisie de données
 7

Discussion: Recensement ou Échantillon?

•  Avantages d'une approche fondée sur le recensement:
-  Permet une rétroaction individuelle
-  Pourrait favoriser responsabilité de l'école
-  Permet l'identification des écoles spécifiques avec les plus
grands besoins
•  Avantages d'une approche fondée sur
l'échantillonnage:
-  Réduction de travail (et des coûts!) pour l'administration et le
nettoyage
-  Plus de précision à cause de la possibilité de fournir une
meilleure supervision du travail de terrain et de préparations
des données
à  Décision pour 2017: Recensement pour les écoles
publiques de la 4ème année et échantillon des école
non-publiques pour obtenir une mesure représentative
pour toute la population
 8

Contenu
•  Objectifs et introduction générale
•  Phases précédentes de l'évaluation nationale en
Haïti
•  L’évaluation nationale 2017
•  Les premiers résultats
 9

Les participants

Publique Non- Total

publique

Écoles 1,771 204 1,975

Élèves 52,142 6,770 58,912
Enseignants 1,148 99 1,247

Directeurs 1,064 95 1,159

 10

L’épreuve
•  L’épreuve consiste en 25 items de Français et
Créole; 35 items de Mathématiques
Sujet Domaine de Domaine
contenu cognitif
Math Géométrie Connaissance
Les mesures Application
Nombres Raisonnement
Problème
Français Lecture/ Connaissance
Compréhension Raisonnement
Grammaire
Créole Lecture/ Connaissance
Compréhension Application
Grammaire Raisonnement
 11

Les questionnaires de contexte

•  Questionnaire d‘élève (48 questions)
-  Statut socioéconomique
-  Attitudes
-  Environnement scolaire…
•  Questionnaire d’enseignant (55 questions)
-  attitudes envers l'enseignement
-  encadrement pédagogique
-  niveau d'études / diplômes/ âge…
•  Questionnaire du directeur (47 questions)
-  situation financière de l’école
-  ressources
-  temps d'enseignement
à Permets l’identification des facteurs qui influencent
l’apprentissage
 12

La base de données de l’évaluation nationale 2017

Disponible:
•  Base de données documenté avec poids et scores
•  Du logiciel d’analyse prêt à utiliser (IDB Analyzer)
•  Premiers résultats d’analyse
•  Rapport technique/ Manuel d’utilisateur
Ce qui doit encore être fait:
•  Rapports psychométriques sur le test 2017
•  Des analyses plus approfondies et rapport final
 13

Contenu
•  Objectifs et introduction générale
•  Phases précédentes de l'évaluation nationale en
Haïti
•  L’évaluation nationale 2017
•  Les premiers résultats
 14

L’âge des élèves

L'âge moyen des élèves de 4e AF en Haïti est de 11.4
ans
(un an de plus que ceux de nombreux autres pays)
L’âge des élèves %

8 à 12 74.1 (2.2)

13 à 19 25.5 (2.2)

20 à above 0.8 (0.1)

 15

Le genre des élèves

Genre des élèves %

Garçons 43.6 (3.5)

Filles 56.4 (3.5)

 16

Rendement des élèves par sujet

•  Les rendements des sujets différents (c’est-à-dire
les mathématiques, le français et le créole) ne
sont pas strictement comparables entre eux, mais
devraient plutôt être pris dans leur propre contexte
•  En outre, il faut noter que les items ont été
administrés dans un format à choix multiple, avec
quatre options de réponse
•  C’est-à-dire que répondre
à 25% des items corrects
équivaut à deviner
 17

Rendement des élèves par sujet (% correct)

70

60 56.0
53.0

50 46.7

40

30

20

10

0
Math Français Creole
 18

Rendement des élèves par sujet et genre (%

corr.)
70
59.29
60 55.87
53.29
50.59
50 46.75 47.43

40

30

20

10

0
Mathématiques Français Créole
Garçon Fille

Significative pour Français et Créole

 19

Rendement des élèves par domaines de

contenu
(Mathématiques)

70
60
49.98 49.87
50 45.89
43.06

40
30
20
10
0
Mathématiques
Géometrie Mesure Numération Problème
 20

Rendement des élèves par domaines de

contenu
(Français/Créole)
70 62.94

60 54.28
57.15

50 45.91

40
30
20
10
0
Français Créole
Comprehénsion Grammaire
 21

Rendement des élèves par domaines cognitifs

70
58.89
60 57.13
54.31
50.46 50.11
50 47.49
42.98 42.49

40

30

20

10

0
Mathématiques Français Créole
Connaissance Application Raisonnement
 22

Les domaines cognitifs

•  Le domaine cognitif « connaissance » traite du rappel
et de la compréhension des concepts enseignés à
l'école
-  considéré comme le domaine le plus élémentaire
•  Le domaine cognitif « application » implique
l'application de connaissances et met l'accent sur la
résolution de problèmes
-  s'appuie sur la connaissance, mais plus avancé
•  le « raisonnement » - le plus complexe des domaines
cognitifs - implique une réflexion logique et
systématique
-  Il comprend un raisonnement intuitif et inductif qui peut être
utilisé pour trouver des solutions aux problèmes posés dans
des situations nouvelles ou inconnues
 23

Rendement des élèves par département

Artibonite
Math
Centre
Grand-Anse Français

Nippes Créole
Nord
Nord-Est
Nord-Ouest
Ouest
Sud
Sud-Est

0 10 20 30 40 50 60 70
 24

Rendement des élèves par département

•  Regroupés par département, les résultats moyens
des élèves dans les trois matières sont les plus
élevés dans l’Ouest et le Sud
•  Les élèves sont les moins performants dans le
Nord-Ouest, Grand-Anse et Nippes, également
dans les trois matières
•  Les différences entre les départements les moins
performants et les plus performants sont
significatives dans tous les domaines de contenu
 25

Rendement des élèves par type d’école (en %

C)
70

60 57.71
54.20

50 47.88
46.00 45.98

39.78
40

30

20

10

0
Math Français Creole
Non-publique Publique

Significative pour Mathématiques, Français et Créole

 26

Associations entre les écoles et la réussite de

leurs élèves dans les différents départements
Analyse de la variance (ANOVA):
•  La variance totale du rendement des élèves est divisée en
deux parties, l’une représentant la variance au niveau de
l’école et l’autre représentant la variance au niveau de
l’élève
•  La mesure de cette division est le coefficient de
corrélation intraclasse (CCI), qui représente la partie de
la variance globale expliquée par les différences au niveau
de l’école
 27

CCI (en %)
Departement Math. Franc. Creole
Artibonite 49% 45% 46%
Centre 62% 61% 64%
Grand-Anse 52% 58% 57%
Nippes 19% 37% 30%
Nord 53% 52% 40%
Nord-Est 28% 29% 29%
Nord-Ouest 53% 59% 56%
Ouest 44% 51% 45%
Sud 42% 49% 38%
Sud-Est 52% 62% 40%
Haiti 49% 53% 47%
 28

Répartition des élèves selon performance

Différence entre 25 et 75 centiles, par sujet (en%

correct)
50
40
40
29
30 26

20

10

0
Math Français Creole
 29

Analyses en relation
aux quelques facteurs contextuelles
 30

Répartition des élèves selon SSE

•  L'échelle de statut socioéconomique (SSE) est
une construction latente dérivée de plusieurs
éléments uniques administrés dans le
questionnaire de l'élève de l'évaluation nationale
de 2017
•  Parmi les éléments contribuant à l’échelle figurent
l’éducation des parents, les capacités
d’alphabétisation des parents, le nombre de livres
à la maison, les possessions à la maison et les
ressources pour apprendre à la maison
•  Pour faciliter l’interprétation, l’échelle SSE a été
recodée dans une variable catégorielle de trois
catégories: SSE faible, moyen et élevé
 31

Répartition des élèves selon SSE

70.00
63.43

60.00 58.25

52.00 52.83
50.94

50.00
44.20 44.85 44.87

39.06
40.00

30.00

20.00

10.00

0.00
Math. Français Créole
Faible Moyen Elevé
Significative pour Mathématiques, Français et Créole (tous les catégories)
 32

As-tu déjà abandonné l’école?

70
65
60.13
60 56.66

55
49.51
50 48.66

45.98

45 41.89

40
35
30
25
Math French Creole
Oui Non

Significative pour Mathématiques, Français et Créole

 33

Informations sur les enseignants interrogés

•  L'échantillon d'enseignants ne constitue pas un
échantillon représentatif de la population
d'enseignants haïtiens
•  Donc les résultats présentés ici sont purement
descriptifs et ne s'appliquent qu'à l'échantillon
d'enseignants ayant répondu au questionnaire
 34

Genre des enseignants interrogés

37%

63%

Homme Femme
 35

Niveau de formation des enseignants (en %)

0% 1%

26%

44%

29%
 36

Plus haut diplôme d'enseignant obtenu (en %)

50

40

30

20

10

0
Aucun Certificat Diplôme Licence Diplôme de
troisième
cycle
 37

La ponctualité des enseignants: un problème?

70
60.67
60 55.71

49.35 48.70
50 46.20 46.80
45.61

40.55
40 37.47

30

20

10

0
Math French Creole
Pas du tout un peux beaucoup
 38

Résumé
•  L'âge des élèves fréquentant le même grade varie
considérablement et, en Haïti, les élèves de quatrième
année ont en moyenne un an de plus que ceux de
nombreux autres pays
•  En moyenne, les élèves obtiennent les résultats les plus
faibles en mathématiques, comparativement au
rendement moyen en français et en créole
•  En mathématiques, mais partiellement aussi dans les
autres matières, les élèves ont tendance à être plus élevés
sur les items qui nécessitent des connaissances et être
plus bas sur les items qui nécessitent des compétences de
pensée d'ordre supérieur
 39

Résumé
•  Il n'y a pas de différence significative de
performance en mathématiques entre les filles
et les garçons, mais les filles obtiennent de
meilleurs résultats en français et en créole
•  Les élèves obtiennent de meilleurs résultats
lorsqu'ils sont enseignés dans des écoles non
publiques
 40

Résumé
•  Les élèves du département Ouest ont obtenu les
résultats les plus élevés, en moyenne, au pays
pour les trois sujets testés, suivis par le Sud
•  Les élèves du département Nord-Ouest ont
obtenu les résultats les plus faibles au pays dans
les trois matières testées, suivis de Grand-Anse
•  Le SSE semble être fortement associé à la
réussite des élèves dans toutes les matières
•  Facteurs comme la ponctualité des enseigneurs
ou un abandonnement scolaire entre-temps est
fortement associé à la rendement scolaire
 Merci de votre
attention!

Questions,
commentaires,
discussion?

oliver.neuschmidt@iea-hamburg.de