Vous êtes sur la page 1sur 123

Traduction par le Réseau nigérien The World Bank Group

de suivi et évaluation (ReNSE) Carleton University


Western Michigan University

International Program for Development Training

Le renforcement des capacités pour


l’évaluation des actions de développement

Module 6. Méthodes de collecte de données

Mai 2003
Module 6 Vue d’ensemble
 Les options sur les méthodes de collecte de données
 Les questions clés sur les méthodes de mesurer
 La validité
 Mesurer ce qui est important
 La viabilité
 La précision
 Les approches communes
 Les données disponibles
 Les entretiens personnels
 L’observation
 Les groupes ciblés
 Les questionnaires auto-administrés
 Les agendas, Les listes de contrôle
 Les jugements d’experts
La collecte de données - Vue d’ensemble

Il y a des options!
La décision dépend de:
 Ce qu’on cherche à savoir
 Les chiffres ou les historiques
 Là où les données se trouvent
 Le contexte, les archives, les participants
 Les ressources disponibles
Les questions déterminent la stratégie de
collecte de données

La stratégie de collecte de données est déterminée par


ce qu’on cherche à savoir:
 Si c’est de savoir le niveau de satisfaction de l’état des routes,
recueillir l’avis des chauffeurs de véhicules
 Si c’est de savoir si une meilleure qualité de routes
encouragent la circulation au marché, recueillir les données
sur le niveau de ventes auprès des commerçants
Les questions déterminent la stratégie de
collecte de données

 Si c’est de déterminer l’état des routes, demander


aux ingénieurs d’apprécier les routes à l’aide d’une
liste de contrôle spécifique
 Si c’est de déterminer le taux d’utilisation des
routes, observer l’utilisation des routes pendant des
périodes spécifiques
La collecte de données: des règles générales

 Utiliser des données disponibles s’ils existent déjà


 Plus vite, moins cher, plus facile
 Mais ne pas oublier de déterminer comment:
 Les données ont été collectées
 Les variables ont été définies
 L’exactitude des données a été assurée
La collecte de données: des règles générales

 S’il faut collecter des données originales, il faut:


 établir des procédures qui seront respectées
 tenir de la documentation sur les définitions et les codes
 pré-tester, pré-tester, pré-tester, pré-tester
 vérifier l’exactitude des codes et de la saisie des données
La boîte à outils pour la collecte de données

 Auprès des personnes:


 Des observations
 Des entretiens face-à-face
 Des groupes ciblés
 Des questionnaires
 Des agendas
 Des listes de contrôle
 Des jugements d’experts
 Des tests
 D’autres mesures discrètes
Les types de collecte de données

 La collecte participative de données:


 Des promenades transversales
 Des cartographies sociales
 Des réunions communautaires

 Des données primaires/secondaires déjà disponibles:


 Des rapports
 Des fichiers
 La collecte de données à partir des fichiers et des
documents
Les questions clés sur les mesures

 Les mesures sont-elles crédibles?


 Les mesures sont-elles importantes?
 Les mesures sont-elles réalisables?
 Les mesures sont-elles précises?
Discussion: quelle est la meilleure option?

 Combien d’heures les professeurs passent-ils


dans la préparation de chaque classe?
 Demander aux professeurs
 Observer les professeurs pendant une semaine
 Demander aux professeurs de tenir un journal personnel
 Mesurer la qualité des écoles:
 Le montant dépensé par élève
 La proportion d’élèves par professeur
 Les notes des élèves sur des examens standardisés
Discussion: des mesures valables?

 Comment découvrir si les diplômés de l’école


normale travaillent mieux que ceux qui n’ont pas de
diplômes
 Une mesure possible sera de demander aux diplômés de
mesurer leur performance
 Quels sont les avantages et les désavantages?
Un concept clé: mesurer ce qui est important

 Quelles sont les mesures les plus pertinentes et


les plus importantes?
 Piège: mesurer ce qui est facile
 Le budget peut-il servir comme mesure de qualité des
écoles?
 Le nombre d’ordinateurs peut-il servir comme mesure
de qualité des écoles?
Un concept clé: la viabilité

 La stabilité d’une mesure donnée


 Doit mesurer la même chose, de la même façon,
dans des tests répétés
 Exemples:
 Le taux de mortalité infantile
 Le niveau de pauvreté
Un concept clé: la précision

 Les mesures doivent correspondre au langage


 Unités d’analyse

 Si la question est posée au niveau national, alors


les mesures doivent être au niveau national

 Si la question est posée au niveau de l’individu,


alors les mesures doivent être au niveau de
l’individu
PAUSE
Des mesures du niveau de la santé
communautaire

 Le taux de mortalité infantile


 Le nombre de médecins
 Le nombre de médecins pour 1 000 personnes
 Le nombre de décès
 Le pourcentage d’enfants en âge pré-scolaire
vaccinés
 Le nombre de dispensaires par km carré
Des mesures de qualité de formation scolaire

 Le nombre d’étudiants
 Le nombre de professeurs
 Le niveau scolaire des professeurs
 Le nombre de livres et d’autres
ressources
 Le nombre de diplômés
 Les notes des étudiants sur des tests
 La satisfaction des parents
Les options
 Utiliser la collecte de données quantitatives
lorsqu’il faudra:
 Faire des analyses statistiques
 Etre précis
 Savoir exactement ce qu’il faut mesurer
 Couvrir un grand groupe
 Utiliser la collecte de données qualitatives
lorsque:
 Les anecdotes ou les renseignements en profondeur
sont à collecter
 Ce qu’il faut mesurer doit être déterminé sans aucun
doute
 La quantification n’est pas nécessaire
L’approche quantitative

 Fortement structurée
 Toujours précise
 Viable
 Difficile à élaborer
 Facile à analyser
 Peut-être n’expliquera pas pourquoi
L’approche qualitative

 Non structurée
 Facile à élaborer
 « Riche » - beaucoup de données
 L’analyse est un défi
 La collecte demande un travail intensif
 L’interprétation court le risque de subjectivité
Les options:

 La collecte intrusive de données


 La collecte directe de données
 La collecte discrète de données
 La collecte indirecte de données
Les mesures intrusives

 L’observation du comportement avec la


connaissance des participants
 Les perceptions, les opinions et les attitudes
recueillies par entretien, par enquête, par
groupes ciblés
 Des notes sur des tests liés au programme
Les méthodes intrusives

 Ceux qui seront étudiés sont-ils au courant?


 S’ils sont au courant, on risque d’introduire des
erreurs:
 Ils peuvent changer leurs habitudes
 Ils peuvent changer leurs réponses
Les méthodes discrètes

 L’observation sans que les participants soient au


courant
 Tirer des données de l’histoire/des documents/des
archives
 Se servir des données déjà collectées dans
d’autres buts: des sources secondaires
Discussion en classe:
L’utilisation des données disponibles

 Comment faut-il faire pour collecter ces données?


Pourquoi?

 Le taux de diplômés de l’année dernière


 Le budget de dépenses pour la construction des écoles
 L’engagement des professeurs à l’activité d’enseignement
 La performance des étudiants
 La satisfaction des étudiants envers l’apprentissage
L’analyse secondaire

 Les données collectées par les autres:

 Des rapports du gouvernement


 Des rapports industriels
 Des données du recensement
 D’autres études

 Des ensembles de données dans les archives


Des données disponibles au sein d’un
programme

 Des documents/fichiers/dossiers
 Des bases de données informatisées
 D’autres rapports (des évaluations antérieures)
 Des documents (des budgets, des politiques et des
procédures, des organigrammes, des descriptions de
postes, le personnel, etc.)
La collecte de données: les documents des
agences
 Une source reconnue de renseignements relatifs
aux évaluations
 Les agences ont déjà collecté les données:
auprès des clients, des communautés, des
systèmes internes d’information
 Les agences ont déjà fait les résumés et les
rapports: des rapports internes de gestion, des
budgets et des rapports au public ou aux
donateurs
Les rapports existants

 Des rapports de routines et des rapports


particuliers peuvent exister déjà:
 Citer l’intitulé de tout rapport utilisé
 Décrire la méthodologie utilisée par chaque rapport

 Parfois les données sont vieilles:


 Décider si elles sont trop vieilles
 Décider si elles peuvent servir de données de référence
Les rapports existants

 S’il y a beaucoup de rapports, une


synthèse des évaluations peut être utile
 Par exemple, un programme a été mis en œuvre
dans beaucoup de localités
 Rassembler des résultats des évaluations de
chaque localité pour fournir une vue d’ensemble
des résultats et des impacts des programmes
Des données disponibles: les questions clés

 Les questions qu’il faut poser:


 Comment ont-ils fait pour mettre ces mesures
en oeuvre?
 Comment ont-ils fait pour collecter ces
données?
 Comment ont-ils fait pour s’assurer de
l’exactitude dans la collecte et la transcription
de ces données?
Des données disponibles: les questions clés

 Les données peuvent être disponibles mais il y a


des problèmes:
 Des données manquent ou ne sont pas au complet
 Des définitions des données sont inconnues
 Des définitions ou des procédures ont changé
 Les données sont peut-être trop agrégées
 Il est peut-être trop difficile de tracer les données
provenant de plusieurs programmes ou d’agences sur
une période de temps
Des données disponibles: des questions clés

 Les questions sur la confidentialité :


 Est-il nécessaire d’obtenir une autorisation d’accès
aux dossiers?
Un outil de collecte de données
Collecter des données systématiquement à partir
des fichiers, des dossiers ou des documents:
 Elaborer un formulaire qui explique spécifiquement ce
qu’on cherche à savoir
 Pré-tester ce formulaire
 Etablir des règles de décision
 Former des encodeurs
 Tester la viabilité parmi les encodeurs
Un outil de collecte de données

 Le formulaire ressemble à un questionnaire fermé


 Certaines parties du formulaire demandent des
réponses fixées
Des données informatisées disponibles

 Obtenir une copie des fichiers de données


 Obtenir une copie de la structure de la base de
données (l’organisation des jeux de données)
 Obtenir une copie du dictionnaire des données (les
étiquettes et l’encodage des données)
 Facile à accéder ces données par transfert;
demande un minimum d’effort (pas nécessaire de
saisir à nouveau)
Des données informatisées disponibles

 Mais les données sont-elles bonnes?


- les mauvaises données donnent des
mauvais résultats
 Découvrir les procédures utilisées dans la collecte de
ces données
 Découvrir les procédures utilisées pour la vérification
de l’exactitude de ces données
 Estimer le taux d’erreur
Des données disponibles

 Les avantages:
 Souvent moins coûteux et plus vite que de collecter les
données à nouveau

 Les défis:
 Les données précises recherchées ne sont pas disponibles
 Leur accès est difficile
 La base de données contient des erreurs
 L’encodage pose des problèmes
Recueillir les perceptions des
participants
 Les avantages:
 Les participants sont les seuls à savoir ce qu’ils pensent
 Les participants sont les seuls à pouvoir vous donner leur
avis

 Les désavantages:
 Les données sont auto-générées
 Elles sont susceptibles à la subjectivité
Les options face-à-face
 L’entretien:
 Un processus dynamique pour la collecte de données
 L’interaction est personnelle entre les individus
 Peut être structuré ou sémi-structuré

 Le groupe ciblé:
 Un processus dynamique pour la collecte de données
 L’interaction a lieu entre les petits groupes
 Sémi-structuré
Des consignes généraux

 Lorsqu’on collecte des données auprès des


individus:

 Rester simple, claire, facile à comprendre et bref


 Respecter leur intelligence et leur disponibilité
 Expliquer comment ils ont été sélectionnés et pourquoi
leur participation est importante
 Faire attention à ne pas leur créer des problèmes: rester
discrets
L’entretien

 L’entretien est le plus utile lorsque:

 D’autres méthodes, telles que les questionnaires, ne sont


pas logiques
 Lorsque les questions sont complexes et une
compréhension en profondeur s’avère nécessaire
 Au début du projet lors de l’élaboration de la méthodologie
et des questions
Des options sur les questions:

 Structurées
 Des questions fermées
 Non structurées
 Des questions ouvertes
Des questions structurées

 Cet atelier vous a-t-il aidé à comprendre comment


évaluer votre programme? A quel niveau?
 Peu ou pas du tout
 Un peu
 Modéré
 Beaucoup
 Enormément
 Aucun avis
Des questions non structurées

 Enumérer trois leçons tirées au cours de l’atelier


d’évaluation des programmes que vous avez
appliquées au travail
Elaborer l’entretien
 Définir le but
 Lier le but aux objectifs de l’évaluation
 Décider s’il faut poser des questions ouvertes ou
fermées
 Elaborer les questions pour l’entretien
Elaborer l’entretien
 Préparer l’introduction et la clôture
 Le but de l’entretien
 Comment et pourquoi les participants ont été sélectionnés
 Clôturer en demandant leurs questions ou des remarques
 Remercier le participant et faire un suivi
 Préparer à documenter les réponses
 Pré-tester l’outil
L’entretien
 Faire savoir aux participants:
 La justification de l’entretien
 Comment ils ont été sélectionnés
 Comment leurs réponses seront utilisées
 Si l’entretien est confidentiel
 La durée de l’entretien
 S’il y aura un deuxième entretien plus tard
La conduite de l’entretien
 Des retouches:
 Introduire les questions de l’entretien aux participants en
avance (pas de surprises)
 Proposer de présenter aux participants un résumé des
impressions préliminaires de l’entretien
 Ceci peut être particulièrement utile pour donner aux
participants (surtout les hauts responsables) un meilleur sens
de contrôle
 Suivre avec une note de remerciements
La conduite de l’entretien
 Essayer de sélectionner une heure et une localité
qui sont tranquilles et libres de distractions
 Idéalement, il faudra une deuxième personne pour
aider à faire des notes
 Un magnétophone peut être utile, mais il faut
obtenir l’accord du participant au préalable
 Il faudra demander lors qu’on fixe l’heure de l’entretien
La conduite de l’entretien
 Respecter le questionnaire:
 Si les questions sont ouvertes, poser ces questions à la
lettre
 Elaborer au préalable une méthode pour clarifier des
réponses
 Si les questions sont fermées, il faut suivre les réponses
du participant; il ne faut pas les diriger
 Respecter les normes culturels sur le contact
oculaire, des questions directes, des questions de
genre
La conduite de l’entretien
 L’équilibre: il faut suivre un avis sur les obstacles
principaux avec une question sur les supports
principaux
 Essayer d’éviter des questions de « pourquoi », si elles
semblent trop agressives ou négatives
 Accepter toutes les réponses avec empathie, sans les
juger
La conduite de l’entretien
 Prendre bonne note des réponses sans distraire le
participant de l’entretien
 Ecrire tout en gardant le contact visuel
 Ecrire les mots-clés ou les phrases-clés et non mot
à mot
 S’il faut noter quelque chose à tout prix, c’est OK de
demander au participant de la répéter ou bien de
terminer ce qu’on écrit avant de poser la question
suivante
Documenter l’entretien

 Chaque mot et chaque idée a de la valeur


 Mettre le temps qu’il faudra pour prendre des notes
avec autant de soin et de détails que possible
 Il serait préférable de faire au moins un bref triage
des notes immédiatement après l’entretien (il faut
réserver une demi-heure)
 Prendre des notes complets le jour après l’entretien:
sinon on risque d’oublier très rapidement
Les avantages des entretiens

 Peuvent être structurés, non structurés ou une


conjugaison des deux
 Permet d’approfondir des questions complexes
Les avantages de l’entretien

 Permet de rectifier les erreurs: les questions qui sont


difficiles à comprendre pendant l’entretien peuvent
être clarifiées lors de l’entretien et modifiées avant
l’entretien suivant
 Peuvent durer une heure ou plus, cela dépend de
l’importance et l’intérêt perçus
 Peuvent fournir aux évaluateurs des intuitions
valables sur la situation
Les défis de l’entretien
 Peuvent être coûteux, peuvent demander beaucoup de
travail et prendre beaucoup de temps
 Ne donnent pas nécessairement des éclaircissements
sur les raisons derrière les points de vue différents
 On court le risque d’une compréhension sélective de la
part de la personne qui mène l’entretien: elle peut rater
des renseignements qui ne sont pas conformes aux
préjugés
 Il faut une sensibilité culturelle: la question de genre
L’observation

 Des observations structurées se font à l’aide des


listes de contrôle
 Des observations non structurées captent les
impressions
 Le contexte
 Les participants
 Les situations
L’observation

 L’observation avec la connaissance du participant


est intrusive:
 L’art d’observation va probablement changer son
comportement
 Les professeurs feraient-ils différemment s’ils étaient
sous observation?
 Les participants aux réunions seraient-ils plus polis s’ils
étaient sous observation par quelqu’un de l’extérieur
L’observation

 Observer les activités en classe afin de mesurer le


temps passé dans les vraies activités
d’apprentissage
 Observer le niveau de circulation sur une route
entre un village et une ville principale
 Observer ce qui se passe lors des réunions
 Observer ce qui se passe dans les bureaux du
programme
Quelle est la meilleure stratégie?

 Pour découvrir si la qualité des routes s’est


améliorée, une mesure utile est de compter le
nombre de nids de poule sur la route.
 Comment faire?
 Envoyer les ingénieurs pour inspecter les routes?
 Envoyer les ingénieurs avec une liste de contrôle pour
l’observation de quelques aspects spécifiques de ces
nids de poule (le nombre par km, la grandeur, la
profondeur)
Quelle est la meilleure stratégie?

 Pour déterminer l’efficience des efforts du


programme à engager les parties prenantes dans
la discussion lors des réunions:
 Observer la scène, la disposition des chaises, les
interactions et tout autre fait intéressant
 Elaborer une liste de contrôle afin de capter des
interactions spécifiques: qui parle, qui ne parle pas,
qui interrompe, qui n’interrompe pas, qui se
manifeste, qui ne se manifeste pas
Une situation

 Supposons qu’il faut évaluer les conditions des


différents quartiers qui ont bénéficié des
programmes d’aménagement d’habitat pendant les
derniers dix ans
 On pourra peut-être demander à une équipe
d’observateurs de classer les caractéristiques de
ces quartiers afin de déterminer les conditions
actuelles
Le processus d’observation

 La solution la plus probable est d’élaborer une liste


de contrôle afin de juger:
 La propreté des routes
 Les conditions à l’intérieur des maisons (en état ou non)
 La maintenance des routes
 Le transport public
 La sécurité
Le processus d’observation

 Les observateurs doivent suivre une formation


 Cette formation comprendra un test pilote où deux
observateurs partent au même endroit dans le
même quartier pour compléter les listes de contrôle
 Les résultats seront comparés
 Si les différences sont grandes, une formation
supplémentaire et des compléments d’ information seront
nécessaires
 Si les différences sont petites, tout est prêt pour
commencer une étude de plus grande ampleur
Le processus d’observation
 Un plan de classement: la qualité des routes
 Les routes sont solides, aucun nid de poule
 Il y a quelques nids de poule ou la surface n’est pas lisse
 Il y a beaucoup de nids de poule et il est même difficile de
conduire des véhicules là-dessus
Le processus d’observation

 Comment faire en sorte que l’observation soit


systématique, viable et exacte?
 Il faut plus d’un seul observateur: les rapports
d’observation peuvent être comparés
 Elaborer une liste de contrôle
 Former les observateurs afin qu’ils observent et
documentent les mêmes choses de la même manière
L’observation: les défis

 Ce qui est normal dans un pays n’est pas


toujours normal dans un autre
 La collaboration avec les parties prenantes
aidera à établir des attentes réalistes dans le
contexte culturel de la région
L’observation
 Les avantages:
 Les résultats portent sur la situation ou le comportement
actuel
 Les résultats sont d’actualité (cela évite des oublis)
 Les défis:
 Assurer la subjectivité de l’observateur
 Affranchir les problèmes d’encodage
 Faire face au cout élevé et la quantité de travail
nécessaire
Le groupe ciblé

 Engage les participants dans un dialogue


 Permet de découvrir une grande diversité de points
de vue et des perspectives différentes
 Permet aux participants de résoudre leurs
différences
Les caractéristiques des groupes ciblés
 Les groupes ciblés sont composés d’un nombre réduit
de participants
 L’ambiance doit être sécurisé et confortable
 Le cadre peut être autour d’une table ou en forme de
cercle
 Un facilitateur expérimenté est essentiel
 Un rapporteur en plus qu’un facilitateur sont
nécessaires
 Si possible, fournir un magnétophone
 Ne poser que quelques (4-5) questions ouvertes
 Fournir à manger, des primes, une garderie pour les
enfants
La sélection des participants
 Ils doivent refléter des communautés diverses et
des points de vue divers
 Dans certains cas, il faut sélectionner des
groupes homogènes:
 L’association des genres ou des races en groupe peut
créer des problèmes
 L’association des classes sociales en groupe peut
créer des problèmes
 L’association des chefs avec des travailleurs peut créer
des problèmes
 L’association des clients avec des travailleurs peut
créer des problèmes
Combien de groupes ciblés?

 Pas de règles
 En général, continuer jusqu’au point où aucune
nouvelle question sorte ou des thèmes
communs soient cohérents (normale avec 3 à 6
groupes ciblés)
 Cependant, on peut toujours ajouter d’autres
groupes ciblés afin d’assurer l’inclusion de tous
les groupes et de toutes les localités
 Validité est nominale
La logistique

 La durée:
 L’heure de commencer et l’heure de terminer doivent
être clairement exprimée
 Typiquement 1 à 2 heures
 Le lieu:
 Doit être neutre
 Doit être facile à accéder
 La nourriture
 Le transport
Le processus

 L’introduction:
 La finalité des groupes ciblés
 Le sponsor du processus
 Pourquoi les participants ont été sélectionnés
 Comment les résultats seront utilisés
 Une vue d’ensemble du processus
Les règles du jeu

 La discrétion: ce qu’on dit lors des discussions ne doit


pas aller plus loin
 Tout le monde est encouragé à participer mais ce n’est
pas tout le monde qui doit répondre à toutes les
questions
 Respecter les points de vue différents
 Il n’y a pas de mauvaises réponses
 Une personne s’exprime à la fois
Le facilitateur/modérateur

 Doit bien connaître son rôle afin qu’une discussion


sérieuse ressemble à une conversation entre amis
 Ne doit pas lire le scénario

 Doit s’assurer que tout le monde puisse s’exprimer


 Doit demander: « Qu’est-ce que les autres en pensent? »
 Doit approfondir: « On a entendu ce que pensent quelques
uns, est-ce que les autres partagent le même point de vue ou
ont-ils des points de vue différents?
Le processus

 Les participants doivent commencer par se présenter


 La première question doit être facile, pour briser la
glace
 Poser les questions principales
 Dernières questions:
 Les questions de résumé: retenir le résultat le plus important
de la discussion
 D’autres questions ou commentaires
Le facilitateur expérimenté

 Doit savoir écouter activement


 Doit savoir encourager la discussion pour
permettre à tout le monde de participer
 Doit savoir admettre tous les points de vue et
gérer les différences d’opinion
 « afin de disposer des perspectives différentes »

 Doit approfondir pour obtenir des détails


 « dites-moi tout »
Le facilitateur expérimenté
 Doit savoir gérer le temps alloué
 Doit terminer les discussions à temps pour pouvoir
continuer sur les questions suivantes

 Doit rester invisible: doit parler aussi peu que


possible
 Doit savoir permettre aux participants de converser
librement avec un minimum de direction

 Doit savoir garder son point de vue personnel


Le groupe ciblé: des questions typiques

 Quelles sont les leçons apprises à l’école normale qui


sont les plus utiles pour l’enseignement des élèves de
l’école primaire?
 Quels sont les plus grand défis de l’enseignement des
élèves de l’école primaire?
 Qu’est-ce qu’il faut enseigner aux étudiants de l’école
normale pour préparer les diplômés à faire face aux
défis actuels?
Le groupe ciblé: la documentation
 Il faut noter vos impressions immédiatement après la
tenue de la discussion: les questions principales et
les points principaux de la discussion
 Comparer les résultats avec un partenaire
 Idéalement, la cassette de la discussion du groupe
ciblé sera transcrite verbatim
 Sinon, écouter la cassette par la suite afin de
prendre des notes détaillées
 Il est étonnant d’apprendre combien on n’ écoute pas
pendant la discussion du groupe ciblé
Le groupe ciblé: la documentation

 Il faut mettre le temps qu’il faut pour prendre des


notes immédiatement après
 Il faut peut-être capter un évènement
exceptionnel lors de la tenue d’un groupe ciblé
 Eviter le surmenage: deux ou trois dans une
journée est largement suffisant pour un seul
modérateur
Le groupe ciblé

 Les avantages:
 Relativement rapide
 Moins coûteux que l’entretien en profondeur (en
termes de personnel)
 Flexible – on peut apporter des modifications au cours
du déroulement du processus
 Permet d’étudier des perspectives différentes
 Amusant!!
Le groupe ciblé

 Les défis:
 L’analyse prend du temps
 Il y a le risque de subjectivité dans l’interprétation
 Il faut contrôler les participants les plus dominants
 Le coût par personne est plus élevé
Les approches conjuguées

Il est souvent utile de conjuguer plusieurs


approches différentes afin de compenser les
faiblesses d’une approche donnée par les forces
d’une autre approche
Les options en matière d’enquêtes
 Fermée ou ouverte
 Le questionnaire typique est fermé
 Facile pour le participant à remplir
 Demande moins de temps
 Facile à faire l’analyse
 Par la poste, par téléphone ou par courrier
électronique
 En général, par la poste sauf si tout le monde a accès au
téléphone ou au courrier électronique
 Cela peut être administré en personne (les étudiants doivent
remplir un questionnaire)
Les questionnaires à retourner par la poste
sont utiles lorsque:
 Les opinions et les points de vue sont recherchés
 La population cible est grande et déjà alphabétisée
 Une analyse quantitative est nécessaire
 Il existe la capacité de faire des analyses
statistiques
Les questionnaires à retourner par la poste
ne sont pas utiles lorsque:
 Connaître le comportement réel est l’objectif
recherché:
 Ce que les participants disent ne correspond pas toujours
avec ce qu’ils font réellement
 Les données très spécifiques sont recherchées dans
les dossiers et les archives:
 Les participants ont probablement oublié et ils ne s’intéressent
pas à retrouver ces données
Les questionnaires: guide général

 Etablir les procédures qui seront respectées


 Maintenir une documentation sur les définitions,
l’encodage
 Pré-tester, pré-tester, pré-tester, pré-tester, pré-
tester
 Vérifier l’exactitude de l’encodage et de la saisie
de données
Les questionnaires fermés: cocher une case
Il faut fournir des réponses multiples à chaque question:
Exemple –

Quel est le niveau de satisfaction ou de


mécontentement avec le programme?

 Très satisfait
 Un peu satisfait
 Ni satisfait ni mécontent
 Un peu mécontent
 Très mécontent
Les questions ouvertes: remplir les lignes

Quel est le niveau de satisfaction ou de


mécontentement avec le programme et
pourquoi?

________________________________________________

_____________________________________________
Les questions fermées: cocher une réponse
Il faut fournir des réponses multiples à chaque question:
Exemple –

Quel est le niveau de fréquence de visites, s’il y en


avait, au centre communautaire pendant ces trois
derniers mois?

 Jamais visité (0 fois)


 1-3 fois
 4-6 fois
 7-9 fois
 10 fois ou plus
Les questions ouvertes: remplir les lignes
Quel est le niveau de fréquence de visites, s’il y en
avait, au centre communautaire pendant ces trois
derniers mois?

________________________________
________________________________
Les questionnaires:
Des caractéristiques générales
 Normalement très structurés
 Relativement moins coûteux
 L’élaboration et la mise en œuvre demandent du
temps
 L’analyse est facile à faire
 Des erreurs ne sont pas faciles à rectifier
 Demande moins de 30 minutes pour remplir
 Bonne technique pour des questions
confidentielles
La lettre de présentation

 Adresser la lettre au nom du participant


 Identifier les sponsors de l’enquête
 Présenter le but et un résumé des questions
 Expliquer comment les résultats seront utilisés
 Assurer la confidentialité des réponses
 Présenter le nom et le numéro de téléphone de la
personne à contacter
 Expliquer comment faire pour retourner le
questionnaire
L’organisation de l’enquête

 L’introduction contient: l’identification, le but, le


résumé, la garantie de confidentialité et le nom de
la personne contact
 Les questions: groupées de façon logique
 Commencer avec les questions faciles, continuer par les
questions importantes, terminer avec les questions sur la
démographie
 Terminer avec une question ouverte: « Y a-t-il d’autres
commentaires? »
L’élaboration des questionnaires
 Maintenir un langage claire et simple
 Poser les questions de manière non ambiguës
 Encourager des réponses diverses:
 Eviter d’accepter des réponses comme « oui » ou
« non »
 Poser une question à la fois
 Focaliser sur l’expérience courante
 Permettre des sorties (pas d’avis, pas pertinent)
 Pré-tester, pré-tester, pré-tester, pré-tester
Le questionnaire de pré-test
 Sélectionner quelques participants typiques
 Etre présent lorsqu’ils remplissent le questionnaire
 Calculer la durée de temps qu’il faut pour le remplir
 Noter bien s’ils semblent avoir des difficultés ou s’ils
retournent aux pages antérieures
Le questionnaire de pré-test

 Débriefing:
 Qu’est-ce qui était claire, qu’est-ce qui n’était pas?
 Y a-t-il des questions qui manquent?

 Effectuer les modifications sur la base des


résultats du pré-test
 Pré-tester encore une fois
Comment améliorer le taux de réponse
Faire en sorte que le questionnaire soit:
 Facile à lire

 Pas trop dense

 Facile à compléter

 Bref
 Poser seulement les questions essentielles
Comment améliorer le taux de réponse
 Signer la lettre de présentation
 Inclure une enveloppe adressée et dotée d’un
timbre
 Distribuer des primes
 Suivre avec des rappels:
 Cartes postales
 Une deuxième enquête
Tenir un agenda
 Pour servir de collecter les détails sur les
évènements et les perceptions sur la vie
quotidienne des participants
 Une étude classique: l’utilisation de temps
 Comment les participants ont passé le temps pendant
la journée
 Une variation: une journée typique d’un membre
d’un groupe ou d’une communauté spécifique
Tenir un agenda
 Pour fournir des renseignements plus viables
que les entretiens traditionnels: meilleur rappel
 Pour permettre de capter des renseignements
qui seront autrement oubliés
 Pour aider à collecter des renseignements sur
des questions sensibles
 Pour compléter les entretiens, fournir des
données plus riches
 Des entretiens sur la base des notes prises dans
les agendas sont une stratégie très valable de
collecte de données
L’utilité d’un agenda
 Pour tenir la documentation sur des voyages
 Pour prendre des notes sur des réseaux sociaux
 Pour tenir la documentation sur la santé, les
maladies et les comportements associés
 Pour tenir la documentation sur les régimes
alimentaires et la nutrition
 Pour programmer et suivre le travail agricole
 Pour programmer et suivre un calendrier des
études
 Pour programmer et suivre la prise régulière des
contraceptifs
L’utilité possible d’un agenda
 Discussion:
 Comment se servir d’un agenda lors d’une
évaluation de développement?
Comment se servir d’un agenda
 Des consignes:
 Fournir un carnet
 Les instructions très claires doivent apparaître
sur la page de couverture
 Inclure un exemple d’un agenda complété
Comment se servir d’un agenda
 Des consignes:
 Mettre de brefs rappels
 Expliquer certains termes: « événement » «
session »
 Sur la dernière page: demander si cela a été
une période typique ou atypique et demander
des commentaires et des éclaircissements
Comment se servir d’un agenda
 Des consignes:
 Mettre un petit calendrier indiquant la date limite de
chaque article
 La durée: aussi longue que nécessaire pour capter le
comportement ou l’événement
 Trop long: encombrant
 Trop bref: on rate un événement ou comportement
Comment se servir d’un agenda
 Des consignes:
 Recruter les enquêteurs sur la base des entretiens
personnels
 Choisir les enquêteurs très motivé afin d’encourager la
participation
 Faire appel à l’altruisme, à l’esprit d’entraide
 Assurer la confidentialité
 Fournir des primes afin d’ encourager les participants
Les limites d’un agenda
 Nécessitent des participants alphabétisés
 Intrusifs: peut modifier le comportement
 Les données sont auto-rapportées
 La documentation n’est pas toujours au complet
 Rappel insuffisant – ce sont des agendas de « à
demain »
 Ils sont manuscrits et donc parfois difficiles à lire
 Il est parfois difficile à comprendre les phrases
La liste de contrôle auto-rapportée
 Un mélange de questionnaire et d’agenda
 L’évaluateur doit préparer une liste de
comportements ou d’événements spécifiques et
demander aux participants de cocher les cases
sur la liste de contrôle
 Cette tâche est répété sur une période de temps
afin de capter l’événement ou le comportement
La liste de contrôle auto-rapportée
 Cette approche est plus quantitative
 Facile à compléter
 Facile à analyser
 Mais il existe toujours les défis de la technique
de l’agenda:
 Auto-rapportée, intrusive, le rappel est exact et il faut la
volonté pour participer effectivement
Le jugement des experts
 Faire appel aux experts est parfois la meilleure
approche pour la collecte de données s’il y a de
contraintes de temps ou de ressources:
 Des groupes d’experts – l’interaction est face à face
 La technique Delphi: un processus écrit
Qui sont les experts?
 Les gestionnaires et les administrateurs
 Les agents de mise en œuvre sur le terrain
 Des clients actuels et anciens
 Des gestionnaires de d’autres programmes
 Des experts de la politique
 Des donateurs
 Des chercheurs en la matière
La sélection des experts
 Des critères possibles:
 De l’expertise reconnue
 Des domaines d’expertise particulières
 Des perspectives possibles
 Des points de vue politiques possibles
 De l’expertise technique diverse

 Présenter la justification de sélection


La sélection des experts
 La sélection des experts doit passer le test de la
personne raisonnable:
 Une personne raisonnable estimera-t-elle le groupe
sélectionné à la hauteur de la tâche de proposer ses
opinions et ses recommandations?
Le jugement des experts: approches
 Le dialogue renseigné
 Des attentes clairement exprimées
 Des questions d’évaluation clairement exprimée
 Termes de référence

 Des responsables des agences rencontrent les


experts
 Le personnel des agences fournit des données
 Les experts participent à une série de réunions
afin de parvenir à une entente
Le groupe d’experts
 Des groupes d’experts peuvent être constitués
 Ces groupes peuvent être constitués en tant que
groupe ciblé
 Ces groupes peuvent être constitués en tant que
participants aux entretiens groupés (où tout le
monde répond à chaque question)
 Ces groupes peuvent être constitués en tant que
forum, où chaque expert ferait une présentation
formelle
 Suivi des questions, des réponses et du dialogue
Le jugement des experts
 La technique Delphi:
 Structuré, des interactions indirectes
 Des experts écrivent des réponses aux questions
 La synthèse, la rétroaction et les jugements sont
centralisées
 Les experts ne sont pas en contact direct

 Les renseignements sont partagés par le moyen des


rapports ou des communiqués
Le jugement des experts: approches
 La technique Delphi:
 Le chercheur fait un résumé des points de vue des
experts
 Il renvoie le résumé pour la relecture et les
commentaires
 Personne ne sait qui a dit quoi
 On évite de provoquer des conflits
 Ce processus est répété pour parvenir à une entente
Le jugement des experts
 En général, cette technique n’est pas considérée
comme une approche d’évaluation forte
 Cependant, ce sera peut-être la meilleure option
s’il y a des contraintes au niveau des ressources
et du temps
 Probablement cette technique est mieux indiquée
pour l’évaluation à mi-parcours que pour une
évaluation d’impact

Centres d'intérêt liés