Vue d’ensemble
Il y a plusieurs façons de collecter les données mais il n’y a pas une seule
meilleure technique. La décision sur quelle approche utiliser dépende de :
Options :
1
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Il est utile de savoir les préférences des parties prenantes. Parfois elles
préfèrent des chiffres précis. Parfois elles préfèrent un sens plus
approfondi de la situation. Parfois les deux sont importants.
Approche structurée
2
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
collectées de la même façon. Ces approches sont plus ouvertes et fluides. Les
participants ont la liberté de s’exprimer et l’évaluateur est libre de modifier
ses questions ou de demander plus de détails puisqu’il n’y a pas de scénario
fixe.
• Données disponibles
• Observations
• Questionnaires auto administrés
• Entretiens personnels
• Groupes ciblés
• Agendas, listes de contrôle
• Jugement des experts
Quelle que soit la méthode choisie pour collecter des données auprès des
participants, elles sont toutes potentiellement subjectives. Lorsqu’on pose
des questions aux gens pour tirer des renseignements sur eux -mêmes, il se
peut qu’ils ne disent pas toute la vérité. Peut-être ils ne se rappellent pas
exactement, peut-être ils craignent des conséquences, ou peut-être ils ne
veulent pas avouer certaines choses qui ne sont pas admissibles socialement
ou culturellement. Il y a également la question des caractéristiques
particulières des gens qui optent pour participer aux enquêtes – ils sont
peut-être différents de ceux qui ne participent pas. Ce sont des questions
importantes pour toute enquête, entretien ou groupe ciblé, quelque soit
l’approche utilisée.
3
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Méthodes Conjuguées
« Il faut mesurer ce qui est important. » A-t-on mesuré ce qui est le plus
important par rapport à ce qui est le plus facile à mesurer?
4
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Dans le cas des opportunités économiques pour les femmes, par exemple, il
faudra définir une gamme d’opportunités possibles dont elles peuvent
profiter : une nouvelle entreprise, un nouvel emploi mieux payé ou l’achat en
gros en collaboration avec d’autres femmes des produits ou des matières
premières. On peut également chercher à savoir quel est le pourcentage de
femmes qui a réussi dans des nouvelles entreprises ou qui ont crée de
l’emploi en faveur d’autres femmes ou en faveur des membres de la famille.
Est-ce qu’on veut savoir combien de femmes transmettent leurs nouvelles
compétences et confiance à leurs filles ? Si on précise ce qu’on veut compter,
ce qui est important dans les réponses aux questions va devenir plus
évident.
Parfois les données qui peuvent aider à répondre à nos questions ont déjà
été collectées. Lorsqu’on utilise les données collectées par les autres, il est
essentiel de découvrir les méthodes qui ont été employées pour les collecter,
la façon dont chaque variable a été mesurée, le système d’encodage des
réponses et les techniques de vérification de la saisie des données.
• Archives/documentation
• Bases de données informatisées
• Des rapports
• Données du recensement
• D’autres documents (des budgets, des communiqués de politiques, les
manuels de politiques et procédures, des organigrammes, des cartes,
etc.)
5
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Questions clés :
Parfois les données sont disponibles mais elles ne sont pas dans une forme
qui facilite l’analyse. Par exemple, il se peut que les données nécessaires se
trouvent dans des documents ou des archives. Dans cette situation, il faut
élaborer un outil de collecte de données qui précise exactement les données
qu’il faudra collecter et comment les encoder. L’outil doit être facile à utiliser,
simple et claire. Ensuite il faudra élaborer les procédures de collecte et
former ceux qui seront chargés de collecter les données. Il faudra s’assurer
que tout le monde utilise le même système d’encodage et de la même façon.
Lorsqu’on travaille avec des documents officiels qui décrivent des activités ou
des pratiques courantes, il faudra vérifier l’exactitude du contenu de ces
documents. Des observations et des entretiens peuvent aider à vérifier des
activités réelles. Par exemple, lorsqu’on observe un programme de
formation : les classes sont-elles réellement tenues chaque semaine et les
participants sont-ils vraiment divers ?
ID No.
1. Niveau scolaire :
6
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
10. Observations :
_____________________________________________________________
_____________________________________________________________
_____________________________________________________________
_____________________________________________________________
_____________________________________________________________
_______________________________
Parfois il est nécessaire de lire des documents officiels afin de pouvoir décrire
des activités et des procédures courantes. Par exemple, si on a demandé de
déterminer les facteurs qui contribuent à une meilleure livraison d’un service
public, sera-t-il utile d’étudier la documentation ? Quand le programme a-t-il
démarré ? Quels sont les finalités et les objectifs visés par des décrets et des
actes de parlement ou les documents autorisant l’action ? Combien de
personnes ont été impliquées ? Quels sont les ministères impliqués ?
Comment ont-ils fait pour mettre le programme en œuvre ? Quelles sont les
mesures utilisées pour suivre la performance ? Il est essentiel d’essayer de
vérifier l’exactitude des documents en ce qui concerne les activités réelles. La
vérification peut prendre la forme des documents qui contiennent des
renseignements similaires ou des récits des entretiens avec des personnes
qui connaissent le programme, son historique et sa mise en œuvre. Il est
utile de chercher des gens qui jouent des rôles différents, y compris des
personnes externes tels que le personnel du département de budget ainsi
que des clients. Leurs opinions peuvent aider à comprendre les
renseignements obtenus dans des documents et ils peuvent également aider
a constituer l’historique officieuse du programme.
7
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Options :
8
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
9
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Des enquêtes sont très bien adaptées à la collecte des perceptions, des
opinions et des idées. Elles sont moins exactes pour la mesure du
comportement parce que ce que les gens font réellement n’est pas toujours
reflété exactement dans ce qu’ils disent. Une composante clé de l’enquête est
l’échantillon : idéalement l’échantillon doit être représentatif de la population
globale (voir Module 7 sur l’échantillonnage).
Méthodes :
10
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
• Plus difficiles à élaborer : il faut vérifier avec une certitude absolue que
tous les renseignements nécessaires sont inclus, puisqu’il n’y a pas de
questions ouvertes de façon « sac à tout » qui peuvent combler les
lacunes.
• Plus faciles à remplir : cocher une réponse prend moins de temps que
d’écrire une réponse narrative
11
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Entretiens
Des entretiens semi structurés doivent avoir un but ; il faut savoir quelles
sont les questions à poser et quels sont les renseignements qu’on cherche à
obtenir. Il est essentiel de prendre de bonnes notes. Il est difficile d’écrire
aussi vite que les gens parlent et il est donc important d’essayer de capter
les points et les mots clés à retenir. Il faudra réserver du temps après
l’entretien pour étudier les notes, d’ajouter des notes additionnelles et
d’écrire des notes après l’entretien. Lorsqu’on voyage dans d’autres pays ou
régions lointaines on pense souvent que la meilleure façon de passer le
temps est de mener autant d’entretiens que possible. Cependant, il très
important de laisser suffisamment de temps entre les entretiens pour
prendre au moins des notes préliminaires. Il est surprenant comment il est
difficile de comprendre les notes prises lors d’un entretien même si le délai
est juste quelques jours après.
12
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Questionnaires
13
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
L’élaboration des questions à poser lors des enquêtes est difficile à faire
parce que ces questions doivent être compréhensibles pour tout le monde.
Les mots peuvent avoir de multiples significations et des connotations. Si on
pose une question d’une manière que les participants ne comprennent pas ou
qui peut être interprétée de plusieurs façons différentes, les participants
auront des compréhensions différentes et ils vont répondre selon leur
compréhension. Il y a toujours le risque de données inutiles lorsque les
questions sont mal élaborées. Par exemple, le directeur d’une agence
cherche à savoir quel est le niveau de formation en informatique de son
propre personnel. On pourra poser la série de questions suivantes :
a. Il y a 1-3 mois________________________________________
b. Il y a 4-6 mois________________________________________
c. Il y a 6-9 mois________________________________________
d. Il y a 10-12 mois______________________________________
e. Il y a 12-24 mois______________________________________
Table 6-1
Astuces et ruses pour l’élaboration des questionnaires
14
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
15
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Taux de réponse
Une des questions principales dans la recherche par le moyen des enquêtes
focalise sur la collecte de données. Cela veut dire que le pourcentage de
ceux qui ont réellement participé sur un nombre total de personnes dont la
participation a été demandée. Un chercheur compétent présente toujours le
nombre total de personnes (ou d’unités, comme les organisations ou
sociétés) enquêtées, le nombre de personnes ayant répondu et finalement le
taux de réponse. Le taux de réponse souhaité peut varier selon les
circonstances et selon l’utilisation finale des données de l’enquête. Le
problème qui se pose dans le cas d’un faible taux de réponse est que
l’échantillon devient donc un échantillon volontaire ou un échantillon
auto sélectionné. Ce genre d’échantillon pose un autre problème : peut-
être ceux qui ont décidé de participer sont différents de ceux qui ont décidé
de ne pas participer. Peut-être seulement ceux qui sont en colère avec la
gestion du projet ont décidé de répondre aux questions de l’enquête et le
résultat sera donc une appréciation beaucoup plus négative que si tout le
monde, ou au moins un échantillon représentatif, avait répondu. Par
exemple, dans le cas d’une enquête menée par une organisation sur les
attitudes de tous les employés, on trouve que seulement 30% des employés
ont participé (un taux de réponse de 30%). Si les employés les plus
mécontents ont tendance à participer tandis que les employés satisfaits n’ont
16
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
pas participé, il sera difficile de tirer des conclusions sur les attitudes réelles
des employés à partir de ces résultats. Il est possible que ceux qui ont
participé soient les seuls mécontents. Il sera donc une erreur de faire des
décisions sur la base de ces résultats sans les vérifier par d’autres moyens.
Une des méthodes de collecte de données utilisée pour évaluer l’impact des
programmes de main d’œuvre actif a été par enquête. Dans un des pays
participants, des questionnaires ont été envoyés à tous ceux qui se sont
inscrits au bureau de la main d’œuvre, mais le taux de réponse a été moins
de 20%.
Un faible taux de réponse donne lieu au souci que ceux qui ont répondu ne
sont pas représentatifs. Parfois il est possible de contrôler les caractéristiques
démographiques pour déterminer s’ils sont similaires à la population
générale. Par exemple, un chercheur peut étudier les caractéristiques
démographiques de ceux qui ont répondu aux questionnaires afin de voir si
ces caractéristiques, comme l’âge et le genre, correspondent à celles de la
population en générale. S’il est possible d’établir une correspondance, le
chercheur peut continuer, mais avec prudence. Si par la suite les
caractéristiques démographiques révélées sur les questionnaires ne
correspondent pas du tout, les résultats de l’enquête doivent être interprétés
avec des réserves.
Les résultats des enquêtes ayant un faible taux de réponse doivent toujours
être présentés en termes des participants, avec la réserve que ces résultats
peuvent refléter ou ne pas refléter les attitudes des employés en général.
Cela veut dire que les données doivent être exprimées comme suit : « sur la
totalité de participants… » ou « 75% de ceux qui ont participé ont le point de
vue que… ».
17
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Lorsqu’on décide s’il faut collecter les données par la poste, par téléphone ou
par entretien en personne, il est important de retenir que les échanges par
troc seront nécessaires. En Table 6-3 sont présentés quelques consignes sur
les « pour » et les « contre » de chaque méthode et les situations dans
lesquelles une méthode donnée est indiquée.
18
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
19
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Un groupe ciblé est une sorte de recherche qualitative qui rassemblent des
groupes restreints de participants afin de discuter de sujets spécifiques sous
la direction d’un modérateur. Il y a un scénario, un ensemble de questions
ouvertes qui sont préparées en avance. Le modérateur peut improviser,
cependant, avec des sondages et des questions supplémentaires selon la
situation. Le processus du groupe a tendance à donner plus de
renseignements que les entretiens individuels parce que les participants
expriment des points de vue différents et ils dialoguent entre eux. Le
modérateur est libre de faciliter le dialogue ainsi que d’explorer les raisons et
les sentiments derrière leurs différences. La conversation n’est souvent pas
linéaire ; les participants peuvent soulever des points ou des perspectives au
hasard. Parfois les participants répondent à une question sur le scénario
avant qu’elle soit posée. Les modérateurs doivent reconnaître que les
participants ont déjà répondu à cette question et ils doivent décider s’il faut
la poser encore une fois, s’il faut poser une question connexe ou s’il faut la
sauter complètement.
Des participants aux groupes ciblés sont invités à participer et sont informés,
au moins en termes généraux, du sponsor de cette recherche, du but et de la
nature des questions. Tandis que les chercheurs de marketing invitent les
participants à se rassembler dans une salle équipée d’un miroir sans tain afin
de pouvoir observer les participants, cette option n’est pas normalement
disponible à la plupart d’évaluateurs à cause des budgets limités. Des
groupes ciblés sont tenus normalement dans un lieu neutre, si possible ;
cependant, parfois il est préférable de choisir un lieu facilement accessible.
Normalement, les participants s’assoient autour d’une table ou sur des
chaises disposées en forme de cercle. L’idée est de mettre la scène afin de
faciliter la conversation entre les participants. Il est possible de permettre à
quelques observateurs de rester dans la salle lorsque le groupe ciblé est en
cours. Ces observateurs doivent être présentés au début de la séance.
20
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Il n’y a pas de règle sur combien de séances de groupes ciblés faut -il tenir.
La règle générale est de continuer de les tenir jusqu’à ce que les mêmes
thèmes commencent à émerger ou qu’aucun nouveau renseignement
n’émerge - normalement entre 3 et 6 séances ; cependant, il est parfois
déterminé par d’autres critères, tels que le nombre de groupes
communautaires ou de quartiers. S’il faut mener un grand nombre de
séances, les protocoles peuvent être ajustés. Il pourra être utile de poser un
21
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
22
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
23
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Des agendas peuvent être employés dans des situations où on doit capter
des renseignements détaillés sur des événements de la vie quotidienne des
participants. Par exemple, on peut chercher à savoir comment les gens
passent la journée ou bien comment les membres d’une communauté
donnée passent une journée typique. On pourra demander aux participants
de tenir un agenda sur les exercices physiques ou leurs régimes quotidiens.
Idéalement, les agendas sont tenus sur une base quotidienne afin de
permettre aux participants de se rappeler de façon exacte. Ils servent
également d’outils utiles pour supplémenter la collecte des autres données.
Cependant, cela nécessite que les participants soient alphabétisés et qu’ils
soient d’accord pour consacrer le temps qu’il faut pour tenir un agenda.
Une stratégie connexe est une liste de contrôle auto rapportée. Il s’agit d’une
conjugaison de la technique du questionnaire avec la technique de l’agenda.
Les participants suivent un ensemble d’activités ou d’événements
spécifiques. Ils sont présentés sous forme de liste afin de faciliter le
reportage pour les participants : il suffit de cocher les cases. Cela peut se
faire chaque jour ou chaque semaine ou chaque fois qu’un événement se
24
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
passe. Par exemple, on pourra donner une liste de contrôle à quelqu’un pour
noter si le facilitateur avait fixé un programme, s’il avait suivi un programme,
s’il avait été organisé lors d’une réunion, etc…Une liste est plus facile à
compléter et à analyser qu’un agenda, mais pour élaborer la liste,
l’évaluateur devra comprendre la situation très bien.
25
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Bien qu’un groupe restreint d’experts ne soit pas considéré comme une
approche très valable à l’évaluation, il peut servir dans les cas de budgets et
ressources limités. Cette approche est mieux indiquée pour la planification
lors des étapes précoces et mi-parcours que pour les évaluations d’impact.
Elle pourra être utile dans un processus de sélection des études pour une
synthèse des évaluations. Elle est spécialement utile pour des appréciations
rapides.
26
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
On veut étudier les qualifications et l’expérience de ceux qui ont été admis à
un atelier de formation sur les conseils aux maraîchers. Les données se
trouvent dans la documentation d’admission à l’atelier.
1.
2.
3.
4.
5.
27
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Instructions :
1.
2.
3.
4.
5.
28
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
1.
2.
3.
4.
5.
29
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
1. Faire une liste des données/renseignements qu’il faut pour une telle
évaluation.
30
Traduit par le Réseau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003
Billson. J. (2002). The Power of Focus Groups for Social and Policy Research.
Skywoord Press.
Krueger, R.A. and Casey, M.A. (2000). Focus groups (3 rd Ed.). Thousand
Oaks, CA: Sage.
Sites web
31