Vous êtes sur la page 1sur 25

Chapitre 2

Dmarches Cls dans la Conception


et la Mise en uvre des Evaluations d'Impact



Entreprendre une tude d'valuation d'impact peut tre stimulant et coteux avec des
questions relatives la mise en uvre qui surgissent continuellement. Ces dfis mettent en
vidence l'importance d'une tude bien conue, une quipe engage et hautement qualifie
et une bonne communication entre les membres de l'quipe d'valuation. En incorporant ds
le dpart l'valuation dans la conception d'un projet, il sera possible d'obtenir des rsultats
en temps opportun pour que les conclusions puissent tre utilises pour les rajustements
mi-parcours des composantes spcifiques.
Indpendamment de la taille, du type de programme ou de la mthodologie employe
pour l'valuation, il y a plusieurs dmarches cls effectuer comme dcrit ci-dessous
(Encadr 2.1) Ce chapitre fournira un expos de ces dmarches ainsi qu'un expos des
nombreuses questions qui peuvent surgir dans la mise en uvre. La succession de ces
dmarches est critique particulirement pour assurer la collecte des donnes ncessaires
avant que le projet nentre en excution. La planification faite temps fournit l'occasion de
faire une simulation alatoire, de construire a priori des comparaisons parallles, de
collecter des donnes de base et didentifier des enqutes qui pourraient tre utilises dans
une approche associant des rsultats de tendance.
Tout le travail de conception et de collecte des donnes initiales doit se faire pendant
l'identification et la prparation du projet. Idalement, quelques rsultats seront disponibles
pendant la mise en uvre du projet de faon qu'ils puissent servir l'amlioration de la
conception du projet si ncessaire. Un bon exemple de plans d'valuation incorpors ds les
toutes premires tapes est illustr dans le Projet de Nutrition et de Dveloppement de la
Petite Enfance en Ouganda.

Dterminer lopportunit deffectuer une valuation

Une premire dcision est de savoir si une valuation d'impact est ncessaire ou non.
Comme discut ci-dessus les valuations d'impact diffrent des autres valuations en ce
qu'elles sont centres sur l'valuation de la causalit. Etant donn la complexit et le cot de
l'excution de l'valuation d'impact, les cots et les bnfices doivent tre valus et
lutilisation dune autre approche qui serait plus approprie, comme le contrle des
indicateurs cls de performance ou une valuation du processus, devrait galement tre
envisage. Ces approches ne devraient pas


* Ce chapitre sest beaucoup inspir dun expos prpar par Laura Rawlings,
Implementation Issues in Impact Evaluation, Processed, 1999.



16


DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 17


Encadr 2.1 Principales dmarches dans la conception et l'excution
des valuations d'impact

Pendant l'I dentification et la Prparation du Projet

1. Dterminer s'il faut ncessairement effectuer une valuation ou non
2. Clarifier les objectifs de l'valuation
3. Explorer la disponibilit des donnes
4. Concevoir l'valuation
5. Former l'quipe d'valuation
6. Si des donnes seront collectes :
(a) Conception et slection des chantillons
(b) Dveloppement de l'instrument de collecte des donnes
(c) Recruter et former le personnel de terrain
(d) Raliser lenqute pilote
(e) Collecte de donnes
(f) Gestion et accs aux donnes

Pendant la Supervision du Projet
7. Poursuivre la collecte des donnes
8. Analyser les donnes
9. Rendre compte des rsultats par crit et les discuter avec les dcideurs et les
bailleurs de fonds
10. Incorporer les rsultats la conception du projet.

tre considres comme des substituts aux valuations d'impact; en fait, elles constituent
souvent des complments critiques aux valuations d'impact. Et peut- tre les raisons
dcisives deffectuer une valuation ou non dpendent de limportance de lappui politique
et financier.
L'effort complmentaire et les ressources ncessaires pour conduire des valuations
d'impact sont mieux mobiliss quand le projet est innovateur, transposable et implique des
allocations de ressources substantielles et comporte des interventions bien dfinies. Par
exemple, l'valuation de l'impact du Fonds d'investissement social bolivien a rempli chacun
de ces critres. D'abord, on a considr comme innovateur et transposable le nouveau
modle de fonds social prsent en Bolivie, deuximement le fonds social a t responsable
d' peu prs 25 pour cent de tous les investissements publics en Bolivie depuis le dbut de
l'valuation et troisimement les interventions taient bien dfinies par le menu de micro-
projets du fonds social.







18 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

On doit aussi donner la priorit aux valuations d'impact si le projet en question lance une
nouvelle approche comme un programme pilote qui sera plus tard pris en considration pour
une extension base sur les rsultats d'valuation ou les nouveaux Prts pour l'Apprentissage
et l'Innovation de la Banque Mondiale. Ce raisonnement a fait de la rforme de l'autonomie
scolaire nicaraguayenne un bon candidat une valuation d'impact. L'tude d'valuation a
accompagn l'exprimentation par le gouvernement d'un nouveau modle de gestion
scolaire dcentralise depuis sa phase pilote au milieu des annes 1990 jusqu' son
extension presque tous les collges d'enseignement gnral et environ la moiti de toutes
les coles primaires aujourd'hui. L'valuation a t gre par une quipe internationale en
troite collaboration comprenant le personnel local de l'unit de recherche et d'valuation du
Ministre de l'Education Nationale et l'unit d'valuation et le bureau de coordination du
Projet d'Education Primaire de la Banque Mondiale Managua. Leur implication a assur
que l'valuation a inform les dcisions de politique cls relatives l'valuation quant la
modification et l'extension du projet pilote.
Une autre considration importante est de s'assurer que le programme qui doit tre valu
est suffisamment dvelopp pour tre soumis une valuation d'impact. Les projets pilotes
et les rformes naissantes sont souvent enclins aux rvisions quant leur contenu aussi bien
que pour savoir comment, quand et par qui, ils seront mis en uvre. Ces changements
peuvent saper la cohrence de l'effort d'valuation, des conceptions particulirement
exprimentales et d'autres types d'valuation prospective qui reposent sur les donnes de
base et de suivi des groupes de traitement et de contrle clairement tablis. L o la
politique valuer est encore en cours de dfinition, il peut tre recommand d'viter
d'utiliser une valuation d'impact afin de permettre la flexibilit dans le projet
L'obtention de l'appui des dcideurs et des financiers pour une valuation d'impact peut
tre stimulante mais est un pralable ncessaire pour avancer. Ils doivent tre convaincus
que l'valuation est un exercice utile traitant des questions qui seront pertinentes aux
dcisions concernant l'affinement, l'extension ou la rduction du programme valu. Ils
doivent aussi tre convaincus de la lgitimit de la conception de l'valuation et donc des
rsultats, particulirement quand ceux-ci ne sont pas aussi positifs que prvu.
Le financement d'une valuation d'impact reste une question difficile pour les directeurs
de programme, de mme que pour les partenaires bnficiaires. La question du financement
se compose du fait que les donnes sur des dpenses d'valuation sont d'habitude difficile
obtenir. Et peut-tre la question la plus difficile vient de la bonne valeur publique de
l'valuation : si les rsultats de l'valuation vont tre employs pour informer la politique
applique l'extrieur des frontires nationales o l'valuation est conduite, comme c'est
souvent le cas, pourquoi un seul pays devrait- il supporter le cot de l'valuation? Parmi les
tudes de cas qui avaient l'information sur les sources de financement, l'information montre
que les pays assument souvent la majorit, mais pas l'intgralit, des dpenses d'valuation.
Comme discut plus pleinement dans le chapitre 4, beaucoup de cas passs en revue
suggrent que l'excution russie d'une valuation d'impact exige









DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 19

non seulement un engagement de ressources substantielles des pays bnficiaires mais aussi
l'implication du personnel de la Banque Mondiale ou de chercheurs et consultants externes,
ncessitant des ressources au-del de celles fournies par le pays.

Clarifier les objectifs de l'valuation

Une fois qu'il a t dcid qu'une valuation d'impact est approprie et justifie, tablir
des objectifs clairs qui seront le point central de l'valuation contribuera grandement son
succs. Des objectifs clairs sont essentiels pour l'identification des besoins de l'information,
pour la fixation des rsultats et des indicateurs d'impact et btir une stratgie solide
dvaluation pour trouver des rponses aux questions poses. L'utilisation d'une approche de
cadre logique fournit un bon outil gnralement employ pour identifier les buts et les
besoins d'information du projet autour desquels l'valuation peut tre btie.
Le cadre logique, de plus en plus employ la Banque Mondiale, est bas sur une matrice
simple "quatre par quatre " qui associe l'information avec des objectifs du projet et la faon
dont l'excution sera suivie la trace, utilisant des jalons et des programmes de travail, quel
impact les rsultats du projet auront sur l'institution ou le systme bnficiaire et comment
cela sera mesur et comment les ressources sont utilises pour produire des rsultats (voir
Annexe 5 pour des exemples). Autrement dit, il est assum que l'impact du projet prvu est
fonction des rsultats du projet aussi bien qu'une srie d'autres facteurs. Les rsultats sont
une fonction des entres du projet qui sont leur tour fonction des ressources du projet et de
facteurs extrieurs au projet. Des mesures quantifiables doivent alors tre identifies pour
chaque maillon du cycle du projet. Cette approche n'interdit pas l'valuateur de considrer
aussi les impacts fortuits d'un projet mais sert garder les objectifs clairs et centrs. Des
techniques qualitatives sont aussi utiles dans la rvlation de la participation dans la
clarification des objectifs de l'valuation et des indicateurs d'impact y affrents.
Bien qu'une dclaration d'objectif puisse sembler, en apparence, une des parties les plus
faciles du processus d'valuation, sera peut tre extrmement difficile. Par exemple des
dclarations qui sont trop vagues ne se prtent pas l'valuation. La dclaration d'objectif
dans l'valuation du PROBECAT au Mexique (Annexe 1.9) selon laquelle l'valuation
concerne l'effet du programme de formation PROBECAT sur les rsultats du march du
travail serait plus prcise si elle avait t ramene l'effet de PROBECAT sur les heures de
travail, les indemnits horaires, le salaire mensuel et la priode du premier placement au
travail pour les diffrents types d'ouvriers. L'valuation du PROGRESA au Mexique fournit
un bon exemple et cre un profit clair des objectifs multiples ds le dbut avec une
discussion spare de chaque composante avec des objectifs dtaills dans les sous
catgories
(Annexe 1.10). Il est particulirement important parce que











20 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT


l'intervention tait tout fait complexe avec une valuation devant traiter non seulement
l'impact du programme mais aussi les aspects de ciblage et du chronogramme des
oprations.
L'examen d'autres composantes de l'valuation telles que le cot rentabilit ou le
processus dvaluations peut aussi constituer des objectifs importants dune tude et peut
complter lvaluation dimpact. La rentabilit peut tre d'un intrt particulier pour des
dcideurs dont il s'agira de rduire, tendre ou reformer l'intervention value. Sur des
questions lies la prestation de service, une valuation du processus pourrait tre
approprie pour les procdures, la dynamique, les normes et les contraintes dans lesquelles
un programme particulier est ralis.

Explorer la disponibilit des donnes

Plusieurs types de donnes peuvent tre utiliss pour effectuer des tudes dvaluation
d'impact. Ceux-ci peuvent comprendre une gamme d'enqutes allant des enqutes de
sessions croises ou d'ensemble, aux interviews qualitatives finalit ouverte. Idalement,
cette information est disponible au niveau individuel pour assurer que le vrai impact peut
tre valu. L'information au niveau des mnages peut cacher l'allocation de ressources
internes au mnage qui affecte des femmes et des enfants parce qu'ils ont souvent un accs
plus limit aux ressources productives du mnage. Dans de nombreux cas, l'valuation
d'impact profitera de quelques donnes existantes ou se superposera une enqute en cours,
ce qui peut considrablement rduire les cots. Avec cette approche, cependant, les
problmes peuvent surgir dans le choix du temps de collecte des donnes et avec la
flexibilit de la conception du questionnaire. L'Encadr 2.2 met en lumire quelques points
cls retenir dans l'exploration de l'utilisation des ressources des donnes existantes pour
l'valuation d'impact.
Avec cette crativit, il peut tre possible de maximiser des ressources d'information
existantes. L'valuation du Fonds d'Investissement social hondurien (voir le chapitre 4) est
un bon exemple. Cette tude a utilis un module tir de l'enqute nationale sur les revenus
dans le questionnaire du fonds social, permettant ainsi au revenu des bnficiaires du fonds
social d'tre compar avec des mesures nationales pour valuer le ciblage de la pauvret
(Walker et d'autres 1999).
Au plus bas niveau, des donnes sur l'univers de la population concerne seront exiges
comme base partir de laquelle dterminer les tailles types, construire le cadre de
l'chantillonnage et choisir l'chantillon. D'autres types de donnes qui peuvent tre
disponibles dans un pays donn et peuvent tre employs pour des valuations d'impact
diffrentes comprennent (voir Valadez et Bamberger 1994) : revenu du mnage et enqutes
sur les revenus et les dpenses des mnages, tude de la mesure du niveau de vie, enqutes
sur le march du travail ; rapports des coopratives, associations de cooprative de crdit et
d'autres institutions financires ou rapport scolaire sur l'tat de la frquentation, du
redoublement et des examens; rapports de sant publique sur la mortalit infantile,








DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 21



Encadr 2.2 Points cls pour identifier des ressources de donnes pour
l'valuation d'impact

Connaissez bien le programme. Il est risqu de s'engager dans une valuation sans
bien connatre les dtails administratifs et institutionnels du programme ; cette
information vient typiquement de l'administration du programme.
Collectez l'information sur les faits styliss appropris par rapport la dtermination.
Les faits appropris pourraient inclure la carte de la pauvret, comment fonctionne le
march du travail, les divisions ethniques majeures et d'autres programmes publics
appropris.
Soyez clectique au sujet des donnes. Les sources peuvent embrasser tant des
interviews informelles, peu structures avec des participants au programme que des
donnes quantitatives d'chantillons reprsentatifs. Cependant, il est extrmement
difficile de poser des questions contre factuelles dans des interviews ou des groupes
cibls ; essayer de demander quelqu'un qui participe actuellement un programme
public : " que feriez-vous maintenant si ce programme n'avait pas exist ? " Parler
aux participants au programme peut tre, mais il est improbable d'obtenir une
valuation crdible sur cette seule base.
Assurez- vous qu'il y a des donnes sur les indicateurs de rsultat et des variables
explicatives appropries. Ces dernires ont besoin de traiter l'htrognit dans les
hypothses de rsultat sur la participation au programme. Les rsultats peuvent
diffrer en fonction, par exemple, de l'instruction. Il n'est pas possible de voir l'impact
du programme moins qu'on contrle cette htrognit.
Selon les mthodes utilises, les donnes pourraient aussi tre ncessaires sur des
variables qui influencent la participation, mais n'influencent pas la participation
donne aux rsultats.
Ces variables instrumentales peuvent tre valables pour trier les effets suscits
possibles de programmes non alatoires (encadr 1.2).
Les donnes sur les rsultats et d'autres variables explicatives appropries peuvent
tre quantitatives ou qualitatives. Mais il doit tre possible d'organiser l'information
dans toute sorte de structure de donnes systmatiques. Un exemple simple et
commun est que l'on a les valeurs de variables diverses incluant un ou plusieurs
indicateurs de rsultat pour des units d'observation diverses (des individus, des
mnages, des socits, des communauts)
Les variables sur lesquelles on a des donnes et les units dobservation quon utilise sont
souvent choisies comme une partie de la mthode dvaluation. Ces choix


(Lencadr continue sur la page suivante).








22 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT



Encadr 2.2 (Suite)

devraient tre ancrs la connaissance antrieure du programme (ses objectifs, bien sr,
mais aussi comment il est dirig) et l'arrangement dans lequel il est prsent.
La source spcifique des donnes sur les rsultats et leurs dterminants, y compris
la participation au programme, vient typiquement des donnes d'enqute de toute
sorte. L'unit d'observation pourrait tre le mnage, la socit ou le secteur
gographique selon le type de programme que l'on tudie.
Les donnes d'enqute peuvent souvent tre compltes avec d'autres donnes utiles
sur le programme (telle la donne de base de contrle du programme) ou
l'arrangement (telles les donnes de base gographiques).


Incidence des diffrentes maladies infectieuses, le nombre de femmes sollicitant conseil sur la
contraception, lutilisation du prservatif ; des enqutes spcialises menes par des universits,
des organisations non gouvernementales et des groupes consultatifs, contrle de donnes des
administrateurs de programme et tude de cas de projet.
Exploitation des donnes d'enqutes existantes. Plusieurs enqutes peuvent tre en cours de
planification ou en cours dexcution. Si une enqute valuant les indicateurs ncessaires est
projete, l'valuation peut tre en mesure de prendre l'chantillonnage de la population concerne au
cours de l'enqute gnrale (par exemple, destin tre utilis dans lapproche des rsultats de
tendance ) comme ce fut le cas pour l'valuation du Fonds d'investissement social nicaraguayen et
l'valuation du programme protection-travail TRABAJAR en Argentine (Jalan et Ravallion 1998).
Par contre, si une enqute est projete qui couvrira la population concerne, l'valuation peut tre en
mesure d'introduire une question ou la srie de questions comme une partie de l'enqute ou ajouter
une enqute qualitative pour complter l'information quantitative. Par exemple, le Crdit pour le
programme d'ducation au Ghana a inclus un jeu d'interviews qualitatives avec des partenaires cls
aussi bien qu'avec des groupes cibles non participants et participants qui ont fourni la confirmation
qualitative des rsultats quantitatifs (Annexe 6). L'valuation a mesur l'impact du programme sur
le statut institutionnel et la scurit alimentaire des mnages pauvres. Des donnes qualitatives ont
inclus des questions spcifiques sur le revenu et les dpenses du mnage, et le niveau de
comptence tandis que des donnes qualitatives se sont concentres sur le renforcement des
capacits des femmes - statut et prise de dcision dans les mnages, rseaux sociaux, confiance en
soi et ainsi de suite.















DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 23

Conception de l'valuation

Une fois que les objectifs et les ressources de donnes sont clairs, il est possible de commencer la
phase de conception de l'tude de l'valuation d'impact. Le choix des mthodologies dpendra des
questions de l'valuation, du choix du temps de lvaluation, des contraintes du budget et de la
capacit de mise en uvre. Les avantages et les inconvnients des diffrents types de conception
traits au chapitre 1 doivent tre quilibrs pour dterminer les mthodologies les plus appropries
et la manire dont des techniques quantitatives et qualitatives peuvent tre intgres pour se
complter les unes les autres.
Mme aprs que la conception de l'valuation a t dcide et intgre au projet, les valuateurs
doivent tre prpars tre flexibles et faire des modifications la conception pendant que le projet
est mis en uvre. En plus des dispositions doivent tre prises pour suivre la trace les interventions
du projet si l'valuation inclut des donnes de base et de suivi pour que le travail d'valuation soit
parallle l'allure relle du projet.
Dans la dfinition de la conception, il est aussi important de dterminer comment l'valuation
d'impact s'ajustera la plus large stratgie de contrle et d'valuation applique au projet. Tous les
projets doivent tre contrls pour que les administrateurs, les bailleurs de fonds et les dcideurs
puissent suivre l'volution du programme comme il se droule. L'effort de l'valuation, comme
trait ci-dessus, doit tre faonn aux exigences d'information du projet.

Question de l'valuation. Les questions d'valuation poses sont troitement lies la
conception de l'valuation en termes de type de donnes collectes, unit d'analyse, mthodologies
employes et temps choisi pour les diverses tapes. Par exemple, dans l'valuation de l'impact des
manuels scolaires sur les rsultats de l'apprentissage, il serait ncessaire de faonner l'valuation
pour mesurer l'impact sur les tudiants, les salles de classe et les enseignants pendant une anne
scolaire donne ; ce qui serait trs diffrent de la mesure de l'impact des services fournis par des
investissements de fonds sociaux qui exigeraient des donnes sur les quipements de la
communaut et sur les mnages. Les tudes de cas dans l'Annexe 1 fournissent les autres exemples
en la manire dont la question de l'valuation peut affecter la conception de l'valuation.
Dans la clarification des que stions d'valuation, il est aussi important de considrer les
implications de genre sur l'impact du projet. Au dbut, cela ne peut pas toujours tre vident,
cependant, dans la mise en uvre du projet, il peut y avoir des effets secondaires sur les mnages ,
ce qui ne serait pas ncessairement identifi sans la collecte de donnes spcifiques et les efforts
d'analyse.
Questions du choix du temps de lvaluation et du budget. La question du choix du temps la
plus critique est de savoir s'il est possible de commencer la conception de l'valuation avant que le
projet ne soit mis en oeuvre et quand les rsultats seront disponibles. Il est aussi utile d'identifier ds
le dpart quels points du cycle du projet l'information














24 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT


fournie par le travail de l'valuation sera ncessaire pour que la collecte des donnes et les activits
d'analyse puissent tre lies. Avoir des rsultats au bon moment peut tre crucial pour les dcisions
- par exemple au cours d'un examen de projet, pendant une priode lectorale ou quand des
dcisions relatives la continuation dun projet sont en train dtre prises.
Quelques mthodes ncessitent plus de temps pour la mise en uvre que d'autres. Le choix
alatoire des mthodes "avant et aprs" (par exemple des comparaisons rflexives) prend plus de
temps mettre en uvre que des approches de mise en correspondance de la comparaison
ex-post. En exploitant des approches "avant et aprs" qui utilisent des valuations de base et de
suivi, le temps doit tre laiss au dernier membre du groupe de traitement pour recevoir
l'intervention et ensuite d'habitude on laisse plus de temps pour que les effets post programme se
concrtisent et soient observs. Grossman (1994) suggre que 12 18 mois aprs l'inscription de
l'chantillon dans l'intervention soit une priode type observer avant l'examen des impacts. Dans
des projets de la Banque Mondiale, axs sur des donnes de base, l'attente que l'intervention prenne
place et que les rsultats se concrtisent peut prendre des annes. Par exemple dans l'valuation du
Fonds d'investissement social bolivien qui tablait sur les donnes de base collectes en 1993 des
donnes complmentaires n'taient collectes qu'en 1998 cause du temps ncessit pour les
interventions (projet d'adduction d'eau et de systmes sanitaires, cliniques de sant et coles)
ralises pour que les effets sur la sant de la population des bnficiaires et des rsultats ducatifs
soient obtenus. Une priode semblable de temps a t ncessaire pour l'valuation d'un projet
d'ducation primaire au Pakistan qui a utilis une conception exprimentale avec des donnes
d'enqutes de base et de suivi pour valuer l'impact des coles communautaires sur les rsultats des
tudiants, y compris les performances acadmiques.
Les exigences du choix du temps de l'valuation ne peuvent pas guider le projet en valuation.
Par leur nature mme, les valuations sont soumises aux dlais tablis par le reste du projet. Les
valuations doivent attendre pour les projets qui sont lents pour les dboursements et la ralisation
des interventions. Et mme si les projets avancent l'allure tablie, quelques interventions prennent
plus de temps pour se raliser comme des projets d'infrastructure. Les dlais pour l'valuation sont
aussi sensibles aux indicateurs choisis parce que beaucoup d'indicateurs, comme les changements
de taux de fcondit ou la russite scolaire mettent plus de temps pour se manifester dans la
population des bnficiaires.

Capacit de mise en uvre. Une considration finale dans l'chelle et la complexit de la
conception d'valuation est la capacit de mise en uvre de l'quipe d'valuation. Les questions de
la mise en uvre peuvent tre trs dfiantes particulirement dans les pays en voie de
dveloppement o il y a peu d'exprience de la recherche applique et des valuations de
programme. La composition de l'quipe d'valuation est trs importante aussi bien que l'exprience
des membres de l'quipe avec les diffrents types de mthodologie et leur capacit quant d'autres
activits en cours d'excution par l'unit d'valuation. Ceci est particulirement














DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 25

vrai quand on travaille avec les agences du secteur public qui ont des responsabilits multiples et
un personnel limit. La conscience que l'unit a de la charge du travail est importante pour valuer
non seulement comment elle affectera la qualit de l'valuation mene mais aussi le cot
d'opportunit de l'valuation en ce qui concerne d'autres efforts dont l'unit est responsable. Il y a
plusieurs exemples des efforts d'valuation qui ont t dvoys quand le personnel cl a t appel
sur d'autres projets et n'tait pas ainsi en mesure de mettre en uvre la collecte des donnes sur le
programme au point critique dans le temps (comme un point pendant l'anne scolaire ou pendant la
saison agricole). De telles situations peuvent tre vites par la coordination avec des responsables
dans l'unit en charge de l'valuation pour s'assurer qu'un quilibre est ralis en respectant le choix
du temps des diverses activits aussi bien que la rpartition du personnel et des ressources sur ces
activits. Alternativement, il est peut-tre prfrable de passer un contrat avec un bureau dtudes
pour effectuer l'valuation (trait ci-dessous).

Formation de l'quipe d'valuation

Une gamme de comptences est ncessaire dans le travail d'valuation. La qualit et l'utilit
ventuelle de l'valuation d'impact peuvent tre normment amliores avec la coordination entre
les membres d'quipe et les dcideurs ds le dbut. Il est donc important d'identifier les membres de
l'quipe le plus tt possible, convenir des rles et des responsabilits et tablir des mcanismes pour
la communication aux points cls de l'valuation.
Dans l'quipe centrale, figurent le directeur de l'valuation, les analystes (tant des conomistes
que d'autres spcialistes des sciences humaines) et pour des conceptions d'valuation impliquant
une nouvelle collecte de donnes, un expert de prlvement d'chantillon, le concepteur de
l'enqute, le responsable des oprations de terrain et l'quipe de terrain et des responsables et des
processeurs de donnes (pour un guide global la conception et l'excution des enqutes) voir
Grosh et Muoz 1996). Selon la taille, la porte et la conception de l'tude, certaines de ces
responsabilits sont partages ou d'aut res besoins en personnel pourraient s'ajouter cette quipe
centrale. Dans les cas o les analystes de politique peuvent n'avoir pas eu l'exprience d'intgration
des approches quantitatives et qualitatives, il peut tre ncessaire de passer un temps
complmentaire au stade initial de la formation de l'quipe pour sensibiliser les membres de l'quipe
et assurer la pleine collaboration. Les responsabilits dtailles des membres de l'quipe sont les
suivantes :

Responsable de l'valuation - Le responsable de l'valuation est charg de l'tablissement
des besoins de l'information et des indicateurs pour l'valuation (qui sont souvent tablis
avec le client en employant une approche de structure logique), rdigeant les termes de
rfrence pour l'valuation, choisissant la mthodologie d'valuation et identifiant l'quipe
d'valuation. Dans de nombreux cas, le responsable de l'valuation effectuera aussi l'analyse
de la politique.
















26 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

Analyste politique - Un conomiste est ncessaire pour l'analyse quantitative aussi bien
qu'un sociologue ou un anthropologue pour assurer une ressource participative et une
analyse qualitative aux diffrentes tapes de l'valuation d'impact. Tous les deux doivent
tre impliqus dans la rdaction du rapport d'valuation.
Expert dchantillonnage - L'expert de lchantillonnage doit tre capable d'effectuer des
calculs solides pour dterminer les tailles types appropries pour les indicateurs tablis,
choisir l'chantillon, passer en revue les rsultats de l'chantillon rel contre l'chantillon
conu et incorporer les poids de l'chantillonnage pour l'analyse. Pour des donnes
qualitatives, l'expert du tirage des chantillons doit guider le processus de choix type en
coordination avec les analystes, assurant que les procdures tablies garantissent que les
informateurs corrects sont choisis. L'expert du prlvement des chantillons devrait tre
aussi charg de la slection des sites et des groupes pour lenqute pilote et devra souvent
tre associe un coordonnateur local de l'information, responsable de la collecte, pour
l'expert de l'chantillonnage, des donnes do l'chantillon sera tir.
Le concepteur d'enqute - Il pourrait tre une personne ou une quipe, dont la responsabilit
est de concevoir les instruments de la collecte des donnes accompagnant des manuels et des
livres codes et d'tre en coordination avec le responsable d'valuation pour assurer que les
instruments de la collecte des donnes produiront effectivement les donnes ncessaires
pour l'analyse. Cette personne ou quipe doit aussi tre implique dans lenqute pilote et
l'affinement des questionnaires.
Le directeur des oprations de terrain et le personnel - Le directeur doit tre responsable de
la supervision de tout le travail de la collecte de donnes, depuis la planification des voies
pour la collecte des donnes jusqu' la formation et l'organisation des quipes de terrain,
gnralement composes de superviseurs et d'intervieweurs. Les superviseurs grent
gnralement le personnel de terrain (d'habitude des intervieweurs , des oprateurs de saisie
et des chauffeurs) et sont responsables de la qualit des donnes collectes sur le terrain. Les
intervieweurs administrent les questionnaires. Dans certaines cultures, il est ncessaire
d'assurer que des intervieweurs masculins et fminins effectuent les enqutes et qu'elles
soient administres sparment par les hommes et les femmes.
Responsables des donnes et analystes - Ces membres d'quipe conoivent les programmes
d'entre des donnes, entrent les donnes, vrifient la validit des donnes, fournissent la
documentation des donnes ncessaires et produisent les rsultats de base qui peuvent tre
vrifis par les analystes de donnes.

Dans la formation de l'quipe d'valuation, il y a aussi certaines dcisions importantes que le
directeur d'valuation doit prendre en rapport avec la capacit locale et les dispositions
institutionnelles appropries, en vue d'assurer l'impartialit et la qualit des rsultats d'valuation.
La premire est de savoir si la capacit locale existe pour la mise en uvre de l'valuation, ou de
certaines parties de lvaluation, et le genre de supervision et d'assistance extrieure qui serait
ncessaire. La capacit d'valuation varie normment













DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 27

d'un pays un autre et bien que les contrats internationaux permettent des socits d'un pays
d'effectuer des valuations dans un autre pays (un exemple est l'valuation de PROGRESA en cours
de ralisation par l'Institut International de Recherche sur l'Alimentation et la Politique), la pratique
gnrale pour les projets soutenus par la Banque Mondiale semble tre de mettre en uvre
l'valuation associant le personnel local qui fournit une grande partie de la supervision
internationale. Donc, il est ncessaire d'valuer d'une faon critique la capacit locale et dterminer
qui sera responsable de quels aspects de l'effort d'valuation. Indpendamment de la composition
finale de l'quipe, il est important de dsigner un directeur d'valuation qui sera capable de travailler
efficacement avec les producteurs de donnes aussi bien que les analystes et des dcideurs utilisant
les donnes et les rsultats de l'valuation. Si cette personne n'est pas base sur place, il est
recommand qu'un directeur national soit dsign pour coordonner l'effort d'valuation en
collaboration avec le directeur international.
La deuxime dcision est de savoir s'il faut travailler avec une socit prive ou une agence
publique. Des socits prives peuvent tre plus fiables pour ce qui est de fournir des rsultats en
termes de dlai mais le renforcement des capacits dans le secteur public est perdu et les socits
prives sont, de faon comprhensible, moins portes incorporer l'valuation des lments qui
rendraient le travail plus coteux. Quelle que soit la contrepartie ou combinaison de contreparties
finalement ralise, un examen approfondi des activits d'valuation passes des collaborateurs
potentiels est essentiel pour la formation d'un choix justifi.
La troisime dcision est de savoir quel degr de sparation institutionnelle mettre en place entre
les fournisseurs d'valuation et les utilisateurs d'valuation. Il y a beaucoup gagner dans
lobjectivit en faisant effectuer l'valuation indpendamment de l'institution responsable du projet
en valuation. Cependant, les valuations peuvent souvent avoir des buts multiples, y compris le
renforcement des capacits en valuation dans les agences du gouvernement et la sensibilisation des
oprateurs de programmes aux ralits de leurs projets une fois que ceux-ci sont effectus sur le
terrain. Au minimum, les utilisateurs d'valuation qui peuvent aller des dcideurs des agences du
gouvernement des pays bnficiaires aux organisations non gouvernementales, pays donateurs
bilatraux et institutions de dveloppement internationales, doivent tre suffisamment impliqus
dans l'valuation pour assurer que le processus d'valuation soit reconnu comme lgitime et que les
rsultats produits soient conformes leurs besoins d'information. Autrement dit, les rsultats de
l'valuation vont moins probablement tre utiliss pour informer la politique. Dans l'analyse finale,
le directeur d'valuation et ses clients doivent raliser l'quilibre juste entre l'implication des
utilisateurs d'valuations et le maintien de l'objectivit et de la lgitimit des rsultats.

Dveloppement des donnes


Avoir des donnes adquates et fiables est une ressource ncessaire l'valuation de l'impact
d'un projet. Des donnes de haute qualit sont essentielles pour la validit des rsultats de
l'valuation.













28 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

Comme trait ci-dessus, inventorier quelles donnes existent, constitue un premier pas important
avant le lancement dautres efforts de collecte de nouvelles donnes. Le tableau 2.1 relie les
mthodologies d'valuation de base aux besoins de donnes. La plupart de ces mthodologies
peuvent incorporer des techniques qualitatives et participatives dans la conception de l'instrument
de l'enqute, dans l'identification des indicateurs et dans la contribution l'identification des
variables de contrle employes pour l'harmonisation, ou des variables instrumentales.

Tableau 2.1 Mthodologies d'Evaluation et Spcification des Donnes Correspondantes


Spcification des donnes

Mthodologie

Minimale

Idale

Utilisation dapproche
qualitative
Contrles des donnes
randomises ou
exprimentales












Conceptions non
exprimentales

a) Contrles labors ou
harmonisation








b) Comparaisons
rflexives et diffrence
double



Projet unique de donnes
comparatives avec ou
sans des bnficiaires












Enqute de grande
envergure, recensement,
budget nationale ou type
denqute de la mthode
des moindres carrs
ordinaires (MCO) sur
chantillonnage des
bnficiaires





Etude de base et suivi des
bnficiaires
Enqute sur des tudes de
bases et de suivi sur des
bnficiaires de mme
que des non
bnficiaires. Prvoit des
rectifications
dvnements
contemporains, en plus
permet de surveiller les
mesures de limpact.
(Permet une estimation
de diffrence double)



Enqute de grande
envergure et des enqutes
de base sur les mnages,
toutes les deux aux
points dindice au
moment de la vrification
des vnements
contemporains





Srie chronologique ou
enqute par panel sur des
bnficiaires
comparables et non
comparables
Informe sur la
conception des
instruments
denqutes,
dchantillonnage.
Identifie des
indicateurs
Collecte et enregistre
des donnes utilisant
- Donnes
textuelles
- Interviews
informelles et
semi-
structures
- Runions des
communauts
et des groupes
cibles
- Observation
directe
- Mthodologies
participatives
- Photographies
- Triangulation
- Analyse des
donnes









DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 29

Tableau 2.1 (Suite)

Spcification des donnes

Mthodologie

Minimale

Idale

Utilisation dapproche
qualitative
c) Contrle statistique ou
variable instrumentale







Donnes transversales
des reprsentants de la
population bnficiaire
avec des variables
instrumentales
correspondantes




Donnes transversales et
srie chronologique des
reprsentants de la
population bnficiaire et
de la population non
bnficiaire avec des
variables instrumentales
correspondantes




Sources : Adapt de Ezemenari, Rudqvist et Subbarao (1999) et Bamberger


Pour les valuations qui produiront leurs propres donnes, il y a les tapes critiques de la
conception des instruments de collecte des donnes, l'chantillonnage, le travail de terrain, la
gestion des donnes et l'accs aux donnes. Cette section ne dcrit pas le processus par tapes de la
faon d'entreprendre une enqute, mais fournit plutt une discussion brve de ces tapes. Une partie
de la discussion de cette section, notamment l'chantillonnage et la gestion des donnes est plus
approprie aux valuations bases sur la collecte et l'analyse des enqutes par sondage, d'chelle
plus grande, employant des donnes quantitatives que des valuations employant des donnes
qualitatives et des petites tailles d' chantillon.

Que faut-il mesurer? Les principaux indicateurs de rsultat et d'impact devraient tre fixs dans
la planification de l'valuation, probablement comme partie d'une approche par le cadre logique.
Pour sassurer que l'valuation est capable de mesurer les rsultats pendant une priode de temps
approprie aux besoins des dcideurs, une hirarchie d'indicateurs pourrait tre tablie allant des
indicateurs d'impact court terme, comme la frquentation scolaire, aux indicateurs long terme
comme la russite de l'lve. Cela assure que mme si des impacts finaux ne sont pas pris en
compte initialement, les rsultats du programme peuvent tre valus. De plus, l'valuateur doit
projeter de mesurer les rsultats de l'intervention ainsi que de tenir compte des facteurs exognes
qui peuvent avoir un effet sur ces rsultats.
Les directeurs d'valuation peuvent aussi projeter de mener une valuation sur plusieurs priodes
permettant des impacts plus immdiats d'tre relevs plus tt, tout en poursuivant toujours des
mesures de rsultat final. Cela a t fait dans l'valuation de la Rforme de l'Education au Nicaragua
dans laquelle l'impact plus court terme de la rforme sur la participation parentale et l'assiduit de
ltudiant et de lenseignant











30 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

a t tabli et les impacts plus long terme sur la russite de l'tudiant sont toujours en cours
d'valuation.
On pourrait aussi considrer l' information sur les caractristiques de la population bnficiaire
non strictement lie l'valuation d'impact mais intressante dans l'analyse comme le niveau de
pauvret ou leur avis sur le programme. De plus, l'valuateur peut aussi vouloir inclure des mesures
de cot afin de procder une analyse de la rentabilit ou d'autres valuations complmentaires non
strictement lies l'valuation de l'impact.
Le type de conception de l'valuation choisi pour l'valuation de l'impact comportera sur des
besoins de donnes. Celles-ci seront spcifiques la mthodologie, la population concerne, les
mesures d'impact et d'autres lments de l'valuation. Par exemple, si une approche variable
instrumentale (un des types de stratgies d'harmonisation - comparaison) doit tre employe, la
variable qui servira comme instrument pour sparer la participation au programme des mesures de
rsultat doit tre identifie et incluse dans la collecte des donnes. Ceci a t fait pour l'valuation
de l'impact du Fonds d'investissement social bolivien, dans laquelle la connaissance du fonds social
et la prsence d'organisations non gouvernementales furent utilises comme des variables
instrumentales dans l'valuation de l'impact des interventions du fonds social.
Il peut tre utile de dvelopper une matrice pour lvaluation, inscrivant la question dintrt
l'tude, les indicateurs de rsultat qui seront employs pour valuer les rsultats, la variable et sa
source de donnes. Cette matrice peut alors tre employe pour passer en revue des questionnaires
et projeter le travail analytique comme cela a t fait dans l'valuation du Fonds d'investissement
social d'urgence au Nicaragua (voir Annexe 6).

Dvelopper les instruments de collecte de donnes et les approches. Le dveloppement des
instruments de collecte des donnes appropries qui fourniront les donnes ncessaires pour
rpondre aux questions d'valuation peut tre dlicat. Cela ncessitera d'impliquer les analystes dans
le dveloppement des questions, dans lenqute pilote et dans l'examen des donnes. L'implication
tant du directeur de terrain que du responsable des donnes pendant le dveloppement des
instruments, aussi bien que du personnel local - de prfrence des analystes qui peuvent apporter
leur connaissance sur le pays et le programme - peut tre dcisive pour la qualit de l'information
collecte (Grosh et Muoz 1996). Il est aussi important de s'assurer que les donnes collectes
puissent tre dsagrges par genre pour explorer l'impact diffrentiel des programmes et politiques
spcifiques.
Des valuations quantitatives rassemblent et enregistrent l'information d'habitude sous forme
numrique ou en catgories pralablement codes. Avec des valuations qualitatives l'information
est gnralement prsente comme un texte descriptif avec une catgorisation ou sans
catgorisation. L'information peut inclure les rponses d'un individu des questions d'interview
ouverte, des notes prises pendant des runions de groupes cibles
















DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 31

ou les observations d'vnements par l'valuateur. Certaines tudes qualitatives emploient la
classification pr code aussi (Bamberger, 2000). La gamme d'instruments de collecte, des donnes
et leurs forces et faiblesses sont rcapitules dans le tableau 2.2la technique la plus gnralement
employe tant les questionnaires.
Les rponses aux questionnaires des enqutes peuvent tre trs dlicates concevoir, ainsi il est
important de s'assurer que la structure et le format soient appropris, de prfrence tablis par un
personnel expriment. Par exemple, l'utilit des donnes quantitatives a t souvent srieusement
handicape pour des raisons mcaniques simples, comme l'incapacit de lier des donnes d'une
source une autre. Ce fut le cas dans une valuation d'ducation nationale dans un pays o les
donnes de contexte sur les tudiants, ne pouvaient pas tre lies aux rsultats de test, ce qui a rendu
impossible d'valuer l'influence des caractristiques estudiantines sur la performance ou de
classifier les rsultats des tests par ge des tudiants, le genre, le statut socio-conomique ou
l'histoire ducative.
Pour la collecte des donnes tant qualitatives que quantitatives, le personnel mme expriment
doit tre form pour collecter les donnes spcifiques l'valuation et toute la collecte des donnes
doit tre guide par un jeu de manuels qui peuvent tre employs comme orientation pendant la
formation et comme rfrence pendant le travail de terrain. Selon la complexit de la tche de la
collecte de donnes, les exemples de cas montrent que la formation peut s'tendre de trois jours
plusieurs semaines.
Lenqute pilote est une tape essentielle parce qu'elle rvlera si l'instrument peut srement
produire les donnes ncessaires et comment les procdures de la collecte de donnes peuvent tre
mises en opration. Le test pilote doit imiter le travail de terrain rel aussi troitement que possible.
Pour cette raison, il est utile d'avoir des programmes de saisie de donnes prts au moment du test
pilote pour prouver leur fonctionnalit aussi bien que lenqute pilote travers des populations et
des secteurs gographiques diffrents.

Tableau 2.2 Princip aux instruments de collecte des donnes pour l'valuation d'impact

Technique Dfinition et utilisation Forces Faiblesses
Etudes de cas









Groupe cible








Interviews
















Collecte des renseignements qui rsultent en une
histoire descriptive ou explicative pouvant aider
rpondre aux questions de comment et pourquoi






Discussions cibles avec des membres de la
population concerne qui sont familiers avec des
questions pertinentes avant la rdaction d'une srie
de questions structures. L'objectif est de
comparer des perspectives des bnficiaires avec
des concepts abstraits dans les objectifs de
l'valuation


L'interviewer pose des questions une ou
plusieurs personnes et enregistre les rponses des
personnes interroges. Les interviews peuvent tre
formels ou informels, face face ou par tlphone,
ou ferms ou ouverts













- Peut traiter une varit de preuve partir
des documents, interviews, observation
- Peut associer une force explicative quand
l'accent est mis sur des institutions,
processus, programmes, dcisions et
vnements



- Avantages similaires aux interviews (ci-
dessous)
- Particulirement utile l o l'interaction
est dsire
- Une manire utile d'identification des
influences hirarchiques



- Les gens et les institutions peuvent
expliquer leurs expriences dans leur propre
langue et cadre
- Flexible et permet l'interviewer de
poursuivre des lignes d'enqutes non
anticipes et examiner les questions en
profondeurs









- Particulirement utile quand les difficults
de langage sont anticipes
- Bonnes tudes de cas difficiles raliser
- Ncessite des recherches spciales et des
aptitudes de rdacteur pour tre rigoureux
- Conclusions des recherches ne sont pas
gnralisables la population
- Prend du temps
- Difficile transposer



- Peut tre coteux et prendre du temps
- Doit tre sensible la combinaison des niveaux
hirarchiques
- N'est pas gnralisable





- Prend du temps
- Peut tre coteux
- Si l'enqute n'est pas convenablement
mene, l'interviewer peut influencer la
rponse de la personne interroge
















Observation








Questionnai res















Analyse d'un document crit



Observe et enregistre la situation dans un registre
ou un agenda. Ceci englobe les personnes
concernes; ce qui s'est pass; quand, o et
comment les vnements se sont passs.
Lobservation peut tre directe (l'observateur
observe et enregistre), ou participative
(l'observateur devient partie intgrante du cadre
pour une priode de temps).
Dveloppe une srie de questions d'enqute dont
les rponses peuvent tre rgulirement codes












Rvision des documents tels que les fichiers des
donnes de base, des donnes administratives, des
matriels de formation et de la correspondance
- Possibilit accrue d'obtenir des donnes de
responsables

- Fournit une information descriptive sur le
contexte et des changements observs






- Peut atteindre un chantillon plus large
simultanment
- Permet aux personnes interroges de
rflchir quelques instants avant de
rpondre
- Permet de rpondre anonymement
- Impose l'uniformit en posant les mmes
questions toutes les personnes interroges
- Facilite la comparaison et la compilation
des donnes de base





- Peut identifier des questions examiner
plus tard et fournit une preuve pour l'action,
le changement et l'impact pour soutenir des
perspectives des personnes interroges
- Peut tre moindre cot




- La qualit et l'utilit des donnes dpendent
largement des comptences de rdaction et
d'observation de l'observateur.
- Les conclusions des recherches peuvent tre
ouvertes une interprtation
- Ne s'applique pas facilement au cadre d'une
courte priode de traitement du changement


- La qualit des rponses dpend largement de la
clart des questions
- Parfois il est difficile de persuader les gens de
remplir et retourner le questionnaire
- Peut impliquer des activits institutionnelles et
des expriences des catgories de gens d'influence
prdtermins









- Peut prendre du temps

Source : Adapt de Taschereau (1998)



Echantillonnage. Lchantillonnage est un art le mieux pratiqu par un spcialiste
dchantillonnage expriment. La conception n'a pas besoin d'tre complique mais elle doit tre
informe par l'expertise du spcialiste de prlvement d'chantillons dans la dtermination des
cadres appropris au prlvement des chantillons, des tailles et des stratgies de choix (la
discussion du tirage des chantillons incluse ici se rfre principalement aux questions lies aux
valuations qui collectent des donnes quantitatives partir des chantillons plus grands,
statistiquement reprsentatifs). Le spcialiste dchantillonnage doit tre intgr dans le processus
d'valuation ds les toutes premires tapes pour passer en revue l'information disponible ncessaire
pour choisir l'chantillon et dterminer si quelque travail d'numration sera ncessaire, ce qui
pourrait prendre du temps.
Comme avec d'autres parties du travail d'valuation, la coordination entre le spcialiste de
l'chantillonnage et l'quipe d'valuation est importante. Ceci devient particulirement critique dans
la conduite de comparaisons d'harmonisation parce que la conception de tirage des chantillons
devient la base pour l'harmonisation qui est au "cur" de












34 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT


la conception de l'valuation et de la construction des comparaisons contre factuelles. Dans ces cas,
le spcialiste du tirage des chantillons doit travailler troitement avec l'quipe d'valuation pour
dvelopper les critres qui seront appliqus pour harmoniser les groupes de traitement et de
comparaison. Par exemple, dans l'valuation de la rforme de l'autonomie de l'cole au Nicaragua,
des coles autonomes taient stratifies par le type d'cole, l'inscription, la dure de la rforme et
l'emplacement des coles non autonomes, en employant les mmes stratifications sauf la dure de la
rforme. Cela peut tre facilit par la prsence d'un membre d'quipe responsable du travail de la
collecte de donnes qui assiste le spcialiste du prlvement des chantillons dans l'obtention de
l'information ncessaire y compris des donnes sur les indicateurs de rsultats choisis pour les
calculs de masse (une estimation de la taille type ncessaire pour valuer la signification statistique
entre deux groupes), une liste de la population concerne pour le choix type et des dtails sur les
caractristiques des groupes de traitement et de comparaison potentiels, importantes pour le
processus de choix de l'chantillon.
Il y a beaucoup d'carts entre les cots et la prcision de l'chantillonnage qui devraient tre
claircis pendant que la structure de l'chantillonnage se dveloppe. Par exemple en conduisant un
chantillon sur deux ou trois niveaux, on rduira les dpenses tant du tirage des chantillons que du
travail de terrain, mais les erreurs de tirage des chantillons, et donc la prcision des valuations,
seront augmentes.
Une fois que les variables de rsultats et la population concerne ont t dtermins par l'quipe
d'valuation, une premire dmarche pour le spcialiste du tirage des chantillons serait de
dterminer le calcul de masse (voir Valadez et Bamberger 1994, pp. 382-84, pour une discussion du
processus). Puisque le calcul de masse peut tre excut en employant seulement une mesure de
rsultat et que les valuations en considrent souvent plusieurs, quelques dcisions stratgiques
devront tre prises au sujet de quel indicateur de rsultat employer en concevant l'chantillon.
Aprs le dveloppement de la stratgie et de la structure de l'chantillonnage, le spcialiste du
tirage des chantillons doit aussi tre associ la slection de l'chantillon pour le travail de terrain
et le test pilote pour assurer que ce dernier n'est pas conduit dans un secteur qui sera intgr dans
l'chantillon pour le travail de terrain. Le travail de terrain initial sera souvent ncessaire comme
une partie de la procdure de choix de l'chantillon. Par exemple, un processus d'numration sera
ncessaire s'il n'y a pas de cartes jour des units ncessaires pour l'chantillon (les mnages, les
coles et ainsi de suite) ou si une certaine population cible, comme des enfants sous aliments, doit
tre identifie afin de pouvoir tre choisie pour le but de l'valuation.
Une fois que le travail de terrain est achev, le spcialiste du tirage des chantillons doit fournir
l'assistance en dterminant les poids du tirage des chantillons pour calculer les facteurs d'expansion
et corriger les erreurs d'chantillonnage et l'absence de rponse (Grosh et Muoz 1996 fournit une
discussion dtaille des procdures d'chantillonnage comme une partie du travail d'enqute sur le
mnage. Kish 1965 est considr comme l'un des manuels standards















DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 35


dans le domaine de l'chantillonnage). Et finalement, le spcialiste du tirage des chantillons devrait
produire un document dtaillant la stratgie de l'chantillonnage y compris (a) l'tape de la
conception de l'chantillonnage, les calculs de masse employant les variables d'impact, la
dtermination des erreurs d'chantillonnage et des tailles, l'utilisation de la stratification pour
analyser les populations cibles, (b) partir de l'tape de slection de l'chantillon, un profil des
tapes du prlvement des chantillons et des procdures de choix, (c) partir de l'tape du travail
de terrain prparer pour l'analyse, le rapport entre la taille de l'chantillon et la population dont il a
t choisi les taux d'absence de rponse et d'autres renseignements employs pour informer
les poids, et l'utilisation des donnes d'valuation. Ce document peut tre employ pour conserver
les rapports du projet d'valuation et devrait tre intgr aux donnes chaque fois qu'elles sont
distribues pour aider guider les analystes dans l'utilisation des donnes d'valuation.

Questionnaires. Llaboration du questionnaire est importante pour la validit de l'information
collecte. Il y a quatre types gnraux d'information ncessaire pour une valuation d'impact
(Valadez et Bamberger 1994). Ce sont :

La classification des donnes nominales avec des personnes interroges classes selon
qu'elles sont participantes au projet ou appartiennent au groupe tmoin
L'exposition aux variables de traitement enregistrant non seulement les services et bnfices
reus mais aussi la frquence, la quantit et la qualit - valuer la qualit peut tre trs
difficile;
Les variables de rsultat pour mesurer les effets dun projet y compris des produits
immdiats, les rsultats durables ou la prestation continue de services sur une longue priode
et des impacts de projet comme des revenus amliors et l'emploi ;
Les variables incidentes qui affectent la participation un projet ou le type d'impact produit,
comme l'individu, le mnage, ou des caractristiques de l a communaut - ces variables
peuvent tre importantes pour l'exploration des distorsions.

La manire dont on pose les questions, aussi bien que l'ordre des questions, sont tout aussi
importants dans la production d'information fiable. Un exemple appropri est la mesure du bien-tre
qui serait ncessaire pour mesurer l'impact direct d'un projet sur la rduction de la pauvret.
Demander aux individus le niveau de leurs revenus ne fournirait pas ncessairement des rsultats
prcis sur leur niveau de bien-tre conomique. Comme discut dans la littrature sur la mesure du
bien-tre, des questions sur les dpenses, la composition des mnages, les actifs, les cadeaux et les
envois de fonds et la valeur impute de l'alimentation produite dans le pays et les logements
occups par les propritaires sont gnralement
















36 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT


employs pour saisir la vraie valeur du bien-tre des mnages et des individus. Le rappel du temps,
utilis parmi les lments de dpense ou l'ordre dans lequel on pose ces questions, peut
significativement affecter la validit de l'information collecte.
Parmi les lments nots pour un bon questionnaire, il y a : le garder court et ax sur des
questions importantes, s'assurer que les instructions et les questions soient claires, limiter les
questions celles ncessaires pour l'valuation et inclure une option "pas d'opinion" pour les
questions fermes afin de s'assurer des donnes fiables et utiliser des procdures judicieuses pour
administrer le questionnaire qui peut en effet tre diffrent pour des enqutes quantitatives et
qualitatives.

Problmes du travail de terrain. Le travail avec le personnel local ayant une grande exprience
dans la collecte de donnes similaires celles ncessaires pour l'valuation peut normment
faciliter les oprations du travail de terrain. Non seulement ce personnel peut fournir linformation
ncessaire sur le territoire gographique couvrir mais leur connaissance peut aussi tre critique
pour dvelopper des normes employes dans la localisation et l'approche des informateurs. Le
personnel de terrain dont l'expertise se situe dans un secteur autre que celui demand pour l'effort
d'valuation peut prsenter des problmes comme ce fut le cas dans une valuation de l'ducation au
Nicaragua qui a employ une socit spcialise dans le sondage d'opinion publique pour mener
une enqute sur les coles et les mnages. L'expertise qui avait permis cette socit d'acqurir une
excellente rputation base sur sa prvision prcise des rsultats d'lection incertains n'tait pas utile
pour savoir comment approcher des coliers ou fusionner des jeux de donnes quantitatives. Le
manque d'expertise a cr des problmes substantiels de mise en oeuvre de l'enqute qui ont
ncessit des semaines d'action rectificative par une quipe commune du ministre de l'ducation
nationale et la Banque Mondiale.
Le type de personnel ncessaire pour la collecte des donnes sur le terrain variera selon les
objectifs et le centre d'intrt de l'valuation. Par exemple, une valuation d'impact quantitative d'un
programme de nutrition pourrait ncessiter l'intgration d'un spcialiste de l'anthropomtrie, pour
collecter des mesures de hauteur pour poids, comme membre de l'quipe d'enqute tandis que
l'valuation d'impact d'une rforme ducative intgrerait trs probablement le personnel spcialis
dans l'application des tests de prestations acadmiques. La plupart des enqutes quantitatives
ncessiteront au moins un responsable d'enqute, un responsable des donnes, un responsable du
travail de terrain, des superviseurs de terrain, des interviewers, des oprateurs de saisie de donnes
et des chauffeurs. Selon l'approche qualitative utilise, le personnel de terrain peut tre similaire,
l'exception des oprateurs de saisie de donnes. Les comptences des intervieweurs cependant,
seraient tout fait diffrentes avec des interviewers qualifis ncessitant une formation spcialise,
particulirement pour des groupes cibles, l'observation directe et ainsi de suite.
Il faut se rappeler trois autres proccupations en projetant des oprations d'enqute. D'abord, il est
important de prendre en considration des vnements temporels















DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 37


qui peuvent affecter le succs oprationnel du travail de terrain et la validit externe des donnes
collectes, comme le calendrier de l'anne scolaire, les vacances, les saisons pluvieuses, les temps
de la moisson ou des migrations de masse. Deuximement, il est crucial pour les instruments de
collecte de donnes de tests pilotes, mme s'ils sont des adaptations d'instruments qui ont t
employs prcdemment, la fois de tester la qualit de l'instrument en vue de produire les donnes
demandes et de familiariser le personnel de terrain avec la dynamique du processus de la collecte
de donnes. Les enqutes pilotes peuvent aussi servir comme une base de preuves par le choix de
l'quipe centrale du personnel de terrain pour effectuer l'enqute proprement dite. Beaucoup de
collecteurs de donnes expriments commenceront avec 10 20 pour cent de plus de personnel
dans lenqute pilote que celui qui sera utilis dans le travail de terrain rel et choisira ensuite les
meilleurs pour former les quipes relles de la collecte de donnes. Finalement, les communications
sont essentielles pour des oprations sur le terrain. Par exemple, si les conditions locales permettent
leur utilisation, le travail de terrain peut tre renforc en quipant les superviseurs avec des
tlphones mobiles pour qu'ils puissent rester en contact avec le responsable d'enqute, le
responsable des enqutes sur le terrain et d'autres personnels pour rpondre aux questions et les
tenir informs de ltat davancement.

Gestion des donnes et accs. Les objectifs d'un bon systme de gestion des donnes devraient
tre d'assurer l'opportunit et la qualit des donnes d'valuation. L'opportunit dpendra de
l'intgration autant que possible entre la collecte de donnes et leur traitement pour que les erreurs
puissent tre vrifies et corriges avant la fin du travail de terrain. La qualit des donnes peut tre
assure en faisant des contrles de cohrence pour valuer la validit interne des donnes collectes
aussi bien pendant qu'aprs que les donnes ont t saisies et en assurant que la documentation
approprie soit disponible pour les analystes qui utiliseront les donnes. La documentation doit
rsister deux types d'information : (a) l'information ncessaire pour interprter les donnes
incluant des guides, des dictionnaires de donnes, des guides pour les variables et toutes traductions
ncessaires et (b) l'information ncessaire pour conduire l'analyse qui est souvent contenue dans un
document d'information de base qui contient une description du centre d'intrt et de l'objectif de
l'valuation, des dtails sur la mthodologie de l'valuation, des rsums ou copies des instruments
de collecte des donnes, l'information sur l'chantillon, une discussion du travail de terrain et des
directives pour l'utilisation des donnes.
On recommande que les donnes produites par des valuations soient rendues disponibles tant
donn le caractre de bonne valeur pour les besoins d'valuation. Un travail de suivi
complmentaire pour valuer des impacts long terme par une quipe autre que celle qui a effectu
le travail d'valuation original. Pour faciliter le processus du partage des donnes, au dbut de
l'valuation, une politique d'accs ouvert aux donnes doit tre convenue et signe, tablissant des
normes et des responsabilits de la diffusion des donnes. Une politique d'accs ouvert aux donnes
met une charge supplmentaire sur la bonne documentation des donnes et la protection














38 DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT


de la confidentialit des enquts. Si les donnes de l'quipe sont collectes des mmes enquts sur
une priode de temps par des agences diffrentes, les enquts devront tre identifis pour mener le
travail complmentaire. Cette exigence doit tre quilibre par rapport aux normes de
confidentialit qui accompagnent gnralement toute recherche du secteur social. Une solution
possible est de rendre les donnes anonymes du fichier disponibles pour tous les analystes
concerns mais de demander aux chercheurs intresss par la conduite du travail complmentaire
d'entrer en contact avec l'agence responsable des donnes pour obtenir l'inscription des donnes
dans l'chantillon donnant ainsi une occasion l'agence d'assurer le contrle de la qualit du travail
venir grce au contact avec les chercheurs voulant l'effectuer.

Analyse, Rapport et Diffusion


Comme avec d'autres tapes du processus d'valuation, l'analyse des donnes d'valuation,
quantitatives ou qualitatives, exige la collaboration entre les analystes, les producteurs de donnes
et les dcideurs pour clarifier des questions et sassurer des rsultats de qualit en temps opportun.
Des problmes avec le peaufinage et l'interprtation des donnes surgiront presque srement
pendant l'analyse et ncessiteront la contribution des divers membres de l'quipe.
Certaines des techniques et des dfis effectuer l'analyse quantitative base sur des mthodes
statistiques sont incluses dans le chapitre 3. Il existe aussi beaucoup de techniques pour analyser des
donnes qualitatives (voir Miles et Huberman 1994). Bien qu'une discussion dtaille de ces
mthodologies soit hors de la porte de ce manuel, deux mthodologies gnralement employes
pour l'valuation d'impact sont mentionnes - l'analyse de contenu et l'analyse de cas (Taschereau
1998).
L'analyse de contenu est employe pour analyser des donnes tires d'interviews, dobservations
et de documents. Dans l'examen des donnes, l'valuateur dveloppe un systme de classification
pour les donnes, l'organisation de l'information base sur (a) les questions d'valuation par
lesquelles l'information a t collecte, (b) comment le matriel sera employ, et (c) le besoin de
renvoyer l'information. Le codage des donnes peut tre tout fait complexe et peut ncessiter
beaucoup d'hypothses. Une fois qu'un systme de classification a t mis en place, la phase de
l'analyse commence, qui est aussi un processus difficile. Cela implique la recherche de modles
dans les donnes et un dplacement au-del de la description vers le dveloppement d'un ensemble
de processus de programme, des rsultats et des impacts. Cela se fait mieux avec la participation des
membres de l'quipe. De nouveaux programmes informatiques, ethnographiques et linguistiques
sont aussi maintenant disponibles, conus pour soutenir l'analyse des donnes qualitatives.
L'analyse de cas est base sur des tudes de cas conues pour une tude approfondie d'un groupe
particulier ou dun individu. Le niveau lev du dtail peut fournir une information riche pour
valuer l'impact du projet. Les processus de la collecte et














DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 39

de l'analyse des donnes sont raliss simultanment, puisque les valuateurs font les observations
pendant qu'ils collectent les informations. Ils peuvent alors dvelopper et valuer des explications et
relier les renseignements critiques.
Qu'on analyse l'information quantitative ou qualitative, d'autres leons gnrales lies l'analyse,
le rapport et la diffusion peuvent aussi tre tires des exemples de cas de l'Annexe 1.
Premirement, l'analyse prend gnralement plus de temps que prvu, particulirement si les
donnes ne sont pas aussi propres ou accessibles au dbut de l'analyse, si les analystes n'ont pas
l'exprience du type de travail d'valuation, ou s'il y a un accent mis sur le renforcement des
capacits par le travail fait en collaboration. Dans l'examen des tudes de cas traites pour cet
article, l'analyse la plus rapide a pris environ un an aprs la production des donnes et l'analyse la
plus longue a pris prs de deux ans. Le cas du chapitre 3 illustre certaines des nombreuses tapes
intgres dans l'analyse et la raison pour laquelle elle peut prendre plus de temps que prvu.
Deuximement, l'valuateur doit projeter de sortir plusieurs produits comme rsultats du travail
analytique, gardant l'esprit deux lments. Le premier est de s'assurer du choix du temps des
productions qui doit se situer autour dvnements cls : temps de prise de dcisions sur l'avenir du
projet comme les revues mi-parcours ; les lections, la fermeture d'une phase pilote. Le second est
l'audience laquelle les rsultats sont destins. Les produits doivent tre diffrencis selon
l'audience pour laquelle ils sont conus, y compris les dcideurs du gouvernement, les responsables
de programmes, les donateurs, le grand public, les journalistes et les universitaires.
Troisimement, les produits auront la meilleure pertinence politique s'ils contiennent des
recommandations claires et pratiques dcoulant de l'analyse d'impact. Celles-ci peuvent tre
spares en priorits court et long terme et si possible, inclure des incidences budgtaires. Les
dcideurs seront enclins chercher la fin des recommandations.
Finalement, les rapports doivent tre prvus comme partie intgrante d'une stratgie de diffusion
largie qui peut inclure des prsentations pour des audiences diverses, des communiqus de presse,
des informations aux informateurs et la diffusion sur lInternet. Une telle stratgie de diffusion doit
tre incluse au stade initial du processus de planification pour s'assurer qu'il en est tenu compte dans
le budget et que les rsultats atteindront l'audience prvue.