Vous êtes sur la page 1sur 23

DI RECTI ONS DU DEVELOPPEMENT

Evaluation de limpact
des projets de Dveloppement
sur la pauvret






Manuel lattention des Praticiens






Judy L. Baker






Banque Mondiale
Washington, D.C.




2000 Banque Internationale pour la Reconstruction
et le Dveloppement / BANQUE MONDIALE
1818 H Street, N.W.
Washington, D.C. 20433
Tous droits rservs
Edit aux Etats-Unis dAmrique
Premier tirage : Mai 2000
Les dclarations, interprtations et conclusions exprimes dans ce document nengagent que
leurs auteurs et ne refltent aucunement les opinions de la Banque Mondiale ou des
institutions qui lui sont affilies ni du Conseil des Administrateurs ou des pays quils
reprsentent. La Banque Mondiale ne garantit pas lexactitude des donnes contenues dans
cette publication et naccepte aucune responsabilit pour toute consquence dcoulant de
leur usage.
Le contenu de cette publication est protg par le droit dauteur. La Banque Mondiale
encourage la diffusion de son travail et, dans les conditions normales, accordera rapidement
la permission de reproduire des parties de louvrage.
La Banque Mondiale accordera la permission de photocopier des articles pour une
utilisation interne ou personnelle, pour lutilisation interne ou personnelle de clients
spcifiques ou lutilisation comme matriel didactique, condition que les honoraires
appropris soient pays directement Copyright Clearance Center, Inc. (Bureau du Droit
dAuteur), 222 Rosewood Drive, Danvers, MA 01923, USA ; tlphone 978-750-8400, fax
978-750-4470. Prire de contacter le Bureau du Droit dAuteur avant la photocopie des
articles.
Pour obtenir la permission de rimprimer des articles ou des chapitres, prire denvoyer un
fax de votre demande avec information complte au Dpartement de la Rdition, Copyright
Clearance Center, Inc., Fax 978-750-4470.
Pour plus de renseignements sur les droits et licences, prire de vous adresser au Bureau de
lEditeur, Banque mondiale, ladresse ci-dessus ou envoyer un fax au 202-522-2422.
ISBN 0-8213-4697-0


Bibliothque du Congrs. Fichier des donnes de la publication
Baker, Judy L., 1960-
Evaluation de limpact des projets de dveloppement sur la pauvret : Manuel lAttention des
Praticiens / Baker, Judy L.,
p. cm. (Directions du dveloppement)
Rfrences bibliographiques incluses.
ISBN 0-8213-4697-0
1. Projets de dveloppement conomique Evaluation Guide, manuels etc.
2. Pays pauvres en dveloppement I. Titre, II. Direction du dveloppement (Washington,
D.C.)
HD75.9 .B35 2000
338.900684 dc21 00-028325



Table des matires


Avant-propos vi
Remerciements viii
1 Dfinition des concepts et techniques d valuation dimpact 1
2 Dmarches cls dans la Conception et la mise en uvre
des valuations de limpact 12

3 Application des mthodes analytiques dvaluation de
limpact : Une tude de cas 30
4. Exploiter les valuations de limpact de la Meilleure Pratique 48
5. Bibliographie 62
6. Annexes 73
Annexes 1 : Etudes de cas 73
1.1 Evaluation des acquis des pauvres du programme protection-travail
( programme associant aide sociale et aide lemploi )
Le programme TRABAJAR de lArgentine 73

1. 2 La micro-finance aide t-elle vraiment les pauvres ?
Preuves nouvelles partir des programmes les plus
importants au Bangladesh 79


iii
iv EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

1.3 Education contre vivres au Bangladesh : Evaluation dun
programme social cibl lorsque le placement est dcentralis 105
1.4 Evaluation du fonds dinvestissement social de la Bolivie 109
1.5 Impact des programmes de travail actifs : Rpublique Tchque 114
1.6 Impact du crdit et ducation sur la nutrition des mres et
de leurs jeunes enfants : Programme de la Banque rurale
du Lower Pra au Ghana 119
1.7 Manuels scolaires et rsultats des tests : Cas concret
dune ventuelle valuation au Kenya 123
1.8 Evaluation du projet de vulgarisation agricole au Kenya 128
1.9 Impact du Programme de Recyclage du Mexique sur
lemploi et les salaires (PROBECAT) 134
1.10 Programme national pour lducation, la sant, et la nutrition
(PROGRESA) au Mexique (Proposition dvaluation ) 140
.
1.11 Evaluation de la Rforme scolaire au Nicaragua :
une approche quantitative et qualitative combine 145
1.12 Amliorer lenseignement des mathmatiques lmentaires
au Nicaragua : Une tude exprimentale de limpact des
manuels et de la radio sur la performance 151
1.13 Impact des programmes alternatifs de recouvrement des cots
sur laccs aux soins de sant et lquit au Niger 156
1.14 Rsultats scolaires dans les tablissements primaires
aux Philippines : Evaluation de limpact partir de
quatre expriences 160
1.15 Evaluation de limpact des projets de routes rurales
sur la pauvret au Vietnam 165

Annexe 2 : Modle de termes de rfrence 169

2.1 Projet de nutrition et de dveloppement de la petite enfance
de lOuganda 169
2.2 Evaluation de limpact des routes rurales :.
Niveau de rfrence de 1997 au Vietnam 188


Annexe 3 : Budget type dune valuation de limpact dun
Programme alimentaire au niveau scolaire 195

Annexe 4 : Indicateurs dimpact Evaluation du fond
social dinvestissement en Bolivie 198

Annexe 5 : Modle de registre des rcapitulatifs de conception de
projetpour le document dachvement du projet ou
document dvaluation du projet 204

Annexe 6 : Matrice danalyse Evaluation de limpact du fond
social dinvestissement durgence au Nicaragua 208

TABLES DES MATIERES V

Encadrs
1.1 Le problme de la distorsion de slection 5
1.2 Rsum des mthodes quantitatives pour valuer
limpact de programme 6
1.3 Rsum des mthodes employes pour valuer des politiques
dajustement structurel 11
2.1 Principales dmarches dans la conception et lexcution
dvaluations dimpact 17
2.2 Points cls pour identifier des ressources de donnes pour
lvaluation dimpact 21
3.1 Etapes de lharmonisation du score de propension 50
3.2 Sources de distorsion dans les estimations primaires de
limpact du PROSCOL 53
3.3 Faire une diffrence double 56
3.4 Mesures de la pauvret 59
3.5 Comparaison de la pauvret avec ou sans le Programme 60

Tableaux
2.1 Contrle des mthodologies dvaluation et concordance
des donnes 28
2.2 Principaux instruments de collecte de donnes pour lvaluation
dimpact 32
4.1 Rsum des valuations dimpact de la Meilleure pratique 67
4.2 Rsum des cots estims partir de plusieurs valuations
dimpact de la Banque Mondiale 79










Avant-Propos






Malgr les milliards de dollars injects dans laide au dveloppement chaque anne, nous
savons encore peu de chose sur limpact rel des projets sur les pauvres. Les bnfices de la
croissance conomique, les investissements en capital humain et la mise disposition de
filets de scurit pour les pauvres sont largement documents Cependant, pour un
programme ou projet spcifique dun pays donn, lintervention produit-elle les bnfices
escompts et quel a t limpact global sur la population? Le programme ou projet pourrait -
il tre mieux conu pour atteindre les rsultats escompts ? Les ressources sont- elles
dpenses de faon efficiente ? Tels sont les types de questions auxquelles on ne peut
rpondre que par une valuation dimpact, une approche qui mesure les rsultats dune
intervention de programme en liminant les autres facteurs possibles.
Beaucoup de gouvernements, dinstitutions et de directeurs de projet sont rticents
effectuer des valuations dimpact parce quon les considre trop coteuses, prenant du
temps et techniquement complexes et parce que les rsultats peuvent tre politiquement
sensibles, surtout sils sont ngatifs. Beaucoup dvaluations ont aussi t critiques parce
que les rsultats arrivent trop tard, ne rpondent pas aux bonnes questions ou nont pas t
effectus avec la rigueur analytique suffisante. Une contrainte supplmentaire est souvent la
disponibilit limite et la qualit des donnes.
Pourtant avec une planification approprie et prcoce, lappui des dcideurs et un
investissement relativement minime compar au cot global du projet, une valuation
rigoureuse peut avoir une trs forte influence sur lestimation du caractre appropri et
efficient des programmes.
Lvaluation de limpact est particulirement critique dans des pays en dveloppement
o les ressour ces sont rares et chaque dollar dpens doit aspirer maximiser son impact sur
la rduction de la pauvret. Si les programmes sont mal conus, natteignent pas les
populations cibles ou sont peu rentables, avec linformation juste ils peuvent tre
reformuls, amliors, ou le cas chant abandonns. La connaissance acquise partir des
tudes dvaluation dimpact fournira aussi la ressource dcisive pour la conception
approprie de programmes et de projets futurs.
Ce manuel cherche fournir aux dir ecteurs de projet et aux analystes de politique les
outils ncessaires pour valuer limpact dun projet. Il est destin aux



vi





Avant-Propos



lecteurs qui ont une connaissance gnrale des statistiques. Pour certaines des mthodes
statistiques traites plus en profondeur le lecteur est pri de se reporter la littrature
technique sur le sujet. Le chapitre 1 prsente une vue densemble des concepts et des
mthodologies, le chapitre 2 traite des dmarches cls et des questions connexes
considrer dans la mise en uvre, le chapitre 3 illustre les diverses techniques analytiques
dvaluation par une tude de cas et le chapitre 4 contient une discussion de leons tires
dun riche jeu dvaluations de " Meilleure Pratique" de projets de pauvret qui ont t
revues pour ce manuel. Les tudes de cas contenues dans lannexe 1 ont t slectionnes
partir dune gamme dvaluations effectues par la Banque Mondiale, dautres agences de
donateurs, des institutions de recherche et des cabinets de conseil privs. Ils ont t choisis
en fonction de leur rigueur mthodologique, dans une tentative de couvrir un ventail vari
de situations de pays, de types de projets et de mthodologies dvaluation.
Les annexes comportent galement des chantillons de composantes essentielles qui
seraient ncessaires pour planifier nimporte quelle valuation dimpact des modles de
termes de rfrence, budgets, indicateurs dimpact, cadre de conception et matrice
danalyse.
Bien que les techniques employes dans lvaluation dimpact soient semblables travers
des secteurs et des sous-groupes de population, les illustrations de mthodologies et les
exemples de cas dans ce manuel se concentrent sur lvaluation de limpact sur des projets
axs sur les pauvres. Limpact sur la pauvret peut englober une vaste gamme de projets et
de questions dvaluation, comme la mesure de limpact de programmes de micro- finance
sur le revenu du mnage, limpact dun programme de formation sur lemploi, limpact dun
programme de cantine scolaire, sur lassiduit de ltudiant ou limpact de la reconstruction
de routes rurales sur le bien-tre du mnage.
Indpendamment du type de projet ou des questions traites, la conception de chaque
valuation dimpact sera unique, selon des facteurs comme le type de donnes disponibles,
les capacits locales et les proccupations de programmation du temps et de budget y
affrents. Finalement, les valuations gnreront des rsultats de haute qualit, crdibles et
gnralisables pour des dcideurs exigeront, un appui financier et politique fort ; une
planification prcoce et prudente, une participation des partenaires dans la conception des
objectifs et lapproche de ltude, des donnes fiables ; une combinaison approprie de
mthodologies, y compris des techniques tant quantitatives que qualitatives ; lapplication
rigoureuse de ces techniques ; et la communication entre les membres dquipe tout au long
du processus.















Remerciements




La prparation de ce livre a bnfici des contributions inestimables dune quipe cl. Je
voudrais remercier, tant pour leurs contributions crites que pour leurs commentaires utiles
au cours du travail, les membres dquipe suivants : Gillette Hall (tudes de cas, leons
tires), Julia Lane (tudes de cas, leons tires), Martin Ravallion (tude de cas de mthode
analytique), et Laura Rawlings (questions de la mise en uvre, leons tires), et le travail
sur lvaluation dimpact effectu par Kene Ezemenari, Gloria Rubio, Anders Rudqvist, et
K. Subbarao. La recherche de fond a t effectue par Matthew Fleming et Samir Stewart.
Le livre a bnfici du soutien conjoint de la Rgion Amrique Latine et Carabes et du
Rseau pour la Rduction de la pauvret et de la Gestion Economique de la Banque
mondiale sous la direction de Norman Hicks, Guillermo Perry et Michael Walton. Le travail
a aussi bnfici normment des commentaires reus de Omar Arias, Sabina Alkire,
Michael Bamberger, Soniya Carvalho, Wendy Cunningham, Norman Hicks, Shahidur
Khandker, Norbert Schady, et Quentin Wodon.
















viii






Chapitre 1
Dfinition des Concepts et Techniques
pour lEvaluation dImpact


Une valuation globale se dfinit dans la littrature comme une valuation qui intgre le
contrle, lvaluation du processus, lvaluation du cot-bnfice et lvaluation dimpact.
Cependant chacune de ces composantes est nettement diffrente. Le contrle aidera
valuer si un programme est mis en uvre comme il a t planifi. Un systme de contrle
de programme permet la rtroaction continue sur ltat de la mise en uvre du programme,
lidentification des problmes spcifiques comme ils apparaissent. . Lvaluation du
processus traite du fonctionnement du programme et se concentre sur des problmes de
prestation de service. Les valuations cot-bnfice ou de rentabilit valuent des cots de
programme (montaire ou non montaire), en particulier leur relation avec des utilisations
alternatives des mmes ressources et des bnfices produits par le programme. Et
finalement, lvaluation dimpact est destine dterminer de faon plus large si le
programme a eu limpact dsir sur des individus, des mnages et des institutions et si ces
effets sont attribuables lintervention du programme. Les valuations dimpact peuvent
aussi explorer des consquences imprvues, soit positives soit ngatives sur les
bnficiaires.
Lintrt particulier de ce manuel est la mesure dans laquelle les bnfices du projet
atteignent les pauvres et limpact que ces bnfices ont sur leur bien-tre. Certaines des
questions traites dans lvaluation dimpact sont entre autres : quel a t limpact du projet
sur les bnficiaires ? Certaines amliorations ont elles rsult directement du projet ou
bien auraient - elles de toute faon t obtenues ? La conception du programme pouvait-elle
tre modifie pour amliorer limpact ? Les dpenses taient-elles justifies ?
Ces questions ne peuvent pas, cependant, tre simplement values par le rsultat dun
projet. Dautres facteurs ou vnements peuvent tre en corrlation avec les rsultats, sans
tre engendrs par le projet. Pour assurer la rigueur mthodologique une valuation
dimpact doit estimer les effets contre factuels cest--dire ce qui serait arriv si le projet
navait jamais vu le jour ou ce qui aurait pu arriver. Par exemple, si un diplm rcent dun
programme de formation de travail trouve un emploi, est-ce que cest un rsultat direct du
programme ou est- ce que lindividu de toute faon aurait trouv du travail ? Pour dterminer
la comparaison contre factuelle il est ncessaire de distinguer leffet des interventions des
autres facteurs une tche quelque peu complexe. Cela se fait travers la comparaison de
groupes tmoins (ceux qui ne participent pas un programme ou nen reoivent pas de
bnfices) avec les groupes cibles (les individus qui reoivent lintervention). Les groupes



2 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

tmoins sont choisis alatoir ement de la mme population que les participants au
programme tandis que le groupe de comparaison est tout simplement le groupe qui nest pas
pris en compte par ltude du Programme. Les groupes de comparaison aussi bien que les
groupes de contrle devraient ressembler au groupe cible en tous points, la seule diffrence
entre les groupes tant la participation au programme.
La dtermination de la comparaison contre factuelle est au cur de la conception
dvaluation. Elle peut tre ralise selon plusieurs mthodologies regroupes en deux
grandes catgories, des conceptions exprimentales (alatoires) et des conceptions quasi
exprimentales (non alatoires). Il est cependant difficile de distinguer limpact du
programme des conditions contre factuelles qui peuvent tre affectes par lhistoire, la
distorsion de la slection et la contamination. Des mthodes qualitatives et participatives
peuvent aussi tre utilises pour valuer limpact. Ces techniques prsentent souvent des
vues critiques sur les perspectives des bnficiaires, la valeur des programmes pour les
bnficiaires, les processus qui auraient pu affecter les rsultats et une interprtation plus
approfondie des rsultats observs lanalyse quantitative. Les forces et les faiblesses de
chacune de ces mthodes sont traites plus en dtail ci-dessous. Comme le lecteur le
constatera, aucune technique nest parfaite et par consquent lvaluateur doit dcider quant
aux options pour chaque mthode choisie. La planification prcoce et soigne prsent era
cependant beaucoup plus doptions mthodologiques dans la conception de lvaluation.

Conceptions Exprimentales

Les conceptions exprimentales galement connues comme alatoires sont gnralement
considres comme la plus solide des mthodes dvaluation. En affectant de manire
alatoire lintervention parmi les bnficiaires ligibles, le processus de nomination lui
mme cre les groupes cibles et les groupes tmoins comparables qui sont statistiquement
quivalents les uns des autres tant donn les tailles dchantillon appropries. Cest un
rsultat trs positif parce que, dans la thorie les groupes tmoins produits par la nomination
alatoire servent comme une parfaite comparaison contre factuelle libre des questions de
distorsion de slections incommodantes qui existent dans toutes les valuations. Lavantage
principal de cette technique est la simplicit dans linterprtation des rsultats limpact du
programme sur le rsultat que lon value par la diffrence entre les moyennes des
chantillons du groupe cible et le groupe tmoin. Un exemple est lvaluation de manuels
scolaires au Kenya dans laquelle les valuateurs ont slectionn une rpartition alatoire de
sites de programme, ont men une enqute de base, cr des groupes de contrle et ont
ensuite administr le traitement qui dans ce cas tait la fourniture de manuels scolaires. Le
fait davoir des groupes de contrle et des groupes cibles a alors permis aux valuateurs de
dterminer clairement limpact des manuels sur lducation de ltudiant.
Tandis que lon considre les conceptions exprimentales comme lapproche optimale
lvaluation de limpact dun projet, en pratique plusieurs problmes subsistent. Dabord la
simulation de distribution alatoire peut tre contraire la morale par suite du refus des
bnfices ou services





DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT 3


aux membres autrement ligibles de la population pour les objectifs de ltude. Un exemple
extrme serait le refus de traitement mdical qui peut savrer tre dimportance vitale pour
certaines tranches dune population. Deuximement, il peut tre politiquement difficile de
fournir une intervention un groupe et pas un autre. Troisimement, la porte du
programme peut signifier quil ny a pas de groupes de non- cible en tant que tels, avec un
projet ou un changement de politique qui a une large porte par exemples un prt
dajustement ou des programmes administrs un niveau national. Quatrimement, des
individus au sein des groupes tmoins peuvent changer certaines caractristiques
didentification pendant lexprience, ce qui pourrait infirmer ou affecter les rsultats. Si,
par exemple, les gens se dplacent lintrieur et lextrieur dun secteur de projet, ils
peuvent se dplacer lintrieur et lextrieur du groupe cible ou du groupe tmoin.
Alternativement les gens qui on a refus un avantage de programme peuvent le chercher
par des sources alternatives ou ceux qui un programme est destin peuvent ne pas jouir de
lintervention. Cinquimement, il peut tre difficile dassurer que la slection est vraiment
alatoire. Lexemple pourrait tre les administrateurs qui excluent des candidats haut
risque pour raliser de meilleurs rsultats. Et finalement des conceptions exprimentales
peuvent tre coteuses et prendre beaucoup de temps dans certaines situations,
particulirement dans la collecte de nouvelles donnes.
La planification rigoureuse peut permettre de surmonter certains de ces problmes dans la
mise en uvre de conceptions exprimentales. La slection alatoire des bnficiaires
constitue une voie. Cela peut tre employ pour fournir la fois un mcanisme dattribution
politiquement transparent et la base dune conception dvaluation saine comme le budget
o des contraintes de linformation rendent souvent impossible didentifier exactement et
datteindre les bnficiaires les plus ligibles. Une deuxime voie se propose dinclure des
groupes tmoins dans le programme une tape postrieure une fois que lvaluation a t
conue et amorce. Dans cette technique, le choix alatoire dtermine plutt quand le
bnficiaire ligible reoit le programme ou sil ne le reoit pas. Cette technique a t
applique dans lvaluation dun programme de nutrition en Colombie qui a prsent
lavantage complmentaire de traiter des questions relatives au temps ncessaire imparti
pour que le programme devienne efficace dans la rduction de la sous alimentation (McKay
1978). Finalement la simulation de distribution alatoire peut tre applique dans un sous
ensemble de bnficiaires galement ligibles, en atteignant tous les candidats les plus
ligibles et en refusant les bnfices au moins ligibles comme cela a t fait pour
lvaluation du fond s social des projets dducation dans la rgion dEl Chaco en Bolivie
(Pradhan, Rawlings et Ridder 1998). Cependant, si la dernire suggestion est mise en
uvre, il faut garder lesprit que les rsultats de lvaluation seront applicables au groupe
dont lchantillon alatoirement constitu a t choisi.

Conceptions Quasi Exprimentales

Des mthodes quasi exprimentales (non alatoires) peuvent tre employes pour effectuer
une valuation quand il nest pas possible de constituer les groupes cible et de comparaison





4 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE


par une conception exprimentale. Ces techniques produisent les groupes de comparaison
qui ressemblent au groupe cible, au moins dans des caractristiques observes, par des
mthodologies dconomtrie, qui comprennent des mthodes correspondantes, des
mthodes de diffrence doubles, des mthodes de variables instrumentales et des
comparaisons rflexives (voir lEncadr 1.) Quand ces techniques sont employes, les
groupes de traitement et les groupes de comparaison sont dhabitude choisis aprs
lintervention en employant des mthodes non alatoires. Donc, des contrles statistiques
doivent tre appliqus pour traiter des diffrences entre les groupes cibles et les groupes de
comparaison et des techniques de correspondance sophistiques doivent tre utiliss pour
constituer un groupe de comparaison qui est aussi semblable que possible au groupe cible.
Dans certains cas un groupe de comparaison est aussi slectionn avant le traitement, bien
que la slection ne soit pas alatoire.
Lavantage principal des conceptions quasi-exprimentales est quelles peuvent partir de
sources de donnes existantes et sont ainsi souvent plus rapides et peu coteuses mettre en
uvre et elles peuvent tre excutes aprs quun programme ait t mis en uvre, compte
tenu des donnes existantes suffisantes. Les principaux inconvnients des techniques quasi-
exprimentales sont : (a) la fiabilit des rsultats est souvent rduite puisque la
mthodologie est statistiquement moins rigoureuse ; (b) les mthodes peuvent tre
statistiquement complexes ; et (c) il y a un problme de slection biaise. En crant un
groupe de comparaison plutt que den choisir un alatoirement, beaucoup de facteurs
peuvent affecter la fiabilit des rsultats. La complexit statistique exige lexpertise
considrable dans la conception de lvaluation et dans lanalyse et linterprtation des
rsultats. Cela ne peut pas toujours tre possible, particulirement dans certaines
circonstances des pays en voie de dveloppement.
Le troisime problme de distorsion de choix tient au fait que les sous- groupes dune
population cible participe diffremment un programme, affectant ainsi lchantillon et en
fin de compte les rsultats. Il y a deux types de slection biaise : ceux en raison des
diffrences observables ou autre dans les donnes et ceux en raison des diffrences non
observables (pas dans les donnes), souvent appeles slection biaise (Encadr 1.1) Une
slection biaise observable pourrait comprendre les critres de choix par lesquels un
individu est identifi, comme lemplacement gographique, la scolarisation ou la
participation au march du travail. Les lments non observables qui peuvent biaiser les
rsultats de programme pourraient inclure la capacit individuelle, lempressement
travailler, des rapports de famille et un processus subjectif de choix (souvent politiquement
orient) des individus pour un programme. Les deux types de distorsion de slection
peuvent engendrer des rsultats imprcis, comprenant une sous estimation et surestimation
dimpacts rels de programme dimpacts ngatifs, quand les impacts rels de programme
sont positifs (et vice versa) et des impacts statistiquement insignifiants quand des impacts
rels de programme sont significatifs et vice versa. (Voir, par exemple, LaLonde 1986,
Fraker et Maynard 1987, Lalonde et Maynard 1987 et Friedlander et 1995 Robins.) Il est
possible de matriser le biais par des techniques statis tiques comme la combinaison, et les
variables instrumentales, mais il est trs difficile de les corriger entirement


DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT 5

ce qui reste un dfi principal pour des chercheurs dans le domaine danalyse dimpact.
Parmi les techniques de conception quasi-exprimentale, les techniques de combinaisons
mixtes sont gnralement considres comme une seconde meilleure alternative de la
conception exprimentale. La majorit de la littrature sur la mthodologie dvaluation est
centre sur lutilisation de ce type dvaluation, refltant tant la frquence dutilisation des
groupes de comparaison que les nombreux dfis poss par le fait davoir des groupes de
comparaison moins meilleurs. Ces dernires annes il y a eu des avances substantielles
dans la propension des techniques de combinaisons de score. (Rosenbaum et Rubin 1985 ;
Jalan et Ravallion 1998). Cette mthode est



Encadr 1.1 Le Problme de la Distorsion de Choix

La slection biaise est relative aux lments inobservables qui peuvent dformer les
rsultats (par exemple la capacit individuelle, les conditions prexistantes). Des
expriences alatoires rsolvent le problme de la distorsion de choix en crant un groupe
tmoin exprimental de gens qui auraient particip un programme mais qui on avait
dlibrment refus laccs au programme ou le traitement. La nomination alatoire
nenlve pas la slection biaise mais quilibre par contre la distorsion entre les
chant illons participants et non participants. Dans les conceptions quasi-exprimentales,
les modles statistiques (par exemple, la concordance, les diffrences doubles des variables
instrumentales) abordent ceci en modelant les processus de slection pour arriver une
estimation non distorsion utilisant des donnes non exprimentales. Lide gnrale
consiste comparer des participants du programme et les non participants en maintenant
des processus de slection constants. La validit de ce modle est tributaire de la
spcification du modle.
Les salaires des femmes constituent un bon exemple. Les donnes reprsentent les
femmes qui veulent travailler. Si cette dcision tait prise, nous pourrions ignorer le fait
que ce ne sont pas tous les salaires qui sont valus et utiliser la rgression ordinaire pour
valuer un modle de salaire. Certes, la dcision des femmes de travailler nest pas prise au
hasard des femmes qui auraient de bas salaires ne choisiraient vraisemblablement pas de
travailler parce que leur salaire minimum accept est plus lev que le salaire offert par les
employeurs. Ainsi lchantillon de salaires observs pour des femmes serait tir vers le
haut.
Cela peut tre corrig sil y a des variables qui affectent fortement les chances pour
lobservation (le salaire minimum accept) ; mais pas le rsultat de ltude (le salaire
offert). Une telle variable pourrait tre le nombre denfants charge la maison.

Source : Greene (1997).






6 EVALUATION DE L'IMPACT DES PROJET S DE DEVELOPPEMENT SUR LA PAUVRETE

trs attirante pour les valuateurs qui ont des contraintes de temps et qui travaillent sans le
bnfice de donnes de base tant donn quelles peuvent tre utilises avec un chantillon
de donnes. Cette technique est cependant tributaire de l'acquisition de donnes fiables
parce qu'elle repose sur des bnficiaires d'un programme sur- chantillonn pendant la
suspension d'une plus large enqute en les associant ensuite un groupe de comparaison
choisi de plus grand chantillon de l'effort d'ensemble, souvent une enqute nationale sur les
mnages. Compte tenu de la croissance des demandes de grandes enqutes dans les pays en
voie de dveloppement, tel que les Etudes de Mesure de niveaux de vie objectifs
multiples, cette mthode d'valuation semble tre particulirement prometteuse. Un bon
exemple est l'valuation d'un programme de travaux publics -TRABAJAR- en Argentine
(Jalan et 1998 Ravallion, l'Annexe 1.1 et le chapitre 4).




Encadr 1.2 Rsum des Mthodes Quantitatives
pour Evaluer l'Impact de Programme

Les principales mthodes pour l'valuation d'impact sont traites ci-dessous. Etant donn,
quaucune mthode n'est parfaite, il est toujours souhaitable de procder par triangulation

Conception de Vrification Exprimentale ou Alatoire.

La simulation alatoire dans laquelle le choix du traitement et des groupes tmoins
est alatoire au sein de quelques groupes de gens bien dfinis. Dans ce cas il ne doit
y avoir aucune diffrence (dans lattente) entre les deux groupes en plus du fait que
le groupe cible avait accs au programme. (Il peut toujours y avoir des diffrences
en raison derreur dchantillonnage ; plus la taille des chantillons de traitement et
de vrification est grande, moins il y a d'erreur).

Des conceptions non exprimentales ou quasi -exprimentales

Harmonisation des mthodes ou vrifications construites dans lesquelles on essaye
de choisir des comparaisons idales qui correspondent au groupe de traitement d'une
enqute gnralise. Le type d'harmonisation le plus employ est l'harmonisation du
score de propension, dans laquelle le groupe de rfrence est mis en relation avec le
groupe de traitement sur la base d'un jeu de caractristiques observes ou en
employant "le score de propension" (la probabilit de la participation prvue compte
tenu des caractristiques observes); plus le score de propension se rapproche, et
meilleure est l'harmonisation. Un bon groupe de comparaison





DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT 7



vient du mme environnement conomique et tait soumis au mme questionnaire par des
enquteurs forms de la mme manire que le groupe de traitement.
Mthodes de la double diffrence ou de la divergence dans la diffrence, dans
lesquelles on compare un groupe de traitement et un groupe de comparaison (la
premire diffrence) avant et aprs un programme (la deuxime diffrence). Ceux
qui oprent la comparaison devraient tre arrts quand ils utilisent les scores de
propension et quils ont des scores qui se situent en dehors de la gamme observe
pour le groupe de traitement.
Des variables instrumentales ou des mthodes de vrification statistiques, dans
lesquelles on emploie une ou plusieurs variables qui concernent la participation, et
non les rsultats de la participation donne. Cela identifie la variation exogne dans
les rsultats attribuables au programme, reconnaissant que son placement nest pas
alatoire, mais intentionnel. Les variables instrumentales sont dabord utilises
pour prvoir la participation au programme ; alors on voit comment lindicateur de
rsultat varie avec les valeurs prvues.
Des comparaisons rflexives, dans lesquelles une enqute initiale est faite sur des
participants avant l'intervention et une enqute complmentaire est faite aprs.
L'enqute de base fournit le groupe de comparaison et l'impact est mesur par le
changement d'indicateur de rsultat avant et aprs lintervention.


Mthodes Qualitatives

Des techniques qualitatives sont aussi utilises pour faire l'valuation d'impact dans
l'intention de dterminer l'impact par la confiance quelque chose d'autre que la
comparaison avec un groupe tmoin pour faire une interfrence causale (Mohr 1995). Le
centre d'intrt se situe en revanche sur la comprhension du processus, des comportements
et conditions tels qu ils sont perus par les individus ou les groupes tudis (Valadez et
Bamberger1994). Par exemple, l'observation des mthodes qualitatives et particulirement
l'observation des participants peut permettre de comprendre les faons dont les mnages et
les communauts locales peroivent un projet et comment celui-ci les affecte. Parce que la
mesure de la comparaison avec un groupe tmoin se situe au cur des techniques d'analyse
d'impact, des conceptions qualitatives ont t gnralement employes conjointement avec
d'autres techniques d'valuation. L'approche qualitative emploie des mthodes relativement
ouvertes pendant la conception, la collecte des donnes et l'analyse. Des donnes
qualitatives peuvent aussi tre quantifies. Parmi les mthodologies employes dans des
valuations d'impact qualitatives, il y a les techniques dveloppes pour l'valuation rurale
rapide, qui repose sur la connaissance par les participants des conditions environnantes du
projet ou du programme dans toutes les tapes de l'valuation ou des valuations




8 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

participatives dans lesquelles les partenaires sont impliqus dans toutes les tapes de
l'valuation - dtermination de l'valuation des objectifs de l'tude, identification et slection
des indicateurs utiliser et participation la collecte de donnes et l'analyse. Pour une
discussion dtaille des mthodes participatives voir la Banque Mondiale (1996), Le "Livre
de Base sur lvaluation participative de la Banque Mondiale.
Les avantages des valuations qualitatives consistent en ce qu'elles sont flexibles,
peuvent tre spcifiquement construites aux besoins de l'valuation utilisant des approches
ouvertes, peuvent tre effectues rapidement en utilisant des techniques rapides et peuvent
normment accrotre les rsultats d'une valuation dimpact en fournissant une meilleure
comprhension des perceptions et priorits des partenaires et des conditions et processus qui
auraient pu affecter l'impact du programme.
Parmi les inconvnients majeurs, il y a la subjectivit en jeu dans la collecte des donnes,
le manque d'un groupe de comparaison et le manque de rigueur statistique tant donn les
tailles principalement petites des chantillons, rendant difficile la gnralisation une
population plus large et reprsentative. La validit et la fiabilit des donnes qualitatives
dpendent fortement de la comptence mthodologique, la sensibilit et la formation de
l'valuateur. Si le personnel de terrain n'est pas sensible aux normes et pratiques sociales et
culturelles spcifiques et aux messages non verbaux, les donnes collectes peuvent tre
mal interprtes. Et finalement sans un groupe de comparaison, il est impossible de
dterminer le groupe tmoin et ainsi la consquence d'impact du projet.

Combinaison de Mthodes Quantitatives et Qualitatives

Bien qu'il existe une large littrature sur les mthodes qualitatives et quantitatives d'impact,
il y a aussi une acceptation croissante du besoin de combiner les deux approches. Les
valuations d'impact utilisant des donnes quantitatives d'chantillons statistiquement
reprsentatives sont meilleures et conviennent l'valuation de la causalit utilisant des
mthodes conomtriques ou lobtention d'une conclusion gnralisable. Cependant, des
mthodes qualitatives permettent l'tude approfondie des questions slectionnes, des cas ou
des vnements et peuvent prsenter des aperus critiques dans les perceptives des
bnficiaires la dynamique d'une rforme particulire ou les causes caches de certains
rsultats observs dans une analyse quantitative. Il y a des diffrences significatives dans le
choix d'une technique au lieu d'une autre.
La combinaison des valuations quantitatives et qualitatives peut souvent s'avrer la
meilleure voie pour rpondre aux besoins d'information du projet. Dans la fusion des deux
approches, des mthodes qualitatives peuvent tre employes pour informer sur les
questions cls de l'valuation d'impact, examiner le questionnaire ou la stratification de
l'chantillon qualitatif et analyser le contexte social, conomique et politique dans lequel un
projet se situe tandis que des mthodes quantitatives peuvent tre employes pour informer
des stratgies de collecte de donnes qualitatives concevoir l'chantillon, informer dans
quelle mesure les rsultats observs dans





DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT 9


le travail qualitatif peuvent tre gnraliss une plus grande population en utilisant un
chantillon statistiquement reprsentatif et, l'analyse statistique peut tre employe pour
contrler les caractristiques du mnage et les conditions socio- conomiques de diffrents
secteurs d'tude liminant ainsi des explications alternatives des rsultats observs.
Il y a plusieurs avantages utiliser des approches intgres dans la recherche faite par
Bamberger (2000) qui s'applique aussi aux valuations d'impact. Parmi ceux-ci :
Les contrles de cohrence peuvent tre intgrs l'aide des procdures de
triangulation qui permettent deux ou plusieurs valuations indpendantes d'tre
faites pour des variables cls (comme le revenu, les avis sur des projets, les raisons
d'employer ou non des services publics et l'impact spcifique d'un projet).

Des perspectives diffrentes peuvent tre obtenues. Par exemple, bien que les
chercheurs puissent considrer le revenu ou la consommation comme indicateurs cls
de bien-tre du mnage, les tudes de cas peuvent rvler que les femmes sont plus
concernes par la vulnrabilit (dfinie comme le manque d'accs aux systmes
d'appui social dans les temps de crise, l'absence de pouvoir ou l'exposition la
violence).
L'analyse peut tre conduite des niveaux diffrents. Les mthodes d'enqute
peuvent fournir les bonnes valuations du bien-tre de l'individu, du mnage et au
niveau de la communaut, mais ils sont beaucoup moins efficaces pour analyser des
processus sociaux (conflit social, raisons d'employer ou de ne pas employer des
services, etc.) ou pour l'analyse institutionnelle (comment fonctionnent efficacement
la sant, l'ducation, le crdit et d'autres services et comment ils sont perus par la
communaut). Il y a beaucoup de mthodes qualitatives conues pour analyser des
questions comme le processus social, le comportement institutionnel, la structure
sociale et le conflit.
Des possibilits peuvent tre offertes la rtroaction pour aider interprter les
rsultats. Les rapports d'enqute comportent frquemment des rfrences aux
incohrences apparentes dans les rsultats ou aux diffrences intressantes entre
communauts ou groupes que l'on ne peut pas expliquer par des donnes. Dans la
plupart des recherches quantitatives, une fois la phase de collecte de donnes
acheve, il n'est pas possible de retourner sur le terrain pour vrifier de telles
questions. La plus grande flexibilit de la recherche qualitative rside dans la
possibilit de retourner sur le terrain pour recueillir des donnes complmentaires.
Des enquteurs emploient aussi des mthodes qualitatives pour vrifier des points
extrmes - rponses qui divergent des modles gnraux. Dans de nombreux cas,
l'analyste de donnes doit prendre une dcision arbitraire comme pour savoir si un
mnage ou une communaut qui prsente des conditions qui sont significativement
au-dessus ou au-dessous de la norme doivent tre exclus (en supposant qu'ils refltent
une erreur de rapport) ou si les chiffres doivent tre ajusts. Les mthodes
qualitatives permettent un suivi rapide sur le terrain pour vrifier ces cas.




10 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

En pratique la combinaison des mthodes quantitatives et qualitatives devrait tre effectue
chaque tape de l'valuation. Le chapitre 2 mentionne plusieurs possibilits pour le faire.
Par exemple la Rforme de l'Autonomie de l'Ecole au Nicaragua fournit un bon exemple de
mthodes intgres. Des mthodes quantitatives aprs une conception quasi exprimentale
ont t employes pour dterminer le rapport entre la gestion dcentralise et l'tude et
gnraliser des rsultats pour les diffrents types d'cole. En plus des techniques qualitatives
comprenant une srie d'interviews cls d'information et des discussions du groupe cible avec
le personnel local de diffrentes coles et des parents dlves ont t utilises pour analyser
le contexte dans lequel la Rforme a t prsente, examiner la dynamique du processus de
dcision dans chaque cole et valuer les perspectives de diffrents acteurs de la
communaut scolaire quant au processus d'autonomie (voir Annexe 1.11).

Autres Approches pour l'Evaluation de l'Impact


Deux autres termes sont particulirement appropris pour la discussion de l'valuation de
l'impact des projets sur la pauvret : (a) des approches de la mesure de l'impact des
Programmes d'Ajustement Structurel et (b) des valuations base de thorie. Tous les deux
intgrent beaucoup de mthodologies traites ci-dessus, mais chacun emploie une approche
diffrente.

Evaluation des Programmes d'Ajustement Structurel. Il y a eu un dbat substantiel
sur l'impact des programmes d'ajustement structurel sur le pauvre. Une grande partie des
justifications utilises pour soutenir ce dbat est, cependant, base sur des mthodes et des
hypothses dficientes. Tout comme d'autres projets, les changements de politique au titre
des Programmes d'Ajustement Structurel doivent tre (a) compars avec des hypothses
contre factuelles adaptes aux mmes contraintes macro-conomiques et (b) analyss dans
le contexte de la structure conomique locale et bass sur l'information empirique tire
d'enqutes sur le mnage. Ceci, cependant est trs difficile pour trois raisons. D'abord, les
changements de politique peuvent avoir un impact conomique de grande envergure ne
permettant pas de trouver les groupes de comparaison inchangs. Deuximement, cause
des facteurs exognes, des retards, des rtroactions et des substitutions, n'importe quels
changements du bien-tre des pauvres doivent tre interprts avec une prcaution extrme.
Et troisimement, il est difficile de prvoir ce qui serait arriv si l'ajustement n'avait pas eu
lieu - quelles politiques alternatives un gouvernement aurait pu poursuivre et quel en serait
l'impact sur le pauvre.
Dans la littrature, plusieurs approches ont t utilises, chacune avec ses propres dfauts.
Les techniques sont dans de nombreux cas semblables celles dcrites dans l'encadr 1.2,
bien que, comme indiqu dans l'encadr 1.3, valuer la comparaison contre factuelle
ncessite de grandes hypothses qui peuvent considrablement affecter la validit des
rsultats. Ceci est trait de la faon la plus viable en isolant les changements de politiques
spcifiques




DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT 11


qui affecteraient la population, comme la politique de taux de change, la politique
commerciale, des rductions de dpenses publiques et des rductions de l'emploi du secteur
public. Cependant, mme avec cette approche il peut tre difficile d'isoler l'impact de
politiques spcifiques. En guise d'exemples, voir Killick (1995), Poppele, Summarto et
Pritchett (1999), Bourguignon, de Melo et Suwa (1991) et Sahn, Dorosh et Younger (1996).


Encadr 1.3 Rsum des Mthodes Employes pour Evaluer des
Politiques d'Ajustement Structurel

Approches sans comparaison contre factuelle

Des tudes qualitatives qui valuent les conditions de la population (identification des
sous-groupes vulnrables) avant, pendant, aprs que des politiques d'ajustement
soient mises en oeuvre travers des groupes cibles, des interviews et d'autres
techniques qualitatives.

"Avant et Aprs", qui compare la performance des variables cls pendant et aprs un
programme avec celles avant le programme. L'approche emploie des mthodes
statistiques pour valuer s'il y a un changement significatif de quelques variables
essentielles avec le temps. Cette approche engendre souvent des rsultats biaiss
parce qu'elle suppose que, si cela navait pas t le programme, les indicateurs de
performance auraient pris leurs valeurs de priode d'avant crise.

Approches qui Gnrent une Comparaison Contre Factuelle Utilisant des
Hypothses Multiples

Des modles d'quilibre gnraux calculables (CGEs) qui tentent d'opposer les
rsultats dans les groupes de traitement et de comparaison par des simulations. Ces
modles cherchent tracer l'opration de l'conomie relle et sont gnralement
bass sur des matrices de comptabilit sociales dtaille rassembles partir des
donnes sur des comptes nationaux, des enqutes de dpense, du mnage et d'autres
donnes d'enqute. Des modles CGE gnrent souvent des rsultats pour la
comparaison contre factuelle bien que la force du modle soit entirement tributaire
de la validit des hypothses. Cela peut tre problmatique tant donn que des bases
de donnes sont souvent incompltes et la plupart des paramtres nont pas t
estims par des mthodes conomtriques formelles. Des modles CGE prennent
aussi beaucoup de temps, sont encombrants et reviennent chers gnrer.

(Lencadr continue sur la page suivante)





12 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE



Encadr 1.3 (suite)

Avec et sans des comparaisons qui analysent le comportement dans des variables cls
dans un chantillon de pays de programme avec leur comportement dans des pays
sans programme (un groupe de comparaison). C'est une approche la question contre
factuelle exploitant les expriences du groupe de comparaison comme mandataire
pour ce qui serait autrement arriv dans les pays du programme. Il est, cependant, tout
fait difficile de raliser un vrai groupe de comparaison. La mthode suppose que
seule l'adoption d'un programme distingue un pays de programme du groupe de
comparaison et , que, l'environnement externe affecte les deux de la mme manire.
Des vrifications statistiques consistant en des rgressions qui contrlent les
diffrences dans les conditions et les politiques entreprises dans les pays avec ou sans
programme. L'approche identifie les diffrences entre le programme et des pays sans
programme dans la priode de pr-programme et contrle en suite ces diffrences
statistiquement pour identifier les impacts isols des programmes dans la performance
de post-rforme.

L'valuation base de thorie. La prmisse des valuations base de thorie est que
les programmes et projets sont bass sur une thorie explicite ou implicite sur comment et
pourquoi un programme va russir. L'valuation serait alors base sur l'valuation de chaque
thorie et hypothse d'un programme pendant la mise en uvre plutt qu' mi-parcours ou
aprs que le projet a t achev. Dans la conception de l'valuation, la thorie sous- jacente
est prsente en plusieurs micro tapes avec les mthodes ensuite labores pour la collecte
des donnes et l'analyse pour le droulement des hypothses. Si les vnements ne se
passent pas comme prvu l'valuation peut indiquer avec une certaine confiance o,
pourquoi et comment la dfaillance est arrive.
L'approche met l'accent sur les rponses des participants aux activits du programme.
Les thories dirigent l'attention de l'valuateur sur des types d'impacts probables court et
long terme. Parmi les avantages, il y a, d'abord que l'valuation fournit des indicatio ns
rapides de l'efficacit du programme pendant la mise en uvre du projet. S'il y a des
dfaillances pendant la mise en uvre, il est possible de les situer le long du parcours.
Deuximement l'approche aide expliquer comment et pourquoi les effets se so nt produits.
Si les vnements se passent comme prvu l'valuation peut indiquer avec une certaine
confiance comment les effets se sont produits. En suivant l'ordre des tapes, il est possible
de suivre la trace les micro-tapes qui ont conduit des ressources du programme jusqu'aux
rsultats.







DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT 13

Les dfauts de l'approche sont semblables beaucoup d'autres mthodologies.
Particulirement : (a) des hypothses identifiables et des thories peuvent tre en soi
complexes, (b) les valuateurs peuvent rencontrer des problmes pour mesurer chaque
tape, moins que les donnes et les instruments corrects ne soient disponible, (c) des
problmes peuvent surgir dans l'apprciation de l'effort parce que les dclarations thoriques
peuvent tre trop gnrales pour permettre une apprciation nette, et (d) il peut y avoir les
problmes d'interprtation qui rendent difficile la gnralisation des rsultats (voir Weiss).
Un exemple de la technique base de thorie est pilot par le Dpartement des
Oprations et d'Evaluation de la Banque Mondiale pour valuer l'impact des fonds
d'investissement social sur les processus de prise de dcision au niveau de la communaut,
les structures de pouvoir traditionnelles et les relations et la capacit de la communaut, la
confiance et le bien tre. Ce sera bas sur la thorie que les groupes prioritaires peuvent
efficacement mettre en uvre un projet, le faire fonctionner et sauvegarder l'investissement
cr par le projet. Un jeu des hypothses principales et des sous-hypothses a t expos et
sera valu en employant des donnes existantes d'enqutes sur les mnages aussi bien
qu'un instrument d'enqute particulirement conu pour un chantillon plus restreint et des
groupes cibles et d'autres techniques PRA. L'information de chacune de ces sources de
donnes sera exploite triangulairement.

Analyse du cot bnfice ou de rentabilit

Tandis que ce type d'analyse n'est pas strictement concern par des mesures d'impact, il
permet aux dcideurs de mesurer l'efficacit d'un programme en comparant des
interventions alternatives sur la base du cot de production d'un rsultat donn. Il peut
normment accrotre les implications de la politique de l'valuation de l'impact et doit donc
aussi tre inclus dans la conception de n'importe quelle valuation d'impact (Pour une
discussion plus complte sur l'analyse du cot bnfice et de rentabilit, voir le Manuel sur
l'Analyse Economique des Oprations et d'Investissement de la Banque Mondiale 1996.)
L'analyse du cot bnfice essaie de mesurer l'efficacit conomique des dpenses d'un
programme par rapport aux bnfices du programme, en termes montaires. Pour beaucoup
de projets, particulirement, dans les secteurs sociaux, il n'est pas possible de mesurer tous
les bnfices en termes montaires. Par exemple, les bnfices d'un programme de
fournitures scolaires (livres, matriels didactiques) devraient tre une ducation accrue. Au
lieu de mesurer les rsultats montaires, les rsultats de ralisation de l'ducation pourraient
tre exploits pour valuer quantitativement les bnfices, ce qui exigerait l'analyse de la
rentabilit. Les concepts pour les deux types d'analyse sont les mmes.
Les principales tapes de l'analyse du cot bnfice ou de rentabilit doivent identifier
toutes les dpenses et tous les bnfices d'un projet et calculer ensuite une proportion du
cot par rapport l'efficacit. Dans le calcul des dpenses, la valeur de l'intervention








14 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE


doit tre incluse aussi bien que toutes les autres dpenses, comme l'administration, la
prestation de services, les dpenses d'investissement (escomptes la valeur prsente nette),
la valeur montaire des marchandises ou services gratuitement fournis, les dpenses sociales
comme la dtrioration environnementale et les risques pour la sant. Les bnfices peuvent
tre montaires comme le gain ou le nombre d'units livres, des rsultats de test ou des
amliorations de sant. Quand les bnfices ne peuvent tre valus quantitativement, il est
possible d'employer des indicateurs subjectifs comme les systmes d'indemnit ou de
classement. Cette approche cependant peut tre biaise dans l'interprtation des rsultats
subjectifs.
Une fois que les dpenses et bnfices ont t arrts, le ratio de rentabilit (R) est donc
R= cot/unit (ou bnfice). Ce ratio peut ensuite tre compar travers des interventions
pour mesurer l'efficacit. En thorie, cette technique est tout fait directe. En pratique,
cependant, beaucoup de risques impliqus dans l'identification et la quantification des cots
et bnfices. Il est important de s'assurer que des indicateurs appropris soient choisis, que
les mthodologies et les hypothses conomiques employes soient cohrentes travers les
ratios, et que les ratios soient effectivement comparables. Et comme dans d'autres
techniques employes dans l'analyse de l'impact, l'valuation de la rentabilit peut tre
mieux faite quand on l'inclut dans la conception de l'valuation ds les toutes premires
tapes. Cela permet de collecter l'information sur le cot et bnfice ncessaire et d'assurer
la cohrence.

Le choix d'une mthodologie

Compte tenu la diversit des types de projet, des questions d'valuation, de la disponibilit
des donnes, le cot, les contraintes de temps et les situations de pays, chaque tude
d'valuation d'impact sera diffrente et ncessitera une certaine combinaison de
mthodologies appropries, la fois quantitatives et qualitatives. L'valuateur doit
soigneusement explorer les options mthodologiques dans la conception de l'tude dans le
but d'obtenir les rsultats les plus fiables possibles. Parmi les mthodes quantitatives on
considre les conceptions exprimentales et les comparaisons harmonises comme la
seconde meilleure alternative. D'autres techniques, cependant, peuvent aussi produire des
rsultats fiables, particulirement avec une bonne conception de l'valuation et des donnes
de haute qualit.
Sil est vident que les valuations "Meilleure Pratique" passes en revue pour ce
manuel fait ressortir que le choix des mthodologies d'valuation d'impact n'est pas
mutuellement exclusif. En effet des valuations plus fiables combinent souvent des
mthodes afin d'assurer la fiabilit et prvoir des ventualits dans la mise en uvre. La
combinaison des approches avec et sans et avant et aprs utilisant la fusion des
donnes de base et des donnes de suivi constitue une combinaison fortement recommande
du point de vue mthodologique (Subbarao, et autres 1999). La disponibilit des donnes de
base permettra aux valuateurs de vrifier l'intgrit des groupes de traitement et des
groupes de comparaison, d'valuer le ciblage et de se prparer pour une valuation d'impact
fiable. Ceci est vrai mme pour


DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT 15

des conceptions de simulation alatoire. Bien que la simulation alatoire assure des groupes
cibles et de comparaison quivalente au moment du choix, cette particularit ne doit pas
pousser les valuateurs penser qu'ils n'ont pas besoin de donnes de base. En effet, les
donnes de base peuvent tre cruciales pour rtablir pourquoi certains vnements ont eu
lieu et faire un contrle pour ces vnements dans l'valuation d'impact.
Il est aussi fortement recommand que le cot-bnfice ou la rentabilit soit incorpor
dans l'analyse. Cette mthodologie peut permettre aux dcideurs de comparer des
interventions alternatives sur la base du cot de production d'un rsultat donn. Ceci est
particulirement important dans le contexte des pays en dveloppement o les ressources
sont extrmement limites.
Finalement, la combinaison des mthodes quantitatives et qualitatives est l'idal parce
qu'elle fournira l'impact quantifiable d'un projet aussi bien qu'une explication des processus
et des interventions qui ont gnr ces rsultats. Bien que chaque valuation d'impact ait des
caractristiques uniques ncessitant des approches mthodologiques diffrentes, certaines
caractristiques considres comme bonnes pratiques comprennent :

une estimation des comparaisons contre factuelles faite par (a) lutilisation de la
nomination alatoire pour crer un groupe tmoin (la conception exprimentale) et
(b) l'utilisation approprie et soigne d'autres mthodes comme la mise en parallle
pour crer un groupe tmoin (la comparaison quasi exprimentale)
le contrle des diffrences d'avant et daprs programme chez les participants et
lobservation des signes des impacts de programme ; sassurer quil y a des donnes
appropries collectes au dpart et pendant le suivi (incluant des dlais suffisants
pour permettre de tenir compte des impacts d'un programme).
Les groupes cibles et les groupes de contrle sont de tailles suffisantes pour tablir
des inductions statistiques avec une usure minimale.
L'analyse cot-bnfice ou de rentabilit est ralise pour mesurer l'efficacit du
projet.
Des techniques qualitatives sont intgres pour permettre la triangulation des
rsultats.