Vous êtes sur la page 1sur 196

DIRECTIONS DU DEVELOPPEMENT

Evaluation de limpact des projets de Dveloppement sur la pauvret

Manuel lattention des Praticiens

Judy L. Baker

Banque Mondiale Washington, D.C.

2000 Banque Internationale pour la R econstruction et le Dveloppement / BANQUE MONDIALE 1818 H Street, N.W. Washington, D.C. 20433 Tous droits rservs Edit aux Etats-Unis dAmrique Premier tirage : Mai 2000 Les dclarations, interprtations et conclusions exprimes dans ce document nengagent que leurs auteurs et ne refltent aucunement les opinions de la Banque Mondiale ou des institutions qui lui sont affilies ni du Conseil des Administrateurs ou des pays quils reprsentent. La Banque Mondiale ne garantit pas lexactitude des donn es contenues dans cette publication et naccepte aucune responsabilit pour toute consquence dcoulant de leur usage. Le contenu de cette publication est protg par le droit dauteur. La Banque Mondiale encourage la diffusion de son travail et, dans les conditions normales, accordera rapidement la permission de reproduire des parties de louvrage. La Banque Mondiale accordera la permission de photocopier des articles pour une utilisation interne ou personnelle, pour lutilisation interne ou personnelle de clients spcifiques ou lutilisation comme matriel didactique, condition que les honoraires appropris soient pays directement Copyright Clearance Center, Inc. (Bureau du Droit dAuteur), 222 Rosewood Drive, Danvers, MA 01923, USA ; tlphone 978-750-8400, fax 978-750-4470. Prire de contacter le Bureau du Droit dAuteur avant la photocopie des articles. Pour obtenir la permission de rimprimer des articles ou des chapitres, prire denvoyer un fax de votre demande avec information complte au Dpartement de la Rdition, Copyright Clearance Center, Inc., Fax 978-750-4470. Pour plus de renseignements sur les droits et licences, prire de vous adresser au Bureau de lEditeur, Banque mondiale, ladresse ci-dessus ou envoyer un fax au 202-522-2422. ISBN 0-8213-4697-0

Bibliothque du Congrs. Fichier des donnes de la publication Baker, Judy L., 1960Evaluation de limpact des projets de dveloppement sur la pauvret : Manuel lAttention des Praticiens / Baker, Judy L., p. cm. (Directions du dveloppement) Rfrences bibliographiques incluses. ISBN 0-8213-4697-0 1. Projets de dveloppement conomique Evaluation Guide, manuels etc. 2. Pays pauvres en dveloppement I. Titre, II. Direction du dveloppement (Washington, D.C.)

HD75.9 .B35 2000


338.900684 dc21 00-028325

Table des matires

Avant-propos Remerciements 1 Dfinition des concepts et techniques d valuation dimpact

vi viii 1 12

2 Dmarches cls dans la Conception et la mise en uvre des valuations de limpact 3 Application des mthodes analytiques dvaluation de limpact : Une tude de cas 4. Exploiter les valuations de limpact de la Meilleure Pratique 5. Bibliographie 6. Annexes

30 48 62 73 73

Annexes 1 : Etudes de cas 1.1 Evaluation des acquis des pauvres du programme protection-travail ( programme associant aide sociale et aide lemploi ) Le programme TRABAJAR de lArgentine 1.2 La micro-finance aide t-elle vraiment les pauvres ? Preuves nouvelles partir des programmes les plus importants au Bangladesh

73

79

iii

iv EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE 1.3 Education contre vivres au Bangladesh : Evaluation dun programme social cibl lorsque le placement est dcentralis 1.4 Evaluation du fonds dinvestissement social de la Bolivie 1.5 Impact des programmes de travail actifs : Rpublique Tchque 1.6 Impact du crdit et ducation sur la nutrition des mres et de leurs jeunes enfants : Programme de la Banque rurale du Lower Pra au Ghana 1.7 Manuels scolaires et rsultats des tests : Cas concret dune ventuelle valuation au Kenya 1.8 Evaluation du projet de vulgarisation agricole au Kenya 1.9 Impact du Programme de Recyclage du Mexique sur lemploi et les salaires (PROBECAT) 1.10 Programme national pour lducation, la sant, et la nutrition (PROGRESA) au Mexique (Proposition dvaluation ) . 1.11 Evaluation de la Rforme scolaire au Nicaragua : une approche quantitative et qualitative combine 1.12 Amliorer lenseignement des mathmatiques lmentaires au Nicaragua : Une tude exprimentale de limpact des manuels et de la radio sur la performance 1.13 Impact des programmes alternatifs de recouvrement des cots sur laccs aux soins de sant et lquit au Niger 1.14 Rsultats scolaires dans les tablissements primaires aux Philippines : Evaluation de limpact partir de quatre expriences 1.15 Evaluation de limpact des projets de routes rurales sur la pauvret au Vietnam Annexe 2 : Modle de termes de rfrence 2.1 Projet de nutrition et de dveloppement de la petite enfance de lOuganda 2.2 Evaluation de limpact des routes rurales :. Niveau de rfrence de 1997 au Vietnam 105 109 114

119 123 128 134 140 145

151 156

160 165 169 169 188

Annexe 3 : Budget type dune valuation de limpact dun Programme alimentaire au niveau scolaire Annexe 4 : Indicateurs dimpact Evaluation du fond social dinvestissement en Bolivie Annexe 5 : Modle de registre des rcapitulatifs de conception de projet pour le document dachvement du projet ou document dvaluation du projet Annexe 6 : Matrice danalyse Evaluation de limpact du fond social dinvestissement durgence au Nicaragua

195 198

204 208

TABLES DES MATIERES Encadrs 1.1 Le problme de la distorsion de slection 1.2 Rsum des mthodes quantitatives pour valuer limpact de programme 1.3 Rsum des mthodes employes pour valuer des politiques dajustement structurel 2.1 Principales dmarches dans la conception et lexcution dvaluations dimpact 2.2 Points cls pour identifier des ressources de donnes pour lvaluation dimpact 3.1 Etapes de lharmonisation du score de propension 3.2 Sources de distorsion dans les estimations primaires de limpact du PROSCOL 3.3 Faire une diffrence double 3.4 Mesures de la pauvret 3.5 Comparaison de la pauvret avec ou sans le Programme Tableaux 2.1 Contrle des mthodologies dvaluation et concordance des donnes 2.2 Principaux instruments de collecte de donnes pour lvaluation dimpact 4.1 Rsum des valuations dimpact de la Meilleure pratique 4.2 Rsum des cots estims partir de plusieurs valuations dimpact de la Banque Mondiale

V 5 6 11 17 21 50 53 56 59 60

28 32 67 79

Avant-Propos

Malgr les milliards de dollars injects dans laide au dveloppement chaque anne, nous savons encore peu de chose sur limpact rel des projets sur les pauvres. Les bnfices de la croissance conomique, les investissements en capital humain et la mise disposition de filets de scurit pour les pauvres sont largement documents Cependant, pour un programme ou projet spcifique dun pays donn, lintervention produit-elle les bnfices escompts et quel a t limpact global sur la population ? Le programme ou projet pourrait il tre mieux conu pour atteindre les rsultats escompts ? Les ressources sont- elles dpenses de faon efficiente ? Tels sont les types de questions auxquelles on ne peut rpondre que par une valuation dimpact, une approche qui mesure les rsultats dune intervention de programme en liminant les autres facteurs possibles. Beaucoup de gouvernements, dinstitutions et de directeurs de projet sont rticents effectuer des valuations dimpact parce quon les considre trop coteuses, prenant du temps et techniquement complexes et parce que les rsultats peuvent tre politiquement sensibles, surtout sils sont ngatifs. Beaucoup dvaluations ont aussi t critiques parce que les rsultats arrivent trop tard, ne rpondent pas aux bonnes questions ou nont pas t effectus avec la rigueur analytique suffisante. Une contrainte supplmentaire est souvent la disponibilit limite et la qualit des donnes. Pourtant avec une planification approprie et prcoce, lappui des dcideurs et un investissement relativement minime compar au cot global du projet, une valuation rigoureuse peut avoir une trs forte influence sur lestimation du caractre appropri et efficient des programmes. Lvaluation de limpact est particulirement critique dans des pays en dveloppement o les ressour ces sont rares et chaque dollar dpens doit aspirer maximiser son impact sur la rduction de la pauvret. Si les programmes sont mal conus, natteignent pas les populations cibles ou sont peu rentables, avec linformation juste ils peuvent tre reformuls, amliors, ou le cas chant abandonns. La connaissance acquise partir des tudes dvaluation dimpact fournira aussi la ressource dcisive pour la conception approprie de programmes et de projets futurs. Ce manuel cherche fournir aux dir ecteurs de projet et aux analystes de politique les outils ncessaires pour valuer limpact dun projet. Il est destin aux

vi

Avant-Propos
lecteurs qui ont une connaissance gnrale des statistiques. Pour certaines des mthodes statistiques traites plus en profondeur le lecteur est pri de se reporter la littrature technique sur le sujet. Le chapitre 1 prsente une vue densemble des concepts et des mthodologies, le chapitre 2 traite des dmarches cls et des questions connexes cons idrer dans la mise en uvre, le chapitre 3 illustre les diverses techniques analytiques dvaluation par une tude de cas et le chapitre 4 contient une discussion de leons tires dun riche jeu dvaluations de " Meilleure Pratique" de projets de pauvret qui ont t revues pour ce manuel. Les tudes de cas contenues dans lannexe 1 ont t slectionnes partir dune gamme dvaluations effectues par la Banque Mondiale, dautres agences de donateurs, des institutions de recherche et des cabinets de conseil privs. Ils ont t choisis en fonction de leur rigueur mthodologique, dans une tentative de couvrir un ventail vari de situations de pays, de types de projets et de mthodologies dvaluation. Les annexes comportent galement des chantillons d e composantes essentielles qui seraient ncessaires pour planifier nimporte quelle valuation dimpact des modles de termes de rfrence, budgets, indicateurs dimpact, cadre de conception et matrice danalyse. Bien que les techniques employes dans lvaluation dimpact soient semblables travers des secteurs et des sous-groupes de population, les illustrations de mthodologies et les exemples de cas dans ce manuel se concentrent sur lvaluation de limpact sur des projets axs sur les pauvres. Limpact sur la pauvret peut englober une vaste gamme de projets et de questions dvaluation, comme la mesure de limpact de programmes de micro- finance sur le revenu du mnage, limpact dun programme de formation sur lemploi, limpact dun programme de cantine scolaire, sur lassiduit de ltudiant ou limpact de la reconstruction de routes rurales sur le bien-tre du mnage. Indpendamment du type de projet ou des questions traites, la conception de chaque valuation dimpact sera unique, selon des facteurs comme le type de donnes disponibles, les capacits locales et les proccupations de programmation du temps et de budget y affrents. Finalement, les valuations gnreront des rsultats de haute qualit, crdibles et gnralisables pour des dcideurs exigeront, un appui financier et politique fort ; une planification prcoce et prudente, une participation des partenaires dans la conception des objectifs et lapproche de ltude, des donnes fiables ; une combinaison approprie de mthodologies, y compris des techniques tant quantitatives que qualitatives ; lapplication rigoureuse de ces techniques ; et la communication entre les membres dquipe tout au long du processus.

Remerciements

La prparation de ce livre a bnfici des contributions inestimables dune quipe cl. Je voudrais remercier, tant pour leurs contributions crites que pour leurs commentaires utiles au cours du travail, les membres dquipe suivants : Gillette Hall (tudes de cas, leons tires), Julia Lane (tudes de cas, leons tires), Martin Ravallion (tude de cas de mthode analytique), et Laura Rawlings (questions de la mise en uvre, leons tires), et le travail sur lvaluation dimpact effectu par Kene Ezemenari, Gloria Rubio, Anders Rudqvist, et K. Subbarao. La recherche de fond a t effectue par Matthew Fleming et Samir Stewart. Le livre a bnfici du soutien conjoint de la Rgion Amrique Latine et Carabes et du Rseau pour la Rduction de la pauvret et de la Gestion Economique de la Banque mondiale sous la direction de Norman Hicks, Guillermo Perry et Michael Walton. Le travail a aussi bnfici normment des commentaires reus de Omar Arias, Sabina Alkire, Michael Bamberger, Soniya Carvalho, Wendy Cunningham, Norman Hicks, Shahidur Khandker, Norbert Schady, et Quentin Wodon.

viii

Chapitre 1 Dfinition des Concepts et Techniques pour lEvaluation dImpact


Une valuation globale se dfinit dans la littrature comme une valuation qui intgre le contrle, lvaluation du processus, lvaluation du cot-bnfice et lvaluation dimpact. Cependant chacune de ces composantes est nettement diffrente. Le contrle aidera valuer si un programme est mis en uvre comme il a t planifi. Un systme de contrle de programme permet la rtroaction continue sur ltat de la mise en uvre du programme, lidentification des problmes spcifiques comme ils apparaissent. . Lvaluation du processus traite du fonctionnement du programme et se concentre sur des problmes de prestation de service. Les valuations cot-bnfice ou de rentabilit valuent des cots de programme (montaire ou non montaire), en particulier leur relation avec des utilisations alternatives des mmes ressources et des bnfices produits par le programme. Et finalement, lvaluation dimpact est destine dterminer de faon plus large si le programme a eu limpact dsir sur des individus, des mnages et des institutions et si ces effets sont attribuables lintervention du programme. Les valuations dimpact peuvent aussi explorer des consquences imprvues, soit positives soit ngatives sur les bnficiaires. Lintrt particulier de ce manuel est la mesure dans laquelle les bnfices du projet atteignent les pauvres et limpact que ces bnfices ont sur leur bien-tre. Certaines des questions traites dans lvaluation dimpact sont entre autres : quel a t limpact du projet sur les bnficiaires ? Certaines amliorations ont elles rsult directement du projet ou bien auraient - elles de toute faon t obtenues ? La conception du programme pouvait-elle tre modifie pour amliorer limpact ? Les dpenses taient-elles justifies ? Ces questions ne peuvent pas, cependant, tre simplement values par le rsultat dun projet. Dautres facteurs ou vnements peuvent tre en corrlation avec les rsultats, sans tre engendrs par le projet. Pour assurer la rigueur mthodologique une valuation dimpact doit estimer les effets contre factuels cest--dire ce qui serait arriv si le projet navait jamais vu le jour ou ce qui aurait pu arriver. Par exemple, si un diplm rcent dun programme de formation de travail trouve un emploi, est-ce que cest un rsultat direct du programme ou est- ce que lindividu de toute faon aurait trouv du travail ? Pour dterminer la comparaison contre factuelle il est ncessaire de distinguer leffet des interventions des autres facteurs une tche quelque peu complexe. Cela se fait travers la comparaison de groupes tmoins (ceux qui ne participent pas un programme ou nen reoivent pas de bnfices) avec les groupes cibles (les individus qui reoivent lintervention). Les groupes

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

tmoins sont choisis alatoir ement de la mme population que les participants au programme tandis que le groupe de comparaison est tout simplement le groupe qui nest pas pris en compte par ltude du Programme. Les groupes de comparaison aussi bien que les groupes de contrle devraient ressembler au groupe cible en tous points, la seule diffrence entre les groupes tant la participation au programme. La dtermination de la comparaison contre factuelle est au cur de la conception dvaluation. Elle peut tre ralise selon plusieurs mthodologies regroupes en deux grandes catgories, des conceptions exprimentales (alatoires) et des conceptions quasi exprimentales (non alatoires). Il est cependant difficile de distinguer limpact du programme des conditions contre factuelles qui peuvent tre affectes par lhistoire, la distorsion de la slection et la contamination. Des mthodes qualitatives et participatives peuvent aussi tre utilises pour valuer limpact. Ces techniques prsentent souvent des vues critiques sur les perspectives des bnficiaires, la valeur des programmes pour les bnficiaires, les processus qui auraient pu affecter les rsultats et une interprtation plus approfondie des rsultats observs lanalyse quantitative. Les forces et les faiblesses de chacune de ces mthodes sont traites plus en dtail ci-dessous. Comme le lecteur le constatera, aucune technique nest parfaite et par consquent lvaluateur doit dcider quant aux options pour chaque mthode choisie. La planification prcoce et soigne prsent era cependant beaucoup plus doptions mthodologiques dans la conception de lvaluation. Conceptions Exprimentales Les conceptions exprimentales galement connues comme alatoires sont gnralement considres comme la plus solide des mthodes dvaluation. En affectant de manire alatoire lintervention parmi les bnficiaires ligibles, le processus de nomination lui mme cre les groupes cibles et les groupes tmoins comparables qui sont statistiquement quivalents les uns des autres tant donn les tailles dchantillon appropries. Cest un rsultat trs positif parce que, dans la thorie les groupes tmoins produits par la nomination alatoire servent comme une parfaite comparaison contre factuelle libre des questions de distorsion de slections incommodantes qui existent dans toutes les valuations. Lavantage principal de cette technique est la simplicit dans linterprtation des rsultats limpact du programme sur le rsultat que lon value par la diffrence entre les moyennes des chantillons du groupe cible et le groupe tmoin. Un exemple est lvaluation de manuels scolaires au Kenya dans laquelle les valuateurs ont slectionn une rpartition alatoire de sites de programme, ont men une enqute de base, cr des groupes de contrle et ont ensuite administr le traitement qui dans ce cas tait la fourniture de manuels scolaires. Le fait davoir des groupes de contrle et des groupes cibles a alors permis aux valuateurs de dterminer clairement limpact des manuels sur lducatio n de ltudiant. Tandis que lon considre les conceptions exprimentales comme lapproche optimale lvaluation de limpact dun projet, en pratique plusieurs problmes subsistent. Dabord la simulation de distribution alatoire peut tre contraire la morale par suite du refus des bnfices ou services

DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT

aux membres autrement ligibles de la population pour les objectifs de ltude. Un exemple extrme serait le refus de traitement mdical qui peut savrer tre dimportance vitale pour certaines tranches dune population. Deuximement, il peut tre politiquement difficile de fournir une intervention un groupe et pas un autre. Troisimement, la porte du programme peut signifier quil ny a pas de groupes de non cible en tant que tels, avec un projet ou un changement de politique qui a une large porte par exemples un prt dajustement ou des programmes administrs un niveau national. Quatrimement, des individus au sein des groupes tmoins peuvent changer certaines caractristiques didentification pendant lexprience, ce qui pourrait infirmer ou affecter les rsultats. Si, par exemple, les gens se dplacent lintrieur et lextrieur dun secteur de projet, ils peuvent se dplacer lintrieur et lextrieur du groupe cible ou du groupe tmoin. Alternativement les gens qui on a refus un avantage de programme peuvent le chercher par des sources alternatives ou ceux qui un programme est destin peuvent ne pas jouir de lintervention. Cinquimement, il peut tre difficile dassurer que la slection est vraiment alatoire. Lexemple pourrait tre les administrateurs qui excluent des candidats haut risque pour raliser de meilleurs rsultats. Et finalement des conceptions exprimentales peuvent tre coteuses et prendre beaucoup de temps dans certaines situations, particulirement dans la collecte de nouvelles donnes. La planification rigoureuse peut permettre de surmonter certains de ces problmes dans la mise en uvre de conceptions exprimentales. La slection alatoire des bnficiaires constitue une voie. Cela peut tre employ pour fournir la fois un mcanisme dattribution politiquement transparent et la base dune conception dvaluation saine comme le budget o des contraintes de linformation rendent souvent impossible didentifier exactement et datteindre les bnficiaires les plus ligibles. Une deuxime voie se propose dinclure des groupes tmoins dans le programme une tape postrieure une fois que lvaluation a t conue et amorce. Dans cette technique, le choix alatoire dtermine plutt quand le bnficiaire ligible reoit le programme ou sil ne le reoit pas. Cette technique a t applique dans lvaluation dun programme de nutrition en Colombie qui a prsent lavantage complmentaire de traiter des questions relatives au temps ncessaire imparti pour que le programme devienne efficace dans la rduction de la sous alimentation (McKay 1978). Finalement la simulation de distribution alatoire peut tre applique dans un sous ensemble de bnficiaires galement ligibles, en atteignant tous les candidats les plus ligibles et en refusant les bnfices au moins ligibles comme cela a t fait pour lvaluation du fond s social des projets dducation dans la rgion dEl Chaco en Bolivie (Pradhan, Rawlings et Ridder 1998). Cependant, si la dernire suggestion est mise en uvre, il faut garder lesprit que les rsultats de lvaluation seront applicables au groupe dont lchantillon alatoirement constitu a t choisi. Conceptions Quasi Exprimentales Des mthodes quasi exprimentales (non alatoires) peuvent tre employes pour effectuer une valuation quand il nest pas possible de constituer les groupes cible et de comparaison

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

par une conception exprimentale. Ces techniques produisent les groupes de comparaison qui ressemblent au groupe cible, au moins dans des caractristiques observes, par des mthodologies dconomtrie, qui comprennent des mthodes correspondantes, des mthodes de diffrence doubles, des mthodes de variables instrumentales et des comparaisons rflexives (voir lEncadr 1.) Quand ces techniques sont employes, les groupes de traitement et les groupes de comparaison sont dhabitude choisis aprs lintervention en employant des mthodes non alatoires. Donc, des contrles statistiques doivent tre appliqus pour traiter des diffrences entre les groupes cibles et les groupes de comparaison et des techniques de correspondance sophistiques doivent tre utiliss pour constituer un groupe de comparaison qui est aussi semblable que possible au groupe cible. Dans certains cas un groupe de comparaison est aussi slectionn avant le traitement, bien que la slection ne soit pas alatoire. Lavantage principal des conceptions quasi-exprimentales est quelles peuvent partir de sources de donnes existantes et sont ainsi souvent plus rapides et peu coteuses mettre en uvre et elles peuvent tre excutes aprs quun programme ait t mis en uvre, compte tenu des donnes existantes suffisantes. Les principaux inconvnients des techniques quasiexprimentales sont : (a) la fiabilit des rsultats est souvent rduite puisque la mthodologie est statistiquement moins rigoureuse ; (b) les mthodes peuvent tre statistiquement complexes ; et (c) il y a un problme de slection biaise. En crant un groupe de comparaison plutt que den choisir un alatoirement, beaucoup de facteurs peuvent affecter la fiabilit des rsultats. La complexit statistique exige lexpertise considrable dans la conception de lvaluation et dans lanalyse et linterprtation des rsultats. Cela ne peut pas toujours tre possible, particulirement dans certaines circonstances des pays en voie de dveloppement. Le troisime problme de distorsion de choix tient au fait que les sous- groupes dune population cible participe diffremment un programme, affectant ainsi lchantillon et en fin de compte les rsultats. Il y a deux types de slection biaise : ceux en raison des diffrences observables ou autre dans les donnes et ceux en raison des diffrences non observables (pas dans les donnes), souvent appeles slection biaise (Encadr 1.1) Une slection biaise observable pourrait comprendre les critres de choix par lesquels un individu est identifi, comme lemplacement gographique, la scolarisation ou la participation au march du travail. Les lments non observables qui peuvent biaiser les rsultats de programme pourraient inclure la capacit individuelle, lempressement travailler, des rapports de famille et un processus subjectif de choix (souvent politiquement orient) des individus pour un programme. Les deux types de distorsion de slection peuvent engendrer des rsultats imprcis, comprenant une sous estimation et surestimation dimpacts rels de programme dimpacts ngatifs, quand les impacts rels de programme sont positifs (et vice versa) et des impacts statistiquement insignifiants quand des impacts rels de programme sont significatifs et vice versa. (Voir, par exemple, LaLonde 1986, Fraker et Maynard 1987, Lalonde et Maynard 1987 et Friedlander et 1995 Robins.) Il est possible de matriser le biais par des techniques statis tiques comme la combinaison, et les variables instrumentales, mais il est trs difficile de les corriger entirement

DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT

ce qui reste un dfi principal pour des chercheurs dans le domaine danalyse dimpact. Parmi les techniques de conception quasi-exprimentale, les techniques de combinaisons mixtes sont gnralement considres comme une seconde meilleure alternative de la conception exprimentale. La majorit de la littrature sur la mthodologie dvaluation est centre sur lutilisation de ce type dvaluation, refltant tant la frquence dutilisation des groupes de comparaison que les nombreux dfis poss par le fait davoir des groupes de comparaison moins meilleurs. Ces dernires annes il y a eu des avances substantielles dans la propension des techniques de combinaisons de score. (Rosenbaum et Rubin 1985 ; Jalan et Ravallion 1998). Cette mthode est

Encadr 1.1 Le Problme de la Distorsion de Choix


La slection biaise est relative aux lments inobservables qui peuvent dformer les rsultats (par exemple la capacit individuelle, les conditions prexistantes). Des expriences alatoires rsolvent le problme de la distorsion de choix en crant un groupe tmoin exprimental de gens qui auraient particip un programme mais qui on avait dlibrment refus laccs au programme ou le traitement. La nomination alatoire nenlve pas la slection biaise mais quilibre par contre la distorsion entre les chant illons participants et non participants. Dans les conceptions quasi-exprimentales, les modles statistiques (par exemple, la concordance, les diffrences doubles des variables instrumentales) abordent ceci en modelant les processus de slection pour arriver une estimation non distorsion utilisant des donnes non exprimentales. Lide gnrale consiste comparer des participants du programme et les non participants en maintenant des processus de slection constants. La validit de ce modle est tributaire de la spcification du modle. Les salaires des femmes constituent un bon exemple. Les donnes reprsentent les femmes qui veulent travailler. Si cette dcision tait prise, nous pourrions ignorer le fait que ce ne sont pas tous les salaires qui sont valus et utiliser la rgression ordinaire pour valuer un modle de salaire. Certes, la dcision des femmes de travailler nest pas prise au hasard des femmes qui auraient de bas salaires ne choisiraient vraisemblablement pas de travailler parce que leur salaire minimum accept est plus lev que le salaire offert par les employeurs. Ainsi lchantillon de salaires observs pour des femmes serait tir vers le haut. Cela peut tre corrig sil y a des variables qui affectent fortement les chances pour lobservation (le salaire minimum accept) ; mais pas le rsultat de ltude (le salaire offert). Une telle variable pourrait tre le nombre denfants charge la maison. Source : Greene (1997).

EVALUATION DE L'IMPACT DES PROJET S DE DEVELOPPEMENT SUR LA PAUVRETE

trs attirante pour les valuateurs qui ont des contraintes de temps et qui travaillent sans le bnfice de donnes de base tant donn quelles peuvent tre utilises avec un chantillon de donnes. Cette technique est cependant tributaire de l'acquisition de donnes fiables parce qu'elle repose sur des bnficiaires d'un programme sur- chantillonn pendant la suspension d'une plus large enqute en les associant ensuite un groupe de comparaison choisi de plus grand chantillon de l'effort d'ensemble, souvent une enqute nationale sur les mnages. Compte tenu de la croissance des demandes de grandes enqutes dans les pays en voie de dveloppement, tel que les Etudes de Mesure de niveaux de vie objectifs multiples, cette mthode d'valuation semble tre particulirement prometteuse. Un bon exemple est l'valuation d'un programme de travaux publics -TRABAJAR- en Argentine (Jalan et 1998 Ravallion, l'Annexe 1.1 et le chapitre 4).

Encadr 1.2 Rsum des Mthodes Q uantitatives pour Evaluer l'Impact de Programme Les principales mthodes pour l'valuation d'impact sont traites ci-dessous. Etant donn, quaucune mthode n'est parfaite, il est toujours souhaitable de procder par triangulation Conception de Vrification Exprimentale ou Alatoire. La simulation alatoire dans laquelle le choix du traitement et des groupes tmoins est alatoire au sein de quelques groupes de gens bien dfinis. Dans ce cas il ne doit y avoir aucune diffrenc e (dans lattente) entre les deux groupes en plus du fait que le groupe cible avait accs au programme. (Il peut toujours y avoir des diffrences en raison derreur dchantillonnage ; plus la taille des chantillons de traitement et de vrification est grande, moins il y a d'erreur). Des conceptions non exprimentales ou quasi -exprimentales Harmonisation des mthodes ou vrifications construites dans lesquelles on essaye de choisir des comparaisons idales qui correspondent au groupe de traitement d'une enqute gnralise. Le type d'harmonisation le plus employ est l'harmonisation du score de propension, dans laquelle le groupe de rfrence est mis en relation avec le groupe de traitement sur la base d'un jeu de caractristiques observes ou en employant "le score de propension" (la probabilit de la participation prvue compte tenu des caractristiques observes); plus le score de propension se rapproche, et meilleure est l'harmonisation. Un bon groupe de comparaison

DEFINITION DES CONCEPT S ET TECHNIQUES POUR LEVALUATION DIMPACT

vient du mme environnement conomique et tait soumis au mme questionnaire par des enquteurs forms de la mme manire que le groupe de traitement. Mthodes de la double diffrence ou de la divergence dans la diffrence, dans lesquelles on compare un groupe de traitement et un groupe de comparaison (la premire diffrence) avant et aprs un programme (la deuxime diffrence). Ceux qui oprent la comparaison devraient tre arrts quand ils utilisent les scores de propension et quils ont des scores qui se situent en dehors de la gamme observe pour le groupe de traitement. Des variables instrumentales ou des mthodes de vrification statistiques, dans lesquelles on emploie une ou plusieurs variables qui concernent la participation, et non les rsultats de la participation donne. Cela identifie la variation exogne dans les rsultats attribuables au programme, reconnaissant que son placement nest pas alatoire, mais intentionnel. Les variables instrumentales sont dabord utilises pour prvoir la participation au programme ; alors on voit comment lindicateur de rsultat varie avec les valeurs prvues. Des comparaisons rflexives, dans lesquelles une enqute initiale est faite sur des participants avant l'intervention et une enqute complmentaire est faite aprs. L'enqute de base fournit le groupe de comparaison et l'impact est mesur par le changement d'indicateur de rsultat avant et aprs lintervention.

Mthodes Qualitatives Des techniques qualitatives sont aussi utilises pour faire l'valuation d'impact dans l'intention de dterminer l'impact par la confiance quelque chose d'autre que la comparaison avec un groupe tmoin pour faire une interfrence causale (Mohr 1995). Le centre d'intrt se situe en revanche sur la comprhension du processus, des comportements et conditions tels qu ils sont perus par les individus ou les groupes tudis (Valadez et Bamberger1994). Par exemple, l'observation des mthodes qualitatives et particulirement l'observation des participants peut permettre de comprendre les faons dont les mnages et les communauts locales peroivent un projet et comment celui-ci les affecte. Parce que la mesure de la comparaison avec un groupe tmoin se situe au cur des techniques d'analyse d'impact, des conceptions qualitatives ont t gnralement employes conjointement avec d'autres techniques d'valuation. L'approche qualitative emploie des mthodes relativement ouvertes pendant la conception, la collecte des donnes et l'analyse. Des donnes qualitatives peuvent aussi tre quantifies. Parmi les mthodologies employes dans des valuations d'impact qualitatives, il y a les techniques dveloppes pour l'valuation rurale rapide, qui repose sur la connaissance par les participants des conditions environnantes du projet ou du programme dans toutes les tapes de l'valuation ou des valuations

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

participatives dans lesquelles les partenaires sont impliqus dans toutes les tapes de l'valuation - dtermination de l'valuation des objectifs de l'tude, identification et slection des indicateurs utiliser et participation la collecte de donnes et l'analyse. Pour une discussion dtaille des mthodes participatives voir la Banque Mondiale (1996), Le "Livre de Base sur lvaluation participative de la Banque Mondiale. Les avantages des valuations qualitatives consistent en ce qu'elles sont flexibles, peuvent tre spcifiquement construites aux besoins de l'valuation utilisant des approches ouvertes, peuvent tre effectues rapidement en utilisant des techniques rapides et peuvent normment accrotre les rsultats d'une valuation dimpact en fournissant une meilleure comprhensi n des perceptions et priorits des partenaires et des conditions et processus qui o auraient pu affecter l'impact du programme. Parmi les inconvnients majeurs, il y a la subjectivit en jeu dans la collecte des donnes, le manque d'un groupe de comparaison et le manque de rigueur statistique tant donn les tailles principalement petites des chantillons, rendant difficile la gnralisation une population plus large et reprsentative. La validit et la fiabilit des donnes qualitatives dpendent fortement de la comptence mthodologique, la sensibilit et la formation de l'valuateur. Si le personnel de terrain n'est pas sensible aux normes et pratiques sociales et culturelles spcifiques et aux messages non verbaux, les donnes collectes peuvent tre mal interprtes. Et finalement sans un groupe de comparaison, il est impossible de dterminer le groupe tmoin et ainsi la consquence d'impact du projet. Combinaison de Mthodes Quantitatives et Qualitatives Bien qu'il existe une large littrature sur les mthodes qualitatives et quantitatives d'impact, il y a aussi une acceptation croissante du besoin de combiner les deux approches. Les valuations d'impact utilisant des donnes quantitatives d'chantillons statistiquement reprsentatives sont meilleures et conviennent l'valuation de la causalit utilisant des mthodes conomtriques ou lobtention d'une conclusion gnralisable. Cependant, des mthodes qualitatives permettent l'tude approfondie des questions slectionnes, des cas ou des vnements et peuvent prsenter des aperus critiques dans les perceptives des bnficiaires la dynamique d'une rforme particulire ou les causes caches de certains rsultats observs dans une analyse quantitative. Il y a des diffrences significatives dans le choix d'une technique au lieu d'une autre. La combinaison des valuations quantitatives et qualitatives peut souvent s'avrer la meilleure voie pour rpondre aux besoins d'information du projet. Dans la fusion des deux approches, des mthodes qualitatives peuvent tre employes pour informer sur les questions cls de l'valuation d'impact, examiner le questionnaire ou la stratification de l'chantillon qualitatif et analyser le contexte social, conomique et politique dans lequel un projet se situe tandis que des mthodes quantitatives peuvent tre employes pour informer des stratgies de collecte de donnes qualitatives concevoir l'chantillon, informer dans quelle mesure les rsultats observs dans

DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT

le travail qualitatif peuvent tre gnraliss une plus grande population en utilisant un chantillon statistiquement reprsentatif et, l'analyse statistique peut tre employe pour contrler les caractristiques du mnage et les conditions socio- conomiques de diffrents secteurs d'tude liminant ainsi des explications alternatives des rsultats observs. Il y a plusieurs avantages utiliser des approches intgres dans la recherche faite par Bamberger (2000) qui s'applique aussi aux valuations d'impact. Parmi ceux-ci : Les contrles de cohrence peuvent tre intgrs l'aide des procdures de triangulation qui permettent deux ou plusieurs valuations indpendantes d'tre faites pour des variables cls (comme le revenu, les avis sur des projets, les raisons d'employer ou non des services publics et l'impact spcifique d'un projet). Des perspectives diffrentes peuvent tre obtenues. Par exemple, bien que les chercheurs puissent considrer le revenu ou la consommation comme indicateurs cls de bien-tre du mnage, les tudes de cas peuvent rvler que les femmes sont plus concernes par la vulnrabilit (dfinie comme le manque d'accs aux systmes d'appui social dans les temps de crise, l'absence de pouvoir ou l'exposition la violence). L'analyse peut tre conduite des niveaux diffrents. Les mthodes d'enqute peuvent fournir les bonnes valuations du bien-tre de l'individu, du mnage et au niveau de la communaut, mais ils sont beaucoup moins efficaces pour analyser des processus sociaux (conflit social, raisons d'employer ou de ne pas employer des services, etc.) ou pour l'analyse institutionnelle (comment fonctionnent efficacement la sant, l'ducation, le crdit et d'autres services et comment ils s perus par la ont communaut). Il y a beaucoup de mthodes qualitatives conues pour analyser des questions comme le processus social, le comportement institutionnel, la structure sociale et le conflit. Des possibilits peuvent tre offertes la rtroaction pour aider interprter les rsultats. Les rapports d'enqute comportent frquemment des rfrences aux incohrences apparentes dans les rsultats ou aux diffrences intressantes entre communauts ou groupes que l'on ne peut pas expliquer par des donnes. Dans la plupart des recherches quantitatives, une fois la phase de collecte de donnes acheve, il n'est pas possible de retourner sur le terrain pour vrifier de telles questions. La plus grande flexibilit de la recherche qualitative rside dans la possibilit de retourner sur le terrain pour recueillir des donnes complmentaires. Des enquteurs emploient aussi des mthodes qualitatives pour vrifier des points extrmes - rponses qui divergent des modles gnraux. Dans de nombreux cas, l'analys te de donnes doit prendre une dcision arbitraire comme pour savoir si un mnage ou une communaut qui prsente des conditions qui sont significativement au-dessus ou au-dessous de la norme doivent tre exclus (en supposant qu'ils refltent une erreur de rapport) ou si les chiffres doivent tre ajusts. Les mthodes qualitatives permettent un suivi rapide sur le terrain pour vrifier ces cas.

10

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

En pratique la combinaison des mthodes quantitatives et qualitatives devrait tre effectue chaque tape de l'valuation. Le chapitre 2 mentionne plusieurs possibilits pour le faire. Par exemple la Rforme de l'Autonomie de l'Ecole au Nicaragua fournit un bon exemple de mthodes intgres. Des mthodes quantitatives aprs une conception quasi exprimentale ont t employes pour dterminer le rapport entre la gestion dcentralise et l'tude et gnraliser des rsultats pour les diffrents types d'cole. En plus des techniques qualitatives comprenant une srie d'interviews cls d'information et des discussions du groupe cible avec le personnel local de diffrentes coles et des parents dlves ont t utilises pour analyser le contexte dans lequel la Rforme a t prsente, examiner la dynamique du processus de dcision dans chaque cole et valuer les perspectives de diffrents acteurs de la communaut scolaire quant au processus d'autonomie (voir Annexe 1.11). Autres Approches pour l'Evaluation de l'Impact

Deux autres termes sont particulirement appropris pour la discussion de l'valuation de l'impact des projets sur la pauvret : (a) des approches de la mesure de l'impact des Programmes d'Ajustement Structurel et (b) des valuations base de thorie. Tous les deux intgrent beaucoup de mthodologies traites ci-dessus, mais chacun emploie une approche diffrente. Evaluation des Programmes d'Ajustement Structurel. Il y a eu un dbat substantiel sur l'impact des programmes d'ajustement structurel sur le pauvre. Une grande partie des justifications utilises pour soutenir ce dbat est, cependant, base sur des mthodes et des hypothses dficientes. Tout comme d'autres projets, les changements de politique au titre des Programmes d'Ajustement Structurel doivent tre (a) compars avec des hypothses contre factuelles adaptes aux mmes contraintes macro -conomiques et (b) analyss dans le contexte de la structure conomique locale et bass sur l'information empirique tire d'enqutes sur le mnage. Ceci, cependant e trs difficile pour trois raisons. D'abord, les st changements de politique peuvent avoir un impact conomique de grande envergure ne permettant pas de trouver les groupes de comparaison inchangs. Deuximement, cause des facteurs exognes, des retards, des rtroactions et des substitutions, n'importe quels changements du bien-tre des pauvres doivent tre interprts avec une prcaution extrme. Et troisimement, il est difficile de prvoir ce qui serait arriv si l'ajustement n'avait pas eu lieu - quelles politiques alternatives un gouvernement aurait pu poursuivre et quel en serait l'impact sur le pauvre. Dans la littrature, plusieurs approches ont t utilises, chacune avec ses propres dfauts. Les techniques sont dans de nombreux cas semblables celles dcrites dans l'encadr 1.2, bien que, comme indiqu dans l'encadr 1.3, valuer la comparaison contre factuelle ncessite de grandes hypothses qui peuvent considrablement affecter la validit des rsultats. Ceci est trait de la faon la plus viable en isolant les changements de politiques spcifiques

DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT

11

qui affecteraient la population, comme la politique de taux de change, la politique commerciale, des rductions de dpenses publiques et des rductions de l'emploi du secteur public. Cependant, mme avec cette approche il peut tre difficile d'isoler l'impact de politiques spcifiques. En guise d'exemples, voir Killick (1995), Poppele, Summarto et Pritchett (1999), Bourguignon, de Melo et Suwa (1991) et Sahn, Dorosh et Younger (1996).

Encadr 1.3 Rsum des Mthodes Employes pour Evaluer des Politiques d'Ajustement Structurel Approches sans comparaison contre factuelle Des tudes qualitatives qui valuent les conditions de la population (identification des sous-groupes vulnrables) avant, pendant, aprs que des politiques d'ajustement soient mises en oeuvre travers des groupes cibles, des interviews et d'autres techniques qualitatives. "Avant et Aprs", qui compare la performance des variables cls pendant et aprs un programme avec celles avant le programme. L'approche emploie des mthodes statistiques pour valuer s'il y a un changement significatif de quelques variables essentielles avec le temps. Cette approche engendre souvent des rsultats biaiss parce qu'elle suppose que, si cela navait pas t le programme, les indicateurs de performance auraient pris leurs valeurs de priode d'avant crise. Approches qui Gnrent une Comparaison Contre Factuelle Utilisant des Hypothses Multiples Des modles d'quilibre gnraux calculables (CGEs) qui tentent d'opposer les rsultats dans les groupes de traitement et de comparaison par des simulations. Ces modles cherchent tracer l'opration de l'conomie relle et sont gnralement bass sur des matrices de comptabilit sociales dtaille rassembles partir des donnes sur des comptes nationaux, des enqutes de dpense, du mnage et d'autres donnes d'enqute. Des modles CGE gnrent souvent des rsultats pour la comparaison contre factuelle bien que la force du modle soit entirement tributaire de la validit des hypothses. Cela peut tre pro blmatique tant donn que des bases de donnes sont souvent incompltes et la plupart des paramtres nont pas t estims par des mthodes conomtriques formelles. Des modles CGE prennent aussi beaucoup de temps, sont encombrants et reviennent chers gnrer.
(Lencadr continue sur la page suivante)

12

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Encadr 1.3 (suite) Avec et sans des comparaisons qui analysent le comportement dans des variables cls dans un chantillon de pays de programme avec leur comportement dans des pays sans programme (un groupe de comparaison). C'est une approche la question contre factuelle exploitant les expriences du groupe de comparaison comme mandataire pour ce qui serait autrement arriv dans les pays du programme. Il est, cependant, tout fait difficile de raliser un vrai groupe de comparaison. La mthode suppose que seule l'adoption d'un programme distingue un pays de programme du groupe de comparaison et , que, l'environnement externe affecte les deux de la mme manire. Des vrifications statistiques consistant en des rgressions qui contrlent les diffrences dans les conditions et les politiques entreprises dans les pays avec ou sans programme. L'approche identifie les diffrences entre le programme et des pays sans programme dans la priode de pr-programme et contrle en suite ces diffrences statistiquement pour identifier les impacts isols des programmes dans la performance de post-rforme.

L'valuation base de thorie. La prmisse des valuations base de thorie est que les programmes et projets sont bass sur une thorie explicite ou implicite sur comment et pourquoi un programme va russir. L'valuation serait alors base sur l'valuation de chaque thorie et hypothse d'un programme pendant la mise en uvre plutt qu' mi-parcours ou aprs que le projet a t achev. Dans la conception de l'valuation, la thorie sous- jacente est prsente en plusieurs micro tapes avec les mthodes ensuite labores pour la collecte des donnes et l'analyse pour le droulement des hypothses. Si les vnements ne se passent pas comme prvu l'valuation peut indiquer avec une certaine confiance o, pourquoi et comment la dfaillance est arrive. L'approche met l'accent sur les rponses des participants aux activits du programme. Les thories dirigent l'attention de l'valuateur sur des types d'impacts probables court et long terme. Parmi les avantages, il y a, d'abord que l'valuation fournit des indicatio ns rapides de l'efficacit du programme pendant la mise en uvre du projet. S'il y a des dfaillances pendant la mise en uvre, il est possible de les situer le long du parcours. Deuximement l'approche aide expliquer comment et pourquoi les effets se so nt produits. Si les vnements se passent comme prvu l'valuation peut indiquer avec une certaine confiance comment les effets se sont produits. En suivant l'ordre des tapes, il est possible de suivre la trace les micro-tapes qui ont conduit des ressources du programme jusqu'aux rsultats.

DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT

13

Les dfauts de l'approche sont semblables beaucoup d'autres mthodologies. Particulirement : (a) des hypothses identifiables et des thories peuvent tre en soi complexes, (b) les valuateurs peuvent rencontrer des problmes pour mesurer chaque tape, moins que les donnes et les instruments corrects ne soient disponible, (c) des problmes peuvent surgir dans l'ap prciation de l'effort parce que les dclarations thoriques peuvent tre trop gnrales pour permettre une apprciation nette, et (d) il peut y avoir les problmes d'interprtation qui rendent difficile la gnralisation des rsultats (voir Weiss). Un exemple de la technique base de thorie est pilot par le Dpartement des Oprations et d'Evaluation de la Banque Mondiale pour valuer l'impact des fonds d'investissement social sur les processus de prise de dcision au niveau de la communaut, les structures de pouvoir traditionnelles et les relations et la capacit de la communaut, la confiance et le bien tre. Ce sera bas sur la thorie que les groupes prioritaires peuvent efficacement mettre en uvre un projet, le faire fonctionner et sauvegarder l'investissement cr par le projet. Un jeu des hypothses principales et des sous-hypothses a t expos et sera valu en employant des donnes existantes d'enqutes sur les mnages aussi bien qu'un instrument d'enqute particulirement conu pour un chantillon plus restreint et des groupes cibles et d'autres techniques PRA. L'information de chacune de ces sources de donnes sera exploite triangulairement. Analyse du cot bnfice ou de rentabilit Tandis que ce type d'analyse n'est pas strictement concern par des mesures d'impact, il permet aux dcideurs de mesurer l'efficacit d'un programme en comparant des interventions alternatives sur la base du cot de production d'un rsultat donn. Il peut normment accrotre les implications de la politique de l'valuation de l'impact et doit donc aussi tre inclus dans la conception de n'importe quelle valuation d'impact (Pour une discussion plus complte sur l'analyse du cot bnfice et de rentabilit, voir le Manuel sur l'Analyse Economique des Oprations et d'Investissement de la Banque Mondiale 1996.) L'analyse du cot bnfice essaie de mesurer l'efficacit conomique des dpenses d'un programme par rapport aux bnfices du programme, en termes montaires. Pour beaucoup de projets, particulirement, dans les secteurs sociaux, il n'est pas possible de mesurer tous les bnfices en termes montaires. Par exemple, les bnfices d'un programme de fournitures scolaires (livres, matriels didactiques) devraient tre une ducation accrue. Au lieu de mesurer les rsultats montaires, les rsultats de ralisation de l'ducation pourraient tre exploits pour valuer quantitativement les bnfices, ce qui exigerait l'analyse de la rentabilit. Les concepts pour les deux types d'analyse sont les mmes. Les principales tapes de l'analyse du cot bnfice ou de rentabilit doivent identifier toutes les dpenses et tous les bnfices d'un projet et calculer ensuite une proportion du cot par rapport l'efficacit. Dans le calcul des dpenses, la valeur de l'intervention

14

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

doit tre incluse aussi bien que toutes les autres dpenses, comme l'administration, la prestation de services, les dpenses d'investissement (escomptes la valeur prsente nette), la valeur montaire des marchandises ou services gratuitement fournis, les dpenses sociales comme la dtrioration environnementale et les risques pour la sant. Les bnfices peuvent tre montaires comme le gain ou le nombre d'units livres, des rsultats de test ou des amliorations de sant. Quand les bnfices ne peuvent tre valus quantitativement, il est possible d'employer des indicateurs subjectifs comme les systmes d'indemnit ou de classement. Cette approche cependant peut tre biaise dans l'interprtation des rsultats subjectifs. Une fois que les dpenses et bnfices ont t arrts, le ratio de rentabilit (R) est donc R= cot/unit (ou bnfice). Ce ratio peut ensuite tre compar travers des interventions pour mesurer l'efficacit. En thorie, cette technique est tout fait directe. En pratique, cependant, beaucoup de risques impliqus dans l'identification et la quantification des cots et bnfices. Il est important de s'assurer que des indicateurs appropris soient choisis, que les mthodologies et les hypothses conomiques employes soient cohrentes travers les ratios, et que les ratios soient effectivement comparables. Et comme dans d'autres techniques employes dans l'analyse de l'impact, l'valuation de la rentabilit peut tre mieux faite quand on l'inclut dans la conception de l'valuation ds les toutes premires tapes. Cela permet de collecter l'information sur le cot et bnfice ncessaire et d'assurer la cohrence.

Le choix d'une mthodologie


Compte tenu la diversit des types de projet, des questions d'valuation, de la disponibilit des donnes, le cot, les contraintes de temps et les situations de pays, chaque tude d'valuation d'impact sera diffrente et ncessitera une certaine combinaison de mthodologies appropries, la fois quantitatives et qualitatives. L'valuateur doit soigneusement explorer les options mthodologiques dans la conception de l'tude dans le but d'obtenir les rsultats les plus fiables possibles. Parmi les mthodes quantitatives on considre les conceptions exprimentales et les comparaisons harmonises comme la seconde meilleure alternative. D'autres techniques, cependant, peuvent aussi produire des rsultats fiables, particulirement avec une bonne conception de l'valuation et des donnes de haute qualit. Sil est vident que les valuations "Meilleure Pratique" passes en revue pour ce manuel fait ressortir que le choix des mthodologies d'valuation d'impact n'est pas mutuellement exc lusif. En effet des valuations plus fiables combinent souvent des mthodes afin d'assurer la fiabilit et prvoir des ventualits dans la mise en uvre. La combinaison des approches avec et sans et avant et aprs utilisant la fusion des donnes de base et des donnes de suivi constitue une combinaison fortement recommande du point de vue mthodologique (Subbarao, et autres 1999). La disponibilit des donnes de base permettra aux valuateurs de vrifier l'intgrit des groupes de traitement et des groupes de comparaison, d'valuer le ciblage et de se prparer pour une valuation d'impact fiable. Ceci est vrai mme pour

DEFINITION DES CONCEPTS ET TECHNIQUES POUR LEVALUATION DIMPACT

15

des conceptions de simulation alatoire. Bien que la simulation alatoire assure des groupes cibles et de comparaison quivalente au moment du choix, cette particularit ne doit pas pousser les valuateurs penser qu'ils n'ont pas besoin de donnes de base. En effet, les donnes de base peuvent tre cruciales pour rtablir pourquoi certains vnements ont eu lieu et faire un contrle pour ces vnements dans l'valuation d'impact. Il est aussi fortement recommand que le cot-bnfice ou la rentabilit soit incorpor dans l'analyse. Cette mthodologie peut permettre aux dcideurs de comparer des interventions alternatives sur la base du cot de production d'un rsultat donn. Ceci est particulirement important dans le contexte des pays en dveloppement o les ressources sont extrmement limites. Finalement, la combinaison des mthodes quantitatives et qualitatives est l'idal parce qu'elle fournira l'impact quantifiable d'un projet aussi bien qu'une explication des processus et des interventions qui ont gnr ces rsultats. Bien que chaque valuation d'impact ait des caractristiques uniques ncessitant des approches mthodologiques diffrentes, certaines caractristiques considres comme bonnes pratiques comprennent : une estimation des comparaisons contre factuelles faite par (a) lutilisation de la nomination alatoire pour crer un groupe tmoin (la conception exprimentale) et (b) l'utilisation approprie et soigne d'autres mthodes comme la mise en parallle pour crer un groupe tmoin (la comparaison quasi exprimentale) le contrle des diffrences d'avant et daprs programme chez les participants et lobservation des signes des impacts de programme ; sassurer quil y a des donnes appropries collectes au dpart et pendant le suivi (incluant des dlais suffisants pour permettre de tenir compte des impacts d'un programme). Les groupes cibles et les groupes de contrle sont de tailles suffisantes pour tablir des inductions statistiques avec une usure minimale. L'analyse cot-bnfice ou de rentabilit est ralise pour mesurer l'efficacit du projet. Des techniques qualitatives sont intgres pour permettre la triangulation des rsultats.

Chapitre 2 Dmarches Cls dans la Conception et la Mise en uvre des Evaluations d'Impact
Entreprendre une tude d'valuation d'impact peut tre stimulant et coteux avec des questions relatives la mise en uvre qui surgissent continuellement. Ces dfis mettent en vidence l'importance d'une tude bien conue, une quipe engage et hautement qualifie et une bonne communication entre les membres de l'quipe d'valuation. En incorporant ds le dpart l'valuation dans la conception d'un projet, il sera possible d'obtenir des rsultats en temps opportun pour que les conclusions puissent tre utilises pour les rajustements mi-parcours des composantes spcifiques. Indpendamment de la taille, du type de programme ou de la mthodologie employe pour l'valuation, il y a plusieurs dmarches cls effectuer comme dcrit ci-dessous (Encadr 2.1) Ce chapitre fournira un expos de ces dmarches ainsi qu'un expos des nombreuses questions qui peuvent surgir dans la mise en uvre. La succession de ces dmarches est critique particulirement pour assurer la collecte des donnes ncessaires avant que le projet nentre en excution. La planification faite temps fournit l'occasion de faire une simulation alatoire, de construire a priori des comparaisons parallles, de collecter des donnes de base et didentifier des enqutes qui pourraient tre utilises dans une approche associant des rsultats de tendance. Tout le travail de conception et de collecte des donnes initiales doit se faire pendant l'identification et la prparation du projet. Idalement, quelques rsultats seront disponibles pendant la mise en uvre du projet de faon qu'ils puissent servir l'amlioration de la conception du projet si ncessaire. Un bon exemple de plans d'valuation incorpors ds les toutes premires tapes est illustr dans le Projet de Nutrition et de Dveloppement de la Petite Enfance en Ouganda. Dterminer lopportunit deffectuer une valuation Une premire dcision est de savoir si une valuation d'impact est ncessaire ou non. Comme discut ci-dessus les valuations d'impact diffrent des autres valuations en ce qu'elles sont centres sur l'valuation de la causalit. Etant donn la complexit et le cot de l'excution de l'valuation d'impact, les cots et les bnfices doivent tre valus et lutilisation dune autre approche qui serait plus approprie, comme le contrle des indicateurs cls de performance ou une valuation du processus, devrait galement tre envisage. Ces approches ne devraient pas

* Ce chapitre sest beaucoup inspir dun expos prpar par Laura Rawlings,

Implementation Issues in Impact Evaluation, Processed, 1999.

16

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 17

Encadr 2.1 Principales dmarches dans la conception et l'excution des valuations d'impact Pendant l'Identification et la Prparation du Projet 1. Dterminer s'il faut ncessairement effectuer une valuation ou non 2. Clarifier les objectifs de l'valuation 3. Explorer la disponibilit des donnes 4. Concevoir l'valuation 5. Former l'quipe d'valuation 6. Si des donnes seront collectes : (a) Conception et slection des chantillons (b) Dveloppement de l'instrument de collecte des donnes (c) Recruter et former le personnel de terrain (d) Raliser lenqute pilote (e) Collecte de donnes (f) Gestion et accs aux donnes Pendant la Supervision du Projet 7. Poursuivre la collecte des donnes 8. Analyser les donnes 9. Rendre compte des rsultats par crit et les discuter avec les dcideurs et les bailleurs de fonds 10. Incorporer les rsultats la conception du projet.

tre considres comme des substituts aux valuations d'impact; en fait, elles constituent souvent des complments critiques aux valuations d'impact. Et peut- tre les raisons dcisives deffectuer une valuation ou non dpendent de limportance de lappui politique et financier. L'effort complmentaire et les ressources ncessaires pour conduire des valuations d'impact sont mieux mobiliss quand le projet est innovateur, transposable et implique des allocations de ressources substantielles et comporte des interventions bien dfinies. Par exemple, l'valuation de l'impact du Fonds d'investissement social bolivien a rempli chacun de ces critres. D'abord, on a considr comme innovateur et transposable le nouveau modle de fonds social prsent en Bolivie, deuximement le fonds social a t responsable d' peu prs 25 pour cent de tous les investissements publics en Bolivie depuis le dbut de l'valuation et troisimement les interventions taient bien dfinies par le menu de microprojets du fonds social.

18

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

On doit aussi donner la priorit aux valuations d'impact si le projet en question lance une nouvelle approche comme un programme pilote qui sera plus tard pris en considration pour une extension base sur les rsultats d'valuation ou les nouveaux Prts pour l'Apprentissage et l'Innovation de la Banque Mondiale. Ce raisonnement a fait de la rforme de l'autonomie scolaire nicaraguayenne un bon candidat une valuation d'impact. L'tude d'valuation a accompagn l'exprimentation par le gouvernement d'un nouveau modle de gestion scolaire dcentralise depuis sa phase pilote au milieu des annes 1990 jusqu' son extension presque tous les collges d'enseignement gnral et environ la moiti de toutes les cole s primaires aujourd'hui. L'valuation a t gre par une quipe internationale en troite collaboration comprenant le personnel local de l'unit de recherche et d'valuation du Ministre de l'Education Nationale et l'unit d'valuation et le bureau de coordination du Projet d'Education Primaire de la Banque Mondiale Managua. Leur implication a assur que l'valuation a inform les dcisions de politique cls relatives l'valuation quant la modification et l'extension du projet pilote. Une autre considration importante est de s'assurer que le programme qui doit tre valu est suffisamment dvelopp pour tre soumis une valuation d'impact. Les projets pilotes et les rformes naissantes sont souvent enclins aux rvisions quant leur contenu aussi bien que pour savoir comment, quand et par qui, ils seront mis en uvre. Ces changements peuvent saper la cohrence de l'effort d'valuation, des conceptions particulirement exprimentales et d'autres types d'valuation prospective qui reposent sur les donnes de base et de suivi des groupes de traitement et de contrle clairement tablis. L o la politique valuer est encore en cours de dfinition, il peut tre recommand d'viter d'utiliser une valuation d'impact afin de permettre la flexibilit dans le projet L'obtention de l'appui des dcideurs et des financiers pour une valuation d'impact peut tre stimulante mais est un pralable ncessaire pour avancer. Ils doivent tre convaincus que l'valuation est un exercice utile traitant des questions qui seront pertinentes aux dcisions concernant l'affinement, l'extension ou la rduction du programme valu. Ils doivent aussi tre convaincus de la lgitimit de la conception de l'valuation et donc des rsultats, particulirement quand ceux-ci ne sont pas aussi positifs que prvu. Le financement d'une valuation d'impact reste une question difficile pour les directeurs de programme, de mme que pour les partenaires bnficiaires. La question du financement se compose du fait que les donnes sur des dpenses d'valuation sont d'habitude difficile obtenir. Et peut-tre la question la plus difficile vient de la bonne valeur publique de l'valuation : si les rsultats de l'valuation vont tre employs pour informer la politique applique l'extrieur des frontires nationales o l'valuation est conduite, comme c'est souvent le cas, pourquoi un seul pays devrait- il supporter le cot de l'valuation? Parmi les tudes de cas qui avaient l'information sur les sources de financement, l'information mo ntre que les pays assument souvent la majorit, mais pas l'intgralit, des dpenses d'valuation. Comme discut plus pleinement dans le chapitre 4, beaucoup de cas passs en revue suggrent que l'excution russie d'une valuation d'impact exige

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 19

non seulement un engagement de ressources substantielles des pays bnficiaires mais aussi l'implication du personnel de la Banque Mondiale ou de chercheurs et consultants externes, ncessitant des ressources au-del de celles fournies par le pays. Clarifier les objectifs de l'valuation Une fois qu'il a t dcid qu'une valuation d'impact est approprie et justifie, tablir des objectifs clairs qui seront le point central de l'valuation contribuera grandement son succs. Des objectifs clairs sont essentiels pour l'identification des besoins de l'information, pour la fixation des rsultats et des indicateurs d'impact et btir une stratgie solide dvaluation pour trouver des rponses aux questions poses. L'utilisation d'une approche de cadre logique fournit un bon outil gnralement employ pour identifier les buts et les besoins d'information du projet autour desquels l'valuation peut tre btie. Le cadre logique, de plus en plus employ la Banque Mondiale, est bas sur une matrice simple "quatre par quatre " qui associe l'information avec des objectifs du projet et la faon dont l'excution sera suivie la trace, utilisant des jalons et des programmes de travail, quel impact les rsultats du projet auront sur l'institution ou le systme bnficiaire et comment cela sera mesur et comment les ressources sont utilises pour produire des rsultats (voir Annexe 5 pour des exemples). Autrement dit, il est assum que l'impact du projet prvu est fonction des rsultats du projet aussi bien qu'une srie d'autres facteurs. Les rsultats sont une fonction des entres du projet qui sont leur tour fonction des ressources du projet et de facteurs extrieurs au projet. Des mesures quantifiables doivent alors tre identifies pour chaque maillon du cycle du projet. Cette approche n'interdit pas l'valuateur de considrer aussi les impacts fortuits d'un projet mais sert garder les objectifs clairs et centrs. Des techniques qualitatives sont aussi utiles dans la rvlation de la participation dans la clarification des objectifs de l'valuation et des indicateurs d'impact y affrents. Bien qu'une dclaration d'objectif puisse sembler, en apparence, une des parties les plus faciles du processus d'valuation, sera peut tre extrmement difficile. Par exemple des dclarations qui sont trop vagues ne se prtent pas l'valuation. La dclaration d'objectif dans l'valuation du PROBECAT au Mexique (Annexe 1.9) selon laquelle l'valuation concerne l'effet du programme de formation PROBECAT sur les rsultats du march du travail serait plus prcise si elle avait t ramene l'effet de PROBECAT sur les heures de travail, les indemnits horaires, le salaire mensuel et la priode du premier placement au travail pour les diffrents types d'ouvriers. L'valuation du PROGRESA au Mexique fournit un bon exemple et cre un profit clair des objectifs multiples ds le dbut avec une discussion spare de chaque composante avec des objectifs dtaills dans les sous catgories (Annexe 1.10). Il est particulirement important parce que

20

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

l'intervention tait tout fait complexe avec une valua tion devant traiter non seulement l'impact du programme mais aussi les aspects de ciblage et du chronogramme des oprations. L'examen d'autres composantes de l'valuation telles que le cot rentabilit ou le processus dvaluations peut aussi constituer des objectifs importants dune tude et peut complter lvaluation dimpact. La rentabilit peut tre d'un intrt particulier pour des dcideurs dont il s'agira de rduire, tendre ou reformer l'intervention value. Sur des questions lies la prestation de service, une valuation du processus pourrait tre approprie pour les procdures, la dynamique, les normes et les contraintes dans lesquelles un programme particulier est ralis. Explorer la disponibilit des donnes Plusieurs types de donnes peuvent tre utiliss pour effectuer des tudes dvaluation d'impact. Ceux-ci peuvent comprendre une gamme d'enqutes allant des enqutes de sessions croises ou d'ensemble, aux interviews qualitatives finalit ouverte. Idalement, cette information est disponible au niveau individuel pour assurer que le vrai impact peut tre valu. L'information au niveau des mnages peut cacher l'allocation de ressources internes au mnage qui affecte des femmes et des enfants parce qu'ils ont souvent un accs plus limit aux ressources productives du mnage. Dans de nombreux cas, l'valuation d'impact profitera de quelques donnes existantes ou se superposera une enqute en cours, ce qui peut considrablement rduire les cots. Avec cette approche, cependant, les problmes peuvent surgir dans le choix du temps de collecte des donnes et avec la flexibilit de la conception du questionnaire. L'Encadr 2.2 met en lumire quelques points cls retenir dans l'exploration de l'utilisation des ressources des donnes existantes pour l'valuation d'impact. Avec cette crativit, il peut tre possible de maximiser des ressources d'information existantes. L'valuation du Fonds d'Investissement social hondurien (voir le chapitre 4) est un bon exemple. Cette tude a u tilis un module tir de l'enqute nationale sur les revenus dans le questionnaire du fonds social, permettant ainsi au revenu des bnficiaires du fonds social d'tre compar avec des mesures nationales pour valuer le ciblage de la pauvret (Walker et d'autres 1999). Au plus bas niveau, des donnes sur l'univers de la population concerne seront exiges comme base partir de laquelle dterminer les tailles types, construire le cadre de l'chantillonnage et choisir l'chantillon. D'autres types de donnes qui peuvent tre disponibles dans un pays donn et peuvent tre employs pour des valuations d'impact diffrentes comprennent (voir Valadez et Bamberger 1994) : revenu du mnage et enqutes sur les revenus et les dpenses des mnages, tude de la mesure du niveau de vie, enqutes sur le march du travail ; rapports des coopratives, associations de cooprative de crdit et d'autres institutions financires ou rapport scolaire sur l'tat de la frquentation, du redoublement et des examens; rapports de sant publique sur la mortalit infantile,

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 21

Encadr 2.2 Points cls pour identifier des ressources de donnes pour l'valuation d'impact Connaissez bien le programme. Il est risqu de s'engager dans une valuation sans bien connatre les dtails administratifs et institutionnels du programme ; cette information vient typiquement de l'administration du programme. Collectez l'information sur les faits styliss appropris par rapport la dtermination. Les faits appropris pourraient inclure la carte de la pauvret, comment fonctionne le march du travail, les divisions ethniques majeures et d'autres programmes publics appropris. Soyez clectique au sujet des donnes. Les sources peuvent embrasser tant des interviews informelles, peu structures avec des participants au programme que des donnes quantitatives d'chantillons reprsentatifs. Cependant, il est extrmement difficile de poser des questions contre factuelles dans des interviews ou des groupes cibls ; essayer de demander quelqu'un qui participe actuellement un programme public : " que feriez-vous maintenant si ce programme n 'avait pas exist ? " Parler aux participants au programme peut tre, mais il est improbable d'obtenir une valuation crdible sur cette seule base. Assurez- vous qu'il y a des donnes sur les indicateurs de rsultat et des variables explicatives appropri es. Ces dernires ont besoin de traiter l'htrognit dans les hypothses de rsultat sur la participation au programme. Les rsultats peuvent diffrer en fonction, par exemple, de l'instruction. Il n'est pas possible de voir l'impact du programme moins qu'on contrle cette htrognit. Selon les mthodes utilises, les donnes pourraient aussi tre ncessaires sur des variables qui influencent la participation, mais n'influencent pas la participation donne aux rsultats. Ces variables instrumentales peuvent tre valables pour trier les effets suscits possibles de programmes non alatoires (encadr 1.2). Les donnes sur les rsultats et d'autres variables explicatives appropries peuvent tre quantitatives ou qualitatives. Mais il doit tre possib le d'organiser l'information dans toute sorte de structure de donnes systmatiques. Un exemple simple et commun est que l'on a les valeurs de variables diverses incluant un ou plusieurs indicateurs de rsultat pour des units d'observation diverses (des individus, des mnages, des socits, des communauts)
Les variables sur lesquelles on a des donnes et les units dobservation quon utilise sont souvent choisies comme une partie de la mthode dvaluation. Ces choix

(Lencadr continue sur la page suivante).

22

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

Encadr 2.2 (Suite)


devraient tre ancrs la connaissance antrieure du programme (ses objectifs, bien sr, mais aussi c omment il est dirig) et l'arrangement dans lequel il est prsent.

La source spcifique des donnes sur les rsultats et leurs dterminants, y compris la participation au programme, vient typiquement des donnes d'enqute de toute sorte. L'unit d'observation pourrait tre le mnage, la socit ou le secteur gographique selon le type de programme que l'on tudie. Les donnes d'enqute peuvent souvent tre compltes avec d'autres donnes utiles sur le programme (telle la donne de base de contrle du programme) ou l'arrangement (telles les donnes de base gographiques).

Incidence des diffrentes maladies infectieuses, le nombre de femmes sollicitant conseil sur la contraception, lutilisation du prservatif ; des enqutes spcialises menes par des universits, des organisations non gouvernementales et des groupes consultatifs, contrle de donnes des administrateurs de programme et tude de cas de projet. Exploitation des donnes d'enqutes existantes. Plusieurs enqutes peuvent tre en cours de planification ou en cours dexcution. Si une enqute valuant les indicateurs ncessaires est projete, l'valuation peut tre en mesure de prendre l'chantillonnage de la population concerne au cours de l'enqute gnrale (par exemple, destin tre utilis dans lapproche des rsultats de tendance ) comme ce fut le cas pour l'valuation du Fonds d'investissement social nicaraguayen et l'valuation du programme protection-travail TRABAJAR en Argentine (Jalan et Ravallion 1998). Par contre, si une enqute est projete qui couvrira la population concerne, l'valuation peut tre en mesure d'introduire une question ou la srie de questions comme une partie de l'enqute ou ajouter une enqute qualitative pour complter l'information quantitative. Par exemple, le Crdit pour le programme d'ducation au Ghana a inclus un jeu d'interviews qualitatives avec des partenaires cls aussi bien qu'avec des groupes cibles non participants et participants qui ont fourni la confirmation qualitative des rsultats quantitatifs (Annexe 6). L'valuation a mesur l'impact du programme sur le statut institutionnel et la scurit alimentaire des mnages pauvres. Des donnes qualitatives ont inclus des questions spcifiques sur le revenu et les dpenses du mnage, et le niveau de comptence tandis que des donnes qualitatives se sont concentres sur le renforcement des capacits des femmes - statut et prise de dcision dans les mnages, rseaux sociaux, confiance en soi et ainsi de suite.

DEMARCH ES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 23

Conception de l'valuation Une fois que les objectifs et les ressources de donnes sont clairs, il est possible de commencer la phase de conception de l'tude de l'valuation d'impact. Le choix des mthodologies dpendra des questions de l'valuation, du choix du temps de lvaluation, des contraintes du budget et de la capacit de mise en uvre. Les avantages et les inconvnients des diffrents types de conception traits au chapitre 1 doivent tre quilibrs pour dterminer les mthodologies les plus appropries et la manire dont des techniques quantitatives et qualitatives peuvent tre intgres pour se complter les unes les autres. Mme aprs que la conception de l'valuation a t dcide et intgre au projet, les valuateurs doivent tre prpars tre flexibles et faire des modifications la conception pendant que le projet est mis en uvre. En plus des dispositions doivent tre prises pour suivre la trace les interventions du projet si l'valuation inclut des donnes de base et de suivi pour que le travail d'valuation soit parallle l'allure relle du projet. Dans la dfinition de la conception, il est aussi important de dterminer comment l'valuation d'impact s'ajustera la plus large stratgie de contrle et d'valuation applique au projet. Tous les projets doivent tre contrls pour que les administrateurs, les bailleurs de fonds et les dcideurs puissent suivre l'volution du programme comme il se droule. L'effort de l'valuation, comme trait ci-dessus, doit tre faonn aux exigences d'information du projet. Question de l'valuation. Les questions d'valuation poses sont troitement lies la conception de l'valuation en termes de type de donnes collectes, unit d'analyse, mthodologies employes et temps choisi pour les diverses tapes. Par exemple, dans l'valuation de l'impact des manuels scolaires sur les rsultats de l'apprentissage, il serait ncessaire de faonner l'valuation pour mesurer l'impact sur les tudiants, les salles de classe et les enseignants pendant une anne scolaire donne ; ce qui serait trs diffrent de la mesure de l'impact des services fournis par des investissements de fonds sociaux qui exigeraient des donnes sur les quipements de la communaut et sur les mnages. Les tudes de cas dans l'Annexe 1 fournissent les autres exemples en la manire dont la question de l'valuation peut affecter la conception de l'valuation. Dans la clarification des que stions d'valuation, il est aussi important de considrer les implications de genre sur l'impact du projet. Au dbut, cela ne peut pas toujours tre vident, cependant, dans la mise en uvre du projet, il peut y avoir des effets secondaires sur les mnages , ce qui ne serait pas ncessairement identifi sans la collecte de donnes spcifiques et les efforts d'analyse. Questions du choix du temps de lvaluation et du budget. La question du choix du temps la plus critique est de savoir s'il est possible de commencer la conception de l'valuation avant que le projet ne soit mis en oeuvre et quand les rsultats seront disponibles. Il est aussi utile d'identifier ds le dpart quels points du cycle du projet l'information

24 DEMARCHES C LES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

fournie par le travail de l'valuation sera ncessaire pour que la collecte des donnes et les activits d'analyse puissent tre lies. Avoir des rsultats au bon moment peut tre crucial pour les dcisions - par exemple au cours d'un examen de projet, pendant une priode lectorale ou quand des dcisions relatives la continuation dun projet sont en train dtre prises. Quelques mthodes ncessitent plus de temps pour la mise en uvre que d'autres. Le choix alatoire des mthodes "avant et aprs" (par exemple des comparaisons rflexives) prend plus de temps mettre en uvre que des approches de mise en correspondance de la comparaison ex-post. En exploitant des approches "avant et aprs" qui utilisent des valuations de base et de suivi, le temps doit tre laiss au dernier membre du groupe de traitement pour recevoir l'intervention et ensuite d'habitude on laisse plus de temps pour que les effets post programme se concrtisent et soient observs. Grossman (1994) suggre que 12 18 mois aprs l'inscription de l'chantillon dans l'intervention soit une priode type observer avant l'examen des impacts. Dans des projets de la Banque Mondiale, axs sur des donnes de base, l'attente que l'intervention prenne place et que les rsultats se concrtisent peut prendre des annes. Par exemple dans l'valuation du Fonds d'investissement social bolivien qui tablait sur les donnes de base collectes en 1993 des donnes complmentaires n'taient collectes qu'en 1998 cause du temps ncessit pour les interventions (projet d'adduction d'eau et de systmes sanitaires, cliniques de sant et coles) ralises pour que les effets sur la sant de la population des bnficiaires et des rsultats ducatifs soient obtenus. Une priode semblable de temps a t ncessaire pour l'valuation d'un projet d'ducation primaire au Pakistan qui a utilis une conception exprimentale avec des donnes d'enqutes de base et de suivi pour valuer l'impact des coles communautaires sur les rsultats des tudiants, y compris les performances acadmiques. Les exigences du choix du temps de l'valuation ne peuvent pas guider le projet en valuation. Par leur nature mme, les valuations sont soumises aux dlais tablis par le reste du projet. Les valuations doivent attendre pour les projets qui sont lents pour les dboursements et la ralisation des interventions. Et mme si les projets avancent l'allure tablie, quelques interventions prennent plus de temps p se raliser comme des projets d'infrastructure. Les dlais pour l'valuation sont our aussi sensibles aux indicateurs choisis parce que beaucoup d'indicateurs, comme les changements de taux de fcondit ou la russite scolaire mettent plus de temps pour se manifester dans la population des bnficiaires. Capacit de mise en uvre. Une considration finale dans l'chelle et la complexit de la conception d'valuation est la capacit de mise en uvre de l'quipe d'valuation. Les questions de la mise en uvre peuvent tre trs dfiantes particulirement dans les pays en voie de dveloppement o il y a peu d'exprience de la recherche applique et des valuations de programme. La composition de l'quipe d'valuation est trs importante aussi bien que l'exprience des membres de l'quipe avec les diffrents types de mthodologie et leur capacit quant d'autres activits en cours d'excution par l'unit d'valuation. Ceci est particulirement

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

25

vrai quand on travaille avec les agences du secteur public qui ont des responsabilits multiples et un personnel limit. La conscience que l'unit a de la charge du travail est importante pour valuer non seulement comment elle affectera la qualit de l'valuation mene mais aussi le cot d'opportunit de l'valuation en ce qui concerne d'autres efforts dont l'unit est responsable. Il y a plusieurs exemples des efforts d'valuation qui ont t dvoys quand le personnel cl a t appel sur d'autres projets et n'tait pas ainsi en mesure de mettre en uvre la collecte des donnes sur le programme au point critique dans le temps (comme un point pendant l'anne scolaire ou pendant la saison agricole). De telles situations peuvent tre vites par la coordination avec des responsables dans l'unit en charge de l'valuation pour s'assurer qu'un quilibre est ralis en respectant le choix du temps des diverses activits aussi bien que la rpartition du personnel et des ressources sur ces activits. Alternativement, il est peut-tre prfrable de passer un contrat avec un bureau dtudes pour effectuer l'valuation (trait ci dessous). Formation de l'quipe d'valuation Une gamme de comptences est ncessaire dans le travail d'valuation. La qualit et l'utilit ventuelle de l'valuation d'impact peuvent tre normment amliores avec la coordination entre les membres d'quipe et les dcideurs ds le dbut. Il est donc important d'identifier les membres de l'quipe le plus tt possible, convenir des rles et des responsabilits et tablir des mcanismes pour la communication aux points cls de l'valuation. Dans l'quipe centrale, figurent le directeur de l'valuation, les analystes (tant des conomistes que d'autres spcialistes des sciences humaines) et pour des conceptions d'valuation impliquant une nouvelle collecte de donnes, un expert de prlvement d'chantillon, le concepteur de l'enqute, le responsable des oprations de terrain et l'quipe de terrain et des responsables et des processeurs de donnes (pour un guide global la conception et l'excution des enqutes) voir Grosh et Muoz 1996). Selon la taille, la porte et la conception de l'tude, certaines de ces responsabilits sont partages ou d'aut res besoins en personnel pourraient s'ajouter cette quipe centrale. Dans les cas o les analystes de politique peuvent n'avoir pas eu l'exprience d'intgration des approches quantitatives et qualitatives, il peut tre ncessaire de passer un temps complmentaire au stade initial de la formation de l'quipe pour sensibiliser les membres de l'quipe et assurer la pleine collaboration. Les responsabilits dtailles des membres de l'quipe sont les suivantes : Responsable de l'valuation - Le responsable de l'valuation est charg de l'tablissement des besoins de l'information et des indicateurs pour l'valuation (qui sont souvent tablis avec le client en employant une approche de structure logique), rdigeant les termes de rfrence pour l'valuation, choisissant la mthodologie d'valuation et identifiant l'quipe d'valuation. Dans de nombreux cas, le responsable de l'valuation effectuera aussi l'analyse de la politique.

26

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

Analyste politique - Un conomiste est ncessaire pour l'analyse quantitative aussi bien qu'un sociologue ou un anthropologue pour assurer une ressource participative et une analyse qualitative aux diffrentes tapes de l'valuation d'impact. Tous les deux doivent tre impliqus dans la rdaction du rapport d'valuation. Expert dchantillonnage - L'expert de lchantillonnage doit tre capable d'effectuer des calculs solides pour dterminer les tailles types appropries pour les indicateurs tablis, choisir l'chantillon, passer en revue les rsultats de l'chantillon rel contre l'chantillon conu et incorporer les poids de l'chantillonnage pour l'analyse. Pour des donnes qualitatives, l'expert du tirage des chantillons doit guider le processus de choix type en coordination avec les analystes, assurant que les procdures tablies garantissent que les informateurs corrects sont choisis. L'expert du prlvement des chantillons devrait tre aussi charg de la slection des sites et des groupes pour lenqute pilote et devra souvent tre associe un coordonnateur local de l'information, responsable de la collecte, pour l'expert de l'chantillonnage, des donnes do l'chantillon sera tir. Le concepteur d'enqute - Il pourrait tre une personne ou une quipe, dont la responsabilit est de concevoir les instruments de la collecte des donnes accompagnant des manuels et des livres codes et d'tre en coordination avec le responsable d'valuation pour assurer que les instruments de la collecte des donnes produiront effectivement les donnes ncessaires pour l'analyse. Cette personne ou quipe doit aussi tre implique dans lenqute pilote et l'affinement des questionnaires. Le directeur des oprations de terrain et le personnel - Le directeur doit tre responsable de la supervision de tout le travail de la collecte de donnes, depuis la planification des voies pour la collecte des donnes jusqu' la formation et l'organisation des quipes de terrain, gnralement composes de superviseurs et d'intervieweurs. Les superviseurs grent gnralement le personnel de terrain (d'habitude des intervieweurs , des oprateurs de saisie et des chauffeurs) et sont responsables de la qualit des donnes collectes sur le terrain. Les intervieweurs administrent les questionnaires. Dans certaines cultures, il est ncessaire d'assurer que des intervieweurs masculins et fminins effectuent les enqutes et qu'elles soient administres sparment par les hommes et les femmes. Responsables des donnes et analystes - Ces membres d'quipe conoivent les programmes d'entre des donnes, entrent les donnes, vrifient la validit des donnes, fournissent la documentation des donnes ncessaires et produisent les rsultats de base qui peuvent tre vrifis par les analystes de donnes.

Dans la formation de l'quipe d'valuation, il y a aussi certaines dcisions importantes que le directeur d'valuation doit prendre en rapport avec la capacit locale et les dispositions institutionnelles appropries, en vue d'assurer l'impartialit et la qualit des rsultats d'valuation. La premire est de savoir si la capacit locale existe pour la mise en uvre de l'valuation, ou de certaines parties de lvaluation, et le genre de supervision et d'assistance extrieure qui serait ncessaire. La capacit d'valuation varie normment

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT 27

d'un pays un autre et bien que les contrats internationaux permettent des socits d'un pays d'effectuer des valuations dans un autre pays (un exemple est l'valuation de PROGRESA en cours de ralisation par l'Institut International de Recherche sur l'Alimentation et la Politique), la pratique gnrale pour les projets soutenus par la Banque Mondiale semble tre de mettre en uvre l'valuation associant le personnel local qui fournit une grande partie de la supervision internationale. Donc, il est ncessaire d'valuer d'une faon critique la capacit locale et dterminer qui sera responsable de quels aspects de l'effort d'valuation. Indpendamment de la composition finale de l'quipe, il est important de dsigner un directeur d'valuation qui sera capable de travailler efficacement avec les producteurs de donnes aussi bien que les analystes et des dcideurs utilisant les donnes et les rsultats de l'valuation. Si cette personne n'est pas base sur place, il est recommand qu'un directeur national soit dsign pour coordonner l'effort d'valuation en collaboration avec le directeur international. La deuxime dcision est de savoir s'il faut travailler avec une socit prive ou une agence publique. Des socits prives peuvent tre plus fiables pour ce qui est de fournir des rsultats en termes de dlai mais le renforcement des capacits dans le secteur public est perdu et les socits prives sont, de faon comprhensible, moins portes incorporer l'valuation des lments qui rendraient le travail plus coteux. Quelle que soit la contrepartie ou combinaison de contreparties finalement ralise, un examen approfondi des activits d'valuation passes des collaborateurs potentiels est essentiel pour la formation d'un choix justifi. La troisime dcision est de savoir quel degr de sparation institutionnelle mettre en place entre les fournisseurs d'valuation et les utilisateurs d'valuation. Il y a beaucoup gagner dans lobjectivit en faisant effectuer l'valuation indpendamment de l'institution responsable du projet en valuation. Cependant, les valuations peuvent souvent avoir des buts multiples, y compris le renforcement des capacits en valuation dans les agences du gouvernement et la sensibilisation des oprateurs de programmes aux ralits de leurs projets une fois que ceux-ci sont effectus sur le terrain. Au minimum, les utilisateurs d'valuation qui peuvent aller des dcideurs des agences du gouvernement des pays bnficiaires aux organisations non gouvernementales, pays donateurs bilatraux et institutions de dveloppement internationales, doivent tre suffisamment impliqus dans l'valuation pour assurer que le processus d'valuation soit reconnu comme lgitime et que les rsultats produits soient conformes leurs besoins d'information. Autrement dit, les rsultats de l'valuation vont moins probablement tre utiliss pour informer la politique. Dans l'analyse finale, le directeur d'valuation et ses clients doivent raliser l'quilibre juste entre l'implication des utilisateurs d'valuations et le maintien de l'objectivit et de la lgitimit des rsultats. Dvel ppement des donnes o

Avoir des donnes adquates et fiables est une ressource ncessaire l'valuation de l'impact d'un projet. Des donnes de haute qualit sont essentielles pour la validit des rsultats de l'valuation.

28

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

Comme trait ci-dessus, inventorier quelles donnes existent, constitue un premier pas important avant le lancement dautres efforts de collecte de nouvelles donnes. Le tablea u 2.1 relie les mthodologies d'valuation de base aux besoins de donnes. La plupart de ces mthodologies peuvent incorporer des techniques qualitatives et participatives dans la conception de l'instrument de l'enqute, dans l'identification des indicateurs et dans la contribution l'identification des variables de contrle employes pour l'harmonisation, ou des variables instrumentales. Tableau 2.1 Mthodologies d'Evaluation et Spcification des Donnes Correspondantes

Spcification des donnes Mthodologie


Contrles des donnes randomises ou exprimentales

Minimale

Idale

Utilisation dapproche qualitative


Informe sur la conception des instruments denqutes, dchantillonnage. Identifie des indicateurs Collecte et enregistre des donnes utilisant - Donnes textuelles - Interviews informelles et semistructures - Runions des communauts et des groupes cibles - Observation directe - Mthodologies participatives - Photographies - Triangulation - Analyse des donnes

Projet unique de donnes Enqute sur des tudes de comparatives avec ou bases et de suivi sur des sans des bnficiaires bnficiaires de mme que des non bnficiaires. Prvoit des rectifications dvnements contemporains, en plus permet de surveiller les mesures de limpact. (Permet une estimation de diffrence double)

Conceptions non exprimentales a) Contrles labors ou harmonisation

Enqute de grande envergure, recensement, budget nationale ou type denqute de la mthode des moindres carrs ordinaires (MCO) sur chantillonnage des bnficiaires

Enqute de grande envergure et des enqutes de base sur les mnages, toutes les deux aux points dindice au moment de la vrification des vnements contemporains

b) Comparaisons rflexives et diffrence double

Etude de base et suivi des Srie chronologique ou bnficiaires enqute par panel sur des bnficiaires comparables et non comparables

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

29

Tableau 2.1 (Suite) Spcification des donnes Mthodologie


c) Contrle statistique ou variable instrumentale

Minimale
Donnes transversales des reprsentants de la population bnficiaire avec des variab les instrumentales correspondantes

Idale
Donnes transversales et srie chronologique des reprsentants de la population bnficiaire et de la population non bnficiaire avec des variables instrumentales correspondantes

Utilisation dapproche qualitative

Sources : Adapt de Ezemenari, Rudqvist et Subbarao (1999) et Bamberger Pour les valuations qui produiront leurs propres donnes, il y a les tapes critiques de la conception des instruments de collecte des donnes, l'chantillonnage, le travail de terrain, la gestion des donnes et l'accs aux donnes. Cette section ne dcrit pas le processus par tapes de la faon d'entreprendre une enqute, mais fournit plutt une discussion brve de ces tapes. Une partie de la discussion de cette section, notamment l'chantillonnage et la g estion des donnes est plus approprie aux valuations bases sur la collecte et l'analyse des enqutes par sondage, d'chelle plus grande, employant des donnes quantitatives que des valuations employant des donnes qualitatives et des petites tailles d' chantillon. Que faut-il mesurer? Les principaux indicateurs de rsultat et d'impact devraient tre fixs dans la planification de l'valuation, probablement comme partie d'une approche par le cadre logique. Pour sassurer que l'valuation est capable de mesurer les rsultats pendant une priode de temps approprie aux besoins des dcideurs, une hirarchie d'indicateurs pourrait tre tablie allant des indicateurs d'impact court terme, comme la frquentation scolaire, aux indicateurs long terme comme la russite de l'lve. Cela assure que mme si des impacts finaux ne sont pas pris en compte initialement, les rsultats du programme peuvent tre valus. De plus, l'valuateur doit projeter de mesurer les rsultats de l'intervention ainsi que de tenir compte des facteurs exognes qui peuvent avoir un effet sur ces rsultats. Les directeurs d'valuation peuvent aussi projeter de mener une valuation sur plusieurs priodes permettant des impacts plus immdiats d'tre relevs plus tt, tout en poursuivant toujours des mesures de rsultat final. Cela a t fait dans l'valuation de la Rforme de l'Education au Nicaragua dans laquelle l'impact plus court terme de la rforme sur la participation parentale et l'assiduit de ltudiant et de lenseignant

30

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

a t tabli et les impacts plus long terme sur la russite de l'tudiant sont toujours en cours d'valuation. On pourrait aussi considrer l' information sur les caractristiques de la population bnficiaire non strictement lie l'valuation d'impact mais intressante dans l'analyse comme le niveau de pauvret ou leur avis sur le programme. De plus, l'valuateur peut aussi vouloir inclure des mesures de cot afin de procder une analyse de la rentabilit ou d'autres valuations complmentaires non strictement lies l'valuation de l'impact. Le type de conception de l'valuation choisi pour l'valuation de l'impact comportera sur des besoins de donnes. Celles-ci seront spcifiques la mthodologie, la population concerne, les mesures d'impact et d'autres lments de l'valuation. Par exemple, si une approche variable instrumentale (un des types de stratgies d'harmonisation - comparaison) doit tre employe, la variable qui servira comme instrument pour sparer la participation au programme des mesures de rsultat doit tre identifie et incluse dans la collecte des donnes. Ceci a t fait pour l'valuation de l'impact du Fonds d'investissement social bolivien, dans laquelle la connaissance du fonds social et la prsence d'organisations non gouvernementales furent utilises comme des variables instrumentales dans l'valuation de l'impact des interventions du fonds social. Il peut tre utile de dvelopper une matrice pour lvaluation, inscrivant la question dintrt l'tude, les indicateurs de rsultat qui seront employs pour valuer les rsultats, la variable et sa source de donnes. Cette matrice peut alors tre employe pour passer en revue des questionnaires et projeter le travail analytique comme cela a t fait dans l'valuation du Fonds d'investissement social d'urgence au Nicaragua (voir Annexe 6). Dvelopper les instruments de collecte de donnes et les approches. Le dveloppement des instruments de collecte des donnes appropries qui fourniront les donnes ncessaires pour rpondre aux questions d'valuation peut tre dlicat. Cela ncessitera d'impliquer les analystes dans le dveloppement des questions, dans lenqute pilote et dans l'examen des donnes. L'implication tant du directeur de terrain que du responsable des donnes pendant le dveloppement des instruments, aussi bien que du personnel local - de prfrence des analystes qui peuvent apporter leur connaissance sur le pays et le programme - peut tre dcisive pour la qualit de l'information collecte (Grosh et Muoz 1996). Il est aussi important de s'assurer que les donnes collectes puissent tre dsagrges par genre pour explorer l'impact diffrentiel des programmes et politiques spcifiques. Des valuations quantitatives rassemblent et enregistrent l'information d'habitude sous forme numrique ou en catgories pralablement codes. Avec des valuations qualitatives l'information est gnralement prsente comme un texte descriptif avec une catgorisation ou sans catgorisation. L'information peut inclure les rponses d'un individu des questions d'interview ouverte, des notes prises pendant des runions de groupes cibles

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

31

ou les observations d'vnements par l'valuateur. Certaines tudes qualitatives emploient la classification pr code aussi (Bamberger, 2000). La gamme d'instruments de collecte, des donnes et leurs forces et faiblesses sont rcapitules dans le tableau 2.2la technique la plus gnralement employe tant les questionnaires. Les rponses aux questionnaires des enqutes peuvent tre trs dlicates concevoir, ainsi il est important de s'assurer que la structure et le format soient appropris, de prfrence tablis par un personnel expriment. Par exemple, l'utilit des donnes quantitatives a t souvent srieusement handicape pour des raisons mcaniques simples, comme lincapacit de lier des donnes d'une ' source une autre. Ce fut le cas dans une valuation d'ducation nationale dans un pays o les donnes de contexte sur les tudiants, ne pouvaient pas tre lies aux rsultats de test, ce qui a rendu impossible d'valuer l'influence des caractristiques estudiantines sur la performance ou de classifier les rsultats des tests par ge des tudiants, le genre, le statut socio-conomique ou l'histoire ducative. Pour la collecte des donnes tant qualitatives que quantitatives, le personnel mme expriment doit tre form pour collecter les donnes spcifiques l'valuation et toute la collecte des donnes doit tre guide par un jeu de manuels qui peuvent tre employs comme orientation pendant la formation et comme rfrence pendant le travail de terrain. Selon la complexit de la tche de la collecte de donnes, les exemples de cas montrent que la formation peut s'tendre de trois jours plusieurs semaines. Lenqute pilote est une tape essentielle parce qu'elle rvlera si l'instrument peut srement produire les donnes ncessaires et comment les procdures de la collecte de donnes peuvent tre mises en opration. Le test pilote doit imiter le travail de terrain rel aussi troitement que possible. Pour cette raison, il est utile d'avoir des programmes de saisie de donnes prts au moment du test pilote pour prouver leur fonctionnalit aussi bien que lenqute pilote travers des populations et des secteurs gographiques diffrents.

Tableau 2.2 Princip aux instruments de collecte des donnes pour l'valuation d'impact
Technique Etudes de cas Dfinition et utilisation Collecte des renseignements qui rsultent en une histoire descriptive ou explicative pouvant aider rpondre aux questions de comment et pourquoi Forces - Peut traiter une varit de preuve partir des documents, interviews, observation - Peut associer une force explicative quand l'accent est mis sur des institutions, processus, programmes, dcisions et vnements Faiblesses - Bonnes tudes de cas difficiles raliser - Ncessite des recherches spciales et des aptitudes de rdacteur pour tre rigoureux - Conclusions des recherches ne sont pas gnralisables la population - Prend du temps - Difficile transposer

Groupe cible

Discussions cibles avec des membres de la - Avantages similaires aux interviews (cipopulation concerne qui sont familiers avec des dessous) questions pertinentes avant la rdaction d'une srie - Particulirement utile l o l'interaction de questions structures. L'objectif est de est dsire comparer des perspectives des bnficiaires avec - Une manire utile d'identification des des concepts abstraits dans les objectifs de influences hirarchiques l'valuation

- Peut tre coteux et prendre du temps - Doit tre sensible la combinaison des niveaux hirarchiques - N'est pas gnralisable

Interviews

L'interviewer pose des questions une ou plusieurs personnes et enregistre les rponses des personnes interroges. Les interviews peuvent tre formels ou informels, face face ou par tlphone, ou ferms ou ouverts

- Les gens et les institutions peuvent expliquer leurs expriences dans leur propre - Prend du temps langue et cadre - Peut tre coteux - Flexible et permet l'interviewer de Si l'enqute n'est pas convenablement poursuivre des lignes d'enqutes non mene, l'interviewer peut influencer la anticipes et examiner les questions en rponse de la personne interroge profondeurs

- Particulirement utile quand les difficults de langage sont anticipes

- Possibilit accrue d'obtenir des donnes de responsables Observe et enregistre la situation dans un registre ou un agenda. Ceci englobe les personnes concernes; ce qui s'est pass; quand, o et comment les vnements se sont passs. Lobservation peut tre directe (l'observateur observe et enregistre), ou participative (l'observateur devient partie intgrante du cadre pour une priode de temps). Dveloppe une srie de questions d'enqute dont les rponses peuvent tre rgulirement codes - Fournit une information descriptive sur le contexte et des changements observs - La qualit et l'utilit des donnes dpendent largement des comptences de rdaction et d'observation de l'observateur. - Les conclusions des recherches peuvent tre ouvertes une interprtation - Ne s'applique pas facilement au cadre d'une courte priode de traitement du changement - Peut atteindre un chantillon plus large simultanment - Permet aux personnes interroges de - La qualit des rponses dpend largement de la rflchir quelques instants avant de clart des questions rpondre - Parfois il est difficile de persuader les gens de - Permet de rpondre anonymement remplir et retourner le questionnaire - Impose l'uniformit en posant les mmes - Peut impliquer des activits institutionnelles et questions toutes les personnes interroges des expriences des catgories de gens d'influence - Facilite la comparaison et la compilation prdtermins des donnes de base

Observation

Questionnai res

Analyse d'un document crit

Rvision des documents tels que les fichiers des donnes de base, des donnes administratives, des - Peut identifier des questions examiner matriels de formation et de la correspondance plus tard et fournit une preuve pour l'action, le changement et l'impact pour soutenir des perspectives des personnes interroges - Peut prendre du temps - Peut tre moindre cot

Source : Adapt de Taschereau (1998)

Echantillonnage. Lchantillonnage est un art le mieux pratiqu par un spcialiste dchantillonnage expriment. La conception n'a pas besoin d'tre complique mais elle doit tre informe par l'expertise du spcialiste de prlvement d'chantillons dans la dtermination des cadres appropris au prlvement des chantillons, des tailles et des stratgies de choix (la discuss ion du tirage des chantillons incluse ici se rfre principalement aux questions lies aux valuations qui collectent des donnes quantitatives partir des chantillons plus grands, statistiquement reprsentatifs). Le spcialiste dchantillonnage doit tre intgr dans le processus d'valuation ds les toutes premires tapes pour passer en revue l'information disponible ncessaire pour choisir l'chantillon et dterminer si quelque travail d'numration sera ncessaire, ce qui pourrait prendre du temps. Comme avec d'autres parties du travail d'valuation, la coordination entre le spcialiste de l'chantillonnage et l'quipe d'valuation est importante. Ceci devient particulirement critique dans la conduite de comparaisons d'harmonisation parce que l conception de tirage des chantillons a devient la base pour l'harmonisation qui est au "cur" de

34

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

la conception de l'valuation et de la construction des comparaisons contre factuelles. Dans ces cas, le spcialiste du tirage des chantillons doit travailler troitement avec l'quipe d'valuation pour dvelopper les critres qui seront appliqus pour harmoniser les groupes de traitement et de comparaison. Par exemple, dans l'valuation de la rforme de l'autonomie de l'cole au Nicaragua, des coles autonomes taient stratifies par le type d'cole, l'inscription, la dure de la rforme et l'emplacement des coles non autonomes, en employant les mmes stratifications sauf la dure de la rforme. Cela peut tre facilit par la prsence d'un membre d'quipe responsable du travail de la collecte de donnes qui assiste le spcialiste du prlvement des chantillons dans l'obtention de l'information ncessaire y compris des donnes sur les indicateurs de rsultats choisis pour les calculs de masse (une estimation de la taille type ncessaire pour valuer la signification statistique entre deux groupes), une liste de la population concerne pour le choix type et des dtails sur les caractristiques des groupes de traitement et de comparaison potentiels, importantes pour le processus de choix de l'chantillon. Il y a beaucoup d'carts entre les cots et la prcision de l'chantillonnage qui devraient tre claircis pendant que la structure de l'chantillonnage se dveloppe. Par exemple en conduisant un chantillon sur deux ou trois niveaux, on rduira les dpenses tant du tirage des chantillons que du travail de terrain, mais les erreurs de tirage des chantillons, et donc la prcision des valuations, seront augmentes. Une fois que les variables de rsultats et la population concerne ont t dtermins par l'quipe d'valuation, une premire dmarche pour le spcialiste du tirage des chantillons serait de dterminer le calcul de masse (voir Valadez et Bamberger 1994, pp. 382-84, pour une discussion du processus). Puisque le calcul de masse peut tre excut en employant seulement une mesure de rsultat et que les valuations en considrent souvent plusieurs, quelques dcisions stratgiques devront tre prises au sujet de quel indicateur de rsultat employer en concevant l'chantillon.

Aprs le dveloppement de la stratgie et de la structure de l'chantillonnage, le spcialiste du tirage des chantillons doit aussi tre associ la slection de l'chantillon pour le travail de terrain et le test pilote pour assurer que ce dernier n'est pas conduit dans un secteur qui sera intgr dans l'chantillon pour le travail de terrain. Le travail de terrain initial sera souvent ncessaire comme une partie de la procdure de choix de l'chantillon. Par exemple, un processus d'numration sera ncessaire s'il n'y a pas de cartes jour des units ncessaires pour l'chantillon (les mnages, les coles et ainsi de suite) ou si une certaine population cible, comme des enfants sous aliments, doit tre identifie afin de pouvoir tre choisie pour le but de l'valuation. Une fois que le travail de terrain est achev, le spcialiste du tirage des chantillons doit fournir l'assistance en dterminant les poids du tirage des chantillons pour calculer les facteurs d'expansion et corriger les erreurs d'chantillonnage et l'absence de rponse (Grosh et Muoz 1996 fournit une discussion dtaille des procdures d'chantillonnage comme une partie du travail d'enqute sur le mnage. Kish 1965 est considr comme l'un des manuels standards

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

35

dans le domaine de l'chantillonnage). Et finalement, le spcialiste du tirage des chantillons devrait produire un document dtaillant la stratgie de l'chantillonnage y compris (a) l'tape de la conception de l'chantillonnage, les calculs de masse employant les variables d'impact, la dtermination des erreurs d'chantillonnage et des tailles, l'utilisation de la stratification pour analyser les populations cibles, (b) partir de l'tape de slection de l'chantillon, un profil des tapes du prlvement des chantillons et des procdures de choix, (c) partir de l'tape du travail de terrain prparer pour l'analyse, le rapport entre la taille de l'chantillon et la population dont il a t choisi les taux d'absence de rponse et d'autres renseignements employs pour informer les poids, et l'utilisation des donnes d'valuation. Ce document peut tre employ pour conserver les rapports du projet d'valuation et devrait tre intgr aux donnes chaque fois qu'elles sont distribues pour aider guider les analystes dans l'utilisation des donnes d'valuation. Questionnaires. Llaboration du questionnaire est importante pour la validit de l'information collecte. Il y a quatre types gnraux d'information ncessaire pour une valuation d'impact (Valadez et Bamberger 1994). Ce sont : La classification des donnes nominales avec des personnes interroges classes selon qu'elles sont participantes au projet ou appartiennent au groupe tmoin L'exposition aux variables de traitement enregistrant non seulement les services et bnfices reus mais aussi la frquence, la quantit et la qualit - valuer la qualit peut tre trs difficile; Les variables de rsultat pour mesurer les effets dun projet y compris des produits immdiats, les rsultats durables ou la prestation continue de services sur une longue priode et des impacts de projet comme des revenus amliors et l'emploi ;

Les variables incidentes qui affectent la participation un projet ou le type d'impact produit, comme l'individu, le mnage, ou des caractristiques de a communaut - ces variables l peuvent tre importantes pour l'exploration des distorsions.

La manire dont on pose les questions, aussi bien que l'ordre des questions, sont tout aussi importants dans la production d'information fiable. Un exemple appropri est la mesure du bien -tre qui serait ncessaire pour mesurer l'impact direct d'un projet sur la rduction de la pauvret. Demander aux individus le niveau de leurs revenus ne fournirait pas ncessairement des rsultats prcis sur leur niveau de bien-tre conomique. Comme discut dans la littrature sur la mesure du bien-tre, des questions sur les dpenses, la composition des mnages, les actifs, les cadeaux et les envois de fonds et la valeur impute de l'alimentation produite dans le pays et les logements occups par les propritaires sont gnralement

36

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

employs pour saisir la vraie valeur du bien -tre des mnages et des individus. Le rappel du temps, utilis parmi les lments de dpense ou l'ordre dans lequel on pose ces questions, peut significativement affecter la validit de l'information collecte. Parmi les lments nots pour un bon questionnaire, il y a : le garder court et ax sur des questions importantes, s'assurer que les instructions et les questions soient claires, limiter les questions celles ncessaires pour l'valuation et inclure une option "pas d'opinion" pour les questions fermes afin de s'assurer des donnes fiables et utiliser des procdures judicieuses pour administrer le questionnaire qui peut en effet tre diffrent pour des enqutes quantitatives et qualitatives. Problmes du travail de terrain. Le travail avec le personnel local ayant une grande exprience dans la collecte de donnes similaires celles ncessaires pour l'valuation peut normment faciliter les oprations du travail de terrain. Non seulement ce personnel peut fournir linformation ncessaire sur le territoire gographique couvrir mai leur connaissance peut aussi tre critique s pour dvelopper des normes employes dans la localisation et l'approche des informateurs. Le personnel de terrain dont l'expertise se situe dans un secteur autre que celui demand pour l'effort d'valuation peut prsenter des problmes comme ce fut le cas dans une valuation de l'ducation au Nicaragua qui a employ une socit spcialise dans le sondage d'opinion publique pour mener une enqute sur les coles et les mnages. L'expertise qui avait permis cette socit d'acqurir une excellente rputation base sur sa prvision prcise des rsultats d'lection incertains n'tait pas utile pour savoir comment approcher des coliers ou fusionner des jeux de donnes quantitatives. Le manque d'expertise a cr des problmes substantiels de mise en oeuvre de l'enqute qui ont ncessit des semaines d'action rectificative par une quipe commune du ministre de l'ducation nationale et la Banque Mondiale.

Le type de personnel ncessaire pour la collecte des donnes sur le terrain variera selon les objectifs et le centre d'intrt de l'valuation. Par exemple, une valuation d'impact quantitative d'un programme de nutrition pourrait ncessiter l'intgration d'un spcialiste de l'anthropomtrie, pour collecter des mesures de hauteur pour poids, comme membre de l'quipe d'enqute tandis que l'valuation d'impact d'une rforme ducative intgrerait trs probablement le personnel spcialis dans l'application des tests de prestations acadmiques. La plupart des enqutes quantitatives ncessiteront au moins un responsable d'enqute, un responsable des donnes, un responsable du travail de terrain, des superviseurs de terrain, des interviewers, des oprateurs de saisie de donnes et des chauffeurs. Selon l'approche qualitative utilise, le personnel de terrain peut tre similaire, l'exception des oprateurs de saisie de donnes. Les comptences des intervieweurs cependant, seraient tout fait diffrentes avec des interviewers qualifis ncessitant une formation spcialise, particulirement pour des groupes cibles, l'observation directe et ainsi de suite. Il faut se rappeler trois autres proccupations en projetant des oprations d'enqute. D'abord, il est important de prendre en considration des vnements temporels

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

37

qui peuvent affecter le succs oprationnel du travail de terrain et la validit externe des donnes collectes, comme le calendrier de l'anne scolaire, les vacances, les saisons pluvieuses, les temps de la moisson ou des migrations de masse. Deuximement, il est crucial pour les instruments de collecte de donnes de tests pilotes, mme s'ils sont des adaptations d'instruments qui ont t employs prcdemment, la fois de tester la qualit de l'instrument en vue de produire les donnes demandes et de familiariser le personnel de terrain avec la dynamique du processus de la collecte de donnes. Les enqutes pilotes peuvent aussi servir comme une base de preuves par le choix de l'quipe centrale du personnel de terrain pour effectuer l'enqute proprement dite. Beaucoup de collecteurs de donnes expriments commenceront avec 10 20 pour cent de plus de personnel dans lenqute pilote que celui qui sera utilis dans le travail de terrain rel et choisira ensuite les meilleurs pour former les quipes relles de la collecte de donnes. Finalement, les communications sont essentielles pour des oprations sur le terrain. Par exemple, si les conditions locales permettent leur utilisation, le travail de terrain peut tre renforc en quipant les superviseurs avec des tlphones mobiles pour qu'ils puissent rester en contact avec le responsable d'enqute, le responsable des enqutes sur le terrain et d'autres personnels pour rpondre aux questions et les tenir informs de ltat davancement. Gestion des donnes et accs. Les objectifs d'un bon systme de gestion des donnes devraient tre d'assurer l'opportunit et la qualit des donnes d'valuation. L'opportunit dpendra de l'intgration autant que possible entre la collecte de donnes et leur traitement pour que les erreurs puissent tre vrifies et corriges avant la fin du travail de terrain. La qualit des donnes peut tre assure en faisant des contrles de cohrence pour valuer la validit interne des donnes collectes aussi bien pendant qu'aprs que les donnes ont t saisies et en assurant que la documentation

approprie soit disponible pour les analystes qui utiliseront les donnes. La documentation doit rsister deux types d'information : (a) l'information ncessaire pour interprter les donnes incluant des guides, des dictionnaires de donnes, des guides pour les variables et toutes traductions ncessaires et (b) l'information ncessaire pour conduire l'analyse qui est souvent contenue dans un document d'information de base qui contient une description du centre d'intrt et de l'objectif de l'valuation, des dtails sur la mthodologie de l'valuation, des rsums ou copies des instruments de collecte des donnes, l'information sur l'chantillon, une discussion du travail de terrain et des directives pour l'utilisation des donnes. On recommande que les donnes produites par des valuations soient rendues disponibles tant donn le caractre de bonne valeur pour les besoins d'valuation. Un travail de suivi complmentaire pour valuer des impacts long terme par une quipe autre que celle qui a effectu le travail d'valuation original. Pour faciliter le processus du partage des donnes, a dbut de u l'valuation, une politique d'accs ouvert aux donnes doit tre convenue et signe, tablissant des normes et des responsabilits de la diffusion des donnes. Une politique d'accs ouvert aux donnes met une charge supplmentaire sur la bonne documentation des donnes et la protection

38

DEMARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

de la confidentialit des enquts. Si les donnes de l'quipe sont collectes des mmes enquts sur une priode de temps par des agences diffrentes, les enquts devront tre identifis pour mener le travail complmentaire. Cette exigence doit tre quilibre par rapport aux normes de confidentialit qui accompagnent gnralement toute recherche du secteur social. Une solution possible est de rendre les donnes anonymes du fichier disponibles pour tous les analystes concerns mais de demander aux chercheurs intresss par la conduite du travail complmentaire d'entrer en contact avec l'agence responsable des donnes pour obtenir l'inscription des donnes dans l'chantillon donnant ainsi une occasion l'agence d'assurer le contrle de la qualit du travail venir grce au contact avec les chercheurs voulant l'effectuer. Analyse, Rapport et Diffusion Comme avec d'autres tapes du processus d'valuation, l'analyse des donnes d'valuation, quantitatives ou qualitatives, exige la collaboration entre les analystes, les producteurs de donnes et les dcideurs pour clarifier des questions et sassurer des rsultats de qualit en temps opportun. Des problmes avec le peaufinage et l'interprtation des donnes surgiront presque srement pendant l'analyse et ncessiteront la contribution des divers membres de l'quipe. Certaines des techniques et des dfis effectuer l'analyse quantitative base sur des mthodes statistiques sont incluses dans le chapitre 3. Il existe aussi beaucoup de techniques pour analyser des donnes qualitatives (voir Miles et Huberman 1994). Bien qu'une discussion dtaille de ces mthodologies soit hors de la porte de ce manuel, deux mthodologies gnralement employes pour l'valuation d'impact sont mentionnes - l'analyse de contenu et l'analyse de cas (Taschereau 1998).

L'analyse de contenu est employe pour analyser des d onnes tires d'interviews, dobservations et de documents. Dans l'examen des donnes, l'valuateur dveloppe un systme de classification pour les donnes, l'organisation de l'information base sur (a) les questions d'valuation par lesquelles l'information a t collecte, (b) comment le matriel sera employ, et (c) le besoin de renvoyer l'information. Le codage des donnes peut tre tout fait complexe et peut ncessiter beaucoup d'hypothses. Une fois qu'un systme de classification a t mis en place , la phase de l'analyse commence, qui est aussi un processus difficile. Cela implique la recherche de modles dans les donnes et un dplacement au -del de la description vers le dveloppement d'un ensemble de processus de programme, des rsultats et des impacts. Cela se fait mieux avec la participation des membres de l'quipe. De nouveaux programmes informatiques, ethnographiques et linguistiques sont aussi maintenant disponibles, conus pour soutenir l'analyse des donnes qualitatives. L'analyse de cas est base sur des tudes de cas conues pour une tude approfondie d'un groupe particulier ou dun individu. Le niveau lev du dtail peut fournir une information riche pour valuer l'impact du projet. Les processus de la collecte et

DEM ARCHES CLES DANS LA CONCEPTION ET LA MISE EN UVRE DES EVALUATIONS D'IMPACT

39

de l'analyse des donnes sont raliss simultanment, puisque les valuateurs font les observations pendant qu'ils collectent les informations. Ils peuvent alors dvelopper et valuer des explications et relier les renseignements critiques. Qu'on analyse l'information quantitative ou qualitative, d'autres leons gnrales lies l'analyse, le rapport et la diffusion peuvent aussi tre tires des exemples de cas de l'Annexe 1. Premirement, l'analyse prend gnralement plus de temps que prvu, particulirement si les donnes ne sont pas aussi propres ou accessibles au dbut de l'analyse, si les analystes n'ont pas l'exprience du type de travail d'valuation, ou s'il y a un accent mis sur le renforcement des capacits par le travail fait en collaboration. Dans l'examen des tudes de cas traites pour cet article, l'analyse la plus rapide a pris environ un an aprs la production des donnes et l'analyse la plus longue a pris prs de deux ans. Le cas du chapitre 3 illustre certaines des nombreuses tapes intgres dans l'analyse et la raison pour laquelle elle peut prendre plus de temps que prvu. Deuximement, l'valuateur doit projeter de sortir plusieurs produits comme rsultats du travail analytique, gardant l'esprit deux lments. Le premier est de s'assurer du choix du temps des productions qui doit se situer autour dvnements cls : temps de prise de dcisions sur l'avenir du projet comme les revues mi-parcours ; les lections, la fermeture d'une phase pilote. Le second est l'audience laquelle les rsultats sont destins. Les produits doivent tre diffrencis selon l'audience pour laquelle ils sont conus, y compris les dcideurs du gouvernement, les responsables de programmes, les donateurs, le grand public, les journalistes et les universitaires. Troisimement, les produits auront la meilleure pertinence politique s'ils contiennent des recommandations claires et pratiques dcoulant de l'analyse d'im pact. Celles-ci peuvent tre spares en priorits court et long terme et si possible, inclure des incidences budgtaires. Les dcideurs seront enclins chercher la fin des recommandations. Finalement, les rapports doivent tre prvus comme partie intgrante d'une stratgie de diffusion largie qui peut inclure des prsentations pour des audiences diverses, des communiqus de presse,

des informations aux informateurs et la diffusion sur lInternet. Une telle stratgie de diffusion doit tre incluse au stade initial du processus de planification pour s'assurer qu'il en est tenu compte dans le budget et que les rsultats atteindront l'audience prvue.

Chapitre 3 Application de Mthodes Analytiques pour l'Evaluation d'Impact : Une Etude de Cas *
Cette tude de cas est base sur un programme de lutte contre la pauvret hypothtique PROSCOL, qui fournit des transferts d'argent des familles pauvres avec des enfants d'ge scolaire dans une rgion d'un pays en dveloppement. Le cas est destin illustrer les tapes analytiques impliques dans l'excution d'une valuation d'impact et les options auxquelles un analyste peut faire face avec le processus applicable n'importe quel type de programme de lutte contre la pauvret. En explorant comment procder pour valuer l'impact du programme, l'analyste politique commet plusieurs erreurs le long du parcours, cherchant des informations sur des sujets s pcifiques partir des comptences spcialises des collgues-un statisticien, un conomiste, un professeur d'conomtrie et un sociologue. Parmi les tapes analytiques que l'analyste parcourt dans ce cas, il y a lidentification des questions trait er dans l'valuation d'impact, l'valuation des ressources de donnes, un premier aperu sur les donnes, une comprhension des distorsions des variables de contrle, une information sur les revenus prvus, la combinaison de variables, la comprhension de l'importance de l'exognit, l'exploration des meilleures faons de former un groupe de comparaison (harmonisation du score de propension), information sur les distorsions et examens de ce qui pourrait avoir t fait avec une enqute de donnes de base ( es diffrences d doubles), l'utilisation des variables instrumentales, l'essai des diverses mthodologies, l'intgration des ressources venant du terrain et la planification du travail venir. Description du programme hypothtique PROSCOL Le programme PROSCOL identifie des familles ligibles la participation en utilisant les diverses manifestations de pauvret qui comprennent le nombre des personnes dans les mnages, l'ducation du chef de famille et les diverses caractristiques du logement. PROSCOL paye une somme fixe par enfant d'ge scolaire tous les mnages choisis condition que les enfants aient un taux d'assiduit de 80 pour cent ce qui doit tre vrifi par une note de l'cole. Les mnages doivent garder leurs enfants l'cole jusqu' 18 ans. Ce programme initi il y a 12 mois est financ par la Banque Mondiale et fonctionne en dehors du Ministre du Dveloppement Social. Dans un effort
* Ce chapitre a t dvelopp dans les dtails dans un document prpar par Martin Ravallion, The Mystery of the Vanishing Benefits : Ms. Speedy Analysts Introduction to Evaluation, Policy Research Working Paper No. 2153, 1999.

40

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

41

pour valuer l'impact du PROSCOL sur la pauvret en vue d'aider dterminer si le programme doit tre gnralis pour inclure le reste du pays ou tre abandonn, la Banque Mondiale a demand une valuation d'impact au Ministre des Finances. La demande tait adresse au Ministre des Finances afin d'aider assurer une valuation indpendante et aider dvelopper la comptence pour ce type d'valuation dans une unit centrale du Gouvernement prs du centre dallocations budgtaires. Identifier les Questions Traiter dans l'Evaluation d'Impact La premire tape pour l'analyste au Ministre des Finances assign la tche d'effectuer l'valuation PROSCOL consiste clarifier les objectifs du projet examiner dans l'valuation de l'impact. Le projet a deux buts politiques : les transferts d'argent visent rduire la pauvret actuelle, et en insistant pour que les destinataires de transferts gardent leurs enfants l'cole ; le programme vise rduire la pauvret dans l'avenir en levant les niveaux d'ducation parmi la population actuelle des enfants pauvres. Deux lments d'information seraient donc ncessaires pour valuer l'impact. D'abord, les transferts d'argent vont ils principalement aux familles faible revenu ? Et ensuite quelle augmentation des taux d'inscription scolaire le programme entrane-t-il ? Evaluer les Ressources de Donnes Pour effectuer l'valuation, l'analyste a deux ressources principales. La premire est un rapport bas sur des interviews qualitatives avec des administrateurs de programme et les groupes cibles de participants. Il n'est pas vident, cependant, que ceux qui taient interviews soient reprsentatifs des participants au programme PROSCOL et si leur pauvret tait plus prononce par rapport ceux qui n'ont pas t choisis pour le programme et n'ont pas t interviews. Le rapport indique que les enfants sont alls l'cole mais il est possible qu'ils aient pu aussi aller l'cole si le programme n'avait pas exist. Bien que ce rapport soit un dbut important, il ne dit pas l'analyste comment les participants du PROSCOL sont pauvres et quel impact le programme a sur la scolarisation. La deuxime ressource est une enqute nationale indpendante rcente, effectue par le Bureau des Statistiques du pays sur les mnages dnomme Enqute des niveaux de vie (ENV). La ENV a port sur un chantillon alatoire de 10.000 mnages et a interrog sur les revenus des mnages par source, lemploi, les dpenses, ltat de sant, les rsultats d'ducation et les caractristiques dmographiques et autres de la famille. L'enqute avait incorpor une question pour savoir si lchantillon de mnage avait particip ou non PROSCOL et une ligne pour l'argent reu du PROSCOL dans la liste des sources de revenu.

42

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Premier Aperu sur les Donnes L'analyste continue par obtenir les donnes brutes de ENV pour se concentrer valuer des bnficiaires du programme. Lanalyste emploie un logiciel statistique comme SPSS ou SAS pour raliser une tabulation croise de la moyenne des sommes dargent reus du PROSCOL par les "dciles" de mnages (les dciles sont forms en classant tous les mnages de l'chantillon selon leur revenu par personne). Dans le calcul de ce dernie r, l'analyste dcide d'extraire toutes les sommes d'argent reues du PROSCOL comme une bonne mesure de revenu en l'absence du programme avec l'intention d'identifier qui a gagn par rapport son revenu avant l'intervention. La tabulation croise sugg re que les transferts d'argent au titre du programme soient tout fait bien alls aux pauvres. Selon le seuil de pauvret officiel du pays, environ 30 pour-cent de la population dans le Nord-ouest sont pauvres. A partir du tableau, les calculs montrent que les 30 pour cent les plus pauvres de l'chantillon d'enqute reoivent 70 pour cent des transferts de PROSCOL. A premire vue cela semble tre un rsultat positif. La question suivante concerne l'impact sur la scolarisation. Cela est examin travers une tabulation croise des taux d'inscription scolaire moyens des tranches d'ge diverses pour des familles PROSCOL en comparaison avec les familles non PROSCOL. Cette comparaison ne rvle presque aucune diffrence entre les deux ; le taux d'inscrip tion moyen pour des enfants gs de 6 18 ans est environ 80 pour - cent dans les deux cas. L'analyste calcule alors les annes moyennes d'tudes chaque ge et les rsultats sont reprsents par graphique sparment pour des familles PROSCOL et des familles non PROSCOL. Cela montre que les deux figures ne sont pas identiques mais elles sont trs proches. A cette tape, l'analyste se demande s'il n'y avait vraiment aucun impact sur la scolarisation ou si l'approche est fausse. Comprendre les Distorsions Avec cette incertitude, l'analyste cherche ensuite l'assistance d'un statisticien confirm pour explorer pourquoi les rsultats dmontrent que les enfants PROSCOL ne sont probablement pas plus scolariss que les enfants non PROSCOL. Le statisticien fo rmule une hypothse que les rsultats peuvent prsenter une srieuse distorsion. Pour valuer l'impact du programme, nous devons savoir ce qui serait arriv sans le programme. Cependant l'analyste ne l'a pas expliqu ; au lieu de cela les familles non PROSCOL sont utilises comme groupe de comparaison pour dduire ce que la scolarisation des participants PROSCOL aurait t si le programme n'avait pas exist. Autrement dit, Pi dnote la participation PROSCOL de l'enfant i. Cela peut prendre deux valeurs possibles savoir Pi = 1 si l'enfant participe PROSCOL et P i = 0 s'il ou elle ne participe pas. Si le ime enfant ne participe pas alors son niveau de scolarit est donc Soi', soit S pour la scolarisation et i pour l'enfant i lorsque P = 0 si l'enfant ne participe pas. Si lenfant participe, alors sa scolarisation est S1i. Son

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

43

gain en scolarisation d PROSCOL est S 1I S0i. Le gain du i (P = 1) est alors : Gi = S 1i S 0i Pi = 1.

me

enfant qui participe

La barre signifie "tant donn que" ou " condition que" et est ncessaire pour dire clairement que le calcul est le gain pour un enfant qui a rellement particip au programme. Si on veut connatre le gain moyen, c'est simplement la moyenne de tous les G, qui donne le gain moyen type de scolarisation parmi tous ceux qui ont particip PRO SCOL. Tant que cette moyenne est calcule correctement (en utilisant les poids types appropris de l'enqute), il fournira une valuation exacte du vrai gain moyen. Ce dernier est "la valeur attendue " de G et il peut tre crit : G = E (S 1i S 0i Pi = 1).

C'est une autre faon de dire "moyen". Cependant, cela n'a pas besoin d'tre exactement gal la moyenne calcule partir des donnes types, entendu qu'il y aura des erreurs d'chantillonnage. Dans lexpos sur lchantillonnage de lvaluation, E(S 1I S0i P 1 = 1) est parfois appel "l'effet de traitement" ou "l'effet de traitement moyen sur le trait". Dans ce cas PROSCOL est considr comme le traitement. Le statisticien fait remarquer l'analyste qu'elle n'a pas calcul G, mais plutt la diffrence de scolarisation moyenne entre des enfants des familles PROSCOL et ceux des familles non PROSCOL. C'est lestimation de lchantillon en : D = E(S1i P = 1) E ( S 0i P = 0). Il y a une identit simple liant D G, savoir : D = G + B. Ce terme "B" est la distorsion dans l'valuation et est donn par : B = E(S0i Pi = 1) E(S 0i Pi = 0). Autrement dit, la distorsion est la diffrence attendue dans la scolarisation sans PROSCOL entre les enfants qui ont rellement particip au programme et ceux qui n'y ont pas particip. Cette distorsion pourrait tre corrige si E(S 0i P i = 1) taient connus, mais il n'est pas possible mme de pouvoir lestimer. On ne peut pas observer ce que la scolarisation aurait t pour des enfants qui ont

44

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

rellement particip au programme PROSCOL, s'ils n' avaient pas particip ; cela constitue des donnes manquantes appeles aussi moyenne "contre factuelle". Cette distorsion prsente une proccupation principale. En l'absence du programme PROSCOL des parents peuvent envoyer leurs enfants l'cole moins que d'autres parents. S'il en est ainsi alors il y aura une distorsion dans le calcul. Retournant aux questions d'valuation originale, nous nous sommes intresss au surplus de scolarisation d au programme PROSCOL. Vraisemblablement, ceci affecte seulement des familles qui participent en ralit. En d'autres termes, nous avons besoin de savoir combien de personnes devraient tre scolarises sil ny avait pas le programme. S'il n'y a aucune distorsion, donc le surplus de scolarisation au titre du programme est la diffrence en scolarisation moyenne entre ceux qui ont particip et ceux qui n'ont pas particip au programme. Ainsi la distorsion surgit s'il y a une diffrence en scolarisation moyenne entre des parents PROSCOL et des parents non PROSCOL en l'absence du programme.
Pour liminer cette distorsion, la meilleure approche serait dattribuer le programme de faon alatoire. Alors les participants et les non participants auront la mme chance de scolarisation en labsence du programme c'est--dire E(S0i P i = 1) =E(S0i P i = 0). La scolarisation des familles non participantes indiquera alors correctement la comparaison contre factuelle c'est--dire la scolarisation que nous aurions observe pour des participants s'ils n'avaient pas eu accs au programme. En effet la nomination alatoire galisera toute la distribution, pas seulement les moyennes. Il y aura une distorsion suite une erreur d'chantillonnage mais pour des chantillons assez importants on peut sans risque supposer que chaque diffrence statistiquement significative dans la distribution de la scolarisation entre des participants et des non participants est attribuable au programme. Dans la conception actuelle du programme, il est clair que la participation n'est pas alatoire. En effet, ce serait une critique srieuse du programme PROSCOL de constater qu'elle l'est. Le fait mme de son ciblage intentionnel des familles pauvres, qui sont prsumes envoyer moins vraisemblablement leurs enfants l'cole crerait la distorsion. Cela soulve la question que si PROSCOL marche bien alors nous devons nous attendre ce que des participants aient une scolarisation pire en labsence du programme. Alors E(S 0i P i = 1) < E(S0i P i = 0) et le calcul original des analystes sous-estimera le gain du programme. Nous p ouvons trouver un minimum de profit ou non bien que le programme marche en ralit bien. L'analyste se rend maintenant compte que l'ampleur de cette distorsion pourrait tre norme. Supposons que des familles pauvres envoient leurs enfants travailler plutt que d'aller l'cole ; qu'elles sont pauvres et ne peuvent pas emprunter facilement, elles ont besoin d'argent frais supplmentaire maintenant. Des familles non pauvres envoient leurs enfants l'cole. Le programme choisit des familles pauvres qui envoient alors leurs enfants l'cole. Une diffrence ngligeable existe en scolarisation moyenne entre des familles PROSCOL et des familles non PROSCOL ; en effet, on espre que E(S1i / Pi = 1) = E(S0i / Pi = 0). Mais l'impact du programme est positif et est donn par E(S0i / Pi = 0) E(S0i / Pi = 1). La dfaillance du ciblage intentionnel du programme ax sur les pauvres prendre en compte pourrait bien avoir conduit une

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

45

sous estimation des bnfices du PROSCOL provenant de la comparaison par l'analyste de la scolarisation moyenne entre des familles PROSCOL et des familles non PROSCOL. Information sur les revenus du pass Lanalyste montre ensuite les rsultats de sa tabulation croise des montants reus du programme PROSCOL par rapport au revenu un autre collgue, un conomiste, du Ministre des Finances. Lconomiste soulve une proccupation majeure- que les gains octroys aux pauvres du programme PROSCOL ont t clairement su-estims parce que le revenu pass a t ignor. Les enfants doivent aller lcole si la famille doit percevoir le transfert ; ainsi ils ne pourront pas travailler, soit dans lentreprise familiale soit sur le march du travail. Par exemple, des enfants gs de 15 18 ans peuvent gagner les deux- tiers ou plus du salaire de ladulte en agriculture ou en construction. Des familles PROSCOL perdront ce revenu du travail de leurs enfants. Ce revenu abandonn devrait tre pris en compte quand des gains de revenu net provenant du programme sont calculs. Et ce revenu net devrait tre dduit, non du transfert brut, pour faire ressortir le revenu avant intervention. Il importera aussi de dterminer la pauvret de la famille en labsence du transfert PROSCOL. Le prsent tableau, par consquent, pourrait considrablement exagrer les gains du programme pour le pauvre. Lanalyste se demande pourquoi elle devrait dduire le revenu du travail de lenfant, avec lhypothse que le travail des mineurs nest pas recommandable. Lconomiste relve quelle devrait considrer les gains dus la rduction du travail de lenfant dont le gain principal est la scolarisation complmentaire et par consquent des revenus futurs plus levs, pour des familles prsentement pauvres. Lanalyste a produit des tableaux qui refltent les deux principales voies de rduction de la pauvret par PROSCOL : en augmentant les revenus prsents des pauvres et en augmentant leurs revenus futurs. Limpact sur le travail des enfants est important dans les deux sens mais dans des directions opposes; ainsi PROSCOL fait face un dilemme. Cela dmontre pourquoi il est important davoir une bonne estimation de limpact sur la scolarisation ; seulement alors il sera possible de dterminer le manque gagner. Il est par exemple possible que le temps supplmentaire lcole vienne en dduction du temps de travail. En considrant la deuxime tabulation croise, la principale proccupation souleve par lconomiste est quil ny a pas de prime pour tous les autres dterminants de la scolarisation en dehors de la participation au PROSCOL. Lconomiste suggre de mener une rgression des annes de scolarisation sur un jeu de variables de contrle aussi bien que de savoir si la famille de lenfant est couverte par PROSCOL ou non. me Pour lenfant i dans lchantillon nous avons : Si = a + bP i + cXi + ?i

46

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Ici a, b et c sont des paramtres ; x reprsente les variables de contrle comme l'ge de l'enfant, l'ducation de la mre et du pre, la taille et la composition dmo graphique des mnages et les caractristiques scolaires ; et ? est un rsiduel qui comprend d'autres dterminants de scolarisation et d'erreurs de mesure. La valeur estime de b vous donne l'impact de PROSCOL sur la scolarisation. Notez que si la famille de l'enfant i participe PROSCOL donc P = 1 et ainsi sa scolarisation sera a + b + cXi + ?i. S'il ne participe pas, donc P = 0 et ainsi sa scolarisation sera a + cXi +?i. La diffrence entre les deux est le gain en scolarisation en raison du programme, qui est juste b. Addition de variables de contrle Comme suggr, l'analyste opre une rgression avec ou sans les variables de contrle. Quand elle est rentre sans les variables les rsultats montrent que la valeur estime, de b n'est pas significativement diffrente de 0 (en utilisant le test standard-t donn par le paquet statistique). Ces rsultats prsentent une configuration semblable aux premiers rsultats, prenant la diffrence des moyennes entre les participants et les non participants suggrant que PROSCOL n'a pas d'impact sur la scolarisation. Cependant, quand plusieurs variables de contrle sont intgrs la rgression, il y a un coefficient positif et significatif sur la participation au programme PROSCOL. Le calcul montre qu' 18 ans le programme a ajout deux ans la scolarisation. L'analyste se demande pourquoi ces variables de contrle font une telle diffrence. Et les bons contrles sont- ils faits ? Elle visite ensuite son ancien professeur d'conomtrie et lui montre ses rgressions. Sa premire proccupation lie la rgression de la scolarisation sur P et X est que cela ne permet pas l'impact du programme de varier avec x ; l'impact est le mme pour chacun, ce qui ne semble pas trs probable. Les parents plus scolariss devraient tre plus nombreux vraisemblablement envoyer les enfants l'cole, donc les bnfices dont ils jouiront du programme PROSCOL seront infrieurs. Pour permettre aux bnfices de varier avec X, laissons les tudes moyennes de non participants, soit ao + co Xi tandis que celle des participants est a1 + c1Xi' , ainsi le niveau observ de scolarisation est Si = (? 1 + c 1X i + ? 1i ) P i + (a o + coxi + ? 0i ) (1- Pi) o ?o et ?1 sont des erreurs alatoires, chacun avec des moyennes de zro et s ans corrlation avec X. Pour valuer ce modle il est ncessaire d'ajouter un terme complmentaire pour les effets d' interaction entre la participation au programme et des caractristiques observes la rgression dj mene. Ainsi la rgression augmente est : Si = ao + (a 1 a o) Pi + Co Xi + (C 1 Co ) P i Xi + ? I

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

47

o ? i = ?1 i Pi + ?oi ( 1 Pi). Alors (a1 a o) + (C 1 Co) X est l'impact moyen du programme pour n'importe qu'elle valeur donne de X. Si la moyenne X dans l'chantillon des participants est utilise, elle donnera donc le gain moyen provenant du programme. Comprhension de l'importance de l'exognit Une deuxime proccupation releve par le professeur d'conomtrie est de savoir comment la rgression a t estime. Dans l'utilisation du contrle de rgression dans le paquet statistique, les moindres carrs ordinaires (MCO), il y a une source de proccupation parce que les estimations MCO des paramtres seront biaises mme avec de grands chantillons mo ins que les variables de droite ne soient exognes. L'exognit signifie que les variables de droite sont dtermines indpendamment des choix de scolarisation et ne sont ainsi pas en corrlation avec le terme d'erreur dans la rgression de la scolarisation. Parce que la participation au programme t intentionnellement cible, la participation au programme PROSCOL n'est pas exogne. Cela peut affecter le calcul de l'impact du programme comme suit : l'quation pour les annes de scolarisation est : S i = a + bP i + Cxi + ?i. La valeur a + b + cXi + ?i a t utilise comme estimation de la scolarisation du mnage i quand il participe au programme PROSCOL alors que a + cXi + ?i a t utilise pour estimer la scolarisation s'il ne participe pas. Ainsi la diffrence, b, est le gain provenant du programme. Cependant, en faisant ce calcul, lhypothse est que ?i tait le mme de toute faon. Autrement dit, l'hypothse tait que ? i tait indpendant de P, ce qui affecterait le calcul de l'impact du programme. Cela met en vidence la distorsion relative au placement du programme non alatoire qui peut aussi affecter lestimation base sur le modle de rgression suggr auparavant par l'conomiste (Si = a + bPi + cXi + ?i ). Ceci peut cependant, ne pas vouloir dire que les rsultats seront compltement faux. Le professeur d'conomtrie le clarifie avec une quation explicite de P savoir : Pi = d + eZi + Vi o Z reprsente plusieurs variables qui comprennent toutes les " variables auxiliair es de pauvret " de ciblage du programme PROSCOL. Il y aura certainement le terme d'erreur purement alatoire qui influence la participation ; ce sont les variables auxiliaires de pauvret qui ne sont pas dans les donnes et il y aura aussi des erreurs dans la slection des participants qui figurent dans le terme V. Cette quation est linaire, cependant P peut seulement prendre deux valeurs possibles, 0 et 1. Les valeurs comprises entre zro et un sont acceptables mais un modle linaire ne peut pas exclure

48

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

la possibilit des valeurs prvus ngatives, ou des valeurs au-dessus de 1. Il existe des modles non linaires qui peuvent traiter ce problme mais pour simplifier le dbat, le plus facile sera de se concentrer sur les modles linaires. Il y a un cas spcial dans lequel la rgression des MCO susmentionnes de S sur P et X donnera une estimation exacte de b. C'est quand X comprend toutes les variables dans Z qui influence la slection et le terme d'erreur V est non corrl avec le terme d'erreur ? dans la rgression de la sco larisation. Cela est parfo is appel "le choix sur des observables" dans lexpos d'valuation. Supposons que les variables de contrle X dans la rgression prcdente pour la scolarisation comprennent toutes les variables observes Z qui influencent la participation P et que V est non corrl avec ? (de telle sorte que les variables non observes affectant le P du programme n'influencent pas la scolarisation conditionne par X) ; cela a alors limin nimporte quelle possibilit que P soit corrl avec ?. Il sera maintenant exogne dans la rgression pour la scolarisation. Autrement dit, l'ide principale de la slection des variables observables est qu'il y a un observable X tel que la distorsion annule la conditionnalit sur X. L'addition des variables de contrle la rgression de la scolarisation sur la participation au programme PROSCOL a fait une grande diffrence parce que X doit comprendre les variables qui taient parmi les variables auxiliaires de la pauvret pour le ciblage ou taient corrles avec elles et sont des variables qui ont aussi une influence sur la scolarisation. Cela, cependant, marche seulement si les hypothses sont valables. Il faudra tre conscient qu'il y a deux problmes. D'abord la mthode sus mentionne s'croule s'il ny a pas de dterminants de participation non observe ; autrement dit, si le terme d'erreur v a une variance 0 et que tous les dterminants de participation affectent aussi la scolarisation. Alors il n'y a aucune variation indpendante dans la participation au programme pour permettre d'identifier son impact sur la scolarisation ; il est possible de prvoir parfaitement P partir de X et donc la rgression nestimera pas. Ce problme ne va pas surgir probablement souvent, tant donn qu'il y a presque toujours des dterminants non observs du placement du programme. Le deuxime problme est plus courant et plus proccupant dans ce cas. Le terme d'erreur ? dans la rgression de la scolarisation contient probablement des variables qui n'ont pas t trouves dans l'enqute, mais pourraient bien influencer la participation au programme, c'est--dire quelles pourraient tre corrles avec le terme d'erreur i dans l'quation de la participation. Si c'est le cas, alors E(? X,P) ?0, et des mthodes de rgression ordinaires seront toujours biaises quand les rgressions de la scolarisation seront estimes. Ainsi le problme clef est la mesure de la corrlation entre le terme d'erreur dans l'quation pour la participation et celui dans l'quation pour la scolarisation. Exploration de meilleures voies pour former un groupe de comparaison harmonisation du score de Propension Avec de nouvelles informations du professeur, l'analyste apprend qu'il y a de meilleures faons de former un groupe de comparaison. L'objectif est de comparer

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

49

des niveaux de scolarisation conditionnels par les caractristiques observes. Si les groupes types sont rpartis en groupes de familles avec les mmes valeurs ou des valeurs semblables de X, on compare les groupes conditionnels pour des familles PROSCOL et non PROSCOL. Si la scolarisation en l'absence du programme est indpendante de la participation, tant donn X, alors la comparaison donnera une estimation non biaise de l'impact du PROSCOL. Cela est parfois appel "l'indpendance conditionnelle" et c'est l'hypothse cl faite par toutes les mthodes de groupe de comparaison. Ainsi, une meilleure faon de choisir un groupe de comparaison, compte tenu les donnes existantes, est d'employer comme contrle pour chaque participant un non participant avec les mmes caractristiques observes. Cela pourrait, cependant, tre trs difficile parce que le jeu des donnes pourrait prsenter beaucoup de ces variables. Il ne peut y avoir personne parmi les non participants prsentant exactement les mmes valeurs de toutes les caractristiques observes que n'importe quel participant PROSCOL.
Une approche statistique, l'harmonisation du score de propension, fournit des techniques pour simplifier normment le problme. Au lieu de chercher s'assurer que le contrle harmonis pour chaque partic ipant ait exactement la mme valeur X, le mme rsultat peut tre atteint en harmonisant la valeur prvue de P compte tenu de X qui est appel le score de propension de X. Rosenbaun et Rubin (1983) dmontrent que si (dans ce cas) la scolarisation sans PROSCOL est indpendante de la participation tant donn X donc les participants sont aussi indpendants de la participation compte tenu du score de propension de X. Puisque le score de propension est juste un nombre, il est beaucoup plus facile de le contrler que X, qui pourrait avoir beaucoup de variables. Et cependant le score de propension harmonis est suffisant pour liminer la distorsion puisqu'il y a l'indpendance conditionnelle compte tenu de X. En d'autres termes, on rgresse d'abord P sur X pour obtenir la valeur prvue de P pour chaque valeur possible de X, qui est alors estim pour l'chantillon entier. Pour chaque participant, il faut trouver le non participant avec la valeur la plus proche de cette probabilit prvue. La diffrence dans la scolarisation est alors le gain estim du programme pour ce participant. On peut alors prendre la moyenne de toutes ces diffrences pour estimer l'impact ou bien prendre la moyenne pour les diffrents groupes de revenus. Cependant, cela, ncessite des prcautions dans la faon dont le modle de participation est estim. Un modle linaire pourrait donner des probabilits prvues irrgulires au-dessus de 1 ou ngatives. Il vaut mieux utiliser la commande de rgulation LOGIT du paquet statistique. Cela suppose que le terme d'erreur v dans l'quation de la participation a une distribution logique et on estime les paramtres compatibles avec cette hypothse par des mthodes de probabilit maximale. Ceci est bas sur les principes de l'estimation de probabilit maximale de modles de rponse binaire. Une autre question dont il faut tre conscient est que certains des non participants peuvent avoir t exclus comme correspondants potentiels ds le dpart. En fait, il y a quelques rsultats rcents dans le trait de l'conomtrie indiquant que l'chec de la comparaison des participants et des contrles, des valeurs communes de variables d'harmonisation,

50

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENTSUR LA PAUVRETE

est une source majeure de distorsion dans les valuations (voir Heckman et d'autres, 1998). L'intuition est que l'on veut que le groupe de comparaison soit aussi semblable que possible au groupe de traitement en termes observables, comme rcapitul par le score de propension. Nous pourrions constater que certains chantillons de non participants ont un score de propension infrieur n'importe lequel d'entre ceux de l'chantillon de traitement. Il est parfois appel "le manque d'appui commun". Dans la formation du groupe de comparaison, il faut liminer ces observations du jeu de non participants pour s'assurer que seulement les gains de la mme gamme de scores de propension sont compars. Il faut aussi exclure ces non participants dont la probabilit de participation est zro. Il est recommand de retirer une petite proportion de l'chantillon, par exemple deux pour cent, en haut et en bas de la distribution des non participants en terme de scores de propension. Une fois que les participants ont t identifis et les non participants aussi sur une rgion d'harmonisation commune, il est recommand de prendre une moyenne, disons environ 5 ou les nombres les plus proches, en terme de diffrence absolue dans les scores de propension (Encadr 3.1). Encadr 3.1 Etapes de l'harmonisation du score de propension Le but de l'harmonisation consiste trouver le groupe de comparaison le plus proche d'un chantillon de non participants l'chantillon de participants au programme. "Le plus proche" est mesur en termes de caractristiques observables. S'il y a seulement une ou deux de ces caractristiques, alors l'harmonisation doit tre facile. Mais pratiquement, il y a beaucoup de caractristiques potentielles. Les principales tapes dans l'harmonisation base sur le plus grand nombre de propensions sont les suivantes : Etape 1 : Vous avez besoin d'une enqute par sondage reprsentative pour les non participants ligibles aussi bien que pour les participants. Plus grand est l'chantillon de non participants ligibles, mieux sen faut pour faciliter une bonne harmonisation. Si les deux chantillons proviennent denqutes diffrentes, elles doivent tre des enqutes hautement comparables (le mme questionnaire, les mmes intervieweurs ou la mme formation d'intervieweur, la mme priode d'enqute, etc. Etape 2 : Regroupez les deux chantillons et estimez un modle de rgulation LOGIT de la participation au programme comme une fonction de toutes les variables dans les donnes qui vont probablement dterminer la participation. Etape 3 : Crez les valeurs prvues de la probabilit de la participation partir de la rgression de la rgulation LOGIT ; celles-ci sont appeles "les scores de propension". Vous aurez un score de propension pour chaque participant et non participant de lchantillon.

(Lencadr continue sur la page suivante )

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

51

Encadr 2.2 (suite) Etape 4 : Certains de l'chantillon de non participants devraient tre exclus du jeu au dbut parce qu'ils ont un score de propension qui est l'extrieur de la gamme (typiquement trop bas) observe pour l'chantillon de traitement. La gamme de scores de propension estime pour le groupe de traitement devrait correspondre de prs celle du sous chantillon retenu de non participants. Vous pouvez aussi vouloir limiter des harmonisations potentielles d'autres faons selon le contexte. Par exemple, vous pouvez vouloir permettre seulement des harmonisations dans le mme secteur gographique pour s'assurer que les parties d'harmonisation viennent du mme environnement conomique. Etape 5 : Pour chaque individu dans l'chantillon de traitement, vous voulez maintenant trouver l'observation dans l'chantillon de non participants qui a le score de propension le plus proche, comme mesur, par la diffrence absolue dans les scores. Cela est appel "le voisin le plus proche". Vous pouvez trouver disons les 5 voisins les plus proches. Etape 6 : Calculez la valeur moyenne de l'indicateur de rsultat (ou chacun des indicateurs) s'il y a eu plus d'un pour les cinq voisins les plus proches. La diffrence entre cette moyenne et la valeur relle pour l'observation traite est l'estimation du gain en raison du programme po ur cette observation. Etape 7 : Calculez la moyenne de ces bnfices individuels pour obtenir le gain moyen gnral. Cela peut tre stratifi par quelque variable d'intrt, comme le revenu, dans l'chantillon de non participants. C'est la forme l plus simple de l'harmonisation du score de propension. Des a complications peuvent surgir en pratique. Par exemple, s'il y a un surnombre de lchantillonnage de participants, vous pouvez employer des mthodes de prlvement des chantillons base de slection pour le corriger (Manski et Lerman 1977) ; alternativement vous pouvez utiliser le ratio de chance (p/(1 - p) o p est le score de propension) pour l'harmonisation. Au lieu de compter sur le voisin le plus proche, vous pouvez plutt employer tous les participants comme des parties potentielles mais il faut les pondrer diffremment selon leur degr de proximit (Heckman et d'autres, 1998). Ensuite, toutes les variables dans le jeu des donnes qui sont ou pourraient tre des variables auxiliaires pour les indicateurs de la pauvret qui ont t utilises dans la slection des participants au programme PROSCOL devraient tre incluses. De nouveau, X doit comprendre les variables dans Z. Cela, cependant, rvle une faiblesse de l'harmonisation du score de propension. Avec l'harmonisation, X diffrent fournira une valuation diffrente d'impact. Avec la slection alatoire, l'exprience idale, les rsultats ne dpendent pas de quel X vous choisissez. La randomisation ne ncessite pas non plus que l'on spcifie un modle pour la participation ou d'une mesure de rgulation LOGIT ou autre. L'encadr 3.1 rcapitule les tapes suivre pour procder l'harmonisation du score de propension

52

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Apprendre les distorsions dues aux variables inobservables Mme aprs la formation du groupe de comparaison, l'analyste ne peut pas tre sr dobtenir une meilleure valuation de l'impact des programmes. Les mthodes dcrites ci-dessus limineront seulement la distorsion s'il y a l'indpendance conditionnelle, telle que les dterminants inobservables de la scolarisation non-compris dans le champ des variables de contrle X ne sont pas corrls avec le placement du programme. Il y a deux sources distinctes de distorsion, celles dues aux diffrences dans les variables observables et celles dues aux diffrences dans les variables non observables la dernire est souvent appele "distorsion de slection . L'encadr 3.2 traite de cette diffrence. Un rappel de la dernire quation du professeur montre que l'indpendance conditionnelle tiendra si P est exogne, donc E (?i X i' Pi) = 0. Cependant, le placement du programme endogne en raison du ciblage intentionnel bas sur des variables non observables laissera toujours une distorsion. Cela est parfois appel la slection des observables. Ainsi les conditions ncessaires pour justifier la mthode examine auparavant par l'conomiste ne sont pas moins restrictives que celles ncessaires pour justifier une version de la premire mthode base sur la comparaison des familles PROSCOL avec des familles non PROSCOL pour des mnages avec des valeurs semblables de X. Toutes les deux reposent sur la croyance que ces variables non observables n'influencent pas conjointement la scolarisation et la participation au programme, conditionne par X. Intuitivement, on pourrait penser qu'une harmonisation soigne rduit la distorsion mais il nen va pas ncessairement ainsi. L'harmonisation limine une partie de la distorsion dans la premire valuation brute de l'impact du PROSCOL. Cela laisse la distorsion due certaines ennuyeuses variables non observes. Cependant, ces deux sources de distorsion pourraient se compenser - une positive, l'autre ngative. Heckman et d'autres (1998) ont trait ce point. Donc lharmonisation de l'valuation pourrait bien avoir plus de distorsion que l'valuation premire. On ne peut pas savoir sur des bases prtablies de combien meilleure l'une est, mme avec un groupe de comparaison bien choisi, ce qui est une question empirique. Examiner ce qui pourrait avoir t fait avec une enqute de donne s de base Estimation de la diffrence double L'analyste cherche savoir ensuite s'il y aurait une mthode autre que la slection alatoire qui peut contrecarrer ces non observables variables gnantes. Cela ncessiterait la collecte des donnes de base tant pour les participants que pour les non participants avant le dmarrage du PROSCOL. L'ide est que les donnes collectes sur les rsultats et leurs dterminants aussi bien avant qu'aprs que le programme ne fut introduit, avec des donnes pour un groupe de comparaison non trait aussi bien que le groupe de traitement. Il est alors possible de soustraire tout simplement la diffrence entre la scolarisation du groupe des participants et de groupe de comparaison avant le programme de la diffrence aprs le programme.

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

53

Encadr 3.2 Sources de distorsion dans les valuations premires de l'impact du PROSCOL La distorsion dcrite par le statisticien est la diffrence attendue de la scolarisation sans PROSCOL entre des familles choisies le programme et celles qui n'ont pas t choisies. Cela peut tre rparti en deux sources de distorsion : Distorsion en raison des diffrences de caractristiques observables. Cela peut provenir de deux faons. D'abord, il ne peut pas y avoir de support commun. "Le support" est l'ensemble des valeurs des variables de contrle pour lesquelles les rsultats et la participation au programme sont observs. Si le support est diffrent entre l'chantillon de traitement et le groupe de comparaison alors cela biaisera les rsultats. En effet, on ne compare pas des choses de mme nature. Deuximement, mme avec le support commun ; la rpartition des caractristiques observables peut tre diffrente dans la rgion d'appui commun, en effet les donnes du groupe de comparaison sont mal pondres. Un choix judicieux du groupe de comparaison peut liminer cette sour ce de distorsion. Distorsion due aux diffrences dans les variables non observables. Le terme distorsion de slection est parfois limit seulement cette composante (quoique certains auteurs emploient ce terme pour la distorsion totale dans une valuatio n non exprimentale). Cette source de distorsion apparat quand, pour les valeurs donnes de X, il y a un rapport systmatique entre la participation au programme et les rsultats en l'absence du programme. Autrement dit, il y a des variables non observs qui influencent conjointement la scolarisation et la participation au programme conditionne par les variables observes dans les donnes. Rien ne garantit que ces deux sources de distorsion fonctionneront dans la mme direction. Ainsi liminer l'une ou l'autre d'entre elles ne signifie pas en soi que toute la distorsion est rduite en valeur absolue. C'est une question empirique. Dans l'une des rares tudes qui traitent de cette question, le vrai impact, tel que mesur par une exprience bien conue a t compar avec des valuations non exprimentales varies (Heckman et d'autres 1998). La distorsion dans l'valuation premire tait norme, mais une harmonisation judicieuse du groupe de comparaison bas sur des variables observables a normment rduit les distorsions.

54

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

On lappelle lestimation de la "diffrence double" ou la "diffrence dans des diffrences". Cela traitera les variables non observ es ennuyeuses pourvu qu'elles ne varient avec le temps. On peut lexpliquer en ajoutant des indices l'quation prcdente de telle sorte que la scolarisation aprs lintroduction du programme : Sia = a + bP i + cXi a + ?i a Avant le programme, dans l'enqute de base la frquentation scolaire est plutt S ib = a + cXib + ib (Bien sr P = 0 avant que le programme ne soit initi). Les termes d'erreur comprenant un effet invariant de temps supplmentaire, ainsi nous pouvons les crire comme ?it = ? i + it (avec t = a,b) o ?i est l'effet non variant de temps, ce que l'on peut corrler avec Pi, et it est une erreur d'innovation, qui n'est pas corrle avec P i (ou Xi ). L'ide essentielle ici est d'employer les donnes de base pour rvler ces problmatiques variables non observables. Remarquez que lorsque l'enqute de base est pour les mmes mnages que ceux que nous avons maintenant, le mnage i dans l'quation de Si a est le mme dans l' quation de Sib. Nous pouvons alors prendre la diffrence entre l'quation "aprs" et l'quation "avant". Sia - Sib = bPi + c(Xi a - Xib) + a - ib. i Il est maintenant possible de rgresser le changement dans la scolarisation sur la participation au programme et des changements de X. Les OMC vous donneront une valuation exacte de l'impact du programme. Les variables non observables - celles avec la participation au programme - ont t limines. Etant donn que si le placement du programme tait bas seulement sur des variables tant observes que non observes qui taient connues au moment de l'enqute, alors il serait raisonnable de supposer que les ?s ne changent pas entre les deux enqutes. Cela ncessiterait une bonne connaissance du programme aussi longtemps que les variables non observables problmatiques sont invariantes. Les changements dans la scolarisation au cours du temps pour le groupe de comparaison rvleront ce qui serait arriv au groupe de traitement sans le programme. Cela ncessiterait de bien connatre le programme et la capacit de chronomtrer les temps des enqutes d'valuation afin de les coordonner avec le programme. Autrement il subsistera vraisemblablement des variables non observs des changements aprs l'enqute de base qui influence celui qui

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

55

obtient un programme. Cela crerait 0s qui a chang entre les deux enqutes. Cette dernire quation peut tre interprte comme la signification que l'enfant et les caractristiques des mnages dans X sont sans rapport avec le changement dans la scolarisation, si ces caractristiques ne changent pas dans le temps. Mais le gain dans la scolarisation peut dpendre de l'ducation des parents (et non juste quelque changement dans leur ducation), et probablement de l'endroit o vit le mnage, parce que cela dterminerait l'accs aux coles. Il peut aussi y avoir des situations dans lesquelles les changements dans le temps de l'indicateur de rsultat sont sous l'influence des conditions initiales. Alors on voudra aussi contrler pour des diffrences dans les conditions initiales. Cela peut se faire en ajoutant simplement Xa et Xb dans la rgression sparment pour que la rgression prenne la forme : S ia - S ib = bP i + caXi a + c bX ib + i a - ib . Mme si certaines (toutes les) variables dans X ne varient pas dans le temps on peut toujours permettre X d'affecter les changements dans le temps de la scolarisation. Le score de propension correspondant la mthode traite ci-dessus peut aider assurer que le groupe de comparaison est semblable au groupe de traitement avant de faire la double diffrence. Dans une tude intressante d'un programme d'emploi amricain, il a t constat que la dfaillance assurer que les comparaisons avaient t faites dans une rgion d'appui communautaire tait une source principale de distorsion dans l'valuation de la double diffrence en comparaison d'un groupe tmoin alatoirement slectionn. Dans la rgion d'appui communautaire, cependant, la distorsion conditionne par X n'a pas vari beaucoup dans le temps. Ainsi, il a du sens de prendre la double diffrence aprs que l'harmonisation a t faite (voir Heckman et d'autres 1998). Cependant, en pratique, le suivi des mnages dans des enqutes peut tre difficile. Il peut ne pas tre facile de trouver tous les mnages qui ont t l'origine inclus dans l'enqute de base. Certaines personnes qui ont particip l'enqute de base peuvent ne pas vouloir tre interviewes de nouveau ou elles peuvent s'tre dplaces vers un endroit inconnu. Si les abandons au sein de l'chantillon sont purement alatoires, l'enqute complmentaire sera toujours reprsentative de la mme population que dans l'enqute de base. Cependant, il y a problme lorsquil y a quelque tendance systmatique pour des gens ayant certaines caractristiques abandonner l'chantillon. Ceci est appel la "distorsion d'usure". Par exemple PROSCOL pourrait aider quelques familles pauvres avoir un meilleur logement. Et mme, quand le choix du participant tait seulement bas sur l'information disponible ou autour de la date de dpart des donnes de base (effet invariant du temps 0i ), les participants slectionns peuvent bien partir volontairement sur la base de changements aprs cette date. Une telle usure du groupe de traitement biaisera nettement une valuation d'une diffrence double de l'impact du programme. Lencadr 3.3 souligne les tapes pour raliser une double diffrence.

56

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Encadr 3.3 Raliser une diffrence double La mthode de diffrence double entrane la comparaison d'un groupe de traitement avec un groupe de comparaison (comme cela pourrait idalement tre dtermin par la mthode de l'harmonisation dans l'encadr 3.2) tant avant qu'aprs l'intervention. Les principales tapes sont les suivantes : Etape 1 : Vous avez besoin d'une enqute de base avant que l'intervention ne soit mise en place et l'enqute doit couvrir tant des non participants que des participants. Si vous ne savez pas qui participera l'enqute, vous devez faire une supposition avise. Parlez aux administrateurs du programme. Etape 2 : Vous avez alors besoin d'une ou plusieurs enqutes complmentaires aprs la mise en place du programme. Celle -ci doit tre trs comparable aux les enqutes de base (en termes de questionnaire, d'interview et ainsi de suite). Idalement, les enqutes complmentaires doivent avoir les mmes observations dchantillons que l'enqute de base. Si ce n'est pas possible, alors elles doivent tre des mmes groupes gographiques ou strates en termes de certaines autres variables. Etapes 3 : Calculez la diffrence moyenne entre les valeurs antrieure et postrieure de l'indicateur du rsultat pour chacun des groupes de comparaison et de traitement. Etape 4 : Calculez la diffrence entre ces deux diffrences moyennes. C'est votre estimation de l'impact du programme. C'est la version la plus simple de la diffrence double. Vous pouvez aussi faire un contrle des diffrences de conditions initiales exognes ou des changements de variables exognes, permettant probablement des effets d'interaction avec le programme (pour que le gain de l'intervention soit fonction des variables observables). Un modle de rgression appropri peut permettre ces variations.

Utilisation des variables instrumentales Etant donn quil ny a aucune enqute de base sur les mmes mnages pour faire la mthode de diffrence double, le professeur recommande une autre mthodologie pour obtenir une valuation consistante pour les variables non observables gnantes une variable instrumentale . Une variable instrumentale est la solution classique pour le problme de rgression endogne. Une variable instrumentale est une source observable de variation exogne dans la participation au programme. Autrement dit, elle est

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

57

corrle avec P mais nest pas dj dans la rgression pour la scolarisation et nest pas corrle avec le terme der reur dans lquation de scolarisation e. Donc il faut avoir au moins une variable dans Z qui nest pas dans X et nest pas corrle avec e. Alors lestimation des variables instrumentales de limpact du programme est obtenue en remplaant P avec sa valeur prvue conditionne par Z. Parce que cette valeur prvue dpend seulement de Z (qui est exogne) et que Z est non corrl avec e il est maintenant raisonnable dappliquer les OMC cette nouvelle rgression. Puisque les valeurs prvues dpendent seulement de la variation exogne en raison de la variable instrumentale et des autres variables exognes, les variables non observables ne sont pas ennuyeuses parce quelles ne seront pas corrles avec le terme derreur dans la rgression de la scolarisation. Cela suggre aussi une autre faon, plus efficace, de traiter le problme. Il faut se rappeler que la source de distorsion dans lvaluation prcdente de limpact du programme tait la corrlation entre le terme derreur dans lquation de scolarisation et celui dans lquation de participation. Cest ce qui cre la corrlation entre la participation et le terme derreur dans lquation de scolarisation. Ainsi une faon naturelle de se dbarrasser du problme quand on a une variable instrumentale est dajouter les rsidus de lquation de ltape premire de la participation lquation de la scolarisation mais en gardant la participation relle dans la rgression de la scolarisation. Cependant, puisque nous avons maintenant ajout la rgression de la scolarisation la valeur estime du terme derreur de lquation de la participation, il est possible de traiter la participation comme exogne et diriger les OMC. Ceci marche seulement sil y a un instrument valable. Sinon la rgression ne permettra pas destimer parce que la participation rsiduelle sera parfaitement prvisible partir de la participation relle et de X dans un modle linaire. Une variable instrumentale peut aussi aider sil y a une erreur de mesure apprciable dans les donnes de la participation au programme, une autre source possible de la distorsion. Lerreur de mesure signifie quil y a la possibilit que la participation au programme varie plus quelle ne lest en ralit. Cette surestimation dans P mne naturellement une sous-estimation de son coefficient b. Ceci est appel attnuation de distorsion parce que cette distorsion attnue le coefficient de rgression. Bien quune variable instrumentale puisse tre extrmement utile, en pratique il est ncessaire dtre prudent. Quand la participation relle est tout juste remplace par sa valeur prvue et que les OMC sont mens, cela nindiquera pas les vraies erreurs standard parce que lordinateur ne saura pas que des paramtres prcdemment estims devraient tre utiliss pour obtenir les valeurs prvues. Une correction des erreurs standard des OMC est ncessaire quoi quil y ait les outils statistiques qui permettent de le faire facilement, du moins pour des modles linaires. Sil y avait une variable dpendante, cependant , qui pourrait seulement prendre une valeur possible, lcole ou pas lcole par exemple, alors on devrait employer un modle de rponse binaire non linaire, comme le modle probit ou de rgulation LOGIT. Le principe

58

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PEUVRETE

de contrle de lexognit de la participation au programme est semblable dans ce cas. Il y a une documentation par Rivers et Vuong (1988) qui traite le problme pour de tels modles ; Blundell et Smith (1993) fournissent une vue densemble utile de divers modles non linaires dans lesquels il y a un rgresseur endogne. Tester les mthodologies Quand lanalyste commence rflchir lidentification dune variable instrumentale, elle se rend compte que ce nest pas un processus facile. Chaque possibilit quelle a invente pourrait aussi tre associe aux variables dans X. Le problme consiste trouver une restriction dexclusion valable qui justifie linclusion de quelques variables dans lquation de la participation mais pas dans celle de la scolarisation. Lanalyste dcide dessayer la mthode de lharmonisation du score de propension. Le modle LOGIT de la participation semble tout fait sensible et suggre que PROSCOL soit bien cibl. Pratiquement toutes les variables que lon sattendait voir associes la pauvret ont des coefficients positifs et significatifs. Lanalyste ralise alors lharmonisation du score de propension. Dans une comparaison des taux moyens dinscription scolaire harmoniss, les rsultats montrent que les enfants du groupe de la comparaison- harmonise avait un taux dinscription de 60 pour cent par rapport 80 pour cent pour des familles PROSCOL. Tenant compte de la question de revenu prvu, lanalyste fait appel une enqute existante sur le travail denfant qui a interrog sur leurs revenus. (Dans ce pays en dveloppement, il y a une interdiction officielle du travail des enfants avant lge de 16 ans, mais le gouvernement arrive difficilement mettre en application cette interdiction ; nanmoins les revenus du travail des enfants sont une question sensible). A partir de cette enqute, les gains quun enfant aurait faits si il ou elle ntait pas parti lcole peuvent tre dtermins. Il est alors possible de soustraire du paiement comptant du PROSCOL aux participants la somme du revenu prvu et mettre ainsi au point le transfert du revenu net. En soustrayant ce transfert net du revenu total, il est possible de localiser do viennent les participants PROSCOL la rpartition du revenu pr-intervention. Ils ne sont pas tout fait aussi pauvres que nous les avons imagins de prime abord (ignorant le revenu) mais ils sont toujours pauvres ; par exemple, les deux tiers dentre eux vivent en dessous du seuil de pauvret officiel du pays. Ayant calcul le revenu net de tous les participants, il est maintenant possible de calculer le taux de pauvret avec et sans PROSCOL. Le taux de pauvret aprs intervention (avec le programme) est simplement expos, la proportion de la population vivant dans des mnages avec un revenu par personne en dessous du seuil de pauvret, o le revenu est le revenu observ (incluant les recettes) des transferts bruts de PROSCOL. Ceci peut tre calcul directement partir de lenqute sur les mnages. En soustrayant le gain de revenu net des transferts montaires de PROSCOL moins le revenu attendu du travail des enfants attribu PROSCOL

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

59

de tous les revenus observs, les rsultats indiquent une nouvelle rpartition des revenus avant intervention. Le taux de pauvret sans le programme est alors la proportion des gens vivant dans des mnages pauvres bass sur cette rpartition. Lanalyste constate que le taux de pauvret observ dans le Nord-Ouest de 32 pour cent aurait t 36 pour cent si PROSCOL navait pas exist. Le programme permet 4 pour cent de la population dchapper maintenant la pauvret. Les gains en scolarisation signifient quil y aura aussi des gains tant pcuniaires que non pcuniaires chez le pauvre lavenir. Dans le processus de mesure de la pauvret, lanalyste se rappelle la leon que la proportion des gens en dessous du seuil de pauvret est seulement une mesure de base parce quelle ne nous dit rien des changements au dessous de la ligne (voir encadr 3.4). Elle calcule ensuite aussi bien lindice dcart de pauvret que lindice dcart de pauvret relev et les rsultats suggrent que celui-ci a aussi chut suite PROSCOL.

Encadr 3.4 Mesures de la pauvret La mesure de pauvret la plus simple et la plus frquente est lindice de recensement. Dans ce cas, cest la proportion de la population vivant dans des mnages avec le revenu par personne en dessous du seuil de pauvret. (Dans dautres pays, cest une mesure base de consommation, qui prsente quelques avantages ; pour le trait et les rfrences, voir Ravallion 1994). Lindice du recensement ne nous dit rien de la rpartition des revenus en dessous du seuil de pauvret : une personne pauvre peut tre dans une situation pire mais lindice du recensement ne changera pas, il ne refltera pas non plus des gains parmi les pauvres moins quils ne franchissent le seuil de pauvret. Une alternative trs utilise de lindice du recensement est lindice dcart de pauvret (IEP). Lcart de pauvret pour chaque mnage est la diffrence entre le seuil de pauvret et le revenu du mnage ; pour ceux au-dessus du seuil de pauvret, lcart est de zro. Quand lcart de pauvret est normalis par le seuil de pauvret et on calcule sa moyenne pour tous les mnages (pauvre ou non), on obtient lindice de lcart de pauvret. Lindice dcart de pauvret donne le degr de limpact que le programme a eu sur la gravit de la pauvret mais il ne refltera pas les changements de la rpartition parmi les pauvres dus au programme. Par exemple, si le programme entrane un petit gain une personne pauvre qui est au-dessus du revenu moyen du pauvre, en compensation dune perte gale pour quelquun au-dessous de cette moyenne, alors lindice dcart de pauvret ne changera pas.

(Lencadr continue sur la page suivante)

60

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Encadr 3.4 (suite)

Il y a diverses mesures distribution-sensible qui reflteront de tels changements de la distribution parmi les pauvres. Une telle mesure est lcart de pauvret relev (Foster, Greer, et Thorbecke 1984). Ceci est calcul de la mme manire que lindice dcart de pauvret sauf que les carts de la pauvret individuels comme proportion du seuil de pauvret sont relevs avant de prendre la moyenne (de nouveau tant sur les pauvres que les non-pauvres). Un autre exemple dune mesure de pauvret distribution sensible est lindice de Watts. Cest la moyenne circulaire du ratio du seuil de pauvret par rapport au revenu, o ce ratio est fix 1 pour le nonpauvre. Atkinson (1987) dcrit dautres exemples dans lexpos.

Dans ce calcul, lanalyste reconnat aussi quil y a quelques incertitudes relatives au seuil de pauvret du pays. Pour tester les rsultats, elle rpte le calcul sur une grande gamme de seuils de pauvret, constatant que sur un seuil de pauvret pour lequel 50 pour cent de la population sont pauvres quand on se base sur les revenus observs aprs intervention, la proportion aurait t de 52 pour cent sans PROSCOL. Sur un seuil de pauvret que 15 pour cent narrivent pas atteind re avec le programme, la proportion aurait t de 19 pour cent sans cela. En rptant ces calculs sur la gamme entire des revenus, lensemble des courbes dincidence de la pauvret a t trac avec et sans le programme. Il est aussi appel la fonction de la distribution cumulative (voir encadr 3.5).

Encadr 3.5 Comparaison de la pauvret avec ou sans le programme En utilisant les mthodes dcrites dans le texte principal et les encadrs prcdents, on obtient une estimation du gain pour chaque mnage. Dans les valuations les plus simples, cela constitue juste un chiffre. Mais il est mieux de le laisser varier avec les caractristiques du mnage. On peut alors rcapituler cette information en forme de courbes dincidence de la pauvret (CIP), avec et sans le programme. Etape 1 : Le revenu aprs intervention (ou un autre indicateur du bien tre) pour chaque mnage dans lchantillon global (comprenant tant des participants que des non-participants) doit dj exister ; ce sont des donnes. Vous savez aussi le nombre de personnes qui sont dans chaque mnage. Et bien sr,

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

61

vous connaissez le nombre total des personnes dans lchantillon (N ; ou cela pourrait tre la taille de la population estime si des taux dchantillonnage inverses ont t utiliss pour puiser chaque observation de lchantillon). Etape 2 : Vous pouvez tracer cette information en forme de CIP. Cela donne (sur laxe des ordonnes) le pourcentage de la population vivant dans des mnages avec un revenu moindre ou gal cette valeur sur laxe des abscisses. Pour faire ce graphique, vous pouvez commencer par le mnage le plus pauvre, marquer son revenu sur laxe des abscisses et augmenter sur laxe des ordonnes 100 fois le nombre des gens dans ce mnage divis par N. Le point suivant est la proportion des personnes vivant dans les deux mnages les plus pauvres, etc. Cela donne la CIP post intervention. Etape 3 : Calculez maintenant la distribution des revenus pr- intervention. Pour lobtenir, il faut soustraire le ga in estim pour chaque mnage de son revenu post intervention. Vous avez alors une liste de revenus post intervention, une pour chaque mnage chantillonn. Rptez ensuite ltape 2. Vous aurez alors la CIP de pr- intervention. Si nous considrons un niveau de revenu donn sur laxe des abscisses comme un seuil de pauvret, donc la diffrence entre les deux CIP ce point donne limpact sur lindice de recensement pour ce seuil de pauvret (encadr 3.4). Alternativement, un regard horizontal vous donne le revenu correspondant ce centile. Si aucun des gains nest ngatif alors la CIP post intervention doit se situer en dessous de celle de pr- intervention. La pauvret aura baiss peu importe la ligne de pauvret employe. En effet cela tient aussi pour une trs large classe de mesure de pauvret ; voir Atkinson (1987). Si quelques gains sont ngatifs donc les CIP se croiseront. La comparaison de la pauvret est alors ambigu ; la rponse dpendra de quelles lignes de pauvret et de quelles mesures de pauvret on utilise (pour un expos approfondi voir Ravallion 1994). Vous pourriez alors employer des restrictions a priori de la gamme de seuils de pauvret admissibles. Par exemple, vous pouvez tre confiant que le seuil de la pauvret nexcde pas nimporte quelle valeur maximale et si lintersection arrive au-dessus de cette valeur, la comparaison de la pauvret est alors ambigu. Si le point dintersection (il peut en avoir plus dun) est en dessous du seuil de pauvret admissible maximal, donc une solide comparaison de la pauvret est seule possible pour un jeu limit de mesures de la pauvret. Pour vrifier comment le jeu doit tre limit, vous pouvez calculer les courbes de profondeur de pauvret (CPP). Celles ci sont obtenues en formant simplement la somme cumulative en haut de chaque point sur la CIP. (Donc le deuxime point sur la CPP est le premier point sur la CIP plus le deuxime point, etc.).

62

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Encadr 3.5 (suite) Si les CPP ne se croisent pas alors limpact du programme sur la pauvret est sans quivoque tant que lon limite lattention lindice de lcart de pauvret ou nimporte laquelle des mesures de la pauvret ou de la distribution sensible dcrite lencadr 3.4. Si les CPP se croisent alors vous pouvez calculer les courbes de svrit de la pauvret avec ou sans le programme en formant les sommes cumulatives sous les CPP. Si celles-ci ne se croisent pas au-dessus de la gamme des seuils de pauvret admissibles, donc limpact sur nimporte laquelle des mesures de la pauvret distribution sensible dans lencadr 3.4 est sans quivoque. Incorporation des donnes du terrain Dans la mise en uvre de chaque programme, le point de vue des bnficiaires et des administrateurs du programme peut tre reflt dans les donnes du programme. Par exemple, dans ce cas la perception de ceux qui travaillent sur le terrain est que la majorit des familles PROSCOL est pauvre et que le programme est en effet utile. Quand lanalyste le discute avec un sociologue travaillant avec le programme, elle se rend compte de lincertitude dans la ralit du manque gagner et de la question de travail. Le sociologue discute le fait que sur le terrain on observe beaucoup denfants de familles pauvres qui travaillent aussi bien quils vont lcole et que certains des enfants plus jeunes qui ne sont pas lcole ne semblent pas travailler. Lanalyste se rend compte que cela ncessite quelques vrific ations pour savoir sil y a quelque diffrence entre la quantit du travail denfants fournie par des enfants PROSCOL et celle fournie par un groupe de comparaison harmonis. Ces donnes, cependant, ne sont pas disponibles dans lenqute sur les mnages qu quil soit possible de oi prsenter les rsultats avec et sans la dduction pour le revenu attendu. Le sociologue a aussi remarqu que pour quune famille accde PROSCOL, cela dpendra du secteur du conseil scolaire (SCS) o la famille vit importe peu. Tous les secteurs obtiennent une allocation PROSCOL du centre (SCS), mme les SCS qui ont trs peu de familles pauvres. Si on est pauvre mais vivant dans un SCS ais, on a probablement plus de chance dobtenir de laide du PROSCOL que lorsquon vit dans un pauvre SCS. Ce qui importe vraiment donc est la pauvret relative aux autres dans le secteur o lon vit quimporte beaucoup plus que le niveau absolu de vie. Cette allocation influencerait la participation au PROSCOL mais on ne sattendrait pas ce que cela compte pour la scolarisation, qui dpendrait

APPLICATION DE METHODES ANALYTIQUES POUR L'EVALUATION D'IMPACT

63

plus du niveau absolu de vie, des conditions de famille et caractristiques de lcole. Ainsi lallocation du budget PROSCOL travers les SCS peut tre employes comme variable instrumentale pour supprimer la distorsion dans les valuations dimpact du programme. Il y a linformation sur le secteur (SCS) auquel chaque mnage appartient dans lenqute sur les mnages, les rgles employes par le centre dans lallocation PROSCOL des fonds travers les SCS et combien le centre a allou chaque SCS. Les allocations de fonds sont bases sur le nombre denfants dge scolaire avec un facteur dajustement pour le degr de pauvret o le secteur est sens tre. Cependant la rgle est quelque peu vague. Lanalyste essaye de prendre ces points en considration et reprend la rgression pour la scolarisation mais en remplaant la participation relle au PROSCOL par sa valeur prvue (le score de propension partir de la rgression pour la participation qui inclut maintenant lallocation du budget au SCS. Cela aide voir dj autant de caractristiques scolaires que possible dans la rgression pour lassid uit). Bien que les caractristiques scolaires ne semblent pas importer officiellement pour la faon dont les ressources PROSCOL sont alloues, toutes caractristiques scolaires omises qui influencent conjointement les allocations PROSCOL par le SCS et les rsultats de scolarisation individuels laisseront une distorsion dans les estimations de variables instrumentales de lanalyste. Bien quil y ait toujours la possibilit de distorsion, avec beaucoup de variables de contrle gographiques, cette mthode doit au moins offrir un lment de comparaison crdible pour lharmonisation de lestimation.
A partir des rsultats, il est dtermin que lallocation du budget au SCS a en effet un coefficient positif, significatif dans la rgression LOGIT pour la participation au PROSCOL maintenant (prvue). La participation au PROSCOL est significative dans une rgression pour linscription scolaire dans laquelle toutes les mmes variables de la rgression LOGIT sont incluses sauf lallocation budgtaire au SCS. Le coefficient implique que le taux dinscription est de 15 points en pourcentage plus lev pour les participants au PROSCOL que cela naurait autrement t le cas. Une rgression est aussi ralise pour les annes de scolarisation des garons et des filles sparment. Aussi bien pour les garons que pour les filles de 18 ans, les rsultats indiquent quils auraient abandonn lcole presque 2 ans plutt sans lintervention du PROSCOL. Cette rgression, cependant, soulve des questions, savoir si les bonnes erreurs standards vont tre utilises et si des modles linaires devaient tre employs.

Planification du travail futur Finalement, lanalyste est prte publier les rsultats des valuations. Ils montrent que PROSCOL fonctionne tout fait bie n et en consquence, les dcideurs manifestent leur lintrt pour une extension du programme. Du processus par lequel lanalyste est passe pour lexcution de lvaluation, ressortent quelques observations importantes.

64

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Lvaluation dimpact peut tre beaucoup plus difficile que prvu Il est possible daboutir une gamme destimations proccupantes selon les dtails de la mthodologie employe. Il est bon demployer des mthodes alternatives dans les situations frquentes de donnes peu satisfaisantes, bien que chaque mthode un pige ; et . On doit tre clectique au sujet des donnes. En plus des leons que lanalyste a tires, elle a quelques recommandations cls pour le travail dvaluation future de PROSCOL. Dabord, il serait souhaitable dexclure de faon alatoire quelques familles PROSCOL ligibles dans le reste du pays et de faire ensuite une enqute complmentaire tant sur les participants rels que sur ceux alatoirement exclus de la participation. Cela donnerait une valuation plus prcise des bnfices. Ce serait cependant politiquement sensible dexclure certains. Cependant si le programme na pas assez de ressources pour couvrir tout le pays en une fois, et que le programme ait choisir les premiers participants, il serait en effet prfrable de faire cette slection alatoirement, parmi les participants potentiels. Alternativement, il serait possible de choisir les coles ou des secteurs scolaires alatoirement, dans la premire vague. Une cole ou un secteur scolaire serait une bonne variable instrumentale pour le placement du programme individuel. Deuximement, si ce nest pas faisable, il est recommand deffectuer une enqute de base dans les secteurs o il y aurait dimportantes concentrations de participants au PROSCOL avant le dmarrage du programme au sud. Cela pourrait tre fait en mme temps que la prochaine tape de lenqute nationale qui a t utilise pour valuer le programme PROSCOL. Il serait aussi bon dajouter quelques questions lenqute sur le travail rmunr des enfants. Et troisimement, il serait utile dinclure un travail qualitatif qui aidera formuler des hypothses tester et qui permettraient dvaluer la plausib ilit des hypothses cls faites dans lanalyse quantitative.

Note 1. Se rfrer Heckman, Lalonde, et Smith (1999), et Abadie, Angrist, et Imbens(1998) pour lexpos sur les effets de traitement quartiles.

Chapitre 4 Exploiter les Meilleures Pratiques des valuations d'impact *


Les chapitres prcdents ont prsent les mthodes cls, les questions et les dfis qui peuvent surgir dans l'valuation d'impact d'un projet. Dans l'examen des tudes de cas inscrites au tableau 4.1, plusieurs exemples illustratifs mergent des approches intressantes dans la conception, l'utilisation des donnes, le choix et l'application des mthodes analytiques et le renforcement des capacits nationales. Ces exemples, aussi bien qu'un expos des dpenses relatives aux valuations et aux questions d'conomie politiques qui peuvent surgir dans la mise en uvre des programmes sont mis en vidence ci-dessous. Les 15 tudes de cas comprises dans la revue ont t slectionnes partir d'une gamme des valuations effectues par la Banque Mondiale, d'autres agences de donateurs, des institutions de recherches et des socits prives de consultation. Ils ont t slectionns comme un chantillon "de meilleure pratique pour leur rigueur mthodologique, essayant de reflter une gamme d'exemples provenant de secteurs et de rgions diffrents. Bien que chaque valuation d'impact ait ses forces et ses faiblesses, les leons tires de ces expriences doivent aider le directeur de projet ou l'analyste de politique qui se propose de concevoir et de mettre en uvre un projet futur. Planification soigne et faite ds le dbut de la conception d'une valuation Une prparation adquate ds les toutes premires tapes de l'id entification du projet permettra de s'assurer que l'information juste est collecte et que les rsultats peuvent tre exploits pour les rajustements mi-parcours des composantes du projet. Avec une planification prcoce et soigne, il est possible d'inc orporer tous les lments qui contribuent une valuation d'impact rigoureuse comme les enqutes de base avec un groupe tmoin alatoire et des donnes qualitatives sur les processus qui peuvent affecter l'impact. Projet d'Alimentation et de Dveloppement de la Petite Enfance en Ouganda. Cette valuation, quoi que n'tant pas encore mise en uvre, fournit un excellent exemple de la planification faite tt et soigne ( voir Banque Mondiale 1998a; Garcia, Alderman et Rudqvist 1999). Le projet u i-mme est centr sur le renforcement des l capacits des parents et des communauts s'occuper des enfants en leur fournissant une connaissance des meilleures pratiques de la protection infantile et en augmentant leurs
* Ce chapitre a t dvelopp dans les dtails dans un document dtudes de cas sur les

meilleures pratiques des valuations d'impact en annexe 1 et des revues prpares par Gillette Hall et Julia Lane, Subbarao et autres (1999)

65 66
EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

opportunits d'accrotre leur revenu. Cette conception d'valuation est base sur la communaut et mise en uvre par un rseau d'organisations non gouvernementales (ONG). La composante de l'valuation qui a t intgre au cycle du projet ds le premier jour est proche de l'idal en terme de conception d'valuation. D'abord il produit les donnes de base et des donnes d'enqutes de suivi avec un groupe tmoin alatoire pour que l'impact du programme sur les rsultats du bnficiaire puisse tre rigoureusement valu. Deuximement elle augmente cette composante qualificative par un processus participatif (qualificatif) de suivi et d'valuation (M & E). Du point de vue quantitatif, le projet a t conu pour permettre une conception d'tude exprimentale dans laquelle les communes seront alatoirement affectes dans le groupe de traitement et le groupe tmoin. Les cartes de sant seront alors employes pour enregistrer des donnes sur le poids de l'enfant dans les communes de contrle et de traitement. De plus l'enqute de base sur les mnages sera mene avant que les services ne soient fournis aux communauts, de mme qu'une enqute de suivi sur les mmes mnages deux ans plus tard. Un examen rapide de ces donnes est sens informer la dcision d'augmenter proportionnellement certaines composantes de l'intervention pendant l'examen mi-parcours du projet. Une analyse plus approfondie des donnes la fin du projet guidera la conception de la deuxime phase du projet.

67 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE Tableau 4.1 Rsum des valuations d'impact de la Meilleure Pratique

Projet

Pays

Types donnes

de Unit d'analyse

Approche conomtrique Mesures des rsultats Randomi- Harmoni- Comparaisons sation sation rflchies

Double Variables Qualita- Forces diffrence instrutive mentales Non Non Non Conception du questionnaire

Education Radio Nicaragua

Nicaragua

Rforme de Nicaragua l'autonomie scolaire Livres Kenya

Abandon scolaire

Philippines

Enqutes de base et de post intervention Evaluations et enqutes par panel qualitatives Enqutes de base et de post intervention Enqutes de base et de postintervention

Etudiants salles classe

et Evaluation par score Oui de

Non

Oui

Etudiants, parents, professeurs, directeurs Etudiants, salles de classe, professeurs Etudiants, salles de classe, professeurs

Evaluation par score, Non degr de prise de dcision locale Evaluation par score Oui

Oui

Oui

Non

Non

Oui

M x qualitative et quantitative

Non

Oui

Oui

Oui

Non

Analyse des facteurs de confusion Analyse du cot -bnfice; renforcement de capacit Utilisation Judicieuse des sources de donnes existantes, techniques analytiques innovatrices

Evaluation par score Oui et tat d'abandon scolaire Gain, cots cibls Non

Non

Oui

Oui

Oui

Non

Programmes Argentine du travail TRABAJAR

Enqute sur Travailleurs, les mnages, mnages recense-ment, fichiers administratifs, valuations sociales

Oui

Non

Non

Oui

Oui

(Le tableau continue sur la page suivante)

EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT Tableau 4.1 Rsum des valuations d'impact de la Meilleure Pratique (suite) Approche conomtrique Mesures des rsultats Randomi- Harmoni- Comparaisons Double Variables Qualitasation sation rflchies diffrence instrutive mentales Gains et revenus du Non Oui Non Non Non Non travail

68

Projet

Pays

Types donnes

de Unit d'analyse Travailleurs

Forces

PROBECAT Mexique

Programmes Rpublique actifs de Tchque travail Finance Bangladesh Micro Finance

Crdit Ghana l'ducation

Enqutes sur la population active et les forces de travail rtrospectives Enqutes sur les fichiers rtrospectifs Enqutes post intervention + fichiers adminis tratifs Enqutes de base et de post intervention

Technique d'harmonisation

Travailleurs

Gains et revenus du Non travail Consommation ducation et Oui

Oui

Non

Non

Non

Non

Technique d'harmonisation Analyse facteurs confusion de de

Mnages

Oui

Non

Oui

Non

Non

Paires de Revenu, mre-enfant renforcement capacit

sant, Oui de

Oui

Oui

Non

Non

Oui

Utilisation qualitative et quantitative de l'information

(Le tableau continue sur la page suivante)

69

EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Tableau 4.1 Rsum des valuations d'impact de la Meilleure Pratique (suite) Approche conomtrique Mesures des rsultats Randomi- Harmoni- Comparaisons Double sation sation rflchies diffrence Oui (dans Oui des districts) Non

Projet

Pays

Types donnes

de Unit d'analyse

Sant Financement

Niger

Alimenta-tion Bangladesh et nutrition Alimenta-tion pour l'ducation

Enqutes de Mnage et Amortissement des Non base et de centre de sant cots et accs post intervention plus fichiers ad ministratifs Enqutes sur Mnages et Assiduit scolaire Non les dpenses communauts des mnages

Variables Qualita- Forces instrutive mentales Non Non Utilisation de donnes administra-tives

Non

Non

Non

Oui

Non

Sant, ducation nutrition

Mexique et

InfrastrucBolivie ture Fonds d'investissement social

Enqutes de Mnages base et de post intervention Enqutes de Mnages base et de ,projets suivi

Rsultats sur la sant, Oui l'ducation et la nutrition Indicateur de sant et Oui d'ducation

Oui

Oui

Non inconnu

Non inconnu

Non

Oui

Oui

Oui

Oui

Non

Utilisation imaginative pour traiter le problme de slection relatif aux donnes de base Conceptualisation claire; analyse des facteurs de confusion Gamme des mthodologies d'valuation appliques

(Le tableau continue sur la page suivante)

EXPLOITER LES EVALUATIONS DE L'IMPACT DE LA MEILLEURE PRATIQUE

68

Tableau 4.1 Rsum des valuations de l'impact de la Meilleure Pratique (suite)

Approche conomtrique Projet Pays Types donnes de Unit d'analyse Mesures des rsultats Randomi- Harmonisation sation Oui Comparaisons Double rflchies diffrence Oui Oui Variables Qualita- Forces instrutive mentales Oui Oui Mesure rsultats bien tre des de

Routes rur ales Vit-Nam

Agriculture Kenya Projet national d'extension

Enqutes de Mnages et Indicateur de bien tre Non base et de communauts aux niveaux des suivi mnages et des communes Donnes de Mnages, Efficacit et Non base par fermes, productivit de la panel ferme

Non

Oui

Non

Non

Non

Rsultats de la pertinence politique

Projet de crdit et d'ducation au Ghana. L'valuation de ce projet tait trs complexe avec beaucoup d'tapes intermd iaires. Le projet combine les lments d'un programme de prt de groupe avec l'ducation sur les lments essentiels de sant, nutrition, planification et espacement des naissances et les capacits dorganiser une petite entreprise. L'valuation est gnralement focalise sur le statut alimentaire des enfants, la capacit conomique des femmes pour investir dans l'alimentation et les soins mdicaux, la connaissance et l'adoption par les femmes de l'allaitement au sein et du sevrage. Il commence par une structure conceptuelle trs claire qui est illustre cidessous. Ce schma trace clairement les ressources, les bnficiaires intermdiaires et les rsultats long terme de sorte qu'il facilite le dveloppement de plusieurs modles ainsi que leur interprtation. En projetant judicieusement l'valuation et en travaillant avec un schma une tape prcoce, il fut possible de clarifier beaucoup de points d'une conception relativement complexe (voir l'Annexe 1.6). Approches d'valuation en l'absence des donnes de base En pratique beaucoup d'valuations n'ont pas de donnes adquates. Les valuations sont ajoutes aprs qu'il tait possible de faire une enqute de base ou en l'absence de groupes de comparaison. Quelques exemples de ce cas sont les valuations du Programme : Vivres pour ducation au Bangladesh, le programme PROBECAT au Mexique, les Programmes de travail actifs tchques, et les valuations de TRABAJAR en Argentine. En l'absence de donnes de base, les contrles doivent tre mis en place en employant les mthodes harmonises traites dans les chapitres prcdents. Cela peut, cependant, tre tout fait difficile. La technique du score de (Le texte continue la page 71)
EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE 71

propension employe dans le programme TRABAJAR en Argentine pour former un groupe tmoin ax sur des donnes croises des participants et des non participants au programme fournit un bon exemple. Le projet TRABAJAR II en Argentine. Ce projet tait focalis sur une offre d'emploi bas salaires dans de petits micro -projets d'infrastructure sociale et conomique choisie par les communauts. L'valuation de l'impact du programme a t conue pour dterminer si les revenus des participants au programme taient plus levs qu'ils ne l'auraient t si le programme n'avait pas t mis en place. Les mthodes les plus gnralement employes pour valuer le revenu des mnages sans intervention du projet n'taient pas praticables dans le cas du programme TRABAJAR : aucune slection alatoire n'avait t employe pour former un groupe tmoin utiliser dans la comparaison des revenus des bnficiaires du projet; et aucune enqute sur les donnes de base n'tait disponible, excluant la possibilit de conduire une valuation "avant et aprs". L'valuation du programme TRABAJAR par contre a exploit des donnes existantes pour former un groupe de comparaison par l'harmonisation des participants et des non participants de la population nationale au programme sur un jeu de variables

socio-conomiques comme la scolarisation, le genre, le logement, les perceptions subjectives du bien-tre et l'appartenance aux partis politiques et associations de voisinage, en employant une technique appele score de propension. L'tude dmontre une utilisation ingnieuse des donnes existantes sur les mnages. - (Encuesta de Desarrollo Social (EDS) - dans la formation du groupe de comparaison associe une enqute plus petite sur les participants au programme TRABAJAR mene spcifiquement pour les besoins de l'valuation. L'enqute a t judicieusement conue pour employer le mme questionnaire que celui de (EDS) et les mmes quipes d'intervieweurs et taient menes approximativement la mme priode en vue de russir l'exercice de l'harmonisation. Cette technique tait possible dans le cas du programme TRABAJAR parce qu'une enqute nationale sur les mnages a t sollicite et les valuateurs ont pu profiter de cette enqute pour sur chantillonner les participants au programme TRABAJAR. Les mmes quipes d'intervieweurs ont t employes aussi bien pour l'enqute nationale que pour l'enqute du projet dans la collecte des donnes (voir l'Annexe 1.1) Evaluation des programmes de march du travail tchque. Cette valuation a essay de couvrir cinq programmes actifs du travail pour (a) dterminer si les participants aux diffrents programmes avaient plus russi rintgrer le march du travail que les non participants au programme et si cela variait travers les sous-groupes et avec les conditions du march du travail ; et (b) dterminer la rentabilit de chaque programme et faire des suggestions pour des amliorations. L'valuation a employ une technique d'harmonisation parce qu'aucune donne de base n'tait collecte. Les valuateurs ont enqut sur les participants et ont ensuite slectionn un chantillon alatoire de non participants. Puisque les non participants taient systmatiquement plus gs et moins
72 EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT

instruits, les valuateurs ont eu besoin de former un groupe de comparaison raisonnable pour chaque programme. Ceci a t fait en prenant chaque participant son tour et en le comparant chaque individu du groupe non participant sur la base de sept caractristiques : l'ge, le genre, l'ducation, le nombre de mois d'emploi avant l'enregistrement, la taille de la ville, la situation de famille et le dernier type d'emploi. L'harmonisation la plus proche a t alors mise dans le groupe de comparaison. Bien que cette approche soit directe, la possibilit d'une distorsion de slection subsiste - que le groupe de non participants diffre systmatiquement du groupe de participants sur la base de variables inobservables (Annexe 1.5). Grer les contraintes qui affectent le dveloppement de bons contrles De temps en temps la slection alatoire ou des contrles exprimentaux sont possibles, mais ne sont pas politiquement faisables. Dans ce cas, la slection alatoire peut tre effectue en profitant de toute occasion pour piloter le projet dans certains secteurs limits. Les secteurs dans lesquels le projet sera pilot peuvent au commencement tre alatoirement slectionns avec des futurs secteurs potentiels du

projet comme contrles. Au fil du temps, des communauts complmentaires peuvent tre alatoirement incluses dans le projet. Trois exemples illustrent comment manipuler une situation dans laquelle la slection alatoire tait politiquement ou autrement non faisable. Au Vit-Nam, un projet de transport rural sera valu avec une information limite et sans slection alatoire. Au Honduras, le Fonds d'Investissement Social fournit un exemple de la manire de former un groupe tmoin dans des projets dont l'objectif principal est le contrle, employant une comparaison harmonise ex post base sur un simple croisement de donnes. L'valuation des projets dont l'objectif principal est le contrle peut tre particulirement difficile tant donn quon ne connat pas lavance quels projets ou communauts participeront au programme. Et, troisimement, l'valuation du Fonds d'Investissement Social Bolivien dans la Rgion de Chaco fournit un bon exemple de la manire d'intgrer la slection alatoire dans des projets qui sont guids par le contrle et qui permet un ciblage. Projet de Pistes Rurales au Vit-Nam. Ce projet se propose de rduire la pauvret en milieux ruraux en amliorant l'accs aux communauts rurales et en les reliant aux rseaux routiers des provinces et des districts. La conception de l'valuation d'impact est centre sur des donnes d'enqute de base et de suivi collectes pour un chantillon de projet et des communauts de groupe de comparaison identifies par des techniques de comparaison - harmonisation. Les donnes de base et les renseignements post intervention sur des indicateurs comme le niveau des productions agricoles, la diversification des sour ces de revenu, les offres d'emploi, la disponibilit des marchandises, des services et des quipements et les avoirs et la distribution seront collectes partir d'un chantillon alatoire de communes de projet (traitement) et de non projet (comparaison). Ces donnes seront employes pour comparer le changement des rsultats avant et aprs l'intervention entre les communauts du projet et de non-projet en utilisant la " double diffrenciation ".
EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMP ACT 73

Idalement, les communes de traitement et les communes de comparaison doivent tre quivalentes dans toutes leurs caractristiques observes et non observes, la seule diffrence entre elles tant que les communes de traitement tirent profit de l'intervention et les communes de comparaison non. Puisque la dsignation alatoire des groupes de traitement et de comparaison n'avait pas t faite et que les donnes ncessaires pour faire des choix informs et des contrles a ppropris n'taient pas disponibles au moment du choix type, les chantillons alatoires des communes de projet et de non-projet ont t constitus. Spcifiquement, les communes de projet ont t slectionnes d'une liste de toutes les communes avec des projets dans chaque province. Ensuite, les communes de comparaison ont t slectionnes d'une liste de toutes les communes restantes sans projet, mais dans les mmes zones que les communes de traitement. En employant des informations collectes pour l'valuation, le score de propension correspondant aux techniques sera alors employ pour assurer que les communes sans projet seront des groupes de comparaison appropris. Tous les contrles avec des attributs inhabituels relatifs aux communes de traitement seront limins de l'chantillon (Annexe 1.15).

Fonds d'Investissement Social hondurien. Le Fonds d'Investissement Social Hondurien (FHIS) (Voir Banque Mondiale 1998b) vise amliorer les conditions de vie des groupes sociaux marginaux en finanant des micro-projets d'infrastructure sociale et conomique petite chelle. Le FHIS est une institution dont l'objectif principal rpond aux initiatives des municipalits, des ministres, des organisations non gouvernementales et des groupes communautaires en finanant des investissements dans les infrastructures, l'quipement et la formation. L'valuation d'impact du FHIS emploie des techniques d'harmonisation de la comparaison, tirant l'chantillon du groupe de traitement alatoirement d'une liste de communauts dans lesquelles les projets du FHIS ont t mis en excution pendant au moins un an. Le groupe de comparaison, au contraire, a t choisi d'une liste de projets en rserve ceux qui ont t sollicits et approuvs, mais pour lesquels l'investissement FHIS n'a pas encore eu lieu. En thorie, les communauts du groupe de comparaison sont automatiquement couples avec des communauts de projet selon le processus d'auto slection et les critres d'approbation de projet FHIS. Une enqute sur les mnages a t conduite tant dans les communauts du groupe de traitement que dans les communauts du groupe de comparaison, complte par une composante d'valuation qualitative (des groupes cibles et des interviews avec des informateurs cls) mene dans un sous-ensemble des communauts du groupe de traitement. Cette valuation initiale est une premire tape vers l'tablissement d'un systme M & E en cours qui sera ventuellement intgr aux oprations FHIS. En particulier, les donnes collectes auprs des communauts avec des projets potentiels deviendront des donnes de base utiles partir desquelles de futurs changements dans les indicateurs d'impact seront suivis aprs que l'investissement du FHIS ait lieu. Investissements dans l'ducation dans la rgion Chaco en Bolivie. Les projets d'ducation financs par le Fonds d'Investissement Social bolivien (SIF) sont destins
74 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

moderniser linfrastructur e scolaire et la formation des enseignants des coles publiques rurales. Les retards dans la mise en uvre du projet de la rgion de Chaco et des fonds limits pour la modernisation de l'cole ont permis de faire une valuation exprimentale en s'assurant aussi que les coles les plus indigentes profitent du projet. Les coles dans la rgion de Chaco ont t classes selon un indice de qualit scolaire bas sur la somme de cinq indicateurs d'infrastructure scolaires et dquipements : lumire lectrique, systme d'vacuation, source d'eau potable, tables par tudiant et mtre carr d'espace par tudiant. Seules des coles au-dessous d'une valeur limite particulire avaient droit une intervention SIF. Parmi les quipements ligibles, les coles les moins nanties ont t automatiquement slectionnes pour profiter des investissements financs par SIF. Le premier groupe de priorit plus grande comprenait cent vingt coles mais les fonds taient disponibles pour mettre niveau seulement moins de la moiti d'entre elles. Ainsi, des coles ligibles dans le deuxime groupe de priorit ont t alatoirement rparties en groupes de traitement et de comparaison, fournissant les conditions pour une conception d'valuation exprimentale (Annexe 1.4)

Combinaison des mthodologies Pour la plupart des valuations, plus d'une technique est ncessaire pour raliser des rsultats solides qui traitent plusieurs questions d'valuation. Chaque question peut ncessiter des techniques diffrentes, mme dans une seule conception de projet. Trois exemples illustrent comment plusieurs techniques ont t combines dans une valuation; le Fonds Social de la Bolivie, l'valuation du programme TRABAJAR en Argentine et la rforme scolaire au Nicaragua. Le Fonds Social de la Bolivie. Les fonds sociaux incluent gnralement plusieurs diffrents types de micro -projets et ainsi la conception d'une valuation peut comporter plusieurs approches. Dans le cas du Fonds Social de la Bolivie, le modle de la mise en uvre du projet a dict les mthodes d'valuation. Dans le domaine de l'ducation, les coles qui devaient recevoir l'intervention avaient dj t identifies ; donc la slection alatoire ne pouvait pas tre employe. A la place, des mthodes d'harmonisation ont t adoptes. Dans le cas des projets de sant, des mthodes rflexives ont t employes parce que l'intervention devait tre mise en uvre dans tous les centres mdico -sociaux de la rgion (Voir Annexe 1.4). Utilisation d'une large combinaison de composantes d'valuation Programme TRABAJAR II de l'Argentine. L'valuation du programme TRABAJAR comprend une gamme de composantes conues pour valuer le programme de ralisation de ses objectifs politiques. La premire composante s'appuie sur les donnes des enqutes sur les mnages pour valuer les acquis de revenu des participants au programme TRABAJAR. La deuxime composante contrle l'allocation de financement du programme (ciblage), dpistant les changements sur une priode de temps comme rsultat de la rforme. Cette composante produit un feedback deux fois par an

EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT

75

pour raffiner le ciblage du programme. Des composantes d'valuation complmentaires comprennent une analyse cots bnfices des projets d'infrastructures et des valuations sociales conues pour fournir des ractions de la communaut la mise en uvre du projet. Chacune de ces composantes a t mene deux fois. Trois composantes futures sont projetes. La technique de la recherche d'harmonisation de la comparaison sera applique de nouveau pour valuer l'impact de la participation au programme TRABAJAR sur l'activit du march du travail. La qualit du projet d'infrastructure sera rvalue, cette fois-ci pour les projets qui ont t achevs pendant au moins un an pour valuer la durabilit, lentretien et les taux d'utilisation. Finalement, une composante de recherche qualitative examinera les oprations et les procdures du programme en interviewant des membres du personnel des agences qui sponsorisent les projets aussi bien que les bnficiaires du projet. Les rsultats de l'valuation fournissent une direction claire la rforme de la politique. La premire composante d'valuation rvle que le programme TRABAJAR

a connu un grand succs par le ciblage des pauvres lauto slection des participants, en offrant des bas salaires est une stratgie qui marche en Argentine et les participants apprcient les gains de revenu comme un rsultat de la participation. La deuxime composante constate que l'affection gographique du financement du programme s'est amliore au fil du temps - le programme connat maintenant plus de succs avec l'allocation des fonds des secteurs pauvres ; cependant, le processus d'valuation en cours indique que la performance varie et est constamment faible dans certaines provinces, des constats auxquels une attention politique plus pousse est actuellement consacre. Des rsultats d'valuation dcevants sur la qualit du projet d'infrastructure ont entran des efforts normes de l'quipe du projet visant amliorer la performance dans ce secteur travers une rforme politique insistant sur des visites accrues de site pour l'valuation et le suivi, pnalisant les agences dont la performance est mdiocre l'achvement du projet et renforant le manuel d'valuation. Et finalement, les valuations sociales ont mis jour le besoin d'accrotre une meilleure assistance technique aux organisations non gouvernementales et aux municipalits rurales pendant la prparation et la mise en uvre du projet aussi bien quune plus grande publicit et une transparence de linformation sur le programme TRABAJAR (Annexe 1.1). Rforme de l'autonomie des coles du Nicaragua. En 1993, le gouvernement nicaraguayen a pris des mesures dcisives pour mettre en uvre une importante initiative de dcentralisation dans le secteur de l'ducation, en accordant une autonomie de gestion et budgtaire certaines coles primaires et secondaires. Le but des rformes est de renforcer l'apprentissage de l'tudiant : comme la gestion scolaire devient plus dmocratique et participative, la gestion scolaire locale et des modles de dpenses peuvent tre consacrs des efforts qui amliorent directement la p dagogie et renforcent l'apprentissage de l'tudiant. L'impact de cette rforme a t valu en employant une combinaison de techniques quantitatives et qualitatives pour valuer le rsultat aussi bien que le processus de la dcentralisation. Le but de cette composante qualitative est de rvler si rellement ou non la
76 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

gestion projete et les rformes de financement ont lieu dans les coles et pourquoi ou pourquoi pas. La composante quantitative renforce ces rsultats en rpondant la question "les changements dans la gestion et le financement scolaire produisent-ils en ralit de meilleurs rsultats d'tude pour les enfants ?" Les rsultats qualitatifs montrent que la mise en uvre couronne de succs des rformes dpend en grande partie du contexte scolaire et de l'environnement (c'est--dire le seuil de pauvret de la communaut), tandis que les rsultats quantitatifs indiquent que le processus dcisionnel accru des coles est en fait significativement associ l'amlioration de la performance de l'tudiant. Des mthodologies et des sources de donnes diffrentes mais complmentaires ont t employes pour combiner les deux approches. D'une part, l'valuation quantitative a suivi une conception quasi exprimentale dans laquelle les rsultats de test d'un chantillon d'tudiants des coles autonomes (le groupe de traitement) sont compars avec ceux d'un chantillon correspondant des coles publiques non autonomes et des coles prives (le groupe de comparaison). Les donnes pour cette composante de l'valuation ont t collectes dun panel de deux enqutes couples cole-mnage et

les rsultats dun test sur la performance des tudiants. La conception de l'valuation qualitative, d'autre part, a consist en une srie d'interviews des informateurs cls et des discussions du groupe cible avec diffrent personnel, des coles et des parents dans un sous chantillon des coles autonomes et traditionnelles comprises dans l'tude quantitative. L'utilisation des techniques de recherche tant qualitative que quantitative a produit une combinaison apprciable de rsultats utiles politiquement pertinents. Le travail quantitatif a fournit une large vue d'ensemble, statistiquement valable des conditions et des rsultats scolaires; le travail qualitatif a renforc ces rsultats avec la comprhension de la raison pour laquelle certains rsultats attendus du programme de la rforme avaient t couronns de succs tandis que d'autres avaient chou et ont donc aid guider des rajustements politiques. En outre, parce que c'est plus intuitif, le travail qualitatif tait plus accessible et donc intressant pour le personnel du Ministre, qui son tour a facilit un renforcement des capacits et une crdibilit rapide pour le processus d'valuation dans le ministre (Annexe 1.11). Exploitation des sources de donnes existantes Des sources de donnes existantes comme une enqute nationale sur les mnages, le recensement, le registre du programme administratif ou des donnes municipales peuvent souvent fournir une ressource de valeur aux efforts d'valuation. Exploiter des sources existantes rduit le besoin de la collecte de donnes coteuse pour le seul b ut de l'valuation comme illustr dans le cas de l'valuation des pistes rurales au VitNam. En outre bien que des donnes existantes puissent ne pas contenir toutes les informations que l'on collecterait idalement pour les buts de l'valuation, des techniques d'valuation innovatrices peuvent souvent compenser des donnes manquantes comme indiqu dans le Projet d'Extension Agricole au Kenya.
EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT 77

Projet de Routes Rurales au Vit-Nam. Les donnes utilises dans cette valuation exploitent une combinaison efficace des sources de donnes nationales et locales existantes avec des enqutes conduites spcifiquement pour les buts de l'valuation. L'valuation de l'enq ute sur les mnages est efficacement conue pour reproduire un nombre de questionnaires de l'Enqute sur le Niveau de Vie du VitNam pour que, exploitant l'information commune aux deux enqutes, les techniques de rgression puissent tre employes pour valuer la position de chaque mnage dans la distribution nationale du bien tre. L'valuation repose largement sur des donnes du niveau de la commune collectes annuellement par les communes, couvrant les donnes dmographiques, l'utilisation de la terre et les activits de production. Cette source de donnes a t renforce par une enqute du niveau de vie de la commune conduite pour les buts de l'valuation. Deux bases de donnes complmentaires ont t constitues utilisant l'information existante. Une base de donnes de grande envergure au niveau de la province a t tablie pour aider comprendre le choix des provinces dans le projet. Cette base de donnes couvre les provinces de tout le Vietnam et englobe des donnes sur un grand nombre de

variables socio-conomiques. Finalement, une base de donnes au niveau du projet, pour chacun des secteurs de projet enquts, a t aussi constitue, en vue de contrler l'ampleur du projet et la mthodologie de mise en uvre de l'valuation de l'impact du projet (Annexe 1.15). Projet National d'Extension du Kenya (PNE). La performance du Projet National d'Extension du Kenya (PNE) a t controverse et fait partie dun plus grand dbat sur la rentabilit de l'approche de formation et de visite (T&V) des services d'extension agricole. Dans le contexte kenyan, le dbat a t soulev par, des retours en force de T&V d'une part, annoncs dans une tude (Bindlish, Evenson et Gbetibouo 1993, 1997) et d'autre part, le manque de rsultats visibles convaincants y compris la pitre performance de l'agriculture kenyane ces dernires annes. Le dsaccord sur la performance du PNE a persist en attendant les rsultats de cette valuation qui a t conue pour adopter une approche rigoureuse, empirique, l'valuat ion du dveloppement institutionnel du programme et l'impact sur la performance agricole. L'valuation utilise une combinaison de mthodes qualitative et quantitative pour poser des questions politiques hautement pertinentes et rvle des faiblesses srieuses dans le programme : (a) le dveloppement institutionnel du PNE a t limit et aprs 15 ans d'existence, il y a peu d'amlioration de l'efficacit de ses services, (b) la qualit et la quantit de ses prestations de service sont faibles ; et (c) les services d'extension ont seulement un petit impact positif sur l'efficacit de la ferme et aucun impact sur la productivit de la ferme. L'valuation est en mesure de dresser un tableau des conclusions politiques concrtes de ces rsultats, dont beauco up sont relatifs la conception de futurs projets d'extension agricole . D'abord, l'valuation rvle un besoin de renforcer le ciblage de T&V se concentrant sur des secteurs et des groupes dont l'impact va probablement tre le plus grand. En outre, le conseil doit tre soigneusement model pour rpondre
78 EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

aux besoins du paysan en tenant compte des variations des conditions technologiques et conomiques locales. Raliser avec succs ce niveau de ciblage de service demande des flux appropris d'informations opportunes et fiables dont un sphre de Programme M&E gnrant un flux de feedback des bnficiaires sur le contenu du service. Pour renforcer l'effic acit du programme, une prsence plus discrte et moins intense avec une couverture plus large va probablement tre plus rentable . L'approche gnrale du programme de la prestation des services, utilisant une mthodologie unique (des visites de la ferme) pour livrer des messages standard, limite aussi l'efficacit du programme. La rforme institutionnelle va probablement renforcer l'efficacit de la prestation des services, la dcentralisation du programme de conception comprenant les mcanismes participatifs qui donnent la parole au paysan (comme le partage des cots et les organisations de paysans) doivent devenir une partie intgrante du mcanisme de la prestation de service. Finalement, l'amortissement des cots, mme partiel, fournirait des motivations appropries, aborderait les questions de la responsabilit et du contrle de la qualit, rendra le service plus exigeant et sensible et fournira une certaine amlioration budgtaire (Annexe 1.8).

Cots et Financements Il y a sans doute beaucoup de dpenses impliques dans l'excution d'une valuation d'impact, ce qui explique pourquoi certains pays sont rticents financer de telles tudes. Ces cots comprennent la collecte des donnes et le cot du temps du personnel composant l'quipe d'valuatio n. Le financement dune valuation d'impact peut provenir de l'intrieur d'un projet, d'autres ressources du gouvernement, dune bourse de recherche ou un donateur extrieur. L'information sur un chantillon des valuations de la Banque Mondiale dmontre que bien que beaucoup de pays aient assum la majorit des dpenses d'valuation, la russite de la mise en uvre d'une valuation d'impact a ncessit des ressources extrieures substantielles au-del de celles prvues pour le prt ou le crdit d'un projet. Ces ressources proviennent d'une combinaison des sources suivantes : (a) un prt de la Banque Mondiale ou un financement de crdit pour la collecte et le traitement des donnes, (b) le gouvernement, par les salaires pays au personnel local affect l' effort de l'valuation (comme expliqu dans le tableau 4.1, ces dpenses de personnel n'ont pas t incluses dans le calcul des dpenses d'valuation fait pour les cas passs en revue ici cause des limitations de donnes) ; (c) des bourses de recherche de la Banque Mondiale et des subventions de donateurs bilatraux qui ont financ l'assistance technique des consultants avec l'expertise spcifique ncessaire pour l'valuation, et (d) les frais gnraux de la Banque Mondiale pour rgler les honoraires du personnel fourni pour guider l'valuation d'impact et qui souvent participent activement au travail danalyse. Bien que peu d'valuations d'impact documentent le cot du travail, le tableau 4.2 fournit des devis, pour un chantillon d'valuations d'imp act avec la participation de la Banque Mondiale. Ces devis ne comprennent pas cependant la valeur du temps du personnel apport comme contribution par les pays bnficiaires
EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS D'IMPACT 79

Tableau 4.2 Rsum des cots estims partir de plusieurs valuations d'impact de la Banque mondiale
Rcapitulation de l'valuation des cots (%) Evaluation Cot en Cot en Voyage Personnel Consul- Collecte des cots % du cot % cot du de la tants de estims total du prt de la Banque donnes ($)a projetb BIRD ou Mondiale du crdit de l IDAb 1,20 1,5 8,1 18,1 39,0 34,8

Projet

Nicaragua Gestion base sur 495 000 l'cole El Salvador Gestion base sur 443 000 l'cole Colombie

0,60

1,3

7,7

7,4

25,8

59,2

Programme de Bon 266 000 Honduras Fonds social 263 000 Nicaragua Fonds social 449000 Bolivie Fonds social 878 000 Trinit et Tobago Formation des 238 000 jeunes Moyenne 433 000

0,20 0,23 0,30 0,50 0,80 0,56

0,3 0,9 0,8 1,4 1,2 1,0

9,4 3,0 4,9 3,4 7,6 6,3

9,8 11,5 33,0 14,6 11,5 15,1

21,8 53,2 7,8 12,9 17,9 25,5

59,0 32,3 55,7 69,1 63,1 53,3

a. Ces cots ne comprennent pas les cots des quipes locales de contrepartie qui ne sont pas financs partir du prt ou du crdit. Les chiffres ports en rfrence au titre desquels les projets en valuation ont t slectionns,, non pas le financement total fourni par la Banque Mondiale et d'autres institutions. b. Ces cots en pourcentage du prt ou de crdit ou du projet sont prsents seulement comme rfrence. Dans beaucoup de cas le financement rel de l'valuation a t obtenu de sources extrieures au financement du projet. c. Les estimations de cot de voyage comprennent(voyage de mission pour le personnel de la Banque Mondiale et les consultants internationaux jusqu'aux pays bnficiaires aussi bien que le voyage des partenaires des pays bnficiaires, particulirement pour participer aux sessions de stratgie et aux ateliers analytiques avec les consultants internationaux et le personnel de la Banque Mondiale. Source: archives de projet de la Banque Mondiale .

partenaires (qui peut tre significative) parce que cette information n'tait pas disponible. Comme repre, dans les huit cas ci-dessus, il n'tait pas inhabituel d'avoir jusqu' cinq membres du personnel affects au travail d'valuation pendant plusieurs annes, un niveau d'effort suffisant pour augmenter substantiellement le cot de l'valuation dans beaucoup de ces cas. 80
EVALUATION DE L'IMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Le cot estimatif moyen de l'valuation de l'impact tait 433 000$. Ceci reflte un ordre de grandeur des cots de 263 000$ pour l'valuation d'un programme de formation de comptences professionnelles pour la jeunesse sans emploi Trinit et Tobago, 878 000$ pour l'valuation du Fonds d'Investissement Social Bolivien. Les dpenses relatives lvaluation d'impact pour les projets ci-dessous refltent en moyenne 0,6 pour cent du cot total du projet (qui incluait parfois le financement de plusieurs donateurs), ou 1,3 pour cent du cot du prt de la Banque Internationale pour la Reconstruction et le Dveloppement (BIRD) ou du crdit de l'Association Internationale de Dveloppement (IDA). Les composantes les plus coteuses des valuations inscrites ci-dessous taient la collecte des donnes et les consultants, tant locaux qu'internationaux. Dans beaucoup de cas, les dpenses de voyage comprennent le voyage du personnel local pour rencontrer le personnel de la Banque Mondiale et des chercheurs pour des sessions de stratgie et la formation parce que le renforcement des capacits du personnel du pays bnficiaire tait un objectif cl. Les deux exemples ci-dessus relatifs aux valuations d'impact de projets Trinit et Tobago et en Bolivie illustrent quelque variation qui peut surgir dans les dpenses de programme.

L'valuation du programme de formation des comptences professionnelles en Trinit et Tobago a bnfici d'une enqute sur le revenu national et sur l'emploi pour sur chantillonner des diplms du programme et crer un groupe de comparaison partir d'un sous-ensemble de l'chantillon national. De plus, l'quipe d'valuation a aid concevoir et utiliser des donnes administratives disponibles, des rapports de demandeurs de programme, ainsi des donnes pr- intervention taient disponibles et aucun dcompte ntait ncessa ire pour localiser les diplms du programme. La taille type de l'chantillon pour chacune des trois tudes de contrle tait environ 2 500 jeunes gens, comprenant tant des groupes de comparaison que de traitement. Il y avait seulement un court questionnaire administrer dans l'enqute et on a donn le questionnaire seulement aux diplms du programme. Trinit et Tobago est un petit pays dont les communauts sont relativement faciles d'accs par la route et l'anglais est la langue commune dans le pays et p armi les diplms du programme. Lvaluation du Fonds Social de la Bolivie (SIF) a men ses propres enqutes de base et de suivi sur les groupes de traitement et de comparaison pour valuer des interventions en sant, ducation, eau et assainissement. Il n'y avait aucune enqute nationale disponible partir de laquelle conduire des analyses pour effectuer le sur chantillonnage, ce qui a mis la charge entire de la collecte des donnes sur l'valuation. L'chantillon des groupes de traitement et de co mparaison a consist en prs de 7 000 mnages et 300 quipements interviews aussi bien dans l'enqute de base de 1993 que dans l'enqute de suivi de 1998. En Bolivie, les instruments de la collecte des donnes pour l'valuation d'impact ont consist e des laboratoires ambulants pour conduire des tests de qualit deau en n laboratoire, des tests de confirmation et huit questionnaires pour des informateurs provenant des mnages et des structures. Les huit questionnaires ont consist en deux questionnaires sur le mnage (un pour l'informateur principal et un pour les femmes en ge de procrer), un questionnaire pour la communaut, quatre diffrents
EXPLOITER LES MEILLEURES PRATIQUES DES EVALUATIONS 81

questionnaires du centre mdico- social pour les diffrents types de centres mdicosociaux (allant des petites cliniques de communaut aux hpitaux) et un questionnaire scolaire pour le directeur d'cole. Pour valuer le ciblage, l'valuation a inclus une mesure de la pauvret base sur la consommation qui a ncessit la collecte de donnes de consommation dtailles fournies par les mnages aussi bien que les donnes des prix rgionaux fournies aux communauts. Le travail de terrain a t men en milieux ruraux o la majorit des projets du FIS est focalise et comprenant un chantillon alatoire des mnages ruraux qui taient souvent accessibles seulement pied ou cheval. Finalement, les questionnaires ont d tre dvelopps et administrs en espagnol, Quechua et Aymara. Questions d'conomie politique Il y a plusieurs questions d'conomie politique qui affectent non seulement la ralisation dune valuation, mais aussi sa mise en uvre. La dcision de poursuivre une valuation est beaucoup plus contingente dun appui politique fort. Beaucoup de

gouvernements ne voient pas limportance dvaluer des projets et, en consquence, ne veulent pas y investir des ressources. En plus, il peut y avoir la rticence permettre une valuation indpendante qui peut trouver des rsultats contraires la politique du gouvernement, particulirement dans des rgimes autoritaires ou ferms. Des gouvernements ouverts peuvent, cependant, considrer les valuations et la diffusion des conclusions comme une partie importante du processus dmocratique. Les valuations sont aussi sensibles au changement politique. Trois des huit tudes d'impact inscrites dans le tableau 4.2 ont t annules cause des questions d'conomie politique. Un changement de rgime ou de postes cl s dans un bureau du gouvernement partenaire et des changements de stratgie politique peuvent affecter non seulement l'effort d'valuation mais plus fondamentalement la mise en uvre du programme valuer. Un exemple de ce type de risque vient de l'exprience d'une quipe travaillant sur la conception et l'valuation d'impact d'une gestion pilote base sur l'cole au Prou, comme partie d'un projet d'ducation primaire financ par la Banque Mondiale. L'quipe compose des fonctionnaires du Ministre de l'Education nationale, du personnel de la Banque Mondiale et des consultants internationaux et locaux avait travaill pendant plus d'un an dvelopper des modles de gestion bass sur l'cole- pilote en projet, tablir une conception exprimentale, concevoir des instruments d'enqute et des tests de confirmation et collecter des donnes de base sur des caractristiques scolaires et la performance de l'tudiant. Juste avant l'introduction du test pilote dans les coles alatoirement choisies, des reprsentants gouvernementaux de haut niveau ont annul l'exprience de la gestion base sur l'cole en raction aux retombes politiques perues du test pilote. Une rforme semblable a t prsente plusieurs annes plus tard mais sans l'avantage d'un test pilote ou d'une valuation. Au Vnzula, une valuation dun programme de sant maternelle et infantile et de nutrition a t reprise trois fois avec trois diffrents partenaires bnficiaires de 82
EVALUATION DE L'IMPACT DES PROJETS DE D EVELOEMENT SUR LA PAUVRETE

contreparties puisque le gouvernement a dplac la responsabilit de l'valuation d'une agence une autre. Chaque changement a t accompagn dune rengociation du contrat avec la socit du secteur priv qui avait t identifie pour effectuer la collecte des donnes et la majorit de l'analyse pour l'valuation. Quand la lgitimit de la troisime contrepartie du gouvernement a commenc tre mise en doute, la socit a annul le contrat et l'valuation a t abandonne ! Ces incidents sont arrivs pendant une priode d'instabilit politique caractrise par les nombreux remaniements ministriels qui ont fini par l'croulement du gouvernement lu servant comme contrepartie pour le projet, donc l'valuation tait presque seule souffrir de linstabilit politique. Nanmoins, dans les cas tant pruvien que vnzulien, il est sage de rflchir sur limportance des ressources consacres un effort qui n'a jamais t men bout. Un exemple moins dramatique de l'effet du changement politique sur des stratgies d'valuation vient du Salvador, o le succs reconnu d'une rforme prsente aux coles rurales a incit le gouvernement prsenter une rforme de l'ducation semblable dans toutes les coles urbaines en mme temps, au lieu d'une intgration progressive alatoire dans les coles comme originalement programm.

Cette dcision a limin la possibilit d'employer une conception exprimentale et a laiss l'utilisation d'une comparaison rflchie moins rigoureuse comme la seule option d'une conception d'valuation viable.

Annexe 1 Etudes de cas Annexe 1.1 : Evaluation des acquis des pauvres dans le cadre du programme : protection-travail associant aide sociale et aide lemploi : Le Programme TRABAJAR en Argentine
I. Introduction

Description du proje t. Le Programme argentin TRABAJAR vise rduire la pauvret, en crant simultanment des possibilits demploi pour les plus dmunis et en amliorant linfrastructure sociale au sein des communauts pauvres. TRABAJAR I, est un programme-pilote, qui a t mis en place en 1996, en rponse une grave crise conomique et des taux de chmage de plus de 17%. TRABAJAR II a t lanc en 1997 en tant que version largie et corrige du programme-pilote, et TRABAJAR III a commenc approuver des micro-projets en 1998. Le programme offre des salaires relativement bas afin dattirer uniquement, (Auto-slection) en tant que participants, des travailleurs pauvres, des dsuvrs. Les projets dinfrastructure pour lesquels les participants ont t engags sont proposs pa r des organisations gouvernementales et nongouvernementales (ONGs), lesquelles doivent couvrir les cots hors-salaire du projet Les projets sont approuvs, au niveau rgional, selon les directives du gouvernement central. A la lumire des rsultats du processus dvaluation, le programme a subi quelques modifications des procdures relatives la conception et au fonctionnement. TRABAJAR II, comprenait un certain nombre de rformes visant amliorer le ciblage des projets. Le systme dallocation budgtaire du gouvernement central est dsormais plus largement influenc par des considrations telles que la pauvret provinciale, ainsi que les indicateurs de chmage, et un accent plus important est mis sur les propositions de projets de la part des zone s dfavorises, dans le cadre des directives d'agrment des projets. Au niveau local, des efforts ont t consentis sous TRABAJAR II et TRABAJAR III, afin de renforcer les capacits des bureaux de provinces aider les zones dfavorises monter des projets et rehausser les normes de qualit des infrastructures. Evaluation de limpact. Leffort dvaluation a commenc ds la prparation du projet TRABAJAR II et se poursuit sans relche. Le but de lvaluation est de dterminer dans quelle mesure le programme atteint les objectifs de sa politique ainsi que dindiquer les zones pour lesquelles celui-ci ncessite des rformes, pour maximiser son efficacit. Lvaluation consiste en une srie dtudes spares qui apprcient (a) les revenus qui saccumulent au profit des participants, (b) lallocation des ressources du programme dans les rgions (ciblage), (c) la qualit des projets dinfrastructure ayant reu un financement, et (d) le rle de la communaut ainsi que celui des ONGs dans les rsultats du projet. Deux des composantes de lvaluation ressortent particulirement, sur le plan technique, dmontrant les techniques empiriques de meilleures pratiques. Tout dabord, ltude des revenus

74

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

illustre les techniques de meilleures pratiques, par comparaison apparie1, ainsi que lutilisation habile des donnes nationales des enqutes sur les mnages lors de lexercice comparatif. Deuximement, ltude de rsultats spcifiques introduit une nouvelle technique pour valuer le ciblage, lorsque lincidence des dpenses publiques locales nest pas sous contrle. La conception globale de lvaluation prsente galement une multitude de meilleures pratiques, consistant en un mlange de composantes et de techniques de recherche de lanalyse quantitative aux visites de sites dingnierie en passant par lvaluation sociale lesquelles fournissent une palette intgre de rsultats de faon opportune. II. Conception de lvaluation

Lvaluation TRABAJAR inclut une gamme de composantes qui ont t conues pour valuer dans quelle mesure le programme a atteint les objectifs de sa politique. La premire composante se base sur les donnes de lenqute sur les mnages afin dvaluer les revenus pour les participants du programme TRABAJAR. Cette tude est une amlioration des valuations conventionnelles de programmes dallocation conditionnelle dcentralise, esquelles, ordinairement, mesurent les revenus des participants, simplement en tant que l salaires bruts, en procdant une estimation des revenus nets. En ayant recours aux avances, en termes de techniques de comparaison apparie, ltude rend compte des revenus renoncs (revenus auxquels les participants ont renonc en rejoignant le programme TRABAJAR), dont la rsultante est une estimation moindre et plus exacte des revenus nets des participants. La deuxime composante examine lallocation de fonds du programme (ciblage), considrant les changements diachroniques dus la rforme. A travers lutilisation judicieuse des donnes gnralement disponibles (lallocation des fonds du programme dans les provinces ainsi quun recensement national), la conception de cette composante prsente une nouvelle mthodologie afin dvaluer le ciblage des poches de pauvret, lorsque aucune donne sur lincidence du programme nest disponible. Cette analyse a commenc avec la premire mission dencadrement (Novembre 1997). Elle a t mise jour deux fois. Des composantes supplmentaires dvaluation comprennent une analyse des cots et bnfices raliss pour un sous -chantillon de projets dinfrastructure, de pair avec des valuations conues pour apporter un certain cho sur la mise en uvre des projets. Chacune de ces activits a t ralise deux fois, pour chacun des programmes TRABAJAR II et III. Trois activits dvaluation sont planifies. La technique de recherche de comparaison apparie sera nouveau applique pour valuer limpact de la participation au programme TRABAJAR sur le march du travail. La qualit des projets dinfrastructure sera r-value, cette fois ci pour des micro-projets achevs depuis au moins une anne, afin dvaluer la durabilit, la maintenance ainsi que les taux dutilisation. Finalement, une composante recherche qualitative analysera la ralisation et les procdures du programme en sentretenant avec les membres du personnel au sein des agences qui parrainent les projets ainsi que les bnficiaires du programme. III. Collecte des donnes et techniques danalyse

Lvaluation des revenus nets des participants au programme se base sur deux sources dinformation : : une enqute nationale sur la qualit du niveau de vie (Encuesta de Desarollo Social - EDS) et une enqute sur les participants au programme TRABAJAR, ralise spcialement pour les besoins de lvaluation.. (Le financement de lenqute EDS a t pris en charge par un autre projet de la Banque Mondiale. Celle-ci a t conue pour amliorer la qualit de linformation sur le bien-tre des mnages en Argentine, particulirement pour ce qui concerne laccs aux services sociaux et programmes sociaux du gouvernement). Ces enqutes ont t ralises en 1977, en aot (EDS) e en septembre (enqute sur les participants au programme t TRABAJAR) par lOffice National des Statistiques, en utilisant le mme questionnaire et les mmes quipes denquteurs. Lchantillon de lenqute EDS couvre 85% de la population nationale, lexception de quelques zones rurales et trs
1

utiliser un processus non-alatoire dans la slection dun groupe de contrle qui correspond le plus exactement aux caractristiques des bnficiaires du programme

ETUDES CAS

75

petites communauts. Lchantillon de lenqute sur les participants au programme TRABAJAR est ralis partir dun chantillon alatoire du projet TRABAJAR II situ dans le cadre des chantillons EDS. Il gnre des donnes pour 2.802 participants actuels (le total, pour TRABAJAR II, entre mai 1997 et janvier 1998 atteint 65.321 participants). La fiabilit de la technique de comparaison apparie est maxim ise par la possibilit de soumettre le mme questionnaire, au mme moment, aux participants ainsi quau groupe de contrle, et de sassurer que les deux groupes sont issus du mme environnement conomique. Afin de dterminer le groupe de contrle comparatif partir de lenqute EDS, ltude utilise une technique appele le score de tendance. (Le fait que le questionnaire EDS soit exhaustif, pour ce qui concerne la collecte des donnes sur les caractristiques des mnages, permettant darriver un pronostic de la participation au programme, facilite lutilisation de la technique du score de tendance). Lidal, en matire de parit, serait deux individus, lun appartenant lchantillon des participants, lautre celui du groupe de contrle, pour les quels toutes ces variantes (X) pronostiquant la participation au programme seraient identiques. Le problme courant, en matire de parit, est son manque de pragmatisme, au regard du grand nombre de variables incluses dans (X). Cependant, la parit peut tre calcule partir du score de tendance de chaque individu qui est tout simplement la probabilit de participation, fonction de (X).(Pour chaque observation au sein de lchantillon des participants et du groupe de contrle, le score de tendance est calc ul en utilisant des modles logit standards). Les donnes sur les revenus au sein du groupe de contrle des nonparticipants permettent destimer les revenus renoncs par les participants TRABAJAR II. Les revenus nets issus de la participation au programme sont ensuite calculs en tant que total des salaires du programme moins les revenus renoncs. Lanalyse cible est remarquable en ce sens quaucune collecte de donnes na t ncessaire. Le travail empirique sinspire des donnes du bureau ministriel des projets financer par dpartement gographique pour TRABAJAR I (mars 1996 avril 1997) et les six premiers mois de TRABAJAR II (mai octobre 1997). Il sinspire galement dun indice de pauvret pour chacun des (510) dpartements, calcul partir du recensement de 1991, en tant que proportion des mnages non satisfaits en termes de besoins essentiels. Il sagit dun indice composite faisant tat de la concentration urbaine, des installations sanitaires, de la qualit de logement, du niveau ducatif des adultes, de la frquentation scolaire des enfants, de lemploi et de la dpendance (rapport travailleurs / chmeurs, parmi les membres de la famille). Lindice est quelque peu obsolte, bien que cela ait lavantage de rendre la mesure de la pauvret dpartementale exogne (noninfluence), par rapport aux interventions TRABAJAR. Afin danalyser lincidence du ciblage, les donnes sur les dpenses publiques par zone gographique dans le cas prsent, les dpartements sont rgresss sur la base des taux de pauvret gographique correspondants. Le coefficient qui en dcoule estime rgulirement un diffrentiel de ciblage donn par la diffrence entre les allocations moyennes du programme en direction des pauvres et des moins pauvres. Ce diffrentiel national de ciblage peut ensuite tre dcompos afin dvaluer la contribution des mcanismes de ciblage du gouvernement central (les allocations de fonds au sein des dpartements) par rapport au ciblage au niveau provincial du gouvernement. Lanalyse des cots et bnfices a t effectue par un ingnieur en gnie civil qui a ralis une tude en deux tapes des projets infra-structurels de TRABAJAR. Au cours de la premire tape, elle a visit un chantillon de 50 projets TRABAJAR I termins et les a nots sur la base dindicateurs en six catgories : technique, institutionnelle, environnementale, socioconomique, encadrement, et ralisation et maintenance. Les projets se sont ensuite vu attribuer une note globale sur la qualit, daprs un systme de points, et des analyses des cots-bnfices ont t effectues si ncessaire (sauf pour les coles et les centres de sant). Une tude de suivi semblable pour 120 projets TRABAJAR II a t effectue un an plus tard, visant dpister limpact des rformes sur la qualit de linfrastructure. Les valuations sociales ont t ralises au cours de la prparation du projet pour les programmes TRABAJAR I et TRABAJAR II. Ils fournissent des chos sur des questions de mise en uvre des projets, telles que le rle des ONG, la disponibilit de lassistance technique dans la prparation et llaboration des projets, ainsi que la slection des bnficiaires. Les deux valuations sociales ont t ralises par des sociologues en ayant recours des groupes dintrt et des entrevues.

76

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE IV. Les Rsultats

Prendre en compte les revenus renoncs est important pour pouvoir dresser un portrait fidle des avantages du programme dallocation conditionnelle dcentralise. Les statistiques descriptives des participants de TRABAJAR II suggrent que, sans accs au programme, (revenus familiaux moins revenus du programme par tte), environ 85% des participants tomberaient dans la tranche des derniers 20%, relativement la distribution des revenus nationaux et par consquent, seraient classifis comme pauvres en Argentine. Cependant, les estimations de la mthode de la comparaison apparie relative aux revenus renoncs sont considrables, si bien que les revenus nets moyens acquis travers la participation au programme reviennent environ la moiti du salaire sous TRABAJAR. Les participants au programme ne pouvaient pas se permettre dtre au chmage, en labsence du programme. Il y a donc eu renoncement une certaine partie des revenus, travers la participation au programme. Cest cette partie des revenus renoncs qui est estime en observant les revenus des non-participants compars ceux des participants au programme. Cependant, mme en prenant en compte les revenus renoncs, la distribution des gains est vritablement en faveur des pauvres, avec 80% des participants au programme tombant dans la tranche des derniers 20% dans la distribution des revenus. La participation au programme des femmes est faible (15%), mais les revenus nets sont pratiquement identiques pour les participants TRABAJAR, hommes et femmes ; les participants plus jeunes, cependant, obtiennent des revenus considrablement plus bas. Le ciblage des performances sest amlior, de faon significative, conscutivement la rforme de TRABAJAR II. Pour ce qui concerne lallocation implicite des ressources en direction des mnages pauvres, celle-ci a t multiplie par sept, entre TRABAJAR I et TRABAJAR II. Un tiers de ce rsultat est du un meilleur ciblage au niveau central, et deux tiers un ciblage amlior au niveau provincial. Il y a cependant des diffrences significatives dans le ciblage des rsultats entre les provinces. Un dpartement comportant 40% de sa population classifi en tant que pauvres peut sattendre recevoir jusqu 5 fois lallocation dpartementale moyenne, selon la province laquelle il appartient. De plus, ces performances de ciblage avaient tendance tre plus mauvaises dans les provinces les plus pauvres. La qualit des projets dinfrastructure a t juge adquate, cependant, les rformes de TRABAJAR II, plutt dcevantes, nont pas abouti des amliorations significatives. La raison en est partiellement la soudaine expansion du programme, qui a fait en sorte quil soit difficile, pour le programme, de rpondre certaines des normes de fonctionnement, lesquelles avaient t spcifies ex ante. Nanmoins, les projets taient mieux mme de rpondre aux besoins prioritaires de la communaut. Lvaluation sociale fit ressortir le besoin damliorer lassistance technique en direction des ONGs et municipalits rurales, ainsi quune plus grande publicit et une plus grande transparence de linformation propos du program me TRABAJAR. V. Application des politiques

Les rsultats de lvaluation apportent la preuve vidente que les participants au programme TRABAJAR sont trs largement issus des couches pauvres de la population. Lauto slection des participants par loffre de bas salaires est une stratgie qui fonctionne en Argentine, et les participants obtiennent des revenus dans le cadre de leur participation (bien que ceux-ci soient plus bas que les salaires bruts, en raison des revenus renoncs). Les rformes de TRABAJAR II ont successivement amlior les rsultats de ciblage gographiques le programme ds lors quil russit mieux dans lallocation des fonds en direction des zones pauvres ; cependant, les performances varient. Elles sont dcidment faibles dans certaines provinces qui mritent plus dattention en termes de politique. Finalement, des rsultats dcevants relativement la qualit des projets dinfrastructure ont donn lieu des efforts prodigieux de la part de lquipe du projet, de faon rehausser la performance dans ce domaine en amliorant les procdures de fonctionnement en insistant sur la ncessit de procder un plus grand nombre de visites pour lvaluation et lencadrement, pnalisant les agences dont les performances, en matire de finalisation de projet, seraient en de des normes, et enfin en perfectionnant le manuel dvaluation.

VI.

Cots dvaluation et administration

Cots. Les cots relatifs lexcution de lenqute TRABAJAR (relative ltude des revenus nets) et le traitement des donnes taient denviron 350.000 US$. Les deux valuations relatives la qualit des avantprojets (analyses des cots et bnfices) ont cot peu prs 10.000 US$ chacune, de mme que lvaluation sociale, ce qui amne le cot total des dpenses pour lvaluation environ 390.000 US$. Administration. Lvaluation a t conue par un membre du personnel de la Banque Mondiale, un certain Martin Ravallion, et mis en uvre, conjointement, par la Banque Mondiale et lquipe argentine du projet. Au cours de ses diffrentes tapes, leffort dvaluation a ncessit une coordination avec plusieurs agences locales du gouvernement, y compris lagence des statistiques, le Ministre du travail (y compris les bureaux de terrain) et la division de lanalyse des politiques du Ministre pour le dveloppement social. VII. Leons tires

Importance de la prise en compte des revenus renoncs dans lvaluation des gains de lallocation conditionnelle dcentralise. Les revenus renoncs reprsentent une portion considrable (environ la moiti) des revenus bruts gagns par les participants au programme dallocation conditionnelle dcentralise en Argentine. Les rsultats suggrent que les mthodes dvaluation traditionnelles (qui font tat, uniquement, du salaire brut) surestiment considrablement les revenus et par consquent surestiment aussi la faon dont les participants pauvres sen sortiraient sans le programme. La mthode de comparaison par score de tendance. Lorsque la technique dvaluation par comparaison apparie est utilise, les scores de tendance permettent dtablir des parits fiables entre un chantillon de participants et de non participants (groupe de contrle). Utilisation judicieuse des sources de donnes nationales disponibles. Souvent, les sources de donnes disponibles telles que le recensement national ou les enqutes sur les mnages peuvent procurer des informations prcieuses relativement aux efforts dvaluation. Se baser sur les sources disponibles rduit le besoin en collecte de donnes coteuse dans le seul but de procder des valuations. Les techniques dvaluation innovantes peuvent compenser pour les donnes manquantes, comme lindique trs justement lvaluation des rsultats de ciblage gographique de TRABAJAR. Une gamme tendue de composantes dvaluation. La conception de lvaluation TRABAJAR reprsente un mlange efficace doutils et techniques dvaluation. Les analyses des donnes de lenqute, des visites de site et de lvaluation sociale sont toutes utilises afin de gnrer un grand nombre de rsultats, lesquels reprsentent non seulement un apport prcieux en termes defficacit du projet mais indiquent, de surcrot, les zones rformer. Pertinence des rsultats. Plusieurs composantes de lvaluation ont t conues en gardant lesprit, de faon explicite, le cycle du projet, en des dlais permettant dobtenir des rsultats au cours des tapes de prparation du projet, pour que les rsultats puissent tre utiliss efficacement lors de linstruction de la politique. Plusieurs composantes donnent rgulirement lieu des donnes dans un processus continu de suivi et de contrle du projet.

VIII.

Sources

Jalan, Jyostna, et Martin Ravallion. 1999. Income Gains from Workfare and Their Distribution. [Revenus de lallocation conditionnelle dcentralise et leur distribution], Banque Mondiale, Washington D.C. Processed. Ravallion, Martin 1999. Monitoring Targeting Performance When Decen tralized Allocations to the Poor Are Unobserved. [Evaluation des performances de ciblage en labsence dobservation dallocations dcentralises en direction des pauvres], Banque Mondiale, Washington D.C. Processed.

Annexe 1.2 : La Micro-finance aide-t-elle rellement les pauvres ? Preuves nouvelles partir des programmes-vitrines au Bangladesh

I.

Introduction

Description du projet. Les programmes de micro-finance de la Grameen Bank, Le Comit Pour la Promotion du Secteur Rural au Bangladesh, et lOffice du Dveloppement Rural du Bangladesh sont des programmes-vitrines pour ceux qui ont t institus dans de nombreux autres pays. Ces programmes procurent des micro-crdits aux mnages pauvres, propritaires de moins dune acre de terrain 1. Les prts sont accompagns de contrats innovants et de plans de remboursement. Apparemment un succs, les programmes ont ainsi servi environ 4 millions de clients des milieux dfavoriss du Bangladesh. Par exemple, le quartile suprieur des clients lemprunt de la Grameen Bank a une consommation suprieure de 15% ainsi quune proportion denfants mles scolariss deux fois plus importante. Il a aussi une proportion croissante de filles scolarises, par rapport au quartile infrieur. Points forts de lvaluation. Lvaluation tudie limpact du programme sur 1.800 mnages du Bangladesh et les compare avec un groupe de contrle des mnages situs dans des zones dpourvues de financement de micro-crdits. La contribution principale de ltude est de dmontrer que des estimations simples de limpact des programmes peuvent tre considrablement exagres : les revenus impressionnants sont apparemment rendus nuls par la correction des prjugs de slection. Lva luation dmontre quune grande part des gains ayant t perus diffre, selon les individus qui bnficient dun prt : ils ont tendance tre plus riches et travailler plus que les groupes de contrle. Une fois que lon utilise des techniques appropries, lemprunt na plus aucun impact sur la consommation, et les enfants en zones du programme sont en fait moins performants que les enfants des zones de contrle. Le facteur-cl dterminant est que le prt, dans le cadre du programme, na pas suivi les directives dligibilit En fait, beaucoup demprunteurs disposaient de terres dont la superficie dpassaient le maximum autoris une demi acre. Lvaluation utilise la fois une technique denqute intressante et des techniques conomtriques appliques de faon fort imaginative. Un autre aspect intressant est que lvaluation sintresse galement leffet de limpact sur la variance aussi bien que sur la moyenne des rsultats, dduisant par l-mme que le gain principal du programme est la rduction des risques plutt que daugmenter les rsultats mdians. II. Thmes de recherche et conception de lvaluation

Les chercheurs sintressent lidentification de limpact des programmes de micro-finance sur la consommation individuelle enregistre, par personne, la variance de la consommation enregistre, le travail enregistr par adulte, lors des mois prcdents, la variance du travail enregistr par adulte, les heures de travail des hommes adultes par mois, les heures de travail des femmes adultes, pour les mois prcdents, le pourcentage de scolarisation des jeunes hommes (de 5 17 ans) et le pourcentage de scolarisation des jeunes femmes (de 5 17 ans). Lvaluation est base sur les enqutes et couvre 87 villages sonds 3 fois de 1991 et 1992. Les villages ont t choisis de faon alatoire partir dune liste de recensement et dune liste de ladministration, de 5 sous-districts ayant servi de contrle et 24 sous-districts dans lesquels les

acre = moins de 40 ares

80

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

programmes ont t mis en uvre. Les enqutes ont t menes au sein de 24 mnages, dans chaque village. Ceci a permis aux chercheurs de diviser les mnages en 5 types diffrents, selon les critres dligibilit relatifs la possession dune demi-acre de terrain. Il nest pas inutile de reproduire le schma, qui montre comment crer des variables auxiliaires caractristiques de la typologie et de la faon dapprhender e s l prjugs de slection. Village 1 : Avec programme A Non ligible [b=1 ;e=0 ;c=0] Village 2 : Contrle B Mnages disposant de Ne serait pas ligible plus d1/2 acre [b=0 ;e=0 ;c=0]

C Eligible hors participation [b=1 ;e=1 ;c=0]

D Participants [b=1 ;e=1 ;c=1]

E Mnages Serait ligible Disposant d1/2 acre [b=0 ;e=1 ;c=0] ou moins

En comparant les rsultats pour le groupe D avec ceux du groupe C, nous sommes confronts dnormes problmes de slection : il est prouv que les mnages du groupe C ne participent pas parce quils ont peur de ne pas pouvoir rembourser. Si la possession de terres est exogne, les groupes C et D peuvent cependant tre compars au groupe E, du fait que la diffrence de rsultat est tributaire du placement du programme et non de lauto slection. Ceci, bien sr, nest pas vrai, dans la mesure o il y a des diffrences dans les villages. Lorsque cest le cas, ( cause, peut-tre, de placement non alatoire), alors il est prfrable dadopter une approche diffrence diffrence. De cette faon, un valuateur est en mesure de calculer les rsultats mdians pour C et D, ceux de A, et calculer ensuite la diffrence. De la mme faon, la diffrence entre les rsultats mdians pour E et ceux pour B peuvent tre calculs, et les diffrences intra-villageoises peuvent ensuite tre compares. III. Donnes

Les chercheurs ont rassembl des donnes sur 1.798 mnages ; 1.538 dentre eux taient ligibles pour participer, et 905 ont effectivement particip. Les rsultats des enqutes ont t collects en 1991 et 1992 aprs les rcoltes des trois principales saisons rizicoles. Les variables -cls intressantes taient la consommation par personne au cours de la semaine prcdente, le montant des crdits perus, la quanti de t terres possde, le travail fourni au cours du dernier mois ainsi que les caractristiques dmographiques. Une source de donnes secondaires sur la transaction des terres est galement utilise pour valuer lactivit du march foncier. IV. Techniques conomtriques

Parmi les techniques utilises, trois semblent particulirement intressantes. La premire est, en loccurrence, lutilisation de donnes administratives, pour vrifier les assomptions -cls qui sont ncessaires lutilisation dune stratgie conceptuelle de discontinuation de la rgression : lexognit de la proprit foncire. La seconde est lutilisation fort judicieuse des techniques de reprsentation graphique non paramtriques pour dcrire la fois les probabilits en termes dligibilit et celles de se voir octroyer un prt comme fonction de proprit foncire. Ceci est combin une trs bonne discussion visant identifier le moment appropri dutiliser une stratgie conceptuelle de discontinuation de la rgression puisque lanalyse graphique suggre quil ny a pas de point critique clair 0.5 acre. Finalement, ltude utilise principalement les techniques de diffrence et de diffrence-dans-lesdiffrences.

ETUDES DE CAS V. Ceux qui lont excut

81

Les donnes ont t rassembles par lInstitut des Etudes sur le Dveloppement du Bangladesh, pour le compte de la Banque Mondiale. Lanalyse a t effectue par le chercheur Jonathan Morduch. VI. Rsultats

Les rsultats suggrent que presque tous les gains apparents qui sont issus du programme sont dus des prjugs de slection causs par une erreur de ciblage de prt. En particulier, les auteurs constatent quentre 20 30% des emprunteurs possdent plus de terre que le maximum d1/2 acre requis dans le cadre du programme, ce qui indique que les responsables du programme sont susceptibles de contourner le rglement de faon indtectable. Lorsque les comparaisons sont limites aux emprunteurs qui rpondent aux critres de restriction foncire, les auteurs constatent galement quavec les mthodes la fois de la diffrence et de la diffrence des diff rences, les consommations moyennes au sein des villages ayant accs la micro-finance sont infrieures celles du contrle. Cela indique quil y a eu des erreurs manifestes de ciblage des fonds du programme, Il en rsulte que les approches de discontinu it de la rgression ne peuvent pas tre utilises pour analyser les effets du programme. Lvaluation est galement utile dans le processus de comparaison des rsultats partir de techniques conomtriques diffrentes : les rsultats sont notoirement diffrents selon quon utilise des approches effets fixes, de diffrence des diffrences ou, tout simplement de diffrences. Lvaluation dmontre de faon convaincante que le cas prcdent est moins appropri lorsque des diffrences non-observes au sein des groupes cibles sont utilises dans la prise de dcision concernant la situation. Cependant on peut observer des rsultats conflictuels dans les deux approches, selon que les programmes rduisent ou non la variation en termes de consommation et de revenus, faisant ressortir le besoin de donnes longitudinales. Limpact sur lducation, en fait, est invers aprs correction sur les prjugs de slection. Il nest pas inutile de souligner que malgr le fait que cette analyse fait ressortir un impact limit du traitement relatif au groupe de contrle, celui-ci, en fait, peut ne pas avoir manqu daccs au financement, car celui ci pourrait bien avoir t procur par les ONG. Les dpenses de millions de dollars pour subventionner les programmes de micro-finance, cependant, sont remises en question. VII. Leons tires

Plusieurs leons trs importantes peuvent tre tires de cette tude, la premire tant limportance de vrifier si le programme fonctionne comme prvu. La deuxime est la question de la pertinence de la conception de la discontinuit de la rgression, par rapport aux techniques de la diffrence des diffrences ou simplement de la diffrence. La troisime est relative la considration de limpact dune intervention sur la deuxime ainsi que ds les premiers instants de la distribution, car la rduction des risques peut se rvler, elle seule, tre un rsultat utile. Il y a une leon plus fondamentale encore, qui, ntant pas directement aborde, nen est pas moins tire de cette tude. Il sagit dune leon dconomie politique : sil y a de fortes incitations visant faire une entorse la loi, il en sera ainsi. VIII. Sources Morduch, Jonathan. 1998. Does Micro-finance Really Help the Poor ? New evidence from Flafship Programs in Bangladesh. Elabor le 17 juin Voir galement : Khandker, Shahidur R. 1998. Fighting Poverty with Microcredit : Experience in Bangladesh. New York : Oxford University Press for the World Bank.

Annexe 1.3 : Education contre vivres au Bangladesh : Evaluation dun programme social cibl lorsque le placement est dcentralis

I.

Introduction

Description du projet. Le programme ducation contre vivres, au Bangladesh, (FFE) a t conu comme une mesure incitative pour les parents, afin daugmenter le taux de frquentation lcole primaire en distribuant du riz ou du bl des mnages slectionns. Initialement prvu comme programme-pilote, il a pris de lampleur et de limportance : sa part de budget de la Division de lEducation des masses et du primaire a augment de 11% en 1993-94 26% en 1995-96 pour atteindre 2,2 millions denfants, ou 13% du nombre total des frquentations. La conception en est fort intressante : le programme a t cibl hirarchiquement, en ce sens que FFE a t apport toutes les coles des units gographiques slectionnes, en retard sur le plan conomique et faibles taux de scolarisation. Les mnages devant recevoir la nourriture ont ensuite t choisis par des groupes communautaires issus desdites units gographiques, sur la base de critres tablis, bien que relativement discrtionnaires, (mnages sans terre, mnages dirigs par une femme et mnages bas revenus). Les enfants, dans ces mnages, doivent atteindre un taux mensuel de frquentation des classes dau moins 85%. Points forts de lvaluation. Cette valuation est extrmement utile car elle dmontre ce qui peut tre fait lorsque la conception de lintervention nest pas absolument favorable des valuations techniques standards et que lvaluation doit tre ralise en utilisant des sources de donnes existantes. En fait, lapproche du FFE tait totalement loppos dune mission compltement alatoire : non seulement les zones gographiques ont t choisies parce quelles avaient certaines caractristiques, mais les individus lintrieur de celles-ci oint t choisis parce quils avaient besoin daide. Ainsi, puisque le programme ciblait les plus pauvres dentre les pauvres, une analyse simple en minimisera forcment limpact. La conception de cette intervention constitue la fois un problme important et un non-factuel car, lvidence, la slection au programme est dtermine par le besoin des mnages. Lvaluation procure une approche innovante et immdiatement transposable pour sattaquer aux prjugs, en se basant sur la dcentralisation du processus de dcision. En bref, du fait que le gouvernement alloue les fonds dans les zones gographiques, mais que les agents locaux procdent une allocation lintrieur de ces mmes zones, lvaluation utilise des techniques contributives variables bases sur la gographie afin de rduire le prjug inhrent la procdure de slection endogne. Lapplication de la mthode rsulte en une estimation beaucoup plus importante des impacts du FFE que des approches ordinaires. II. Thmes de recherche et mthode dvaluation

Le thme de recherche est la quantification de limpact du FFE sur la frquentation scolaire, mesur comme taux de frquentation pour chaque mnage. Il ny a pas grand chose en termes de mthode dvaluation estimative : lvaluation est ralise grce des donnes dj existantes en particulier, en utilisant la fois une enqute sur les dpenses des mnages reprsentative sur le plan national, et une enqute communautaire dtaille. Lvaluation rtrospective tait en fait conue pour rendre le besoin dune enqute de rfrence vident ; lvaluation ncessitait simplement des enqutes prenant en compte les caractristiques des mnages ainsi que les caractristiques gographiques spcifiques de la zone du mnage. Les sections suivantes donnent plus de dtail sur la faon dont ceci peut tre structur pour induire limpact de lintervention de faon fiable.

III.

Donnes

Les donnes proviennent de lEnqute (HES) sur les Dpenses des Mnages de 1995-96, une enqute reprsentative sur le plan national, mene par le Bureau Bangladeshi des Statistiques, qui comprend des questions sur la participation au FFE et dispose dune composante denqute au niveau local. Les auteurs utilisent des rponses sur les caractristiques dmographiques des mnages, la proprit foncire, lcole et les variables de programme partir de 3.625 mnages ruraux pour identifier limpact sur la frquentation scolaire. La frquentation scolaire pour chaque enfant est en fait mesure directement dans HES : les jours dabsence et les jours durant lesquels lcole est ferme sont compts. La variable dpendante a t construite en tant que nombre moyen de jours de frquentation scolaire par mnage, comme proportion du nombre de jours plausibles. Les deux parties de cette enqute sont dcisives. Dun ct, les informations sur les mnages contribuent saisir limpact des caractristiques dmographiques sur la frquentation scolaire. Dun autre ct, les informations sur les caractristiques des emplacements gographiques permettent de modeler la stratgie du processus dcisionnel gouvernemental ainsi que de rduire les prjugs relatifs au processus de slection mentionn ci-dessus. IV. Techniques conomtriques

Lvaluation soccupe de deux problmes trs importants auxquels sont confronts les chercheurs sur le terrain. En premier lieu, le placement du programme est dcentralis, par consquent la dcision dallocation est tributaire de variables impossibles observer par lconomtricien, et non par les dcideurs. Cela signifie que lvaluation ncessite une mesure qui dtermine le placement du programme au niveau individuel sans tre corrl avec les termes de lerreur (et donc les rsultats du programme). En deuxime lieu il ny a quune seule enqute transversale disponible, sans enqute de rfrence sur les participants de telle faon quil est plutt difficile destimer limpact abs olu de lintervention. Lvaluation est extrmement innovante en ce sens quelle utilise le processus dallocation en deux tapes mme comme un instrument. La caractristique cl requise, en loccurrence, serait que les donnes transversales comprenne nt la fois des caractristiques gographiques et des caractristiques relatives aux mnages. Dans ce cas particulier, le modle serait comme suit :
W i = * IP i + *X i + *Z i + * i. (1)

Dans le cas prsent, W reprsente le rsultat individuel de lallocation daide, X et Z comprennent les caractristiques gographiques et relatives aux mnages, et IP, qui reprsente le placement individuel au sein du programme, est en corrlation avec les termes de lerreur. Manifestement, et ceci est dune importance fondamentale dans lexpos relatif lvaluation, les estimations des moindres carrs de ?seront biaises. Lvaluation utilise les diffrences gographiques pour ce qui concerne le placement comme instrument pour le placement individuel, car il ny a l aucune corrlation avec les termes de lerreur, ainsi que les caractristiques des mnages. Dans ce cas, cette relation est caractrise comme suit :
IP i = G P i + X i + v i. (2)

Il est important de noter ici quil est crucial que Z contienne toutes les informations utilises lors du processus dcisionnel. Dans ce cas, les deux ensembles de variables gographiques sont utiliss. Lun des ensembles des variables gographiques est assez standard, affectant directement, lui seul, les dcisions de frquentation : la distance de lcole, le type de lcole, ainsi que les variables qualitatives relatives lcole. Le deuxime ensemble est relatif la dcision mme de placement et, bien quil soit long, vaut la peine dtre mentionn ne serait-ce qu titre indicatif. Les variables comprennent la distribution foncire ; lintensit de lirrigation ; la qualit des routes ; llectrification ; la distance et le temps pour se rendre dans le quartier gnral de ladministration locale, et la capitale ; la distance vers les locaux des centres de sant et les institutions financires ;

84

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

lincidence des dsastres naturels ; lattitude envers le travail des femmes, lducation et le planning familial ; les niveaux moyens de scolarisation du chef de mnage et son pouse ; la religion majoritaire au sein du village, ainsi que la grandeur de la population du village. Ces calculs sont effectus au niveau du village et semblent assez bien prdire la slection : Une rgression probable (units de probabilit) sur un total de 166 villages a donn des rsultats relativement conformes (un pseudo-R2 de 0.55). Ceci semble indiquer que ces variables saisissent bel et b le placement ien global. Cet ensemble dquations peut tre model en utilisant les moindres carrs en trois tapes. Il peut ensuite tre compar avec les rsultats de la rgression des moindres carrs ordinaires. V. Ceux qui lont excut

Lvaluation a t ralise par Martin Ravallion et Quentin Wodon, de la Banque Mondiale, dans le cadre dun effort de collaboration long terme, entre le Bureau Bangladeshi des Statistiques et lUnit de Lutte Contre la Pauvret et de Gestion Economique de la Rgion Asie du Sud de la Banque Mondiale. VI. Rsultats

Il y a des diffrences claires au sein des deux approches : limpact estim de FFE, en utilisant lapproche des moindres carrs en trois tapes tait de 66% suprieur aux estimations des moindres carrs ordinaires sans contrle gographique et 49% suprieur avec les contrles. En dautres termes, les estimations simples qui ne contrlent que les variations au sein des mnages (les moindres carrs sans contrle gographique), sous-estimeront lefficacit du programme de faon substantielle. Mme linclusion des contrles gographiques pour apparemment contrler le placement gographique nefface en rien le prjug prsent. En termes substantifs la somme moyenne des gains au sein du programme semble avoir augment la frquentation de 24% lorsque la mthode prcise ci-dessus a t utilise. Il est utile de prciser que le facteur -cl afin de faire de ceci une approche valide, rside dans le fait que suffisamment de variables sont disponibles pour modeler la dcision de ciblage et que ces variables sont proches de celles utilises par les administrateurs. Sil y a encore des variables omises, les rsultats continuent dtre biaiss. VII. Leons tires

De nombreuses valu ations nont pas le loisir de concevoir une stratgie de collecte de donnes partir de la base, vers le haut, soit parce que lvaluation ntait pas une partie intgrante du projet depuis le dbut, soit simplement pour des raisons de cot. Cette valuation est importante tudier pour deux raisons. Dabord, il informe sur le degr de prjug susceptible davoir lieu dans le cas o une mauvaise approche conomtrique serait utilise. Ensuite, elle dcrit une manire conomtriquement viable destimer limpact de lintervention sans le cot et les dlais impliqus dans une valuation future. VIII. Sources

Ravallion and Wodon. 1998. Evaluating a targeted Social Program When Placement Is Decentralized. Policy Research Working Paper 1945, World Bank, Washington D.C.

Annexe 1.4 : Evaluation du Fonds dInvestissement Social de Bolivie


I. Introduction

Description du projet. Le Fonds dInvestissement Social Bolivien (SIF) a t tabli en 1991 comme institution financire dont la vocation est de promouvoir linvestissement durable dans les secteurs sociaux, plus particulirement la sant, lducation et lassainissement. Les objectifs de la politique sont de diriger les investissements dans des zones ayant t ngliges depuis longtemps par les rseaux des services publics, plus particulirement les communauts pauvres. Les fonds SIF, par consquent, sont attribus selon un indice municipal de pauvret, mais dans les municipalits, le programme est tributaire des demandes, en rponse aux demandes en projets des communauts, au niveau local. Les oprations SIF ont t dcentralises plus avant en 1994, amplifiant le rle des ministres sectoriels et des gouvernements municipaux dans la conception et lapprobation des projets. Le SIF bolivien a t la premire institution de ce type, dans le monde. Il a servi de prototype pour des fonds semblables qui, depuis lors, ont t introduits en Amrique latine, en Afrique et en Asie. Evaluation de limpact. Malgr la mise en uvre gnralise des fonds sociaux, au cours des annes 90, il ny a eu que peu de tentatives, si rigoureuses soient-elles, dvaluer leur impact sur la rduction de la pauvret. Lvaluation du SIF bolivien, ralise conjointement par la Banque Mondiale et SIF, a dbut en 1991 et se poursuit encore actuellement. Ltude comprend des donnes denqute de rfrence (1993) et de suivi (1997) lesquelles, combines, permettent dobtenir une valuation dimpact avant et aprs. Elle comprend des valuations spares de lducation, de la sant et des projets hydrauliques. Elle est unique en ce sens quelle applique une palette dvaluations techniques et examine les avantages et inconvnients de ces mthodologies alternatives. Les rsultats initiaux de lvaluation sont complets et sont actuellement prsents aux donateurs et agences gouvernementales pour rtroaction. Les rsultats finaux ainsi que les questions mthodologiques seront examins plus en dtail relativement au rapport 2000 sur les Fonds Sociaux dInvestissement, avec une analyse de la rentabilit. II. Conception de lvaluation

Le processus dvaluation du SIF bolivien a dbut en 1991 et se poursuit toujours. La conception comprend des valuations spares de lducation, de la sant et des projets hydrauliques, lesquelles valuent lefficacit du ciblage du programme en direction des pauvres, de mme que limpact des investissements de son service social sur les rsultats communautaires souhaits, tels que les taux de frquentation scolaire, les conditions sanitaires et une disponibilit de leau amliors. Ceci illustre les techniques des meilleures pratiques dans lvaluation, en utilisant des donnes rfrentielles dans lanalyse dimpact. Lvaluation est galement innovante en ce sens quelle applique lanalyse des projets dducation deux mthodologies dvaluation alternatives le procd alatoire 3 et la comparaison apparie et contraste ensuite les rsultats obtenus selon chaque mthode. Cest une contribution importante car le procd alatoire est trs largement considr comme tant, statistiquement, la mthode la plus rigoureuse, cependant la comparaison apparie (utiliser un processus non-alatoire dans la slection dun groupe de contrle qui correspond le plus exactement aux caractristiques des bnficiaires du programme) est plus gnralement utilise dans la pratique.
Slection alatoire des bnficiaires du programme au sein dun groupe ligible

86

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE III. Collecte des donnes et techniques danalyse

Les efforts de collecte des donnes pour lvaluation du SIF bolivien sont intensifs. Ils comprennent une enqute (rfrentielle) sur linvestissement pr-SIF ralise en 1993 ainsi quune enqute de suivi, ralise, quant elle, en 1997. Les enqutes ont t appliques la fois aux institutions ayant reu des fonds SIF et aux mnages et communauts qui bnficient des investissements. Des donnes semblables ont galement t collectes partir dinstitutions de comparaison (groupes de contrle) et de mnages. Lenqute sur les mnages rassemble des donnes sur un ensemble de caractristiques, comprenant la consommation, laccs aux services de base ainsi que le niveau dinstruction et ltat de sant de chaque membre au sein dun mnage donn. Il y a des chantillons spars pour les projets de sant (4.155 mnages, 190 centres de sant), les projets dducation (1.894 mnages, 156 coles), les projets hydrauliques (1.071 mnages, 18 projets hydrauliques) et les projets de latrines (231 mnages, 15 projets). Lenqute sur les mnages consiste en trois sous -chantillons : (a) un chantillon alatoire de tous les mnages en Bolivie rurale avec la rgion de Chaco (une province) ; (b) un chantillon de mnages vivant prs des coles, dans le traitement des groupes de contrle pour les projets dducation ; et (c)un chantillon de mnages qui bnficieront de projets hydrauliques ou de latrines publiques. Afin danalyser la mesure dans laquelle les investissements SIF sont efficacement cibls en direction des pauvres, ltude utilise les donnes rfrentielles (investissements pr-SIF) ainsi que linformation relative au placement ultrieur des investissements SIF, pour calculer la probabilit, pour certains individus, selon leur niveau de revenus, dtre bnficiaires du SIF. Ltude combine ensuite les donnes de lenqute rfrentielle et les donnes de suivi pour estimer limpact mdian de SIF sur les communauts ayant reu un investissement SIF, en utilisant les techniques de rgression. En plus de limpact moyen, elle considre dans quelle mesure les caractristiques des communes, des coles ou des centres de sant peuvent tre identifies, une fois associes des impacts considrablement plus importants que la moyenne. Dans lducation, laquelle les investissements SIF ont t alatoirement attribus au sein dun plus grand ensemble de communauts pareillement ligibles, ltude applique la conception idale de lexprimentation alatoire (dans laquelle le non-factuel peut tre directement observ). Dans les projets de sant et dassainissement, lorsque ceux-ci nont pas t attribus alatoirement, ltude utilise l mthode a variable instrumentale afin de compenser le manque de non-factuel direct. Les variables instrumentales sont corrles avec lintervention, mais nont aucune corrlation directe avec les rsultats. IV. Rsultats

Les investissements S II dans lducation et la sant donnent lieu une amlioration manifeste en IF termes dinfrastructure et dquipement. Les projets dducation ont peu dimpact sur les taux dabandon scolaire, mais les scores de tests daccomplissement scolaire parmi les 2 secondaires sont bien meilleurs dans les coles SIF. Dans la sant, les investissements SIF rehaussent les taux dutilisation des services de sant tout en rduisant la mortalit. Les projets hydrauliques SIF sont associs des amliorations trs modestes dans la qualit de leau mais amliorent laccs leau potable ainsi que la quantit en rduisant galement les taux de mortalit. Une comparaison des rsultats alatoires par rapport aux apparis, dans lducation, dmontre que lapproche apparie donne lieu des groupes de traitement et de comparaison moins comparables et, par consquent, des rsultats moins solides dans lexercice de discernement de limpact du programme. Pour illustrer cela, des preuves damlioration de linfrastructure scolaire (que lon sattendrait voir apparatre au sein des coles SIF) sont dceles dans la conception de lvaluation alatoire, mais non dans la conception de la comparaison apparie. Finalement, les rsultats dmontrent que les investissements SIF II ne sont gnralement pas bien cibls en direction des pauvres. Les projets sant et assainissement bnficient des mnages qui sen sortent gnralement mieux, en termes de revenus par personne. Dautre part, il ny a aucune relation entre les revenus par personne et les bnfices SIF dans lducation.

ETUDES DE CAS V. Application des politiques

87

Les rsultats sur le ciblage font ressortir un conflit inhrent entre lobjectif de cibler les pauvres et le fait que le SIF soit bas sur la demande. Avec lintroduction de la loi sur la participation populaire de 1994, les sous-projets devaient tre soumis par lintermdiaire des gouverneurs municipaux. Les rsultats du ciblage rvlent que mme dans un systme fortement dcentralis, il est capital de contrler les processus de ciblage. Dans le cas bolivien, il semblerait que les communauts la fois plus riches et mieux organises, plutt que les pauvres, sont celles qui sont plus susceptibles dobtenir des investissements SIF. Dans le cas des projets dassainissement SIF,en particulier, le prjug contre les communauts les plus pauvres peut savrer tre difficile corriger. Linvestissement dans lassainissement de base est des plus efficaces dans les zones peuples qui disposent dj de laccs un systme deau de faon ce que le projet profite des conomies dchelle. Le fait que les investissements SIF naient pas dimpact perceptible sur la frquentation scolaire a dclench une certaine restructuration des interventions SIF dans ce secteur. Plutt que de se focaliser uniquement sur la fourniture dinfrastructures, les projets fourniront une combinaison dextrants conus pour amliorer la qualit scolaire. De mme, des rsultats dcevants sur la qualit de leau (qui ne fait tat daucune amlioration rsultant des projets SIF par rapport aux sources prexistantes) ont suscit beaucoup dattention. La conception des projets, dans ce secteur, est en passe dtre re-pense. VI. Leons tires

Efficacit de la technique dchantillonnage alatoire. La mthode de recherche alatoire dans laquelle un groupe de contrle est slectionn de faon alatoire partir de bnficiaires potentiels du programme est beaucoup plus efficace dans la dtection des impacts du programme que la mthode de comparaison apparie visant dterminer un groupe de contrle. Le procd alatoire doit re insr dans la conception du t programme depuis le dbut, pour dterminer le processus travers lequel les bnficiaires du programme seront slectionns, et la slection alatoire nest pas toujours faisable. Cependant, lorsque les fonds du programme sont insuffisants pour couvrir tous les bnficiaires, on peut avancer un argument en faveur de la slection au sein dun plus grand nombre de bnficiaires qualifis. Limportance dinstitutionnaliser le processus dvaluation. Les valuations peuvent tre longues et extrmement complexes. Lvaluation bolivienne a t ralise en sept ans, dans lespoir dapprhender les impacts du projet et de raliser des rsultats importants cet gard. Cependant, lvaluation a t difficile faire pendant tout ce temps, particulirement au regard de la gamme des diffrents acteurs impliqus (agences gouvernementales et institutions financires). La gestion et la mise en uvre dun effort dvaluation peuvent tre allges en incorporant ces processus, ds le d part, dans le cours normal des activits ministrielles locales. Il serait prfrable que dautres efforts dvaluation, plus intensifs, soient limits un petit nombre de programmes par exemple, des grands programmes dans lesquels il ny aurait aucune relle certitude concernant les rsultats- et pour lesquels leffort dvaluation est susceptible dtre le plus payant. VII. Cots dvaluation et administration

Cots. Le cot total ce jour de lvaluation du SIF de Bolivie est estim US$ 78.000, ce qui reprsente 0,5% du cot total du projet. La collecte de donnes reprsente la plus importante proportion du cot (69%), le reste des dpenses se rpartissant sur les voyages, le temps dintervention des employs de la Banque Mondiale et les consultants. Administration. Lvaluation a t conue par le personnel de la Banque Mondiale et finance conjointement par la Banque mondiale, lInstitut Bolivien des Statistiques Nationales et gr par les homologues SIF pour ce qui est de KfW et les gouvernements hollandais, sudois et danois. Le travail

88

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

denqute a t effectu pour ce qui concerne la premire partie et ensuite, par le Ministre des finances pour la deuxime partie. VIII. Source Pradhan, Menno, Laura Rawlings, et Geert Ridder, 1998. The Bolivian Social Investment Fund : An Analysis of Baseline Data for Impact Evaluation World Bank Economic review 12 (3) : 457-82

ETUDES DE CAS

89

Annexe 1.5 : Impact des programmes de travail actif: Rpublique Tchque

I.

Introduction

Description du projet. De nombreux pays en dveloppement sont confronts au problme du recyclage des ouvriers lorsque les entreprises contrles par ltat sont restructures. Ceci est particulirement compliqu dans les conomies de transition qui sont galement caractrises par un taux lev de chmage, et des salaires en stagnation ou en dclin. Cependant, tous les programmes de recyclage ne sont pas labors de la mme manire. Certains ne sont que des payements de subventions de licenciement dguiss pour des travailleurs dplacs; dautres, des programmes de chmage camoufls. Ceci rend lvaluation de tels programmes manifestement urgente. Les programmes de formation, cependant, sont particulirement difficiles valuer, et lvaluation tchque nchappe pas la rgle. De faon caractristique, plusieurs programmes diffrents sont institus pour servir diffrentes circonscriptions. Il y a galement plusieurs faons de mesurer les rsultats, y compris lemploi, le travail indpendant, les revenus mensuels, et les revenus horaires. Plus quavec dautres types dvaluation, la magnitude de limpact peut tre sensiblement tributaire du temps : des rsultats trs diffrents peuvent tre obtenus selon que lvaluation a lieu un mois, six mois, un an ou cinq ans aprs lintervention. Points forts de lvaluation. Cette valuation a quantifi limpact de quatre programmes sur le march du travail actif (ALP) en Rpublique tchque, en utilisant des mthodes de conception quasi-exprimentales apparier les participants ALP avec un groupe similaire de non-participants. Les donnes denqutes la fois administratives et de suivi ont t utilises au cours dune valuation ex post, pour divers rsultats diffrents : dure de lemploi, probabilit de lemploi, emploi indpendant et revenus. Lanalyse de rgression est utilise pour estimer limpact de chacun des cinq programmes sur ces rsultats, en surveillant les caractristiques dmographiques de rfrence. Plusieurs leons importantes ont t tires de cette valuation. Tout dabord, un ensemble de leons est de nature pratique : comment concevoir une valuation particulirement complexe, comment utiliser des donnes administratives, comment soccuper des problmes associs ladministration de lenqute et les mcanismes de cration de lchantillon appari. Deuximement, comment structurer une analyse afin de fournir des informations sur les politiques rendu possible par une valuation dtaille de limpact, par sous groupe. Ceci a conduit une recommandation sur les politiques pour cibler les programmes ALP vers des types de clients particuliers, et a conclu quun seul type dALP nest pas du tout efficace pour changer soit lemploi soit les gains. II. Thmes de recherche et mthode dvaluation

Ceci se situe dans le cadre dune valuation plus large, pour quatre pays : La rpublique tchque, la Pologne, la Hongrie et la Turquie. Le contexte commun en est que chaque pays avait un taux de chmage important, d, en partie, la restructuration dentreprises contrles par ltat, laquelle avait t rglemente par des programmes passifs daide aux revenus, tels que les allocations chmage et lassistance sociale. Ceci avait t combin aux ALP qui font lobjet de cette valuation. Les cinq ALPs sont des Emplois Socialement Pertinents (nouvelle cration demplois), des Emplois Publiquement Utiles, (emplois publics court terme), des Programmes en direction des Jeunes sortant de lEcole (subventions pour lembauche de jeunes diplms), le Recyclage (formation spcifique pouvant durer quelques semaines plusieurs mois), et les Programmes Pour les Handicaps. Cette dernire est plutt rduite et nest pas comprise dans lvaluation. Il y a deux thmes de recherche. Lun est dexaminer si les participants diffrentes ALPs ont pu effectivement rintgrer le march du travail dans une plus large mesure que les non-participants

90

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

et si cela varie au sein des sous -groupes, et selon les conditions du march du travail. Le deuxime est de dterminer la rentabilit de chaque ALP et de faire des suggestions pour son amlioration. Lvaluation est une mthode ex-post quasi-exprimentale essentiellement une cohorte apparie. Le groupe de participants est appari avec un groupe construit, de non-participants (en utilisant les informations tires des archives administratives) sur des personnes enregistres auprs des services de lemploi de lEtat, mais non slectionns pour lALP. La notion fondamentale est la suivante : un individu est slectionn au hasard pour le groupe de participants ALP. Les rsultats de cet individu sont ensuite compars ceux des individus au sein du groupe de non-participants (bas sur lage, le sexe, lducation, le nombre de mois sans emploi, la taille de la ville, ltat civil et la nature du dernier emploi). Lvaluation est particulirement forte dans son analyse dtaille de la comparaison par rapport au groupe participant. Il y a dinvitables problmes lis cette approche. Ils ont t traits ailleurs, en profondeur (Burtless 1995, et Heckman & Smith 1995). Un problme vident, caractristique de toute exprience non alatoire est que les participants peuvent en fait avoir t crms par le programme de formation sur la base de caractristiques non observables ou impossibles mesurer par les chercheurs. Lautre problme majeur est que les non participants peuvent avoir substitu dautres types de formation la formation publique, dans le cas du programme de recyclage. Le troisime problme est que les subventions pour embaucher les travailleurs peuvent tout simplement avoir donn lieu la substitution dun groupe donn de travailleurs un autre. III. Donnes

Une composante trs intressante de cette valuation tait lutilisation de donnes administratives gouvernementales afin de crer le cadre de rfrence de cette enqute. Lquipe a ainsi rendu visite au ministre du travail et des affaires sociales (MOLSA) Prague, et trois agences locales de lemploi pour comprendre la fois le fonctionnement de ladministration et la mise en uvre de lALP, ainsi que des donnes administratives des participants ALP. A partir d cela, 20 quartiers ont t choisis pour lenqute, e sur la base des critres de dispersion gographique et de variation des caractristiques industrielles. Il y avait aussi une gamme tendue de taux de chmage, dans les diffrents quartiers. Lenqute contenait la fois des questions quantitatives sur les rsultats-cl du programme et des questions qualitatives, de la part des participants, sur leur estimation du programme. Une autre composante prcieuse tait la mise en oeuvre dune enqute-pilote dans quatre quartiers. Cette approche, qui est toujours importante, a permis didentifier, non seulement les problmes techniques, mais aussi un problme juridique susceptible de survenir frquemment, cause de lutilisation denregistrements administrati s. Il sagit de linterprtation de la loi sur la protection de la vie prive : dans ce cas prcis, f MOLSA na pas permis un mailing direct, mais demandait que les personnes concernes autorisent le bureau du travail permettre la diffusion de leur adresse. Ceci a eu pour effet de retarder le calendrier de lvaluation, daugmenter les cots et de baisser terriblement le taux de rponse. Lenqute a t ralise dbut 1997 sur un chantillon alatoire de 24.973 individus ayant t contacts et enregistrs auprs de loffice du travail. Parmi ceux-ci, 9.477 ont particip lALP au cours des annes 1994--95. Le taux de rponse pour les non participants tait de 14% ; pour les participants, il tait de 24.7%, donnant un rsultat global de 4.537 rpondants. Le taux de rponse plutt dprimant a t attribu directement lordonnance juridique : la plupart des gens nont pas rpondu la demande initiale, mais parmi ceux qui ont autoris la diffusion de leur adresse, le taux de rponse tait important. Pir e encore, le prjug qui en rsulte est inconnu. IV. Techniques conomtriques

La difficult de mesurer la fois la nature temporelle et la complexit des rsultats du march du travail est illustre par lutilisation de sept mesures de rsul at diffrentes : le pourcentage actuellement employ, le t pourcentage actuellement en emploi indpendant, le pourcentage jamais

91

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

employ, la dure de lemploi, la dure d perception des indemnits de chmage, le total des e paiements au titre du chmage et les revenus mensuels actuels. Lapproche dvaluation, cependant, tait tout fait simple quant son utilisation la fois des diffrences simples entre les groupes et les moindres carrs ordinaires avec les pseudo groupes spcifiques pour jauger limpact des interventions. Limpact global a t calcul, suivi des impacts estims par chacune des catgories de sous-groupe (age, sexe, ducation, et, pour ce qui conce rne les rsultats des gains, la taille de lentreprise). Cette dernire analyse tait particulirement utile car elle identifiait des sous-groupes dindividus pour lesquels, en fait, limpact de lintervention tait diffrent, donnant lieu des implications diffrentes sur les politiques. De fait, une recommandation majeure de lvaluation tait que les ALP soient cibls de faon plus hermtique.
V. Ceux qui lont excut

Lvaluation a eu lieu dans le cadre dun programme dvaluation croise des programmes de travail actif dans quatre pays, dans le but prcis de comprendre limpact des ALP sous diffrentes conditions conomiques. Lvaluation a t supervise par un comit dorganisation des projets avec des reprsentants de la Banque Mondiale, de chacun des quatre pays, des agences extrieures de financement ainsi que des consultants pour lassistance technique (Abt Associates et lUpjohn Institute). Pour raliser lenqute, lquipe a contract avec une entreprise denqute prive, la fois pour des raisons de qualit des donnes et pour rduire les possibilits dintimidation dans le cas o lagence de lemploi locale devrait mener lenqute elle-mme. Il serait utile de noter, ce propos, que la crdibilit de ltude serait compromise dans le cas o le service de lemploi serait responsable de la conduite de lenqute. Effectivement, ce problme de danger moral est gnralement important si lagence responsable de la formation est galement responsable de la collecte des informations sur les rsultats de cette formation. VI. Rsultats

Les rsultats sont caractristiques des valuations des programmes de formation. Quelques interventions semblent avoir certains impacts(si faibles soient-ils) pour certains types de travaille urs, dans certaines situations. Un point fort de lvaluation est quelle identifie lun des programmes qui semble avoir gaspill de largent aucun impact na t dmontr, que ce soit globalement ou pour un sous-groupe. Un autre point fort est la prsentation mme de lvaluation qui est particulirement importante, si celle-ci doit tre lue par les dcideurs. Ici, les tableaux rcapitulatifs des bnfices combins, en termes de salaires et demploi, globalement et pour les sous-groupes sont fournis pour chaque programme. Un point trs ngatif, par contre, est que malgr la promesse initiale, aucune analyse des cots na t ralise. Il aurait t extrmement utile de contraster les informations rcapitulatives sur les bnfices avec les cots explicites et implicites combins du programme. Ainsi, par exemple, bien que les valuateurs aient remarqu que lun des programmes augmentait la probabilit gnrale demploi, force est de remarquer que ceci na pu tre ralis qu lissue dun programme de neuf mois de formation. Un calcul total des taux de retour dinvestissement aurait combin le cot explicite du programme avec le cot dopportunit du temps des participants, et laurait compar avec laugmentation en termes de revenus et demploi. VII. Leons tires

Plusieurs leons importantes ont t tires de cette tude. Tout dabord, il y a les composantes pragmatiques exposes dans lintroduction, particulirement limportance de prendre lenvironnement politique en considration, dans la conception dun plan d valuation. Lincapacit de convaincre le service de lemploi de limportance du projet dvaluation a eu pour effet de compromettre svrement linstrument denqute. Ensuite, ltude dmontre, de faon utile, la construction dun chantillon appari. Finalement, lvaluation procure une bonne illustration de

92

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

limportance de raliser une analyse gnrale, et de sous-groupe, avec, comme rsultante, la possibilit dinterventions cibles fructueuses. VIII. Sources

Benus,Jacob, Grover Neelima, Jiri Berkovsky, et Jan rehak.1998. Czech republic : Impact of Active Labor Market Programs. Cambridge, Mass., et Bethesda, Md. : Abt Associates,May. Burtless, Gary. 1995. The Case for Randomized Field Trials in Economic and Policy Research Journal of Economic Perspectives 9 (2) : 63-84. Hechman, James J., et Jeffrey A. Smith. 1995. Assessing the Case for Social Experiments. Journal of Economic Perspectives 9 (2) : 85-110. Schma utilis dans la conception du programme dvaluation du travail actif tchque

Programme haute performance Processus bnficiaire

Scurit Revenus et alimentaire des Grande chelle Crdit pargne mnages amliore

Rentabilit Associations Confiance en soi Meilleure fminines et statut sant et nutrition

Durabilit financire Education Connaissance et pratique Institution autonome Apports du Bnfice Rsultats Programme Intermdiaires long terme

ETUDES DE CAS

93

Annexe 1.6 : Impact du crdit avec ducation sur la nutrition des mres et de leurs jeunes enfants : Programme de banque rurale du Lower Pra au Ghana

I.

Introduction

Description du projet. Le programme Crdit et Education combine des lments du programme de la Grameen Bank avec lducation, sur les notions de base en sant, nutrition, gestion et espacement des naissances et micro entreprise. Lobjectif en est damliorer le statut nutritionnel et la scurit alimentaire des mnages pauvres au Ghana. LONG Freedom from Hunger, de pair avec le programme en nutrition internationale de lUniversit de California Davis, a procur du crdit et des services dducation aux femmes rurales dmunies, dans le quartier est Shama Ahanta de la rgion Ouest du Ghana. Pour ces services, un partenariat a t tabli avec cinq banques rurales plus de 9000 prts, totalisant 600.000 $ ont t consentis jusquau mois de mars 1997 avec un taux de remboursement jamais infrieur 92%. Points forts de lvaluation. Lvaluation est intressante pour trois raisons : tout dabord, la conception des chantillons tait tout fait approprie : le programme tait administr 19 communauts et des donnes sur trois groupes chantillons de femmes diffrents ont t rassembles : ceux ayant particip au moins une anne, ceux nayant pas particip mais qui figuraient dans les communauts du programme, et ceux issus des communauts de contrle. Deuximement, il y avait une description claire de son approche sous-jacente :: elle a identifi et valu la fois les rsultats intermdiaires et plus long terme. Finalement, elle a fourni un mlange intressant de rsultats la fois qualitatifs et quantitatifs et une illustration truffe danecdotes. II. Thmes de recherche et mthode dvaluation

Le thme de recherche sest focalis sur les effets du programme sur (a) ltat nutritionnel des enfants ; (b) le pouvoir conomique des femmes (revenus, pargne, temps) pour investir dans lalimentation et les soins ; (c) la connaissance et ladoption de lallaitement, du sevrage et des pratiques courantes en prvention et gestion des diarrhes ; et (d) la capacit des femmes doffrir leurs enfants une alimentation saine et quilibre. Ce faisant, lvaluation a spar les objectifs finaux en termes de scurit alimentaire des mnages et le statut nutritionnel des bnfices intermdiaires du changement de comportement, de la rduction de la pauvret et de la promotion fminine. Une mthode quasi exprimentale a t utilise en effectuant deux enqutes sur le terrain (en 1993 et 1996) pour valuer limpact de la stratgie sur le statut nutritionnel des enfants ; la capacit conomique des mres, la promotion des femmes ainsi que ladoption, par la mre, des pratiques en matire de sant infantile et de nutrition. Un total de 299 paires mres -enfants a t sond durant la premire priode et 290 paires diffrentes durant la deuxime priode. Des informations la fois qualitatives et quantitatives ont t rassembles. La conception de lvaluation tait plutt complexe. La Banque rurale Pra a identifi 19 communauts nayant pas encore bnfici des services crdit ducation, et les consultants ont divis les communauts en grandes et en petites (plus petites ou plus grandes que 800 habitants) et encore une fois selon quelles taient situes ou non prs dune route principale. Dans chaque stratification, les 13 ou les 19 communauts ont t assignes soit un groupe de traitement, soit un groupe de contrle. Trois dentre elles se sont vu attribuer un traitement pour des raisons politiques et trois autres communauts ont t slectionnes en tant que contrles apparis celles ayant t slectionnes pour des raisons politiques, sur la base de leur proximit, de leur dveloppement commercial, de leur taille, et de leur accs une route principale. Deux communauts se sont retires par manque

94

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

dintrt de petit nombre de communauts dans la classification. Ainsi, dans ltude de suivi, seulement 17 communauts ont t sondes. Dix paires mre-enfant, avec des enfants de 12 23 mois ont ainsi t choisies au sein de petites communauts, pour les enqutes rfrentielles, et 30 dans des grandes communauts, en consquence de quoi surgirent deux problmes importants. Le premier est que cette construction na pas donn la possibilit lenqute de suivre, chronologiquement, la mme femme, car peu de femmes, dans lenqute rfrentielle, avaient aussi des enfants dans celle de 1996. Le deuxime problme est que la restriction, en termes dage, a tellement entaill le deuxime chantillon, quil a t tendu des femmes avec des enfants de moins de trois ans en 1996. Un avantage cl de cette mthode dvaluation complexe tait quil a t possible de classifier les femmes, dans les chantillons rfrentiels, en futures participantes et futures non participantes. Trois types de femmes ont t sonds : les participantes, les non participantes dans les communauts du programme, et les rsidentes au sein des communauts de contrle. Tous les partici ants ont t inclus ; les p deux derniers types ont t slectionns au hasard parmi les femmes avec des enfants de moins de trois ans. Il est utile de mentionner que la taille totale de lchantillon (360) a t calcule sur la base des dviations standards trouves lors dtudes prcdentes, exigence que lchantillon soit mme de dtecter une diffrence de 0.4 de la valeur du score-z des groupes de contrle et cibles, avec un niveau-cible de signification de 0.05 et une puissance de 0.8. III. Donnes

Les donnes la fois qualitatives et quantitatives ont t collectes, sur les mnages, les paires mre et enfant, se focalisant sur les mesures intermdiaires et long terme particulirement la nature multidimensionnelle des rsultats. En ce qui concerne les rsultats intermdiaires, cela amne une srie de questions visant mesurer la capacit conomique des femmes (revenus, profit, contribution aux revenus totaux du mnage, pargne, comptences en entreprise et dpenses en nourriture et mnage). De mme, un autre ensemble de mesures se sont intresss aux questions de savoir -faire des femmes en matire de sant et de nutrition (allaitement, nourriture infantile, prvention et traitement des diarrhes et immunisation). Pourtant, un autre ensemble de mesures a trait des questions de promotion fminine (assurance et espoir par rapport lavenir, statut et prise de dcision au sein du mnage et le statut et les rseaux sociaux dans la communaut). Pour les rsultats futurs tels que le statut nutritionnel et la scurit alimentaire, des mesures plus directes ont t utilises (mesures anthropomtriques pour le statut nutritionnel et questions sur la faim pour la scurit alimentaire). Bien quun chantillon total de 360 paires mr es et enfants ait t planifi, seulement 299 paires ont t interviewes lors de la premire enqute (principalement parce que deux communauts ont t abandonnes) et 290 lors de la deuxime. Les caractristiques mres et mnages ont t compares au sein des trois groupes ; aucune diffrence significative na t trouve. IV. Techniques conomtriques

Les techniques conomtriques utilises sont plutt simples. Elles ont exploit les points forts de la conception de lenqute. La moyenne du groupe est calcule pour chacune des mesures varies ayant t utilises, la suite de quoi des tests-t sont faits pour voir si les diffrences entre contrles et participants sont significatives. Il sagit essentiellement dune approche diffrence sim ple. Celles-ci sont compltes par des graphiques. Une srie de questions cls, cependant, nont pas t traite. Dabord, la conception de lchantillon a t groupe et parce que, presque par construction, les rsultats de chaque paire individuelle mre-enfant seront corrls avec les autres au sein de la communaut, les erreurs standards seront minimises et les statistiques-t artificiellement maximises. Dans les cas extrmes, pour lesquels tous les rsultats individuels sont parfaitement corrls les uns avec les autres, la taille de lchantillon est de 17 au lieu de 300. Ceci devra procurer une certaine signification des rsultats qui pourraient savrer en manquer. Deuximement, bien que la conception ait t explicitement stratifie, limpact de cette stratification na pas t trait : que les petites ou les grandes

ETUDES DE CAS

95

communauts aient plus bnfici ou que les communauts situes plus prs dune route soient plus riches que celles situes loin de toute route. Ceci est particulirement surprenant, car lon peut prsumer que les raisons davoir une telle conception dchantillon est bel et bien dexaminer les implications de la politique. Troisimement, bien que les problmes de prjugs de slection soient discuts, il ny a ni analyse formelle ni correction pour ce problme fondamental. Finalement, bien quil y ait eu des diffrences significatives au niveau des taux de non-rponse aux lments, ce qui semble indiquer un prjug potentiel au niveau de la slection au sein mme de lenqute, ceci na jamais t trait ni mme discut. V. Ceux qui lont excut

Un institut international but non lucratif, Freedom from Hunger a dvelopp le programme Crdit et Education et a collabor son valuation avec le programme en Nutrition Internationale de lUniversit de California Davis. LInstitut est entr en partenariat avec la Banque Rurale Pra (une banque autonome, rgule par la Banque du Ghana) et ensuite avec 4 autres banques rurales ghanennes, pour raliser le programme. La Banque Rurale Lower Pra a jou un rle dans le processus didentification et de slection des communauts sonder. VI. Rsultats

Les objectifs intermdiaires ont gnralement t atteints : bien que les revenus et les dpenses des femmes naient pas augment, les comptences dentrepreneur des femmes ainsi que leur pargne taient considrablement plus importantes. La connaissance des femmes en matire de sant et de nutrition sest gnralement amliore. Les femmes taient aussi plus susceptibles de se sentir responsabilises. En termes de buts finaux, lvaluation semble indiquer que le programme a effectivement amlior ltat de la scurit alimentaire des mnages et celui de la nutrition des enfants, mais pas ltat de la nutrition maternelle. VII. Leons tires

Une contribution cl de cette valuation est la conception trs intressante des chantillons : la stratification et le choix des groupes de participants et de non participants pour ce qui concerne leur participation future est une approche trs utile. Une autre leon est lutilisation productive de nombreuses dimensions de rsultats quelquefois sur des facteurs plutt non quantitatifs tels que la responsabilisation des femmes. Lautre leon cl est la valeur des donnes quantitatives pour illustrer la validit des dductions quantitatives. VIII. Sources

MkNelly, Barbara, et Christopher Dunford (en collaboration avec le Programme en Nutrition Internationale, Universit de California Davis). 1998. Impact of Credit With Education on Mothers and their Young Childrens Nutrition : Lower Pra Rural Bank Credit with Education program in Ghana. Freedom from Hunger Research Paper N 4, March.

96

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

Annexe 1.7 : Manuels scolaires et rsultats des tests : Evidence partir dune ventuelle valuation au Kenya

I.

Introduction

Description du projet. Lvaluation des impacts de diffrents types de dpenses relatives lducation sur les rsultats des tudiants est particulirement importante dans les pays en dveloppement. Des tudes antrieures ont dmontr que la fourniture de manuels scolaires est une manire efficace daugmenter les scores lors de tests. Le Kenya, en raison des ressources extrmement faibles dont disposent les ducateurs fait lobjet dune tude fort intressante dans ce domaine. Les valuateurs remarquent que seul un enfant sur six, dans les classes de 3, de 4 et de 5 disposent dun manuel scolaire. Dans les classes suprieures, le taux passe un sur quatre. De plus, les infrastructures sont extrmement dficientes, avec de nombreux enfants assis par terre pendant les cours. Lvaluation a estim limpact sur les rsultats scolaires en 1996, pour un programme dans lequel toutes les classes dun sous -ensemble choisi au hasard, part ir de 100 coles primaires rurales du Knya, ont t dotes de manuels scolaires. Les manuels dAnglais ont ainsi t distribus dans les classes des 3 aux 7, avec un taux de 6 manuels pour 10 lves, les manuels de mathmatiques ont galement t distribus aux classes de 3, 5 et 7 avec un taux de 50%, et les manuels de sciences aux classes de 8, avec un taux de 60%. En plus, chaque classe a t dote dun guide pour les professeurs. Des tests de performance ont t remis aux lves avant la distribution des manuels, puis 10 mois aprs. Les mmes tests ont aussi t distribus aux coles de contrle. Cette approche combine une conception alatoire avec des comparaisons rflchies. Points forts de lvaluation. Cette valuation est une illustration excellente de la faon de dvelopper et de mettre en uvre une bonne conception denqute puis deffectuer un suivi avec des techniques conomtriques appropries. Elle est particulirement efficace pour montrer comment faire des dductions sur les rsultats de niveaux avec morcellement de donnes, lutilisation destimations de diffrence dans les diffrences, comment sattaquer aux prjugs de slection et dusure, de mme que les erreurs de mesures et les questions de surpeuplement. Une autre composante trs intressante de lvaluation est la focalisation sur les impacts de lintervention sur les tudiants dans toutes les parties de la distribution. Finalement, la reconnaissance et lanalyse deffets secondaires potentiels est un trs bon exemple de comment apprhender toutes les dimensions dune intervention. II. Thmes de recherche et mthode dvaluation

Le point central de concentration de la recherche est lvaluation de leffet des manuels scolaires sur les rsultats des tudes. Parce quil sagit l dun concept complexe, les rsultats sont mesurs comme diffrence entre les coles avec manuels et les coles de comparaison et ceci dans plusieurs cas: les scores aprs tests, les gains de scores, les diffrences entre les combinaisons sujet-classe qui ont et qui nont pas reu de manuels et les activits lve-enseignant. Lvaluation a galement pris en compte dautres effets secondaires (souvent ignors), particulirement la possibilit que la fourniture dune telle subvention a urait pour rsultat de rduire limplication des parents, surtout dans labandon de la collecte de fonds. La mthode dvaluation est plutt complexe. Le Ministre de lducation a choisi une centaine dcoles ncessiteuses pour lintervention de 1995. Celles-ci ont t rparties en quatre groupes dabord sur une base gographique, ensuite, alphabtiquement avec la gographie. Il y eut ensuite une tche commande, alphabtiquement, de chaque cole, dans chacun des quatre groupes. Lassistance en manuels a t chelonne pour atteindre le premier groupe, en 1996, le deuxime

ETUDES DE CAS

97

groupe en 1997, etc. Les manuels de mathmatiques, danglais et de sciences ont t fournis aux diffrentes classes principalement classes de 3 jusquen 7. III. Donnes

Les examens de maths, danglais et de sciences ont t donns aux enfants, dans toutes ces classes, chacune des 100 coles, avant la distribution des manuels. Lvaluation mme, cependant, utilise des prtests ayant t administrs dans les classes de 3 jusquen 7, en octobre 1996 et des post-tests en octobre 1997. Il y a donc des donnes sur quelque 8.800 tudiants (toutes classes confondues) pour chaque matire, dans les 100 coles et un total de plus de 26.000 observations. Parce que 25 coles ont reu le manuel au cours de cette priode, les tudiants de ces coles deviennent le groupe manuel scolaire ; les autres 75 forment le groupe de comparaison. En plus des scores des tests, des donnes ont aussi t rassembles sur les finances des coles et les mthodes pdagogiques. Des informations sur lutilisation des manuels en classe ont t collectes par des observateurs forms ayant visit chaque cole et pris des notes succinctes sur huit activits de classe possibles, (allant des activits gnrales lve-professeur jusqu lutilisation des manuels par les lves et les professeurs). Ces notes couvrent 15 minutes et ont t utilises pour arriver des pourcentages de temps pass, sur chaque activit, par professeur et par lve, pour un total de 551 priodes scolaires, quatre cinq tudiants, dans chaque classe, ont t interviews par le personnel de terrain, lesquels ont rempli un questionnaire sur la base des rponses fournies. Finalement, des donnes ont t rassembles sur les finances des coles sur la base dun questionnaire de 1997 sur les coles et les comits scolaires, portant sur les activits de recherche de fonds. IV. Techniques conomtriques

Il est important de noter les questions intressantes gnres par cette technique dchantillonnage. Les scores des tests, au sein dune cole, sont susceptibles dtre corrls les uns avec les autres, comme le sont les scores lintrieur des classes. De mme, les scores des tests, pour diffrentes matires, traites par le mme enfant seront corrls. Lintervention peut galement tre value en termes dimpact sur les rsultats du niveau dapprentissage des tudiants ou sur leurs acquis acadmiques. En gnral, les effets dune intervention devraient tre cohrents avec les diffrentes techniques conomtriques et les diffrentes manires de considrer les donnes ; ctait trs certainement le cas ici. Lvaluation commence par donner des estimations partir dune rgression simple niveau pseudovariable, avec des pseudo traitements pour chaque combinaison classe-matire, avec des effets alatoires par cole, par classe et par matire (la variable dpendante est, en loccurrence, le changement dans les scores, des pr tests aux post tests). Une caractristique intressante en est que les factices peuvent tre combins de diffrentes faons : Mettre en commun plusieurs classes afin destimer limpact des manuels sur une matire Mettre en commun tous les scores pour estimer limpact moyen des manuels sur une classe dfinie, et Mettre en commun tous les scores et toutes les matires pour estimer limpact pondr moyen des manuels pour toutes les classes et matires.

Manifestement, la structure des effets alatoires varie avec chaque approche. Lvaluation, dans cette composante, est fort claire. Ensuite, lvaluation se poursuit avec une approche de diffrence dans les diffrences, qui est relativement lmentaire en ce sens quelle compare simplement les scores des pr et post tests entre les coles de contrle et celles de traitement. La troisime approche, qui est sensiblement plus complique car elle exploite les variations intrascolaires, mrite dtre discute. La rgression applique ici implique des scores de test rgresss sur des factices qui considrent si les tudiants taient (a) dans une cole manuels et (b) dans une

98

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

combinaison matire-classe ayant reu un manuel. Ceci rduit les problmes introduits par une certaine htrognit des coles ainsi que des problmes de slection des chantillons dans le dernier cas, parce quil saisit leffet sur les scores, pour un mme tudiant, selon que celui ci ait reu un manuel scolaire ou non. Il assume, cependant, que les scores, au sein des diffrentes combinaisons classe-matire peuvent tre ajouts et enlevs, et cette forte hypothse peut tre lorigine des diffrents rsultats de cette approche. Un thme rcurrent, dans les valuations, est le dsir dapprhender non seulement leffet mdian de lintervention mais aussi l effet sur les sous -groupes de rcipiendaires. Cette valuation fournit une illustration trs utile de lutilisation des termes de linteraction et de la rgression quantile Lapproche prcdente implique une interaction entre les scores de test initiaux et les manuels factices pour saisir les effets des manuels sur les meilleurs tudiants par rapport aux plus pauvres, en utilisant la fois des valeurs vrais et instrumentales (les scores de test initiaux sont corrls avec les termes de lerreur, rsultant dun prjug). La seconde approche qui implique lutilisation de la rgression quantile, est galement utile et de plus en plus populaire. De faon plus spcifique, du fait que la rgression des moindres carrs ne capture que limpact mdian du programme d manuels, les rgressions quantiles permettent une variation des effets du e traitement selon lendroit o se trouve ltudiant dans la distribution. Lvaluation est aussi particulirement forte, procurant lapplication dune mthode pour chercher les prjugs de slection et dusure. La source potentielle principale de problmes dans cette intervention est la promotion des diffrentielles et des taux de rptition entre les manuels et les coles de comparaison. Par exemple, les enfants peuvent tre pr omus diffrentiellement de la classe 2 (une classe sans manuel) la classe 3 (une classe avec manuel) dans les coles manuels. La promotion diffrentielle minimise les rsultats des classes dans lesquelles les plus mauvais tudiants sont insrs et, ventuellement, maximise les rsultats de celles dont ils proviennent. Ces deux effets ont t saisis dans lvaluation en procdant une restimation du modle de deux manires : se sparer des redoublants des deux ensembles dcoles et se sparer des tud iants les plus mauvais de chaque classe. La fiabilit des rsultats sous les deux approches a confirm limpact de lintervention. Finalement, en illustrant le fait de considrer limportance des effets secondaires, lvaluation a quantifi limpact de la fourniture des manuels sur la recherche de fonds par les parents. Ils ont trouv que lintervention a monopolis la contribution des parents le montant de lassistance non-ICS reue, par cole de comparaison, tait de $ 465 et par cole-manuel scolaire, de $267 (la valeur moyenne des manuels ICS tait de $ 485). Ils ont utilis une analyse simple de rgression, et examin et confirm lhypothse que les coles plus petites bnficiaient de plus de monopole que les plus grandes. Ceux qui lont excut. Une organisation but non lucratif hollandaise, International Christelijk Steunfonds, a financ le projet. Lvaluation a t ralise par un professeur du Massachusetts Institute of Technology (Kremer) et deux conomistes de la Banque Mondiale (Paul Glewwe et Sylvie Moulin). Certains cots ont t supports par la National Science Foundation et le World Bank Research Committee. V. Rsultats

Les rsultats de cette valuation contrastaient passablement avec les rsultats dautres valuations dinterventions de manuels scolaires. Les rsultats de base taient quil ny avait aucun impact significatif des manuels scolaires sur les rsultats acadmiques mdians, mais quil y avait, cependant, un effet significatif sur les meilleurs tudiants. C tait cohrent avec diffrentes techniques destimation et eci recoupement des donnes. VI. Leons tires

La leon la plus utile de cette valuation, tait limportance dutiliser diffrentes techniques conomtriques pour vrifier la cohrence des rsultats empiriques. Mme si la collecte des donnes tait fort proche de lidal, il est important que limpact estim de lintervention reste plus ou moins le mme avec diffrentes hypothses conomtriques et spcifications de modle. Lapplication de

ETUDES DE CAS

99

rgression quantile et des termes de linteraction tait galement une faon trs utile danalyser limpact sur diffrents sous-groupes de la population. Finalement, il est capital de chercher et didentifier les effets secondaires dans ce cas prcis, le potentiel de surpeuplement. Source Glewwe, Paul, Mickael Kremer, et Sylvie Moulin. 1998. Textbooks and Test Scores : Evidence from a Prospective Evaluation in Kenya. Development Research group (DECRG), Banque Mondiale, Washington, D.C. Trait.

100

EVALUATION DE LIMPACT DES PROJET S DE DEVELOPPEMLENT SUR LA PAUVRETE

Annexe 1.8 : Evaluation du projet de vulgarisation agricole au Kenya

I.

Introduction

Description du projet. Le premier Projet de Vulgarisation Nationale (NEP -1) au Kenya a introduit le systme de gestion Formation et Visite (T&V), pour les services de vulgarisation agricole, en 1983. Le projet avait le double objectif de dveloppement institutionnel et de prestation de services de vulgarisation en direction des paysans, dans le but daugmenter la productivit agricole. NEP-II, a suivi, en 1991, et visait consolider les gains acquis sous NEP -I en augmentant le contact direct avec les paysans, en amliorant la pertinence des informations de vulgarisation et des technologies, en mettant jour les comptences des employs et des paysans et en accroissant le dveloppement institutionnel. Evaluation de limpact. La performance du systme de vulgarisation kenyan a t controverse et fait partie du dbat plus large sur la rentabilit de lapproche T&V de la vulgarisation. Malgr lintensit du dbat, le rle important des services de vulgarisation agricole, au sein de la stratgie dveloppementale de la Banque Mondiale pour lAfrique, et le volume important des investissements raliss, trs peu de tentatives rigoureuses ont t faites pour mesurer limpact de lextension T&V. Dans le cas du Kenya, le dbat a t lev par des retours au T&V estims trs importants, rapports dans une tude prcdente, et le manque de rsultats visibles convaincants, y c ompris la pauvre performance de lagriculture kenyane, ces dernires annes. Le dsaccord (entre le Dpartement dEvaluation des Oprations et la rgion africaine de la Banque Mondiale) propos des performances de NEP-I persiste, en attendant cette valuation, laquelle adopte une approche rigoureusement empirique pour valuer limpact du programme sur les performances agricoles. En utilisant le cadre de gestion bas sur les rsultats, lvaluation examine limpact des services du projet sur la productivit et lefficacit agricole. Elle dveloppe aussi des analyses dimpact sur le programme (cest-dire la conscience des agriculteurs et ladoption de nouvelles techniques) et du rendement (par exemple la frquence et la qualit des contacts) de faon valuer la performance du systme de vulgarisation et de confirmer limpact actuel ou potentiel. II. Conception de lvaluation

La stratgie dvaluation illustre les techniques des meilleures pratiques en utilisant une palette de mthodes dvaluation assez tendue, afin dvaluer la mise en uvre et le rendement du programme, ainsi que son impact sur la productivit et lefficacit de la ferme. Aucune tentative nest faite pour tudier limpact sur lassistance aux mnages, qui est susceptible dtre influence par un certain nombre de facteurs ntant pas du ressort des activits T&V. Elle fait appel des mthodes la fois quantitatives et qualitatives de faon ce que des dcouvertes empiriques rigoureuses sur limpact des programmes pui sent tre s compltes avec des valuations des bnficiaires et des interviews de personnel devant mettre en relief des questions pratiques dans le processus de mise en uvre. Ltude a galement mis en application la mthode dvaluation contingente pour clarifier les valeurs individuelles dutilisation et de non-utilisation, pour une varit de publics et de marchandises et services publics. La mthode dvaluation contingente fait ressortir les valeurs individuelles dutilisation et de non-utilisation, pour une varit de publics et de marchandises et services publics. Les personnes interviewes sont appeles dclarer leur disposition payer (accepter) afin dviter un changement hypothtique dans la fourniture des biens ou des services cest dire le rsultat contingent. Dans ce cas particulier, on a demand aux agriculteurs combien ils seraient prts payer pour des services continus de vulgarisation agricole, dans le cas o le gouvernement cesserait de les procurer.

ETUDES DE CAS

101

Lvaluation quantitative est complique par le fait que le systme T&V a t introduit au niveau national, de faon viter une comparaison groupe de contrle de types avec programme et sans programme. La mthodologie de lvaluation a donc cherch exploiter les donnes de la production agricole des mnages davant projet disponibles pour une comparaison limite de type avant et aprs utilisant des mthodes de donnes sur tableau. Pour cela, des donnes existantes sur les mnages ont t compltes par une enqute frache pour former un tableau. Les estimations des bnficiaires conus pour cette tude nont pas pu tre ralises, mais lvaluation se base sur les dcouvertes pertinentes de deux estimations rcentes effectues au Kenya. Ltude est remarquable en ce sens quelle se base sur une palette de donnes pr existantes au Kenya (enqute sur les mnages, valuations participatives, et ainsi de suite), compltes par un effort plus exhaustif de collecte des donnes allant dans le sens de lvaluation. III. Collecte des donnes et techniques danalyse

Lapproche de lvaluation se base sur plusieurs sources actuelles de donnes quantitatives et qualitatives. Lvaluation quantitative est base largement sur une enqute sur les mnages de 1998 ralise par le Dpartement dEvaluation des Oprations de la Banque Mondiale. Cette enqute gnre un ensemble de donnes en tableau en rendant une nouvelle visite autant de mnages quil a t possible de localiser partir dune enqute sur les mnages de 1990 ralise par le Dpartement Technique pour lAfrique, lequel, son tour, sest bas sur un sous -chantillon de lEnqute sur le Budget des Mnages Ruraux de 1982. (Ces trois enqutes gnrent un ensemble de donnes en tableau pour environ 300 mnages. Lenqute recouvre la dmographie des mnages, les caractristiques agricoles, et des donnes sur les intrants et les rendements de la production agricole ; les enqutes de 1990 et de 1998 rassemblent galement des informations sur les contacts avec les services de vulgarisation, y compris la conscientisation et ladoption des messages relatifs lextension). Ces donnes sont compltes par une enqute du personnel de vulgarisation, plusieurs critiques rcentes du service de vulgarisation, ralises ou commissionnes par le ministre de lagriculture, et des discussions individuelles ou de groupes dintrt avec le personnel de vulgarisation. Ltude se base galement sur deux valuations rcentes des bnficiaires : une tude, en 1997, par Action Aid Kenya qui a tir au clair les opinions des utilisateurs et utilisateurs potentiels des services de vulgarisation du Kenya ; et une valuation participative sur la pauvret, en 1994, qui a enqut sur les services publics, y compris lextension, et a t ralise conjointement par la Banque Mondiale, lAdministration du Dveloppement Britannique lEtranger, La Fondation Africaine Mdicale et de Recherche, lUNICEF et le gouvernement kenyan. Lanalyse value la fois le processus de mise en uvre et les rsultats du programme T&V au Kenya. Ltude value le dveloppement institutionnel en se basant sur des donnes secondaires et qualitatives enqutes de personnel, interviews, ainsi que les examens des services de vulgarisation du ministre mme. La qualit et la quantit des services fournis sont values en ut ilisant une combinaison des dcouvertes des valuations participatives (des bnficiaires), des enqutes de personnel, et travers des mesures daide aux ncessiteux ainsi que la nature et la frquence du contact entre les agents de vulgarisation et les agriculteurs, tires des enqutes OED 1 de 1998. Les donnes de lenqute sont aussi utilises pour mesurer les rsultats du programme, en termes de conscientisation des agriculteurs et de recommandations sur ladoption de lextension. Les rsultats du programme son impact rel sur la production agricole au Kenya sont valus en associant la fourniture des services de vulgarisation aux changements de productivit et defficacit au niveau de la ferme. Se basant sur les donnes en tableau sur les mnages, ces impacts sont estims en utilisant lanalyse de lenveloppement des donnes, une technique non-paramtrique, visant mesurer les changements diachroniques dans lefficacit et la productivit, de pair avec une analyse conomtrique visant mesurer limpact de la prestation des services de vulgarisation sur la production fermire. Les mthodes dvaluation contingente sont utilises afin de mettre directement en vidence la volont des agriculteurs de payer pour des services de vulgarisation.

Dpartement dEvaluation des Oprations

102

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

IV.

Rsultats

Le dveloppement institutionnel de NEP -I et NEP-II a t limit. Aprs 15 ans, lefficacit des services de vulgarisation sest trs peu amliore. Bien quil y ait eu, rcemment, un remaniement au sein des approches de vulgarisation, le programme de vulgarisation a gnralement manqu de vision stratgique pour un dveloppement futur. La gestion du systme est encore faible, et les systmes dinformation quasi inexistants. La qualit et la quantit de la prestation de services sont pauvres. Les bnficiaires aussi bien que le personnel des services de vulgarisation nous rapportent que les visites sont la fois inefficaces et trop peu frquentes. Bien que les demandes en services techniques utiles continuent rester sans rponse, lextension des services publics continue se focaliser sur des messages agronomiques la fois simples et basiques. Pourtant, lapproche adopte une forte intensit de contact avec un nombre limit dagriculteurs est adapte pour dispenser de plus amples informations techniques. Le rsultat a t un systme de prestation de services coteux et largement inefficaces. Les activit s de vulgarisation nont eu que peu dinfluence sur lvolution des modles de conscientisation et dadoption des recommandations, ce qui indique un potentiel dimpact limit. Pour ce qui concerne limpact rel sur lefficacit et la production agricole, les donnes indiquent un lger impact positif des services de vulgarisation sur lefficacit technique mais aucun effet sur lefficacit conomique. De plus, aucun impact significatif de la prestation de services sur la productivit, au niveau de la ferme, na pu tre tabli en utilisant simplement les donnes disponibles. Cependant, les donnes indiquent que limpact a t relativement plus important dans les zones prcdemment moins productives, o le foss en termes de connaissance a probablement t le plus important. Ces dcouvertes sont cohrentes avec les dcouvertes de lvaluation contingente. Une vaste majorit dagriculteurs, la fois parmi les rcipiendaires et les non-rcipiendaires actuels, sont disposs payer pour recevoir des conseils, ce qui semble indiquer une demande reste sans rponse. Cependant, la valeur perue du service, en termes du montant offert, est bien en de de ce que le gouvernement dpense actuellement pour le fournir. V. Implications des politiques

Lvaluation des services de vulgarisation kenyans se singularise par la plthore de conclusions relatives la politique pratique qui dcoule de ces rsultats, dont plusieurs sont cohrents avec les projets de vulgarisation agricole venir. Dabord, lvaluation rvle le besoin de rehausser le ciblage des services de vulgarisation, en se concentrant sur des zones et des groupes dans lesquels la diffrence entre la pratique gnrale et les meilleures pratiques est la plus importante. Par consquent, limpact est probablement le plus grand. De plus, les conseils doivent tre minutieusement adapts la demande de la part des agriculteurs, en prenant en compte les variations des conditions conomiques et technologiques locales. Afin de parvenir ce niveau de ciblage des services avec succs, il est ncessaire dobtenir un flux rgulier et opportun dinformations fiables et appropries, ainsi quun systme dvaluation et de contrle pour assurer une rtroaction rgulire des bnficiaires sur le contenu des services . Pour augmenter lefficacit du programme, une prsence plus discrte et moins intense des agents de vulgarisation mais avec une plus grande couverture sera probablement plus rentable. Il ny a pas suffisamment dinnovations pour justifier des visites trs frquentes, et ceux qui sont actuellement privs daccs exigent des services de vulgarisation. Lapproche couverture du programme de prestations de services, laquelle repose principalement sur une seule mthodologie (visite de fermes) pour passer des messages standards simples, limite aussi lefficacit du programme. Les programmes radio sont dsormais populaires, les jeunes agriculteurs sont plus instruits et les prestataires alternatifs (organisations nongouvernementales) commencent merger dans les rgions rurales du Kenya. Une approche flexible, pluraliste de la prestation de services, et qui utilise plus particulirement des moyens de communication peu coteux, est certes susceptible de maximiser la rentabilit du programme. Finalement, les principales dcouvertes indiquent le besoin dune rforme institutionnelle. Comme avec dautres services, une plus grande efficacit dans la prestation des services peut tre obtenue grce des ramnagements institutionnels. Le point central de linstitution devrait tre le

ETUDES DE CAS

103

client (agriculteur). La dcentralisation de la conception du programme, y compris des mcanismes participatifs donnant la parole aux agriculteurs (tels que le partage des cots et les organisations de fermiers) devrait devenir une partie intgrale du mcanisme de prestation. La durabilit financire est capitale. La taille et lintensit des services devraient tre bases sur le foss actuel, en termes de connaissance et de technologie, ainsi que lafflux des nouvelles technologies. Le recouvrement des cots, mme partiel, offre plusieurs avantages : il procure des incitatifs appropris, soccupe de questions de responsabilit et de contrle de la qualit, rend le service plus sensible et tributaire de la demande, et procure en quelque sorte une espce de rpit budgtaire. De tels ramnagements institutionnels dcentraliss sont encore inexploits au Kenya, ainsi que dans plusieurs programmes de vulgarisation, en Afrique et dans le monde. VI. Cots dvaluation et administration

Cots. Le montant total du budget attribu pour lvaluation tait de $ 250.000, qui ont couvert la collecte et le traitement des donnes de lenqute sur les mnages (65.000 $ bien que ce soit probablement une sous-estimation des cots rels) ; lenqute du personnel de vulgarisation, et le rapport des consultants (12.500 $) ; dautres relatifs la collecte des donnes (12.500 $) ; et un analyste de recherche (8.000 $). Approximativement 100.000 $ (non rapports dans les cots officiels) des cots en personnel pour la collecte, lanalyse et le rapport des donnes devraient aussi tre ajouts afin de reflter fidlement le cot de ltude. Administration. Afin de maintenir une certaine objectivit et de dissocier le travail denqute la fois du service de vulgarisation gouvernemental et de la Banque Mondiale, lenqute sur les mnages a t mise en uvre par lInstitut Tegemeo de lUniversit dEgerton, un institut de recherche indpendant au Kenya. Lanalyse a t faite par Madhur Gautam, de la Banque Mondiale. VII. Leons tires

La combinaison de lvaluation base sur la thorie et un cadre de travail bas sur les rsultats peut fournir une base solide pour valuer limpact des interventions du projet, particulirement lorsque de nombreux facteurs sont susceptibles dinfluencer les rsultats attendus. La conception d cette e valuation a fourni des informations pour mesurer les indicateurs cls durant les tapes cruciales du cycle de projet, reliant les donnes du projet aux rsultats attendus afin daccumuler suffisamment de preuves dimpact. Une valuation empirique exige une supervision intense et constante. Une valuation peut tre simplifie de faon significative, avec un systme destimation et de contrle de grande qualit et fonctionnant correctement, spcialement avec de bonnes donnes rfrentielles. Des ressources adquates pour de telles activits sont rarement disponibles. Cette valuation a galement normment bnfici du fait davoir accs certaines donnes, si limites soient-elles, au stade davant projet, ainsi que de sources indpendantes de donnes, des fins comparatives. Une validation croise des conclusions utilisant diffrentes approches analytiques et sources de donnes est importante pour rassembler un ensemble de preuves qui soit plausible. Des donnes imparfaites et des problmes de mise en uvre mettent certaines limites au degr de confiance que les mthodes individuelles peuvent inspirer, par rapport des questions dvaluation importantes. Des estimations quantitatives et qualitatives se compltent fort bien les unes les autres. Lexprience de cette valuation indique que mme en labsence dvaluation des bnficiaires participants, des questions conues de faon approprie peuvent tre incluses dans une enqute pour collecter la fois des informations quantitatives et qualitatives. De telles informations peuvent procurer certains aperus utiles mme de complter des estimations quantitatives. Lvaluation contingente, si elle est correctement applique, peut tre un outil utile, particulirement pour ce qui concerne lvaluation de la valeur dun service public existant. Les rsultats de

104

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

lapplication, dans cette valuation, sont encourageants, et les rponses semblent tre la fois ration nelles et raisonnables. VIII. Sources

Banque Mondiale. 1999. World Bank Agricultural Extension Projects in Kenya : An Impact Evaluation. Operations Evaluation Department, report N 19523. Washington, D.C. Les titres suivants sont galement disponibles au sein du Dpartement Evaluation des Oprations de la Banque Mondiale : Lefficacit du systme de vulgarisation agricole T&V au Kenya : Rsultats dune enqute sur les mnages Conscientisation et adoption des messages de vulgarisation Reprise en considration des preuves sur les rsultats de lextension T&V au Kenya Efficacit des agriculteurs et changement de productivit au Kenya : Application de lanalyse denveloppement des donnes La volont de payer pour les services de vulgarisation au Kenya : Application de la mthode dvaluation contingente

ETUDES DE CAS

105

Annexe 1.9 : Impact du Programme de Recyclage du Mexique sur lemploi et les salaires (PROBECAT)

I.

Introduction

Ce cas est quelque peu inhabituel en ce sens que le programme a fait lobjet de trois valuations dabord par la Banque Mondiale qui a utilis des donnes de 1992 (Revenga, Riboud et Tan, 1994) ; ensuite, par le Ministre Mexicain du Travail qui a utilis des donnes de 1994 (STPS 1995) ; enfin, une mise jour par la Banque Mondiale (Wodon et Minowa 1999). Les mthodologies utilises pour les deux premires valuations taient assez identiques et ont donn des rsultats identiques. Les consolidations mthodologiques de la troisime valuation ont conduit des conclusions et dcisions de politique diffrentes. Le fait que les rsultats diffrent de manire substantielle entre les deux premires valuations et la troisime souligne limportance de la mthodologie et des donnes utilises et la prudence dans linterprtation des rsultats lors de lexcution des valuations de programmes. Description du projet. PROBECAT (Programa de Becas de Capacitacion para Trabajadores) est un programme mexicain de formation court terme visant laccroissement des revenus et lemploi pour les travailleurs chmeurs et dplacs. Il est gr par le biais des bureaux publics demploi. Les stagiaires bnficient dun salaire minimum durant la priode de la formation qui dure de un six mois et les bureaux locaux de lemploi sont responsables du stage. Au dpart, le programme tait de petite enver gure (quelque 50 000 participants), mais au cours des dernires annes il a connu une croissance rapide, comptant plus de 500 000 participants par an. Points forts des valuations. Les points forts sont les suivants: Lvaluation de 1994 est intressante pour quatre raisons: lutilisation gniale des donnes existantes; la mise en place dun groupe de comparaison similaire; la reconnaissance explicite de la nature contours multiples des rsultats de lintervention, en particulier pour les groupes htrognes de travailleurs; et lanalyse explicite de la rentabilit. Les conclusions de lvaluation taient assez positives en termes dimpact du programme sur les bnficiaires. Lvaluation de 1995 est une reconduite de la mthodologie de lvaluat ion de 1994 sur un ensemble de donnes plus rcentes. Les conclusions sont galement favorables pour limpact du programme. Compte tenu du fait que la conception et les conclusions de lvaluation de 1995 sont semblables celles de lvaluation de 1994, lvaluation de 1995 ne sera pas discute ici. Lvaluation de 1999 a eu lieu dans le cadre de lvaluation de la pauvret au Mexique en se basant sur lensemble des donnes utilises dans lvaluation de 1995 mais avec une mthodologie conomtrique diff rente. Les contrles utiliss pour lendognit de la participation du programme ont montr la disparition de limpact du programme sur la probabilit du travail et sur les salaires aprs la formation. Mme si ce fait ne signifie pas que le programme na pas de profit , il suggre quil fonctionne plus en tant que rseau de scurit temporaire pour les chmeurs que comme programme de formation pour lemploi. II. Thmes de recherche et mthode dvaluation

Dans lvaluation de 1994, les auteurs mesurent limpact de la formation sur (a) la probabilit de lemploi aprs 3, 6 et 12 mois; (b) le temps de sortie du chmage; (c) leffet sur les gains mensuels, les heures de travail hebdomadaire et les salaires horaires; et (d) le rendement sur linvestissement. Lvaluation de 1999 tudie les mmes questions lexception de celles sur les heures de travail hebdomadaire et les salaires horaires. Considrant quil nexiste pas dimpact dans cette

106

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

valuation sur lemploi et les salaires mensuels, le rendement est nul mais le programme peut fonctionner en tant quentit de scurit. La conception des deux valuations est innovatrice par le fait de la mise en place du groupe de comparaison. Dans les deux cas, les valuations impliquent lentit denqute existante de la main-doeuvre, lEncuesta Nacional de Empleo (ENEU) avec un groupe de stagiaires pour la mme priode. En dautres termes, les critres de slection d programme sont utiliss pour dfinir le groupe de contrle de ENEU. u Mme sil nexiste pas dalternative la combinaison des enqutes pour cause de donnes limites, la mise en place de lchantillon conjoint (groupes de contrle et de traitement) peut tre mise en cause, comme il a t discut dans lvaluation de 1999: En utilisant des personnes sans emploi au niveau de ENEU pour former le groupe de contrle, il est ressorti quaucune personne de ENEU na bnfici du programme, ce qui nest pas le cas car il existe pour chaque individu de ENEU la probabilit davoir particip PROBECAT. Heureusement, vu que cest un petit programme jusquen 1993, seule une petite minorit dindividus du groupe de contrle ont bnfici du programme (les donnes de lvaluation de 1999 datent de 1993 94); La combinaison des deux chantillons pris au hasard (stagiaires de PROBECAT et individus chmeurs de ENEU) nest pas un chantillon pris au hasard, de sorte quen labsence de proprits normales pour les restants, les rsultats des rgressions pourraient ne pas produire des estimations de paramtres consistants, en particulier parce que les modles utiliss sont sensibles la prsomption de normalit bi-varie. En labsence de meilleures donnes, peu daction peut tre entreprise dans ce domaine.

Les principales diffrences entre les valuations de 1994 et de 1999 sont les suivantes: Dans lvaluation de 1994, les auteurs tentent de se proccuper des problmes de parti pris dans la slection rsultant de la slection au hasard des stagiaires par PROBECAT, en estimant un modle de probit de la probabilit de participation. Le groupe de comparaison est donc limit aux individus qui sont plus susceptibles de participer. Dans lvaluation de 1999, les auteurs soutiennent que cette mthode nlimine pas le problme dendognit de la participation au programme. Dans lestimation des salaires dans lvaluation de 1994, alors que la participation PROBECAT est contrle, le parti pris dans la slection de lchant illon rsultant de la dcision de travailler nest pas pris en compte. Dans ltude de 1999, les deux problmes de slection de lchantillon sont pris en compte. III. Donnes

Dans lvaluation de 1994, les donnes sur les stagiaires sont collectes partir dune enqute rtrospective de 1992 effectue auprs de 881 hommes et 845 femmes forms en 1990. Elles sont compltes par des donnes dune commission denqute auprs de 371 hommes et 189 femmes elles -mmes obtenues dune enqute sur les foyers de 16 zones urbaines principales du Mexique. Cette enqute faisait partie dune enqute trimestrielle rgulire sur la main-duvre ENEU, entreprise par lagence mexicaine des statistiques. Les auteurs ont profit de la structure de rotation du groupe de lenqute pour prendre des travailleurs en chmage au cours du troisime trimestre de 1990 et ont ensuite suivi ces travailleurs pendant une anne. Cela a t complt par un ensemble dautres travailleurs ayant perdu leur emploi au cours du quatrime trimestre de la mme anne et suivis leur tour pendant neuf mois. La mme mthode a t utilise dans lvaluation de 1999, mais avec des donnes plus rcentes. IV. Techniques conomtriques

Les principales techniques conomtriques utilises sont lanalyse de la survie (modles de dure) pour la probabilit de trouver du travail et les rgressions de Heckman pour les salaires.

ETUDES DE CAS

107

Ce qui suit est bas sur lvaluation de 1999. Les diffrences avec lvaluation de 1994 sont mises en vidence.
Impact de PROBECAT sur la dure de recherche de lemploi. Dans lanalyse de la survie, la fonction du survivant S(t) reprsente la dure du chmage aprs la formation (mesure en mois). Etant donn S(t), la fonction de lventualit de rester au chmage (t) dnotant la chance de trouver de lemploi (ou le risque de rester au chmage) pendant le temps t pour les individus encore chmeurs en ce moment est (t) = d(logS(t))/dt. La courbe du survivant peut tre spcifie comme une fonction de participation du programme P, caractristiques individuelles X et caractristiques de ltat Z, de sorte que = (t ; X, Z, P). Dans le modle de chances proportionnelles de Cox, si i dnote un foyer et j la zone o vit ce foyer, nous avons : (t; X, Z, P1, P2) = 0(t) exp(Xij + Zj + Pij). (1) Cox propose une estimation partielle maximale de lventualit de ce modle dans laquelle la fonction de base o (t) na pas besoin dtre spcifie. Si est positif et statistiquement important, le programme a un effet positif sur lemploi. De manire stylise, la diffrence entre les valuations de 1994 et 1996 peut tre dcrite ainsi : Dans lvaluation de 1994, les auteurs effectuent une enqute sur la probabilit de la participation du programme et retirent du groupe les individus avec une faible probabilit de participation au programme. Ils appliquent lquation (1) sans contrle supplmentaire quant lendognit. Dans lvaluation de 1999, les auteurs ont galement recours des questions sur la participation au programme, mais ils profitent de lexistence du programme au niveau local (obtenue partir des donnes administratives) comme facteur de participation supplmentaire dterminant (et non comme rsultat conditionnel de la participation individuelle). Ensuite, ils appliquent lquation (1), non avec la valeur relle de la variable de participation mais avec la valeur (indice) attendue obtenue des questions initiales. Ceci est une procdure de variable instrumentale. Lide est base sur le travail effectu sur lvaluation du programme utilisant les proprits de dcentralisation de Ravallion et Wodon (2000) et Cord et Wodon (1999). Les auteurs comparent leurs rsultats avec ceux dautres modles, en montrant que dautres mthodes font ressortir un parti pris dans la valeur des estimations du paramtre cause du contrle insuffisant de lendognit.

Impact de PROBECAT sur les salaires mensuels. Pour effectuer cette analyse, un modle avec contrles pour la slection de lchantillon de la main-duvre et la participation au programme est utilis dans lvaluation de 1999 (celle de 1994 contrle seulement la participation au programme). Dnote par log w le logarithme du salaire attendu par individu. Ce salaire nest pas nul si et seulement sil est suprieur au salaire minimum accept de lindividu. (Sinon, lindividu pourrait choisir de ne pas travailler). Dnote la diffrence non observe entre le salaire minimum accept de lindividu et son salaire de rserve par *. Le salaire minimum accept de lindividu est dtermin par un nombre de variables Z individuels (vecteur E, constitu essentiellement de lducation et de lexprience antrieure de lindividu) et gographiques, plus la participation du programme P. La diffrence entre le salaire attendu de lindividu et son salaire minimum accept est dtermine par les mmes variables, plus le nombre denfants, le statut de chef de famille et la situation matrimoniale reprsents par D. Le modle est donc :
ij = Eij + Dij + Zj + Pij + vij avec ij = 1 si ij* > 0, et 0 si ij* 0 (2) Log wij* = wEij + wZj + wP + kij avec Log w* si = 1 et 0 si = 0 (3)

Comme pour le modle de la survie, pour vrifier lendognit de la participation au programme, dans lvaluation de 1999, des questions sur la participation au programme sont dabord

108

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

poses en partant de la prsence du programme sur le plan local comme facteur dterminant de la participation individuelle. Ensuite, les quations ci-dessus sont values en utilisant la valeur (indice) projete de la participation au programme au lieu de sa valeur relle. Dans lvaluation de 1994, le modle ne sassure pas de la dcision de participer au march de lemploi donn dans lquation (2) ci dessus. Cette quation est remplace par la probabilit de participation au programme comme variable indpendante. L aussi, les comparaisons des diffrents modles montrent lexistence de parti pris quand la variable technique instrumentale nest pas utilise. V. Ceux qui lont excut

Lvaluation de 1994 a t effectue par Ana Revenga du Dpartement II Pays de lAmrique Latine et des Carabes la Banque Mondiale, Miche lle Riboud du Dpartement IV Pays dEurope et dAsie Centrale la Banque Mondiale et Hong Tan du Dpartement Dveloppement du Secteur Priv la Banque Mondiale. Lvaluation de 1999 a t effectue par Quentin Wodon et Mari Minowa, galement de la Banque Mondiale (Rgion Amrique Latine). VI. Rsultats

Les rsultats obtenus au cours des diverses valuations sont trs diffrents. Les valuations de 1994 et 1995 trouvent des impacts positifs du programme sur lemploi et les salaires. Aucun impact positif na t trouv dans lvaluation de 1999 qui est base sur les mmes donnes utilises dans lvaluation de 1995. En termes danalyse de la rentabilit, les deux premires valuations sont favorables mais la dernire ne lest pas. Les rsultats dfavorables de la dernire valuation ne constituent pas une surprise. Il a t trouv que la plupart des programmes de recyclage des pays de lOrganisation pour la Coopration Economique et le Dveloppement ont un certain impact mais cet impact tend disparatre au bout de quelques annes (Dar et Gill 1998). Le fait que PROBECAT ne soit pas probablement rentable pour les participants au long ou moyen terme selon la dernire valuation ne signifie pas quil devra tre supprim. Le programme pourrait tre peru comme fournissant des rseaux de scurit temporaires (par le biais de lallocation du salaire minimum) plutt que de formation. Il pourrait galement tre amlior afin de fournir la formation avec des effets durables. VII. Leons tires

Au-del des quelques aspects innovateurs de ces valuations et de leurs limites, la principale leon apprise est la ncessit de prise de prcaution dans les valuations de programmes et de lutilisation des rsultats pour recommandation doptions de politiques. Le fait pour une valuation plus rcente utilisant des techniques conomtriques diffrentes de pouvoir contredire une premire devra tre toujours gard prsent lesprit. Beaucoup de cas du genre existent dans les documents pour en attester. VIII. Sources

Revenga, Ana, Michelle Riboud et Hong Tan. 1994. "The Impact of Mexicos Retraining Program on Employment and Wages." World Bank Economic Review 8 (2) : 247 77. Wodon, Quentin et Mari Minowa. "Training for the Urban Unemployed : A Reevaluation of Mexicos PROBECAT." World Bank, Government Programs and Poverty in Mexico, Report No 19214-ME, Vol. II.

ETUDES DE CAS

109

Annexe 1.10 : Programme national pour lducation, la sant et la nutrition (PROGRESA) au Mexique : Proposition dEvaluation

I.

Introduction

Description du projet. PROGRESA est un programme multisectoriel dont le but est la lutte contre lextrme pauvret au Mexique par le biais de la fourniture dun ensemble intgr de services de sant, de nutrition et dducation, au profit des familles pauvres. Le gouvernement mexicain fournit lassistance financire, les contributions nutritionnelles, les fournitures ducationnelles et une assistance de sant de base pour une priode de trois annes conscutives. Il compte largir PROGRESA de sa taille actuelle de 400 000 familles de 1 1,5 millions de familles dici la fin de lanne 1998 avec une dpense de 500 millions de dollars. Points forts de lvaluation . Lvaluation est particulirement complexe parce que le programme est valu sur trois dimensions: opration, recherche de lefficacit et impact. Les r sultats tant galement multidimensionnels, ils ajoutent la complexit. Ainsi, il existe plusieurs diffrents lments dvaluation: slection des bnficiaires, mthodes dvaluation, cadre dvaluation, danalyse non exprimentale, besoins en donnes, impacts sur lducation, la sant, la consommation alimentaire et la nutrition, sur les dpenses en consommation et lallocation intra-foyer, les impacts secondaires potentiels du programme, les simulations sur les changements dans les avantages du programme et les questions de rentabilit. Bien que lvaluation soit une bauche dides plutt que des rsultats dune excution, la principale leon apprise delle est la manire de penser et de structurer une valuation avant son excution relle. En particulier, il existe une bauche trs utile des questions conceptuelles et empiriques rsoudre dans le cadre dune valuation et des voies par lesquelles les questions peuvent tre tudies. Un autre lment important de lvaluation est son ampleur: au lieu de procder une simple valuation de limpact de lintervention, il est utile de spcifier si le rsultat a des chances de russir dans lopration et le ciblage de lintervention. II. Thmes de recherche et mthode dvaluation

Lessentiel des questions de recherche concerne lvaluation des trois dimensions de la performance de PROGRESA aspects oprationnels, ciblage et impact. Laspect oprationnel dune intervention est souvent ignor en dpit du fait que les interventions peuvent tre transformes dchecs en russites, si des mesures de correction sont prises. Un raisonnement similaire peut tre fait sur le ciblage: un programme peut sembler avoir chou simplement cause dun mauvais ciblage plutt que parce que lintervention a elle-mme chou. Limpact de lvaluation est plus courant mme si cet objectif est assez ambigu car tant lampleur de limpact que les voies par lesquelles il est ralis sont analyses. Le contrle de lopration du programme est une procdure deux niveaux. Lquipe met en place un schma de la squence des tapes de lintervention. Ensuite, elle procde par observations, entretiens, groupes focaux et ateliers avec les acteurs pour valuer, analyser et ventuellement changer les procdures du programme. Une approche en deux tapes est galement utilise pour cibler les mnages devant participer au PROGRESA. La premire est lidentification, au moyen dun indice de pauvret, des localits dune rgion qui sont ligibles pour bnficier de PROGRESA. La deuxime est lidentification de lligibilit dune famille au niveau dune localit, sur la base de linteraction entre les responsables de PROGRESA et les lus locaux. Ltude se penchera sur la validit de ce ciblage en (a) comparant la distribution des niveaux de consommation des mnages parmi les mnages participants et non

110

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

participants dans les localits de traitement, (b) drivant un dcoupage dligibilit pour la consommation des mnages conformment au nombre total de mnages pouvant tre servis par PROGRESA, (c) effectuant une analyse de sensibilit et de spcificit des mnages PROGRESA et non PROGRESA contre les mnages slectionns dans le cadre de ce dcoupage, (d) exploitant la capacit des critres prsents pour prvoir la consommation, (e) identifiant des critres de rechange partir dautres sources de donnes et (f) simulant des modles susceptibles damliorer le ciblage par le biais de critres de rechange (Institut International de Recherche sur la Politique de lAlimentation 1998, p.6). Pour lvaluation de limpact, le mme systme a t suivi, avec le rsultat que les localits ont t attribues 296 groupes de traitement et 173 groupes de non traitement, avec 14 382 familles dans la premire catgorie et 9 202 familles dans la dernire catgorie. Les familles ligibles de la catgorie de contrle bnficieront de traitement aprs au moins une anne. Les consultants comptent tester la possibilit dun choix au hasard en comparant les caractristiques des groupes de traitement et de contrle. Si ces derniers sont systmatiquement diffrents, trois mthodes nonexprimentales seront utilises: mthodes de contrle du fonctionnement, dassortiment et de rgression. III. Donnes

Llment des donnes oprationnelles est obtenu de lobservation et des entretiens, groupes focaux et ateliers avec les acteurs. Laccent principal est mis sur la raison dtre et la manire dont les choses existent, le niveau de satisfaction quant au processus et les suggestions pour une amlioration. Ces donnes sont collectes dans toutes les localits et dpendront largement des archives administratives internes de PROGRESA. Deux enqutes ont t entreprises: les enqutes de recensement de Dcembre 1997 et les enqutes de base de Mars 1998. La variable centrale pour le critre de ciblage est clairement la consommation des mnages; alors que cette dernire navait pas t prise en compte dans le recensement, elle la t dans lenqute de Mars. Cette variable manque cependant de dinformations sur lautoconsommation et mme si elle va ltre plus tard, elle sera affecte par lexcution de PROGRESA. Les consultants prvoient de travailler exclusivement avec les mnages ligibles et non ligibles au niveau des localits de contrle. Lvaluation de limpact bute sur le choix des indicateurs dimpact. PROGRESA devra affecter la fois la qualit et la quantit des services fournis et linvestissement en sant, nutrition et ducation. Un ensemble dindicateurs dvaluation est propos sur la base de certains rsultats dimpact et chacun provient dune source de donnes associe. Le bien-tre du mnage, tel que mesur par la consommation du foyer, lpargne, laccumulation de biens durables sera mesure par le biais denqutes de base et de suivi; ltat nutritionnel et de sant des enfants sera mesur par des enqutes de sous-chantillons nutritionnels de base et de suivi; la russite scolaire des enfants sera mesure par des tests nationaux standardiss; la consommation alimentaire sera dfinie par des enqutes de base et de suivi; lutilisation de lcole sera tudie la fois par des enqutes de base et de suivi et par une enqute au niv eau scolaire; lutilisation des structures sanitaires pourra tre contrle travers les archives des centres de sant et les enqutes et le statut des femmes pourra tre galement mesur par le biais denqutes et les investigations des acteurs. Un aspect trs intressant de lvaluation propose est lapproche analytique adopte pour lexamen des mesures finales courantes et la discussion largie des rsultats et mesures des rsultats plus appropris pour lducation, la sant et la consommation. Il est prvu une analyse de la rentabilit. Un ensemble davantages est mis en place, malgr la difficult inhrente la montisation de la qualit de la vie et aux amliorations de la remise du pouvoir. Deux types diffrents de cots sont galement identifis: cots lis au programme administratif et cots du programme. Les premiers concernent la slection, les mcanismes de livraison cibls et les cots lis au contrle. Les deuximes englobent la gnration de revenus prvus.

ETUDES DE CAS IV. Techniques Economtriques

111

Les techniques conomtriques appliques dpendent des rapports estimer. Les consultants discutent de la justesse du lien de la fonction de production (par exemple, pour la russite acadmique), des liens du besoin (par exemple pour les services de sant ou dducation) et des liens de besoin conditionnel (pour lesquels certaines variables sont dtermines par la famille plutt que par lindividu). La technique conomtrique la plus intressante utilise est applique lestimation dune fonction

de dpense de Working-Leser de la forme:


Wj = i+ij Ipcexp + 2 Isiz + k kj demk + s sj zs + 3jP +ej o wj reprsente la part du budget du nime bien; Ipcexp le log des dpenses totales per capita; Isiz, le log de la taille du mnage; demk la proportion du groupe dmographique k dans le mnage; z5 un vecteur de variables fictives affectant la localisation du mnage; P reprsente la participation PROGRESA et ej les termes de lerreur. Cette approche offre beaucoup davantages: elle permet linclusion des facteurs de contrle; elle rpond la contrainte de la contradiction et elle est largement utilise, permettant des comparaisons avec dautres tudes. Enfin, le modle peut tre utilis pour identifier trois voies diffrentes travers lesquelles PROGRESA est susceptible daffecter les dpenses: travers le changement des ressources des mnages (nj fois la tendance marginale dpenser, estime sparment), travers le changement de la distribution du revenu (en le modifiant pour y inclure la proportion de femmes adultes dans le foyer) et travers un effet de plus grande participation, les enqutes de base et de suivi, lutilisation des mthodologies des diffrences.

Elles identifient galement les principaux problmes conomtriques susceptibles dtre rencontrs: co -linarit, erreur de mesure, variables omises, simultanit et identification de la priode au cours de laquelle il est raisonnable de commencer observer un impact.
V. Ceux qui lexcuteront

Le personnel de lInstitut international de Recherche de Politique Alimentaire comprend Gaurav Datt, Laurence Haddad, John Hoddinott, Agnes Quisumbing et Marie Ruel. Lquipe est compose de Jere Behrman, Paul Gertler et Paul Schultz. VI. Leons tires

La premire leon apprise ici est la valeur de lidentification des problmes dvaluation, la mthodologie et les sources et lvaluation critique de lvaluation elle-mme avant le dmarrage de celle-ci. Cette bauche dvaluation offre une opportunit trs importante dans la mise en place dune illustration rflchie de tous les problmes et manquements quun valuateur est susceptible de rencontrer. En particulier, quelques questions de bon sens dans lvaluation dun impact sont identifie: (a) les changements de politiques peuvent tre difficilement prvus cause de la substitution croise et de lajustement de comportements; (b) les avantages et cots marginaux dpendent dun nombre dlments : externalit (foss entre les valuations sociale et prive), acteurs (parents contre enfants); (c) limportance des caract ristiques non observes; (d) limportance du contrle des caractristiques de lindividu, de la famille et de la communaut et (e) les estimations empiriques dpendant dun environnement macro-conomique, de march, de politique et de rgulation donn. VII. Sources

Institut International de Recherche de Politique Alimentaire. 1998 Programa Nacional de Educacion, Saludad, y Alimentacin (PROGRESA); Une proposition dEvaluation (avec annexe technique). Washington, D.C.: IFPRI.

Annexe 1.11 : Evaluation de la rforme scolaire au Nicaragua : Une approche quantitative et qualitative combine

I.

Introduction

Description du projet. En 1991, le Gouvernement du Nicaragua a introduit une rforme radicale de son systme denseignement public. Le processus de la rforme a dcentralis ladministration scolaire (dcisions relatives au personnel, au budget, au programme et la pdagogie) et transfr les responsabilits financires un niveau local.
Les rformes ont t mises en oeuvre sur une certaine priode de temps, commenant en 1991par un dcret qui cre dans tous les tablissements publics des conseils communautparents dlves. En 1993 un programme pilote au niveau de 20 tablissements secondaires slectionns transforma alors ces conseils en comits de gestion avec des responsabilits plus importantes par rapport au personnel, au budget, au programme et la pdagogie. En 1995, les comits de gestion scolaire taient oprationnels dans 100 tablissements secondaires et dans plus de 300 tablissements primaires, inscrits au programme par un processus dauto slection impliquant un grand nombre denseignants et de directeurs dtablissements. Il tait prvu que lautonomie scolaire soit presque gnralise vers la fin de lanne 1999. Lobjectif des rformes d Nicaragua est de dvelopper lenseignement en changeant le processus u organisationnel au sein des tablissements publics afin que les dcisions prises aient un impact positif sur les tudiants dabord. Lorsque ladministration scolaire devient plus dmocr atique et participative et que les revenus gnrs localement augmentent, les procdures de dpenses deviennent plus rationnelles et consacres aux efforts qui amliorent directement la pdagogie et augmentent la performance des tudiants. Evaluation de limpact. Lvaluation de la Rforme relative lAutonomie de lEcole au Nicaragua constitue lun des premiers efforts visant valuer limpact de la dcentralisation sur les performances des tudiants. Lvaluation qui a t mene conjointement par la Banque Mondiale et le Ministre de lEducation a commenc en 1995 et devait tre acheve vers la fin de 1999. La conception est innovatrice en ce sens quelle combine des mthodes dvaluation qualitatives et quantitatives, et que la composante quantitative est unique en ce sens quelle intgre un module spar dvaluation des processus de dcisions scolaires. Lvaluation illustre galement les "meilleures" techniques "utiliser" lorsquil ny a pas de donnes de rfrence et lorsque lapplication slective (non randomise) des rformes exclut une mthode dvaluation exprimentale. Lobjectif de la composante qualitative de lvaluation est de dterminer si la gestion et les rformes financires souhaites sont rellement appliquses ou non dans les coles et dvaluer comment les attitudes des diffrents partenaires vis--vis de la rforme. La composante quantitative concrtise ces rsultats en rpondant la question suivante: "Est-ce que les changements intervenus dans ladministration scolaire et le financement des coles permettent aux enfants dobtenir de meilleurs rsultats scolaires?" Les rsultats qualitatifs montrent que lapplication russie des rformes dpend en grande partie de la situation scolaire et de lenvironnement (cest dire du degr de pauvret de la communaut), alors que les rsultats quantitatifs suggrent que laccroissement de la prise en charge par les coles est en fait li de faon significative lamlioration de la performance des lves.

ETUDES DE CAS II.

113

Mthode dvaluation

La mthode dvaluation relative la rforme sur lAutonomie de lEcole au Nicaragua est base sur la "technique de comparaison apparie " dans laquelle les donnes pour un chantillon reprsentatif des tablissements participants au processus de la rforme sont compares aux donnes dun chantillon dtablissements non participants. Lchantillon dtablissements non participants est slectionn pour avoir des caractristiques qui ressemblent, aut ant que possible, aux caractristiques des tablissements participants et fournir ainsi le non factuel. Cette mthode a t choisie parce que labsence de donnes de rfrence a exclu toute possibilit demploi de technique dvaluation priori et posteriori et parce que les rformes ntaient pas appliques alatoirement aux tablissements, ce qui a exclu une mthode exprimentale dvaluation (dans laquelle lchantillon des tablissements qui ont fait lobjet de lvaluation serait alatoire et donc reprsentatif du point de vue national). III.

Collecte de donnes et techniques danalyse

Ltude qualitative se rapporte des donnes relatives un chantillon de 12 tablissements, dont 9 rforms et 3 non rforms, qui reprsentent le groupe de contrle. Les donnes avaient en fait t collectes au niveau de 18 tablissements, mais seuls 12 de ces tablissements ont t inclus dans ltude qualitative en raison des retards dans la prparation des relevs et dune dcision qui avait t prise de concentrer lessentiel de lanalyse sur les tablissements de la rforme, fournissant ainsi plus dlments significatifs lanalyse. Lchantillon des 12 tablissements avait t choisi tre reprsentatif des tablissements primaires et secondaires et des tablissements urbains et ruraux, et tait bas sur ltude quantitative mene en 1995, et sur des tablissements ayant des degrs diffrents dautonomie dans la prise de dcision. Au total 82 entretiens et des sessions de groupes spcialiss avaient t mens, mettant laccent sur la question de savoir quelle signification les directeurs dtablissements, les membres du conseil, les parents et les enseignants donnaient au processus de dcentralisation et quelle tait leur attitude vis--vis de celui-ci. Tous les entretiens avaient t raliss par des Nicaraguayens dorigine, entrans travers des simulations dentretien et des tests pilotes utiliser une srie de questions types sans canalisation des rponses. Les entretiens avaient t enregistrs par moyen audio, transcrits, et enfin rendus sur deux quatre pages de transcription, le tout analys pour identifier les lments particulirement significatifs et les thmes fondamentaux concernant tous les tablissements et acteurs, ainsi que les questions qui ont surgi entre les tablissements de la rforme et le groupe de contrle.
La collecte de donnes quantitatives comprenait deux composantes, une srie dtudes dtablissements ralise en deux tapes (Novembre-Dcembre 1995 et Avril-Aot 1997) et des tests de performance dtudiants frquentant ces coles qui avaient t organiss en Novembre 1996. Ltude ralise au niveau de lcole a permis de collecter des donnes sur les taux dinscription, de redoublement et dabandon, sur les ressources matrielles et humaines, la prise en charge au niveau des dcisions, ainsi que les caractristiques des directeurs dtablissements, des enseignants, des tudiants et de leurs familles. Le module de prise de dcision au niveau des coles est unique et prsente une srie de 25 questions conues pour vrifier si et comment la rforme a rellement augment la prise de dcision au niveau des tablissements. Ltude a concern 116 tablissements secondaires (73 reforms et 43 non reforms reprsentant le groupe de contrle) et 126 tablissements primaires (80 reforms et 46 non reforms). Ici encore, les groupes de contrle avaient t slectionns pour avoir les mmes caractristiques que les tablissements reforms. Lenqute a galement permis de collecter des donnes sur 400 enseignants, 182 membres de conseil, et 3000 tudiants et leurs parents, et 10 15 tudiants avaient t choisis au hasard au niveau de chaque cole. Les tudiants qui sont rests lcole et que lon pouvait retrouver ont subi un test de performance la fin de lanne scolaire 1996 et au cours de la deuxime srie de collecte de donnes dtude en 1997. Lanalyse des donnes quantitatives porte sur des techniques de rgression pour estimer une fonction de production de lenseignement. Cette techniqu permet dexaminer limpact du systme dadministration e scolaire (son degr de dcentralisation) sur les niveaux de performance des tudiants, le contrle des performances des scolaires, et les caractristiques des mnages et des

114

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

tudiants. Lanalyse mesure la fois les impacts de la dcentralisation de droit et de fait; la dcentralisation de droit indique simplement si ltablissement a t lgalement ou non touch par la rforme, alors que la dcentralisation de fait mesure le degr dautonomie ralis par ltablissement. La dcentralisation de fait est mesure comme tant le pourcentage de 25 dcisions importantes prises par ltablissement lui -mme et peut varier suivant les tablissements parce que les rformes taient organises suivant des phases (de telle sorte que les tablissements compris dans lchantillon seront des tapes diffrentes du processus de la rforme) et parce que la capacit de russite de la mise en oeuvre des rformes varie selon le contexte de ltablissement (un rsultat identifi dans ltude quantitative).

IV.

Rsultats

Ltude qualitative montre que les changements de politique au niveau central nont pas toujours induit des changements consquents au niveau local. En gnral, les rformes sont associes une participation accrue des parents ainsi qu des amliorations au niveau de la gestion et du leadership. Mais le degr de russite dans la mise en oeuvre des rformes est fonction du contexte scolaire. Sont considrs comme tant particulirement importants le degr de pauvret de la communaut environnante (au niveau des communauts pauvres, il est difficile daccrotre le financement local des tablissements) et le degr de cohsion parmi les membres du personnel scolaire (lorsque des facteurs importants comme les enseignants eux-mmes ne se sentent pas intgrs au processus de la rforme, la russite de la dcentralisation a t limite). Les dcideurs ignorent souvent les contextes locaux hautement variables dans lesquels les nouveaux programmes sont introduits. Les rsultats qualitatifs montrent que dans la situation du Nicaragua, lobjectif daccroissement des financements locaux pour les tablissements est susceptible dtre en pratique vou lchec, surtout dans les milieux pauvres, et il est donc ncessaire de rflchir de nouveau cette situation .
Ltude quantitative renforce le rsultat selon lequel les tablissements rforms sont vraiment en train de prendre plus de dcisions eux -mmes, surtout en ce qui concerne les questions pdagogiques et les questions relatives au personnel. Lautonomie de droitmme en cas de signature de contrat de rforme par un tablissementnimplique pas ncessairement un degr plus important de prise de dcisions au niveau des tablissements scolaires, et na pas les mmes impacts sur ces tablissements. Le degr dautonomie ralis dpend du niveau de pauvret de la communaut et de lexprience de ltablissement dans le processus de la rforme. Les rsultats de la rgression indiquent que lautonomie de droit a peu deffets sur les performances des tudiants ; mais lautonomie de fait le degr de dcentralisation relle ralis par ltablissement est associe de faon significative une amlioration de la performance de ltudiant. (Ce rsultat est provisoire en attendant une analyse plus approfondie de la srie de donnes qui est disponible maintenant.) De plus, les simulations indiquent que laccroissement de la dcentralisation a un impact plus important sur la performance des tudiants que les amliorations relatives dautres indicateurs de concentration type en matire de politique, tels que la formation des formateurs, la rduction de leffectif des classes, et laugmentation du nombre des manuels scolaires.

V.

Application des politiques

Les rsultats de lvaluation ont dmontr clairement que la Rforme relative lAutonomie des Etablissements Scolaires au Nicaragua a donn des rsultats palpables. Les tablissements rforms prennent en effet maintenant plus de dcisions localement la dcentralisation est en train de se raliser, non seulement en thorie et le dveloppement de la prise en charge au niveau local a pour rsultat lamlioration de la performance des tudiants.
Les rsultats indiquent galement les domaines pour lesquels les orientations peuvent tre amliores, et cela a eu pour rsultat lintroduction par le Ministre de lEducation dun certain nombre de changements dans le programme de rforme scolaire. Maintenant, le programme donne une plus grande importance au rle des enseignants et la promotion des aspects pdagogiques de la rforme. La formation des formateurs fait partie intgrante maintenant du programme, et llaboration dun

ETUDES DE CAS

115

conseil pdagogique est ltude. De plus, en rponse aux problmes financiers des communauts pauvres, le Gouvernement a ralis un programme de subvention sur la base dun schma de la pauvret. Enfin, les impacts tangibles de cette valuation ont amen le Ministre incorporer une composante dvaluation permanente dans le programme de la rforme.

VI.

Cots dvaluation et administration

Cots. Le cot total de lvaluation tait approximativement de 495,000 $, reprsentant moins de 1.5 pour cent du crdit de la Banque Mondiale. (Ce total ne comprend pas le cot des quipes de la contrepartie locale au niveau du Ministre de lEducation). 39% du cot total de lvaluation ont t allous lappui technique fourni par des consultants externes, 35% la collecte des donnes, 18% au travail du personnel de la Banque Mondiale, et 8% au dplacement.
Administration. Lvaluation a t ralise conjointement par le Ministre de lEducation du Nicaragua et la Banque Mondiale. Au Nicaragua lquipe dvaluation a t dirige par Patricia Callejas, Nora Gordon, et Nora Mayorga de Caldera au Ministre de lEducation Nationale. A la Banque Mondiale lvaluation a t ralise dans le cadre du projet de recherche, "Evaluation dImpact des Projets Education Concerns par la Dcentralisation et la Privatisation" sous la direction de Elizabeth King avec Laura Rawlings et Berk Ozler. En coordination avec lquipe de la Banque Mondiale, Bruce Fuller et Magdalena Rivarola de la Facult des Sciences de lEducation de Harvard ont travaill avec Liliam Lopez du Ministre de lEducation du Nicaragua pour raliser lvaluation qualitative.

VII.

Leons apprises

Valeur de lapproche de mthodes mixtes. Lutilisation la fois de techniques de recherche qualitative et quantitative a produit une combinaison prcieuse de rsultats utiles et appropris. Le travail quantitatif a fourni un aperu riche et statistiquement valable des conditions et ralisations scolaires; le travail qualitatif a mis en valeur ces rsultats avec des claircissements sur les raisons de la concrtisation de certaines attentes du programme de la rforme et de la non ralisation dautres attentes, ce qui a contribu guider les ramnagements ncessaires en matire dorientation. De plus, en raison du fait que le travail qualitatif est plus intuitif, il tait plus accessible et donc plus intressant pour le personnel du Ministre, ce qui a, son tour, facilit le dveloppement rapide des capacits et de la crdibilit pour le processus dvaluation au sein du Ministre.
Importance du dveloppement des capacits locales. Le dveloppement des capacits locales a t coteux et a ncessit une frquence au niveau des contacts et de la coordination avec des homologues de la Banque Mondiale et des consultants externes. Cependant, lavantage a t le dveloppement rapide de lappropriation et de la responsabilit vis --vis du processus dvaluation, ce qui a ainsi engendr un degr remarquable dacceptation des rsultats de lvaluation, quils aient influenc positivement ou ngativement le programme. Ces rsultats dvaluation ont fourni des intrants directs la rforme alors en cours. Limpact politique de lvaluation a galement t mise en valeur grce une quipe locale cohsive dans laquelle les valuateurs et les dcideurs ont travaill en parfaite collaboration, et parce que le Ministre de lEducation a t impliqu au premier plan comme partie intgrante dappui au processus dvaluation.

VIII.

Sources

Les documents suivants donnent des informations dtailles sur lEvaluation de la Rforme Relative lAutonomie des Etablissements Scolaires au Nicaragua: Fuller, Bruce, and Magdalena Rivarola. 1998. Nicaraguas Experiment to Decentralize Schools: Views of Parents, Teachers and Directors. Working Paper Series on Impact Evaluation of Education Reforms, paper no.5. World Bank, Washington, D.C.

116

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE


King, Elizabeth, and Berk Ozler. 1998. Whats Decentralization Got to Do with Learni g? The Case of n Nicaraguas School Autonomy Reform. Working Paper Series on Impact Evaluation of Education Reforms, paper no.9. World Bank, Washington, D.C. King, Elizabeth, Berk Ozler, and Laura Rawlings. 1999. Nicaraguas School Autonomy Reform: Fact or Fiction? Washington, D.C.: World Bank. Nicaragua Reform Evaluation Team. 1996. Nicaraguas School Autonomy Reform: A First Look. Working Paper Series on Impact Evaluation of Education Reforms, paper no.1. World Bank, Washington, D.C. Nicaragua Reform Ev aluation Team. 1996. 1995 and 1997 Questionnaires, Nicaraguas School Autonomy Reform. Working Paper Series on Impact Evaluation of Education Reforms, paper no.7. World Bank, Washington, D.C. Rawlings, Laura. 2000. "Assessing Educational Management and Quality in Nicaragua." In Bamberger, Integrating Quantitative and Qualitative Methods in Development Research. Washington, D.C.: World Bank.

ETUDES DE CAS

117

Annexe 1.12 : Amliorer lenseignement des Mathmatiques lmentaires au Nicaragua : Une tude exprimentale de limpact des manuels et de la radio sur la performance
I. Rsum de lvaluation

La plupart des pays pauvres ont des ressources extrmement limites pour faire face lenseignement, ce qui rend importante la rpartition efficace de ces ressources. Des trois options disponibles les plus connues en matire dorientation effectifs non plthoriques des classes, programmes de formation des formateurs plus longs, et provision de manuels seule la dernire option a t frquemment considre comme ayant un effet rellement positif sur lapprentissage des tudiants. Cette valuation a quantifi limpact de la disponibilit de manuels sur lapprentissage des mathmatiques chez les tudiants nicaraguayens de premire anne.
La mthode dvaluation prvoyait la distribution de manuels tous les tudiants dans un sous-groupe de classes qui avaient t lorigine slectionnes pour constituer le groupe de contrle dans le cadre dune tude en cours sur lefficacit de programmes ducatifs la radio. Une moiti des classes avait reu des manuels; lautre nen avait pas reu. Un pr-test avait t administr toutes les classes au dbut de lanne et un post -test avait t administr la fin de lanne. Des techniques simples de rgression avaient alors t utilises pour comparer la moyenne des rsultats obtenus par les classes pendant le post-test en tant que fonction de rsultat du pr-test et de lintervention. La principale leon tire est comment bien concevoir une valuation: la slection alatoire a t bien faite et savamment combine avec un test qui a mis en valeur la comparaison entre les diffrentes classes. Une autre leon tire tait une leon pratique: lvaluation avait t conue pour prvenir ventuellement des questions relevant de lconomie politique. Finalement, lvaluation a fourni une srie dexemples pratiques relatifs aux types de dcisions qui peuvent tre prises sur le terrain.

II.

Thmes de recherche et mthode dvaluation

Il y a deux composantes trs intressantes pour la mthode dvaluation: le soutien norme dune valuation prcdente et la comprhension demble du contexte politique dans lequel lvaluation devait se drouler. La proccupation principale tait tout dabord: dvaluer limpact dune meilleure disponibilit de manuels sur lapprentissage des tudiants de la premire anne en mettant laccent particulirement sur la question de savoir si les manuels taient rellement utiliss en classe. En raison du fait quil y avait dj un programme ducationnel la radio (Radio Mathmatiques) en cours, la question avait t largie pour estimer limpact de la disponibilit des manuels par rapport lenseignement par la radio et au groupe de contrle.
Il est utile de d iscuter de la dcision de surveiller lutilisation effective des manuels, ce qui rend lvaluation plus difficile. Dans de nombreux cas dinterventions dans le domaine de lducation, du matriel est fourni aux classes, mais il est clair que limpact de la fourniture de ce matriel dpend de lutilisation. Cependant, comme lont indiqu les valuateurs, cette dcision signifie que lvaluation "ne prend pas en compte le potentiel dont disposent les manuels ou la radio pour amliorer la performance des tudi ants ayant des rsultats en dessous de la performance optimum. Mais, lvaluation essaye plutt dvaluer leur impact comme cela se ferait dans un pays type en dveloppement" (Janison, 1982, p.559). Donc, simplement fournir des manuels ne suffit pa,s sans la conception dune mthode pour sassurer que les enseignants utilisent les manuels comme prvu.

118

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

Lvaluation a utilis une mthode de slection au hasard qui reposait sur une valuation de projet qui existait dj. Dans le cadre du projet Radio Nicaragua, un mcanisme densemble avait permis la mise en place de procdures de slection et de test au hasard afin dvaluer lefficacit du programme denseignement par la radio. Le projet existant avait dj class tous les tablissements primaires dans trois provinces au Nicaragua dans les catgories radio ou contrle en utilisant la procdure dchantillonnage alatoire structur suivant le facteur de lurbanisation (prs de 30 pour cent des tudiants frquentent des tablissements situs en zones rurales, mais des effectifs aussi importants de classes ont t slectionns par rapport chaque catgorie). Lvaluation du manuel a exploit cette mthode qui existait dj en slectionnant les tablissements exprimentaux et de contrle de la faon suivante : dabord, les valuateurs ont obtenu une liste de tous les tablissements avec les classes ligibles pour chacune des six catgories (trois provinces, rurales ou urbaines). Ensuite, ils ont dsign les tablissements au hasard pour lexprimentation et le contrle partir de leurs listes officielles par rapport chaque catgorie, et les tablissements ont t alors utiliss dans lordre de la liste (un tablissement qui avait refus de participer a t remplac par ltablissement suivant sur la liste ). Des demandes de participation de classes appartenant aux groupes de contrle ont t rejetes, et toute utilisation du matriel dexprimentation avait t contrle par les auteurs. Il est utile de noter que ds le dpart, la mthode dvaluation a fait tat de lventualit de ce problme dordre politique. Lquipe dvaluation a clairement dfini ses objectifs ds le dpart; lquipe a obtenu laccord et lappui officiel sa dmarche, et lquipe a galement prpar des procdures claires et systmatiques pour le programme. Ltude a ainsi slectionn au hasard 88 classes: 48 radios et 40 tablissements de contrle. Vingt tablissements parmi les tablissements de contrle ont reu des manuels pour chaque enfant, et les enseignants ont des instructions crites et orales ainsi que les versions des tests destines aux enseignants. La composante radio comprenait 150 leons quotidiennes de mathmatiques combines des fiches de travail pour tudiants ainsi que des instructions crites et orales lintention des enseignants. Une dcision intressante qui avait t prise tait labsence dlibre de supervision des groupes de contrle. Cela a t vraiment difficile parce que labsence de supervision a rendu difficile lvaluation de lutilisation. Cependant, leffort consenti du point de vue influence de comportement a t jug trop important. Des visites surprises qui avaient t acceptes comme solution de compromis nont pas pu tre faites en raison des troubles politiques pendant lanne dvaluation et ont t faites lanne suivante. Une seconde dcision a t de faire passer les tests par le personnel du projet au lieu des enseignants des classes eux-mmes. Cela a vraiment augment les cots administratifs mais a rduit les erreurs potentielles inhrentes aux tests. Les tudiants ont subi un pr-test de prparation en mathmatiques pendant les trois premires semaines de cours. Le post -test qui avait pour objectif dvaluer la performance des tudiants tait prvu au cours des trois dernires semaines de lanne mais il a t administr deux semaines plutt cause de problmes politiques. Les tudiants avaient autant que possible les mmes conditions pour les deux tests lors de leur administration parce que les tests avaient la mme dure de temps et les instructions avaient t enregistres sur magntophone.

III.

Donnes

Il y a deux leons principales tirer de la composante collecte de donnes. La premire est que les difficults logistiques sont souvent invitables. Malgr sa bonne conception, il y a eu un ensemble de problmes pour la mise en oeuvre dun jeu parfait de pr-tests et de post-tests de comparaison. Bien quil y ait eu un total de 20 classes de contrle, 20 classes de manuels, et 47 classes de radio, le nombre de notes de pr-test et de post-test tait diffrent dans chaque groupe cause dinscriptions tardives, dabsences, et dincapacit de passer les tests en raison deffectifs plthoriques . Les informations personnelles sur les tudiants ne semblent pas avoir t collectes.
La deuxime leon tirer, cest limagination dont on fait preuve les valuateurs pour concevoir le post test afin de rduire les charges tout en obtenant les informations ncessaires. Il y avait un certain nombre de problmes surmonter:

ETUDES DE CAS

119

Il ny avait pas au Nicaragua de tests standards en utilisation. Le test tait suppos valuer la performance par rapport aux objectifs du programme. Le test tait suppos reflter la performance par rapport chaque thme pour faciliter une valuation de lefficacit de lintervention sur chaque thme ainsi que sur lensemble.

Les valuateurs ont utilis une mthode dchantillonnage matrices multiples pour faire face ces problmes. Le test avait deux types de questions: celles poses tous les tudiants dans la classe (40 lments G) et celles poses des sous -groupes dtudiants (44 lments I). Tous les lments I avaient t tests dans chaque classe; un quart de tous les lments G avaient t tests dans chaque classe. Cela permet aux chercheurs de procder au hasard la rpartition des units sur deux dimensions: les tablissements et les types de tests. La moyenne des rsultats post-test pour le groupe exprimental et le groupe de contrle est obtenue en ajoutant la moyenne des rsultats pour chaque test, et en calculant les erreurs types sur la base de la variance rsiduelle aprs avoir isol les principaux effets relatifs aux lments et aux tudiants. Les informations relatives lutilisation des manuels ont t galement collectes au cours de lanne qui a suivi lintervention dans 19 des 20 tablissements qui utilisent les manuels. IV. Techniques conomtriques

Lorganisation de lvaluation a montr quune simple comparaison des moyennes des groupes exprimentaux et de contrle serait approprie, et cest ce qui a t fait. Lapproche peut tre dlicate sil y a des divisions multiples et des interventions multiples, ce qui a t le cas pour cette valuation. Donc, les valuateurs ont galement utilis une approche simple de rgression. Ici, la classe servait dunit danalyse, et la moyenne des rsultats de la classe au posttest a rgress par rapport la moyenne des rsultats du pr-test et des fictifs pour les interventions de la radio et des manuels, un fictif urbain-rural, et le rsultat moyen de la classe au pr-test comme variables indpendantes. Un lment important dans toute valuation cest, de savoir si les diffrents groupes sont affects diffremment par le mme traitement. Cela peut souvent tre ralis, comme cela a t fait au cours de cette valuation, par lutilisation de variables interactives. Les diffrences entre les zones rurales et urbaines peuvent tre prises en compte par interaction entre le fictif urbain-rural et lintervention. La diffrence au niveau de leffet de lintervention bas sur les rsultats des premiers tests a t obtenue par interaction des rsultats des premiers tests avec lintervention. V. Ceux qui lont ex cut

La Banque Mondiale a appuy le projet de recherche, mais il tait intgr au Projet conjoint Radio Mathmatiques de lAgence Amricaine pour le Dveloppement International et du Ministre de lEducation Nationale du Nicaragua. VI. Rsultats

Les auteurs ont trouv que les manuels et la radio, comme variables, avaient eu des impacts significatifs sur les performances des tudiants: la disponibilit des manuels a permis aux tudiants damliorer leurs rsultats au post-test de 3,5 lments corrects, alors que pour les leons la radio lamlioration a t de 14,9 lments rsultats assez substantiels tant donn que la dviation type de la classe est de 8,3 et que celle des lments individuels est de 11,8. Les leons la radio et les manuels ont tous les deux t plus efficaces dans les tablissements ruraux et pourraient ventuellement jouer un grand rle dans la rduction des diffrences entre la qualit urbaine et rurale. Ces rsultats semblent tre indpendants du niveau de performance initial de la classe, comme lindiquent les rsultats du pre-test. Les auteurs attribuent la diffrence de rsultats entre les interventions la radio et celles des manuels des diffrences relevant de lutilisation des manuels, surtout lorsque les enseignants sont mal forms.

120

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

VII Leons tires


Il y a trois leons principales tirer: limportance du politique dans les dcisions de conception, lutilit de mthodes imaginatives de tests, et les difficults lies au travail sur le terrain. Dabord, lconomie politique de mthodes alatoires a t mise en valeur dans cette tude: il y a sans aucun doute de fortes pressions politiques quon peut tre amen supporter et qu i mritent dtre prises en compte tt et avec lappui du gouvernement. Deuximement, les auteurs ont pu, grce la conception imaginative de tests, valuer les diffrents aspects des rsultats dapprentissage sans avoir administrer des tests qui sont e en n fait de longs tests. Enfin, les valuateurs ont clairement soulev un certain nombre de questions lies au travail sur le terrain: comment superviser ladoption effective de manuels et qui devrait administrer les tests.

VIII.

Source

Jamison, Dean T., Barbara Serle, Klaus Galda, and Satephen P. Heyneman. 1981. "Improving Elementary Mathematics Education in Nicaragua: An Experimental Study of the Impact of Textbbooks and Radio on Achievement." Journal of Educational Psychology 73 (4): 556-67.

ETUDES DE CAS

121

Annexe 1.13 : Impact des programmes alternatifs de recouvrement des cots sur laccs aux soins de sant et lquit au Niger
I. Introduction

Description du projet. La capacit de recouvrer une partie des cots des soins de sant est primordiale dans la fourniture des soins de sant. On sait peu de choses, cependant, sur limpact des diffrentes stratgies sur la qualit des soins et du bien -tre. Lvaluation fait lestimation de limpact sur la demande de soins de sant de deux programmes pilotes de recouvrement de cots dans le secteur (non hospitalier) de soins de sant primaire au Niger. Le Niger est un pays conomiquement pauvre et rural ; les cots de sant publique reprsentent 5 6 pour cent du budget gouvernemental et le gros de ce financement est mal dirig vers les hpitaux et le personnel. Le gouvernement voulait valuer les consquences des diffrents mcanismes de paiement et en a choisi deux : un mcanisme de financement de frais pour servic et un autre e pour service major de taxe ; tous deux combins avec lamlioration de la qualit et de la gestion. Le gouvernement voulait particulirement voir comment la ncessit pour les soins de sant pouvait apporter des changements, notamment chez les groupes vulnrables, et si de telles amliorations taient durables. Points forts de lvaluation. Les diffrents mcanismes de paiement ont t excuts dans trois districts, raison dun par traitement et par contrle. Lvaluation a utilis une conception quasi-exprimentale base sur les enqutes sur les mnages combines aux donnes administratives sur les cots dutilisation et de gestion. Lvaluation est particulirement intressante parce quelle sadresse directement aux questions conomiques au moyen dun instrument denqute qui demande aux interlocuteurs leur dsir de payer pour le service amlior. Cette reconnaissance explicite du fait que certains rsultats ne sont pas, en eux-mmes, suffisants pour garantir un projet durable est une contribution extrmement importante. Un autre aspect utile est lvaluation explicite de limpact de lintervention sur les diffrents groupes cibles (les enfants, les femmes, les villages sans structures sanitaires et les citoyens les plus dmunis).

II.

Thmes de recherche et mthode dvaluation

Les questions principales concernaient limpact du traitement sur (a) la ncessit pour et lutilisation des structures de soins de sant primaire, (b) les groupes cibles spcifiques (les dmunis, les femmes et les enfants), (c) laccs financier et gographique, (d) lutilisation de services de substitution, et (e) la prennit des amliorations dans le cadre des cots de recouvrement (cots pour les patients et mdicaments ainsi que le revenu et la volont de payer).
Les trois districts de sant ont t slectionns au niveau de trois provinces partir dun registre administratif. Bien que tous trois fussent identiques en termes de caractristiques conomiques, dmographiques et sociales, ils taient ethniquement diffrents. Chaque district disposait dun centre de sant, avec un volet de sant maternelle et infantile, un poste de sant et dun mdecin ainsi que de dispensaires ruraux. Quatre amliorations de qualit et de gestion ont t introduites dans les deux districts de traitement ; aucune na t excute au niveau des deux districts de contrle. En particulier, les stocks initiaux de mdicaments avaient t livrs ; le personnel form dans le diagnostic et le traitement ; un systme de gestion de stock de mdicaments et de gestion financire a t install et le personnel form pour son utilisation ; la capacit de supervision fut augmente pour renforcer la gestion. Les deux mcanismes de fixation de prix ont t introduits en mme temps. Le premier reprsentai t les frais par pisode, avec des frais de 200FCFA (0,66$US) par utilisateur g de plus de cinq ans, des frais de 100FCFA (0,33$ US) pour un utilisateur g de moins de cinq ans. Le deuxime

122

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

combinait une taxe annuelle de 200FCFA paye par les contribuables et des frais de 50FCFA par utilisateur g de plus de cinq ans et 25FCFA pour les enfants de moins de cinq ans. Le revenu annuel tait infrieur 300$US par habitant. Chaque programme offrait des exonrations pour les groupes cibles. Les fonds taient grs au niveau du district.

III.

Donnes

Les trois districts ont t choisis partir de donnes administratives. Des enqutes sur les mnages ont t effectues, dont lune a t une enqute rfrentielle alors que les deux autres ont t combines avec des archives et des donnes administratives. Chaque enqute a collect des informations individuelles et sur les mnages partir dun chantillon de 1800 mnages choisis au hasard. Lenqute rfrentielle disposait de renseignements sur 2833 individus qui ont t malades au cours des deux semaines antrieures lenqute et 1770 femmes enceintes ; lenqute finale disposait de donnes sur 2710 individus malades et 1615 femmes enceintes. Les donnes administratives comprenaient des renseignements dtaills sur les dpenses mensuelles, sur la consommation et ladministration de mdicaments, lentretien du personnel et les reus de frais avec lutilisation des structures sanitaires. Les renseignements ont t collects au cours de lanne prcdant lintervention, lanne de dpart, (mai 1992 - avril 1993) et lanne aprs lintervention.

IV.

Techniques conomtriques

Ltude combine des comparaisons de moyennes avec des techniques logiques simples, les dernires tant utilises pour reprsenter les changements dutilisation. En particulier, la rponse individuelle est de savoir si la structure de sant a t utilise (PI) pour spcifier le modle suivant :
Logit (Pt) = X + * (A + B). Ce modle qui vrifie le vecteur des caractristiques individuelles X ainsi que des variables fictives A et B, a t compar avec Logit (Pi) = X + *a A + *b B. Les variables fictives A et B sont dfinies de manire diffrente. Dans la pr emire batterie des rgressions, A se rapporte la priode durant le traitement, B la priode avant le traitement et les rgressions sont traites par sous-groupe (les groupes cibles spcifiques) et par district. Dans la seconde batterie des rgressions, A et B sont utiliss pour former six paires semblables de comparaisons de chaque district avec un autre district au cours du traitement. Dans chaque cas, les auteurs vrifient si (+a + +b) = *. Les effets de laccessibilit gographique et financire sont reprsents dans la matrice X par les mesures de distance, de temps de marche et de revenus, respectivement. La catgorie omise nest pas prcise pour chaque cas, partir de la discussion. Il nest pas non plus clair si les erreurs normales des estimations ont t corriges pour la nature imbrique de la conception de lchantillon. Bien que les techniques de logit soient un moyen efficace de rponse trois ou quatre questions de recherche utilisation des procdures, effet sur les sous -groupes et effets de laccessibilit gographique et financire - la quatrime question, leffet des changements dans le recouvrement des cots, est analyse par le biais de donnes administratives et de moyens simples de comparaisons. Une proccupation claire dans cette dernire approche, qui ntait pas clairement souleve, concerne la possibilit de lexistence de parti pris dans la phase suivant le report des rsultats. En particulier, il existe une chance morale si les administrateurs sont valus sur la base de la rponse russie du traitement. Les effets du traitement sur les systmes de sant de substitution ont t tudis par le biais de techniques conomtriques dcrites auparavant.

ETUDES DE CAS V. Ceux qui lont excut

123

Le Ministre de la Sant Publique a entrepris lenqute avec le soutien financier et technique de lAgence Amricaine pour le Dveloppement International et de la Banque Mondiale. Lvaluation proprement dite fut effectue par Francis Diop, Abode Yazbeck et Ricardo Bitran de Abt A ssociates.

VI.

Rsultats

Ltude a rvl que le systme de taxe plus frais a produit plus de revenu par habitant que le systme de taxe sans frais, en plus dtre beaucoup plus populaire. Le systme bas sur la taxe a galement donn de meilleurs rsultats en termes dopportunits daccs aux soins de sant amliors au profit des dmunis, des femmes et des enfants. Cependant, vu que la gographie est une barrire importante dans laccs aux soins de sant, le systme de taxe redistribue de manire plus efficace le cot des soins de sant des personnes les plus proches des structures de sant au profit des personnes qui en sont les plus loignes.
Le district qui a excut les frais pour service a connu une chute sur le nombre de visites initiales mais une croissance dans la recherche des services de soins de sant en comparaison avec la croissance dramatique dans les deux districts ayant appliqu la taxe plus les frais. Ce fait important pourrait tre attribu la croissance de la qualit des services asso cie la qualit des amliorations, qui augmentent le plus souvent le cot. Llment cot en particulier celui des mdicaments associ la qualit et la rforme de la gestion sest galement avr effectif et durable. Le recouvrement des frais majors des taxes au niveau des districts a avoisin et dpass les 100 pour cent mais tait substantiellement plus bas que celui au niveau des districts pratiquant les frais pour service. De plus, il y avait une plus grande volont de payer au niveau des premiers que des derniers. Le rsultat principal est que lapproche taxe plus frais est la fois plus efficace dans la ralisation des objectifs et a plus de succs auprs des populations. Cependant, lvaluation a dmontr galement que le manque daccessibilit gographique aux structures de sant constitue une barrire importance leur utilisation. Ceci suggre quil existe des questions de distribution associes au passage au systme des frais plus taxes : les mnages qui vivent loin des structures de sant auraient tendance financer ceux vivant proximit de ces centres.

VII.

Leons tires

Il y a beaucoup de leons tirer de cette valuation. La premire est la voie contours multiples dans laquelle elle value limpact du projet sur des dimensions multiples lies la durabilit: non seulement au plan du recouvrement des cots mais galement sur la qualit et la raction des groupes cibles affects. La deuxime est lattention accorde au dtail dans la collecte de donnes concernant tant les instruments administratifs que lenqute, qui ont ainsi produit les fruits travers la capacit didentifier exactement les lments de lintervention qui ont russi et pourquoi. Enfin, lanalyse de limpact sur chaque groupe cible sest avre tre particulirement utile dans les recommandations de politique.

VIII.

Sources

Diop, F. A Yazbeck, et R. Britan. 1995. "LImpact des Programmes de Substitution de Recouvrement des Cots sur Accs et lEquit au Niger. Politique de Sant et de Planification 10 (3): 223-40. Wouters, A. 1995. "Improving Qality through Cost Recovery in Niger." 10 (3) :257-70.
Wouters, A. 1995. "Amlioration de la Qualit Travers le Recouvrement des Cots au Niger". 10 (3: 257-70.

124

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

Annexe 1.14 : Rsultats scolaires dans les tablissements primaires aux Philippines : Evaluation de limpact partir de quatre expriences
I. Introduction

Description du projet. Dans la plupart des pays en dveloppement, les taux levs de dperdition scolaire et lapprentissage inadapt dans lenseignement primaire constituent une proccupation pour les dcideurs. Ceci est certainement le cas aux Philippines: prs du quart des enfants philippins abandonnent lcole avant davoir termin la sixime anne, et ceux qui abandonnent ont appris moins de la moiti de ce qui leur a t enseign. Le Gouvernement sest engag dans un Programme dIntervention contre la Dperdition Scolaire (DIP) en 1990-1992 pour faire face ces problmes. Quatre expriences avaient t entreprises: fourniture de matriel dapprentissage de niveaux multiples (MLM), repas lcole (SL), et chacune de ces interventions est combine avec un partenariat parent-enseignant (PTP). La premire approche permet aux enseignants de grer les enseignements selon les besoins de chaque tudiant et cote beaucoup moins cher que les repas scolaires. Les partenariats parent-enseignant ne cotent presque rien mais peuvent contribuer aider les tudiants apprendre aussi bien la maison qu lcole.
Points forts de lvaluation. Lvaluation est valable en ce sens quelle cherche de faon explicite dvelopper des capacits au niveau du pays hte afin que lvaluation devienne une partie intgrante des nouvelles initiatives, et que les pralables relatifs aux donnes soient connus avant plutt quaprs la mise en oeuvre des projets venir. Mais il y a des problmes qui surgissent, et lvaluation est trs claire sur les attentes. Une autre contribution importante a trait l vrification de la solidit des rsultats par des a approches conomtriques diffrentes. Enfin, lanalyse de la rentabilit applique la fin est importante en ce sens quelle reconnat explicitement que des rsultats significatifs ne suffisent pas: des interventions peu coteuses peuvent encore tre meilleures relativement des interventions coteuses.

II.

Thmes de recherche et mthode dvaluation

La question principale a trait lvaluation de limpact de quatre interventions diffrentes sur la dperdition et les performances des tudiants. Cependant, la mthode dvaluation est conditionne par des considrations aussi bien pratiques que programmatiques. Lquipe DIP a suivi un processus de slection scolaire en trois tapes:
Deux districts dans chacune des cinq rgions du pays ont t identifis comme municipalit faible revenu. Dans lun des districts les traitements taient choisis pour constituer un ensemble dlments de contrle, MLM, ou MLM-PTP; dans lautre de contrle, le traitement SL, ou SL-PTP avait t utilis. La dcision des deux types dinterventions tait prise par tirage au sort. Dans chaque district lquipe a slectionn trois tablissements qui (a) avaient tous les niveaux dinstruction, et une classe par niveau; (b) avaient un niveau lev de dperdition scolaire; et (c) navaient pas de programme de nutrition en place. Les trois tablissements dans chaque district taient slectionns soit comme tablissements de contrle soit pour lapplication de lune des interventions sur la base dun tirage au sort.

Chaque intervention a t assigne au hasard toutes les classes au niveau de cinq tablissements, et les prtests et post-tests ont t administrs en 1991 et 1992 toutes les classes dans les 20 tablissements ainsi que dans 10 tablissements de contrle.

ETUDES DE CAS III. Donnes

125

La procdure de collecte de donnes est instructive en elle-mme. La collecte de donnes de rfrence fut commence en 1990-1991, et les interventions ont t excutes en 1991-1992. Les informations dtailles ont t collectes relativement 29 tablissements, quelque 180 enseignants, et prs de 4,000 tudiants au cours de chacune des deux annes. Bien que les questionnaires aient t trs dtaills, cela sest avr inutile: seule une petite partie de ces informations a t effectivement utilise, ce qui suggre quune partie de leffort du processus dvaluation puisse tre utilement rduite. Les pr-tests et post-tests ont t administrs au dbut et la fin de chaque anne acadmique dans trois matires: Mathmatiques, Langue philippine et Langue anglaise. Les donnes ont t structures de faon longitudinale pour les tudiants et les tablissements. Malheureusement, les identifications sur les tudiants ont fini par ne pas tre les mmes pour les tudiants et les tablissements dans la priode entre les deux annes. Il est utile de mentionner que cela ntait pas connu a priori et nest devenu vident que lorsque six mois de travail ont permis de dcouvrir des irrgularits internes. Il n a pas t possible de reprendre les identificateurs dorigine avec le Dpartement de lEducation des Philippines. Heureusement, il avait t possible de sauver les donnes pour les premires annes, ce qui a permis de faire quelques analyses longitudinales. IV. Techniques conomtriques

La structure de la procdure dchantillonnage a soulev un certain nombre de problmes conomtriques intressants: un type de problmes relatifs la dperdition scolaire et un type de problmes relatifs aux rsultats du test. Dans chaque cas, il y a deux types de contrles vidents: lun tant le groupe de contrle des tablissements, et lautre tant lenqute de rfrence effectue lanne avant lintervention. Les auteurs les ont pris en charge diffremment. Dans lanalyse de la dperdition, il est normal deffectuer une diffrence dans lapproche et de comparer le changement dans le taux moyen de dperdition au niveau de chaque classe dintervention pendant la priode entre les deux annes avec le cha ngement dans le taux moyen de dperdition pour les classes de contrle. Mais deux questions se sont poses immdiatement. Dabord, bien que les rsultats aient t trs importants du point de vue taille, ils ntaient significatifs que pour lintervention MLM, peut-tre en raison de la petite taille de lchantillon. Cela nest pas trange pour ce type de procdure et peut devenir endmique tant donn le manque de financement pour les tudes de grande chelle dans le contexte dun pays en voie de dveloppement. Deuximement, une vrification brve pour savoir si les caractristiques et performances des tudiants ont t rellement les mmes dans tous les tablissements au cours de lanne qui a prcd les interventions a rvl quil existait des diffrences significatives de caractristiques. Ces deux facteurs ont amen les auteurs vrifier la solidit de leurs rsultats travers les techniques logistiques de rgression pour le contrle des caractristiques personnelles (PC) et de lhistorique de la famille (FB). Le rsultat principal na pas chang. Mais la technique de rgression a rvl un facteur indirect de dperdition mais important nanmoins, savoir les mauvais rsultats scolaires. Ceci a naturellement amen au second type danalyses qui a mis laccent sur la performance scolaire. Un autre type de proccupations dordre conomtrique a t soulev au cours de lvaluation de limpact de lintervention INTER sur la performance acadmique dindividus I en classe S un moment t (APist) que les auteurs ont formul comme suit : AP ist = o + 1 APist 1, + 2 PC 1 + 3 FB1 +4 LEst + 5 C C1 + 6 INTERjt + o LE correspond au contexte de lapprentissage et CC aux conditions des classes. Lun des premiers problmes cest dexpliquer la corrlation groupe en erreurs qui est possible chez les tudiants qui sont dans les mmes classes et les mmes tablissements. Le deuxime problme cest dessayer de saisir laspect htrogne non observ. Le troisime problme associ cest celui de la distorsion de la slection. Le premier problme a t trait en appliquant une correction Huber-White toutes les erreurs types. Le deuxime problme pourrait, en principe, tre analys un niveau individuel en

126

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

utilisant les diffrences de rsultats de tests comme variable indpendante. Mais les auteurs soutiennent que cela est inappropri parce quils prsupposent que la valeur de 1 cest 1, ce qui na pas t mis en vidence par les tests. Ils ont donc retenu la caractristique de la variable dpendante dcale, mais cela a entran un autre problme lune des erreurs endognes de rgression Ce problme est trait en instrumentalisant le rsultat du pr-test de chaque matire avec les rsultats du pr-test des autres matires. Les auteurs constatent, cependant, que la rduction des erreurs engendre des risques une rduction dans lefficacit et ils prsentent alors les rsultats la fois des variables de racines et instrumentales les moindres. Les auteurs utilisent les variables constantes des tablissements et des enseignants pour contrler les aspects htrognes non observs dans LE et CC. Le troisime problme est galement un problme endmique la littrature et pour lequel il ny a pas de solution compltement accepte: distorsion de la slection. En claire, en raison du fait quil y a des diffrences de taux de dperdition, la performance acadmique individuelle est sujette la condition de ne pas abandonner lcole. Bien que ce problme ait t discut dans le cadre de la procdure Heckman deux tapes, il y a une insatisfaction prononce envers cette procdure pour trois raisons: sa sensibilit lassomption de la distribution normale, le choix et la pertinence des variables appropries utiliser lors de la premire tape, et sa dpendance frquente de lidentification au travers de la non linarit de sa premire tape. Malheureusement, il ny a pas encore de consensus sur une alternative approprie. Celle qui a t propose par Krueger assigne aux tudiants abandonnant lcole leur classement lissue du pr-test et les ramne la rgression Ainsi, les auteurs rapportent trois types de rsultats: la simple rgression des rsultats, lapproche Krueger, et la procdure Heckman. V. Ceux qui lont excut

La collecte de donnes a t ralise par le Bureau de lEnseignement Primaire du Dpartement Philippin de lEducation, de la Culture, et des Sports. Lanalyse a t ralise par un employ de la Banque Mondiale et deux chercheurs acadmiciens. VI. Rsultats

Ltude value limpact de ces interventions sur la dperdition scolaire de la sixime la premire et sur les rsultats aux tests en premire anne utilisant une approche de diffrence diffrences, des techniques instrumentales variables, et la mthode de slection Heckman. Limpact de matriels niveaux multiples -- particulirement avec le partenariat parent -enseignant -- sur la dperdition et lamlioration de la performance acadmique dpend de diffrents facteurs et galement dune certaine rentabilit. Limpact des repas lcole a t en gnral faible. Une composante intressante pour ltude a t une analyse de rentabilit qui est arrive la pertinente conclusion que tout ne sarrte pas aux bons rsultats! En particulier, un calcul direct des cots directs et indirects du programme amne la conclusion que lapproche MLM est la fois efficace et rentable. Dire que les programmes de nutrition scolaire sont inefficaces est peu tre exagr, mais il est possible t quune approche mieux cible pour ces programmes soit approprie. De plus, en raison du fait que la priode entre la mise en oeuvre et lvaluation du programme est trop courte, lvaluation ne peut pas estimer les effets long terme des interventions. VII. Leons tires

Plusieurs leons ont t tires de cette procdure dvaluation. La principale leon a t quil y a souvent beaucoup de dperditions lorsque lon va trop dans les dtails une quantit trop importante dinformations longitudinales peut se perdre si les informations pertinentes telles que lunicit des identifications sur une priode de temps sont perdues. La deuxime leon cest que trs peu dinformations collectes au cours denqutes dtailles ont t utilises et quon aurait pu viter aux interviews les efforts substantiels consentis inutilement. Troisimement, ltude met laccent sur la valeur des diffrentes approches conomtriques et les avantages de retrouver la systmaticit travers les techniques. Quatrimement, cette tude est

ETUDES DE CAS

127

exemplaire dans son utilisation de lanalyse de la rentabilit identifiant et valorisant les cots des diffrentes interventions. Finalement, bien que des erreurs aient t clairement faites au cours de ltude, les auteurs constatent que la raison dtre principale de cette tude tait de dvelopper la capacit dvaluation aux Philippines. Le fait que le DIP ait t amlior et valu signifie que cette capacit peut tre entretenue au sein des ministres de lducation.

VIII.

Source

Tan, J. P., J. Lane, and G. Lassibille. 1999. "Schooling Outcomes in Philippine Elementary Schools: Evaluation of the Impact of Four Experiments." World Bank Review, September.

128

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

Annexe 1.15 : Evaluation de limpact des projets de routes rurales sur la pauvret au Vietnam
I. Introduction

Description du projet. Les pistes rurales sont largement soutenues par la Banque Mondiale et les autres bailleurs de fonds comme instrument de rduction de la pauvret. Le Projet I du Transport Rural au Vietnam a t lanc en 1997 avec un financement de la Banque Mondiale pour une mise en oeuvre sur trois cinq ans. Lobjectif du projet est damliorer le niveau de vie dans les zones pauvres en rhabilitant les routes et ponts existants et en dveloppant laccs au march. Dans chaque province participante, des projets sont identifis pour la rhabilitation travers les critres de moindres cots (taille de la population qui en bnficiera et cot du projet). Mais, dans un effort damliorer le ciblage de la pauvret, 20 pour cent des fonds de chaque province peuvent tre mis ct pour les zones montagneuses faibles densits peuples par des minorits ethniques o les projets ne seraient pas ligibles dans le cadre des critres de moindres cots.
Evaluation de limpact. En dpit dun consensus gnral sur limportance des routes rurales, il est tonnant quil n y ait que peu dvidence pratique sur la taille et la nature des bnfices manant dune telle infrastructure. Lobjectif de lEvaluation dImpact des Routes Rurales au Vietnam cest de dterminer comment le bien-tre des mnages change dans les communes o il y a des interventions de projets routiers par rapport aux communes qui nont pas de tels projets. Le problme principal de lvaluation cest de russir isoler limpact de la route de la multitude dautres facteurs qui sont en train de changer aujourdhui dans le milieu rural Vietnamien en raison de la transition en cours vers une conomie de march. Lvaluation a commenc simultanment avec la prparation du projet, vers le dbut de 1997, et est toujours en cours. Les rsultats ne sont pas encore disponibles. Lvaluation est contraignante en ce sens quelle constitue lune des premires tentatives dvaluation de limpact dun projet de routes rurales sur le bien-tre cest dire lessentiel mme en terme de dtermination si les projets luttent rellement contre la pauvret. La mthode vise amliorer les efforts antrieurs de linfrastructure dvaluation en combinant les lments suivants: (a) collecte de donnes de rfrence et de suivi denqute, (b) inclusion de contrles adquats afin que les rsultats soient robustes des facteurs invisibles qui influencent aussi bien le programme de placement que les rsultats, et (c) suivi assez soutenu du projet (grce des sries de collectes de donnes) pour saisir son impact total sur le bien-tre.

II.

Mthode dvaluation

La mthode dEvaluation de lImpact des Routes Rurales au Vietnam met laccent sur des donnes de rfrence (avant intervention) et de suivi (aprs intervention) denqute pour un chantillon de communes avec p rojets et sans projets. Les contrles appropris peuvent tre identifis partir des communauts sans projets grce des techniques de comparaison apparie. Les donnes de rfrence permettent de faire des comparaisons avant et aprs ("rflexives") des indicateurs de bien-tre au niveau des communauts de projets et des communauts de groupes de contrle. En thorie, le groupe de contrle slectionn par la technique de comparaison apparie, est identique au groupe du projet suivant les caractristiques visibles, et non visibles de telle sorte que les rsultats au niveau des programmes communautaires peuvent tre attribus lintervention du projet.

III.

Collecte de donnes et techniques danalyse

Les donnes collectes pour les besoins de lvaluation comprennent des enqutes effectues au niveau des communes et des mnages, avec des donnes de base provenant des districts,

ETUDES DE CAS

129

provinces et projets. Les enqutes de rfrence et de suivi au niveau des communes et des mnages avaient t effectues entre 1997 et 1999, alors que la deuxime srie et la troisime srie denqutes effectues avec un intervalle de deux annes sont planifies. Lchantillon de lenqute comprend 100 communes avec projets et 100 communes sans projet, situes dans 6 des 18 provinces couvertes par le projet. Les communes avec projets ont t slectionnes au hasard partir de listes de toutes les communes avec des propositions de projets dans chaque province. Une liste avait alors t tire partir de toutes les autres communes restantes dans les districts ayant des propositions de projets, et partir de cette liste, des communes de contrle ont t slectionnes au hasard (Lidal cest que les groupes de contrle ne diffrent des groupes avec projets que sils ne reoivent pas dinterventions. Et pour des raisons logistiques, il tait souhaitable de limiter le travail sur le terrain certaines rgions. Les contrles taient donc choisis dans le voisinage des districts, et en ralit dans les mmes distric ts que les communes o le traitement est administr. Les districts sont grands et linfluence dune commune avec projet sur une commune sans projet est donc improbable, mais cela doit tre vrifi attentivement.) Les techniques de comparaison par score de tendance bases sur les caractristiques des communes seront utilises pour tester la slection des contrles, et tout contrle avec des attributs inhabituels ayant rapport avec les communes du projet sera retir de lchantillon. Un modle logit de partic ipation des communes au projet sera estim et utilis pour sassurer que les communes de contrle ont les mmes scores de tendance (valeurs anticipes par le modle logit).
La base de donnes de la commune se fonde sur les donnes administratives existantes collectes annuellement par les communes et traitant de questions dmographiques, dutilisation des terres, et dactivits de production; de plus il y a galement des donnes provenant denqutes effectues au niveau des communes dans le cadre de lvaluation. Lenqute couvre des caractristiques gnrales, les infrastructures, lemploi, les moyens de subsistance, lagriculture, la terre et les autres biens, lducation, les soins de sant, les programmes de dveloppement, les organisations communautaires, les finances de la commune, et les prix. Ces donnes seront utilises pour laborer un nombre dindicateurs de bien-tre au niveau de la commune et pour tester les impacts des programmes dans le temps. Lobjectif principal de lenqute sur les mnages cest dobtenir des informations sur laccs des mnages aux diffrentes facilits et services et de voir comment cela volue dans le temps. Le questionnaire destin aux mnages avait t administr de faon alatoire 15 mnages dans chaque commune, et couvrait les thmes comme lemploi, les biens, les activits de production et demploi, lducation, la sant, la commercialisation, le crdit, les activits communautaires, laccs la scurit sociale et aux programmes de pauvret, et le transport. En raison des capacits limites denqutes lintrieur, il n y a pas eu de tentative de collecte de donnes complexes ncessaires la mise en place dun indicateur de bien-tre au niveau des mnages (comme le revenu ou la consommation). Cependant, un c ertain nombre de questions avait t inclus dans lenqute qui reprend des questions poses lors de lenqute sur les niveaux de vie au Vietnam. En utilisant cette information et tant dautres encore sur les caractristiques des mnages, qui sont communes aux deux enqutes, des techniques de rgression seront utilises pour estimer la position de chaque mnage dans la rpartition du bien-tre au niveau national. Une base de donnes au niveau du district a galement t prpare pour mettre les donnes de la commune en contexte, y compris les donnes sur la population, lutilisation de la terre, lconomie, et les indicateurs sociaux. Chacune de ces enqutes doit tre rpte suivant le calendrier de la commune. Les informations existantes ont t utilises p our mettre en place deux autres bases de donnes. Une importante base de donnes a t mise en place au niveau de la province pour aider comprendre la slection des provinces dans le projet. Cette base de donnes concerne toutes les provinces du Vietnam et couvre un ventail plus grand de variables socio-conomiques. Finalement, une base de donnes au niveau de chaque projet pour chacune des zones de projet enqutes a t galement mise en place afin de contrler lampleur du projet et sa mthode de mise en oeuvre dans lvaluation de limpact pour le projet. Les donnes de rfrence seront utilises pour modeler la slection des sites de projet en mettant laccent sur les processus conomiques, sociaux et politiques sous-jacents. Les tapes ultrieures seront utilises pour comprendre les gains quantifiables au niveau de la commune, sur la base de la slection. Lapproche analytique aura un rle de "double diffrentiation" avec les mthodes apparies . Lappariement sera utilis pour slectionner le groupe idal de contrle parmi les 100

130

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

communes sans projet. Les rsultats au niveau des communes avec projet seront compars ceux obtenus par les communes de contrle, aussi b ien avant quaprs lintroduction des projets de routes. Limpact du programme est ainsi identifi comme tant la diffrence entre les rsultats dans les zones de projet, antrieurement et postrieurement lintervention du projet, moins la diffrence de rsultats correspondante dans les zones de contrle apparies. Cette mthodologie permet davoir une estimation correcte des impacts de projets en prsence de facteurs invisibles invariables dans le temps qui influencent la fois la slection des zones de projet et les rsultats. Les rsultats seront mis en vidence par le fait que les sries de donnes sont riches en indicateurs de performance et en variables explicatives. Les indicateurs de performance examiner comprennent les rendements agricoles au niveau de la commune, la diversification des sources de revenus, les opportunits demploi, lutilisation et la distribution des terres, la disponibilit des produits, les services et les facilits, le bien tre sanitaire et la distribution.

IV.

Cots dvalua tion et administration

Cots. Le cot total de lvaluation ce jour est de 222,500 $, ou 3.6 pour cent du cot total du projet. Ce montant comprend 202,500 $ couvrant les deux premires tapes de la collecte de donnes et une subvention de recherche dun montant de 20,000 $. Le temps de travail et les frais de voyages du personnel de la Banque Mondiale ne sont pas inclus dans ces cots. Administration. Lvaluation a t labore par Dominique van de Walle, membre du personnel de la Banque Mondiale. Un consultant indpendant, conomiste et chercheur dans le domaine de la pauvret rurale, avait t recrut comme superviseur de ltude au niveau du pays. Ce consultant a recrut et form les superviseurs dquipes, organis toute la logistique, et supervis toutes les donnes.

V.

Source

Van de Walle, Dominique. 1999. Evaluation de lImpact sur la pauvret des projets de Routes Rurales. World Bank, Washington, D.C. Processed.

utiliser un processus non-alatoire dans la slection dun groupe de contrle qui correspond le plus exactement aux caractristiques des bnficiaires du programme

Ndt.

1 acre = moins de 40 ares.

slection alatoire des bnficiaires du programme au sein dun groupe ligible

Annexe 2

Termes de Rfrence
Exemple I : Projet de nutrition et de dveloppement de la petite enfance de l'Ouganda Termes de rfrence pour un Cabinet de consultation en vue de sa contribution l'valuation de Projet

I.

Gnralits

Le gouvernement de l'Ouganda a souscrit un crdit de lAssociation pour le Dveloppement International (IDA)en faveur d'un projet de nutrition et de dveloppement de la petite enfance. Le projet se concentre essentiellement sur l'amlioration de la qualit de vie des enfants au-dessous de six ans et le dveloppement de la capacit des familles et des communauts s'occuper des enfants. Le projet vise spcialement le dveloppement de la petite enfance travers l'amlioration de la nutrition, de la sant, de l'tat psychosocial et cognitif des enfants au-dessous de six ans en Ouganda.

II.

Raison fondamentale pour investir dans le dveloppement de la petite enfance

Investir dans le dveloppement de la petite enfance (DPE) comporte des avantages rels non seulement pour le s enfants et les parents mais galement pour des communauts entires et le pays. Une croissance physique et un dveloppement mental rapides se produisent chez le nouveau-n et au cours de la petite enfance ; deux ans, le cerveau d'un enfant est presque entirement dvelopp. Les capacits intellectuelles sont galement largement dveloppes l'ge de quatre ans. Une croissance et un dveloppement physique et mental adquat pendant la petite enfance renforcent la prparation pour lcole, amliorent le maintien des enfants l'cole et contribuent la confiance du capital humain. Les enfants des milieux dfavoriss en particulier, peuvent bnficier de l'assistance accorde la petite enfance, comblant de ce fait les fosss et les ingalits lis la pauvret. Une bonne sant et une bonne nutrition sont aussi importantes que la stimulation mentale, lorsque l'enfant doit dvelopper des structures conceptuelles solides plus tard. La synergie entre la nutrition, la sant, et la stimulation mentale est si importante que les effets positifs tangibles sur la croissance et le dveloppement de l'enfant ne puissent tres raliss qu' travers une approche intgre.

132

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE III. Objectifs et stratgies du projet

L'objectif de dveloppement du projet est d'amliorer la croissance et le dveloppement des enfants audessous de six ans dans les aspects de nutrition, de sant, psychosociaux et intellectuels. La ralisation de ces objectifs la fin de la priode des cinq annes de mise en place du projet sera value grce aux repres suivants : (a) la rduction du taux d'enfants chtifs dans le prscolaire d'un tiers par rapport aux taux tablis en 1995 dans les zones de projet ; (b) la rduct ion de la prsence du rachitisme ds l'entre des enfants dans les coles primaires, d'un quart par rapport aux taux tablis en 1995 dans les zones de projet ; (c) l'amlioration du dveloppement psychosocial et intellectuel des enfants ; (d) la rduction des taux de redoublement et d'abandon au cours des premires annes des coles primaires, et (e) le dveloppement des qualits d'esprit d'entreprise et de potentialit conomique des mres et de tous ceux qui soccupent des enfants. Le projet soutient le Programme National Ougandais de l'Action en faveur des Enfants et le Plan d'Action pour l' Eradication de la Pauvret. Le projet amliore en particulier l'aptitude scolaire des jeunes enfants, contribuant ainsi la ralisation de l'objectif de l'enseignement primaire universel. La stratgie principale du projet est d'augmenter la capacit des familles et des communauts mieux s'occuper des enfants en ge prscolaire (zro six ans) travers l'amlioration de leur connaissance sur la croissance et le dveloppement des enfants, leur capacit lever des enfants, la nutrition et les soins de sant et des activits gnratrices de revenus pour les femmes. IV. Approche du projet

Le projet est un programme bas sur un processus et donnant la priorit la zone concerne plutt que de simples propositions. Les ressources doivent tre mises en place progressivement au sein des communauts la suite dun processus de planification participative pour en assurer lappropriation et la prennit. Le programme impliquera une collaboration entre le gouvernement et les entits non gouvernementales, y compris les organisations non gouvernementales locales et internationales (ONG), et les communauts. En tant que programme multisectoriel englobant la sant, la nutrition, l'enseignement pr-scolaire, l'assistance l'enfance, la gnration de l'pargne et de revenus, l'approche consistera relier divers services gouvernementaux et entits non gouvernementales pour crer un service global orient vers le dveloppement des enfants. Le projet soutiendra une varit d'options - un menu de programme en rapport avec les besoins des enfants du niveau pr-scolaire et de leurs familles. V. Composantes du projet

Composante 1 du projet Interventions communautaires intgres d'assistance l'Enfance. Cette composante soutient les objectifs du gouvernement : (a) d'amliorer l'veil de conscience parentale sur les aspects principaux d'assistance l'enfance, de croissance et de dveloppement travers l'ducation parentale, le contrle et la promotion de la croissance de l'enfant, la formation et la sensibilisation ; et (b) de donner la possibilit aux communauts de soutenir des programmes de dveloppement de l'enfant par la cration de comptence, par l'acquisition des capacits pour gnrer des revenus et par des subventions de soutien. L'objectif est de rduire la malnutrition (poids infrieur par rapport l'ge) des enfants d'un tiers la fin de la priode des cinq annes dans les zones de projet et amliorer la prparation des enfants pour linstruction lcole primaire, contribuant de ce fait la campagne pour rendre lenseignement primaire universel. Le plan du gouvernement est de couvrir ventuellement toutes les zones ; cependant, les interventions dans cette phase seront mises en uvre dans 25 zones choisies par le gouvernement, sur la base du degr de malnutrition, de mortalit infantile et du taux dinscription au niveau du primaire. Le projet comprend les interventions suivantes, relies entre elles : (a) Education par entale. Cette sous composante augmentera la comprhension des parents et des soignants au sujet des aspects principaux de lassistance lenfance, de la croissance, et du

EXEMPLE DE TERMES DE REFERENCE

133

dveloppement, y compris la nutrition de l'enfant, la sant, et le dveloppement intellectuel et psychosocial. Les qualits y relatives seront renforces chez les parents. Le dveloppement des qualifications et de la connaissance parentale amliorera en retour la sant, le dveloppement psychosocial et le bien tre des enfants et finalement, leur rceptivit l'ducation au niveau primaire. Le programme mobilisera des groupes de mres de famille (et de parents) au niveau de la communaut avec le support de matriels de projet en langues locales, d'un contrle technique et d'un systme de communication. Des matriels didactiques simplifis pour adultes avec un niveau d'instruction trs bas ont t tests avec succs en Ouganda. L'accent sera mis sur le renforcement des pratiques en matire d'assistance l'enfance qui favorisent la croissance et le dveloppement appropris de l'enfant y compris la nutrition et la sant de l'enfant (allaitement exclusif au sein et pratiques appropries de sevrage : en particulier la priode de l'introduction de s aliments de sevrage, aussi bien que les types de nourriture donns et la prparation de la nourriture, la promotion de la croissance de l'enfant, et l'utilisation des vermifuges), le dveloppement psychosocial, la stimulation de la connaissance et le soutien social, et l'hygine et l'amlioration des pratiques de sant domicile. Les interventions ci-dessus seront renforces et soutenues par une activit plus tendue (la Journe de lenfant) organise au niveau paroissial pour permettre aux communauts d 'accder un certain nombre de services concernant l'enfant au moyen d'achats dans un centre commercial. Une tude de l'impact de l'approvisionnement en albendazole d'anathelminth aux enfants en bas ge dans des paroisses slectionnes sera galement entreprise au cours des journes paroissiales de l'enfance et mesurera l'effet des traitements effectus tous les six mois sur le gain de poids. (b) Cration de la comptence de la communaut et habilet l'assistance l'enfance. Cette souscomposante comporte deux activits en corrlation : (a) le dveloppement de la capacit de la communaut, ralis travers des ateliers de planification et sensibilisation de la communaut, et (b) la formation l'esprit d'entreprise pour augmenter les revenus des mres de familles et des assistants sociaux. Composante 2 du projet Subventions de soutien la communaut pour le dveloppement de l'enfant. Deux types de subventions seraient la disposition des communauts : (a) Les subventions de soutien de la communaut subventions aux communauts offertes sur la base de contributions similaires des communauts. Ces subventions et contributions des communauts couvriront des activits conues pour soutenir les interventions pour le dveloppement de l'enfant qui font partie des lignes directrices et de la liste des activits contenues dans le manuel dexcution du projet. Pour tre qualifies pour cette subvention, les communauts devront fournir les contributions de contre partie qui peuvent tre sous forme de marchandises, de travaux ou de services. Les exemples dutilisation de telles subventions sont la construction et le fonctionnement des centres communautaires d'assistance l'enfance, des centres d'assistance domicile l'enfance ou la production et la vente des aliments de sevrage. Les composantes des subventions de soutien seront mises en application dans les mmes 25 zones incluses dans la composante 1. (b) Les subventions d'innovation subventions rendues disponibles aux communauts pour traiter les problmes relatifs aux enfants. La subvention d'innovation facilitera l'application des interventions en dehors de la liste des interventions dcrites par les subventions de soutien la communaut (a) ci-dessus. Comme le terme l'indique, les fonds d'"innovation" seront employs pour soutenir les communauts diffrents niveaux dans la mise en application "d'ides innovatrices" en vue de l'amlioration du niveau de vie des enfants au sein de leurs communauts. Les subventions d'innovation seront accessibles aux communauts de la mme manire que dans le cas des subventions de soutien aux communauts : c'est --dire, des propositions seront prpares par les communauts suivant un exercice de planification participative, seront ensuite examines par un sous-comit et envoyes pour le financement par le projet. Composante 3 du projet Programme national de soutien pour le dveloppement de l'enfant. Cette composante se compose des activits centrales du programme et des initiatives de politiques conues

134

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

pour soutenir les programmes de zones dans les composantes 1 et 2 et pour fournir la garantie de la qualit pour les activits de premire ligne du projet au niveau de la communaut. Cette composante inclut : (a) le contrle du programme et son valuation ; (b) le soutien pour la prvention des insuffisances des lments micro-nutritifs ; (c) le dveloppement du programme de la petite enfance ; (d) la formation des formateurs pour la petite enfance ; et (e) l'information, l'ducation, et la communication. VI. Les mesures de mise en application

La mise en application du projet relve de la responsabilit du gouvernement de l'Ouganda assist par des organisations non-gouvernementales dans le cadre de la dcentralisation et le transfert des pouvoirs des niveaux infrieurs comme stipul dans les politiques nationales. La communaut (Lc-1) est l'unit d'opration pour l'excution des services, bien que la structure de coordination implique galement les niveaux de la paroisse (LC-2), du sous-comit (LC-3), et de la zone (LC-5). En plus, le projet compte utiliser la sensibilisation et les consultations des acteurs, la mobilisation de la communaut, la planification participative de la communaut, le renforcement de la capacit pour la prennit tous les niveaux, tout en renforant la complmentarit avec des structures et programmes nationaux existants. Les structures politiques et institutionnelles existantes devraient tre utilises de fao n multisectorielle. La transparence et la responsabilisation devraient galement tre assures tous les niveaux. VII. Coordination du projet

Niveau national. Un comit de pilotage du projet compos des ministres concerns, des donateurs et des reprsentants des ONG sera responsable de la conduite gnrale de la mise en uvre du projet. Le comit qui sera dirig par le secrtaire permanent au Ministre des Finances, de la Planification, et du Dveloppement Economique, guidera le projet pour les aspects politiques, examinera et approuvera la qualit et l'efficacit de la mise en oeuvre. Le comit de coordination du projet fera galement des suggestions pour amliorer le budget annuel de la zone et les plans de travail du projet. Un petit bureau de coordination du projet (PCO), compos d'un coordinateur, d'un adjoint, d'un comptable qualifi et d'un petit nombre de personnel de soutien sera bas dans le secteur des services sociaux du Ministre des Finances, de la Planification, et du Dveloppement Economique et aura la responsabilit de la coordination des activits journalires sur le plan national. Niveau de la zone. Un comit de coordination multisectoriel existant le comit de coordination de Zone (DCC)sera identifi par le Chef de lAdministration pour prendre la responsabilit de coordonner le projet au niveau de la zone. LAdministrateur identifiera une personne centrale parmi les fonctionnaires du gouvernement qui coordonnera les activits en relation avec les ONG et les autres activits dans le cadre du projet. L'ONG principale sera incluse en tant que membre du Comit de Coordination de Zone. Dans les zones o aucune ONG, ayant la capacit et la base de comptences adquates ou appropries, ne peut tre identifie ou renforce pour merger comme ONG pr incipale, la mise en uvre se fera travers l'administration de la zone. Niveau de sous- zone. Un comit sectoriel existant semblable celui du niveau de la zone sera responsable de coordonner les activits du projet au niveau du sous-comit. Ce sous-comit de coordination facilitera galement les liaisons entre les structures existantes et celles du projet et, ensemble avec l'ONG principale pour la zone approuveront les plans de travail annuels et les demandes des ONG/CBO (Organisations communautaires) pour le projet dans le souscomit.

136

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE VIII. Evaluation de l'impact du projet

Le gouvernement de l'Ouganda voudrait valuer divers aspects du projet afin de s'assurer de son efficacit et guider la conception d'autres projets nationaux de nutrition et de dveloppement de la petite enfance. De plus, comme la Banque Mondiale compte sur ce projet pour informer potentiellement d'autres pays sur les services du projet de dveloppement de la petite enfance et de la nutrition, elle a inclus le projet dans l'valuation des programmes de dveloppement de la petite enfance dans trois pays et fournira une assistance technique sur la base de subvention au bureau de coordination du projet (PCO) pour aider les activits de recherche spcifique. En particulier, deux tudes dvaluation de l'impact des interventions spcifiques du projet seront entreprises en tant qu'lments du projet global. Etude de la journe paroissiale de sant de l'enfant pour valuer la couverture des traitements anthelmintiques proposs au niveau paroissial au cours des journes de sant de l'enfant et leur impact sur le gain de poids des enfants de moins de six ans par l'utilisation d'une conception exprimentale randomise. Recherche par sondage en utilisant une rfrence, un rexamen pour valuer (a) l'impact des traitements anthelmintiques et des activits globales du projet sur le dveloppement intellectuel, la sant, et la nutrition des enfants de moins de six ans ; (b ) l'impact de la composante de l'ducation des soignants et de la campagne de communication des mass mdias sur la connaissance, l'attitude, et les systmes d'encadrement des enfants des principaux soignants; et (c) limpact de la formation la base en gestion, aux activits gnratrices de revenus et la formation d'un groupe d'pargne et de crdit, et l'octroi de subventions communautaires pour le bien-tre des mnages et de la communaut.

Le bureau d'tude choisi fournira le soutien technique et logistique pour les tudes cites ci -dessus et sera invit prendre part, en tant que membre du groupe de recherche local charg de la mise en uvre , de la conception, de la collecte des donnes et de l'analyse ncessaire pour achever les deux tudes d'valuation d'impact. Ce bureau sera le partenaire principal du bureau de coordination du projet, des chercheurs locaux et des chercheurs de la Banque Mondiale et de l'Universit d'Oxford qui entreprendront l'valuation de l'impact. IX. Vue d'ensemble des tudes

Etude n1 : Impact du traitement des vers au cours des Journes de l'Enfant de la paroisse. Un certain nombre d'tudes font tat de l'impact du traitement des enfants en ge d'aller l'cole avec de l'anthelmintique. Cependant, il n'existe qu'un seul test sur un procd alatoire effectu grande chelle qui montre un grand effet sur le gain de poids pour les enfants en ge pr-scolaire. Ceci a soulev la question de savoir si un tel impact pouvait tre ralis avec les enfants africains. Ainsi, le projet de dveloppement de la petite enfance et de la nutrition inclura une tude alatoire de l'impact de la fourniture de vermifuge l'albendazole d'anthelminth, aux enfants bas ge dans 25 paroisses slectionnes au cours des Journes de l'Enfant des paroisses et mesurera l'effet des traitements sur le poids des enfants tous les six mois. Des donnes seront recueillies dans ces paroisses de mme que dans les 25 groupes de contrle qui organiseront galement des journes de sant infantile mais n'administreront pas l'albendazole systmatiquement. Dans le cas o les traitements l'anthelmintique sont administrs avec succs et que des effets bnfiques sont nots sur les enfants d' Ouganda, le programme du traitement l'anthelmintique pourrait alors tre recommand pour toutes les autres rgions. Puisqu'il sagit d'un essai scientifique sous contrle, la slection des paroisses qui seront invites administrer l'albendazole sera effectue par le bureau de coordination du projet et ceci partir d'une liste de paroisses o des journes de lenfant seront organises (cette liste sera fournie par les ONG

EXEMPLE DE TERMES DE REFERENCE

137

oprants dans les rgions). Le bureau de coordination du projet choisira galement les paroisses qui serviront de groupe de contrle. Cette conception exprimentale est essentielle pour le succs de lvaluation. Le cabinet de consultation s'assurera que les ONG locales responsables de l'organisation des Journes de sant infantile dans les paroisses comprennent les raisons d'une telle conception exprimentale et qu'elles se conforment la stratgie. Chaque enfant g de 12 mois ou plus et chaque enfant de moins de 6 ans ayant particip cette exprience organise dans les 25 paroisses indiques recevra un comprim de 400 mg croquer d'albendazole brevet. L'albendazole sera administr tous les six mois. Dans le cas o les ONG choisiraient d'organiser des journes de l'enfance plus frquemment, l'anthelmintique serait toujours administr tous les six mois et pas plus souvent. Les enfants dans les paroisses o l'albendazole est administr aussi bien que les enfants des 25 paroisses de contrle dsignes seront pess chaque journe de l'enfance et leurs poids seront enregistrs sur leur propre carnet de sant et sur le registre de la communaut. Les enfants qui sont trop petits pour se tenir sans aide sur la balance seront pess dans les bras de leur mre aprs que la balance a t rgle sur zro avec la mre se tenant toute seule sur la balance. Ces poids seront enregistrs au dixime le plus proche (0,1) d'un kilogramme. Les donnes figurant sur les registres de la communaut sont la responsabilit des ONG locales malgr le fait que le bureau travaillera avec les ONG pour s'assurer que le systme de collecte de do nnes est compatible avec les objectifs de l'tude. Le consultant transcrira ces poids sur un proforma concevoir en collaboration avec les conseillers techniques de la Banque Mondiale et de l'Universit d'Oxford. Cette transcription de donnes sera entreprise semestriellement aprs la journe de l'enfance dans la zone du projet. En plus de l'identification de l'enfant (une seule combinaison de l'identification de la paroisse, de l'identification du village et de l'identification individuelle enregistre la fois sur la carte de l'enfant et le registre de la communaut), les donnes sur le proforma incluront le sexe de l'enfant ; la date de naissance de l'enfant releve sur sa carte de sant ou, si l'information n'est pas disponible, de l'ge de l'enfant r lev sur le registre de la paroisse ; la date de la kermesse des enfants o le poids a t e enregistr; et si oui ou non l'enfant a pris une dose d'albendazole. Ces donnes seront informatises Kampala. L'identification individuelle fournira la base pour fusionner les donnes de diffrentes priodes ; ainsi, l'identification doit tre enregistre chaque fois que les donnes seront transcrites et doivent rester constantes pour un enfant pendant toute la dure du projet. Les circonstances et les conditions locales chaque journe de l'enfance qui peuvent dissuader les mres d'tre prsentes seront galement enregistres. Celles-ci incluront des donnes sur l'tat des rcoltes et les conditions atmosphriques qui peuvent toutes les deux dcourager des mres d'tre prsentes. Toutes les mthodes et occasions spciales utilises pour annoncer chaque journe de l'enfance seront enregistres parce que les diffrentes formes de publicit peuvent influer sur le taux de participation. Les donnes enregistres devraient galement inclure une valuation du nombre d'enfants venant d'autres paroisses qui ont visit la journe de l'enfance et qui n'ont pas obtenu des numros d'identification de la part des organisateurs de cette journe. L'exprience s'tendra sur deux annes. Ainsi, le consultant enregistrera les donnes cinq fois pour chaque paroisse. C'est--dire que le consultant rassemblera les donnes au dbut du projet et 6, 12, 18, et 24 mois aprs le dclenchement du projet. Une copie complte des donnes sera envoye semestriellement au bureau de coordination du projet. Ces copies seront considres comme tant les services pouvant tre proposs pour la premire tude du projet. Une analyse prliminaire sera entreprise l'Universit d'Oxford deux fois par an. Cependant, le bureau d'tude devra nommer un reprsentant qui participera l'analyse principale entreprendre la fin des deux annes. Ce reprsentant bnficiera d'un fonds de voyage et d'hbergement afin de travailler sur l'analyse Oxford. Les fonds pour ce voyage seront budgtiss dans une ligne spare d'lments et n'auront donc pas besoin d'tre inclus dans le contrat couvert par la demande des propositions.

138

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

Etude N 2 : Impact global des interventions du projet de nutrition et de dveloppement de la petite enfance. Les enqutes sur les mnages et sur la communaut constitueront les informations de base et de suivi requises pour valuer l'impact des diverses activits du projet. Les enqutes auront plusieurs modules qui valueront :

Le dveloppement et la croissance cognitifs des enfants de moins de six ans rsultant des traitements anthelmintiques et des activits globales du projet L'tude n2 valuera la croissance longitudinale et les rsultats psychosociaux et cognitifs de dveloppement sur un groupe d'enfants dans les communauts participant au projet (avec ou sans traitement anthelmintique) compar un groupe d'enfants dans les communauts ne participant pas au projet. Les deux groupes seront suivis pendant deux annes ou plus. Cette tude compltera donc celle sur l'administration de vermifuge effectue au niveau des paroisses et permettra davoir une meilleure comprhension de la dcision d'emmener les enfants aux journes de l'enfance et d'valuer si, avec le temps, la participation entrane une augmentation dans les mesures de dveloppement cognitif. De plus, en incluant les communauts qui ne bnficient d'aucun service de dveloppement de la petite enfance, l'tude valuera si lensemble des services mis en place conduit une amlioration du mode alimentaire et du dveloppement cognitif. Les changements oprs dans la connaissance, l'attitude et les soins prodigus aux enfants par les soignants rsultant de l'ducation parentale du projet et la campagne faite par les mass mdias. L'amlioration de la sant et de la nutrition des enfants de moins de six ans rsultant des contrles de croissance, de lducation en sant prventive et en nutrition, des traitements anthelmintiques et des activits globales du projet. Le bien- tre des mnages rsultant des subventions communautaires de la formation, la formation la base en gestion, des activits gnratrices de revenus et de la formation de groupe d'pargne de crdit. Les caractristiques de la communaut et les changements rsultant des interventions du projet (ou non) qui pourraient avoir un impact sur le bientre de l'enfant pendant la dure du projet.

Slection d'chantillon. Cette tude sera base sur les donnes d'une enqute de base rassembles au moment o les services taient administrs la premire fois aux communauts et sur une enqute de suivi effectue auprs de ces mmes mnages deux ans aprs l'tude initiale. Un tiers de l'chantillon sera constitu partir des mmes 25 paroisses qui font partie du groupe sous traitement anthelmintique et un tiers constitu des groupes de contrle tudis dans l'tude n 1. En outre, un tiers de l'chantillon viendra des villages de 25 paroisses dans les mmes rgions que les groupes de traitement, mais qui ne sont pas prvus pour bnficier des services du projet de dveloppement de la petite enfance et de la nutrition. Trente mnages seront slectionns dans chaque paroisse. Ceci implique 750 mnages par couche sociale. A cause de la dperdition dans lchantillon prvue (2.250 au total) dans l'enqute initiale, 5 10 % en moins de mnages sont attendus dans la nouvelle enqute effectuer. Pour constituer le groupe d'chantillon dans les paroisses de traitement et de contrle, une liste de tous les mnages viss (il y a approximativement 700 mnages dans une paroisse en moyenne) sera tablie, probablement par un rsident de la communaut. Sur cette liste figureront le nom du chef de famille, une indication de l'emplacement du mnage et du nombre d'enfants de moins de six ans au sein du mnage. Cette liste rpond deux objectifs. D'abord, un chantillon de 30 mnages comprenant au moins un enfant de moins de six ans par paroisse sera slectionn au hasard. En second lieu, le nombre total d'enfants de moins de six ans servira comme estimation de la couverture potentielle des enfants au cours des journes de l'enfance, aidant ainsi dans la dtermination du taux de participation. Etant donn que le projet de dveloppement de la petite enfance et de la nutrition aura moins de contact avec les communauts qui n'ont aucune activit de ce projet, la slection des mnages ne bnficiant pas du programme de dveloppement de la petite enfance devrait utiliser un chantillonnage de groupe pour rduire les cots de l'tablissement d'chantillon. En particulier, un sous district qui n'est pas concern par le projet devrait tre slectionn pour chaque sous-district faisant partie du groupe de

EXEMPLE DE TERMES DE REFERENCE

139

traitement, de prfrence celui qui lui est contigu. Une liste de toutes les paroisses de ces sous-districts devra tre tablie et un tirage au sort de 25 paroisses du nombre total de paroisses sera opr. Deux villages d chaque paroisse slectionne seront alors choisis, toujours en utilisant la liste de tous les e villages de la paroisse. Cette dmarche rduit le nombre de villages o un recensement est ncessaire. Le recensementsemblable celui effectu dans les paroisses de traitement et de contrle constituera la liste des mnages utilise pour tirer les chantillons de 30 mnages par paroisse. Ceci sera la troisime couche de l'enqute. Lenqute initiale de base devra tre entreprise vers la mi 1999. Ce calendrier est bas sur la ncessit de connatre les sous -districts et les paroisses dans lesquelles les ONG vont oprer afin d'utiliser le procd d'chantillonnage suggr. Ce calendrier est aussi bas sur l'ide selon laquelle la slection et la formation des coordonnateurs des ONG ne seront pas acheves avant fin 1998. Cependant, llaboration du questionnaire et son test devraient tre entrepris beaucoup plutt (que dbut 1999) afin que l'enqute puisse dmarrer aussitt que les ONG auront identifi les paroiss es dans lesquelles elles vont oprer. Comme les donnes de base devraient tre disponibles avant la premire sance d'administration de vermifuge, la priode idale pour l'enqute de base concide avec l'organisation initiale de la communaut qui aboutira la journe de l'enfance. Parce que l'chantillon de 30 familles dans chaque paroisse est petit par rapport la population totale, il est probable que la collecte de donnes de l'enqute ne perturbe pas d'autres activits ou surcharge les communauts de travail. La collecte de donnes dans les groupes de contrle (ceux qui ont des activits des ONG mais n'administrent pas de vermifuge et ceux avec ni l'un ni l'autre) devrait tre faite simultanment avec la collecte de donnes dans le groupe de traitement. Instruments d'enqute. Les questionnaires de base utiliser pour les besoins de l'enqute sont des questionnaires sur les mnages (qui rassemblent les donnes au niveau des mnages et des individus) et les questionnaires sur les communauts.

X.

ENQUETE DE MENAGES

Les donnes sur les mnages seront collectes en utilisant un programme pr-cod. Ce programme sera tabli sur le modle des enqutes sur le niveau de vie utilis dans plus de 30 pays. Une premire bauche sera labore par des chercheurs de la Banque Mondiale. Cependant, l'instrument sera abrg pour i) s'accommoder aux besoins particuliers du projet et, ii) s'adapter aux conditions locales en utilisant des groupes de centres d'intrt et un procd de pr-test entrepris par le bureau d'tude. Le questionnaire sur les mnages contiendra des modules pour rassembler des donnes sur les points suivants :
1. Les caractristiques socio-dmographiques : une liste des personnes rsidant dans le mnage au cours des 12 derniers mois, leur ge et leur sexe, de mme que leur niveau d'instruction et leur type d'emploi (s'il y en a). La forme de codage devra mentionner les parents de tous les enfants, sils sont prsentsau cas contraire, mentionner si les parents sont toujours en vie. Une liste dtaille des avoirs sera labore pou servir d'indicateur sur le niveau socio- conomique. La connaissance, l'attitude et les pratiques : le questionnaire rassemblera galement les informations sur la connaissance, les attitudes et les soins prodigus aux enfants par les principaux assistants sociaux. Les donnes anthropomtriques : les poids seront enregistrs au dixime prs (0,1) d'un kilogramme pour tous les enfants de moins de six ans en utilisant des balances affichage numrique qui seront fournies. En outre, les tailles seront enregistres pour tous les enfants gs de 2 6 ans. Le systme pr-test sera utilis pour dterminer s'il est possible d'enregistrer aussi les poids des mres de ces enfants (au cas ou elles vivent dans les mnages). L'valuation cog nitive : le bureau d'tude travaillera avec d'autres consultants locaux ou internationaux du bureau de coordination du projet pour intgrer les tests du dveloppement cognitif de l'enfant dans la collecte de donnes globale de la zone. Dans l'enqute de ba se, un test

2. 3.

4.

140

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE


de dveloppement cognitif reconnu sur le plan international sera appliqu aux enfants gs de 4 5,99 ans (moins de 6 ans). Ce test sera galement appliqu la mme catgorie d'ge dans la deuxime partie de l'tude, permettant une comparaison des groupes. En outre, un sous-groupe d'enfants g de 6 7,99 ans au moment de la deuxime partie recevra aussi ce test. (Le tableau 2.1 en annexe rcapitule cette stratgie.) En outre, les valuations de la connaissance bases sur le contenu spcifique du programme et une valuation dynamique peuvent tre dveloppes au cours de la deuxime partie de l'tude. L'inclusion de ces mesures sera value pendant le droulement du projet. En conclusion, une mesure de performance scolaire sera dveloppe pour valuer la connaissance acquise au cours de la premire anne scolaire et sera administre un sous- groupe d'enfants plus gs au cours d'une nouvelle enqute. Les tests dj existants pourraient tre adapts. 5. La sant infantile: les donnes sur la morbidit (y compris le nombre et le type de symptmes, les degrs de gravit, la dure), les modes d'accs et d'utilisation des services de sant, d'hygine et autres. L'conomie des mnages : la meilleure approche pour acqurir cette information sera explore intensivement dans la phase de pr-test et sera value ensemble avec des conseillers du bureau de coordination du projet avant la finalisation du questionnaire. Les variables peuvent inclure les dpenses alimentaires ; les activits agropastorales; la consommation des produits de la maison ; les dpenses non alimentaires ; les caractristiques de logement ; les inventaires des biens durables ; l'emploi ; les activits conomiques ; les revenus; la terre ; les cultures et les animaux ; les revenus des activits du projet ; les entreprises familiales; la possession de biens ; l'information de crdit et d'pargne sur la somme d'argent et de biens prts et emprunts, si de l'argent et de biens ont t emprunts au cours des 12 derniers mois ; l'pargne et la dette nette au jour de l'interview ; l'information sur les prts y compris les traites et les raisons de l'emprunt, et le nombre de prts venant de la mme source ; et la localisation de l'pargne, s'il en existe, y compris la banque, la caisse d'pargne logement, la caisse d'pargne rurale, et autres. Cette information fera partie seulement des enqutes de base et du projet.

6.

XI.

Enqute Communautaire

Les questionnaires communautaires seront utiliss pour recueillir des informations sur les conditions locales qui sont communes tous les mnages dans le secteur. La meilleure approche pour procder la collecte de ces informations sera explore intensivement dans la phase de pr-test et sera value ensemble avec les conseillers du bureau de coordination du projet avant de finaliser le questionnaire. Les variables peuvent inclure : 1. 2. 3. 4. L'information dmographique : le nombre de mnages, la population totale, le nombre d'enfants de moins de six ans, les groupes ethniques et les religions ; L'information conomique, y compris les activits conomiques principales et les schmas de migration pour le travail ; L'infrastructure : l'accs aux routes, l'lectricit, l'eau courante, le march, la banque et le transport en commun. Les conditions de l'infrastructure locale, telles que les routes, les points d'approvisionnement de carburant et d'eau, l'lectricit et les moyens de communication ; Les conditions et pratiques agricoles locales : le type de culture pratique dans la communaut, le rythme des plantations et des rcoltes, le mode gnral de vente de la rcolte et des donnes qualitatives sur les niveaux de prcipitation, les conditions climatiques et les saisons ; L'ducat ion : le nombre et les types d'coles maternelles, les organisations officielles et non officielles de programme de dveloppement de la petite enfance, la distance aux coles, le nombre de classes, les taux d'inscription, (en gnral et par sexe), le taux de frquentation, le rythme de passage, les soins de sant et de nutrition fournis l'cole (par exemple, les programmes de sant scolaire, les repas scolaires) ;

5.

EXEMPLE DE TERMES DE REFERENCE


6.

141

La sant : le type d'infrastructure de sant et la distance parcourir et le temps mettre pour atteindre la plus proche de chacune des infrastructures de sant (hpital, pharmacie, poste de sant, et autres). La distance et le temps de voyage pour atteindre le plus proche de chacun des nombreux types de personnel de sant (mdecin, infirmire, pharmacien, sage femme, ouvrier de sant communautaire, et autres) ; et Autres : le nombre et le type d'ONG/Organisations communautaires locales actives, les autres projets ou interventions relatifs aux enfants (par exemple, les campagnes de vaccination du gouvernement) et d'autres projets de dveloppement communautaire.

7.

Personnel d'enqute recommand . Le personnel charg de l'enqute devrait tre constitu comme suit :

personnel d'enqute central: compos du directeur de l'enqute, du directeur de zone, du directeur de la gestion des donnes et du personnel de saisie de donnes qui sera respectivement responsable de la supervision globale de la zone, de la coordination et du contrle de la collecte des donnes , de la saisie des donnes et des activits de gestion des donnes. personnel d'enqute de zone: les enqutes sur le terrain seront menes par des quipes composes d'un superviseur, de deux (ou trois) intervieweurs responsables du questionnaire principal et des mesures anthropomtriques et un chauffeur. Un nombre semblable de spcialistes participeront l'administration des tests de dveloppement cognitif aux enfants et seront slectionn et form en collaboration avec les experts locaux et internationaux. Coordonnateur pour lessai alatoire du test : le coordonnateur aidera au dveloppement des instruments de collecte de donnes, la formation des responsables des ONG locales pour l'organisation des journes de l'enfance dans les paroisses, sur la co nception exprimentale, la collecte de donnes et la transcription de ces donnes. Il ou elle supervisera la saisie des donnes et la gestion de ltude de lensemble des donnes, et participera l'analyse principale raliser la fin de l'tude.

Organisation du travail sur le terrain. Le Cabinet de consultation participera l'bauche des instruments de terrain avant l'enqute pilote et sera le principal responsable du pr-test. Aprs le pr-test, le questionnaire sera reformul (en collaboration avec les chercheurs de la Banque Mondiale) et traduit ensuite dans les langues locales. Le Cabinet travaillera en collaboration avec d'autres consultants locaux et internationaux de recherche slectionns par le bureau de coordination du projet pour intgrer des tests de dveloppement cognitif de l'enfant dans la collecte globale des donnes de terrain. Le chercheur local du programme de dveloppement de la petite enfance, aid par les conseillers internationaux choisira et adaptera le test cognitif principal utiliser et formera ceux qui seront chargs d'administrer les essais. L'organisation suivante de travail sur le terrain est recommande. Cela est bas sur une exprience internationale et conue pour assurer un contrle de qualit. Une certaine variation de cette approche pourrait tre accepte en collaboration avec les chercheurs de la Banque Mondiale en partant de l'exprience du Cabinet et des autres conseillers du bureau de coordination du projet et de l'information obtenue durant lenqute pilote. Le travail sur le terrain sera organis en petites quipes constitues d'un superviseur, de deux ou trois intervieweurs responsables du questionnaire principal et des mesures anthropomtriques et un nombre semblable de spcialistes chargs d'administrer les tests de dveloppement cognitif des enfants. Ce personnel sera form Kampala par le consultant local en recherche du programme de dveloppement de la petite enfance en collaboration avec des conseillers internationaux sur les tests psychologiques. La formation inclura une discussion sur les objectifs de la recherche, le passage en revue de chaque tape de l'interview, la pratique de la formation dans le bureau, un essai sur le terrain et une rcapitulation des expriences aprs cette rptition.

142

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

Une fois que les quipes sont bien formes, elles peuvent tre engages pour toute la dure de l'enqute, si possible. Cependant, du fait que quelques membres du perso nnel peuvent se rvler inadapts pendant le travail sur le terrain, il est recommand de former quelques membres du personnel supplmentaires. Il n'est pas conseill d'engager un personnel pour un travail de quelques jours seulement dans une paroisse et d 'engager encore un nouveau personnel pour la paroisse suivante, pour viter davoir un personnel inexpriment. Tout le personnel devra recevoir une nouvelle formation au dbut de la nouvelle enqute. Au cours de l'administration du test cognitif, les enfa nts doivent, dans la mesure du possible, tre seuls avec le charg de l'interview. En aucun cas, une autre personne (adulte ou enfant) ne doit rpondre aux questions poses l'enfant. Cependant, au cours de la nouvelle enqute, le test pour le sous-groupe des enfants gs de 8 ans peut tre administr en groupe si cela s'avre convenable. Le superviseur sera responsable de s'assurer que ceux chargs de l'interview entreprennent l'enqute dans les mnages slectionns pour l'chantillonnage sans substitution et que tous les enfants dans les groupes d'ge appropris reoivent les tests de dveloppement cognitif. En outre, le superviseur repassera en revue chaque questionnaire aprs le test (avant le dpart de l'quipe dans une nouvelle paroisse) pour s'assurer qu'il n'y a pas des lments qui manquent dans le questionnaire et que toute information apparemment incohrente a t vrifie. Le cabinet d'tude fera saisir toutes les donnes de l'enqute aussitt que possible aprs la collecte. Les copies des donnes spcifiques sur les mnages et les enfants, et les barmes dvaluation ainsi que la documentation ncessaire pour accder aux donnes ncessaires seront informatiss et fournis au bureau de coordination du projet la fin de l'enqute de base. Les questionnaires originaux doivent tre conservs par le cabinet d'tude parce qu'il sera ncessaire d'accder ces informations au cours de l'analyse. Les donnes au niveau de l'enfant doivent contenir les codes prcis d'identification qui peuvent correspondre aux codes d'enqute de mnage. Bien que les seuls codes des personnes et des mnages fournis au bureau de coordination du projet ne doivent pas comporter les noms des mnages ou leur emplacement exact, ces informations doivent tre enregistres par le bure au de manire permettre qu'une autre visite ces mnages puisse se faire une date ultrieure. Puisqu'une tape dans l'analyse lie les personnes de la nouvelle enqute leurs rsultats de test de dpart, il est essentiel que les codes des personnes et des mnages puissent tre gards constants au cours des trois enqutes.

XII.

Tches spcifiques des spcialistes de l'enqute

Le cabinet d'tude participera aux activits suivantes en collaboration avec le bureau de coordination du projet, les chercheurs locaux, les chercheurs de la Banque Mondiale et de l'universit d' Oxford et les ONG excutantes :
Rvision des programmes de travail. Dveloppement et adaptation des instruments de collecte des donnes et de la documentation annexe, y compris la liste du matriel, les questionnaires, les guides de codage, les manuels de l'intervieweur et du superviseur, le manuel des oprations, le manuel de saisie de donnes et les procdures de terrain. Rvision et bauche des divers projets de documents, de la disposition, de la traduction, de la rtro traduction et du test sur le terrain. La fourniture des tirages et des versions lectroniques de toute la documentation au bureau de coordination du projet. La transmission des questionnaires aux chercheurs de la Banque Mondiale pour leur revue avant l'enqute pilote. Etablissement de listes d'habitation et mise jour de la cartographie. Les responsabilits de la liste des mnages et des habitations dans chaque paroisse slectionne incluent l'obtention des cartes graphi ques de base, la prparation des matriels de liste, le contact des fonctionnaires locaux pour les informer de la prparation de la liste, l'identification des limites, l'laboration des plans,

EXEMPLE DE TERMES DE REFERENCES

143

l'tablissement systmatique de la liste des mnages, l'obtention d'information prliminaire sur les mnages y compris le nom du chef de famille, une indication de l'emplacement du mnage et du nombre d'enfants de moins de six ans du mnage; les procdures de documentation au moment de la constitution de l'chantillon, la fin du travail sur le terrain et la fin de la constitution du fichier de donnes. Prparation du cadre d'chantillonnage (avec le spcialiste d'chantillonnage), de la formation du personnel pour mettre en application l'chantillonnage prpar, la supervision de l'tape de mise en application pour assurer la qualit de l'chantillonnage slectionn et l'tablissement d'un rapport dtaill prsentant les grandes lignes de toutes les tapes impliques dan s la conception et la mise en place de l'chantillonnage. En consultation avec la Banque Mondiale, participer la dtermination d'une stratgie approprie pour identifier des groupes de comparaison (c'est--dire, les paroisses ne participant pas au projet). Slection et formation de ceux qui travailleront sur le terrain. Cette activit se compose de tout le travail ncessaire pour dvelopper des matriels et des manuels de formation pour toutes les personnes impliques dans le travail sur le terrain. La formation sera exige pour ceux qui sont chargs des interviews, les superviseurs des interventions, les superviseurs des quipes, le personnel de saisie de donnes et le personnel anthropomtrique. Opration de terrain, y compris la logistique pour la collecte des donnes et l'obtention du consentement des mnages et des individus et la tenue d'un registre d'tude sur les mnages. Production des rapports sur l'tat d'avancement: le cabinet d'tude prparera des rapports sur l'tat d'avancement du travail sur le terrain ( intervalles de six mois) dont une copie sera envoye au bureau de coordination du projet et la Banque Mondiale. Le cabinet d'tude devrait galement prparer une description de base de l'enqute. Cette description devrait inclure le co ntenu de l'enqute, le plan d'chantillonnage et sa mise en application et les techniques utilises pour le travail sur le terrain. Un questionnaire complet et une documentation de base devraient tre joints en annexe. Dveloppement d'un programme de saisie de donnes en utilisant un logiciel qui pourrait vrifier les sries et la cohrence des donnes et produire des rapports indiquant les donnes manquantes, les donnes en dehors des gammes autorises et les rponses incohrentes. Nettoyage de donnes, saisie de donnes, gestion de base de donnes et plans de tableau, y compris le dveloppement du programme de saisie de donnes, de la formation d'agent de saisie, de contrles de qualit de donnes, et de directives d'utilisation des donnes. De mme, les questions ouvertes de programmation des donnes, le contrle des donnes anthropomtriques sur la base de tableaux standard de rfrence. Application de l'accord de politique d'utilisation de donnes : le cabinet d 'enqute et les chercheurs impliqus dans le processus de collecte et d'analyse des donnes signeront un protocole d'accord avec le bureau de coordination du projet qui noncera explicitement la politique relative aux questions telles que l'accs aux donnes, les utilisateurs viss, les procdures pour obtenir des copies de donnes et la documentation, les rgles de publication et de droit d'auteur. Conduite de l'analyse de donnes : le cabinet mnera des analyses de donnes exploratoires (par exemple, les frquences, les tableaux de pourcentage et les tableaux-croiss) des varits principales d'enqutes et de leurs corrlations. Le cabinet mnera une tude statistique moderne de modlisation des impacts aprs les 2e et 3 tours denqutes pour dterminer le progrs global au niveau des indicateurs sociaux (par exemple, la nutrition, la sant, les revenus et le dveloppement communautaire) et les facteurs qui expliquent les changements ou le manque de changements. Production des rapports d'analyse : Le cabinet rendra compte des rsultats aprs les 2e et 3e tours des tudes bases sur les analyses des indicateurs sociaux et des variables. Le cabinet travaillera

144

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE en collaboration avec le bureau de coordination du projet et la Banque Mondiale sur l'tude des journes de sant infantile des paroisses et sur la collecte d'impacts sur le dveloppement cognitif, mais ne sera pas responsable des rapports dfinitifs sur le rsultat de ces tudes.

Les tches spcifiques de l'enqute de communaut comprenent les points suivants :


Travailler en collaboration avec les conseillers du bureau de coordination du projet dans llaboration du questionnaire de communauts et explorer intensivement dans la phase de lenqute pilote la meilleure approche pour rassembler linformation ; Travailler troitement avec les agences de mise en oeuvre (ONG principale et locale) dans la collecte des donnes de la communaut ; Contacter les fonctionnaires et les dirigeants de la communaut p our expliquer l'approche d'valuation de l'impact du projet et pour obtenir le consentement communal pour les enqutes de recherche et l'tude de la journe de sant infantile ; Interviewer les informateurs principaux et obtenir les cartes, les listes et autres archives de la communaut ; Obtenir les listes des infrastructures de sant et d'ducation (prscolaire et primaire), y compris l'emplacement gographique, le secteur et le type d'tablissement (par exemple, priv ou public); Obtenir les informations sur la dmographie de la communaut, y compris le nombre de mnages et la population par sexe et ge ; et Obtenir d'autres donnes requises dans les questionnaires de la communaut.

Les tches spcifiques pour l'tude de la Journe de l'Enfant comprennent les points suivants :
Participation au dveloppement du protocole d'tude, Dveloppement des instruments de collecte de donnes, Formation pour les ONG locales, responsables de l'organisation des journes de l'enfance dans les paroisses, pour la conception exprimentale, Supervision des donnes collectes pendant la Journe de l'Enfant, Transcription des donnes, Saisie et gestion des donnes ; et Participation l'analyse principale raliser la fin de l'tude.

Tableau Annexe 2.1 Echantillons proposs pour l'valuation de l'impact


du projet de nutrition et de dveloppement de la petite enfance de l'Ouganda Utilisation de Vermifuge et ducation des parents 25 Base 750 5.000 partie a 700 5.000 2me Base 750 5.000 Non utilisation de Non utilisation de Vermifuge et Vermifuge et non ducation des ducation des parents parents 25 partie a 700 5.000 2me Base 750 25 partie a 700 2.250 20.000 2me Total Catgorie

Nombre de paroisses Priode Nombre de mnages Nombre d'enfants pess la Journe de l'enfant b

(Le tableau continue sur la page suivante)

EXEMPLE DE TERMES DE REFERENCE

145

Catgorie

Utilisation de Non utilisation de Non utilisation de Vermifuge et ducation Vermifuge et ducation Vermifuge et non des parents des parents ducation des parents 1.500 1.395 1.500 1.395 1.500 1.395 11.580

Nombre d'enfants gs de 0 5,99 ans avec l'anthropomtrie la maison (deux par famille) c Nombre d'enfants ayant reu le test cognitif : test pour tous les enfants gs de 4 5,99 ans dans les mnages Nombre denfants gs de 6 7,99 ans ayant reu les test s cognitif et danthropomtrie Taux d'inscription scolaire

500 d

465 e

500

465

500

465

2.895

Sous- groupe f

Sous- groupe

Sous-groupe

Sous-groupe

25

25

25

25

25

25

25

Commu- Commu- Commu- Commu- Commu- Communautaires nautaires nautaires nautaires nautaires nautaires Suppose une petite perte d'usure de 8 pour cent en deux ans. a. b. c.

Com -munau-taires

d. e. f.

Suppose qu'environ 200 enfants assisteront chaque Journe de l'enfant. Suppose quenviron 200 enfants assisteront chaque Journe de lenfant Supposition de 2 enfants par famille, mais des familles seront recrutes si elles n'ont pas d'enfants en dessous de 6 ans. La famille se rfre ici une paire qui se compose d'une mre (ou de la remplaante) et de l'enfant. C'est un maximum; le nombre rel peut changer selon le nombre d'enfants de quatre cinq ans pris en compte. Suppose la mme perte de 8 pour cent sur 2 ans; seuls les enfants dont les parents ont t interviews seront tests. Le nombre sera un sous-groupe d'enfants dans la tranche d'ge dont les parents ont t interviews. Ils seront lis au rsultat prcdent. Quoi que le nombre d'enfants tests ait augment au cours de la 2me partie, la priode consacre aux interviews peut diminuer parce que beaucoup d'informations ne ncessiteront pas d'tre value nouveau. Il est galement possible que la taille du groupe soit rduite.

Source : Document de Projet de la Banque Mondiale


Etude de Validit. En plus de ce qui prcde, une petite tude longitudinale sera ajoute pour examiner la validit escompte des mesures prscolaires, des rsultats scolaires aprs la premire anne d'cole. Dans l'enqute de base, deux enfants par communaut gs de 6 6, 9ans (non encore scolariss) seront tests, pour N = 150. Ces enfants seront situs en post-test et auront subi un test de rsultat scolaire 2 ans plus tard, aux ges de 8 8,99 ans.

146
suit :

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE Programme des tches. Le projet d'emploi du temps pour le programme des tches est comme

Mois 1. Commencer le processus de construction des indicateurs du dveloppement cognitif conjointement avec le consultant international et en accord avec les termes de rfrence. Ce processus peut prendre 6 mois. Mois 2. Pr Test initial et rvision du questionnaire. Mois 5. Commencer l'tablissement de la liste des mnages pour l'chantillonnage. Cette tape dpend de la slection des ONG principales et locales. Elle ne peut tre entreprise sans que le Bureau de coordination du projet et les ONG aient slectionn les paroisses o seront organises les Journes de l'Enfant et aient donc slectionn les sites pour abriter le programme initial d'radication des vers. Dans le mme temps, le questionnaire devra tre traduit et le terrain test nouveau. Mois 7. Commencer la collecte des donnes aux kermesses de lenfant pour l'tude d'radication des vers. Les donnes devront tre rassembles ces kermesses intervalles de six mois. Comme mentionn ci-dessus, la programmation de cette tape dpend de la slection des ONG, principales et locales. Mois 8. Formation du personnel sur le terrain pour lenqute des mnages et dmarrage de lenqute. Cette dernire devrait prendre environ trois quatre mois en fonction du nombre dquipes recrutes. Les entres de donnes devront correspondre celles recueillies. Mois 14. Analyse prliminaire des donnes de base. Ceci se droulera dune manire constante. Mois 20. Le personnel du cabinet dtude se runit avec lUniversit dOxford pour participer lanalyse des donnes prliminaires. Mois 20 -36. Collecte des donnes du deuxime tour pour ltude sur les vers. Les enqutes des mnages mi-parcours et finale se feront deux quatre annes aprs les donnes de base.

Soutien au Cabinet d'tude


Aucun soutien spcifique ne sera accord au Cabinet d'tude pour effectuer ses missions. Il est recommand aux cabinets d'tude d'inclure dans leurs propositions toutes les exigences en vue de la mise en uvre effective de la mission.

EXEMPLE DE TERMES DE REFERENCE

147

Exemple II : Evaluation de limpact des Pistes rurales : Niveau de rfrence de 1997 au Vietnam1 Termes de Rfrence : Enqute de base sur ltude de limpact des Pistes rurales
I. Gnralits

Lobjectif de ltude est dvaluer limpact du projet de transport rural financ par la Banque Mondiale sur le niveau de vie de la population au Vietnam. Ce projet qui a dmarr en 1997, a t mis en uvre dans 15 rgions pauvres sur une priode de trois cinq annes. Ltude sera axe globalement sur la manire dont les facteurs dterminants du niveau de vie changent dans le temps dans les commun es qui reoivent les interventions du projet routier en comparaison avec les communes qui nen reoivent pas. Pour ce faire, il est ncessaire de procder la collecte de donnes de base davant -projet la fois pour les secteurs du projet (traitement ) et les secteurs de contrle (non traitement) et un nombre dtapes ultrieures de collecte de donnes pour les donnes de post intervention, intervalles de deux ans. Une base de donnes dtaille de la commune sera cre en partie par lutilisation des archives rassembles annuellement au niveau de la commune. A ces dernires seront ajoutes les donnes antrieures sur la commune et les diverses autres donnes supplmentaires principales collectes. Une brve enqute de la zone aidera mettre les donnes de la commune dans le contexte. Finalement 10 15 mnages seront slectionns de faon alatoire sur les listes de mnages de la commune et un petit questionnaire sur les mnages sera administr. Ltude sera entreprise dans 6 des 15 provinces qui bnficieront du projet. Les 6 provinces reprsenteront les 6 rgions gographiques du Vietnam. Un chantillonnage denviron 200 des communes o le projet sera excut et de communes non concernes sera labor. Six quipes seront constitues pour examiner simultanment chaque province. Lenqute devrait dmarrer en avril et se terminer vers le mois daot. Les donnes devraient tre disponibles en octobre ou novembre. II. Echantillonnage. Il se fera trois niveaux : 1. Les Provinces : Les 15 provinces de projet sont situes dans les six rgions gographiques du Vietnam. Les critres de slection des provinces dtude seront les suivants : (a) une province sera slectionne dans chaque rgion gographique ; et (b) quand il y a plus dune province de projet possible dans une rgion gographique, une slection sera faite au hasard. 2. Les communes : Le but est dexaminer 200 communes ou plus qui sont slectionnes au hasard. Environ la moiti ou moins (mais pas plus) devait tre des communes ayant des projets de liaison routire, et le reste pour le contrle. Une liste des communes non concernes par le projet sera labore dans les six provinces (ou alternativement une liste pour chaque province) et un chantillon sera tir au hasard. De mme une liste de toutes les communes bnficiant de projets routiers sera labore dans les six provinces (ou province). Cela peut tre plus dune commune par liaison routire ; toutes les communes seront incluses dans le mme cadre dchantillonnage. Un chantillon sera galement tir au Conception de lenqute

Ces termes de rfrence ont t labors par Dominique van de Walle.

148

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE

hasard parmi elles. Lchantillon ne comprendra pas ncessairement deux communauts lies par un projet de route. Si laccs certaines communes slectionnes savre impossible, celles-ci seront remplaces par dautres communes semblables de la rgion. 3. Les mnages : dans chaque commune slectionne, une enqu te sera entreprise sur 15 mnages. Ceux-ci (en plus peut-tre quelques mnages de remplacement) seront slectionns au hasard sur la liste des mnages de la commune. Aprs la slection, il sera demand aux autorits de la commune daider classifier les mnages dans les catgories suivantes : trs pauvre, moyennement pauvre, non pauvre et riche. III. Le processus denqute

Six experts en enqute seront recruts pour mener les enqutes dans les six provinces. Aprs leur formation et lessai du questionnaire s le terrain, ils procderont simultanment aux enqutes dans chaque province. Dans les rgions, les ur enquteurs auront besoin au moins dun personnel local fourni par lunit rgionale de direction du projet pour les aider dans les contacts avec les autorits locales et dans certains cas pour les aider trouver des guides et des interprtes convenables dans les rgions des minorits. Des enquteurs adjoints ou une assistance de la direction du projet de la province seront recruts si ncessaire. Chaque enquteur rassemblera des donnes dans 35 communes en moyenne et des donns des rgions auxquelles elles appartiennent, et de 15 mnages environ par commune. Trois quatre jours seront ncessaires pour chaque commune. Le temps pass sur le terrain sera denviron 100 140 jours (quatre cinq mois). La dure totale de lopration sera de six mois. Pendant la dure de lenqute, le superviseur fera des visites de terrain dans toutes les six provinces pour superviser la collecte de donnes et sassurer de leur haute qualit Les donnes rassembles seront traites et saisies en utilisant un programme de saisie de donnes. Le tableau annexe 2.II.1 donne un aperu du calendrier prvu pour ltude.

Tableau annexe 2.II.1 Calendrier prvu pour ltude de lvaluation de limpact de ltude, Vietnam
Jan. Questionnaires de conception Enqute dessai sur le terrain Rvision des questionnaires Adapter le programme dintroduction de donnes, traduire et imprimer les questionnaires Recruter et former les enquteurs sur le terrain Enqute sur le terrain ******** Fv. ******** ******** ******** ******** Mars Avril Mai Juin Juillet Aot Sept.

********

********

********

********

********

********

Vrifier les donnes

********

********

Raliser lintroduc-tion des donnes

********

EXEMPLE DE TERMES DE REFERNCE

149

IV.

Divers

Equipement. Le matriel achet pour les besoins du projet sera la disposition du projet aussi longtemps que durera ltude ( travers dautres tournes) mais au cas o le matriel nest pas utilis par lquipe, la direction du projet sera responsable de lentreposer pour lusage de lquipe. Dboursements du budget. Le budget allou pour ltude ( lexclusion des paiements de lenquteur principal, qui recevra des traitements mensuels) sera dbours en trois tranches. La premire, reprsentant 20% du total du contrat sera paye ds la signature du contrat. Le deuxime acompte, dun montant de 50% du budget total, ne sera dbours que lorsque les questionnaires de la communaut, des mnages et des rgions sont finaliss et approuvs par le Responsable du projet la Banque Mondiale. La prvision de la fin de cette tche se situe autour du mois de mars. Le troisime et dernier acompte sera dbours la fin juillet ou mi chemin de la collecte des donnes. Les dtails de prvision budgtaire figurent dans le Tableau Annexe 2.II.2. Tableau annexe 2.II.2. Prvisions budgtaires pour ltude Nombre Dure 19 66 Montant (US$) 1.000 400 8 40 50 200 Total (US$) 9.000 14.400 12.000 30.000 1.500 1.200

Enquteur principal
Expert denqute Frais de mission pour six enquteurs, six guides locaux et interprtes Voiture et autre s moyens de transport pour six quipes denquteurs Location de voiture pour lenquteur principal Billets davion Hanoi-Ho Chi Minh-Hanoi pour les 3 enquteurs principaux (provinces du sud) (3 voyages aller -retour) Formation des enquteurs - Paiement - Dplacement sur le terrain - Frais de mission

mois mois jours

12 125 6 125 1 30 6

jours

12 semaine

Essai des questionnaires sur le terrain (communauts nord et sud) Traitement de donnes et saisie Matriels denqute Communication (fax, tlphone, e-mail, photocopie) Equipement : Ordinateur (PMU 18),

3 jours/ 3 voitures 3 jours 2 1 semaines 2 2 mois

50 50 8

1.338

2.000 200 800 2.000 2.000

Imprimante (PMU 18), Machine fax (quipe), Ordinateur portable (quipe)

1 1 1 1

1.700 1.000 500 1.800

5.000

(Le tableau continue sur la page suivante)

150

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMLENT SUR LA PAUVRETE 8/page 1.600 800 1.362 85.000

Traduction (questionnaire, manuels, documentation) 200 pages Tirage, photocopie Imprvus Total

Termes de rfrence : Superviseur de lenqute ou enquteur principal


I. Description des tches

Le superviseur de lenqute lintrieur du pays ou lenquteur principal sera responsable de lenqute de base pour ltude lintrieur du Vietnam. Le superviseur aura la responsabilit de rendre linformation disponible au niveau de la commune ; daider la rvision et la finalisation des questionnaires au niveau de la zone, de la commune et des mnages ; de tester les questionnaires sur le terrain ; dincorporer les corrections aux questionnaires ; de faire les arrangements en vue de faire traduire les questionnaires ; de recruter des assistants et les former ; de planifier la logistique des travaux sur le terrain ; de prparer la documentation de lexcution des enqutes et les questionnaires ; de superviser la ralisation des enqutes et assurer le contrle de la qualit du travail ; de superviser le nettoyage des donnes du projet et prendre des dispositions pour le traitement et la saisie des donnes. Cette personne assurera galement la liaison avec la Division des projets au Ministre du transport (PMU 18), la Mission Rsidente de Banque Mondiale, le reprsentant Hanoi de lAgence Canadienne pour le Dveloppement International, et le responsable du projet la Banque Mondiale Washington. La personne dpendra directement de ce responsable du projet. Elle commencera son travail ds janvier 1997; le contrat peut tre tabli pour une priode de neuf mois un t aux de salaire mensuel de S1.000. II. Tches Spcifiques

Les tches spcifiques comprennent les points suivants : 1. Assumer la responsabilit pour le recrutement, prparer les termes de rfrence dtaills, former et superviser les 6 assistants principaux qui travailleront avec les assistants locaux (si possible venant du bureau local des transports) sur le terrain et tre responsable de la collecte des donnes au niveau de la rgion, de la commune et des mnages ; Explorer la disponibilit des donnes au niv eau de la commune et travailler en troite collaboration avec le responsable de la Banque Mondiale pour laborer les versions finales des questionnaires ; Entreprendre un essai des questionnaires sur le terrain la fois dans les communes rurales du sud e du t nord; prsenter un rapport sur les problmes potentiels et les rvisions ncessaires ; rviser les questionnaires en cas de besoin; Prendre des dispositions pour que les questionnaires soient traduits, imprims et photocopis (les versions finales des questionnaires seront disponibles aussi bien en anglais quen vietnamien); Slectionner les six provinces devant tre incluses dans lenqute de sorte quil y ait une province par rgion gographique quand il y a plus dune province du type dsir, la slection se fait au hasard; laborer un chantillonnage au hasard denviron 200 communes rurales dans les six provinces, en incluant celles avec des projets pour moiti environ et le reste avec celles non concernes par les projets ; Planifier toute la logistique des travaux sur le terrain, y compris les dispositions pour le transport, les chauffeurs, les per diems, le programme des enqutes des communes et informer les autorits communales de larrive des quipes et de leur objectif; Participer la ralisation des enqutes, en supervisant alternativement les quipes; assurer un contrle de qualit ; identifier les problmes affectant le droulement des enqutes, contrler la qualit et sassurer que les donnes rassembles sont compltes, suggrer des moyens pour rsoudre les problmes et les mettre en pratique aprs consultation avec le responsable de ltude ;

2. 3.

4. 5.

6.

7.

EXEMPLE DE TERMES DE REFERNCE

151

8.

Sassurer que des enqutes futures peuvent reproduire lenqute de base, ce qui exige (a) la prparation de la documentation : dtails de toute la conception de ralisation de lenqute et de la logistique (le mode dchantillonnage des provinces effectu, des communes et des mnages ; le mode de formation et dorganisation des quipes ; le mode dorganisation du travail sur le terrain ; le procd adopt lorsquun site slectionn se rvlait inaccessible ou lorsquun mnage slectionn na pas t retrouv ; les problmes, les questions souleves et les solutions apportes) ; et (b) prparer un manuel dtaill sur les dfinitions des termes (par exemple, le chmage, le revenu, loccupation principale, lenfant ou ladulte, la distance), les units, les montants de devise, les codes utiliss dans les questionnaires ; la manire dont les questionnaire doi vent tre administrs et la population cible ; la manire dont les prix ont t relevs et autres; la premire tape devrait sassurer que les suivantes peuvent reproduire lorganisation de base et les dtails logistiques et la dernire devrait tre utilise dans la formation des enquteurs et pour leur travail aussi bien que pour aider les futurs utilisateurs des donnes (des versions anglaises et vietnamiennes seront disponibles) ; 9. Fournir lquipement ncessaire comme spcifi dans le budget ; 10. Etablir de bonnes relations et assurer une collaboration troite avec la direction du projet du Ministre des Transports (PMU 18). Tenir le Ministre inform de ltude et contrler les dveloppements du projet ; superviser la constitution dune base de donnes partir des donnes spcifiques du projet (le responsable de la Banque Mondiale identifiera les donnes inclure) ; 11. Arranger et superviser le traitement et la saisie des donnes en utilisant le programme de saisie des donnes fourni ; et 12. Assurer la liais on et communiquer souvent avec le responsable du projet.

Ces termes de rfrence ont t labors par Dominique van de Walle.

Annexe 3 Budget type dune valuation de limpact dun programme alimentaire scolaire
Phase I : Juillet 1999 Dcembre 2000 a Proposition de recherche sur lalimentation au niveau des coles Evaluation de base et dchantillon (Juillet 1999 Dcembre 2000) Projet de budget 14 / 7/ 1999 US$

Personnel semaine / Activit AF2000 Personnel de la Banque mondiale Economiste Expert en valuation Expert en nutrition Pairs de critique Pairs de critique Personnel FES Coordonnateur de Projet 4 4 4 5 5 0.2 0.2 2 3 3 0.2 0.2 17.640 23.520 23.520 1.948 1.948 AF2001

Source de financement / cots Petit Logement. Djeuner RPO Autres Total

68.577 12.0 00 12.000

(Le tableau continue sur la page suivante)

EXEMPLE DE TERMES DE REFERENCE

149

IV.

Divers

Equipement. Le matriel achet pour les besoins du projet sera la disposition du projet aussi longtemps que durera ltude ( travers dautres tournes) mais au cas o le matriel nest pas utilis par lquipe, la Direction du projet sera responsable de lentreposer pour lusage de lquipe. Dboursements du Budget. Le budget allou pour ltude ( lexclusion des paiements de lenquteur principal, qui recevra des traitements mensuels) sera dbours en trois tranches. La premire, reprsentant 20% du total du contrat sera paye ds la signature du contrat. Le deuxime acompte, dun montant de 50% du budget total, ne sera dbours que lorsque les questionnaires de la communaut, des mnages et des rgions sont finaliss et approuvs par le Responsable du projet la Banque Mondiale. La prvision de la fin de cette tche se situe autour du mois de mars. Le troisime et dernier acompte sera dbours la fin juillet ou mi-chemin de la collecte des donnes. Les dtails de prvision budgtaire figurent dans le Tableau Annexe 2.II.2. Tableau annexe 2.II.2. Prvisions budgtaires pour ltude Nombre Enquteur principal Expert denqute Frais de mission pour six enquteurs, six guides locaux et interprtes Voiture et autres moyens de transport pour six quipes denquteurs Location de voiture pour lenquteur principal Billets davion Hanoi-Ho Chi Minh-Hanoi pour les 3 enquteurs principaux (provinces du sud) (3 voyages allerretour) Formation des enquteurs - Paiement - Dp lacement sur le terrain - Frais de mission Essai des questionnaires sur le terrain (communauts nord et sud) Traitement de donnes et saisie Matriels denqute Communication (fax, tlphone, e -mail, photocopie) Equipement : Dure Montant (US$) 1.000 400 8 40 50 200 Total (US$) 9.000 14.400 12.000 30.000 1.500 1.200

1 9 mois 6 6 mois 12 125 jours 6 125 1 30 jours 6

12 1 semaine 3 jours/ 3 voitures 3 jours 1 2 semaines 2 2 mois 200 50 50 8

1.338

2.000 800 2.000 2.000 5.000

Ordinateur (PMU 18), Imprimante (PMU 18), Machine fax (quipe), Ordinateur portable (quipe)

1 1 1 1

1.700 1.000 500 1.800

(Tableau continue sur la page suivante)

EXEMPLE DE TERMES DE REFERENCE


Traduction (questionnaire, manuels, documentation) 200 pages Tirage, photocopie Imprvus Total 8/page

150
1.600 800 1.362 85.000

Termes de rfrence : Superviseur de lenqute ou enquteur principal


I. Description des tches

Le superviseur de lenqute lintrieur du pays ou lenquteur principal sera responsable de lenqute de base pour ltude lintrieur du Vietnam. Le superviseur aura la responsabilit de rendre linformation disponible au niveau de la commune ; daider la rvision et la finalisation des questionnaires au niveau de la zone, de la commune et des mnages ; de tester les questionnaires sur le terrain ; dincorporer les corrections aux question naires ; de prendre les dispositions en vue de faire traduire les questionnaires ; de recruter des assistants et les former ; de planifier la logistique des travaux sur le terrain ; de prparer la documentation de lexcution des enqutes et les questionnaires ; de superviser la ralisation des enqutes et assurer le contrle de la qualit du travail ; de superviser le nettoyage des donnes du projet et prendre des dispositions pour le traitement et la saisie des donnes. Cette personne assurera galement la liaison avec la Division des projets au Ministre du transport (PMU 18), la Mission Rsidente de Banque Mondiale, le reprsentant Hanoi de lAgence Canadienne pour le Dveloppement International, et le responsable du projet la Banque Mondiale Washington. La personne dpendra directement de ce responsable du projet. Elle commencera son travail ds janvier 1997; le contrat peut tre tabli pour une priode de neuf mois un taux de salaire mensuel de S1.000. II. Tches Spcifiques

Les tches spcifiques incluent les points suivants : 1. Assumer la responsabilit pour le recrutement, prparer les termes de rfrence dtaills, former et superviser les 6 assistants principaux qui travailleront avec les assistants locaux (si possible venant du bureau local des transports) sur le terrain et tre responsable de la collecte des donnes au niveau de la rgion, de la commune et des mnages ; Explorer la disponibilit des donnes au niveau de la commune et travailler en troite collaboration avec le responsable de la Banque Mondiale pour laborer les versions finales des questionnaires ; Entreprendre un essai des questionnaires sur le terrain la fois dans les communes rurales du sud et du nord; prsenter un rapport sur les problmes potentiels et les rvisions ncessaires ; rviser les questionnaires en cas de besoin; Prendre des dispositions pour que les questionnaires soient traduits, imprims et photocopis (les versions finales des questionnaires seront disponibles aussi bien en anglais quen vietnamien);

2.

3.

4.

151

EVALUATION DE DIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

5. Slectionner les six provinces devant tre incluses dans lenqute de sorte quil y ait une province par rgion gographique quand il y a plus dune province rpondant aux critres de slection, la slection se fait au hasard; laborer un chantillonnage au hasard denviron 200 communes rurales dans les six provinces, en incluant celles avec des projets pour moiti environ et le reste avec celles non concernes par les projets ; 6. Planifier toute la logistique des travaux sur le terrain, y compris les dispositions pour le transport, les chauffeurs, les per diems, le programme des enqutes des communes et informer les autorits communales de larrive des quipes et de leur objectif; 7. Participer la ralisation des enqutes, en supervisant alternativement les quipes; assurer un contrle de qualit ; identifier les problmes affectant le droulement es enqutes, contrler la qualit et sassurer que les donnes rassembles sont compltes, suggrer des moyens pour rsoudre les problmes et les mettre en pratique aprs consultation avec le responsable de ltude ; 8. Sassurer que des enqutes futures peuvent reproduire lenqute de base, ce qui exige (a) la prparation de la do cumentation : dtails de toute la conception de ralisation de lenqute et de la logistique (le mode dchantillonnage effectu des provinces, des communes et des mnages ; le mode de formation et dorganisation des quipes ; le mode dorganisation du travail sur le terrain ; le procd adopt lorsquun site slectionn sest rvl inaccessible ou lorsque quun mnage slectionn na pas t retrouv ; les problmes, les questions souleves et les solutions apportes) ; et (b) prparer un manuel dtaill sur les dfinitions des termes (par exemple, le chmage, le revenu, loccupation principale, lenfant ou ladulte, la distance), les units, les montants de devise, les codes utiliss dans les questionnaires ; la manire dont les questionnaire doivent tre administrs et la population cible ; la manire dont les prix ont t relevs et autres; la premire tape devrait sassurer que les suivantes peuvent reproduire lorganisation de base et les dtails logistiques et la dernire devrait tre utilise pour la formation des enquteurs et pour leur travail aussi bien que pour aider les futurs utilisateurs des donnes (des versions anglaise et vietnamienne seront disponibles) ; 9. Fournir lquipement ncessaire comme spcifi dans le budget ; 10. Etablir de bonnes relations et assurer une collaboration troite avec la direction du projet du Ministre des Transports (PMU 18). Tenir le Ministre au courant de ltude et contrler les dveloppements du projet ; superviser la constitution dune base de donnes partir des donnes spcifiques du projet (le responsable de la Banque Mondiale identifiera les donnes inclure) ; 11. Arranger et superviser le traitement et la saisie des donnes en utilisant le programme de saisie des donnes fourni ; et 12. Assurer la liaison et communiquer souvent avec le responsable du projet.

152
Consultants

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Internationaux Evaluation de la situation (voyage compris) Dveloppement du test cognitif (voyage compris) Spcialiste dchantillonnage Etude de rentabilit Cabinet rgional de consultants b Conception, chantillonnage, administration Travail sur le terrain Traitement de donnes Analyse Voyage Dplacements Imprvus Communication Logiciel Traduction TOTAUX 1.000 2.000 2.000 5.000 68,577 150.150 19.000 238.077 Total requis de RAD : US$ 150.500 Total requis du budget de la Banque: US$68.577 Total fourni par des ressources extrieures : US$19.000 4 2 12.000 12.000 25.000 3.500 30.000 100.500 42.000 25.000 40.000 6.000 7.000

2.000

a.

Les prvisions budgtaires de la phase II de lvaluation ne sont pas incluses dans cette proposition.

b. Le dtail de ces cots figure sur la page suivante.

BUDGET DEVALUATION DIMPACT


Prvisions Budgtaires Collecte de donnes locales et analyse pour la phase I
Evaluation de limpact du programme dalimentation en milieu scolaire Cots en US$
Nombre de Nombre de personnes personnes par semaine Professionnels Directeur Spcialiste de lducation Spcialiste de la nutrition Statisticien./ chantillonnage Responsable du travail sur le terrain Programmeur Superviseur de traitement de donnes Assistant enqutes Assistant anthropomtrie Assistant test cognitif Contrle de qualit des donnes Sous-total Personnel cadre Personnel de terrain Superviseur Charg du test cognitif Anthropomtriste Intervieweur Chauffeur Equipement de terrain Vhicules ( 4 vhicules Pour 5 semaines) Carburant (4 vhicules pour 5 semaines) Balances, rgisseurs (5 ensembles) Matriel de test cognitif (pour 4 chargs de test) Matriel denqute (pour 4 intervieweurs) Sous-total travail de terrain Traitement de donnes Codage de donnes Saisie des donnes Sous-total traitement de donnes TOTAL Personnes 3 4 7 7 75 75 4 5 4 4 5 80 20 20 20 4 4 4 4 4 6 6 6 6 5 200 120 120 120 100 1 1 1 1 10 10 10 8 100 100 100 100 1 1 1 1 1 1 1 12 8 8 12 8 10 8 2.000 1.500 1.500 750 750 300 300 Taux par semaine Total

153

24.000 12.000 12.000 9.000 6.000 3.000 2.400

1.000 1.000 1.000 800 72.200

4.800 2.880 2.880 2.880 2,000 Cot par semaine ou unit

Personnes/units 4 5 350

7.000

1.600 100 80 80 24.300

1.575 2.100 3.675 100.175

Annexe 4 Indicateurs dimpact Evaluation du fonds social dinvestissement en Bolivie


Dvelopp en nombre 1997 I. Enseignement formel Ecoles de type A et de type B

(niveaux multiples et rguliers) 1. Indicateurs dimpact final Russite dans les tests de Mathmatique et langues (a) Taux de redoublement Taux dabandon Inscription Niveau dinstruction Demande pour lducation ( pourcentage dlves exclus de lcole) 2. Indicateurs dimpact intermdiaire Rgularit des lves Rgularit des enseignants Temps allou pour les lves/ temps pass tudier Mthode denseignement en classes Mouvement du personnel enseignant 3. Indicateurs dintervention Infrastructure Rapport tudiants/ classe Nombre de classes en bon tat Nombre de classes manquantes Disponibilit de zone multi-fonctionnelle Disponibilit de services de base

Electricit Alimentation en eau Type dinstallations sanitaires ; condition des services sanitaires

INDICATEUR DIMPACT EVALUATION DU FOND DINVESTISSEMENT SOCIAL EN BOLIVIE


Meubles

155

Nombre dtudiants / table Nombre de bureaux denseignant / classe Nombre de chaises denseignant / classe Nombre de tableaux noirs adquats/ classe Nombre dtagres / classe Nombre de textes et matriel didactique Nombre de manuels / lve Qualit des textes de mathmatiques, de langue, de sciences humaines et de sciences naturelles Disponibilit de textes denseignants Disponibilit et tat des cartes et plans Jeux didactiques par cycle scolaire ( p r-base, base, intermdiaire) Disponibilit dun boulier Indicateurs de rforme de lducation b 4. Facteurs affectant les rsultats non lis au Projet SIF ( exognes) Nutrition Disponibilit de programme de petit djeuner lcole Frais de scolarit Caractristique des enseignants Profil de Formation Annes de service Formation reue Mthodes denseignement utilises (en classe) Formation reue, par thme et cours Pratiques dvaluation des lves ( frquence de devoirs de maison et correction) Evaluation des enseignants par les lves Raisons dabandon Elves exclus de lcole Distance entre le domicile et lcole Ratio lves/ enseignant 5. Indicateurs didentification La priorit est-elle donne lcole par la Rforme de lEducation ? Frais encourus par composante du projet Dpenses relles par composante du projet

II 1.

Sant Indicateurs dimpact final c Taux de mortalit des tout petits Taux de mortalit infantile Taux dincidence et de prvalence des principales maladies Prdominance de la malnutrition (gnral, lgre, modr et grave) Indicateurs dimpact intermdiaire Utilisation de centres de sant gouvernementaux Existence du vaccin antittanique

2.

156

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRET E

Lieu o le vaccin a t fait Prvalence du contrle prnatal Nombre de contrles prnatals effectus Qualit du contrle Prvalence des accouchements effectus dans les centres de sant Qualit des soins Prvalence des accouchements domicile effectus par le personnel mdical. Taille la naissance Poids la naissance Mesures anthropomtriques Lieu o la mesure a t prise Age au moment de la premire mesure Frquence de maladie et prvalence dimmunisation par nombre de doses reues Polio Diphtrie -Ttanos -Coqueluche (DPT) Rougeole Vaccin anti-tuberculose Connaissance des endroits o se rendre pour limmunisation Frquence daccs de toux et traitement Frquence daccs de diarrhe et traitement Prvalence de la connaissance de lutilisation des paquets de rhydratation Connaissance des cliniques prvalence de grossesse Taux de grossesses haut-risque Prvalence des habitudes de bonne hygine et dutilisation de leau Dure de lallaitement 3. Indicateurs dintervention d Qualit de linfrastructure par type de centre de sant Disponibilit de services de base dans les centres de sant (eau courante, rseau dgout et lectricit) Adquation de linfrastructure selon les normes par type de centre de sant Adquation de lquipement selon les normes par type de centre de sant Nombre de lits dans le centre de sant Disponibilit des mdicaments essentiels par type de centre de sant Disponibilit dinstruments mdicaux essentiels par type de centre de sant Disponibilit de fournitures essent ielles par type de centre de sant 4. Facteurs affectant les rsultats non lis au Projet SIF (exogne) Caractristiques du mnage Qualit du lieu dhabitation Type dhabitation Services de base du lieu dhabitation Electricit Eau courante Type dinstallations sanitaires Accessibilit aux services de base Distance sparant le lieu dhabitation et le centre de sant le plus proche Distance sparant les installations sanitaires et la source Distance sparant le lieu dhabitation et le point principal dalimentation en eau Heures de disponibilit deau par jour

INDICATEUR DIMPACT EVALUATION DU FOND DINVESTISSEMENT SOCIAL EN BOLIVIE 157

Suffisance de la quantit deau par jour Disponibilit de la quantit deau tout au long de lanne Cot de la consultation dans un centre de sant Perception du chef de famille sur la qualit : du service dans le centre de sant frquent par sa famille, de linfrastructure du centre de sant frquent par sa famille, de la d isponibilit des mdicaments dans le centre de sant frquent par sa famille. Dpenses de mnage Caractristiques personnelles des membres de la famille Age Langue Niveau dinstruction Occupation Caractristiques gographiques District de sant Zone de sant Secteur de sant Province Localit Ressources humaines existantes dans le centre de sant (mdecins, odontologistes, nutritionnistes, infirmires, aide-infirmires, techniciens, personnel administratif) Population sous la zone de couverture du centre de sant par groupes dge Frais de consultation dans le centre de sant Interventions de sant non finances par le SIF 5. Indicateurs didentit Frais encourus par composante de projet Dpenses relles par composante de projet III. Eau

1.

Indicateurs dimpa ct final e Taux de mortalit des tout petits Taux de mortalit infantile Taux de frquence et de prvalence de diarrhe dans la famille Prvalence de la malnutrition (gnrale, lgre, modre et grave)

2.

Indicateurs dimpact intermdiaire Frquence et traitement de diarrhes dans les centres de sant Prvalence et connaissance de lutilisation des paquets de rhydratation orale Prvalence des habitudes de bonne hygine et dutilisation deau

3.

Indicateurs dintervention (des ressources) Prvalence de la formation en matire de sant Accessibilit aux services de sant Principale source deau Existence et type dinstallations sanitaires

158

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Distance sparant les installations sanitaires et la source Distance sparant le lieu dhabitation et la principale source deau Heures de disponibilit deau par jour Suffisance de quantit deau par jour Disponibilit deau pendant lanne Quantit deau utilise par la famille a Qualit de leau a 4. Facteurs affectant les rsultats non lis au Projet SIF (exognes) Utilisation des centres de sant du gouvernement ( MSSP) Taille la naissance Poids la naissance Dure de lallaitement Caractristiques du mnage Qualit du lieu dhabitation Type dhabitation Accessibilit aux services de base Distance sparant la famille et le centre de sant le plus proche Frais de consultation dans le centre de sant Dpenses du mnage Caractristiques personnelles des membres de la famille Age Langue Niveau Occupation 5. Indicateurs didentification Frais encourus par composante du projet Dpenses relles par composante du projet
a. b. c. d. Non considre au dpart. A dvelopper en coordination avec le personnel de la Rforme de lEducation ; seront considres comme exognes aux interventions moins que les interventions SIF de la rforme dducation soient associes. Taux gnral de morbidit, taux de natalit, taux global de fcondit, mortalit adulte et esprance de vie la naissance supprime. Formation en matire de sant supprime. Taux gnral de mortalit, taux de naissance, taux global de fcondit, mortalit adulte (homme et femme), esprance de vie la naissance, prvalence dinfections respiratoires aigus et traitement daccs de toux supprim.

e.

Annexe 5 Cadre Logique des rcapitulatifs de conception du projet pour le document d'achvement du projet ou le document d'valuation du projet
1. Hirarchie des objectifs Indicateurs cls de performance Contrle et valuation Rapport du secteur et du pays : 1. Cette colonne identifie le lieu o la vrification de chaque indicateur peut se trouver et le mode d'opration. 2. Les indicateurs accompagnant le secteur concern par l'objectif CAS sont gnralement contrls et valus grce de nombreux rapports du secteur ou du pays qui sont produits en dehors du programme. Hypothse critique (De l'objectif la mission de la B anque) En supposant que l'objectif du CAS (indiqu dans la colonne l'extrme gauche) soit atteint long terme, lister d'autres suppositions complmentaires ncessaires pour lier cet objectif la mission de la Banque (c'est --dire la rduction de la pauvret). Ces suppositions incluent souvent les conditions, actions ou rponses l'extrieur du projet et en dehors du secteur.

Indicateurs de Secteur : Objectif de stratgie d'assistance au pays, lie un secteur. 1. Les indicateurs accompagnant le secteur Fournir une dclaration en concern par l'objectif CAS une phrase sur lobjectif incluent des dispositions non stratgique long terme finances par le projet mais (tel que reflt dans le qui peuvent tre finances CAS) auquel le projet est par la Banque comme partie d'autres travaux. destin contribuer. 2. En principe, l'emprunteur La dclaration doit dcrire contrlera ces indicateurs le dveloppement comme partie de bonne significatif opr dans pratique de gestion. le (s) secteur (s) concern (s).

(Lannexe 5 continue sur la page suivante)

Annexe 5 (suite)
Objectif de dveloppement du projet: 1. Enoncer une dclaration en une phrase sur le changement de comportement attendu de la part du groupe ou des institutions bnficiaires du programme la fin de son excution. La ralisation de l'objectif sert comme simple test de demande pour les rsultats du projet. Ralisation / Indicateurs d'impact : 1. Les indicateurs se rapportent aux rsultats escompts, alors que l'impact ne sera visible que dans 5 ans ou plus aprs la fin de d'excution du projet. 2. Les indicateurs dachvement (PDO) ne sont pas une raffirmation de ceux au niveau des rsultats. Rapports de projet : 1. Ce chapitre identifie le lieu o les informations permettant la vrification de chaque indicateur peuvent tre trouves et le mode d'opration. 2. Les indicateurs accompagnant l'objectif de dveloppement du projet sont gnralement contrls et valus travers de nombreux rapports de projet, de rapports de mission de supervision et d'valuation ( mi-parcours ou la fin). 3. Lorsqu'une collecte de donnes est ncessaire, une mention spcifique doit tre faite des mthodes et des responsabilits, qui peuvent inclure une demande de renseignements venant des bnficiaires. (De lobjectif de dveloppement du projet l'objectif CAS du secteur)

3. La collecte de donnes pour L'objectif doit tre quantifier les indicateurs est l'expression explicite d'un gnralement finance par le dveloppement raliste, projet. spcifique, quantifiable et la demande. Comme manuel de rfrence pour devenir l'objectif du projet, consulter le guide "Ce qu'il faut faire ou ne pas faire dans la dfinition d'un projet de dveloppement" (appeler x 7065 ou envoyer un e-mail l'adresse M&Ehelp@worldbank.org pour obtenir un exemplaire.)

En supposant que l'objectif de dveloppement du projet soit atteint, faire la liste d'autres hypothses ncessaires pour justifier la contribution du projet l'objectif dclar. Ces hypothses se rapportent aux contributions supplmentaires d'autres projets, apports ou rponses des groupes ou institutions bnficiaires qui sont pertinentes la ralisation de l'objectif dclar.

(Lannexe 5 continue la page suivante)

Annexe 5 (suite)

Rsultat de chaque composante : 1. Stipuler ici (au pass) la valeur ajoute par la ralisation de chaque composante. 2. Une dclaration correcte de la valeur ajoute sera facile mesurer (comme reflt dans les indicateurs de droite).

Indicateurs de rsultat : 1. Les indicateurs de rsultat ont des attributs de quantit, qualit et dure. Si la dure n'est pas stipule, la fin du projet est suppose ltre. 2. Les indicateurs de rsultat incluent des mesures de rentabilit.

Rapports de projet : 1. Les indicateurs de rsultat sont gnralement contrls et valus travers plusieurs rapports de projet, rapports de missions de supervision et d'valuation ( mi-parcours ou la fin). 2. Les sources de donne pour le contrle et l'valuation de ces indicateurs incluent normalement les systmes d'archivage administratifs et de gestion, et les rapports tablis par le projet.

(Des rsultats l'objectif de dveloppement du projet) En supposant que les donnes nonces dans le cadre l'extrme gauche soient ralises la fin du projet, faire la liste d'autre hypothses complmentaires ncessaires pour raliser les objectifs du projet. Ces hypothses peuvent englober des conditions, des changements de politique ou les ractions attendues de la part des groupes ou institutions bnficiaires qui sont ncessaires au succs du projet. Ces hypothses sont critiques la ralisation des objectifs noncs

3. La collecte des donnes pour mesurer les 3. Pour une simplicit et indicateurs de rsultat est une clart dans la logique, finance par le projet. il doit y avoir une dclaration de rsultat 4. Pour les projets pour chaque composante complexes, un tableau correspondante. spar (un addendum lannexe 1) peut tre utilis 4. Chaque rsultat doit pour fournir une liste plus correspondre en nombre dtaille des indicateurs de sa composante respective. rsultat. 5. L'quipe charge du projet a gnralement la responsabilit de s'assurer de la production de ces rsultats comme partie 5. Il est prfrable de n'avoir que peu d'indicateurs de rsultat significatifs et faciles mesurer que davoir un

intgrante d'une bonne conception de projet et de sa bonne excution, planification et livraison.

grand nombre dindicateurs pour lesquels la collecte des donnes est problmatique. 6. Les indicateurs de rsultat font l'objet d'un commun accord avec l'emprunteur l'tape PCD (quant la disponibilit des donnes et la facilit de la collecte) et une base est obtenue avant l'valuation.

objectifs noncs du projet mais sont en dehors du contrle direct du projet.

(Lannexe 5 continue sur la page suivante)

Annexe 5 (suite)
Les composantes/souscomposantes du projet : 1. Une composante est un ensemble de souscomposantes ou d'activits conues pour constituer un seul projet. 2. Faire la liste de chaque composante de projet comme rubrique principale suivie des souscomposantes principales, s'il y en a, comme partie du projet. Ressources du projet (budget pour chaque composante) : 1. Faire la liste des composantes en terme de cot total de chaque composante, y compris les imprvus (par exemple, US$____). Rapports de projet : 1. Les ressources sont gnralement contrles travers les rapports d'avancement et de dboursement (tous deux trimestriellement). (Des composantes du projet aux rsultats du projet) Avec lhypothse que les composantes et les activits nonces dans le cadre l'extrme gauche soient ralises avec succs, faire la liste d'hypothses complmentaires ncessaires pour raliser les rendements dclars. Ces hypothses sont des conditions en dehors du contrle direct du projet et sont ncessaires si les rsultats stipuls doivent tre raliss par le

2. Les ressources sont gnralement values 2. Pour des projets, grands travers les rapports de ou complexes, les cots des missions de supervision sous-composantes peuvent (deux par an) et les aussi tre indiqus (en rapports d'audit (annuels). alina , pour les sparer des cots pour les composantes).

projet. Le projet en luimme ne devrait pas dpenser de l'argent pour raliser n'importe laquelle de ces conditions (puisque de telles hypothses sont incluses dans les composantes ellesmmes)

Source : Dpartement des services oprationnels centraux, Banque Mondiale. Pour des exemples complets de cette annexe, visiter le site M&E Help du service Internet Web de la Banque l'adresse http://L.nts012/helhelpdesk.nsf.

Annexe 6 Matrice dAnalyse : Evaluation de l'impact du Fonds social d'investissement d'urgence du Nicaragua 1998
A. Cibler la pauvret Questions / Objets 164 Indicateurs gnraux Seuil de pauvret des communauts et rgions SF

Pourcentage de mnages dans


la communaut ou la rgion en dessous du seuil de pauvret ou du niveau de consommation du trs pauvre.

Mthodologies Commentaires Source de donnes EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE Ncessite une enqute sur le Pour comparer les donnes des pays, il revenu et la consommation des faut des dfinitions semblables des mnages et lidentification des seuils de pauvret activits SF par communaut et par rgion Ncessite une enqute sur le revenu et la consommation des mnages et l'identification des activits du SF par communaut et par rgion Les cartes utilisent habituellement des mesures de procuration comme indice de pauvret bas sur des variables mixtes. Les inconvnients sont qu'elles choisissent arbitrairement les indicateurs et les pondrations, et chaque pays a un indice diffrent. L'avantage est quelles fournissent souvent plus de

Sondage national des mnages (LSMS) dans les communauts SF- pour uniquement l'ducation, la sant, l'eau et les projets d'installations sanitaires

Niveau de consommation
moyen dans les communauts participant au fonds social compar au niveau de consommation du pays

Sondage national des mnages (LSMS) dans les communauts- uniquement pour l'ducation, la sant, l'eau et les projets d'installations sanitaires

Indice de pauvret (tel


qu'utilis par SF)

Utilisation SF de la carte de la pauvret partir des donnes LSMS93 utilisant l'indice de pauvret composite; mettra jour lutilisation de LSMS98 et les donnes de recensement pour prvoir la

donnes d'ensemble que les enqutes sur les revenus et la consommation les deux peuvent tre lies pour

consommation des niveaux subnationaux .

Lannexe 6 continue sur la page suivante

les deux peuvent tre lies pour driver les niveaux de consommation prvus des niveaux dsagrgs. Peut varier largement par type de projet SF

Seuils de pauvret des bnficiaires SF (mnages)

Pourcentage des bnficiaires


en dessous du seuil de pauvret ou dans une pauvret extrme

Enqute sur le revenu et la consommation qui slectionne les bnficiaires soit par taille de SF soit par sondage dans les communauts SF

Sondage national des mnages (LSMS) dans les communauts SF

Consommation moyenne des


mnages bnficiaires compare la moyenne nationale pour des mnages semblables par type de projet (par exemple, avec enfants l'cole primaire, accs l'eau courante et utilisation de latrines)

Enqute sur le revenu et la consommation qui slectionne les bnficiaires SF soit par taille soit par sondage dans les communauts SF; peut aussi faire un sondage dans les communauts correspondantes sans interventions SF

Sondage national des mnages (LSMS) dans les communauts SF

(Lannexe 6 continue la page suivante)

MATRICE DANALYSE : EVALUATION DE LIMPACT DU FOND SOCIAL DINVESTISSEMENT DURGENCE DU NICARAGUA-1988

165

Matrice (suite)
Questions / Objets Distribution de ressources S F Indicateurs gnraux ressources dans les groupes de bas niveau des rgions Mthodologies de classement consistante dans tous les pays Commentaires Source de donnes

Pourcentage de projets de fond social et de Ncessite une mthodologie

Ncessite une rvision du systme de classement et un rcalibrage

Caractristiques de politique institutionnelle qui affectent l'application du ciblage SF

Utilisation d'une carte d'indice de pauvret Effort de promotion Accs direct par les groupes bnficiaires Utilisation en commun des projets par les agences qui en font la demande Dcentralisation des bureaux Ciblage de la dotation des ressources Liste de sous-projets Age du Fonds Social "Capital social" de la communaut Distance au sige du Fonds social Niveau d'instruction le plus lev des bnficiaires Prsence d'intervention du gouvernement ou des ONG Degr d'ingalit des revenus dans le pays

Dveloppe des variables institutionnelles standards qui peuvent tre utilises pour expliquer les rsultats viss, variables obtenues facilement du Fonds social (SF)

Information disponible au FS

Autres facteurs affectant l'application du ciblage

Ncessite galement des dfinitions standards des variables - variables obtenues du FS, des enqutes sur des mnages (avec identification des bnficiaires du FS) et des enqutes nationales

Le seul indicateur peu sr est "le capital social de la communaut "

Comparaison d'alternatives

(La matrice continue la page suivante)

166
Comparaison d'alternatives

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Pourcentage de projets FS et de ressources dans les basses couches des rgions, compar d'autres programmes semblables et mcanismes de livraison

Compare l'application du ciblage bas sur la localisation gographique ou les degrs de pauvret des bnficiaires, compte tenu de la conception de l'enqute, l'chelle du FS et autres programmes

Difficult pour Planifi pour une analyse de trouver des rentabilit lments de comparaison fiables, ncessit de rassembler une information spare partir des programmes de comparaison

B. Bnfices Questions/Sujets Capital physique Indicateurs gnraux Source de donnes/mthodologies Les enqutes de communaut, l'valuation des bnficiaires ou l'enqute sur des mnages avec des sondages dans les zones FS Commentaires Etude de cas : Nicaragua Evaluation des bnficiaires couverts par le financement BIRD et enqute sur les facilits.

Mesure dans laquelle les micro-projets rpondent aux priorits des communauts

La perception du niveau de bnfice par les Enqute sur des mnages ou


bnficiaires et les amliorations du bien -tre valuation des bnficiaires dans les communauts SF

Evaluation des bnficiaires couverts par l'enqute sur les mnages et le financement BIRD Ncessit d'avoir soit des questions de base soit des questions de rappel Questions de rappel de l'enqute sur les mnages, possibles aussi ex ante partir des tudes LSMS prcdentes; peut comparer les bnficiaires du SF avec les caractristiques de la population nationale et les communauts correspondantes

Amlioration dans l'accs aux


infrastructures sociales et conomiques (avant et aprs)

Enqute sur des mnages des bnficiaires du FS

(La matrice continue la page suivante)

MATRICE DANALYSE : EVALUATION DE LIMPACT DU FOND SOCIAL DINVESTISSEMENT DURGENCE DU NICARAGUA-1988

167

Amlioration dans l'accs aux


infrastructures sociales et conomiques en parallle avec des projets de comparaison

Enqute sur des mnages du SF et des bnficiaires de projet de comparaison

Ncessite d'avoir soit des questions de base, soit des questions de rappel; besoin de dvelopper des indicateurs spars par type de projet SF Ncessite d'avoir soit des questions de base, soit des questions de rappel; besoin de dvelopper des indicateurs spars par type de projet SF Ncessite d'avoir soit des questions de base, soit des questions de rappel; besoin de dvelopper des indicateurs spars par type de projet SF

Peut comparer les bnficiaires SF avec les caractristiques gnrales de la population nationale aussi bien que les communauts correspondantes

Amlioration dans la qualit des

Enqute sur les facilits et infrastructures et des services (avant et aprs) enqute sur des mnages, valuation de la couverture par des bnficiaires

Pour l'ducation, la Sant, l'eau et les infrastructures sanitaires, rappel plus information historique des enqutes de facilits et de l'valuation SF ex ante.

Amlioration dans la qualit des


infrastructures et services en parallle avec des projets de comparaison

Enqute sur les facilits, enqute sur des mnages, valuation de la couverture par des bnficiaires (Fonds Social et projets de comparaison)

Pour l'ducation la sant, l'eau et les infrastructures sanitaires, les facilits SF et non SF travers les enqutes de mnage et les enqutes de facilits.

Capital humain

Amlioration de l'enseignement :
frquentation scolaire, annes d'tudes, taux d'abandon et de redoublement (avant et aprs, et en parallle avec les groupes de comparaison) Amlioration de la sant : par exemple, frquence de maladie, mortalit infantile, malnutrition, augmentation de l'allaitement maternel (avant et aprs et en parallle avec les groupes de comparaison)

Enqute sur des mnages et informations en provenance de l'cole Enqute sur des mnages et information en provenance de l'cole pour les coles et mnages SF et non SF

Enqute sur des mnages avec un module de sant, des mesures anthropomtriques si la malnutrition est incluse.

(La matrice continue la page suivante)

168

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Amlioration de l'conomie :
augmentation de revenus, rduction de temps pass chercher de l'eau, cot faible des services, augmentation de l'emploi (avant et aprs et en parallle avec les groupes de comparaison) Capital social

Enqute sur des mnages

Enqute sur des mnage pour les bnficiaires SF et les communauts correspondantes non bnficiaires Non trait

Augmentation de la capacit
communautaire faire face aux problmes (en parallle avec les groupes de comparaison)

Enqute sur des mnages, enqute de communaut et/ou valuation de bnficiaires

Augmentation du taux de participation


dans les changements initis par la communaut (en parallle avec les groupes de comparaison) C. Prennit des bnfices Questions/Objets Prennit des oprations Indicateurs gnraux

Enqute sur des mnages, enqute de communaut ou valuation de bnficiaires

Ncessite de dvelopper des indicateurs

Information dans l'enqute de mnage sur la participation

Sources de donnes Mthodologies Enqute de facilits

Commentaires Peut avoir des informations complmentaires partir de l'valuation des bnficiaires Peut tirer des informations complmentaires de l'valuation des bnficiaires

Etude de cas : Nicaragua Pour les enqutes de projet d'ducation et de sant, avoir la fois des bnficiaires SF et des non SF.

Conditions dans lesquelles les projets SF


fonctionnent aprs les interventions SF (durabilit absolue)

Condition dans lesquelles les projets SF


fonctionnent aprs les interventions SF face des projets de comparaison (durabilit relative)

Enqute de facilits

Pour les enqutes de projet d'ducation et de sant, avoir la fois des bnficiaires SF et des non SF.

(La matrice continue la page suivante)

MATRICE DANALYSE : EVALUATION DE LIMPACT DU FOND SOCIAL DINVESTISSEMENT DURGENCE DU NICARAGUA-1988


Durabilit de la maintenance

169

Maintenance des infrastructures et des


services (absolue) dans le temps

Enqute de facilits

Possibilit d'avoir des informations supplmentaires de l'valuation des bnficiaires

Pour les enqutes de projet de sant et d'ducation, avoir la fois des bnficiaires SF et des non SF

Maintenance des infrastructures et des seserrvices dans le temps en parallle avec des projets de comparaison (relative)

Enqute de facilits

Possibilit d'avoir des informations supplmentaires partir de l'valuation des bnficiaires Possibilit d'avoir des informations supplmentaires partir de l'valuation des bnficiaires

Pour les enqutes de projet de sant et d'ducation, avoir la fois des bnficiaires SF et des non SF

Qualit et quantit des infrastructures et


services dans le temps

Enqute de facilits et des mnages

Pour les enqutes de p rojet de sant et d'ducation, avoir la fois des bnficiaires SF et des non SF

Durabilit de limpact

Tendance des communauts SF


soumettre d'autres propositions ( SF et autres) dans le temps

Base de donnes SF, enqute de communaut ou valuation des bnficiaires Enqute de communaut, enqute sur des mnages ou valuation des bnficiaires

Ncessiterait un travail complmentaire Inclure dans la prochaine valuation des bnficiaires; valuation de l'impact

Durabilit des effets communautaires

Participation de la communaut aux


besoins d'infrastructures sociales et conomiques dans le temps

D. Questions de rentabilit Questions/Sujets Rentabilit des micro-projets Indicateurs gnraux Source de donnes Mthodologies Base de donnes SF et informations en provenance, des ministres et des municipalits Commentaires Les changements de cot dans le temps et les projets de comparaison doivent tre identiques Etude de cas : Nicaragua Donnes SF et non SF partir de l'enqute des facilits. Les estimations de cots non SF peuvent ne pas tre fiables

Cot moyen par cole nouvelle, poste de


sant, syst me d'adduction d'eau avec des approches alternatives en parallle avec des projets de comparaison

Base de donnes SF et

Peut calculer les moyennes

(La matrice continue la page suivante)

170

EVALUATION DE LIMPACT DES PROJETS DE DEVELOPPEMENT SUR LA PAUVRETE

Cots par unit : cot par mtre carr de


construction, par kilomtre de route, et ainsi de suite en parallle avec des projets de comparaison

Base de donnes SF et informations en provenance des ministres et municipalits

Peut calculer les moyennes SF. A incl ure dans l'analyse de rentabilit

Cot moyen par bnficiaire par projet SF Base de donnes SF et


type en parallle avec des projets de comparaison informations en provenance des ministres et municipalits

Peut calculer les moyennes SF. A inclure dans l'analyse de rentabilit

Cot moyen d'emploi gnr en parallle


Rentabilit des mcanismes de production avec des projets de comparaison

Base de donnes SF et informations en provenance des ministres et municipalits

Peut calculer les moyennes SF. A inclure dans l'analyse de rentabilit

Base de donnes SF et fonctionnement) comme part des projets SF informations en provenance en parallle avec des projets de comparaison des ministres et municipalits

Cot institutionnel SF (investissement et

Temps d'achvement moyen en parallle avec des projets de comparaison

Base de donnes SF et informations en provenance des ministres et municipalits

Peut calculer les moyennes Nc essit de SF. A inclure dans l'analyse dvelopper des de rentabilit dfinitions standards des cots institutionnels; spcifier la priode Peut calculer les moyennes SF. A inclure dans l'analyse de rentabilit