FR M&E Handbook

Guide du suivi et de lvaluation axs sur les rsultats
P ROGRAMME DES NATIONS UNIES POUR LE DVELOPPEMENT B U R E AU DE L VA L UATION
PROGRAMME DES NATIONS UNIES POUR LE DVELOPPEMENT BUREAU DE LVALUATION
Guide du suivi et de lvaluation axs sur les rsultats
Bureau de lvaluation du PNUD 2002 Bureau de lvaluation Programme des Nations Unies pour le dveloppement One United Nations Plaza New York, NY 10017, USA Design: Colonial Communications Corp., New York, NY, USA
Avant-propos
Laide au dveloppement a toujours eu pour objectif de raliser le changement long terme mais, bien souvent, on a mis laccent, sagissant de linformation ce sujet, sur des ralisations positives mais limites. Mme des projets efficaces et bien grs perdent de leur sens sils naboutissent pas une amlioration sensible de la situation du dveloppement. Fort de cette constatation, le Programme des Nations Unies pour le dveloppement (PNUD) sattache davantage aux rsultats et la manire dont il peut contribuer les amliorer. Pour oprer cette rorientation stratgique dans le sens des rsultats, le PNUD a besoin dun cadre solide et cohrent de suivi et dvaluation favorisant lapprentissage et la mesure des ralisations. Ce cadre, qui devrait galement nous dire si nous accomplissons des progrs et dans laffirmative, comment et pourquoi, doit tre suffisamment clair et souple pour que le personnel tous les niveaux (de projet, de programme et cadres des niveaux de pays) puisse lutiliser sans rigidit de faon renforcer en dernire analyse lefficacit globale de lorganisation en matire de dveloppement. Le cadre de suivi et dvaluation dcrit dans le prsent Guide rpond de ce fait trois objectifs dimportance gale : aligner le mcanisme de suivi et dvaluation sur la gestion fonde sur les rsultats, favoriser la connaissance critique et lapprentissage concernant les rsultats, et simplifier les politiques et procdures. Plusieurs lments de ce cadre appellent un changement dans lattitude et lapproche du personnel. Ce cadre favorise la priorit la planification cohrente et long terme axe sur les rsultats; les partenariats en vue du changement apport par le dveloppement; le renforcement des capacits et la matrise concernant le suivi et lvaluation; la promotion des connaissances, de lapprentissage et de lutilisation des indices dvaluation. Une certaine formation sera donc ncessaire. Nous entendons tirer des enseignements de ce nouveau cadre et lactualiser, mais il nen faut pas moins souligner que lintroduction de ce cadre constitue un important pas en avant pour le PNUD. Les instruments et procds dcrits dans le prsent Guide visent aider le PNUD et ses partenaires du dveloppement oprer les bons choix sagissant des rsultats, prouver la prcision de nos hypothses de dveloppement et dmontrer comment et pourquoi le changement sopre l o il compte le plus, dans lamlioration des conditions de vie des pauvres. Zphirin Diabr Administrateur associ Janvier 2002
GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S
Prface
Le PNUD mne depuis 1999 un vaste programme de rforme et de rnovation visant essentiellement dmontrer comment et o lorganisation apporte une contribution mesurable llimination de la pauvret. Cette opration est tributaire de la gestion axe sur les rsultats, mthode selon laquelle lefficacit au niveau des objectifs et rsultats de dveloppement est systmatiquement mesure et amliore, et les ressources sont gres de manire stratgique et utilises de manire maximale afin de renforcer lefficacit de lorganisation pour ce qui est du dveloppement.1 Pour le PNUD, ce passage une culture des performances appelle lalignement de tous les instruments de programmation y compris le suivi et lvaluation sur la mthode de la gestion axe sur les rsultats. Dornavant, lefficacit du PNUD se mesurera son apport la ralisation des effets (les changements dans le dveloppement que recherche le PNUD, notamment par ses projets, programmes et partenariats). Il est plus vident que jamais que lefficacit du dveloppement passe par le renforcement des institutions, lamlioration des cadres dintervention et la constitution de partenariats stratgiques. Les activits de suivi et dvaluation rpondent la priorit accorde aux effets grce une meilleure mesure des ralisations et la systmatisation du suivi et de la communication dinformation; surtout, ces activits favorisent au sein de lorganisation une culture dapprentissage, de transparence et de responsabilit. Le prsent Guide du suivi et de lvaluation axs sur les rsultats, porte sur le suivi et lvaluation des rsultats du dveloppement. Il a pour objet daider les bureaux de pays aligner leur mcanisme de suivi et dvaluation sur les mthodes de la gestion axe sur les rsultats et plus prcisment suivre et mesurer lefficacit des interventions et stratgies du PNUD ainsi que leurs apports la ralisation des effets.2 Il sagit de proposer des outils simples, souples et prospectifs.
1
Tout au long de ce Guide, les expressions ax sur les rsultats et mthode fonde sur les rsultats dsignent dune manire gnrale la mthode de gestion axe sur les rsultats . Le Guide porte expressment sur le suivi et sur lvaluation des rsultats du dveloppement. Il naborde pas le suivi des activits de gestion. Toutefois,les cas o les activits de suivi et dvaluation au niveau des pays intressent galement les activits de gestion seront mentionns.
iii
Le prsent Guide sadresse essentiellement au personnel des bureaux de pays mais il peut intresser dautres agents du PNUD qui se fondent sur les informations dgages des oprations de suivi et dvaluation pour tablir des rapports sur les rsultats, amliorer les interventions et prendre des dcisions en matire de programme et dintervention. Il sera galement utile aux responsables de lvolution des politiques et des rformes. En dehors du PNUD, il pourra intresser dautres organismes des Nations Unies, des organisations gouvernementales et non gouvernementales, les milieux universitaires et les experts indpendants recruts par le PNUD. Il devrait permettre de renforcer les capacits du PNUD et de ses partenaires nationaux pour ce qui est du dveloppement ax sur les rsultats. Le texte intgral du prsent Guide est galement disponible sous forme lectronique sur le site du Bureau dvaluation (http://www.undp.org/eo/). Ce site contient des questions frquentes, des renvois dautres sources et programmes de formation ainsi quune mise jour priodique et la prsentation dtaille de toutes les mthodes de suivi et dvaluation du PNUD.
Khalid Malik Directeur Bureau de lEvaluation
iv
Contents
Introduction 1
PARTIE I.
Chapitre 1. Chapitre 2.
LE CADRE DU SUIVI ET DE L V A L UAT I O N

Objets et dfinitions Lvolution vers une gestion axe sur les rsultats
3
5 9
PARTIE II. LE SUIVI ET L V A L UAT I O N

Chapitre 3. Chapitre 4. Chapitre 5. Planification du suivi et de lvaluation Suivi ( comment ) Lvaluation ( comment )
21
23 31 45
PARTIE III. SUIVI ET VALUATION DE LA PERFORMANCE

Chapitre 6. Mesure de la performance
61
63
PARTIE IV. EXPLOITATION DES DONNES DE SUIVI ET DVALUATION

Chapitre 7. Savoir (ou connaissances) et apprentissage: Utilisation des lments dvaluation
73
75 89
Conclusion
ANNEXE
Sigles et abrviations Glossaire Documents et sites Web Outils de suivi et dvaluation Annexe A: Plan dvaluation et de suivi Annexe B: Termes de rfrence de lvaluation Annexe C: Rapport annuel de projet Annexe D: Rapport de visite sur le terrain Annexe E: Menu doutils de suivi
91
93 95 107 125 126 129 132 134 136
Introduction
Objet du Guide
Le Guide du suivi et de lvaluation axs sur les rsultats vise les objectifs suivants : n Renforcer la fonction et les capacits de suivi et dvaluation axs sur les rsultats du PNUD afin damliorer les programmes et politiques, lapprentissage au niveau de lorganisation et la responsabilit; n Introduire des mthodes ou outils simplifis, harmoniss et souples permettant de suivre la ralisation des objectifs conformment la simplification de lorganisation et sur la base de lexprience du PNUD et de ses partenaires; n Proposer des mthodes permettant de relier les produits des projets, programmes, politiques, partenariats et appui-conseil du PNUD la ralisation des effets selon le cadre de rsultats stratgiques;3 Expliquer les innovations et mthodes nouvelles du suivi et de lvaluation axs sur les rsultats, y compris le rle des partenaires; Offrir une orientation pratique aux bureaux de pays pour ce qui est du suivi et de lvaluation de la performance.
n n
Structure et contenu
Le Guide se compose de quatre parties et dune annexe : La premire partie prsente le cadre thorique et fonctionnel du suivi et de lvaluation dans un contexte ax sur les rsultats. On y trouvera les lments du nouveau cadre, la dfinition des principales notions du suivi et de lvaluation des effets et la dfinition de leur porte et objet. La deuxime partie constitue le corps du Guide et est conue pour une utilisation quotidienne. On y trouvera une orientation pratique concernant la planification,
3
Voir Glossaire.
lorganisation et lexcution dactivits de suivi et dvaluation axes sur les rsultats du dveloppement (effet et produits). On y trouvera galement des mthodes applicables la mesure des performances au moyen doprations de suivi et dvaluation. Les outils correspondants sont prsents dans des annexes. La troisime partie examine la mesure de la performance et lapplication dindicateurs au suivi et lvaluation. La quatrime partie concerne le rle des indices dvaluation dans lapprentissage au niveau de lorganisation et la gestion du savoir. Lannexe contient des modles et schmas consultatifs et souples concernant certains outils de suivi et dvaluation tels que le mandat type ainsi quun canevas annot de rapports dvaluation du niveau de ralisation, qui seront accessibles sous forme lectronique et pourront ainsi tre facilement adapts. Lannexe contient galement le glossaire, une liste des sigles et abrviations ainsi quune bibliographie. On peut trouver les lments ci-aprs en consultant le site Web du Bureau de lvaluation du PNUD (http://www.undp.org/eo/) : n n n n Modles et prsentation de certains outils de suivi et dvaluation; Rfrences bibliographiques et lectroniques; Sources dinformation du PNUD et de ses organisations partenaires; Mises jour, enseignements tirs et donnes dexprience lis au Guide.
On trouvera des sources supplmentaires dans les publications de la Companion Series , qui contiennent une orientation plus approfondie pour le suivi et lvaluation dans certains domaines et concernant certains groupes cibles, comme par exemple Guidelines for Outcome Evaluators (Directives pour les Evaluateurs) et Evaluation Capacity Development. Tous les utilisateurs du prsent Guide sont invits faire connatre au Bureau de lvaluation leur avis au sujet de la publication ainsi que les enseignements tirs de leur exprience, ce qui permettra damliorer en permanence le cadre de suivi et dvaluation. Veuillez consulter le site Web du Bureau de lvaluation pour y trouver une mise jour de lapplication du suivi et de lvaluation axs sur les rsultats.
PARTIE I
Le cadre du suivi et de lvaluation
Chapitre 1.
Objets et dfinitions A. Objets du suivi et de lvaluation B. Dfinitions du suivi et de lvaluation
5 5 6
Chapter 2.
Lvolution vers une gestion axe sur les rsultats 9 A. Suivi et valuation dans le contexte de la gestion axe sur les rsultats 9 B. Incidences pour le bureau de pays 16
Figures, tableaux et encads de la premire partie Figure 1. Figure 2. Figure 3. Figure 4. Objets du suivi et de lvaluation Le cycle des rsultats Comment lappui conseil est-il fourni? Responsabilit des chargs de programme en matire de suivi et dvaluation Caractristiques principales du suivi de lexcution et du suivi des effets Diffrences entre suivi des effets et valuation des effets Changements apports aux outils servant la programmation, au suivi et lvaluation Rles et responsabilits en matire de suivi et dvaluation au niveau du pays Rles des partenaires dans le suivi et lvaluation En tant que charg de programme, que dois-je changer dans mon action? 6 7 15 19 11 12 17 18 14 19
Tableau 1. Tableau 2. Tableau 3. Tableau 4.
Encadr 1. Encadr 2.
Objets et dfinitions
CHAPITR E 1
Le suivi et lvaluation amliorent lefficacit de laide du PNUD en tablissant des liens bien dfinis entre les interventions passes, actuelles et futures et les rsultats. Le suivi et lvaluation peuvent aider une organisation retirer des activits passes et en cours des renseignements utiles qui peuvent servir de base par la suite affiner, rorienter et planifier les programmes. En labsence de suivi et dvaluation, il serait impossible de dterminer si les activits sont alles dans le bon sens, si des progrs et des succs ont t enregistrs, pas plus que la manire dont laction future pourrait tre amliore. Le prsent chapitre met en lumire les principaux objectifs du suivi et de lvaluation et explique comment ces fonctions peuvent tre utiles lorganisation.On y trouvera galement des dfinitions lies au suivi et lvaluation. Le prsent chapitre se subdivise en deux parties : A. Objets du suivi et de lvaluation B. Dfinitions du suivi et de lvaluation
A. Objects du suivi et de lvaluation

Le suivi et lvaluation permettent damliorer la performance et dobtenir des rsultats. Plus prcisment, le but gnral du suivi et de lvaluation est de mesurer et dvaluer la performance afin de mieux grer les effets et produits appels rsultats du dveloppement. La performance se dfinit comme la progression vers la ralisation de rsultats. Avec le priorit que le PNUD accorde actuellement aux rsultats, les bureaux de pays et groupes chargs des programmes doivent rpondre de nouvelles exigences en matire de suivi et dvaluation cause de la ncessit de mettre les ralisations en vidence. Le suivi et lvaluation ont toujours port sur lvaluation des apports et de lexcution. Actuellement, laccent est mis sur lvaluation des contributions de diffrents facteurs un effet de dveloppement donn, ces facteurs tant des produits, des partenariats, lorientation gnrale et le dialogue, le plaidoyer, la sensibilisation et la mdiation et
coordination. Les directeurs de programme sont appels utiliser activement linformation qui sest dgage du suivi et de lvaluation pour amliorer les stratgies, programmes et autres activits. Le suivi et lvaluation axs aujourdhui sur les rsultats ont essentiellement pour objectif : n n n n Damliorer lapprentissage au niveau de lorganisation et du dveloppement; De permettre la prise de dcisions en connaissance de cause; Dappuyer la responsabilit fonctionnelle et le recentrage du PNUD; De renforcer les capacits des pays dans chacun de ces domaines ainsi que pour ce qui est des fonctions de suivi et dvaluation en gnral. Ces objectifs sont interdpendants de manire cyclique, comme lindique la figure 1. Cest en tirant les enseignements du pass que lon peut prendre des dcisions en meilleure connaissance de cause. Des dcisions plus judicieuses conduisent une plus grande responsabilit envers les parties prenantes. Des dcisions plus judicieuses amliorent en outre la performance, ce qui permet de recentrer en permanence les activits du PNUD.
FIGURE 1. OBJETS DU SUIVI ET DE LVALUATION

Le suivi et lvaluation aident le personnel
tre responsable et se recentrer
En constituant des partenariats troits avec les principales parties prenantes tous les Prendre stades de ce processus, on favorise en des dcisions outre la cration de connaissances et en meilleure connaissance de cause lapprentissage en commun, on contribue transfrer des comptences et renforce la capacit des bureaux de pays et des projets du PNUD en matire de planification, de suivi et dvaluation. Ces parties prenantes apportent par ailleurs un prcieux retour dinformation qui peut servir amliorer les ralisations et lapprentissage. Ainsi, les bonnes pratiques qui sont le fondement mme du suivi et de lvaluation se trouvent renforces en permanence, contribuant lefficacit globale du dveloppement.
Renforcement Tirer les des capacits leons de lexprience
B. Dfinitions du suivi et de lvaluation

Le suivi peut se dfinir comme une fonction continue visant essentiellement assurer la direction et aux principales parties prenantes une intervention permanente assortie dindications rapides de progrs ou dabsence de progrs dans la ralisation des rsultats. Une intervention permanente peut consister en projets, programmes ou autres types dappui un effet. (Voir ce sujet le chapitre 4 et lannexe.) Lvaluation est une opration slective qui vise apprcier systmatiquement et de manire objective les progrs dans la ralisation dun effet. Il ne sagit pas dune activit ponctuelle, mais dune opration qui suppose une srie dvaluations diffrentes quant leur objet et le degr de dtail, effectue plusieurs moments pour rpondre lvolution des besoins en connaissances critiques et en apprentissage tout au long de la ralisation
dun effet. Toutes les valuations mme les valuations de projet portant sur la pertinence, lefficacit et dautres critres doivent tre relies aux effets par rapport la seule performance ou aux produits immdiats. (Voir le chapitre 5 relatif lvaluation.) La communication dinformation fait partie intgrante du suivi et de lvaluation. Il sagit de fournir systmatiquement et en temps utile des renseignements vitaux intervalles rguliers. Le suivi et lvaluation se situent deux niveaux diffrents tout en tant troitement lis : Un niveau est ax sur les produits ou les produits et services spcifiques qui se dgagent de la transformation dapports par le jeu dactivits de programme, de projet et autres comme par exemple une assistance spcifique ponctuelle fournie en dehors de projets et programmes. Lautre niveau porte sur les effets de laction de dveloppement du PNUD ou lvolution de la situation de dveloppement que le PNUD cherche oprer au moyen de ses projets et programmes. Les effets intgrent llaboration de produits et les apports des partenaires. Traditionnellement, le personnel du PNUD a toujours t plus laise avec le premier niveau : le suivi et lvaluation fonds sur les programmes et projets et qui envisagent lexcution du point de vue des produits. Il sagit actuellement de dpasser ce niveau et de relier la performance aux effets, avec des valuations rigoureuses et crdibles des progrs dans la ralisation des rsultats. Les approches, techniques et instruments de suivi et dvaluation qui devraient tre appliqus aux deux niveaux sont prsents tout au long du prsent Guide. La figure 2 montre comment les produits et effets sont interconnects pendant la ralisation des rsultats. On trouvera ci-aprs la dfinition de deux autres termes qui apparaissent frquemment dans le domaine du suivi et de lvaluation : Le retour dinformation est une opration sinscrivant dans le cadre du suivi et de lvaluation par laquelle des informations et des connaissances sont diffuses et utilises pour valuer les progrs globaux sur la voie de la ralisation des rsultats ou pour confirmer la ralisation des rsultats. Il peut sagir de constatations, de conclusions, de recommandations et denseignements tirs de lexprience. Le retour dinformation peut contribuer amliorer lefficacit et sert de base la prise de dcisions et la promotion de lapprentissage dans lorganisation. (Voir le chapitre 7 consacr la connaissance et lapprentissage.) Un enseignement tir est un exemple instructif fond sur lexprience qui peut sappliquer une situation gnrale plutt qu un cas particulier. Il sagit de tirer les enseignements de lexprience.
FIGURE 2. LE CYCLE DES RSULTATS
APPORTS Experts n Matriel n Fonds
n
PRODUITS n Ralisation dtudes n Nombre de personnes formes
EFFETS Augmentation des revenus n Cration demplois

n
IMPACT n Amlioration des conditions de sant n Allongement de la dure de vie
OBJETS ET DFINITIONS
Les enseignements tirs de telle ou telle activit grce lvaluation sont considrs comme des connaissances tires de lvaluation, que les parties prenantes ont plus de chances dintrioriser si elles ont t associes lvaluation. Les enseignements tirs peuvent dgager des pratiques optimales indiquant comment et pourquoi diffrentes stratgies se rvlent efficaces dans des situations diffrentes des renseignements prcieux qui doivent tre documents.
Le passage la gestion axe sur les rsultats

CHAPITR E 2
Le prsent chapitre dfinit la gestion axe sur les rsultats et prsente les principales caractristiques dun systme de suivi et dvaluation ax sur les rsultats. Le rle du suivi et de lvaluation est situ dans le contexte du passage du PNUD la gestion axe sur les rsultats,qui est sur les rails depuis 1999.On y trouve galement une comparaison entre les mthodes anciennes et lapproche actuelle fonde sur les rsultats. Grce ce chapitre, les usagers devraient pouvoir identifier les domaines o un changement de comportement simpose, et aligner en consquence les activits de suivi et dvaluation. Le contenu du prsent chapitre est le suivant. A. Suivi et valuation dans le contexte de la gestion axe sur les rsultats n Suivi des effets n valuation des effets n Relation entre suivi des effets et valuation des rsultats n Importance des partenariats n Sens de lappui-conseil B. Incidences pour le bureau de pays n Modification dans les outils et procdures n Rles et responsabilits n Enjeu pratique pour les directeurs de programme
A. Suivi et valuation dans le contexte de la gestion axe sur les rsultats

Laccent tant mis de plus en plus sur les rsultats, lattention, lapproche et lapplication du suivi et de lvaluation sont en train de changer profondment au PNUD. La gestion axe sur les rsultats est au centre de ces changements. La gestion axe sur les rsultats est une stratgie ou mthode de gestion selon laquelle une organisation veille ce que ses procds, produits et services contribuent la ralisation de rsultats clairement dfinis. La gestion axe sur les rsultats fournit un
cadre cohrent de planification et de gestion stratgiques en amliorant lapprentissage et la responsabilit. Il sagit galement dune large stratgie de gestion visant changer profondment le mode de fonctionnement des organismes, laccent tant mis sur lamlioration de la performance et la ralisation de rsultats par la dfinition de rsultats ralistes viser, le suivi du progrs vers la ralisation des rsultats escompts, lintgration des enseignements tirs dans les dcisions de gestion et linformation au sujet de la performance.
SUIVI DES EFFETS

Les interventions du PNUD consistent en projets, programmes, partenariats et appui-conseil tels que des activits de sensibilisation menes en dehors de projets ou programmes, tous ces lments concourant la ralisation deffets, ou changements du dveloppement. Le suivi de ces effets reprsente un changement profond par rapport laccent qui tait mis dans le pass sur le suivi des produits de projets. Comme on la vu au chapitre premier, ce changement permettra de dterminer lefficacit des interventions du PNUD au moyen de leur apport chiffrable aux changements du dveloppement. Le suivi des effets est la collecte et lanalyse continues et systmatiques de donnes afin de mesurer lefficacit des interventions du PNUD pour ce qui est de la ralisation des effets au niveau du pays. Si le suivi des rsultats est continu dans la mesure o il ne sagit pas dune activit limite dans le temps, le suivi des rsultats doit tre priodique, de faon que le changement puisse tre peru. En dautres termes, les bureaux de pays rassembleront en permanence des renseignements au sujet de la ralisation dun effet puis compareront priodiquement la situation actuelle la rfrence pour dgager des indicateurs de rsultat et valuer et analyser la situation. Note! Pour pouvoir suivre efficacement les rsultats et produits, le bureau de pays doit dfinir avec prcision les projets, programmes et autres activits qui contribuent un effet donn. Les autres activits peuvent consister en conseils et activits de plaidoyer mens en dehors des projets. Le suivi des rsultats est concentr sur les interventions et stratgies ci-aprs ainsi que sur leurs incidences : n n n n n Projets; Programmes; Partenariats; Apui conseil sous forme dorientation, de dialogue, dactivit de plaidoyer, de mdiation et coordination assure en dehors des projets ou programmes tablis; Stratgies dapplication.
Comment les directeurs de programme procdent-ils au suivi des effets? Ils suivent les produits et mesurent leur contribution aux effets en valuant le changement par rapport la situation de rfrence. Les directeurs de programme doivent garder lil sur les produits clefs (les produits et services particuliers qui rsultent du traitement des apports au moyen des activits de programme ou autres) car ils peuvent indiquer si une stratgie est pertinente et efficace ou non. Dans le contexte des rsultats, une intervention du PNUD est pertinente si elle contribue la ralisation dun effet clef, va dans le sens des priorits nationales en matire de dveloppement et est bien cible.
10
TABLEAU 1. CARACTRISTIQUES PRINCIPALES DU SUIVI DE LEXCUTION ET DU SUIVI DES EFFETS LMENTS DU SUIVI DE LEXCUTION (utiliss traditionnellement pour les projets)
n n n n n n
LMENTS DU SUIVI DES EFFETS (appliqus une srie dinterventions et stratgies)

n n n n
Description du problme ou de la situation avant lintervention; Critres pour les activits et produits immdiats; Collecte de donnes au sujet des apports, activits et produits immdiats; Information systmatique au sujet de la fourniture dapports,etc.; Lien direct avec une intervention ponctuelle (ou une srie dinter ventions); Conus pour runir des informations au sujet de questions dadministration,dapplication et de gestion au lieu de questions lies lefficacit du dveloppement en gnral.
n n n
Donnes de rfrence dcrivant le problme ou la situation avant lintervention; Indicateurs deffets; Collecte de donnes au sujet des produits et de leur contribution la ralisation des effets; Laccent est mis davantage sur la manire dont le changement est peru par les parties prenantes et lappui-conseil ; Information systmatique, plus qualitative et quantitative, au sujet des progrs lis aux effets; Oprer de concert avec les partenaires stratgiques; Recueil des informations au sujet de lefficacit de la stratgie de partenariat du PNUD dans la ralisation des effets recherchs.
Pour bien suivre les effets, les directeurs de programme doivent fixer des donnes de rfrence, choisir des indicateurs de performance et concevoir des mcanismes incorporant certaines activits telles que visites sur le terrain, runions des parties prenantes et analyses systmatiques ou rapports. Il ne faut pas oublier que le suivi des effets est autre chose que le suivi de lexcution, comme lindique le tableau 1. Les directeurs de projet en particulier sont toujours censs suivre lexcution de leurs projets. Ce suivi devrait tre planifi et intgr dans le suivi des rsultats afin dviter les doubles emplois et de rduire les frais de transaction.
V A L UATION DES EFFETS

Lvaluation des effets porte sur une srie de projets, programmes et stratgies apparents visant atteindre un certain effet. Il sagit dvaluer comment et pourquoi les effets sont atteints ou non dans un contexte national donn, ainsi que le rle jou par le PNUD. Ces valuations peuvent galement servir prciser les facteurs sous-jacents qui ont une incidence sur la situation, mettre en lumire les consquences imprvues (positives et ngatives), recommander des mesures afin damliorer la performance dans la programmation future et dgager des enseignements. Ces valuations priodiques et approfondies utilisent des donnes de suivi avant et aprs . Les valuations des effets peuvent rpondre des besoins diffrents selon la priode, en fournissant ds les premiers stades des renseignements au sujet des obstacles ventuels, en proposant des amnagements mi-parcours ou en contribuant aux enseignements tirs la fin dune intervention. Lvaluation des effets a pour objet de dgager des enseignements, des conclusions et recommandations en valuant : n Les progrs accomplis dans la ralisation de leffet; n Les facteurs dterminant leffet (influences concrtes); n Les apports clefs du PNUD (produits, notamment au moyen de lappui-conseil ) aux effets;
L VOLUTION VERS UNE GESTION AXE SUR LES RSULTATS
11
La stratgie de partenariat (la manire dont le PNUD travaille avec ses partenaires).
Ces quatre grandes composantes sont values des degrs de dtail diffrents selon lobjet de lvaluation. Dautres domaines peuvent tre ajouts lvaluation, encore que cela exige davantage de temps et de ressources financires sans ncessairement donner des rsultats aussi dtaills. Comment les directeurs de programme valuent-ils les effets? Agissant avec lquipe du bureau de pays, les directeurs de programme organisent les valuations deffet au niveau de pays au moyen du plan dvaluation (voir chap. 3). Les bureaux de pays doivent rserver des ressources suffisantes cette fin. La planification permet damliorer sensiblement la conduite et la qualit de lvaluation. Les bureaux de pays (et les entits du sige) doivent prvoir, en concertation avec les partenaires stratgiques, les aspects des valuations deffet, de la dfinition des objectifs la collecte des donnes. Les directeurs de programme, en assurant la liaison avec les niveaux de gestion appropris du projet au bureau de pays, doivent faire en sorte que les donnes de rfrence et les indicateurs de performance appropris soient tablis ds le dbut dune intervention.
RAPPORT ENTRE SUIVI DES EFFETS ET VALUATION DES EFFETS

Le suivi des effets tout comme lvaluation des effets vise la collecte et lanalyse systmatique de renseignements afin de suivre les changements depuis la situation de rfrence jusquaux effets recherchs et de comprendre pourquoi il y a changement ou pas. Ces deux fonctions sont troitement lies aux mcanismes de prise de dcisions au niveau des programmes et des politiques. Elles fournissent toutes deux aux directeurs de programme, directeurs de projet et parties prenantes des renseignements cohrents afin damliorer les interventions et stratgies. En outre, elles peuvent lune et lautre tablir la preuve de la responsabilit. Toutefois, elles diffrent quant leurs objectifs, aux
TABLEAU 2. DIFFRENCES ENTRE SUIVI DE LEFFET ET VALUATION DE LEFFET SUIVI DE LEFFET Objectif Centre dintrt
Suivre les changements depuis la situation de rfrence jusqu leffet recherch. Axs sur les produits des projets, programmes,partenariats et activits dappui conseil ainsi que sur leur apport aux rsultats.
VALUATION DE LEFFET
tablir quels rsultats ont t atteints et comment et pourquoi ils ont t raliss ou pas. tablit une comparaison entre la ralisation de leffet prvu et escompt. Se concentre sur la manire dont les produits et stratgies ont contribu la ralisation des rsultats et sur le pourquoi de cette contribution. Est ax sur les questions de pertinence, defficacit, de viabilit et dimpact. value la ralisation des effets en comparant les indicateurs avant et aprs linter vention. Part du suivi de donnes relatives aux renseignements provenant de sources extrieures. Ponctuelle,priodique, approfondie. valuateurs extrieurs et partenaires. Offre aux directeurs des options en matire de stratgie et de politiques,fournit la base de lapprentissage et dmontre la responsabilit.
Mthode
Dcle et value la performance (progrs dans la ralisation des effets) par ltude et la comparaison des indicateurs. Continue et systmatique, par les directeurs de programme et de projet et les partenaires principaux. Avertit les directeurs de lexistence de problmes de performance,offre des variantes de mesures correctives et aide dmontrer les responsabilits.
Excution
Utilit
12
centres dintrt et aux mthodes, ainsi qu la manire dont elles sont excutes et exploites, comme on peut le voir au tableau 2.4 Les valuations des effets partent de donnes produites grce au suivi des effets, dinformations provenant dautres sources telles que le Rapport annuel ax sur les rsultats (RAAR) du PNUD et des renseignements provenant de sources extrieures telles que des enqutes indpendantes auprs des clients ou les rapports de partenaires. De mme, les valuations des effets appuient le suivi des effets. Elles constituent par exemple une source denseignements qui peuvent tre appliqus llaboration dinnovations thoriques et mthodologiques applicables laffinage de la fonction de suivi. Ces innovations peuvent consister concevoir des rsultats et stratgies ralistes, mettre au point des indicateurs appropris en vue de futurs projets ou dmontrer lefficacit de certains types doutils de suivi dans certains types dintervention.
I M P O R TANCE DES PA R T E N A R I ATS

tant donn quon ne peut modifier le dveloppement en vase clos, le PNUD travaille en troite collaboration avec ses partenaires pour suivre et valuer les effets. Les partenaires du PNUD sont dautres organismes des Nations Unies, des pouvoirs publics, des organismes donateurs, des organisations gouvernementales et non gouvernementales et dautres entits avec lesquelles le PNUD noue des relations de fond pour raliser des objectifs communs. Idalement, au moment de la formulation des interventions visant raliser certains effets, les directeurs de programme devraient envisager la manire dencourager la participation des partenaires. Il faut pour cela savoir quels atouts chaque partenaire peut apporter. Aux fins du suivi et de lvaluation, les directeurs de programme peuvent faire appel aux partenaires de plusieurs manires, comme par exemple : n En faisant participer les partenaires et dautres parties prenantes au choix des indicateurs et cibles, la collecte et lanalyse des donnes, en tant que participants des missions sur le terrain ou en tant que membres dune quipe dvaluation; n n En utilisant les sources de donnes et statistiques existantes dorganismes partenaires clefs, rduisant ainsi le cot de la collecte des donnes; En travaillant avec les partenaires ltude des progrs accomplis en ce qui concerne les effets et la recherche du meilleur moyen de renforcer leur stratgie collective.
Les directeurs de programme peuvent faire participer divers types de partenaires tout un ventail dactivits lies au suivi et lvaluation. Les rles de ces partenaires sont dcrits dans lencadr 1. 5
I M P O R TANCE DE LAPPUI CONSEIL

Lappui conseil recouvre les conseils de politique gnrale et le dialogue, la sensibilisation et les services de mdiation et de coordination. On le distingue des contributions dures ou concrtes au dveloppement que lon peut reconnatre dans un btiment, une tude ou un programme de formation. Ce type dassistance tait bien souvent nglig dans le pass dans la planification, lvaluation et la documentation de la programmation et de la
4 5
Source : Adapt de lUNICEF, du FNUAP et de la Banque mondiale. Adapt de la Banque mondiale,chapitre sur le suivi et lvaluation,2000 et du PNUD, Alex Rusita,rapport de fin de mission,2001
13
ENCADR 1.RLES DES PARTENAIRES DANS LE SUIVI ET LVALUATION

Lorganisme public de coordination et dautres ministres centraux (par exemple du plan ou des finances), sont gnralement chargs globalement du suivi et de lvaluation des activits de dveloppement telles quelles sont dcrites dans le Plan-cadre des Nations Unies pour laide au dveloppement et dans le programme de pays du PNUD. Ils sont bien placs pour coordonner la conception et lappui des activits de suivi et dvaluation, en particulier lexamen annuel,et prendre les dcisions requises sur la base des rsultats des valuations. Les organismes des Nations Unies fournissent les renseignements socioconomiques de rfrence sur les populations et groupes bnficiaires l o le PNUD nest prsent que depuis peu ou a une prsence rduite. Les organismes des Nations Unies partagent des objectifs dans lvaluation commune de pays et le Plan-cadre. Ils fournissent un appui technique pour lvaluation et le suivi et peuvent galement fournir des renseignements au sujet de ltat des effets. Les agents dexcution (des institutions dsignes pour grer un projet) sont chargs de la gestion des projets et de lexcution des produits. Ces institutions fournissent des informations techniques vitales sur leffet et la situation en matire de dveloppement, lefficacit de la stratgie dapplication et la manire dont les produits sont excuts. Les bnficiaires viss fournissent des renseignements au sujet de la pertinence et de la qualit des produits ou services grce aux runions et consultations de parties prenantes.Ils fournissent galement un appui technique au cours des valuations. Les offices nationaux de statistique sont les principaux fournisseurs de donnes et de comptences en matire de collecte et danalyses des donnes. Les universits, centres de recherche et bureaux dtude peuvent offrir des comptences en matire de suivi et dvaluation et ont en outre les moyens dassurer une formation dans toute une srie daptitudes et techniques dvaluation. Ils disposent galement dinformations de base dans les domaines de fond utiles lanalyse des rsultats. La socit civile peut jouer un rle de premier plan dans lexploitation des informations et constatations dgages du suivi et de lvaluation en encourageant un dbat en toute connaissance de cause sur les politiques gnrales. La socit civile peut galement indiquer utilement la manire dont ltat des effets est peru. Les organismes daide au dveloppement peuvent renforcer les capacits de suivi et dvaluation en fournissant une assistance technique, sous forme de conseil,dencadrement, dorganisation de sminaires, de formation, de dsignation de consultants qualifis et en rdigeant des documents dorientation,notamment des tudes de cas.Ces organismes fournissent galement des renseignements sur les effets et produits et sont influents.
performance. Il est dsormais considr comme un apport important pour la ralisation de rsultats, ce renversement de tendances sexpliquant par le recours la gestion axe sur les rsultats et ladoption des plans dopration de lAdministrateur (2001-2003), qui mettent en avant lappui conseil . Lappui conseil recouvre les lments suivants : 1. Conseils de politique gnrale et dialogue Les conseils de politique gnrale et le dialogue sont au centre de laction que mne le PNUD pour aider les pays faire des avances dans le dveloppement, position nonce dans les plans dopration de lAdministrateur (2001-2003). Ainsi samorce une nouvelle orientation de la manire dont le PNUD conoit ses activits : Le PNUD abandonne la politique rpondant aux projets au profit de projets rpondant aux politiques. Sur le plan de lvaluation, il convient de noter que les conseils de politique gnrale et les dialogues en la matire sont voisins tout en tant distincts. Pour valuer les conseils en matire de politique gnrale, il faut examiner comment les informations et tudes relatives aux options fondamentales sont communiques aux parties prenantes, aprs quoi on examinera limpact du point de vue du dveloppement humain. En revanche, pour valuer le dialogue de politique gnrale, il faut examiner la manire
14
dont lchange dinformation au sujet des options fondamentales est facilit entre parties prenantes, puis examiner les consquences pour le dveloppement humain. 2. Plaidoyer A plaidoyer suppose que lon reprsente ou recommande quelque chose ou quelquun. Le rle du PNUD en matire de plaidoyer est de favoriser le programme de dveloppement humain aux niveaux mondial, rgional et national par le jeu de questions diverses telles que llimination de la pauvret, lallgement de la dette, lgalit entre les sexes, le changement climatique et la bonne gouvernance. Pour lvaluer, on pourrait par exemple examiner comment les changements dorientation au niveau national sont dtermins par les recommandations du Rapport sur le dveloppement humain et les rapports nationaux sur le dveloppement humain, qui sont des aspects fondamentaux du travail de plaidoyer du PNUD. Ces rapports contiennent une analyse et des recommandations concernant les rformes fondamentales et institutionnelles, et notamment une analyse dtaille des questions institutionnelles intersectorielles. 3. Mdiation et coordination Les activits touchant la mdiation et la coordination sont si troitement lies que les deux termes sont utiliss presque indistinctement au PNUD pour dsigner une srie dactivits appeles mdiation-coordination . La mdiation-coordination dsigne le rle dun intermdiaire ou agent impartial qui ngocie et prend des dispositions, parfois dans des domaines sensibles, de manire parvenir des rsultats harmonieux et efficaces. En tant que forme dappui conseil , la mdiation-coordination peut porter sur la politique, linformation ou le partenariat, lvaluation tant diffrente dans chaque cas. n La mdiation-coordination politique participe du rle de mdiateur impartial que joue le PNUD en favorisant le dialogue entre parties et intrts en opposition ou en conflit ouvert. Lvaluation est particulirement importante dans les situations conflictuelles et transitoires. n La mdiation-coordination en matire dinformation concerne lchange denseignements tirs, dinformation et de connaissances (notamment sur les pratiques optimales) avec des partenaires du dveloppement et des parties prenantes.
FIGURE 3. COMMENT LAPPUI CONSEIL EST-IL FOURNI? APPORT DE LAPPUI-CONSEIL
n n n
Conseil et dialogue de politique gnrale Sensibilisation Mdiation-coordination Descriptif de projet/Document dappui au projet Conseillers Centres de contact sous-rgionaux Reprsentant rsident-prsence du PNUD Ateliers spcialiss
n
CANAL
n
PRODUITS
Rsultats intermdiaires
EFFET
Changements du dveloppement
n n n
EN PARTENARIAT AVEC
n n
Les partenaires du dveloppement Les parties prenantes
15
La mdiation-coordination concernant le partenariat dsigne linstauration de relations de travail entre et parmi des partenaires internationaux et nationaux. Les valuations sont axes sur la programmation en commun et la mobilisation de ressources en vue de programmes ou oprations spcifiques (par exemple, des lections ou la coordination de laide), et ont pour objet de renforcer la coordination entre donateurs.
Lappui conseil consiste en apports un systme, comme le montre la figure 3. Ce systme de base englobe les diffrentes formes dappui conseil , les mthodes dexcution et sa contribution aux produits et effets. Ces contributions sont galement apportes au moyen de partenariats. Pourquoi suivre et valuer lappui conseil ? n Lappui conseil peut rduire la pauvret et favoriser le dveloppement humain en influenant le contexte de laction des pouvoirs publics. Les politiques et rglementations nationales doivent tous les niveaux tre favorables un environnement porteur pour le dveloppement humain.6 Le PNUD peut promouvoir son programme de dveloppement grce aux outils dimportance vitale que reprsentent les conseils aux dcideurs, la sensibilisation et la mdiation. L appui conseil est souple, dynamique et intervention rapide. Les interventions au titre de lappui conseil reprsentent un service de plus que le PNUD est en mesure doffrir aux pays en dveloppement. Cette aide ne demande gure de structure formelle, si tant est quelle en demande, pour ce qui est de lintgration un programme ou un cadre de gestion axe sur les rsultats, ce qui ne lempche pas de faire progresser considrablement le dveloppement. Elle peut aussi tre fournie rapidement pour rpondre sur le champ aux exigences des pays. n Laccent tant mis actuellement sur les effets, il faut que le suivi et lvaluation dpassent lexcution des projets pour atteindre lobjectif difficile que constitue lvaluation des progrs dans la ralisation des effets et de la performance dans des domaines difficilement chiffrables. En connaissant les rsultats des interventions du PNUD au titre de lappui conseil , on aura une image plus claire des ralisations et du rle et de limpact de laction du PNUD. Lvaluation de lappui conseil gagnera en importance mesure que le PNUD se concentre sur des valuations larges et stratgiques. Lappui conseil occupe une place de choix dans ces types dvaluations (valuations des rsultats, valuations thmatiques, valuations globales et valuations dimpact, etc.). n En valuant la qualit des interventions au titre de lappui conseil , le PNUD comprendra mieux le comment et le pourquoi de lefficacit et de lchec, ce qui laidera raliser les rsultats qui constituent des changements souhaitables en matire de dveloppement.
B. Incidences pour le bureau de pays

Ladoption de la gestion axe sur les rsultats touche les bureaux de pays de nombreux gards, en particulier pour ce qui est du suivi et de lvaluation. Un changement est opr
6
USAID, Recent Practices in Monitoring and Evaluation,TIPS, No 14,2000
16
TABLEAU 3. CHANGEMENTS APPORTS AUX OUTILS SERVANT LA PROGRAMMATION, AU SUIVI ET LVALUATION OUTIL
valuation
AVANT
Lvaluation est obligatoire pour les projets de 1 million de dollars ou plus, ou lorsque le PNUD finance une institution depuis 10 ans au moins. Lvaluation est obligatoire en cas dexcution directe. Le plan dvaluation au niveau du pays a t tabli par le bureau de pays aprs lapprobation du programme de pays. Priode continue de trois ans,rvise chaque anne. Envoy au Bureau de lvaluation (BE). La feuille dinformation sur lvaluation de projet,rapport ou questionnaire prsentant lvaluation du projet accompagne des la notation des valuateurs,tait tablie par le chef de lquipe dvaluation (ou consultant recrut par le bureau de pays). Envoye au BE. Un examen tripartite annuel tait organis par le bureau de pays en consultation avec le gouvernement et linstitution dsigne; le bureau de pays prparait lordre du jour et rdigeait un rapport sur la runion dexamen tripartite.Examen tripartite final vers la fin du projet. Le rapport de projet annuel tait une valuation dun projet au cours dune anne donne effectu par des groupes cibles, la direction du projet,le gouvernement et le PNUD. tabli par linstitution dsigne et utilis aux fins de lexamen tripartite. Le rapport final de chaque projet tait tabli par linstitution dsigne. Le rapport de projet annuel de la dernire anne servait de rapport final, les enseignements tirs y tant ajouts.Le reprsentant rsident envoyait le rapport final aux bureaux rgionaux et au BE. Les bureaux rgionaux assuraient un retour dinformation et prenaient une dcision quant au suivi. Le BE introduisait le rapport final dans la base de donnes. Le reprsentant rsident et le personnel du bureau de pays devaient visiter tous les projets chaque anne et faire rapport ds la fin de la mission. Cette runion annuelle dbouchait sur des rapports annuels tablis par les groupes oprationnels sur les progrs au titre du cadre de rsultats stratgiques. Base du rapport annuel ax sur les r sultats (RAAR).
MAINTENANT
Supprime. Les valuations de projet (1 million de dollars,10 ans) ne sont plus obligatoires.Plusieurs valuations deffets doivent tre effectus au cours de la priode du programme de pays, en fonction du volume du programme total.Les valuations de projet sont facultatives. Le plan dvaluation au niveau du pays est tabli lectroniquement par le bureau de pays et comporte un systme de suivi pour lapplication des recommandations en matire dvaluation. lavenir, ce systme sera reli au systme de suivi ax sur les rsultats. Analyses et retour dinformation par le BE.Sert de base la suite donne lvaluation. Supprime.Le bureau de pays soumet un rapport dvaluation complet sous forme lectronique au BE, o il est introduit dans une base de donnes qui runit les enseignements tirs et sert analyser les tendances de lOrganisation avec un lien futur au systme de gestion ax sur les rsultats.La notation de la performance fait partie intgrante des rapports dvaluation. Nest plus obligatoire. Peut tre effectu titre facultatif dans le cadre de projets exigeant ce niveau dexamen. Dcision prise par le Comit directeur des projets, des groupes thmatiques chargs des effets ou arrangements analogues. On recommande des consultations priodiques des parties prenantes auxquelles participent les bnficiaires. Ancien format supprim.Raccourci et davantage ax sur les rsultats. Rdig chaque anne par linstitution dsigne lintention du bureau de pays. Exception dans le cas de projets ne se prtant pas un rapport de projet annuel. Supprim. Lapprentissage doit faire lobjet du rapport de projet annuel et de lexamen annuel.Les enseignements tirs doivent tre partags avec le rseau de connaissances. Lexamen final nest plus obligatoire.
Plan dvaluation
Feuille dinformation sur lvaluation de projet
Examen tripartite
Rapport de projet annuel
Rapport final
Visites sur le terrain
Des visites rgulires des projets sont encourages. Format souple mais davantage ax sur les rsultats. Exception dans le cas de projets ne se prtant pas des visites de confirmation des effets. La visite dune institution dsigne ou des rsultats est galement incluse. Un dialogue de gestion renforce doit avoir lieu au niveau du pays afin dvaluer ltat de ralisation des rsultats (effets et produits). Cela suppose une forte participation des parties prenantes et sert de base au RAAR.Moyen de dgager des enseignements tirs en vue dune nouvelle programmation selon le droulement du programme de pays.
Examen annuel
Veuillez consulter Partie II, Chapitre 5.
17
plusieurs niveaux : tout dabord, les outils et procdures de suivi et dvaluation que le bureau utilise changent; en deuxime lieu, les rles et responsabilits du PNUD et du personnel de projet changent; et troisimement, les directeurs de programme doivent relever plusieurs nouveaux dfis.
CHANGEMENTS DANS LES OUTILS ET PROCDURES

Un suivi et une valuation axs sur les rsultats exigent des outils et procdures de type bien prcis. Cest ainsi que les bureaux de pays doivent utiliser priodiquement, lappui de la mesure des performances, des instruments de suivi souples (rapports de
TABLEAU 4. RLES ET RESPONSABILITS EN MATIRE DE SUIVI ET DVALUATION AU NIVEAU DU PAYS QUI? Agents, rles et responsabilits
Cadres suprieurs du bureau de pays Responsabilits principales n Collaboration avec les partenaires nationaux afin de dterminer le centre dintrt et le rsultat escompt de laide du PNUD au pays n Identification et gestion des partenariats n valuation de la performance globale de laide du PNUD au pays (progrs et ralisation des rsultats) n Utilisation stratgique et judicieuse des ressources du PNUD
n
QUOI? Informations requises
POURQUOI? quelles fins?
n n
Changements dans le contexte du dveloppement Progrs, problmes et tendances lis la ralisation des rsultats Caractristiques et questions lies au volume et lefficacit de lutilisation des ressources
n
n n
Adapter laide du PNUD en fonction de lvolution des conditions du dveloppement,si ncessaire Donner au PNUD une position stratgique dans le cadre de la coopration pour le dveloppement avec le pays Constituer de fortes coalitions pour le changement Rsoudre les principaux goulets dtranglement empchant lexcution pour amliorer les chances datteindre les effets Faire concorder les rsultats et les ressources Assurer un suivi et une valuation dynamiques et axs sur les rsultats
Chargs de programme du bureau de pays Responsabilit principale : n Portefeuille de programmes et projets du PNUD dans un domaine thmatique tel que la gouvernance ou la pauvret ou, en dautres termes,apport du PNUD aux rsultats
n
Progrs dans la ralisation des effets Progrs des stratgies de partenariat en vue des effets Niveau et efficacit de lutilisation des ressources
n
Analyser les progrs et la ralisation effective des effets valuer lefficacit des stratgies de partenariat et prendre les mesures correspondantes (par exemple, meilleure coordination avec les partenaires) Suivre lefficacit des stratgies dexcution pour liminer les obstacles la ralisation des effets et prendre les mesures correspondantes Assurer une bonne utilisation des ressources, en les mettant en uvre de faon pouvoir raliser au mieux les effets Ancrer le projet dans le contexte plus large Prendre les mesures ncessaires pour raliser les objectifs des produits Assurer une bonne collaboration avec les partenaires tablir des relations avec les bnficiaires Assurer une bonne utilisation des ressources
n
Personnel de projet Responsabilit principale: n Gestion des projets bnficiant dune aide du PNUD afin de dgager des produits
n n
n n n
Leffet vis par le projet Les progrs et la ralisation des produits Problmes dexcution Collaboration pratique au niveau des projets avec les partenaires et suivi de leur apport Gestion des ressources
n
n n
18
ENCADR 2 : EN TANT QUE CHARG DE PROGRAMME, QUE DOIS-JE CHANGER DANS MON ACTION?
n n n n n n n n
En plus de ces changements, un examen annuel permettra runir dimportants n lments : lvaluation au niveau du projet, lvaluation des rsultats au niveau du n programme de pays (valuations des effets) et cadre des rsultats stratgiques, et apport de lquipe de pays des Nations Unies sur les objectifs de dveloppement du Millnaire. Avec lavnement de la gestion axe sur les rsultats, il est dautant plus important dintgrer le suivi et lvaluation dans le cycle de programmation, ce qui permet lOrganisation de concevoir des interventions de qualit et dappliquer les enseignements tirs des russites et des checs passs. Cela signifie que le suivi et lvaluation doivent tre omniprsents tout au long du cycle de programmation.
Me concentrer davantage sur les rsultats que sur lexcution Prciser les attentes concernant les tches dexcution, fixer des repres et laisser faire Prparer ds le dpart les modalits, lobjet et le moment du suivi et de lvaluation Mettre au point et utiliser des indicateurs dans les programmes Analyser la situation, observer les changements et suivre leurs incidences Dans les rapports,proposer des mesures prendre Tirer systmatiquement des leons des erreurs et des russites Collaborer plus troitement avec les partenaires extrieurs Sattacher avec le personnel des projets expliquer les liens avec les effets Participer, au niveau du bureau, aux travaux de lquipe concerne par la ralisation des
projet, plans de travail, visites sur le terrain, runions de parties prenantes). Grce ces outils, les bureaux de pays peuvent dterminer les interventions qui contribuent la ralisation de rsultats et les stratgies qui contribuent aux russites. Les outils et procdures ont t ajusts de nombreuses manires, comme on peut le voir au tableau 3 sous les rubriques avant lintroduction de la gestion axe sur les rsultats et maintenant . (Voir chapitre 4 relatif la procdure de suivi et lannexe pour ce qui est des outils de suivi et dvaluation).
RLES ET RESPONSABILITS
Les rles et responsabilits du personnel du PNUD sont dfinis plus clairement selon lapproche actuelle, fonde sur les rsultats, du suivi et de lvaluation, comme on peut le voir au tableau 4.
PROBLMES PRATIQUES QUI SE POSENT AUX CHARGS DE PROGRAMME

Les chargs de programme jouent un rle important en mettant en lumire les rsultats des programmes et en situant cette information dans le contexte du cadre de rsultats stratgiques. En dautres termes, les chargs de programme apportent une importante contribution la saisie des produits et effets. Dans le pass, ils se concentraient sur le suivi et lvaluation de lexcution des projets. Actuellement, ils portent leur attention
FIGURE 4. RESPONSABILITS DES CHARGS DE PROGRAMME EN MATIRE DE SUIVI ET DVALUATION
Progrs dans le sens des effets au niveau des pays
RESPONSABILITS DES CHARGS DE PROGRAMME EN MATIRE DE SUIVI ET DVALUATION
Meilleure excution des produits des projets
19
sur lanalyse et la communication des effets, ou, plus prcisment, sur la contribution des produits des projets, lintervention douce et le partenariat stratgique aux effets. Plus que jamais, les directeurs de programme doivent faire preuve de rigueur au niveau de la formulation des projets et de la planification des travaux afin de faire en sorte que les projets ralisent les objectifs, et appliquent les outils cet effet. On trouvera dans lencadr 2 lnumration de certaines de leurs responsabilits actuelles. Comme le montre la figure 4, les directeurs de programme ont deux niveaux de responsabilit interdpendants pour ce qui est du suivi et de lvaluation. Tout dabord, ils doivent saisir les rsultats au niveau intermdiaire (progrs dans la ralisation des effets) aux fins du rapport annuel ax sur les rsultats. En deuxime lieu, ils doivent amliorer lexcution des produits par le projet, au moyen, par exemple, de la planification des travaux, de visites sur le terrain, de lappui une prise de dcisions efficace et de lexamen de la stratgie dexcution la plus efficace.
20
PARTIE II
Le suivi et lvaluation
Chapitre 3.
Planification du suivi et de lvaluation A. Principes de base de la planification B. Processus de planification Suivi ( comment ) A. Principes de base du suivi B. Approche modulaire : instruments et mcanismes du suivi Lvaluation ( comment ) A. Prparation de lvaluation B. Supervision de lvaluation C. valuations communes
23 23 25 31 32 36 45 45 56 57
Chapitre 4.
Chapitre 5.
Figures, tableaux et encads de la deuxime partie Figure 1. Tableau 1. Tableau 2. Tableau 3. Tableau 4. Tableau 5. Tableau 6. Tableau 7. Encadr 1. Encadr 2. Encadr 3. Encadr 4. Encadr 5. Encadr 6. Plan de travail du bureau de pays Classement des mcanismes de suivi par catgorie Questions se poser lors de la planification de lexamen annuel Calendrier, but et dure de lvaluation deffet Calendrier, but, dure et porte de lvaluation deffet Rpartition des cots en fonction du calendrier de lvaluation Sources de documentation et domaines danalyse correspondants Diffrentes approches utilisables pour lvaluation deffet Planification des valuations deffet dans le cadre du programme de pays Conformit dvaluation La mise en uvre doit-elle galement tre suivie ? Parties prenantes et partenaires cls La contribution du PNUD Formation de lquipe de liaison pour lvaluation 24 36 42 46 49 51 53 56
29 29 34 47 48 54
Planification du suivi et de lvaluation

CHAPITR E 3
Le chapitre 3 montre comment laborer un cadre logique et dtaill de suivi et dvaluation en liaison avec les programmes de pays, le cadre de rsultats stratgiques, les activits de projet et autres. On y trouvera des directives pour la mise au point dun plan de suivi et dvaluation,ainsi que des critres pour slectionner et planifier les valuations. Lobjectif, dans ce chapitre, est daider les utilisateurs planifier leurs activits de suivi et dvaluation de faon cohrente en fonction des besoins propres au pays et des rsultats prvus. Plan du chapitre: A. Principes de base de la planification n Plan de travail gnral n Consignes minimums n Planification au niveau du programme de pays B. Processus de planification n Planification du suivi n Planification de lvaluation n Planification du projet
A. Principes de base de la planification

PLAN DE TRAVAIL GNRAL
Le plan de travail rsume les tches, calendriers et responsabilits pour une ou plusieurs annes. Il sert contrler le droulement des activits et les progrs enregistrs dans la ralisation des effets. Le plan de travail dcrit les activits raliser ainsi que les produits et effets prvus. Cest un outil qui aide tirer mthodiquement et concrtement parti, sur une base annuelle, des informations et des ides. Le plan de travail gnral du bureau de pays comprend de nombreux domaines, dont le suivi et lvaluation. Comme le montre le schma 1, le plan de travail du bureau de pays est compos de trois lments interdpendants : n Le plan de travail gnral qui contient les informations de fond et les dcisions de gestion et est supervis par lquipe de direction du bureau de pays;
23
FIGURE 1. PLAN DE TRAVAIL DU BUREAU DE PAYS

Porte gnrale. Information de fond et dcisions de gestion. Gr et suivi par la Direction du bureau de pays . Centr sur les rsultats et le rle des produits dans la poursuite des rsultats. Gr par lquipe du programme du bureau de pays. Centr sur les activits et les produits du projet. Gr par lquipe du projet.
Plan de travail gnral
Plan de travail pour le contrle et lvaluation Plan de travail du projet
n n
Le plan de travail pour le suivi et lvaluation qui est centr sur les produits et les objectifs et est supervis par lquipe du programme; Le plan de travail du projet qui est ax sur les activits et les produits et est supervis par lquipe du projet .
La planification des activits au niveau des bureaux de pays reflte, en faisant une part plus importante la planification du suivi et de lvaluation, lvolution vers une gestion axe sur les rsultats. Les bureaux du PNUD, pour assurer un suivi et une valuation axs sur les rsultats doivent tenir compte, au niveau de la planification, des besoins spcifiques du bureau, des partenaires, du projet ainsi que des effets et non pas appliquer mcaniquement des procdures normatives.
CONSIGNES MINIMUMS
Les bureaux de pays peuvent intgrer la planification du suivi et de lvaluation axs sur les rsultats dans les systmes et les structures en place de diffrentes faons. Nanmoins, ils devraient pour leur planification, respecter les consignes minimums suivantes : 1. Planifier simultanment les activits de suivi et dvaluation : lvaluation est un instrument de suivi important et le contrle de lexcution joue un rle essentiel dans lvaluation. Le suivi et lvaluation sont donc troitement lis. Par consquent, il est recommand aux bureaux de pays de planifier conjointement le suivi et lvaluation. 2. Enregistrer les rsultats (ralisation des effets et des produits): les informations pertinentes sur les progrs raliss dans la ralisation des effets et des produits doivent tre enregistres, indpendamment de lunit danalyse adopte dans le plan de suivi et dvaluation (effets, produits, projets, activits, thmes, domaines). 3. Elaborer un plan dvaluation : le plan dvaluation couvre les effets dfinis pour la priode dexcution du Programme de pays. Tous les bureaux et les groupes des oprations doivent obligatoirement prparer un plan dvaluation au cours du premier quart de chaque cycle du programme de pays. Ce plan est un lment essentiel de lvaluation de lexcution des activits. 4. Baser la planification sur un choix stratgique : la planification ne se limite pas la programmation (calendriers et choix des instruments). Son objet principal est de dfinir la meilleure approche en fonction des besoins et de la nature de lobjet du suivi et de lvaluation.
24
P L A N I F I C ATION AU NIVEAU DU PROGRAMME DE PAY S

La planification du suivi de lexcution et de lvaluation doit dbuter ds la phase de formulation du programme de pays. Elle doit tre revue rgulirement, chaque anne ou priodiquement, selon les besoins locaux, et mesure que les plans se concrtisent et que les programmes voluent. Elle permet de dcider, en connaissance de cause, des lments pertinents valuer, et de choisir le moment propice pour ce faire. En dautres termes, ce type de planification tient compte de la finalit de lvaluation, savoir aider amliorer la programmation et la ligne daction. En outre, les rsultats de lvaluation peuvent inciter prendre certaines mesures touchant au plan de travail gnral du bureau de pays, ou au plan de travail du projet ou encore aux tches du responsable de programme. Lors de la phase de conception et dapprobation des grandes lignes du programme de pays le document dans lequel est expos le programme du PNUD pour le pays le bureau de pays, avec ses partenaires : n Dcide des stratgies du suivi et de lvaluation et expose ces dispositions dans les grandes lignes du programme de pays. Il dfinit la dmarche gnrale pour le suivi et lvaluation. Il prcise les effets sur lesquels portera lvaluation (ou la mthode qui sera utilise pour les dfinir). Il indique galement, de faon gnrale, comment seront suivis les progrs raliss dans la ralisation des effets et lexcution des programmes et projets. Note : cest au cours de cette tape que souvent il trouve un terrain daccord avec le gouvernement sur les modalits du suivi et de lvaluation. Planifie les valuations des effets. Plus prcisment, il slectionne des effets spcifiques (rsultats ou modifications du dveloppement) valuer et fixe les calendriers des valuations. (Voir section suivante sur la planification). n Planifie le suivi des effets et met au point des systmes pour ce faire. Lvaluation des progrs raliss dans la ralisation des effets sappuie sur la collecte continue de donnes et dinformations. ce stade il peut tre ncessaire de recourir aux mcanismes en place ou de crer des groupes de consultation sur les effets, de dfinir le mode de collecte des donnes pour les indicateurs, de discuter de lorientation gnrale du suivi, etc. (Voir section sur la planification du suivi de lexcution ci-dessous et chapitre 4). Planifie avec prcision, une fois les grandes lignes du programme de pays approuves et la phase de mise en uvre engage, le suivi du programme/projet pour la premire anne. Le suivi devrait aller au-del du suivi planifi pour leffet connexe. En dautres termes, le suivi du programme/projet devrait porter sur les problmes lis la mise en uvre, sur lexcution des produits, ainsi que sur les progrs raliss dans la ralisation des effets, alors que le plan de suivi relatif aux effets devrait tre plus cibl.
B. Processus de planification
P L A N I F I C ATION DU SUIVI
La mthode et le calendrier pour suivre lexcution des activits du PNUD devraient tre discuts ds le dbut et ensuite revus rgulirement. La planification du suivi se fait
P L A N I F I C ATION DU SUIVI ET DE L VA L UAT I O N
25
en gnral au stade de la conception du Programme de pays, de la conception du programme/ projet pour tre ensuite revue chaque anne. Le plan de suivi peut tre ax sur les projets et programmes, ainsi que sur les changements apports par le dveloppement (effets). Des projets, programmes et nouvelles activits sont mis au point ou mis en oeuvre au cours de chaque cycle de programmation. Paralllement, des plans pour leur suivi et leur valuation sont galement labors. Ces plans sont conus de faon pouvoir sintgrer dans le cadre pour le suivi et lvaluation dj tabli dans le programme de pays. Les responsables de Programme du PNUD sont chargs de dfinir les dispositions prendre pour le suivi, compte tenu de la nature de leffet, du programme et du projet. Diffrents dispositifs de suivi peuvent tre retenus comme dans les exemples ci-aprs : n n Leffet vis est lamlioration des moyens de subsistance de la communaut villageoise, dans ce cas une approche rellement participative peut tre ncessaire; Lobjectif vis implique une assistance douce importante, comme des conseils en matire dorientation, dans ce cas le plan de suivi devrait inclure des dispositions pour suivre le processus dtablissement des politiques dans le pays; n Leffet vis implique notamment dimportantes activits de sensibilisation, dans ce cas le suivi pourrait viser rendre compte de lvolution des manires de voir (grce des enqutes auprs des bnficiaires ou de groupes cibles) plutt que de lvolution matrielle (grce des inspections sur les sites de projet); Leffet vis est rgional ou mondial, dans ce cas des rapports plus frquents pourraient tre ncessaires, compte tenu de la dispersion gographique des pays concerns.
Les bureaux de pays, lorsquils planifient le suivi des progrs raliss dans la ralisation des effets (suivi des effets), sont encourags suivre les tapes suivantes : 1. Identifier les besoins : en dautres termes dterminer la nature de leffet et/ou des programmes et projets mens pour obtenir cet effet, dcider de linformation requise pour pouvoir dterminer la nature de leffet, identifier les lments suivre en priorit et dfinir des indicateurs de progrs ou de succs. 2. Evaluer le suivi en cours: pour valuer le suivi en cours (ou celui propos pour les nouveaux projets), analyser les instruments de suivi utiliss dans tous les projets et programmes mens pour atteindre un effet donn. Mesurer lefficacit de ces instruments pour obtenir les informations requises et le rle quils donnent aux partenaires cls. tablir si le suivi porte sur des questions rellement pertinentes pour mesurer lefficacit. Identifier les possibilits daugmenter lefficacit et la coordination. Cette approche aidera didentifier, en fonction des besoins dinformation, les insuffisances de lanalyse. 3. Analyser la porte, ou les instruments, du suivi : est-il ncessaire dlargir ou de spcialiser la porte, ou les instruments, du suivi en fonction du programme ou du projet considr? Des programmes complexes ou de grande envergure pourraient ncessiter plus de dtails sur la mise en uvre. Des projets en aval pourraient demander une participation supplmentaire des bnficiaires. Des projets pilotes pourraient fournir des enseignements particuliers que devrait identifier le suivi. 4. Adapter et/ou mettre au point des mcanismes de suivi : les mcanismes utiliss devraient permettre danalyser de faon satisfaisante les effets et de combler le foss pouvant exister entre linformation disponible et linformation requise. Par exemple, si un
26
Comit directeur, ou autre mcanisme du mme type, est utilis pour le suivi, veiller y faire participer les partenaires travaillant la ralisation du mme effet. Si le rsultat considr implique un grand nombre de partenaires, introduire des instruments supplmentaires comme des runions des parties prenantes. (Voir chapitre 4 sur le bon choix des instruments de suivi). Il ny a pas de prsentation standard pour ltablissement du plan de suivi. En pratique, le plan de suivi peut tre inclus dans le plan de travail du bureau de pays, les plans de travail du projet, ou dans le plan de travail personnel des responsables de programme, ou encore dans les plans tablis pour les mcanismes de coordination. Nanmoins, de nombreux bureaux de pays, pour assurer au suivi toute lefficacit voulue, souhaiteront dcrire dans un document spcifique lensemble des mesures prises pour le suivi.
P L A N I F I C ATION DE L V A L UATION
Lvaluation est importante car elle permet de tirer des enseignements, de valider les rsultats et prendre des dcisions appropries. Il est demand aux bureaux de pays de raliser un nombre prcis dvaluations deffets au cours du cycle de programmation et de concevoir un plan dvaluation pour ces valuations deffets et pour toutes les autres valuations de projets, programmes ou thmes quils souhaitent faire. (Voir chapitre 5 sur lvaluation). La planification de lvaluation est lie au cycle de programmation par pays. Au cours du premier quart de chaque Programme de pays, le bureau de pays prpare un plan dvaluation quil prsente au Bureau de lvaluation.8 (Voir annexe B pour le mode de prsentation). Ensuite, le plan est mis jour rgulirement, chaque anne, ou des dates fixes, selon les besoins locaux, devenant ainsi pratiquement un plan chenille . Par exemple, si un bureau de pays planifie la premire valuation deffet trois ans aprs le dbut du programme de pays, il naura pas besoin de revoir son plan dvaluation pendant les deux annes qui prcderont lvaluation. Toute rvision du plan effectue par le bureau de pays au cours du cycle de programmation doit dabord tre prsente au Bureau de lvaluation. Parfois la rvision du plan est rendue ncessaire par une modification imprvue des donnes, comme la diminution ou laugmentation des ressources financires, ou par la transformation du contexte national. Le plan dvaluation est bas sur les dcisions et les choix stratgiques du bureau de pays (plus prcisment de lquipe de direction) concernant les lments valuer et les calendriers dvaluation. Le plan est ensuite utilis pour sassurer que les activits dvaluation se droulent bien comme prvu. La prparation de lvaluation pourrait tre facilite par une planification rebours , cest--dire en calculant partir de la date fixe pour lvaluation, et compte tenu du temps estim ncessaire pour sa prparation et sa ralisation, le moment auquel engager le processus de prparation. Les bureaux de pays peuvent choisir, lors de la phase de planification de lvaluation, les effets prcis quils souhaitent valuer, pour peu quils respectent le nombre minimum deffets valuer obligatoirement. Ils devraient, en saidant du Cadre de rsultats
8
Un systme gnral pour la planification et le suivi de lvaluation est prvu pour : a) planifier le droulement des valuations; b) analyser les enseignements et les rsultats des valuations et les consigner; c) contrler la suite donne aux recommandations issues de lvaluation.Ce systme fera la liaison avec les plans dvaluation et des valuations du bureau de pays et intgrera leurs informations pour permettre une responsabilisation et un apprentissage gnraliss.Les bureaux de pays vont pouvoir formuler leurs plans dvaluation et leurs systmes de suivi de faon ce quils soient accessibles sur support lectronique au niveau du pays.
27
stratgiques9 national, baser leurs choix sur les critres suivants : 1. But de lvaluation deffet : les valuations deffet peuvent avoir diffrents buts notamment rassembler des informations sur le bien-fond de la stratgie de partenariat du PNUD ds les premires tapes de sa mise en oeuvre, identifier les obstacles la ralisation de leffet fix, dfinir les ajustements auxquels procder mi-parcours et tirer des enseignements pour le prochain cycle de programmation. Le bureau de pays devrait examiner les rsultats effets dans le Cadre de rsultats stratgiques pour identifier ceux ncessitant une valuation et dcider du moment o la raliser pour obtenir le maximum dinformations. Par exemple, une valuation en dbut de cycle pourrait tre ncessaire dans le cas dun effet de gouvernance faisant une part importante la fourniture de conseils en matire de politique gnrale et de plaidoyer alors que le bureau de pays a relativement peu dexprience dans ces domaines. Ce type dvaluation en dbut de programme (qui peut mme avoir lieu au cours de la premire anne) pourrait porter sur la formulation et lapplication de la stratgie. Dans une situation diffrente, une valuation moyen terme pourrait tre ncessaire pour procder des ajustements mi-parcours et vrifier lexcution des premiers produits (Voir chapitre 5 pour plus de prcisions sur les buts des valuations de rsultat et les diffrentes options en la matire). 2. Ressources investies par le bureau de pays dans la ralisation de leffet considr : lors du choix du rsultat valuer, retenir ceux pour lesquels le bureau de pays a investi des ressources importantes. viter de choisir uniquement les effets pour lesquels le budget est trs limit. 3. Probabilit dinterventions ultrieures dans le mme domaine thmatique : lvaluation deffet peut tre extrmement utile pour mettre au point des recommandations qui guideront la ralisation des travaux. Elle permet au bureau de pays de voir dans quelle mesure les produits excuts ont aid atteindre leffet considr et dvaluer lefficacit de la stratgie de partenariat labore par le PNUD. Il est prfrable de choisir dvaluer des effets ayant trait des domaines auxquels le bureau de pays continuera de sintresser. 4. Anticipation des problmes : les valuations peuvent aider viter certains problmes et fournissent un point de vue indpendant sur les problmes existants. Il est prfrable de choisir dvaluer des effets dont la ralisation risque de poser des problmes, ou des complications, parce quil sagit de domaines dlicats et quun nombre important de partenaires est concern. 5. Enseignements : quels sont les enseignements dont on a besoin pour guider la poursuite des activits dans ce pays ou dans dautres pays de la rgion? Une valuation de rsultat dans un domaine thmatique donn nest pas seulement instructive dans ce domaine, mais peut galement fournir des enseignements utilisables dans dautres domaines thmatiques. Les bureaux de pays devraient choisir les effets valuer en fonction des enseignements qui peuvent tre tirs et qui sont utiles pour toute lorganisation. Par exemple, une valuation deffet ayant trait la conception et lapplication des politiques ou des cadres de rglementation un domaine relativement nouveau pour le PNUD fournira des enseignements extrmement prcieux lOrganisation qui a encore peu dexprience dans ce domaine.
9
Le cadre de rsultats stratgiques dfinit une approche pour le dveloppement et la dmarche adopter pour parvenir aux rsultats escompts. Il inclut des stratgies, des objectifs et une analyse des problmes et fournit un point de dpart pour une valuation et un suivi axs sur les rsultats. Au PNUD, le cadre est prsent dans un document qui dfinit les effets,les produits,les partenariats et les indicateurs avec buts et domaines stratgiques dappui.
28
ENCADR 1. PLANIFICATION DES VALUATIONS DEFFET DANS LE CADRE DU PROGRAMME DE PAYS

Le programme men par le PNUD dans un pays X prvoit un niveau de ressources moyen pour le prochain cycle de Programme de pays. Au dbut du cycle, le bureau de pays prsente au Bureau de lvaluation un plan dvaluation prvoyant trois valuations deffet pour les cinq annes suivantes.Le bureau de pays choisit les trois effets valuer en fonction de leur importance dans le cadre du programme, des ressources alloues la ralisation de ces effets et des domaines potentiels dassistance. Il slectionne galement diffrents types dvaluation en se basant sur les informations que lui et les autres parties prenantes souhaitent obtenir. Le plan dvaluation prsent au Bureau de lvaluation au cours du premier quart du cycle de programmation prvoit, compte tenu des diffrents projets,programmes et activits lis ces trois effets, une valuation relativement rapide de leffet 1 la fin de la premire anne,une valuation plus dtaille de leffet 2 au cours de la troisime anne et une valuation complte de leffet 3 la fin de la quatrime anne. Cycle de programmation Effet 1 Effet 2 Effet 3 ANNE 1
n n n
ANNE 2
ANNE 3
ANNE 4
ANNE 5
6. Calendrier des valuations: le bureau de pays dfinit la date des valuations en fonction de sa charge de travail prvue pour chaque anne donne. Il cherche rpartir quitablement les valuations, en les chelonnant sur lensemble du programme de pays et en variant leur porte. Il alternera les valuations en dbut et en fin de cycle, les valuations succinctes et les valuations plus approfondies, en fonction des besoins. Un exemple de planification des valuations deffet dans le cadre du programme de pays est donn dans lencadr 1. Le bureau de pays, une fois quil a slectionn leffet valuer, identifie les projets et programmes qui contribuent la ralisation de cet effet. Ces projets et programmes
ENCADR 2. CONFORMIT AUX NORMES DVALUATION
Pour dterminer la conformit aux normes dvaluation, les pays sont classs par catgorie. chaque catgorie correspond un nombre donn dvaluations deffet raliser au cours du cycle de programmation calcul en fonction des ressources totales (ressources de base et autres ressources) prvues pour le bureau de pays et du nombre dvaluations antrieures ralises. Voir http://intra.undp.org/eo pour la liste des valuations prvues par pays. Le mode de classement adopt pour fixer le taux de conformit est le suivant : Catgorie Fourchette de ressources (en millions de dollars) <2 2<5 5 < 10 10 < 20 20 < 70 70 < Nombre dvaluations deffet obligatoires par Programme de pays (selon les ressources et les valuations prcdentes) Minimum de. Optional ou 1 1 ou 2 2 ou 3 3 ou 4 4 ou 5 6
A B C D E F
Exemple : Le pays Z se range dans la partie suprieure de la catgorie E pour le prochain cycle de programmation.Il devra par consquent raliser 5 valuations deffet au cours du prochain programme de pays. Ce nombre est infrieur celui calcul pour le cycle prcdent au cours duquel le pays Z a d faire des valuations pour 19 projets dun montant suprieur 1 million de dollars.
29
doivent tre prciss dans le plan dvaluation. Les quipes charges de ces programmes et projets sont ainsi tenues au courant, ce qui leur permet de prendre en compte lvaluation deffet dans la planification et le suivi de leurs activits. Cela aide galement le responsable de programme contrler leffet et permet dinclure les contributions de ces programmes et projets dans lvaluation. Un autre aspect de la planification de lvaluation est la conformit aux normes dvaluation. La conformit aux normes dvaluation est juge daprs les engagements qua pris le bureau de pays de raliser certaines valuations deffet au cours dun cycle donn de programme de pays. Le sige du PNUD utilise le plan dvaluation prsent par le bureau de pays comme base pour valuer la conformit aux normes dvaluation. Les autres valuations que le bureau de pays dcide de raliser en plus des valuations deffet ne sont pas prises en compte pour calculer le taux de conformit. Le Bureau de lvaluation est charg de contrler la conformit, danalyser systmatiquement linformation fournie pour favoriser lapprentissage et de faire rapport au Conseil dadministration du PNUD. Le taux de conformit est calcul suivant la mthode explique dans lencadr 2.
P L A N I F I C ATION DU PROJET
Le plan de travail du projet est un instrument utilis pour fixer des buts lexcution des produits et pour mettre au point une stratgie visant rentabiliser au maximum la contribution du projet et des activits connexes la ralisation des effets fixs dans le cadre de rsultats stratgiques. Le processus de planification des tches aide lquipe responsable de la gestion du projet et les autres parties prenantes saccorder sur la meilleure stratgie adopter pour parvenir aux rsultats escompts. La planification axe sur les rsultats ncessite une rvision rgulire du plan de travail. Laccent devrait tre mis sur les objectifs gnraux du cadre de rsultats stratgiques plutt que sur les objectifs plus limits du projet. Le plan de travail permet de faire la relation entre les apports, le budget, les activits, les produits et les effets. Une approche plus souple pour la ralisation du projet peut devenir ncessaire si les enseignements tirs de cet examen priodique impliquent des ajustements rguliers du plan de travail. Le responsable de programme sappuie sur les plans de travail du projet pour contrler lavancement des travaux. Les plans de travail du projet permettent aux responsables de programme et aux autres parties prenantes de saccorder sur les rsultats et de sassurer que ceux-ci sont conformes aux objectifs et aux cibles poss dans le cadre de rsultats stratgiques. Les plans de travail peuvent galement fournir un point de dpart pour dcider de la dmarche suivre pour lexcution des produits escompts, pour fixer les apports et les rubriques budgtaires. Des points de repre stratgiques pour les activits et les produits fixs dans le plan de travail permettront de noter trs tt si les progrs raliss dans la ralisation des objectifs correspondent bien aux prvisions. Le responsable de projet devrait inclure les principales activits dvaluation et de suivi de lexcution du projet dans le plan de travail en prcisant particulirement les modalits du suivi des effets. Le plan pourrait galement donner des prcisions sur la supervision des activits excutes sous contrat, la collecte des donnes et de linformation, ainsi que les activits spcifiques prvues dans le cadre du suivi comme les runions des parties prenantes.
30
Le suivi ( comment )
CHAPITRE 4
Le suivi de lexcution est probablement la tche la plus importante du responsable de programme. Le ou la responsable de programme mesure les progrs raliss dans la ralisation des activits du projet en fonction des effets prvus et choisit les diffrentes mthodes de suivi. Le prsent chapitre donne des directives pour pouvoir contrler efficacement les rsultats, y compris propose diffrentes mthodes pour tablir les rapports, conduire les analyses et vrifier les progrs raliss dans la poursuite des rsultats et lapplication dune dmarche participative. Le suivi de lexcution est bas sur une planification approprie, comme analys au chapitre 3. Le suivi sert galement de point de dpart lvaluation, laquelle fera lobjet du chapitre 5. Les diffrents instruments de suivi sont prsents dans les annexes et sont disponibles ladresse http://www.undp.org/eo/. Plan du chapitre : A. Principes de base du suivi n Efficacit n Porte n Responsabilits n Instruments B. Approche modulaire : instruments et mcanismes de suivi n Visites sur le terrain n Rapport de projet annuel n Groupes de discussion sur les effets n Examen annuel
A. Principes de base du suivi

La gestion axe sur les rsultats dfinit le suivi optimal comme tant un suivi continu impliquant les partenaires et ax sur les progrs raliss dans la poursuite des effets. Un suivi de ce type peut servir de point de dpart pour le Rapport annuel ax sur les rsultats (RAAR) et pour les valuations. Le bureau de pays doit choisir les
31
bons instruments de suivi et tre capable de trouver le juste quilibre entre les analyses de rapport, les tudes et les procdures de validation, tout en assurant une relle participation des parties prenantes. Lefficacit du suivi dexcution ne tient pas simplement la production de rapports sous une forme prescrite des dates donnes. Les bureaux du PNUD doivent adopter de bonnes pratiques pour dcider la fois de la porte du suivi et de la mthode suivre. Chaque bureau choisit, tout en respectant un ensemble de principes de base, les instruments, modes de prsentation, calendriers et programmes qui permettront lquipe de gestion de parvenir aux rsultats souhaits. Les bonnes pratiques de suivi et dvaluation des bureaux du PNUD peuvent tre elles-mmes contrles par des tudes, des indicateurs de gestion et des vrifications portant sur le projet ou le bureau de pays.
EFFICACIT
La crdibilit des valuations et des constatations dpend en grande partie de la faon dont sont excuts le suivi et lvaluation. Il y a des principes (ou normes minimums ) respecter pour que le suivi ait toute lefficacit voulue, savoir : n Mettre laccent sur les rsultats et le suivi. Identifier, en fonction des progrs raliss dans la poursuite des rsultats prvus, ce qui marche bien et ce qui ne marche pas . Consigner ensuite les rsultats de ces observations dans des rapports, faire des recommandations pour amliorer la situation, puis leur donner suite en prenant des dcisions et des mesures appropries. n Veiller la bonne conception du projet. Si un projet est mal conu, ou bas sur des prsupposs errons, mme le suivi dexcution le plus efficace ne fera pas son succs. Il est particulirement important darticuler logiquement effets, produits et activits. Les bureaux ne devraient pas chercher utiliser le suivi pour rsoudre des problmes chroniques qui ncessitent en fait des solutions radicales. Prvoir des inspections rgulires de lquipe du bureau de pays axes sur les rsultats et le suivi pour vrifier et valider les progrs raliss. En outre, le responsable de programme devrait organiser des visites et/ou des runions bilatrales pour valuer les progrs raliss, obtenir une vue densemble et identifier les domaines problme. Le responsable de programme veille aussi rassembler rgulirement une information actualise sur les rsultats obtenus et les problmes qui se posent et nattend pas le dernier moment pour essayer de se rappeler ce qui est arriv. n Procder une analyse rgulire de certains rapports choisis, dont le Rapport de projet annuel. Le respect de cette norme minimum contribue aussi lefficacit du suivi. Ces rapports, prpars par lquipe responsable du projet, ou les directeurs, lintention des membres du bureau de pays et les autres partenaires sont galement utiliss par les responsables de programme du PNUD comme point de dpart pour leurs analyses. Choisir des mcanismes de contrle participatifs pour assurer lengagement, lappropriation, le suivi et le retour de linformation. Il est indispensable de tenir compte, dans lvaluation des progrs, des activits entreprises par les partenaires dans le cadre du mme rsultat. Par mcanismes participatifs on entend notamment les groupes de discussion sur les effets, les runions des parties prenantes, les comits directeurs et les entretiens avec des groupes de rflexion.
32
Trouver des mthodes pour valuer objectivement lexcution et lavancement des activits en utilisant des critres et des indicateurs clairs. Les bureaux de pays, pour pouvoir valuer plus prcisment les progrs raliss dans la poursuite des effets, devraient chercher amliorer leur systme dvaluation de la performance en mettant au point des indicateurs et des points de repre appropris. n valuer la pertinence, la performance et le succs des interventions du PNUD en matire de dveloppement pour donner galement plus de porte au suivi. Le bureau de pays doit rgulirement sinterroger sur la pertinence de lappui apport lactivit considre et chercher juger lexcution et le succs, ou lchec, en sappuyant sur des informations concrtes. Les rsultats de ces analyses sont utiliss pour les prises de dcision relatives la programmation et lappui au programme Enfin, le bureau de pays doit activement tirer les enseignements du suivi, assurer lapprentissage, adapter les stratgies et viter de rpter les mmes erreurs. Lutilisation du support lectronique pour consigner et diffuser ces enseignements fait galement partie des normes minimums.
PORTE
Le suivi vise mesurer les progrs enregistrs dans la poursuite des rsultats prvus. Le responsable de programme, grce linformation rassemble au cours du suivi, analyse les activits de projet et de programme contribuant la poursuite des rsultats prvus rsultats qui sinscrivent dans les domaines stratgiques dappui dfinis dans le cadre de rsultats stratgiques pour le pays10 et prend les mesures qui simposent. Les responsables de programme contrlent galement le rle jou par l appui conseil et les partenariats stratgiques et rassemblent de la documentation ce propos. Toutes ces tches font partie du suivi des rsultats tel que dfini au chapitre 2. Toutes les activits de suivi et dvaluation devraient, au minimum, porter sur : n Les progrs raliss dans la poursuite des effets : ce qui signifie notamment analyser priodiquement les progrs raliss dans la poursuite des effets et identifier ceux qui sont atteints; Les facteurs favorisant ou ralentissant la poursuite de leffet : ce qui oblige tenir compte de la situation nationale et son volution conomique, sociale, politique et autre; n Les contributions du PNUD dans la poursuite des effets : ces produits peuvent rsulter de programmes ou projets, de la fourniture de conseils en matire de politique, dactivits de sensibilisation et autres. Le suivi et lvaluation de ces produits visent notamment vrifier quils sont excuts comme prvu et mesurer leur rle dans la poursuite du rsultat fix; n La stratgie de partenariat : ce qui implique danalyser la forme donne aux stratgies de partenariat, ainsi que la composition et le fonctionnement des alliances conclues. Il est ainsi possible de sassurer que les partenaires ayant le mme objectif ont une approche commune des problmes et des besoins et quils appliquent une mme stratgique synchronise.
10
Le mode de prsentation simplifi adopt pour le document de projet en salignant sur la gestion axe sur les rsultats devrait faciliter le suivi qui devrait sappuyer sur des indicateurs de produits de projet lorsque ncessaire.Les objectifs figurant dans le descriptif de projet devraient correspondre aux objectifs fixs dans le cadre de rsultats stratgiques.
SUIVI ( COMMENT )
33
ENCADR 3. LA MISE EN OEUVRE DOIT-ELLE GALEMENT TRE SUIVIE?

La mise en oeuvre des activits nest plus suivie aussi srieusement quelle pourrait ltre, en grande partie parce que les efforts se concentrent surtout dsormais sur le suivi des effets et des produits. Le compromis courant est dapprofondir moins la mise en uvre mais dinsister plus sur les effets. Chaque bureau de pays doit, lorsquil contrle la mise en uvre, trouver le juste milieu,cest--dire rester suffisamment prcis sans pour cela se perdre dans les dtails. Par exemple, ce nest pas son rle de sinterroger sur des dtails pratiques comme de savoir si la voiture a bien t fournie ou si lassistant de projet a bien t pay . Des changes rguliers entre le responsable de programme et lquipe du projet devraient donner suffisamment dindications sur les problmes poss par la mise en uvre, les activits,les produits et les dpenses. Cest linstitution charge de grer le projet (lagent dexcution) qui organise ces changes.Dans les cas o un suivi plus troit par le bureau de pays est requis pour assurer la transparence, il est possible de rduire le niveau de dtail du suivi en introduisant des suivis ponctuels et en prcisant la planification des tches grce des points de repre et autres mesures. Il faut noter que les problmes lis la mise en oeuvre tels que les faiblesses de gestion et le manque de transparence ne peuvent pas tre rellement rsolus par le suivi. Les valuations de capacit, un projet bien conu ou des accords pralables sur les normes de gestion permettront beaucoup plus efficacement de rsoudre ces problmes.
Les bureaux de pays peuvent ajouter cette liste dautres lments lorsque cela est ncessaire pour la gestion ou lanalyse, tout en veillant maintenir la porte du contrle dans des limites ralistes, compte tenu des moyens disponibles, comme analys dans lencadr 1 consacr la mise en uvre. Le suivi ne se limite pas aux produits du projet. Lvaluation des progrs raliss dans lexcution des projets et des programmes, dans la mise en place des partenariats et dans la fourniture de l appui conseil , dans la mesure o tout cela contribue atteindre les effets fixs, fait aussi partie du suivi. Le suivi fournit aussi aux responsables des informations quils peuvent utiliser comme point de dpart pour prendre les dcisions et les mesures qui simposent. Dans la gestion axe sur les rsultats, le suivi joue un rle encore plus important pour les prises de dcision et lapprentissage et est considr comme une tape indispensable dans la collecte dinformations et de donnes pour les valuations. Des ressources budgtaires suffisantes devraient tre alloues pour le suivi. Le bureau de pays peut imputer directement sur le budget du projet le financement des visites prvues pour informer linstitution dsigne. Le budget du projet peut galement couvrir, avec laval du Reprsentant rsident, la participation des partenaires nationaux aux visites.
RESPONSABILITS
La porte et la responsabilit du suivi varient avec chaque niveau de programmation. La direction du bureau de pays axe ses efforts sur le Programme de pays, lexcution gnrale du Plan-cadre des Nations Unies pour laide au dveloppement et les objectifs de dveloppement du Millnaire alors que les responsables de programme se concentrent sur le Cadre de rsultats stratgiques et les effets et que lquipe du projet se charge de contrler les documents et produits du projet. La direction du bureau de pays du PNUD La direction du bureau de pays est troitement implique dans le choix stratgique des mcanismes de suivi. Elle est charge de sassurer que le programme mis au point contribue, de la meilleure faon possible, la poursuite des objectifs du cadre de rsultats stratgiques et du programme de pays (ou cadre de coopration CCP sil est encore en place). La direction travaille en partenariat avec les principales parties prenantes
34
nationales, et tout particulirement avec le ministre charg de la coordination. Elle supervise ltablissement du RAAR ainsi que lexamen annuel, met au point des stratgies de partenariat et de sensibilisation, favorise un meilleur suivi des rsultats et cre un environnement favorable lapprentissage. En gnral, cest la Direction qui met en place le cadre danalyse des rsultats, qui dcide des activits prioritaires et des partenariats. Avec les partenaires, elle sassure galement que des valuations priodiques sont ralises pour contrler lefficacit de lapproche choisie pour parvenir aux effets prvus. A ce niveau, laccent est mis sur lensemble de la programmation du PNUD, ainsi que sur la contribution des Nations Unies aux domaines prioritaires dfinis dans le Plan-cadre des Nations Unies pour laide au dveloppement et le Bilan commun de pays. Lexamen annuel est le principal instrument de suivi. Il permet de tirer les enseignements gnraux et indique les courants dassistance, le niveau gnral dexcution et les problmes quils soient lis des effets prcis ou soient communs plusieurs domaines. Ce niveau de suivi peut galement impliquer la participation du Reprsentant rsident/Coordonnateur rsident du PNUD une quipe de coordination des Nations Unies charge dvaluer les progrs raliss dans la poursuite des objectifs appuys par les Nations Unies dans le pays, y compris les objectifs de dveloppement du Millnaire. Les responsables de programme du PNUD Les responsables de programme du PNUD sont chargs du suivi gnral des progrs raliss dans la poursuite des effets et de la contribution du projet sous forme de produits stratgiques. ce niveau, cest le responsable de programme du PNUD qui est principalement charg du suivi. Il, ou elle, veille ce que les suivis et les rapports raliss aux diffrents niveaux de programmation par diffrents intervenants soient rassembls pour fournir une information complte sur les progrs enregistrs. Ltablissement dun plan de suivi des rsultats peut lui faciliter la tche. (voir $ chapitre 3 sur le suivi des rsultats). Les responsables de programme jouent aujourdhui un rle plus important que par le pass dans le dveloppement des partenariats et la sensibilisation. Ils sont chargs de prparer, pour le RAAR, une analyse synthtique des projets et activits assortie de donnes bases sur lexamen annuel et aident en tirer des enseignements utiles pour la poursuite des effets. Ils peuvent galement renforcer la valeur du projet et fournir un appui conseil pour amliorer lexcution des produits. Ils sont supposs jouer un rle de premier plan dans la conception du programme, et notamment de veiller au respect des priorits stratgiques. Les responsables de programme aident aussi mettre au point des mcanismes pour assurer la transparence quils utilisent ensuite pour suivre priodiquement le bon emploi des ressources fournies par le PNUD. Les responsables de programme contrlent rgulirement les effets, mesure de lvolution de la situation en matire de dveloppement. Les indicateurs et rapports de projet ne suffisant pas pour valuer les progrs raliss dans la poursuite des effets, ils analysent aussi rgulirement le contexte, restent lcoute des principales parties prenantes pour tre au courant de lvolution des manires de voir, notent les contributions des partenaires, analysent les journaux et les rapports des autres partenaires en dveloppement, fournissent, partir des valuations, des informations sur les progrs raliss et, dans lidal, ralisent des tudes de clientle pour savoir si la perception des progrs raliss correspond bien la ralit. Le responsable de la gestion du projet Le responsable de la gestion du projet, gnralement le gouvernement, soccupe de lexcution des produits du projet, de la ralisation des activits, de la gestion des apports et de la gestion administrative. Il contrle galement les activits menes sous contrat. Il labore le plan de travail du projet et tablit, pour le bureau de pays, le rapport de projet
SUIVI ( COMMENT )
35
annuel. Ce dernier fournit des informations et des enseignements extrmement utiles pour amliorer lefficacit de la stratgie de mise en uvre et dexcution des produits. Le responsable de la gestion du projet peut galement participer la mise en place de la stratgie de partenariat conue par le bureau de pays. Linstitution qui gre le projet est charge darticuler les rsultats escompts et les attentes des bnficiaires cibles pour favoriser une bonne matrise du projet. Le suivi des activits de projet au quotidien est principalement la responsabilit de lagent dexcution. Le rapport de projet annuel est ralis par lquipe de projet et accorde une attention particulire aux rsultats. Il est ensuite tudi par lquipe du bureau de pays en vue de ltablissement du RAAR. Linstitution qui gre le projet devrait effectuer un contrle dtaill de toutes les prestations , et de tous les aspects de la mise en oeuvre. Les membres de lquipe du projet qui sont des experts dans leur domaine dactivit pourraient galement, dans le cadre du contrle, faire certaines valuations spcialises qui seraient ensuite utilises pour le RAAR.
INSTRUMENTS
Les mthodes et instruments de suivi dcrits ci-aprs sont applicables pour les projets, les programmes, les effets ou pour toute autre activit. Par exemple, bien que les comits directeurs soient normalement crs pour diriger les projets, ils peuvent galement tre tablis pour suivre un rsultat impliquant un grand nombre de parties prenantes. Les responsables de programme travaillent dans un cadre ax sur les progrs raliss dans la poursuite des effets et sur la contribution connexe du PNUD . En respectant ce cadre, ils doivent dfinir un assortiment quilibr de mthodes et instruments de suivi adapt chaque projet, programme ou effet faisant la part entre : n n n Les rapports/analyses collecte et analyse de la documentation sur le projet pour obtenir des informations sur les progrs raliss; La validation contrle ou vrification de lexactitude des progrs rapports; La participation pour obtenir un retour dinformation des partenaires et des bnficiaires sur les progrs raliss et les actions proposes.
Dans le tableau 1 les mcanismes de suivi possibles sont rpartis en trois catgories selon leur caractristique dominante. Par exemple, les inspections sur le terrain ont pour but principal la validation par observation directe, mais elles peuvent aussi se ranger dans le groupe des mcanismes participatifs lorsquelles impliquent un retour dinformation des bnficiaires.
TABLEAU 1. CLASSEMENT DES MCANISMES DE SUIVI PAR CATGORIE RAPPORTS ET ANALYSES

n n n n n
VALIDATION
n n n n n
PARTICIPATION
n n n n n
Rapport de projet annuel Rapports trimestriels et/ou dactivit Plans de travail Rapports sur lexcution du projet/ programme et rapports combins Documentation de fond pour le projet
Visites sur le terrain Vrifications ponctuelles valuations/ suivis externes Enqutes auprs de la clientle valuations
Groupes de discussion sur les effets Mcanismes/Comits directeurs Runions des parties prenantes Runions des groupes de rflexion Examen annuel
Lapprentissage est fait grce tous les mcanismes et instruments de suivi
36
Diffrents groupes dacteurs utiliseront diffrents instruments ou les utiliseront diffremment. Il nest pas raliste de croire quun instrument ou un mcanisme de suivi puisse satisfaire tous les besoins. Le suivi des rsultats peut ncessiter un choix dinstruments diffrents de ceux traditionnellement employs au niveau du projet. Des instruments tels que les inspections de projet ou les runions bilatrales/tripartites peuvent savrer inappropris parce que le projet une porte trop limite ou que le nombre de partenaires impliqus est trop restreint. Par contre, des examens faits par des groupes de discussion sur les effets, les analyses et les tudes pourraient se rvler des instruments plus utiles dans ce cas (voir annexe E pour la description dun assortiment dinstruments de suivi pouvant tre utilis par un bureau de pays moyen ou grand).
B. Approche modulaire : instruments et mecanismes de suivi

Un ventail dinstruments et de mcanismes de suivi, formels et informels, sont la disposition des bureaux de pays visites sur le terrain, rapports de projet annuels, groupes de discussion sur les rsultats et examens annuels notamment. Ils sont adaptables aux besoins locaux partir du moment o le minimum dinformation requis (progrs raliss dans la poursuite des effets, dans lexcution des produits et dans la cration de partenariats) est bien fourni. Les bureaux devraient au moins utiliser les instruments et mcanismes principaux prsents ci-dessous. Dautres instruments et mcanismes sont donns au tableau 1 et lannexe E.
VISITES SUR LE T E R R A I N
Les visites sur le terrain sont frquemment utilises comme mcanisme de suivi. Des visites sur le terrain rgulires sont devenues une pratique courante. Le choix de la date de linspection, de son objectif et des lments contrler doit tre fait de faon judicieuse pour pouvoir rellement mesurer les progrs raliss. Politique du PNUD : un reprsentant du bureau de pays du PNUD devrait inspecter chaque programme et projet jouant un rle dans la poursuite des objectifs stratgiques du Cadre de rsultats stratgiques au moins une fois par an. Les visites sur le terrain peuvent galement tre ralises par le responsable de programme, le conseiller en matire de politiques et/ou par une quipe du bureau de pays (notamment lorsquil sagit dun objectif complexe). Le Reprsentant rsident et lquipe de direction du bureau de pays sont galement encourags procder des visites sur le terrain. Calendrier : une visite sur terrain peut se drouler nimporte quel moment de lanne. Si elle a lieu au cours du premier semestre, juste aprs la ralisation du RAAR, elle sera oriente plutt sur la validation des rsultats. Si elle a lieu au cours du deuxime semestre, elle fournira des informations actualises sur les progrs enregistrs dans la prparation du rapport annuel. Les rapports des visites sur le terrain sont concrets et relativement brefs. Ils doivent tre prsents une semaine au plus tard aprs le retour de visite. But : les visites sur le terrain sont importantes pour la validation des rsultats. Elles permettent de valider les rsultats fournis par les programmes et projets, notamment lorsquil sagit de grands programmes et projets jouant un rle essentiel dans la poursuite des effets du cadre de rsultats stratgiques. Elles incluent une valuation des progrs,
SUIVI ( COMMENT )
37
rsultats et problmes et peuvent galement prvoir des inspections de lquipe de gestion ou de direction du projet. Ces visites, de plus en plus, sont ralises conjointement par plusieurs partenaires et portent sur plusieurs programmes et projets consacrs un effet commun. Une quipe de responsables de programme, par exemple, peut entreprendre une srie de visites portant sur des projets lis un effet particulier. Plusieurs partenaires peuvent galement visiter ensemble toutes les activits menes par le PNUD dans une zone gographique donne. Les visites communes constituent souvent un moyen efficace dobtenir une vue densemble prcise des progrs raliss. Tous les projets ne ncessitent pas le temps et les efforts quexige une visite annuelle sur le terrain comme on peut le voir dans les cas suivants : n Un suivi au jour le jour peut suffire pour les projets qui traitent de questions purement administratives comme les projets dappui logistique au programme, les centres dactivits ou certains projets-cadres sans rsultats prdtermins en matire de dveloppement; Un suivi bas sur des rapports et des contacts rguliers peut tre aussi efficace quune inspection annuelle dans le cas de petits projets non stratgiques et/ou dune dure maximum dun an; Lorsque dautres activits de suivi et/ou dvaluation ont rcemment t menes, le responsable de programme peut reporter sa visite une date ultrieure. En dautres termes, si une valuation rcente des objectifs a t discute une runion des parties prenantes et que le comit directeur du projet a pris ensuite certaines dcisions, le responsable de projet peut souhaiter laisser scouler assez de temps pour quune suite puisse tre donne aux recommandations.
Cible : quelle est la cible dune visite sur le terrain? L accent est mis sur les progrs raliss dans la poursuite des rsultats (effets et produits) qui aident atteindre les objectifs du cadre de rsultats stratgiques. Le responsable de programme devrait galement sintresser au rle jou par l appui conseil , la mise au point des partenariats stratgiques et mesurer les progrs raliss par rapport aux produits et effets prvus. Contrairement ce qui tait la norme par le pass, les visites sur le terrain ne se concentrent plus sur les dtails de la mise en oeuvre (voir annexe D pour la prsentation des rapports de visite sur le terrain).
RAPPORT DE PROJET A N N U E L
Politique du PNUD : le rapport annuel de projet sert de point de dpart pour valuer, en fonction de lexcution des produits et des activits de partenariat, la contribution des programmes et projets la poursuite des effets prvus. Cest un rapport dauto-valuation qui ne demande pas une prparation importante ralis par le responsable de la gestion du projet lintention du bureau de pays. Il peut tre utilis, tel quel, comme point de dpart pour un dialogue avec les partenaires. Il est tabli chaque anne pour les grands projets jouant une rle essentiel dans la poursuite des effets du cadre de rsultats stratgiques et sert pour lexamen annuel et le rapport annuel ax sur les rsultats. Calendrier : la priode couverte par le Rapport de projet annuel est relativement souple dans la mesure o lvaluation de lexcution du projet peut tre faite nimporte quel moment de lanne. Lidal serait cependant quil soit tabli tous les 12 mois et porte
38
sur la priode correspondant lanne financire du PNUD (janvier-dcembre, en particulier dans le cas des grands projets). But : le rapport de projet annuel est une auto-valuation ralise par lquipe responsable de la gestion du projet qui sinscrit dans lexamen de lexcution du projet du responsable de programme. Il devrait fournir un bilan exact des rsultats du projet, identifier les principaux problmes et proposer des orientations. Il fournit des lments au bureau de pays pour ses rapports et est utilis dans le RAAR. Son analyse des raisons sous-jacentes au manque de progrs aide lquipe responsable de la gestion du projet tirer les enseignements de lexprience et prendre les mesures qui simposent pour amliorer lexcution du projet. Prparation : le Rapport de projet annuel est prpar par lquipe responsable de la gestion du projet les responsables de la gestion au jour le jour (conseiller technique principal, coordonnateur du projet, directeur national ou quivalent). Le responsable de programme reste en contact avec lquipe responsable de la gestion du projet pour que les principaux problmes soient pris en compte dans le rapport. Cest un rapport dinformation destin au PNUD et aux autres parties prenantes, ce nest pas un instrument pour encourager la participation ou la recherche de consensus. Le directeur du projet et le responsable de programme mesurent lavancement de lexcution des produits dans le rapport de projet annuel et le responsable de programme mesure les progrs raliss dans la poursuite des effets. Le rapport de projet annuel peut tre tabli priodiquement ou mme supprim pour les projets plus petits ou ceux qui ne prvoient pas de produits stratgiques destins au cadre de rsultats stratgiques/RAAR comme on peut le voir dans les cas suivants : n Un suivi de lexcution du projet fait en mesurant la satisfaction des bnficiaires, les services fournis, ou encore par dautres moyens, peut se rvler suffisant pour les projets traitant de questions purement administratives, y compris les projets dappui logistique au programme, les projets dappui, les centres commerciaux et certains projets-cadres nayant pas de rsultats spcifiques prvus en matire de dveloppement; n n Un suivi au jour le jour et un rapport final sur les rsultats peuvent tre appropris pour les petits projets dune dure maximum dun an; Des mcanismes de suivi de lexcution peuvent tre suffisants pour les petits projets, ceux qui nont ni effets ni produits stratgiques prvus ou pour ceux qui ne sont pas utiliss pour tablir le RAAR.
Finalit : la production du Rapport de projet annuel sinscrit dans le cadre de la gestion, du suivi et de la supervision du projet dont est charg, au niveau gnral, le bureau de pays. Il appartient plus prcisment au module examen annuel/RAAR. Aprs sa distribution, des consultations devraient tre organises, par exemple au niveau du comit directeur, ou par crit auprs des partenaires. Le bureau de pays pourrait lutiliser, en fonction de son contenu et de son orientation pour : n Lvaluation de la performance : lvaluation de la performance du projet est lie au cadre de rsultats stratgiques et au RAAR. Le responsable de programme du PNUD vrifie lexactitude des informations communiques dans le rapport de projet annuel et dtermine si les problmes y sont exposs de faon satisfaisante. Il peut demander un complment dinformation si les rsultats communiqus lui semblent peu clairs. Une fois les claircissements requis apports, le rapport de projet annuel alimente directement le RAAR. Lorsque des mcanismes comme
SUIVI ( COMMENT )
39
les groupes de discussion sur les effets ou les comits directeurs sont utiliss pour vrifier lexcution du projet, il peut aussi servir de point de dpart pour trouver un consensus et dcider, avec les principaux partenaires, des recommandations faire pour la poursuite de laction. Certains de ses lments cls sont aussi repris pour lexamen annuel de pays. Il devrait tre utilis comme base pour obtenir un retour dinformation sur lexcution du projet. n Lapprentissage : le rapport de projet annuel fournit des informations sur ce qui a bien march, ce qui a chou et explique pourquoi. Ces renseignements devraient tre utiliss pour lExamen annuel par les rseaux dapprentissage et de praticiens des systmes des ressources sous-rgionales, par les banques de connaissances et les quipes dvaluation. Il est recommand dajouter dans le rapport de projet annuel tabli pour la dernire anne du projet des sections consacres aux enseignements de lexprience et la planification du suivi (stratgie de sortie). Ces enseignements peuvent tre tirs sous la forme de bonnes et mauvaises pratiques, de possibilits de succs ou de recommandations pour le suivi lorsque ncessaire. Le rapport de projet annuel peut galement tre utilis pour discuter des rsultats et des problmes avec les bnficiaires, les partenaires et les parties prenantes et pour connatre leurs ractions. Les prises de dcision : les partenaires peuvent se servir du rapport de projet annuel pour planifier leurs futures stratgies daction et de mise en oeuvre, pour mesurer les progrs raliss dans lexcution des produits et lefficacit de lappui conseil et pour faire le bilan des partenariats et des alliances. Le PNUD, les comits directeurs et les partenaires peuvent lutiliser pour trouver des solutions aux principaux obstacles lobtention des rsultats. Le responsable de programme souligne les problmes et les porte lattention de lquipe responsable de la gestion du projet pour quelle puisse prendre les mesures qui simposent, ou en tenir compte dans lexamen annuel de pays, contribuant ainsi au dbat sur les rsultats obtenus, les principaux problmes et la poursuite de laction.
Contenu et prsentation du rapport de projet annuel : le rapport doit tre trs bref et contenir les lments de base minimums requis pour lvaluation des rsultats, des principaux problmes et des actions proposes. Ces lments sont notamment : n Lanalyse de lexcution du projet au cours de la priode sur laquelle porte le rapport, y compris les produits excuts et, lorsque possible, des informations sur les progrs raliss dans la poursuite de leffet; n n n n Les obstacles lobtention des rsultats, et les raisons sous-jacentes; Trois (maximum) grands obstacles lobtention des rsultats; Les enseignements tirs; Des recommandations claires sur la dmarche suivre pour traiter les principaux problmes faisant obstacle lobtention des rsultats.
Des lments supplmentaires peuvent tre ajouts cette liste minimum lorsque le PNUD, lquipe de gestion du projet ou les autres partenaires lestiment ncessaire. Certains bureaux peuvent, par exemple, souhaiter inclure des questions de gestion comme les dpenses pour lexcution des produits, les problmes de mise en uvre (les dcisions et les modalits de gestion), lefficacit des approches et des stratgies adoptes pour cette mise en uvre, linfluence des facteurs extrieurs, les problmes poss par le
40
personnel et le travail dquipe. Nanmoins, plus on largit le champ du rapport, plus il devient difficile de se concentrer sur les questions cls. En outre, dans un souci dharmonisation, il est prfrable dutiliser le mme mode de prsentation que celui adopt pour les rapports des donateurs, pourvu que les informations sur les effets, les produits et les stratgies de partenariat requis figurent bien dans le rapport. (Voir annexe C pour le mode de prsentation des rapports de projet annuels).
GROUPES DE DISCUSSION SUR LES EFFETS

Des mcanismes de coordination runissant les partenaires pour discuter et procder des analyses communes constituent un autre moyen de suivi important. Ces mcanismes sont gnralement regroups sous lexpression groupes de discussion sur les effets . Politique du PNUD : les bureaux de pays doivent utiliser des mcanismes impliquant les partenaires et permettant des discussions et des analyses priodiques deffets. Pour plus de commodit, ces mcanismes de coordination sont dsigns par lexpression groupes de discussion sur les effets . Ces groupes concentrent leurs travaux sur le suivi des rsultats et le rle des produits dans la poursuite des effets. Ils ne soccupent ni de lchange gnral dinformation ni des dtails du projet. Lidal serait que ces groupes de discussion sur les effets se greffent sur des mcanismes dj constitus comme les comits directeurs de programme, les groupes thmatiques ou les groupes de coordination sectorielle. Si aucune entit de ce type nexiste, le bureau de pays pourrait organiser priodiquement des runions pour les partenaires cls. Les quipes de projet devraient participer ces groupes de discussion sur les effets pour se faire une ide de leffet la poursuite duquel sont supposs contribuer leurs produits. But : les groupes de discussion sur les effets permettent une valuation continue des effets utilisables pour le cadre de rsultats stratgiques et le Rapport annuel ax sur les rsultats. Ils renforcent par ailleurs les chances de parvenir aux rsultats escompts. Ils encouragent galement la cration de partenariats. En regroupant diffrents projets visant un mme effet ils peuvent aider crer un effet synergique et renforcer la stratgie commune axe sur les rsultats applique par les partenaires et les quipes de projet du PNUD. Participation: Les responsables de programme et les directeurs de projet du PNUD participent aux groupes de discussion sur les effets. Lassistant du Reprsentant rsident, ou ladjoint du Reprsantant, ainsi que leurs homologues gouvernementaux, participent galement au niveau technique. Les partenaires extrieurs devraient aussi prendre part aux groupes de discussion au moins une fois par an, mme sils ne souhaitent pas tre prsents toutes les runions. Cible : quoi sintressent les groupes de discussion sur les effets? Ils valuent les produits stratgiques et les initiatives connexes des partenaires qui contribuent la poursuite dun rsultat donn. Pour ce faire, ils tudient linformation fournie par les projets, les rapports nationaux, les rapports des donateurs, et par dautres sources. En runissant les partenaires, les groupes de discussion aident dfinir la stratgie adopter pour parvenir aux effets et la formuler. Une de leurs tches les plus importantes consiste arrter un plan de suivi de leffet et superviser son application. Ils jouent aussi le rle dquipe de coordination pour les valuations deffets. Les groupes de discussion sur les effets devraient, en outre, permettre didentifier les enseignements tirs et de les diffuser. Lorsque des partenaires sont impliqus, le groupe peut prendre part lexamen annuel au cours duquel ont lieu les principales consultations sur lobjectif donn. Cela peut aider la direction du bureau de pays identifier les problmes ou questions qui pourraient tre communs plusieurs
SUIVI ( COMMENT )
41
TABLEAU 2. QUESTIONS SE POSER LORS DE LA PLANIFICATION DE LEXAMEN ANNUEL QUESTIONS CLS DANS LE CAS O...
Quel est lobjectif de lexamen annuel Les partenaires ne sont pas rellement impliqus ou informs quant aux rsultats et lapproche du PNUD Un objectif, ou un domaine, prte controverse. Les vues sur les progrs raliss divergent.
... LE BUREAU DE PAYS POURRAIT ALORS :

Insister plus sur le partage de linformation et moins sur la planification et la recherche de solutions aux problmes. Faire participer les principaux allis ou le gouvernement pour susciter leur intrt. Tirer parti des possibilits dimpliquer les partenaires Chercher dgager un consensus. Identifier les zones de dissension. Faire appel des facilitateurs? Rencontrer et consulter individuellement les adversaires puis les runir. Utiliser lexamen pour amliorer les progrs. Se concentrer principalement sur la dfinition des stratgies et la planification. Faire participer les principaux dcideurs. Insister plus sur la planification et moins sur ltablissement des rapports. viter les grandes runions qui risqueraient dtre trop lourdes. Plutt tirer parti des mcanismes existants, comme les groupes thmatiques ou organiser des runions de secteur/de projet/sur leffet. Se concentrer sur les principaux effets du cadre de rsultats stratgiques. viter de surcharger les partenaires avec trop de runions. Organiser plusieurs consultations thmatiques,ou sur les effets, pourrait tre plus efficace, tout comme se concentrer sur les effets exceptionnels et les projets. Des runions plus restreintes avec les responsables de toutes les parties peuvent,au bout du compte, permettre des ngociations plus gnrales. Organiser une runion pour les rassembler tous. Cest probablement la mesure la plus efficace et cela permet de faire un tour dhorizon avec les principaux partenaires. Nanmoins, cela demande beaucoup defforts et ne permet pas dtudier en profondeur toutes les questions. Consulter le gouvernement sur lorganisation de lExamen, ou lorganiser en collaboration avec lui.
Les progrs sont lents et les rsultats obtenus insuffisants dans certains ou tous les domaines cls. Qui doit participer lexamen annuel? Un grand nombre de partenaires, ou un trs grand programme du PNUD, sont impliqus.
Certains partenaires sont impliqus dans la poursuite de plusieurs (deux ou plus) effets.
Il y a peu de partenaires cls dans le pays.
Le gouvernement est fortement engag dans la coordination de laide apporte par le PNUD. Quelle est la cible de lExamen annuel?
Il y a un ou plusieurs effets qui Centrer les dbats sur les rsultats difficiles ou prsentent plus de difficults ou sont controverss. Pour les effets ne prsentant pas de plus controverss que les autres. difficults, se contenter se produire le RAAR et de communiquer linformation ainsi rassemble. Certains effets/projets bnficient dj dune excellente coordination sectorielle . Il existe des programmes nationaux dots de mcanismes de coordination efficaces. Une valuation deffet ou une runion des parties prenantes sur un projet vient juste davoir lieu. Comme probablement de nombreuses consultations ont dj t organises sur ces effets, se contenter de simplement produire le Rapport annuel ax sur les rsultats et de communiquer linformation ainsi rassemble.Se concentrer sur dautres questions ou effets. Utiliser linformation fournie par les consultations pour le RAAR. Lexamen annuel traite de ces valuations ou ces runions uniquement si certaines questions doivent tre rsolues par lensemble des parties.
Pour certains effets ou projets, les Il est dans ce cas possible de se limiter au RAAR progrs ont t rguliers ou les effets et de communiquer linformation ainsi rassemble. sont maintenant atteints.
42
rsultats ou domaines. Les groupes de discussion sur les effets devraient veiller ne pas augmenter les cots de transaction en sintressant tous les dtails de projet. Organisation : cest le responsable de programme qui est charg de sassurer que des consultations sont organises et des analyses effectues pour appuyer le suivi des effets. Pour des raisons pratiques, dans la mesure du possible, les bureaux de pays recourent aux instances existantes. Si les effets du Cadre de rsultats stratgiques sont nombreux, certains bureaux de pays pourraient souhaiter les regrouper par domaines stratgiques dappui ou par domaines thmatiques.
EXAMEN ANNUEL
Politique du PNUD : lexamen annuel consiste faire, partir des rapports, des retours dinformation, des valuations et des enseignements tirs, une analyse de lexcution du projet qui servira de base au rapport annuel ax sur les rsultats. Il est important que le rapport annuel ax sur les rsultats soit tabli partir danalyses bases sur les consultations avec les partenaires. Lexamen annuel est conduit vers la fin de lanne (entre octobre et dcembre) pour que ses conclusions puissent tre utilises lors de la prparation du RAAR. Il est entirement organis au niveau du pays, sous la supervision du bureau de pays du PNUD. But : lexamen annuel prend la forme dun change de vues organis au niveau du pays pour valuer les progrs raliss dans la poursuite des rsultats (produits et effets). Il peut tre utilis pour dgager un consensus et permettre au PNUD et ses partenaires de saccorder sur des objectifs communs (rsultats). Il inclut une valuation, par la direction du bureau de pays et les partenaires, des effets du cadre de rsultats stratgiques et de leur contribution aux buts fixs dans le programme de pays (ou cadre de coopration). Cette valuation sert ensuite de base au RAAR. Les dbats devraient aider planifier lassistance du PNUD pour les 12 mois venir. Lexamen annuel, en identifiant les enseignements gnraux et globaux et en analysant les recommandations contenues dans les valuations deffets est un vecteur non ngligeable dapprentissage. Participation : le bureau de pays, en particulier son quipe de direction, est impliqu, au grand complet, dans lexamen, diffrents niveaux. Les partenaires cls, y compris lquipe de coordination des Nations Unies pour le pays, linstance gouvernementale charge de la coordination, lquipe responsable de la gestion du projet et ses homologues sont galement impliqus. Le Bureau rgional peut galement participer lexamen, soit en prenant part directement ou sur support lectronique, soit en demandant tout simplement tre inform de ses principales constatations. Organisation : lExamen doit avoir une porte suffisamment large pour fournir des informations de valeur mais ne doit pas tre trop complexe. Sa porte dpend du succs des efforts dploys par le bureau de pays pour faire participer activement les partenaires au cours de lanne coule. Si le suivi des effets en collaboration avec les partenaires a t rgulier, lExamen en sera simplifi dautant car certains des domaines quil devrait traiter auront dj t couverts. Une approche cible est recommande pour que les questions cls et/ou les effets soient bien analyss. Le bureau de pays peut souhaiter adapter lapproche mesure quvolue le programme de pays. Pour dterminer lapproche la plus efficace, il se posera les trois questions de fond figurant au tableau 2, savoir : quel est lobjectif de lexamen annuel? Qui doit y participer? Quelle est la cible de lexamen annuel?
SUIVI ( COMMENT )
43
Documentation : aucune documentation officielle nest requise pour lexamen annuel dans la mesure o diffrentes approches sont possibles. Le travail prparatoire sappuie sur les dbats internes du bureau de pays consacrs lanalyse de lexcution sur la base des rapports annuels de projet, du programme de pays (ou cadre de coopration), du cadre de rsultats stratgiques, des questions de gestion, des valuations et des autres informations pertinentes disponibles sur lexcution du projet et les progrs raliss dans la poursuite des effets. Dans certains pays, il pourrait tre utile dutiliser comme base de discussion le cadre de rsultats stratgiques et/ou le projet de RAAR tabli partir des rapports de projet annuels. Cela permettra aux partenaires de se mettre daccord sur les rsultats communiqus. Dans dautres cas, linformation relative aux principaux rsultats est prsente sous diffrentes formes. Les rapports annuels de projet pourraient tre distribus au cours des runions restreintes consacres un effet spcifique. Dans les runions plus larges, il pourrait cependant savrer plus efficace de distribuer une liste rsumant les questions souleves par les rapports annuels de projet et prcisant les problmes, les recommandations, les valuations et les constatations des dlibrations du comit directeur.
Les progrs enregistrs dans la poursuite des effets lors de lexamen annuel sont repris dans le Rapport annuel ax sur les rsultats. Pour sassurer quune suite est donne aux autres points analyss au cours de lexamen, le bureau de pays devrait prparer des rsums des dcisions, constatations et enseignements tirs au cours de lexamen annuel et les communiquer aux partenaires locaux ainsi quaux autres parties et rseaux intresss. Cela favorisera lapprentissage et aidera les responsables de programme suivre lapplication des accords rsultant de lexamen annuel. Examen du Plan-cadre des Nations Unies pour laide au dveloppement et du Bilan commun de pays : la contribution fournie par le PNUD dans le contexte du Plan-cadre des Nations Unies pour laide au dveloppement porte sur le suivi rgulier des produits et des objectifs. Lexamen annuel peut tre utilis comme source dinformation pour les examens priodiques du Bilan commun de pays et du Plan-cadre, lorsque ces documents existent. (Voir http://www.dgo.org pour des directives sur le Plan-cadre et le Bilan commun de pays.)
44
Lvaluation ( comment )
CHAPITRE 5
Comment est-ce que les bureaux de pays prparent et ralisent lvaluation? Et comment est-ce que lquipe dvaluation conduit cette valuation ? Le prsent chapitre propose une mthodologie dvaluation des effets et fait des suggestions pour amliorer les valuations de projet. Il vise galement aider les utilisateurs raliser une valuation et fixer des normes pour assurer la qualit des valuations axes sur les rsultats. (Des Directives pour les valuateurs compltes feront lobjet dun autre fascicule de la srie laquelle appartient ce manuel.) Plan du chapitre : A. Prparation de lvaluation n But et calendrier n Participation des partenaires et des parties prenantes n Confirmation de leffet n Porte de lvaluation n Rdaction du mandat n Budget n Documentation n quipe de liaison du bureau de pays n quipe dvaluation B. Gestion de lvaluation n Collecte et analyse des donnes n Appui et retour dinformation n tablissement du rapport n Suivi C. valuations communes
A. Prparation de lvaluation
La prparation dune valuation demande du temps et de la rflexion. La prparation dune valuation deffet, gnralement, bien que ce ne soit pas toujours le cas, demande encore plus de temps et de rflexion que les valuations de projet.
45
BUT ET CALENDRIER
Dcider prcisment quand et comment raliser une valuation deffet est un processus complexe qui commence ds le dbut du cycle de programmation. Comme cela est not dans le chapitre 3, les plans dvaluation sont labors en sappuyant sur les effets (dont le nombre peut varier) que chaque bureau de pays doit valuer obligatoirement au cours dun cycle de programme de pays donn. Diffrentes valuations deffets chacune avec des buts, une porte et un calendrier diffrent sont prvues pour chaque cycle. Les bureaux de pays devraient chercher dfinir, du moins en gnral, le but et le calendrier de leurs valuations de faon prcise et cohrente, le plus tt possible. Le calendrier de ralisation dune valuation deffet devrait tre directement lie son but (comme not au chapitre 3). Une valuation deffet qui vise favoriser lapprentissage ou aboutir des modifications de la nature des produits ou de la stratgie de partenariat doit tre ralise assez tt pour permettre la prise en compte de ces changements dans la programmation. En dautres termes, si le PNUD commence travailler la ralisation dun effet donn ds la premire anne du cycle de programme de pays, lvaluation de cet effet devrait tre stratgiquement place la fin de la troisime anne de faon laisser assez de temps scouler pour quil y ait quelque chose valuer mais aussi de se rserver assez de temps pour ensuite appliquer les leons tires de lvaluation. Dun autre ct, si le bureau de pays souhaite tirer des enseignements quant la qualit des produits et la validit de la stratgie de partenariat contribuant la ralisation dun effet prcis, ou leur efficacit, lvaluation deffet devrait stratgiquement se drouler au dbut de la cinquime anne.. Le mme principe vaut pour les valuations de projet (si les bureaux de pays dcident den raliser) : le but de lvaluation devrait dicter son calendrier et sa porte. Le tableau 3 donne plus dinformations sur le calendrier, le but et la dure des valuations deffet. (Voir galement lAnnexe C).
TABLEAU 3. CALENDRIER, BUT ET DURE DE LVALUATION DEFFET CALENDRIER
Dbut du cycle de programme de pays : Annes 12 Milieu du cycle de programme de pays : Annes 23 Fin du cycle de programme de pays : Annes 45
BUTS POSSIBLES
Contrler, ds le dbut du cycle, la stratgie adopte pour un effet particulirement ambitieux Acclrer les ajustements mi-parcours de lexcution des produits Utiliser les enseignements tirs pour la mise au point du prochain programme de pays.
DURE
Court terme Moyen terme Long terme
PA R T I C I PATION DES PARTENAIRES ET DES PARTIES PRENANTES

En mettant laccent sur les rsultats, on est amen insister encore plus sur la participation des partenaires (ceux qui sont activement engags avec le PNUD dans la ralisation des rsultats) et des parties prenantes (celles qui ont un rle et/ou un intrt dans les rsultats), quel que soit le type dvaluation. En particulier, les partenaires cls, notamment ceux qui figurent sur la liste de lencadr 1, devraient tre impliqus chaque tape de lvaluation deffet. Les parties prenantes concernes devraient aussi participer, mmes si elles ne contribuent pas directement au programme ou la ralisation de leffet. Elles pourraient prendre part une runion organise pour discuter les premires constatations de lquipe
46
dvaluation. Souvent, mais pas toujours, les mmes acteurs et organismes sont partenaires et parties prenantes. Souvent les partenaires, les parties prenantes et les bnficiaires sont lis et ont les mmes intrts, mais comme ce nest cependant pas toujours le cas il est important de bien faire la distinction entre les trois expressions. Dans un contexte donn, un acteur peut tre un partenaire, un autre un bnficiaire et un troisime une partie prenante. Dans un projet visant renforcer les activits de plaidoyer de la socit civile auprs du Parlement, celui-ci peut tre partie prenante, un organisme gouvernemental donateur la fois partenaire et partie prenante et des organisations de la socit civile la fois partenaires, parties prenantes et bnficiaires. Les diffrents partenaires et parties prenantes sengagent des degrs diffrents aux diverses tapes de lvaluation. Certains ont seulement besoin Institutions nationales dtre informs du droulement de lvaluation, Organisations de la socit civile alors que dautres doivent participer aux prises de ONG nationales et internationales dcision. Lvaluation tant un important facteur de Organismes des Nations Unies dveloppement des capacits et dapprentissage, les Secteur priv Autres donateurs dcisions concernant le choix des participants et leur tablissements universitaires degr de participation auront un impact sur les rsultats. En gnral, plus le degr de participation est important, plus les rsultats de lvaluation auront des chances dtre exploits. Il faut noter quune participation accrue des parties prenantes ou des partenaires, ou des deux, entrane souvent une augmentation des cots, et parfois mme une diminution de lefficacit. Nanmoins, une valuation participative, en impliquant stratgiquement les parties prenantes et les partenaires, peut positivement influencer le degr de matrise des rsultats de lvaluation et leur durabilit.
ENCADR 4. PARTIES PRENANTES ET PARTENAIRES CLS
Certains moyens peuvent aider impliquer les partenaires et les parties prenantes dans le processus complet de lvaluation, notamment : n Procder une pr-slection des partenaires et des parties prenantes contacter dans les premiers stades de la planification de lvaluation (slection de son effet, dfinition de sa porte, choix du calendrier, etc.); Diffuser le mandat de lquipe dvaluation et le curriculum vitae des candidats prslectionns pour obtenir un retour dinformation de la part des parties prenantes et des partenaires qui peuvent jouer un rle important dans la dfinition de la porte de lvaluation deffet; n n Prsenter les membres de lquipe dvaluation aux partenaires et aux parties prenantes; Inviter les partenaires et les parties prenantes aux ateliers organiss avec lquipe dvaluation ( sur la formulation des questions dvaluation, la prsentation du rapport dvaluation, etc.); Procder, avec les partenaires, une analyse conjointe de la documentation pertinente pour lvaluation et communiquer cette analyse, pour examen, lquipe dvaluation; n n Organiser des visites sur le terrain avec les partenaires, lorsque pertinent; Organiser une runion avec les partenaires et les parties prenantes aprs llaboration de la premire mouture du projet de rapport dvaluation pour en discuter ensemble les constatations; Assurer le suivi avec les partenaires et les parties prenantes pour veiller lexploitation des enseignements et des recommandations de lvaluation.
L VA L UATION ( COMMENT )
47
C O N F I R M ATION DE L E F F E T
Lune des premires tapes de la planification est de confirmer la valeur de leffet choisi pour lvaluation. Il sagit de sassurer que leffet est toujours pertinent et didentifier clairement les principaux produits, projets, programmes, activits et interventions des partenaires qui lui sont lis. Lquipe du bureau de pays devrait pouvoir obtenir ces informations sans difficult partir des rapports priodiques de contrle, du cadre de rsultats stratgiques/RAAR et du plan dvaluation. Le plan qui est prpar par chaque bureau de pays expose en dtail les projets, programmes, assistance douce, etc. ayant trait un effet donn. Dans lidal, cette confirmation de leffet devrait avoir lieu au moins six mois avant lvaluation elle-mme.
PORTE DE L V A L UAT I O N
Normalement la porte dune valuation de projet se dfinie delle-mme dans le descriptif de projet. Dans la plupart des cas, la porte de lvaluation deffet sera plus large que celle dune valuation de projet.11 Lquipe de direction du bureau de pays, lquipe du programme, lquipe du Rapport national sur le dveloppement humain (qui peut fournir une analyse contextuelle trs utile de lobjectif), les principaux partenaires et, si possible, le Chef de lquipe dvaluation, devraient tous participer la dfinition de la porte de lvaluation deffet. La porte dune valuation deffet devrait tre compose au minimum des quatre domaines danalyse suivants, chacun plus ou moins dtaill selon les cas : 1. Situation de leffet : leffet a-t-il t atteint? Dans la ngative, quels progrs ont t enregistrs dans sa ralisation? 2. Facteurs sous-jacents : quels sont les facteurs, dpassant la comptence du PNUD, qui influencent la ralisation de leffet? 3. Contribution du PNUD : est-ce que les produits, et autres activits, excuts par le PNUD ont rellement aid atteindre leffet, y compris en contribuant lexcution des produits, programmes, projets et lassistance administrative et technique lis leffet (Voir encadr 2); 4. Stratgie de partenariat : est-ce que la stratgie de partenariat du PNUD a t approprie et efficace.
ENCADR 5. LA CONTRIBUTION DU PNUD
Les valuations deffet mettent en lumire le lien de cause effet probable entre lensemble des activits entreprises par le PNUD avec ses partenaires et les progrs ou succs enregistrs dans la ralisation des effets. Exemple : Un bureau de pays pose comme effet : une meilleure rglementation pour une dcentralisation municipale . Il note dans le cadre de rsultats stratgiques /RAAR que le PNUD aide le pays 1) faciliter le dbat sur les rglementations juridiques pour la dcentralisation, 2) raliser des essais pilotes dexcution dcentralise du budget dans des municipalits choisies, et 3) favoriser la responsabilisation de la communaut pour la planification du dveloppement local.Ces trois produits ont clairement contribu linstauration dun processus de dcentralisation plus efficace et peuvent donc tre considrs comme ayant activement aid atteindre leffet. Par contre, le PNUD ne pourra pas revendiquer avoir contribu lapprobation de la loi (qui relve du Parlement) ni son application efficace (qui relve de la municipalit).
Source : daprs le Rapport sur le plan de financement pluriannuel de lAdministrateur, 1998.
11
Il peut cependant y avoir des exceptions. Par exemple,la porte de lvaluation dun trs grand projet complexe et long terme pourrait tre beaucoup plus large que celle dune valuation deffet rapide ralise au dbut, la premire ou deuxime anne,du cycle de ralisation du programme de pays.
48
Certains bureaux de pays pourraient souhaiter insister plus sur lune des catgories danalyse que sur les autres, ce qui modifiera la porte de lvaluation. Le tableau 4 reprend le tableau 1 en y ajoutant llment porte afin dillustrer les interactions entre les calendrier, but, dure et porte de lvaluation. Outre ces quatre catgories danalyse, lvaluation deffet peut aussi sintresser : n n lidentification de nouvelles mthodologies pour traiter les grandes questions lies au dveloppement humain durable; au renforcement des capacits nationales grce lassistance fournie par le PNUD (le renforcement des capacits figure dans la plupart des programmes dassistance du PNUD ); la participation des parties prenantes la ralisation de leffet (pour tablir si lassistance fournie par le PNUD a encourag rellement la participation (est-ce que la socit civile et les reprsentants des groupes locaux ont t consults pour la dfinition dune politique dinvestissement social par exemple?); lidentification des bnficiaires directs et indirects et leur apprciation de lassistance fournie; n aux questions de gestion et/ou dexcution susceptibles de poser des problmes, y compris lexcution dans les dlais prvus des produits, le degr de participation des partenaires et des parties prenantes lexcution des produits, et la dmarche suivie (transparence et participation).
Le mandat de lvaluation sera en grande partie dtermin par son objectif et ses calendrier, but, dure et porte.
TABLEAU 4. CALENDRIER, BUT, DURE ET PORTE DE LVALUATION DEFFET CALENDRIER
Au dbut du cycle du programme de pays : Annes 1-2
BUT ET PORTE
But : analyser, en dbut de cycle, la stratgie adopte pour un effet particulirement ambitieux Porte (reprend, avec diffrents degrs dinsistance, les quatre catgories danalyse) : n Situation et pertinence de leffet n Facteurs affectant leffet n Rle stratgique du PNUD n Formulation et application de la stratgie de partenariat
DURE
Court terme
Au milieu du cycle du programme de pays : Annes 23
But : dfinir les ajustements mi-parcours faire dans lexcution des produits Moyen terme Porte : n Pertinence de leffet (et lorsque possible situation et facteurs sous-jacents) n Rle stratgique du PNUD n Formulation et application de la stratgie de partenariat n Excution des produits (lorsque possible avec les partenaires) But : tirer les enseignements pour la formulation du prochain programme de pays Porte : n Situation de leffet et facteurs sous-jacents n Pertinence du rsultat/des produits n Rle stratgique du PNUD n Excution des produits n Formulation et application de la stratgie de partenariat Long terme
A la fin du cycle du programme de pays : Annes 45
49
RDACTION DES TERMES DE RFRENCE

Les termes de rfrence (TdR) dune valuation, quelle quelle soit, doient au moins, contenir les lments suivants : n n n n n n n Introduction : une brve description du sujet de lvaluation (effet, programme, projet, interventions des diffrents partenaires, etc.); Objectifs : les raisons de lvaluation et la liste des principales parties prenantes et principaux partenaires; Porte : les questions, sujets, domaines et priode couverts par lvaluation; Produits prvus de lvaluation : les constatations, recommandations et enseignements, un systme de notation de la performance, une liste des choses faire ); Mthodologie ou approche : la mthodologie propose lquipe dvaluation; Equipe dvaluation : sa composition et ses domaines de comptence; Arrangements relatifs lexcution : le partage des responsabilits et lorganisation de lvaluation.
Les TdR doient tre suffisamment souples pour permettre lquipe charge de lvaluation de choisir lapproche quelle estime la meilleure pour la collecte et lanalyse des donnes. Par exemple, les TdR pourrait proposer une approche mixte combinant questionnaires, visites sur le terrain et entretiens mais lquipe dvaluation devrait pouvoir revoir cette approche si elle lestime ncessaire. Les TdR sont tablis en faisant certains choix stratgiques aspects sur lesquels se concentrer, domaines confier lexamen des principales parties prenantes, et dans le cas dune valuation deffet, participation des partenaires llaboration des TdR. (Voir annexe C pour une information spcifique sur le mandat de lvaluation, y compris des directives dtailles pour les valuations de rsultat).
BUDGET
Ltablissement du budget dune valuation dpend de la complexit du projet ou de leffet devant tre valu et du but de lvaluation. Ces facteurs dterminent la dure de lvaluation et le nombre dvaluateurs. Dans le cas des projets, les valuations sont finances sur les rubriques budgtaires prvues pour le suivi et lvaluation. De la mme faon, les projets et programmes qui contribuent la ralisation de leffet valu utilisent, pour financer son valuation, les ressources prvues dans leur budget pour le suivi et lvaluation. Le bureau de pays du PNUD, lorsquil tablit le budget dune valuation deffet, devrait tenir compte des facteurs suivants : n La porte, la complexit, et le calendrier de lvaluation : une valuation deffet ralise au dbut du programme de pays a toutes les chances dtre peu complique, davoir une porte restreinte et de prendre moins de temps quune valuation plus lourde ralise la fin du programme de pays. Plus une valuation est complexe et sa porte tendue, plus le travail de lquipe dvaluation sera long et compliqu et plus levs seront, par consquent, les moluments des valuateurs. Le calendrier de lvaluation deffet doit tre dfinie par son but. Les valuations ralises en dbut de programme durent moins longtemps et cotent moins cher
50
que celles qui sont faites vers la fin du cycle du programme. On trouvera dans le tableau 3 une rpartition des cots affrents aux valuations deffet et leurs variations en fonction de la porte et du calendrier de lvaluation. n La rduction de la dure et des cots de lvaluation :il est recommand aux bureaux de pays de communiquer aux candidats prslectionns pour le poste de chef de lquipe dvaluation les termes de rfrence de lvaluation pour sassurer un retour dinformation du chef dquipe choisi sur la mthodologie et les dates retenues pour la mission. Cela permettra de rduire le temps consacr la prparation. Une faon de limiter les dpenses est de confier le travail une entreprise plutt que de recruter des particuliers lorsque celle-ci propose un forfait pour toute lvaluation, plus intressant quun tarif journalier. On vite ainsi le risque dune augmentation des cots si lvaluation se prolonge pour des raisons imprvues. Dans un mme souci dconomie, les bureaux de pays sont galement encourags tirer parti des comptences nationales en matire dvaluation et recruter, dans la mesure du possible, des experts nationaux pour les missions dvaluation deffet. n Les visites sur le terrain et les entretiens : dans le cas dune valuation de rsultat, les valuateurs peuvent devoir sentretenir avec certains partenaires, parties prenantes et bnficiaires pour connatre leur apprciation des progrs raliss dans la ralisation des effets ou des produits excuts par le PNUD. Les visites sur le terrain et les entretiens devraient tre brefs lorsque les valuations deffet sont faites au dbut du programme de pays. Pour les valuations ralises plus tard, il pourrait tre ncessaire que les valuateurs rencontrent un plus grand nombre de parties prenantes et de partenaires, ce qui entranera une augmentation des frais de voyage, des indemnits journalires et du cot des services de consultant.
TABLEAU 5. RPARTITION DES COTS EN FONCTION DU CALENDRIER DE LVALUATION CALENDRIER

Premire visite du chef de lquipe Etude thorique Mission n Projet de rapport dvaluation n Rapport de fin de mission Prparation du rapport final
AU DBUT DU PROGRAMME DE PAYS : ANNES 12

1 jour 4 jours 11/2 2 semaines, dont : n 3 7 jours n 2 jours
AU MILIEU DU LA FIN DU PROGRAMME DE PROGRAMME DE PAYS : ANNES 23 PAYS : ANNES 45

3 jour 11/2 jours
n
1 semaine 2 3 semaines
n
3 semaines, dont : 7 10 jours n 3 jours 1 2 semaines
4 semaines, dont : 2 semaines n 1 semaine 2 semaines
3 7 jours
TOTAL RPARTITION DES COTS :
3 4 SEMAINES
6 7 SEMAINES
9 10 SEMAINES
Consultants nationaux - recherche 1 pour 1 semaine Experts internationaux - mission 1 pour 1 2 semaines Experts nationaux - mission Frais de voyage
1 pour 3 4 semaines Indemnit de voyage et indemnit journalire de subsistance pour les experts nationaux et internationaux
2 pour 2 semaines
2 pour 3 semaines
1 pour 2 3 semaines 1 pour 6 semaines 1 pour 4 semaines Indemnit de voyage et indemnit journalire de subsistance pour les experts nationaux et internationaux 2 pour 6 7 semaines Indemnit de voyage et indemnit journalire de subsistance pour les experts nationaux et internationau
51
Les consultants nationaux : Il peut tre ncessaire de faire appel des consultants nationaux pour complter le travail des valuateurs. Les valuations de rsultat peuvent ncessiter une analyse de documentation avant larrive de lquipe dvaluation dans le pays. Des consultants nationaux peuvent se charger efficacement de ce travail. Lquipe du bureau de pays du PNUD aura, au pralable, rassembl la documentation et procd son examen, faisant ainsi un premier tri et ne retenant que les donnes les plus pertinentes. n Les domaines de comptence des valuateurs : les valuations de rsultat requrant une approche multidisciplinaire, lquipe dvaluation devra comprendre au moins un valuateur (national ou international) familiaris avec les principes de la gestion axe sur les rsultats. En outre, un valuateur (national ou international) devrait avoir une connaissance approfondie de leffet devant tre valu. Le respect de ces deux critres pourrait augmenter les cots de consultation.
D O C U M E N TAT I O N
Une fois que la porte de lvaluation a t dfinie, le bureau de pays rassemble la documentation de base requise et la communique lquipe dvaluation. Un travail de recherche thorique prliminaire peut tre ncessaire pour recueillir des informations sur les activits et les produits excuts par les partenaires, sur lassistance dj fournie par le PNUD dans le domaine considr, sur ltat davancement du projet ou du programme, ou sur la situation de leffet. Cette tape prliminaire pourrait tre prvue dans le plan de lvaluation ou propose par lquipe dvaluation. Les sources dinformation ci-aprs seront extrmement utiles pour lquipe dvaluation de rsultat : n le programme des pays (ou cadre de coopration) : ce programme expose les effets cls fixs par le PNUD et devant tre atteints dans une priode de 3 5 ans. Il fournit galement une information de base et donne le point de vue du PNUD sur le dveloppement du pays. le Cadre de rsultats stratgiques et le Rapport annuel ax sur les rsultats du bureau de pays : ces deux documents prsentent certains des projets et programmes relatifs leffet vis et devraient, dans lidal, identifier tous les projets, programmes, sous-programmes et aide abstraite qui contribuent la ralisation de leffet vis. Ils fournissent des lments dinformation sur les produits cls, les partenaires stratgiques, la stratgie de partenariat, les progrs enregistrs au cours des annes prcdentes, la qualit des indicateurs deffet, la ralisation des activits ainsi quune information de dpart. le Bilan commun de pays et le Plan-cadre des Nations Unies pour laide au dveloppement : ces documents fournissent notamment une information de base sur le dveloppement du pays, les partenariats et les activits menes conjointement par le PNUD et dautres organismes des Nations Unies. n les rapports de suivi et dvaluation : on trouve dans ces rapports des rapports dvaluation sur des sujets connexes, les rapports de projet annuels, les rapports de visite sur le terrain et une documentation sur les autres effets et programmes et projets importants. n les rapports de projets et programmes rgionaux et sous-rgionaux connexes : ces rapports renseignent sur lappui fourni par ces projets et programmes la contribution du PNUD et de ses partenaires la ralisation de leffet.
52
les rapports sur ltat davancement des activits des partenaires : on trouve dans ces documents une relation des progrs effectus par les partenaires dans la ralisation du rsultat et une information sur leur stratgie de partenariat avec le PNUD. n les donnes des sources officielles : des informations sur les progrs raliss dans la ralisation des effets peuvent tre obtenues auprs de sources gouvernementales, dorganisations du secteur priv, des tablissements universitaires et des instituts nationaux de recherche. les tudes : certains sujets relatifs leffet valuer peuvent tre traits dans des tudes ralises par le gouvernement, des ONG, des institutions financires internationales, des tablissements universitaires, ou dans le Rapport national sur le dveloppement humain national, ou encore dans des tudes provenant dautres sources.
Les sources susmentionnes sont supposes fournir des informations utiles pour les quatre domaines danalyse retenus (la situation de leffet, les facteurs sous-jacents, la contribution du PNUD, la stratgie de partenariat) pour lvaluation deffet. Le tableau 4 montre lappui apport par une documentation pertinente lanalyse dans ces quatre domaines.
TABLEAU 6. SOURCES DE DOCUMENTATION ET DOMAINES DANALYSE CORRESPONDANTS SOURCE DINFORMATION
Programme de pays/ Cadre de coopration Cadre de rsultats stratgiques et RAAR du bureau de pays Bilan commun de pays/ Plan-cadre des Nations Unies pour laide au dveloppement Rapports de suivi et dvaluation Rapports rgionaux/ sous-rgionaux Rapports des partenaires Sources officielles tudes
DOMAINES DANALYSE
La situation de leffet X X Les facteurs sous-jacents X La contribution du PNUD X X La stratgie de partenariat X X
X X X X X X X X X X
X X X
QUIPE DE LIAISON DU BUREAU DE PAY S

Pour les valuations deffet, il est recommand lquipe de direction du bureau de pays de constituer une petite quipe qui sera charge, au sein de lunit du programme, dassurer la liaison (voir encadr 6). Cette quipe, compose de deux quatre personnes, organisera lvaluation et apportera un appui efficace lquipe indpendante recrute pour lvaluation. Pour assurer la liaison, une quipe sera plus efficace quune seule personne car les valuations deffet touchent un grand nombre de sujets. Compte tenu de laccent mis par le PNUD
53
ENCADR 6. FORMATION DE LQUIPE DE LIAISON POUR LVALUATION

Il est conseill de constituer une quipe de liaison pour lvaluation au sein mme du bureau de pays ds quun effet donn a t retenu pour une valuation au cours de la phase de planification. La mise en place de cette quipe au dbut du processus a plusieurs avantages. Premirement, elle permet un travail dquipe au sein du bureau de pays pour tout ce qui concerne lvaluation. Ensuite, elle largit lapprentissage et le brassage dides au sein du bureau. Enfin,elle permet un suivi continu et automatique de leffet au cours de la priode prcdant lvaluation et renforce ainsi le lien entre le suivi et lvaluation de leffet. Le bureau de pays, lorsquil prpare lvaluation, dans un premier temps confirme la pertinence de leffet devant tre valu.Ce travail est dvolu lquipe de liaison qui est, ce stade,la mieux place pour ce faire.Une transformation du contexte peut obliger modifier le calendrier, la porte ou la nature prvues de lvaluation (une valuation succincte et directe en dbut de programme peut faire place une valuation dajustement en cours de programme ou une valuation rtrospective en fin de programme, ou vice versa) pour garder lvaluation toute sa valeur. Une quipe bien structure peut prendre plus efficacement ce type de dcision quun particulier.
sur les rsultats, il est ncessaire dimpliquer une petite quipe dans le processus. Il en va autrement des valuations de projet dans lesquels cest le directeur de projet qui se charge de la planification de lvaluation et qui veille ensuite au bon respect de ce mandat. Dans lidal, la prparation de lvaluation deffet devrait tre lie au processus de suivi de leffet et non pas spare de lui. La mme quipe qui a t implique dans le suivi de leffet devrait tre galement charge de prparer lvaluation avec les partenaires participant au groupe de discussion sur les objectifs lorsquil en existe un. Lquipe de liaison joue normalement un rle trs utile en mettant en relation lquipe dvaluation avec le groupe du programme, lquipe responsable de la direction du bureau et les partenaires. En outre, elle soccupe des arrangements matriels et dorganisation dfinir les tches de lquipe dvaluation, rechercher des candidats (particuliers ou entreprises) pour lquipe dvaluation, recruter les membres de lquipe, veiller au caractre participatif du processus dvaluation, contacter les partenaires, fournir un appui lquipe dvaluation et faire des observations sur le projet de rapport dvaluation. Lquipe de liaison assure un niveau de participation lev au sein du bureau de pays et parmi les partenaires toutes les tapes du processus dvaluation. Toutes les parties intresses restent ainsi informes du droulement de lvaluation, ce qui permet dassurer la crdibilit et la qualit du processus. Les parties nommes ci-aprs jouent un rle trs important dans le processus dvaluation : n Lquipe de direction du bureau de pays : cest elle qui dcide de lorientation et de la perspective de lvaluation, qui fournit des informations sur la stratgie adopte par le bureau, sur lassistance douce et sur le cadre de rsultats stratgiques. Elle donne galement une information de premire main sur lassistance prvue ou potentielle (discussions prliminaires avec les autorits de haut niveau pour lassistance ou les services spcifiques ou encore lassistance douce. n Lquipe du programme : elle enrichit le dbat grce lchange dinformations sur les initiatives connexes ou complmentaires menes dans dautres domaines thmatiques, sur les produits cls des projets et programmes, sur lassistance douce en cours et sur les liens avec les questions transdomaines (comme la gouvernance, lenvironnement, lquit entre les sexes, la gestion des risques). n Lquipe du rapport sur le dveloppement humain : lorsquelle existe, elle peut fournir lquipe dvaluation une information rcente sur les variables, statistiques et autres donnes relatives au dveloppement humain.
54
Les membres de la cellule de rflexion : lorsque la cellule existe, ses membres fournir des renseignements sur le contexte, des suggestions sur la faon daborder les questions lies leffet, ainsi que des conseils pour la collecte dinformations et les contacts avec les principaux partenaires. n Les partenaires : ils peuvent aider mieux comprendre les diffrentes activits menes simultanment pour atteindre le mme effet et aider valuer la stratgie de partenariat du PNUD.
QUIPE DVALUATION
Lvaluation est ralise par une quipe officielle dexperts dsigns. Le choix des valuateurs est dterminant pour lefficacit de lvaluation. Les valuateurs peuvent tre recruts au niveau interne, au sein du PNUD, ou au niveau externe. Les entreprises dvaluation ou les quipes dvaluateurs indpendants peuvent tre nationales, internationales ou une combinaison des deux. (Voir annexe C pour une tude compare des avantages et des inconvnients du recrutement dentreprises ou de particuliers) Tous les membres de lquipe doivent tre indpendants et navoir absolument aucun lien avec la conception, la formulation ou la mise en uvre des programmes, projets et activits en question du PNUD ou des partenaires. Lquipe ne doit pas comprendre de fonctionnaires gouvernementaux directement impliqus dans les activits considres ou dans leurs rsultats. Le non-respect de ces conditions risque de compromettre la crdibilit et lindpendance de lvaluation. Le bureau de pays est encourag inclure dans lquipe dvaluation deffet des membres de lquipe du PNUD venant dautres pays ou rgions lorsque cela est possible. Lchange de connaissances et lapprentissage au sein du personnel est ainsi favoris, tout comme le dveloppement des capacits dans toutes les rgions et tous les pays. Le personnel du PNUD participant normalement des membres des bureaux de pays de niveau soit de direction, soit de responsible de programme ne doit avoir aucun lien avec la conception, la formulation, ou la ralisation de leffet considr, ni avec aucun des projets, programmes et activits associs. Les domaines de comptence requis pour les membres de lquipe sont notamment : n n n n n Une connaissance technique et une exprience concrte des domaines thmatiques du PNUD, avec une spcialisation correspondant au thme spcifique de lvaluation; Une connaissance de la situation et du contexte national; Des comptences dans la gestion axe sur les rsultats; Des comptences dans le renforcement des capacits; Une pratique des processus de prise de dcision (conception, adoption et mise en uvre) si lvaluation touche des questions dorientation et de concertation sur laction mener.
Des comptences dans la gestion axe sur les rsultats sont de plus en plus ncessaires car les valuations commencent appliquer les principes et la mthodologie de la gestion axe sur les rsultats. Les valuateurs doivent savoir comment faire le lien entre le renforcement de lassistance du PNUD et le rle que joue cette assistance pour faire avancer le dveloppement.
55
B. Gestion de lvaluation
Dans cette partie sont passes en revue les principales tapes de la supervision de lvaluation - la collecte et lanalyse des donnes, lappui technique et le retour dinformation, ltablissement des rapports et le suivi. Cest lquipe du bureau de pays du PNUD en gnral, le responsable de programme, le groupe de discussion sur les effets ou lquipe de liaison qui sacquitte de ces tches. Des conseils dtaills lintention des valuateurs deffet sont donns dans une autre publication de la srie laquelle appartient ce manuel ayant pour titre Directives pour les valuateurs .
COLLECTE ET A N A LYSE DES DONNES

La collecte et lanalyse des donnes de base pour lvaluation deffet est principalement la responsabilit du bureau de pays, et plus spcialement de lquipe de liaison (si elle existe). Celle-ci dcide des mthodes de collecte et danalyse de linformation. Des mthodes qualitatives et quantitatives sont utilises. Leur choix dpend des objectifs. Bien que faisant appel des instruments et des mthodologies diffrents, elles sont parfaitement complmentaires. La prparation de lvaluation normalement exige lutilisation combine des deux types de mthodes. Les mthodes qualitatives sont utilises pour les questions poses par les valuateurs au cours des entretiens et des enqutes, ainsi que pour analyser le contexte social, conomique et politique dans lequel volue le dveloppement. Les mthodes quantitatives sont utilises pour appuyer les stratgies de collecte de donnes qualitatives, par exemple des analyses statistiques pour contrler les conditions socioconomiques dans divers domaines dtude.12 On trouvera dans le tableau 5 des exemples des deux approches.
APPUI ET RETOUR DINFORMAT I O N

Lquipe du bureau de pays, ou lquipe de liaison, est charge dassurer la liaison avec les partenaires et de fournir un appui et un retour dinformation lquipe dvaluation. Elle devrait tre en liaison constante avec lquipe dvaluation. Ces membres du bureau, bien informs, poussent lquipe dvaluation justifier ses conclusions et les tayer par
TABLEAU 7. DIFFRENTES APPROCHES UTILISABLES POUR LVALUATION DE RSULTAT EFFET
Amlioration des capacits lgislatives
ANALYSE QUANTITATIVE
ANALYSE QUALITATIVE
Nombre de lois promulgues par le Analyse de la complexit technique des Parlement dates, sujets,auteurs lois et/ou de leur importance nationale,de (gouvernement ou membre du Parlement). leur qualit technique (rdaction et niveau constitutionnel) et du caractre participatif et transparent du processus. Nombre de cas de cor ruption jugs et nombre de cas conclus. Analyse du processus et de la raction des citoyens.
Renforcement de la transparence dans le secteur public
12
Impact Evaluation ,Banque mondiale, avril 2001.
56
des faits concrets et laident approfondir et clarifier ses dbats. Lquipe de liaison est le principal groupe avec lequel travaille lquipe dvaluation. Elle rpond aux questions, facilite les changes et donne linformation requise. Elle fournit galement le retour dinformation ncessaire pour llaboration du projet de rapport et organise une runion des partenaires et des parties prenantes pour examiner les constatations de lquipe dvaluation.
TABLISSEMENT DU RAPPORT
Les conclusions et les recommandations du rapport dvaluation sont dj contenues en germe dans le plan tabli pour lvaluation. Si le mandat de lvaluation deffet inclut le rsultat tudier, les raisons du choix, la porte de la mission et la stratgie de collecte et danalyse des donnes, le rapport dvaluation portera donc, entre autres, sur ces lments. Lquipe dvaluation est tenue de respecter le mandat et de traiter ses divers points de faon approprie dans son rapport, bien quune certaine latitude soit permise et que lquipe puisse ajouter au mandat dorigine les questions quelle considre comme particulirement pertinentes. En gnral, le chef dquipe tablit, ds le dbut de lvaluation, un projet de table des matires pour le rapport en sappuyant sur les prescriptions du PNUD, le mandat de lvaluation et les conclusions des discussions avec les parties et partenaires intresss. Le projet de table des matires est un cadre commode pour organiser linformation mesure de lavancement des travaux. Il aide galement mieux cibler le travail faire sur le terrain en fonction de linformation obtenir, vrifier son exactitude, tirer des conclusions et des recommandations et en discuter. (Voir annexe D pour le rapport dune visite sur le terrain). Une fois que le premier projet de rapport dvaluation a t prsent, lquipe de liaison, ou le personnel concern du bureau de pays du PNUD (agent de coordination pour lvaluation, quipe du projet et/ou direction du bureau) devrait en faire lanalyse et prsenter ses observations. Celles-ci seront ensuite incorpores dans la version finale du projet de rapport qui sera alors communique aux partenaires pour un retour d information. Cest le chef de lquipe de lvaluation qui se charge dinclure les observations faites dans la version finale du rapport, lequel est ensuite soumis la direction du bureau de pays. Celle-ci pourra, si la complexit des rsultats de lvaluation lexige, envisager dorganiser, pour prsenter le rapport aux partenaires et aux parties prenantes une runion dune demi-journe. Une interprtation commune des rsultats sera ainsi assure et le retour dinformation sur le projet de rapport facilit.
SUIVI
Lvaluation ne se termine pas avec la prsentation du rapport dvaluation et lacceptation de ses conclusions. Les rsultats, constatations, recommandations et enseignements contenus dans le rapport doivent tre assimils et donner lieu des mesures concrtes. La dernire tape dune valuation consiste donc sassurer de la suite donne au rapport et de lengagement dans la voie du changement. Cette tape est troitement lie au processus dapprentissage et dapprofondissement des connaissances discut plus en dtail au chapitre 7.
57
C. Evaluations communes
13
Des valuations communes peuvent tre ralises, quel que soit le type dvaluation, en partenariat par le PNUD, les donateurs, les gouvernements et les autres partenaires. Les valuations communes seront traites plus en profondeur dans un autre numro de la srie laquelle appartient ce manuel. On peut nanmoins prciser ici les tapes suivre dans la planification et lexcution dune valuation commune (quil sagisse dune valuation de rsultat ou de projet) : 1. Porte de lvaluation : la porte de lvaluation doit tre arrte en commun par tous les organisateurs de lvaluation. Les domaines dintrt prioritaires, ainsi que les intrts des parties qui ne sont pas ncessairement les mmes doivent tre clairement dfinis. Les questions pratiques doivent tre aussi clarifies, quil sagisse de lobjet de lvaluation (projet ou objectif), des questions traiter ou du calendrier de lvaluation. 2. Division des tches : lquipe de direction du bureau de pays doit dfinir la faon dont seront prises les dcisions par les acteurs et dcider de la rpartition des tches. Elle doit donc choisir le responsable de chaque tape de lvaluation, en dautres termes, dsigner les responsables dactivits. Un partenaire peut tre charg de llaboration du mandat de lvaluation, un autre du recrutement de lquipe et un troisime de la logistique de la mission. Les visites sur le terrain peuvent prvoir que diffrentes parties rassemblent simultanment des donnes dans diffrents endroits. Les diffrentes institutions impliques ont probablement chacune leur propre approche. Il faut donc pouvoir sadapter et prvoir que ces divergences de mthode augmenteront la dure de lvaluation. Mme au niveau national, les diffrents donateurs peuvent avoir des pratiques administratives, politiques, financires et des mthodes varies et cette diversit ne peut que ralentir lvaluation. Il est ncessaire de dfinir clairement les responsabilits respectives pour les visites sur le terrain et daccorder toute lattention voulue aux dtails prciser qui est responsable du financement du transport des experts dun site lautre, qui sera charg de consigner par crit les runions individuelles pour que les comptes rendus de fin dvaluation soient tays par toutes les pices justificatives requises, dcider qui se chargera de recueillir la documentation lors de la visite sur le terrain et comment celle-ci sera communique aux autres experts au cours des analyses ultrieures dans leurs pays respectifs, etc. 3. Modalits de financement : diffrentes modalits de financement sont possibles pour les valuations conjointes. Le PNUD prfre que le (ou les) partenaire(s) contribue(nt) financirement lvaluation dans le cadre dun pool de fonds (pratiquement quivalent un fonds daffectation) gr par le PNUD et couvrant tous les cots lis lvaluation. Une seconde possibilit serait que le (ou les) partenaire(s) finance(nt) certains lments de lvaluation et que le PNUD se charge des autres (une solution pratiquement quivalente un financement parallle). Bien que ces dispositions soient parfois ncessaires, compte tenu des rgles financires appliques par les partenaires, elles peuvent nanmoins exiger du temps et un traitement administratif particulier.
13
Les valuations communes seront tudies plus en dtail dans un autre numro de la srie laquelle appartient ce manuel.
58
4. Rdaction des termes de rfrence: en gnral, il est plus efficace que tous les partenaires participant une valuation commune dcident ensemble de la porte de lvaluation puis dsignent la partie qui dirigera la rdaction des TdR. Les TdR tre devraient ensuite discuts et accepts par les institutions partenaires. Les meilleurs FdR sont eux qui satisfont les intrts de toutes les parties concernes. Cependant cela nest pas toujours possible tant donn la varit des motivations la base de lvaluation tirer des enseignements, crer une base pratique pour une rorientation de fond ou du inancement, satisfaire les exigences politiques des pays donateurs ou respecter les contraintes institutionnelles particulires aux projets de grande envergure. Le mieux serait de mettre sur pied un programme commun qui dfinisse les priorits tout en faisant la part des intrts en prsence et des possibilits pratiques. 5. Slection des experts : plusieurs mthodes sont possibles pour slectionner les experts devant participer une valuation commune. Une possibilit est de charger lun des partenaires de recruter lquipe dvaluation, en consultation avec les autres partenaires. Une autre possibilit est que chacun des partenaires fournisse ses propres experts. Dans certains cas, la mthode choisie est fonction des modalits de financement adoptes. Par exemple, si le mode de financement est un financement parallle, chaque partenaire devra dsigner son propre expert pour faire partie de lquipe. Dans le cas o lquipe est compose des valuateurs de chaque partie, ceux-ci peuvent avoir des difficults rendre compte un acteur en particulier alors quils sont membres de lquipe commune. Pour rsoudre ce problme, les responsables de lvaluation de chaque institution implique devraient clairement prciser aux valuateurs que lindpendance de lquipe est de rigueur et doit tre respecte. Au moins une session de planification runissant tous les experts impliqus doit tre organise avant la visite sur le terrain. En dautre termes, il nest pas souhaitable de combiner la prsentation des experts avec la collecte des donnes. Dans certains cas, les experts devraient rencontrer chaque partie prenante afin de se faire une ide gnrale du contexte du projet ou du rsultat avant de commencer les visites sur le terrain. Ceci est particulirement vrai dans les cas o les experts sont slectionns par le PNUD et la (les) contrepartie(s). 6. Ralisation de lvaluation : les experts recruts sparment par le PNUD et la (les) contrepartie(s) doi(ven)t faire les visites sur le terrain ensemble, dans la mesure du possible. Par exemple, un groupe de quatre valuateurs deux slectionns par le PNUD et deux par un pays donateur peut, par souci de gain de temps, travailler par groupes de deux dans un pays ou une rgion donne, chaque groupe tant dans ce cas compos de deux experts de bord diffrent. La participation lquipe dvaluation dun reprsentant du PNUD et/ou de la (des) contrepartie(s) renforcera les possibilits de cration de capacits au sein de lquipe du PNUD. Cela peut savrer particulirement utile durant la phase denqute, laquelle ils pourraient participer titre de simples observateurs. Cet arrangement risque dtre relativement dlicat et requiet une bonne communication entre toutes les parties participant lvaluation. 7. Prparation du rapport : cest uniquement lquipe dvaluation qui doit analyser les rsultats et se charger dtablir le rapport de lvaluation commune. Cela ne signifie par ncessairement que tous les membres de lquipe doivent convenir de la faon dont les rsultats et les recommandations sont prsents, surtout lorsque lquipe dvaluation est compose de reprsentants de diffrentes institutions. Ltablissement du rapport peut par consquent tre discut par les membres de lquipe. La version prliminaire du rapport devra dabord tre prsente au PNUD
59
et aux institutions partenaires pour observations. La version finale du rapport sera ensuite tablie en suivant les procdures de vrification et de finalisation coutumires. 8. Suivi et mise en oeuvre des recommandations : toutes les valuations doivent prvoir le suivi des rsultats et des recommandations du rapport. Dans les valuations communes cependant, cela risque dtre particulirement difficile tant donn que les rsultats et les recommandations concernent des institutions, au niveau individuel et au niveau de leurs partenariats. Les partenaires, par consquent, doivent saccorder sur les mesures prendre, titre individuel et collectif, et dcider du mcanisme de suivi mettre en place pour contrler la mise en uvre des changements dcids.
60
PARTIE III
Suivi et valuation de la performance
Chapitre 6.
Mesure de la performance A. Mesure de la performance B. Choix des indicateurs C. Utilisation des indicateurs
63 63 66 71
Figures, tableaux et encadrs de la troisime partie Figure 1. Figure 2. Tableau 1. Tableau 2. Tableau 3. Encadr 1. Dimensions de la mesure de la performance Progrs dans la ralisation des rsultats Comment choisir les indicateurs Classe des indicateurs dans un plan de suivi des rsultats Indicateurs et suivi des rsultats Principes de base de la collecte et de lanalyse des donnes au moyen dindicateurs 64 72 68 70 72
71
Mesure de la performance
CHAPITRE 6
Le prsent chapitre concerne les mthode appliques la mesure de la performance. Il prsente lutilisation dindicateurs tels que les donnes de rfrence, la fixation dobjectifs, les systmes de collecte de donnes et lanalyse quantitative et qualitative. Ce chapitre devrait aider les utilisateurs appliquer les indicateurs de faon mieux pouvoir juger les progrs dans le sens des rsultats et la performance lors du suivi et de lvaluation de laide finance par le PNUD.14 This chapter covers: A. Mesure de la performance n Systme de notation B. Choix des indicateurs n Les tapes du choix des indicateurs n Planification des indicateurs C. Utilisation des indicateurs n Participation des parties prenantes n Application des indicateurs au suivi
A. Measure de la performance
Les indicateurs font partie de la mesure de la performance, mais ils nen sont pas le seul lment. Pour valuer la performance, il faut connatre davantage que les ralisations effectives. Il faut aussi savoir comment les ralisations ont t obtenues, quels facteurs ont exerc une influence positive ou ngative et savoir si les ralisations ont t exceptionnellement bonnes ou mauvaises, qui en porte la principale responsabilit, etc. Il a toujours t plus facile de mesurer la performance financire ou administrative, par exemple lefficacit. Aujourdhui, la gestion axe sur les rsultats constitue la base de la responsabilit fonctionnelle et de lvaluation de la performance, ou efficacit. Les rapports annuels de projet, les valuations et le Rapport annuel ax sur les rsultats permettent dvaluer la performance au niveau du bureau de pays. Dans tout bureau de pays, la gestion axe sur les rsultats peut galement alimenter lvaluation de la performance des projets, programmes, domaines de programme,
14
Les indicateurs de performance concernant la planification propre au PNUD sortent du cadre du prsent guide.
63
FIGURE 1. DIMENSIONS DE LA MESURE DE LA PERFORMANCE

Analyse systmatique de la performance par rapport aux objectifs, compte tenu de la motivation, de la performance et des facteurs dterminants. Jugement concernant les progrs positifs ou ngatifs sur la base des indicateurs. Peut galement comporter la notation dautres dimensions de la performance. Confirmation de la ralisation de progrs dans le sense les rsultats.
Measure de la performance
Notation
Indicateurs
groupes de fonctionnaires et particuliers, si le bureau de pays le juge utile. La figure 1 illustre les liens entre mesure de la performance, notation et indicateurs dans le contexte de ces valuations.
UN SYSTME DE NOTATION
Grce lintgration progressive de la gestion axe sur les rsultats au PNUD, il est possible de dvelopper lapplication des rsultats de la performance signals la gestion interne et aux fonctions de supervision. Un lment fondamental cet gard est la mise au point dun systme commun de notation pour tous les rsultats signals par lorganisation dans le cadre de la gestion axe sur les rsultats. Grce ce systme, le PNUD peut noter la performance au niveau des rsultats et analyser et comparer les tendances par catgorie thmatique (gouvernance, pauvret, environnement, etc.); par niveau dintervention (projet, produit ou rsultat, etc.); zone gographique (Afrique, Asie, Amrique latine, etc.); ou entit (bureau de pays, bureaux rgionaux ou bureaux fonctionnels, etc.). Un systme de notation commun pourrait partir du systme de notation en trois points labors dans le cadre du Rapport annuel ax sur les rsultats.15 Un systme de notation commun peut tre appliqu tous les principaux outils de suivi et dvaluation (le Rapport annuel ax sur les rsultats, le Rapport annuel de projet, les missions sur le terrain et les valuations des effets) afin de comparer la performance au regard de tous les rsultats. Selon cette formule, il y a deux types de notations : autonotations (comme dans le Rapport annuel de projet) et notations indpendantes (comme dans les valuations des effets). En disposant de deux types de notation utilisant les mmes critres, on peut avoir une image plus prcise de la manire dont la ralisation progressive des rsultats est perue par le bureau de pays du PNUD, le sige du PNUD et les valuateurs indpendants. Cette double notation permet galement dinstaurer un dialogue dans et entre le bureau de pays et le sige en cas dcart entre les notations concernant les mmes produits ou effets. lments essentiels du systme de notation commun : Dans le cas des effets, le systme de notation prsente trois points : changement positif, changement ngatif et absence de changement. Ces trois notations concernent les
15
Un systme de notation en trois points (changement positif, changement ngatif, absence de changement) pour les effets et (ralis,non ralis,ralis en partie) pour les objectifs de produit annuel a t mis au point au dpart pour le Rapport annuel ax sur les rsultats.Ce systme permet au PNUD de dterminer les taux de performance des produits et effets et de les comparer entre pays,rgions,objectifs,objectifs secondaires,etc.tabli par des analystes du sige,il na pas t partag systmatiquement avec les bureaux de pays ni compar la notation des bureaux de pays concernant des changements analogues.
64
progrs dans la ralisation des effets, sans les attribuer lun ou lautre partenaire. Les trois notations visent prsenter le degr de progrs, positif ou ngatif, par rapport la ralisation de leffet. Pour les trois notations, la mthode consiste comparer, en fonction des indicateurs de rsultat, les signes dvolution par rapport aux points de rfrence se rapprochant ou sloignant de lobjectif final du cadre de rsultat stratgique (CRS). n Changement positif mouvement positif partir du point de rfrence vers lobjectif du CRS, mesur par le ou les indicateurs deffet; n Changement ngatif retour un niveau infrieur au point de rfrence, mesur par le ou les indicateurs deffet; n Pas de changement pas de changement perceptible entre le point de rfrence et lobjectif du CRS mesur par le ou les indicateurs deffet. Dans le cas des produits, le systme de notation prsente galement trois points : non, partiel et oui. Les trois notations reprsentent le niveau de ralisation des objectifs dun produit. On peut ainsi valuer indirectement dans quelle mesure une entit donne a ralis ses produits du CRS. Les trois notations visent reprsenter le niveau de ralisation des produits par une comparaison des points de rfrence (absence de produit) avec lobjectif (production du produit). La catgorie ralis en partie sapplique aux produits en cours ou particulirement ambitieux qui exigent des apports considrables et une longue priode de maturation. n Non non ralis; n Partiel uniquement si les deux tiers ou davantage dun objectif chiffrable sont atteints; n Oui ralis. Ce systme de notation des rsultats sapplique au Rapport annuel ax sur les rsultats, aux valuations et certains rapports de bureau de pays. Le Rapport annuel ax sur les rsultats (RAAR) note les progrs dans la ralisation des produits et effets. La notation est opre chaque anne par une quipe danalystes du sige. Les notations servent signaler les tendances et les progrs aux parties prenantes extrieures, ainsi qu mettre le doigt sur les points faibles que lorganisation est appele amliorer. Le retour dinformation aux bureaux de pays concernant les notations devrait alimenter le dbat au sujet des progrs et des mesures prendre. tant donn que les bureaux des pays recevront des renseignements par dautres sources valuation des effets et principaux outils de suivi en utilisant les mmes notations, ils auront ainsi la possibilit dexaminer les rsultats et la manire dont les progrs en ce sens sont perus, avec le sige. Les valuations doivent au moins noter les progrs dans la ralisation des effets et produits. Les valuations des effets, effectues par des quipes indpendantes, portent galement sur dautres dimensions essentielles de la performance telles que viabilit et pertinence. Dautres types dvaluation devraient galement permettre des notations, comme par exemple les valuations des rsultats de dveloppement effectues par le Bureau de lvaluation. Les notations serviront lanalyse des tendances et aux enseignements tirs au niveau de lorganisation, ainsi que pour la confirmation des rsultats au niveau du pays et lexamen de la performance au niveau du pays (voir Directives lintention des valuateurs dans le complment au prsent guide qui contiennent davantage de donnes au sujet du systme de notation appliquer par les valuateurs deffets.) Les rapports de suivi de pays notent, sur une base volontaire, les progrs dans la ralisation des effets et produits de projet. Dans le cadre du Rapport annuel de projet (RAP), lvaluation des progrs dans la ralisation des produits est effectue chaque anne par le directeur de projet et le directeur de programme et constitue la base dun dialogue au cours duquel les produits sont nots par consensus. En cas de dsaccord entre le personnel
MESURE DE LA PERFORMANCE
65
du projet et le personnel du programme au sujet de la notation des produits, les deux notations figurent dans le Rapport, avec indication de leurs auteurs. Pour ce qui est du progrs dans la ralisation des effets, la notation est effectue dans le RAP uniquement par les responsables de programme du PNUD ou dautres agents du bureau de pays. Sagissant des missions sur le terrain, les directeurs de programme du PNUD ou dautres fonctionnaires du bureau de pays notent priodiquement lvolution de la ralisation des produits et effets, et examinent leurs notations avec le personnel charg du projet. Les notations servent au bureau de pays pour valuer la performance du projet, analyser les tendances et dgager les enseignements tirs. Elles peuvent galement tre utilises au niveau de lorganisation aux fins de confirmation et denseignement. Pour bien utiliser lvaluation et la notation de la performance, le bureau de pays pourrait : n Dterminer lusage qui sera fait des rsultats attendus du systme dvaluation de la performance, comme par exemple analyse des tendances, ciblage de projets aux fins damlioration, apport lvaluation de la pertinence des rsultats et prolongation des contrats du personnel de projet; n Communiquer au personnel du bureau de pays et au personnel de projet intresss des renseignements au sujet de lapplication du systme de notation, de faon viter des malentendus ce sujet; n Dfinir les responsabilits collectives et individuelles concernant lvaluation de la performance et la notation ainsi que les mesures de contrle afin dattnuer lventuelle partialit de ceux qui sont chargs de la notation; Assortir les notations quantitatives dvaluations de performance dordre qualitatif.
On trouvera dans les Directives lintention des valuateurs , dans le complment au prsent Guide, un examen plus dtaill de lapplication de la notation dans le cas des outils de suivi et dvaluation, savoir le RAP, la visite sur le terrain et lvaluation des rsultats.
B. Choix des indicateurs

Les paragraphes qui suivent concernent plutt les responsables de programme et les cadres suprieurs des bureaux de pays que les directeurs de projet, qui soccupent essentiellement dindicateurs de produit pour lesquels les rfrences, les objectifs et la collecte dinformation sont gnralement vidents. Les responsables de programme et les cadres suprieurs des bureaux de pays soccupent dindicateurs plus complexes portant sur lvolution de la ralisation des effets. On trouvera ci-aprs quelques oprations fondamentales auxquelles doivent procder les cadres du PNUD sagissant dindicateurs.
P R I N C I PALES TAPES DU CHOIX DES INDICAT E U R S

Fixer des donnes de rfrence et un objectif : Un indicateur deffet prsente deux composantes, une base de rfrence et un objectif. (Les indicateurs de produit exigent rarement une base de rfrence tant donn que les produits sont des ralisations nouvelles et que la rfrence est prcisment quils nexistent pas.) La situation prcdant un programme ou activit est la rfrence, point de dpart du suivi des rsultats. La situation escompte la fin de lopration est lobjectif. n Par exemple, si le rsultat vis est damliorer laccs lducation, les taux de scolarisation peuvent constituer un bon indicateur. On peut suivre le rsultat en commenant par un taux de scolarisation de rfrence de 55 % en 1997 pour atteindre un objectif de 80 % en 2002.
66
On peut trouver entre la base de rfrence et lobjectif plusieurs jalons correspondant la performance attendue des intervalles rguliers. Les donnes de rfrence indiquent ce qui peut tre utilis au moment de la conception et de lexcution des interventions. Elles constituent galement un important ensemble de donnes avec lesquelles comparer la russite (ou au moins le changement), ce qui permet de mesurer les progrs dans la ralisation dun effet. La confirmation des rsultats est fonction dune vision volutive du changement. Il faut pour cela, avant de commencer toute intervention, avoir une ide bien prcise du problme de dveloppement aborder. Llaboration de donnes de rfrence et la fixation des objectifs seront compltes par une analyse approfondie des facteurs de base dterminant un problme de dveloppement. Que faire quand il ny a pas de rfrence? Mme si on na pas prcis de rfrence au moment de la formulation dun programme ou dun projet, une rfrence peut nanmoins exister. Dans certains cas, on pourra peut-tre trouver des valuations de la situation approximative au moment du lancement du programme, grce au bilan commun de pays et aux examens annuels, ainsi quen faisant appel des sources administratives nationales. n Exemple : lexcution dun projet de gouvernance locale a commenc, mais on ne trouve pas de donnes de rfrence. Il nest peut-tre pas trop tard pour trouver une mesure du changement dans le temps. On peut par exemple poser la question suivante plusieurs personnes : Par rapport il y a trois ans, avez-vous limpression de participer plus ou moins aux prises des dcisions locales? Si les personnes interroges ont nettement tendance rpondre plus ou moins , on peut savoir si un changement est intervenu ou pas.
Il peut arriver que lon ne puisse tablir aucune perception de changement. Dans ce cas, tablir une mesure de la situation actuelle de faon pouvoir valuer lavenir le changement. On trouvera davantage de renseignements au sujet du contexte et des problmes rsoudre dans le descriptif de projet (ou document lappui du projet.
Utiliser au besoin des indicateurs suppltifs : Des raisons de cot, de complexit ou de calendrier de la collecte des donnes peuvent empcher de mesurer directement un rsultat. Dans ce cas, on peut utiliser des indicateurs suppltifs ou indirects pour dgager les tendances de la performance et sensibiliser les responsables aux problmes qui risquent de se poser ou aux chances de russite. Cest souvent le cas dans les effets difficiles mesurer comme dans le cas du dialogue de politique gnrale et de la gouvernance.
n Par exemple, on mesure souvent leffet administration quitable et efficace de la justice en tudiant la confiance du public dans le systme judiciaire. Bien quun degr lev de confiance ne prouve pas ncessairement que le systme soit quitable, il y a trs certainement une corrlation. Autre exemple : dans le cadre dun programme de protection de lenvironnement o le rsultat vis est lamlioration de la salubrit de certains lacs, la teneur en toxines des ufs de canard peut constituer un indicateur suppltif de cette amlioration.16
Utiliser des donnes ventiles : De bons indicateurs reposent sur des donnes de base ventiles selon lemplacement, le sexe, le niveau de revenu et le groupe social. Il en est de mme dans le cadre dune bonne gestion des projets et programmes. Ces informations, parfois prsentes sous forme destimations, peuvent tre extraites de rapports et tudes administratives publiques et non gouvernementales. On peut utiliser des valuations ordinaires de la qualit fondes sur des mthodes qualitatives et participatives pour corroborer, prciser et affiner les donnes provenant de sources administratives.
16
Allen, John R., Performance Measurement: How to Do It,How to Use It ,document prsent en novembre 1996 Atlanta lors dun atelier parrain par lAmerican Evaluation Association.
67
Par exemple, dans le cas de leffet cadre juridique et directif efficace de la dcentralisation , lindicateur proportion du total des recettes publiques alloues et gres au niveau sous-national peut indiquer une augmentation de la rpartition globale des ressources au niveau local tout en dissimulant de profondes disparits concernant certaines rgions.
Faites participer les parties prenantes : Il faut encourager la participation au choix des indicateurs de produit et des indicateurs deffet. La participation favorise gnralement la matrise et la responsabilit des rsultats prvus et lacceptation de leur ralisation. Il faudrait arrter, au stade de la formulation du projet, une liste prliminaire des indicateurs de produit, avec la participation directe de linstitution dsigne pour grer le projet ainsi que dautres parties prenantes. Les partenaires sont impliqus dans le choix des indicateurs deffet dans le contexte de la formulation du programme de pays et du cadre de rsultats stratgiques. Il est important que les partenaires se mettent daccord sur les indicateurs utiliser aux fins du suivi et sur les responsabilits des uns et des autres pour ce qui est de la collecte et de lanalyse des donnes, ce qui sert de fondement pour tout changement futur dans la stratgie dexcution au cas o les indicateurs montreraient quon fait fausse route. tablir une distinction entre indicateurs quantitatifs et indicateurs qualitatifs : Les indicateurs quantitatifs tout comme les indicateurs qualitatifs devraient tre slectionns en fonction de la nature des aspects particuliers du rsultats escompt. Lefficacit, par exemple, se prte bien des indicateurs quantitatifs. En revanche, pour mesurer la viabilit dynamique, qui suppose la facult dadaptation de la population un nouvel environnement, il faut une certaine valuation qualitative des attitudes et comportements. On peut appliquer des mthodes telles que lvaluation des bnficiaires, lvaluation rurale rapide et les entretiens directifs pour transformer des indicateurs qualitatifs en indicateurs quantitatifs. Essayer de limiter le nombre dindicateurs : Un nombre trop lev dindicateurs est gnralement contreproductif. En partant des renseignements disponibles, laborer quelques indicateurs crdibles bien penss qui saisissent concrtement lvolution
TABLEAU 1. COMMENT CHOISIR LES INDICATEURS RSULTATS VISS INDICATEURS DE CLASSEMENT DES INDICATEURS PERFORMANCE A
Impact Effet 1 sil y a lieu Indicateur 1 Indicateur 2 Indicateur 1 Indicateur 2 [Note 1 par critre respect]
RSULTAT TOTAL F
CHOIX
Produit 1
A = le sens de lindicateur est clair B = les donnes sont daccs facile C = la collecte des donnes peut tre effectue par la direction du projet et nexige pas lintervention dexperts aux fins danalyses D = indicateur est suffisamment reprsentatif du total de rsultats viss (rsultats ou produits) E = lindicateur est concret et F = lindicateur est difficile qualifier mais dune importance telle quil doit tre envisag (indicateur suppltif)
Choisir les 2 ou 3 indicateurs ayant le meilleur rsultat
68
positive de la situation en matire de dveloppement. tant donn que plusieurs projets peuvent concourir un seul effet de dveloppement stratgique, le bureau de pays doit choisir entre toute une srie dindicateurs. Il sagit de trouver un juste quilibre entre ce qui devrait tre mesur et ce qui peut ltre. On peut rduire la liste en appliquant les principes SMART et des critres supplmentaires pour affiner les indicateurs. Le tableau 1 prsente un schma de slection labor par le PNUD Mali. Respecter le calendrier : Lutilit dun indicateur dpend du respect du calendrier et de mesures prcises de faon quune date butoir pour un indicateur corresponde aux progrs escompts de lassistance. Si des changements interviennent, tels que la modification de produits ou effets dterminants, il faudra fixer de nouveaux indicateurs pour tenir compte des objectifs effectifs.
P L A N I F I C ATION DES INDICAT E U R S

La pierre de touche dun indicateur est son applicabilit au suivi des rsultats, cest--dire la manire dont il peut tre obtenu facilement et la facilit danalyse des donnes. Lobtention de donnes valides et reprsentatives peut se rvler une opration vaste, complexe et onreuse. Il est rarement possible de demander lavis de tout le monde au moyen dune enqute, par exemple, et il serait plus facile dobtenir un chantillon rduit mais reprsentatif denquts. Cest pourquoi les indicateurs devraient tre aussi simples et peu nombreux que possible, tout en permettant dtablir lexistence de progrs ou lampleur du changement. Si les indicateurs choisis sont trop complexes, ils seront difficiles comprendre ou analyser correctement. La collecte et lanalyse des donnes incombe essentiellement aux responsables de programme, qui consultent au besoin les cadres du bureau de pays et la direction du projet. Pour ce qui est des effets, le responsable de programme doit sacquitter des tches suivantes : n Veiller ce que des donnes de rfrence ou de situation concernant les effets soient disponibles au stade de la formulation du programme. Il sera ainsi possible de comparer des donnes chronologiques aux donnes de rfrence afin dvaluer les progrs dans la ralisation des effets recherchs. Utiliser des sources et procdures telles que le Rapport national sur le dveloppement humain et lvaluation commune de pays. La majorit des rsultats seront identifis au stade de la formulation du programme de pays/cadre de rsultats stratgiques. Certains pourront toutefois tre formuls dune manire lgrement diffrente dans certains programmes et projets. Certains rsultats peuvent galement tre assortis dindicateurs lgrement diffrents ou supplmentaires par rapport au cadre de rsultats stratgiques. Lessentiel est de faire en sorte que des donnes de rfrence ou de situation suffisantes soient disponibles au moment du choix de leffet et des indicateurs, quelles que soient les particularits de leffet et des indicateurs. n Veiller ce que la collecte et lanalyse des donnes soient planifies en ce qui concerne le rsultat. titre dexemple, le tableau 3 prsente une grille type pour la planification. Dans la mesure du possible, recourir aux sources nationales plutt qu la collecte de donnes par le bureau de pays ou le projet. Par exemple, pour leffet sensibilit des politiques nationales aux questions de parit entre les sexes , lindicateur les programme et plans du pays comportent des objectifs pour lamlioration de la condition de la femme est mesurable, mais il faudra rassembler tous les plans puis les examiner afin de dterminer si des objectifs sont fixs. Cette opration devra avoir t prvue. n Faire en sorte dobtenir des renseignements auprs des bnficiaires au sujet des effets. Pour ce faire, on peut procder des enqutes sur les mnages, des enqutes individuelles et des consultations avec des membres de la communaut et des parties prenantes.
69
Dans le cas des produits, le responsable de programme doit : n Veiller ce que les donnes soient rassembles au moyen des projets et ce que la direction des projets soit consciente de ses responsabilits. En outre, runir des donnes auprs de diverses administrations et de systmes nationaux. Un plan de suivi des effets tabli par la direction du programme permet de veiller ce que le bureau de pays collecte en permanence des renseignements au sujet de leffet et les analyse rgulirement afin dorienter lavancement des travaux, comme on la examin au chapitre 3. Les bureaux de pays qui dressent un plan de suivi des effets doivent imprativement inclure des renseignements au sujet des indicateurs deffet de faon que a) les indicateurs ne soient choisis que si des donnes pourront tre disponibles et b) des donnes soient disponibles pour les indicateurs choisis. Il est recommand que le plan de suivi des effets, si les bureaux de pays dcident dy recourir, dfinissent ce qui suit : n Rsultats auxquels sappliquent les indicateurs; n Indicateur(s) deffet; n Source(s) de donnes; n Mthode et frquence de la collecte et de lanalyse de donnes. Le plan peut galement dsigner les responsables de la collecte et de lanalyse des donnes et de lexploitation des renseignements ainsi obtenus. On trouvera au tableau 2 un exemple de formule indiquant comment les indicateurs peuvent sinscrire dans un plan de suivi des rsultats. Des principes et lments gnraux fondamentaux aborder au moment o les directeurs de programme planifient la collecte et lanalyse des donnes au moyen des indicateurs sont numrs dans lencadr 1. Comme on la not plus haut, des indicateurs plus simples sont plus faciles comprendre et analyser. En planifiant la collecte et lanalyse des donnes au moyen dindicateurs, les responsables de programme sapercevront peut-tre que les donnes sont difficiles obtenir. En pareil cas, ils devraient prvoir de runir des donnes au moyen dautres instruments ou formules, comme par exemple : n Enqutes et questionnaires de sensibilisation et dattitude; n Groupes dexperts; n Entretiens avec des enquts clefs; n Groupes cibles; n Techniques de mappage. Les enqutes sur les attitudes permettent une certaine quantification de changements dordre qualitatif. Par exemple, si la proportion de la population qui considre que la gestion des pouvoirs locaux est participative passe de 40 % 65 % (au cours dune priode donne) ce chiffre indique le degr de changement qualitatif.
TABLEAU 2. CLASSE DES INDICATEURS DANS UN PLAN DE SUIVI DES EFFETS17 Effets Indicateur(s) deffet Source(s) Mthode de de donnes collecte et danalyse des donnes Frquence de la collecte et de lanalyse des donnes Responsable Utilisateur de linformation
17
Plan de suivi de la performance dUSAID, TIPS No 7.
70
ENCADR 1. PRINCIPES DE BASE DE LA COLLECTE ET DE LANALYSE DES DONNES AU MOYEN DINDICATEURS

Principes : laborer un cadre thorique dans lequel peuvent sinsrer des ides, fournissant une dfinition et une orientation gnrale des informations disponibles et de vos propres ides au sujet du projet ou programme. Pour le PNUD, cela signifie une chane de rsultats crdibles sur les plans des effets, des produits et des partenariats. nonc de lobjectif ou du problme : Que prvoyez-vous dtudier? Dfinissez les problmes et les enjeux, recherchez les lments significatifs, concluez des accords avec les bnficiaires et partenaires. Cela suppose une dfinition du problme de dveloppement au niveau des objectifs secondaires du cadre de rsultats stratgiques. Questions poser : Une fois termine la collecte des donnes, quelles sont les grandes questions auxquelles on peut sattendre des rponses raisonnables? Quels lments utiliser pour confirmer le niveau de ralisation de lindicateur? nonc de leffet : Dfinissez le ou les effets particuliers que vous allez suivre, fixez des objectifs ralistes et gardez lesprit les sources de donnes et responsabilits en matire de suivi. Conception et procdure : Indiquez qui vous allez soumettre des interviews, enqutes et qui fera partie de groupes tmoins; dcrivez la procdure de slection. Expliquez dans quelles conditions les donnes seront runies, les instruments de mesure ou de collecte de donnes qui seront utiliss et la manire dont les donnes seront analyses et interprtes. Attachez-vous des donnes daccs ais et vitez les vastes oprations de collecte de donnes. Hypothses : Quelles sont vos hypothses quant la nature des problmes que vous tudiez, vos mthodes et mesures et au rapport entre lenqute et dautres problmes ou situations? Limites : Quelles sont les limites de vos mthodes ou de votre approche pour ce qui est de la validit interne et externe? Circonscription : Sur quelle base avez-vous dlimit la porte de la collecte et de lanalyse des donnes? Vous tes-vous limit certains aspects de problmes ou effets, certains domaines dintrt ou une gamme limite de thmes? Definitions : numrez et dfinissez les principaux termes et expressions que vous utiliserez, en particulier lorsquils ont un sens diffrent pour des personnes diffrentes. Laccent devrait tre mis sur des dfinitions oprationnelles ou comportementales.
C. Utilisation des indicateurs

PA R T I C I PATION DES PARTIES PRENANTES
Le bureau de pays, et plus prcisment le responsable de programme agissant en consultation directe avec la direction du bureau de pays, devraient tablir des mcanismes afin de partager linformation obtenue au moyen dindicateurs avec les principales parties prenantes. Cela vaut particulirement pour les indicateurs deffet. Ainsi, lanalyse du progrs sera pertinente sur le plan local grce lutilisation de connaissances locales, tout en favorisant la matrise et en dveloppant des techniques de prise de dcisions de groupe. Il convient toutefois de noter que la participation des parties prenantes ou partenaires lanalyse des donnes concernant des indicateurs peut modifier sensiblement linterprtation de ces donnes. Lobservation participative et les examens participatifs approfondis avec les partenaires dexcution et les bnficiaires font partie intgrante de la vrification de visu des rsultats, qui est une forme fiable dvaluation. On peut appliquer des mthodes partant davantage du sommet et moins participatives aux fins de rigueur analytique, dindpendance, de qualit technique, duniformit et de comparabilit dans lvaluation. Bien entendu, en dernire analyse, les renseignements runis grce lanalyse des indicateurs alimentent les valuations. Ces donnes permettent dvaluer les progrs dans la ralisation des produits et effets et comportent une mesure de la satisfaction des parties prenantes concernant les rsultats.
U T I L I S ATION DINDICATEURS POUR LE SUIVI

Le suivi ax sur les rsultats de la performance du dveloppement suppose lexamen des rsultats au niveau des produits, des effets et, en fin de compte, de limpact. Le tableau 3
71
TABLEAU 3. INDICATEURS ET SUIVI DES RSULTATS TYPE DE RSULTAT

Produit Effet
OBJET DE LA MESURE
Action, ou biens et services produits par les projets et programmes Efficacit, ou rsultats du point de vue de laccs, de lutilisation et de la satisfaction des parties prenantes suscits par les biens et services produits par les projets, programmes, partenaires et lassistance douce Efficacit, ou rsultats du point de vue de leffet combin dun dosage dactivits lies aux effets qui amliorent la situation du dveloppement au niveau national
INDICATEURS
Excution dactivits Utilisation des produits et production continue davantages Utilisation des rsultats et changement positif durable du dveloppement
PRINCIPAL NIVEAU DUTILISATION

Responsible du projet Responsable du programme
Impact
Direction du bureau de pays
FIGURE 2. PROGRS DANS LA RALISATION DES RSULTATS u

Progrs escompts Progrs effectif u
1
montre comment les indicateurs sont utiliss pour chaque type de rsultat et identifie le principal utilisateur de lindicateur.
date butoir
rfrence
2 3 priode/anne
Dans le cas des indicateurs de produit, le responsable de programme applique le suivi quotidien la confirmation des progrs, ainsi que des visites sur le terrain, des rapports ou renseignements fournis par le responsable de projet. Le Rapport annuel de projet (RAP) nest pas suffisamment frquent pour permettre de ragir rapidement en cas de retard ou de problme dans la production des produits. Dans le cas des indicateurs deffet, un suivi annuel est plus indiqu, et est assur au moyen dapports des spcialistes du projet dans le RAP, des discussions du Comit directeur et de lexamen annuel. Les effets tant moins concrets que les produits, il est indispensable dutiliser des indicateurs pour pouvoir bien analyser le progrs. Dans le cas des indicateurs dimpact (appels galement indicateurs de situation), lexamen peut avoir lieu une fois par an si les renseignements ncessaires sont disponibles, mais il a bien souvent lieu moins frquemment. Une discussion peut tre organise loccasion de ltablissement du bilan commun de pays, et de la prparation du programme de pays, de lexamen mi-parcours du programme de pays ou du Plan-cadre des Nations Unies pour laide au dveloppement, ainsi que vers la fin du cycle du programme de pays ou de la priode du cadre de rsultats stratgiques.
Note: Les progrs sont rarement linaires. Dans lexemple ci-dessus, si lon examine lindicateur au dbut de lanne 2, on constatera quaucun progrs na t ralis pour ce qui est des attentes. En revanche, si on examine de nouveau lindicateur la fin de lanne 2, on constatera dimportants progrs dpassant mme les attentes. Il faut procder une analyse pour pouvoir expliquer la lenteur des progrs au cours de la premire anne et leur acclration spectaculaire au cours de lanne 2.
Les indicateurs sont utiliss priodiquement pour confirmer la manire dont les partenaires peroivent les progrs et ralisations, sauvegarder la bonne orientation des projets et programmes et fournir des clignotants concernant les problmes. Les indicateurs ne font quindiquer, ils nexpliquent pas. Les indicateurs ne peuvent tre interprts que grce une analyse qualitative. Comme lindique la figure 2, une analyse qualitative est requise si lon veut interprter ce que les indicateurs rvlent au sujet des progrs dans la ralisation des rsultats.
72
PARTIE IV
Exploitation des donnes de suivi et dvaluation
Chapitre 7.
Savoir (ou connaissances) et apprentissage : Utilisation des lments dvaluation A. Introduction B. Savoir et leons tires de lexprience C. Retour dinformation du suivi et de lvaluation
75 75 77 78 89
Conclusion Figures, tableaux et encads de la quatrime partie Encadr 1. Agenda de lapprentissage Encadr 2. Principes fondamentaux de lapprentissage Encadr 3. Le retour dinformation, de suivi et dvaluation Encadr 4. Communauts de pratique axes sur les effets Encadr 5. Rseau dvaluation du PNUD (EVALNET) Encadr 6. Caractristiques de bons lments Encadr 7. Marche suivre pour amliorer le retour dinformation concernant lvaluation Encadr 8. Institutionalisation de lapprentissage
76 78 81 83 84 86 87 87
Savoir (ou connaissances) et apprentissage : Utilisation des lments dvaluation

CHA PIT RE 7
Le prsent chapitre a pour objet daider exploiter les donnes de suivi et dvaluation afin damliorer la performance,la prise de dcisions et lapprentissage.Il concerne lexploitation dlments dvaluation, les informations de suivi et dvaluation ainsi que les objectifs de lvaluation. Il dcrit la manire dassurer un bon retour dinformation au sujet des rsultats du suivi et de lvaluation, aborde la question des lments dvaluation et examine les enseignements tirs. A. Introduction B. Savoir et enseignement tir de lexprience n Dfinitions n Gestion axe sur les rsultats et gestion du savoir C. Retour dinformation du suivi et de lvaluation n Le retour dinformation n Outils et mthodes dinformation n Application des recommandations du retour dinformation concernant le suivi et lvaluation n Publication dlments dvaluation et documentation sur le retour dinformation
A. Introduction
Le savoir provenant du suivi et de lvaluation est au cur mme du processus dapprentissage du PNUD en tant quorganisation. Le suivi et lvaluation fournissent des informations et des donnes factuelles qui, une fois acceptes et assimiles, se transforment en savoir qui favorise lapprentissage. Lapprentissage doit donc tre incorpor au cycle global de programmation au moyen dun mcanisme efficace de retour dinformation. Linformation doit tre diffuse et mise la disposition de ses utilisateurs ventuels afin de se transformer en savoir appliqu. Au niveau du bureau de pays, le PNUD applique lapprentissage partir du suivi et de lvaluation afin damliorer la performance globale ainsi que la qualit des rsultats des projets, programmes et stratgies en cours et futurs. Lapprentissage est particGUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S
75
ulirement important pour lappui du PNUD la rforme dorientation, qui est bien souvent novatrice et comporte des incertitudes. Pour que lapprentissage soit utile, il faut que les lments dvaluation manifestent une capacit dexcution en temps rel. Si lon veut fournir aux parties prenantes des rsultats en temps rel , aucune erreur nest admise. Lavantage immdiat est que les conclusions peuvent tre contrles sur le terrain auprs des enquts en lespace de quelques semaines, ce qui permet dliminer les fausses interprtations, de rehausser le sens de matrise des enquts pour ce qui est de leurs expriences analyses et de communiquer les rsultats dvaluation aux parties prenantes intresses au moment o elles sont sans doute les plus utiles. Une fois que la diffusion dinformation en temps rel sera devenue pratique courante, la publication de rsultats dpasss ou de recommandations hors de propos devrait diminuer. Lapprentissage vient complter la mesure de la performance en rehaussant la qualit des valuations. Mme si les indicateurs lis aux rsultats sont mdiocres ou obscurs, il est toujours possible de tirer des enseignements et dutiliser ce savoir pour amliorer le processus. Lapprentissage est aussi un outil cl de gestion, si bien que la stratgie dapplication du savoir tir de lvaluation est un puissant moteur de ralisation des effets. Les effets sont une entreprise plus ambitieuse et complexe que le simple apport dintrants et la simple production de produits. Cest pourquoi la priorit est accorde la capacit du PNUD dapprendre ce qui fonctionne du point de vue de lintrt des effets, de la stratgie des partenariats, de la conception des produits et des indicateurs et dappliquer ce savoir laide en cours et future la ralisation des rsultats. Les rsultats prsentent davantage de variables permettant et exigeant lapprentissage. Il ne faut pas considrer les valuations comme un vnement, mais comme des lments dune opration permettant diffrentes parties prenantes de participer la production et lapplication permanente de connaissances dvaluation. Cest aux cadres de dcider des participants cette opration et de leur degr dimplication (informs, consults, activement impliqus, partenaires gaux ou dcideurs cls). Ce sont l des dcisions dordre stratgique que doivent prendre les cadres car elles dterminent lapprentissage et la matrise des rsultats. Un cadre de suivi et dvaluation qui est source de connaissances, favorise lapprentissage et oriente laction, constitue en soi un moyen important de renforcer les capacits et dassurer la viabilit des rsultats nationaux. Le suivi et lvaluation alimentent le corpus de savoir organisationnel et global au sujet de ce qui est efficace, de ce qui ne lest pas et des raisons de cet tat de choses. En outre, le suivi et lvaluation indiquent dans quelles conditions, dans tel ou tel domaine examin, les enseignements tirs devraient tre partags au niveau mondial, par exemple au moyen de communauts de praticiens ou de groupes de suivi et dvaluation. Il faut pour cela que ENCADR 1. AGENDA DE LAPPRENTISSAGE le personnel consigne les enseignements tirs n Consignez les enseignements tirs et et les partage avec dautres, selon lagenda partagez-les figurant dans lencadr 1. Par ailleurs, n Gardez lesprit ouvert lapprentissage exige que les cadres soient n Prvoyez les valuations de manire stratgique ouverts au changement.
n n n n n
Faites participer les parties prenantes de manire stratgique Fournissez des informations en temps rel Reliez le savoir aux utilisateurs Appliquez les enseignements tirs Suivez la manire dont la connaissance est applique
Laccent tant mis sur les effets, les enseignements tirs du suivi et de lvaluation se prtent davantage lapplication au niveau de lorganisation, au niveau des politiques gnrales et des fins pratiques. Les
76
enseignements tirs du rsultat dun cadre de rsultats stratgiques mis en uvre par de nombreux bureaux de pays ont plus de chances de pouvoir tre reproduits en dehors du pays en question que des enseignements plus circonscrits et lis des projets. Les valuations deffets peuvent rapprocher des partenaires du dveloppement. Ainsi, lapprentissage grce aux connaissances dvaluation dpasse le simple apprentissage organisationnel et englobe lapprentissage du dveloppement. Il permet de contrler systmatiquement la validit, la pertinence et lavancement des hypothses de dveloppement. Afin de maximiser lapprentissage, les bureaux de pays devraient prvoir et organiser les valuations de faon quelles couvrent les effets les plus importants, quelles soient excutes en temps voulu et quelles produisent suffisamment dinformation au sujet des enseignements tirs. Sil est efficace, le suivi peut dceler les signes prcurseurs de sources de difficults et de sources de russite. Les responsables de programme doivent donner suite aux constatations, en appliquant les enseignements tirs la modification du programme ou projet. Cet apprentissage pratique rpond aux besoins immdiats du programme ou du projet et peut aussi tre source de retour dinformation en vue de la programmation future.
B. Savoir et enseignement tir de lexprience

DFINITIONS
Le bureau de pays du PNUD doit exploiter judicieusement linformation et les lments dvaluation afin de grer les oprations de dveloppement et de raliser des rsultats. Le succs part du principe que les praticiens du dveloppement tirent les enseignements de ce qui sest rvl efficace et inefficace afin de pouvoir mieux progresser dans la ralisation des rsultats et dobtenir des rsultats meilleurs. Lapprentissage a t dfini comme un processus dinvestigation continu et dynamique dont les principaux lments sont lexprience, la connaissance, laccs et la pertinence. Il exige une prdisposition lenqute et linvestigation au lieu dune attitude dintervention et de communication dinformation. Il est plus facile de runir ces conditions lorsquon offre la possibilit dobserver, dinventer ou de dcouvrir des stratgies et de participer ces stratgies afin de sattaquer des types de problmes particuliers ou des questions de dveloppement.18 Le savoir est un ensemble dinformation prcis et circonscrit capable dapporter un changement ou dinspirer des actions plus efficaces dans un contexte largi pouvant alimenter un nouvel apprentissage et un nouveau savoir. La gestion du savoir suppose que lon cre, partage et suscite des connaissances; il faut pour cela non seulement mettre en place des mcanismes et procdures pour runir, organiser, prsenter et diffuser linformation temps aux dcideurs comptents, mais aussi procder des valuations de ces oprations. Les renseignements ainsi runis constituent le retour dinformation (voir le chapitre 1er). Les lments dvaluation, en particulier, nous aident appliquer les enseignements tirs de lexprience llaboration de politiques et programmes appropris, ou la gestion des projets. Les lments dvaluation sont les informations ou donnes reprsentant des valeurs qualitatives et quantitatives de mcanismes, effets et impacts de dveloppement, provenant de diverses sources dinformation et organiss dans le cadre de lvaluation. Les lments dvaluation sont fonds sur :
18
Senge, Peter et divers collaborateurs, The Fifth Discipline Fieldbook: Strategies and Tools for Building a Learning Organization, New York,Doubleday, 1994.
S AVOIR (OU CONNAISSANCES) ET A P P R E N T I S S AGE: UTILISATION DES LMENTS DVA L UAT I O N
77
n n n n
Lexplication des relations de cause effet dans les interventions et de leurs consquences; Une analyse partir de lobservation directe et dtaille du contexte du dveloppement par les enquteurs, qui fait partie des donnes empiriques; Une analyse partant de la recherche et de ltude dautres documents (sources secondaires) intressant le contexte du dveloppement; et Le souci dviter tout prjug dans lvaluation.
Des observations directes et dtailles ne sont pas toujours une source dlments dvaluation. Une bonne valuation part dune approche empirique. Les donnes empiriques sont des informations vrifiables reposant sur lobservation ou lexprience plutt que sur la conjoncture, la thorie ou la logique. Les donnes empiriques ont pour objet dindiquer : n La validit des concepts ou questions thoriques; n La cohrence des tendances ou schmas; n Les lments dterminants des effets et impacts effectifs.
ENCADR 2. PRINCIPES FONDAMENTAUX DE LAPPRENTISSAGE
n
GESTION AXE SUR LES RSULTATS ET GESTION DU SAVOIR

Si le suivi contribue dgager les premires leons concernant leffet, le programme ou projet, lvaluation a pour objet de tirer des enseignements de lexprience de faon pouvoir identifier des questions gnrales aussi bien que particulires et laborer des solutions de rechange. La gestion axe sur les rsultats suppose implicitement, en permanence, la planification, lexcution, le suivi et lvaluation afin de grer les rsultats et de tirer les enseignements de lexprience. Il faut pour cela renforcer les interactions entre parties prenantes et institutions en ce qui concerne les rsultats. Il sagit galement dappliquer les mcanismes de communication et dinformation pour rendre compte de lapprentissage et faciliter la circulation du savoir, de linformation et des ressources. La stratgie de gestion du savoir du PNUD met en exergue plusieurs principes rcents visant renforcer lapprentissage, comme on peut le voir dans lencadr 2.18 Ces principes supposent lexploitation optimale des outils de suivi et dvaluation afin dtablir des points de rfrence qui aideront les responsables raliser lefficacit deux niveaux. Le premier est lefficacit de dveloppement, qui
n n
Aider les autres interprter activement au lieu denregistrer linformation de faon pouvoir se constituer de nouvelles connaissances; Utiliser des stratgies de gestion de linformation actualises, efficaces et novatrices; Dgager des critres de performance et des enseignements de divers ensembles, groupes et communauts de pratique avec lesquels le PNUD collabore afin de rendre les valuations du PNUD plus participatives, mieux axes sur les contextes et plus indpendantes; Situer les tches abstraites dans des contextes authentiques de faon faire ressortir la pertinence de la tche et inculquer de nouvelles connaissances; Offrir la possibilit de participer au rglement des problmes en partageant les comptences et techniques, cest--dire par une interaction directe sans recourir indment la technologie de linformation; Dgager la connaissance dun contexte unique spcifique afin doptimiser le transfert de connaissances; Permettre aux autres de reconnatre et de respecter ce quils savent dj ainsi que le savoir existant dans leur communaut; Donner de nombreux exemples dune notion nouvelle et expliquer comment les principales caractristiques de cette notion se retrouvent dans une srie de contextes; Renforcer sa capacit propre ainsi que celle des autres de dterminer le moment dappliquer des connaissances nouvelles.
18
Voir http://groups.undp.org/km-strategy/workshop/km_annotated_agenda.html
78
regroupe les rsultats (produits, effets et impacts) de laide. Lautre niveau et celui de lefficacit organisationnelle, qui dsigne le niveau de performance de lorganisation.
C. Retour dinformation du suivi et de lvaluation

En matire de suivi, la principale difficult consiste rassembler, stocker et utiliser des informations utiles diffrents niveaux dvaluation. Le suivi devrait tre multifonctionnel de faon que linformation produite un niveau soit utile au niveau suivant. En outre, le suivi ne devrait pas tre limit vrifier si les lments se droulent comme prvu. Il importe dexaminer rgulirement la qualit du mouvement bidirectionnel dinformation entre le personnel de projet et le personnel de programme au niveau du pays, de mme que la circulation de linformation lintrieur du bureau de pays entre le personnel de programme qui gre diffrents programmes et surveille les produits provenant des projets ainsi que leur impact sur les effets. Cela peut se faire au moyen dentretiens priodiques, de lexamen de rapports annuels et autres rapports de programme et de projet ainsi que par une observation indpendante. Lopration de suivi devrait chercher amliorer les liens latraux entre fonctionnaires responsables des projets et programmes, y compris le retour dinformation, aux fins dapprentissage. Ltude des liens existants ou potentiels entre programmes et projets devrait tre aussi critique, objective et exhaustive que possible. Les cadres, y compris les cadres suprieurs du bureau de pays, doivent tre impliqus tout au long du suivi. Lvaluation est une opration axe sur les procdures qui exige la mise en place de donnes de rfrence communes aux fins de comparaison. Le problme est de savoir ds le dpart quels sont les facteurs importants et quelles sont les interactions entre tous les facteurs. Avant de procder toute valuation, prenez les mesures suivantes : n Convenez des questions prioritaires exigeant une information. Obtenez un accord au sujet des questions pour lesquelles il est le plus urgent de runir des informations afin doptimiser les ressources disponibles aux fins de la gestion de linformation, ces questions sont gnralement limites et complexes. Dintenses consultations doivent aller de pair avec la conclusion de laccord, tant donn que les parties prenantes peuvent avoir des vues trs divergentes en ce qui concerne les priorits. Un projet de liste de questions prioritaires pourrait tre tabli et distribu aux parties prenantes aux fins dobservation. Une autre possibilit est dorganiser un atelier o une autre formule de discussion expressment pour dgager un consensus. En conciliant des points de vue diffrents grce la ngociation dun consensus autour des questions prioritaires, on peut tisser des liens entre les parties prenantes et faciliter la coopration. Dterminer les besoins en information des groupes de dcision. La cl dune bonne utilisation de linformation est de ne se concentrer que sur linformation essentielle. Avant dentreprendre un examen des bases de donnes du bureau de pays, des pouvoirs publics ou du PNUD et dautres sources dinformation, demander aux dcideurs de dfinir directement leurs besoins. Une valuation prcise des besoins en information constitue un premier pas dimportance vitale.
Lun des moyens les plus efficaces de dgager des informations (enseignements) communicables est de procder lvaluation des effets, dont la communication peut faciliter lapprentissage dun pays lautre et entre diffrents emplacements gographiques. Sattacher aux effets signifie que le PNUD traite avec des partenaires pouvoirs publics et organismes donateurs, organisations non gouvernementales, parlements dont les
79
activits de dveloppement, tout comme les siennes, sont tributaires de la performance dautres organismes ne dpendant pas deux. Ces organismes accumulent bien souvent dnormes quantits de renseignements qualitatifs pouvant modifier la manire dont les rsultats du dveloppement sont perus sils taient dment pris en considration. En tant que partenaires, on peut les amener faciliter le suivi et lvaluation mais ils ne doivent pas orienter ou imposer la marche suivre. Cette participation des partenaires devrait favoriser les changes en vue de lapprentissage et de la constitution de savoir. Sans retour dinformation sr et rgulier, le suivi et lvaluation ne sauraient atteindre leurs buts. En particulier, il faut insister sur des enseignements qui se prtent une application plus large, enseignements qui sont utiles non seulement un programme ou projet donn, mais galement des contextes de dveloppement plus larges. Si lapprentissage exige un retour dinformation systmatique (rsultats des valuations, tudes pilotes, donnes de contrle des indicateurs de produit et deffet, connaissances autochtones, etc.), linformation que les bureaux de pays sont appels organiser et grer pour satisfaire leurs propres besoins doit rpondre des critres particuliers qui sont complexes et dpassent frquemment les cloisonnements sectoriels classiques. En pareil cas, les partenaires des pouvoirs publics et des tablissements de recherche peuvent tre invits analyser les questions nouvelles de suivi et dvaluation (mthodes de collecte des donnes, danalyse, dialogues dintervention et sensibilisation, etc.) et conseiller le PNUD afin de dfinir les lacunes et les doubles emplois.
LE RETOUR DINFORMAT I O N
Lorsque les bureaux de pays effectuent le suivi et lvaluation, le retour dinformation suit les quelques oprations de base suivantes : 1. Veillez ce que laccent soit mis sur les rsultats n n laborez des projets et programmes fonds sur les effets viss; Dterminez quels lments sont recherchs, quels carts peuvent apparatre et la marche suivre en pareil cas (par exemple ce qui constituerait des lments positifs ou ngatifs pour tout projet ou programme donn); Dfinissez, pour chaque niveau de personnel et les partenaires, lobjet de la production de connaissances ou dinformation applicables la prise de dcisions ainsi que leur porte; n Dfinissez les priorits de suivi axes sur les produits et effets et tablissez des points de rfrence ou normes permettant de formuler des jugements au sujet du retour dinformation; Choisissez les indicateurs de connaissances et dinformation sur la base des priorits, de lutilisation et des usagers de lorganisation; n Ayez le souci dun bon rapport cot-efficacit pour ce qui est du montant des ressources et dfinissez les ressources lmentaires ncessaires lvaluation dans les programmes futurs; n n Introduisez un calendrier des changements futurs dans la programmation; Convenez du systme de collecte et danalyse des donnes, assignez les responsabilits et allouez les cots;
80
Passez en revue les informations qualitatives afin damliorer lapplication de certaines techniques de suivi et dvaluation telles que le contrle dhypothses sur le terrain, une meilleure articulation des questions ou problmes et un choix plus judicieux des domaines dvaluation; Suivez les processus dapprentissage, y compris lutilisation du retour dinformation et des produits cognitifs.
2.Posez des questions n Renseignez-vous en permanence, au moyen de mcanismes de retour dinformation, sur les raisons pour lesquelles des vnements semblent stre produits ou se produire dan le cadre des projets et programmes; n n Dterminez les rpercussions des projets ou programmes par rapport dautres facteurs qui dterminent une situation de dveloppement; Prcisez o, quand et comment les informations seront interprtes, communiques et diffuses, et tenez des consultations afin dalimenter les procdures courantes. Partagez le savoir n n Documentez, analysez et examinez diffrentes expriences en matire de conception de programme, de partenariat, dactivits de suivi et dvaluation; Touchez diffrents niveaux de lorganisation (activits oprationnelles, choix stratgiques, missions et priorits de lorganisation) conformment la stratgie de gestion du savoir du PNUD; n n Partagez le savoir et lapprentissage avec les communauts de pratique, grce aux rseaux mondiaux de savoir; Dfinissez les sources de connaissances et dinformation, y compris le type dlments dvaluation quelles fournissent, ainsi que leur frquence. Oprez un ciblage stratgique n n n Produisez des informations convenant diffrents utilisateurs et opportunes pour ce qui est de la prise des dcisions et de la responsabilit; laborez, en consultation avec les utilisateurs, des formats appropris et apprenez au personnel les utiliser; Sollicitez les points de vue de toutes les parties prenantes cls, y compris les bnficiaires des programmes.
3.
4.
5.
Recherchez des lments empiriques n Effectuez une vrification et contrlez la qualit des lments dvaluation afin dassurer un retour dinformation utile. Les principales tapes du retour dinformation, de suivi et dvaluation qui sont nonces dans lencadr 3 devraient appliquer les principes dcrits plus haut pour boucler la boucle en utilisant le retour dinformation afin de prendre de meilleures dcisions. Le retour dinformation devrait tre pratique et
ENCADR 3.LE RETOUR DINFORMATION, DE SUIVI ET DVALUATION

n n n n n
Extraire les enseignements de lexprience Transformer les enseignements en savoir Assurer laccs au retour dinformation valuer la pertinence du retour dinformation Exploiter le retour dinformation
81
conu de faon faciliter la prise des dcisions en matire de programmes ou de projets ainsi que pour lvaluation. Les enseignements tirs des valuations doivent pouvoir tre exploits avant et pendant la formulation des nouveaux projets, programmes et rsultats. Dune manire gnrale, les enseignements tirs des valuations devraient tre disponibles au moment de la formulation de nouveaux effets ou de la dfinition, de la conception et de lvaluation de projets ou programmes. Dans le mme temps, un retour dinformation au sujet de la russite ou de lchec de types daide nouveaux ou originaux (conseils dintervention, sensibilisation, renforcement des capacits, etc.) peut aider la formation de programmes, projets ou effets nouveaux. En effectuant ces oprations, les directeurs de programme et les partenaires devraient se garder de la tendance nvaluer que les activits, les dpenses et les produits. Par exemple, nexaminez pas seulement les facteurs de gestion interne tels que les cots et le calendrier des apports et produits. Le suivi et lvaluation doivent dgager des informations au sujet des rsultats et identifier les ventuels phnomnes indsirables et leurs incidences.
OUTILS ET MTHODES DINFORMAT I O N

Comme on la vu plus haut, linformation obtenue grce au suivi constitue la base de la prise des dcisions et de mesures. Elle sous-tend les besoins immdiats en matire de prise de dcisions plutt que de contribuer au savoir long terme. En revanche, linformation provenant de lvaluation appuie la fonction dapprentissage davantage quelle aide la prise des dcisions immdiate. Le retour dinformation dvaluations prend la forme denseignement tir au sujet de ce qui est efficace et de ce qui ne lest pas dans certaines conditions. Aussi bien pour le suivi que pour lvaluation, il faut envisager linformation du point de vue de son exploitation. Il convient de commencer par rpondre aux questions ci-aprs au sujet de lobtention, de lutilisation et du partage de linformation : n n Quel est lobjectif prcis de la collecte, du partage et de lutilisation de linformation? Quels sont les principaux groupes de dcisions et dinfluence qui dterminent la manire dont linformation sera runie, partage et utilise dans le cadre dun projet, programme ou effet? n n n n n Comment ces groupes runissent-ils, partagent-ils et utilisent-ils actuellement linformation? quelles difficults se heurtent-t-ils? Le projet, programme ou effet comporte-t-il un mcanisme (ou principe directeur) pour la prise des dcisions au sujet de linformation? Quelle information faut-il pour amliorer le projet, programme ou rsultat? Comment, quand et qui cette information doit-elle tre fournie?
Ces questions devraient aider dterminer le type de retour dinformation ncessaire pour favoriser de bonnes dcisions au sujet des projets, programmes ou effets de la part des cadres des projets, programmes, bureaux de pays et du sige. Toutes les activits de suivi et dvaluation visent garantir lutilit de linformation, utiliser linformation de manire cible, opportune et efficace et exploiter le savoir des principales parties prenantes. Des informations qualitatives peuvent amliorer considrablement lapplication de certaines techniques de suivi et dvaluation, comme par exemple au moyen du
82
contrle oprationnel des hypothses, dune meilleure formulation des questions ou des problmes et dun choix plus judicieux des domaines dvaluation. Le PNUD et la communaut internationale des donateurs disposent dnormes quantits dinformations contenant des enseignements au sujet de la conception, de lapplication, du suivi et de lvaluation de programmes et projets de coopration technique dans les pays en dveloppement. On trouvera ci-aprs quelques-unes des principales sources dinformation cet gard. Bases de donnes et moteurs de recherche concernant lvaluation : La CEDAB, base de donnes centrale sur lvaluation du PNUD, est accessible http://intra.undp.org/eo/cedab et permet de consulter des valuations. Le Bureau de lvaluation est en train dlaborer un moteur de recherche sur lvaluation qui servira de dpositaire de savoir offrant des liens entre le PNUD et diffrents sites Web sur lvaluation (Comit daide au dveloppement de lOCDE, Banque mondiale, etc.) et permettra de consulter des lments empiriques. En outre, les bases de donnes de la communaut internationale des donateurs portant sur lvaluation contiennent des enseignements sur la conception, lexcution, le suivi et lvaluation de programmes et projets de coopration technique dans les pays en dveloppement. Il sagit du FIDA, du Comit daide au dveloppement de lOCDE, de la Banque mondiale et de lUNICEF. (Voir lannexe bibliographique et les liens ainsi que http://www.undp.org.eo, qui contiennent dimportantes bases de donnes.) Le cadre de rsultats stratgiques et les rapports annuels axs sur les rsultats dsignent et actualisent systmatiquement des informations au sujet des priorits stratgiques prcises des bureaux de pays, stratgies rgionales, programmes, services dappui, plans de gestion et critres de base, partir des enseignements tirs. Ils sont galement axs sur les ralisations du PNUD concernant les parties prenantes, la sensibilisation, la constitution de partenariats, la mobilisation des ressources et les principales proccupations lies au dveloppement humain durable. Le personnel du PNUD peut consulter le systme de gestion ax sur les rsultats au sujet du cadre de rsultats stratgiques et dun rapport annuel ax sur les rsultats ladresse suivante : http://intra.undp.org/usg/results. Autres rapports ou documents de base propres certains pays. Il sagit de rapports sur les effets et lvaluation de projets, de programmes de pays et de cadres de coopration de pays, de bilan commun de pays/Plan-cadre des Nations Unies pour laide au dveloppement et dexamens de pays. Les enseignements tirs de ces sources seraient extrmement utiles sils provenaient dautres pays ou programmes rgionaux ayant des effets ou projets analogues.
ENCADR 4 : COMMUNAUTS DE PRATIQUE AXES SUR LES EFFETS
Des communauts de pratique peuvent tre constitues autour deffets afin de faciliter lchange dinformation entre les bureaux de pays et entre ceux-ci et les principales parties prenantes afin de maximiser la ralisation des effets. Le Systme de planification et de suivi de lvaluation peut servir engager le dialogue,car il fournira des informations au sujet des valuations prvues,ainsi que des recommandations et des mesures de suivi au sujet dvaluations antrieures (voir le systme de suivi de lvaluation et de la planification lannexe B.
BASE DE DONNES NAT I O N A L E S

Ces bases de donnes ont une vaste porte et sont gnralement rparties par secteur entre pouvoirs publics et tablissements nationaux de recherche. On peut les utiliser pour obtenir des renseignements par exemple au sujet deffets, trouver des indicateurs et prendre connaissance des enseignements concernant le bilan commun de pays ou la formulation de projets. Rseaux mondiaux et communauts de pratique. Les rseaux mondiaux et communauts de
83
ENCADR 5. RSEAU DVALUATION DU PNUD (EVALNET)

EVALNET est un groupe de fonctionnaires du PNUD, provenant essentiellement des bureaux de pays et participant aux valuations du PNUD, llaboration doutils et de mthodes de gestion axe sur les rsultats et au renforcement des capacits en matire dvaluation. Ce rseau a pour vocation de faire du PNUD une organisation dapprentissage et de favoriser le suivi et lvaluation axe sur les rsultats pour en faire un lment de la culture du PNUD. Au niveau individuel,les membres dEVALNET acquirent des connaissances nouvelles touchant des questions de programme tels que le soutien aux pays en transition et aux dmocraties nouvelles, la dcentralisation et la gouvernance locale, des questions oprationnelles telles que lutilisation de lUNOPS en tant quagent dexcution, la gestion axe sur les rsultats et notamment les indicateurs; et les mthodes dvaluation.De mme, les membres dEVALNET apportent leurs comptences et contribuent un brassage dides fcond, tout en ajoutant une perspective plus large lapprentissage. Par ailleurs,les initiatives lies la mise au point de mthodes de suivi et dvaluation telles que le prsent guide,peuvent faire lobjet dun contrle concret grce la participation des membres dEVALNET appartenant au bureau de pays.
pratique jouent un rle important quant leur porte et leur efficacit et constituent une source de renseignements prcieuse pour le suivi et lvaluation. Ils ont pour objet : n n n De favoriser le dialogue entre diffrentes parties prenantes au moyen de runions, ateliers, change de correspondance, bulletins et autres formes dchange; Dvaluer les capacits et besoins des parties prenantes pour ce qui est de linformation, du savoir et de comptences particulires; De permettre aux parties prenantes de participer la gestion de linformation et du savoir (aide la hirarchisation des questions de dveloppement, choix des consultants, mise au point de produits lis au savoir et adoption de normes daccs linformation, etc.)
Les rseaux mondiaux jouent le rle de systmes dinformation parties prenantes multiples, offrant des informations de qualit produites par divers groupes ou praticiens du dveloppement faisant autorit, dont certains soccupent expressment de suivi et dvaluation. Ces rseaux peuvent parfois soutenir la prise des dcisions. Les communauts de pratique, en particulier, quelles se situent dans le cadre de rseaux mondiaux ou quelles soient indpendantes, peuvent se rvler particulirement utiles si elles sont axes sur les effets, comme on la vu dans lencadr 4. Les rseaux mondiaux et les communauts de pratique sont relies au rseau mondial de centres de contact sous-rgionaux du PNUD ou SURF. Entre autres services importants, le rseau SURF joue le rle de service dorientation, rpondant aux demandes davis ou dinformation du personnel charg des programmes dans les bureaux de pays et au sige. Les services dorientation rpondent des demandes lies lexcution de programmes ou aux politiques du PNUD en matire de programme (demande de consultant, exprience comparative, source de financement, document directif, exemple, modle ou possibilit de formation, etc.). Le rseau SURF ne diffuse toutefois pas de donnes dvaluation. Le rseau dvaluation ou EVALNET appuie plus directement que le rseau SURF la conception et llaboration de produits dinformation et de savoir partir dactivits de suivi et dvaluation. Ce rseau, qui est dcrit dans lencadr 5, fonctionne toujours essentiellement grce la participation des parties prenantes. Essentials : Chaque anne, le Bureau de lvaluation publie une srie de documents intitule Essentials. Ces publications sont thmatiques et fournissent des informations succinctes axes sur les praticiens, obtenues partir des lments thoriques et dvaluation du
84
PNUD et dautres organisations de dveloppement. Essentials peut tre consult sur le site Web du Bureau de lvaluation : http://www.undp.org/eo. Questionnaires : Les questionnaires font appel une mthode bien structure de collecte dinformations et de donnes en vue du suivi et de lvaluation selon laquelle les enquts sont invits remplir un formulaire ou fournir des informations ou des avis prcis au sujet de choix rduits. De par leur caractre limit et leur formulation bien circonscrite, ces questionnaires constituent des outils prcieux de collecte de donnes. Ils permettent galement deffectuer un tri prliminaire des institutions ou fonctions examiner plus en profondeur, ventuellement au moyen dentretiens. Une activit donne peut nexiger que quelques-unes de ces sources, en fonction de la porte, de la nature de la question examine, des destinataires de linformation et de lexprience pralable des utilisateurs de linformation. Une fois que linformation recherche a t obtenue grce ces instruments, il faut procder une valuation approfondie afin de dterminer la manire dappliquer les recommandations provenant du retour dinformation.
A P P L I C ATION DES RECOMMANDATIONS PROVENANT DU RETOUR D I N F O R M ATION CONCERNANT LE SUIVI ET L V A L UATION

Le retour dinformation obtenu grce au suivi et lvaluation consistera en partie en recommandations pratiques. Les diffrents types de recommandations dgags du suivi et de lvaluation devraient tre analyss sparment. Il faut pour cela rpondre un certain nombre de questions concernant le type et les rpercussions des recommandations. Ces questions concernent aussi bien des recommandations de fond que des recommandations en vue dune application. Il faut ensuite dterminer les possibilits et priorits pour le court, le moyen et le long terme, partir des rponses ces questions. Les questions numres ci-aprs portent sur le type de recommandations (de fond ou concernant lapplication) et ses rpercussions. Questions relatives aux consquences de recommandations de fond manant du suivi et de lvaluation : n n n n n n n n Sur qui ou sur quoi porteront directement ou indirectement les recommandations du point de vue des produits et effets prvus? En quoi les recommandations diffrent-elles des prcdentes? Quelles sont les principales justifications et mthodes utilises pour tayer les recommandations? Comment dduire des recommandations par rapport des effets, projets, programmes ou activits analogues dans dautres rgions du pays ou dans dautres pays ? Comment les recommandations peuvent-elles contribuer la ralisation des produits et effets globaux viss? Les effets prvus cadrent-ils avec les effets effectifs? Quel est le lien entre les recommandations et les objectifs des programmes rgionaux et mondiaux? Comment la direction du bureau de pays entend-elle ragir aux recommandations et en suivre lapplication?
85
Questions relatives aux rpercussions des recommandations concernant lapplication manant du suivi et de lvaluation : n n n n n n n n n n Quelles seront les consquences positives ou ngatives pour les principaux groupes viss ou les parties prenantes? Que peut-on faire pour renforcer les effets positifs et compenser les consquences ngatives? Quelles mesures faut-il prendre et qui doit agir? Quel est le calendrier? Qui est habilit pour prendre les mesures? Quelles sont les incidences financires? Quelles sont les incidences politiques? Quelles sont les ressources humaines ncessaires? Des mthodes particulires, notamment des activits de formation, ou de nouvelles formes de partenariat sont-elles requises? Quel suivi ou contrle dexcution faut-il assurer?
Lexamen de ces questions permettra de dfinir plusieurs mesures concrtes permettant de juger, damliorer et dappliquer les recommandations. Certaines de ces mesures devront tre prises dans le court terme, mais dautres, surtout celles qui exigent des dcisions politiques, ont des incidences sur les structures institutionnelles ou demandent dimportantes ressources financires, ne seront appliques qu moyen ou long terme. Toutes les recommandations concernant le suivi et lvaluation ont gagner une intervention des dirigeants concernant les questions de fond et dapplication souleves. Pour les valuations des effets en particulier, les responsables doivent identifier les recommandations accepts et celles qui ne le sont pas, indiquer les raisons de cette ENCADR 6. CARACTRISTIQUES acceptation et dterminer comment les DE BONS LMENTS recommandations acceptes seront appliques n Conus pour un public bien prcis; et suivies. (Voir le plan dvaluation et de n Adapts aux besoins en matire de suivi lannexe B).
n n n n n n n n
dcisions, surtout au niveau du personnel des bureaux de pays; Disponibles lorsque se prsente un crneau pour la prise de dcisions (opportunit); Clart; Fonds sur des principes mthodologiques judicieux; Diffuss par des voies reconnues; Identification claire des domaines dincertitude et de leur importance; Indication complte des sources; Renseignent sur les produits et procdures de dveloppement tangibles et intangibles; Disponibles aux meilleurs cots sur les plans temporel, financier et administratif.
Le retour dinformation peut utilement tre diffus grce des sances de formation et ateliers lintention du personnel du PNUD. Ces enseignements tirs de lexprience servent diffrents stades de la gestion des programmes ou projets, y compris celui de lvaluation. La formation devrait se concentrer sur lamlioration de la qualit des programmes et projets du PNUD. Elle devrait galement avoir pour objet de dvelopper les comptences en matire dinnovations mthodologiques telles que lvaluation participative, la slection des indicateurs et lexploitation et la prsentation
86
ENCADR 7.MARCHE SUIVRE POUR AMLIORER LE RETOUR DINFORMATION CONCERNANT LVALUATION

n n n n
n n n n n
Bien comprendre le processus dapprentissage lintrieur et lextrieur de lorganisation (identifier les goulets dtranglement); Dterminer comment amliorer la pertinence et lactualit du retour dinformation sur lvaluation et assurer cette amlioration; Dfinir avec prcision les groupes cibles aux fins de retour dinformation relative lvaluation et justifier le choix de ces groupes,sur le plan gnral comme dans les cas particuliers; Se familiariser avec les groupes cibles afin de savoir ce quils attendent des valuations,comment ils utilisent les donnes de lvaluation et comment les systmes de retour dinformation peuvent mieux satisfaire ces demandes; Adopter une approche stratgique de la manire dont les mthodes de retour dinformation peuvent tre adaptes aux besoins des diffrents groupes cibles; Assurer la qualit des produits de lvaluation,surtout pour ce qui est de la concision, de la clart et de la prsentation; Envisager de diversifier les approches appliques pour communiquer avec les groupes cibles,au moyen ventuellement de formules originales; Amliorer les sites Web et les intranets concernant lvaluation, sans oublier que la facilit daccs et dutilisation est un facteur fondamental; Veiller ce que la communication complte des rapports dvaluation soit la norme et que des mcanismes efficaces dapprobation et de notification soient en place pour viter que les cadres suprieurs ou les partenaires principaux soient pris au dpourvu par des rsultats traitant controverse. Sefforcer de trouver de meilleurs moyens dassocier les parties prenantes nationales lvaluation, y compris au retour dinformation des enseignements tirs de lvaluation, sans perdre de vue limportance primordiale des barrires linguistiques. Recruter si ncessaire des spcialistes dans des domaines o ils font dfaut, en particulier dans le domaine des communications.
de linformation et du savoir dans des domaines qui ne sont gnralement pas examins, tels que l appui conseil .
PUBLICATION DLMENTS DVALUATION ET DE RETOUR DINFORMATION

Les rsultats de lvaluation devraient tre publis selon une prsentation claire, dans un souci dquit, afin de dgager des conclusions convaincantes et dexclure toute ambigut. Linformation peut tre prsente selon diverses techniques danalyse. Lessentiel est toutefois que linformation provenant des valuations et du suivi soit dutilisation facile, daccs ais et utile. On trouvera dans lencadr 5 les caractristiques de bons lments dinformation et les qualits que doivent prsenter les publications. En ayant ces caractristiques lesprit mme avant le dbut de ltude ou la prparation dune publication, on pourra bien ordonnancer les lments dvaluation. Les rsultats de lvaluation devraient tre documents et diffuss aux parties prenantes aux fins de
ENCADR 8. INSTITUTIONALISATION DE LAPPRENTISSAGE

Descriptif de projet : Les descriptifs de projet devraient renvoyer (y compris au moyen de liens) aux conclusions dtudes ou dvaluations dans la section de lanalyse de situation. Le PAC ( vrifier) devrait rpondre cette exigence. Rvision des descriptifs de projet. Lorsque des rvisions budgtaires ou autres sont apportes aux descriptifs de projet, les enseignements lis lobjet de la modification budgtaire devraient galement tre indiqus. Rapport annuel ax sur les rsultats. En prsentant son rapport annuel ax sur les rsultats, le bureau de pays devrait souligner dans le texte explicatif les principaux enseignements tirs au sujet de chaque rsultat, en particulier dans la partie consacre aux questions stratgiques et aux mesures convenues. Lune des principales sources de ces enseignements est lexamen annuel.
87
retour dinformation, ce qui permettra de dfinir les besoins en information. On trouvera dans lencadr 6 plusieurs suggestions visant amliorer le retour dinformation concernant lvaluation. Une fois quune position a t arrte au sujet des besoins en information, on peut concevoir les produits et services requis. La diffusion des rsultats de lvaluation est aussi importante que leur publication. Ce nest que grce un systme efficace de diffusion que les bnficiaires viss recevront le retour dinformation concernant lvaluation dont ils ont besoin. La communication intgrale de tous les enseignements est une tche redoutable. Le problme est de savoir comment tirer de lexprience des enseignements transfrables, cest--dire qui ont une application plus large que ceux qui ne concernent quun seul programme ou projet. Pour ce faire, on peut institutionnaliser lapprentissage partir du retour dinformation, de suivi et dvaluation. Linstitutionnalisation de lapprentissage appelle une meilleure intgration de lapprentissage dans les instruments et procdures existants, tels que la rdaction des descriptifs de projet et de programme, le Rapport annuel ax sur les rsultats et le RAP. On trouvera dans lencadr 7 des exemples de linstitutionnalisation de lapprentissage li lvaluation dans le cadre du PNUD.
88
Conclusion
Le cadre de suivi et dvaluation contenu dans le prsent guide nest pas coul dans le bronze, et devrait voluer et samliorer avec lexprience de son application. En outre, certains des lments appellent des changements dans lattitude mentale et le comportement du personnel, si bien que lorganisation doit sattendre continuer de tirer des enseignements de ce nouveau cadre au cours des annes venir. Le site Web du Bureau de lvaluation (http://www.undp.org/eo) prsentera donc des ressources actualises au sujet des mthodes de suivi et dvaluation, et le Bureau encourage les bureaux de pays et les diffrents services du sige utiliser ce site Web en faisant connatre les enseignements tirs ainsi que les proccupations. Le site contiendra notamment des questions souvent poses, une mise jour permanente et lvolution de toutes les mthodes de suivi et dvaluation dans le cadre du PNUD, des renvois dautres ressources, des ensembles de formation, des exemples de rapports et dinstruments, ainsi que des modles de mandat. On y trouvera galement une srie de supplments au Guide, donc chaque livraison examinera dans le dtail un thme li au suivi et lvaluation (exemples : directives lintention des valuateurs des effets; suivi et valuation aprs une crise; renforcement des capacits dvaluation). Les fonds et programmes administrs par le PNUD dont les activits de suivi et dvaluation sinscrivent dans le cadre gnral de la gestion axe sur les rsultats selon les directives du PNUD concernant le suivi et lvaluation sont galement encourags utiliser le site Web. Toutefois, ces organismes pourraient galement devoir se reporter leurs propres documents pour trouver des directives concernant leur apport spcifique aux effets,20 en sus de lorientation que fournit le prsent Guide. En bref, ce cadre reprsente des changements novateurs, non seulement pour ce qui est de la simplification, mais aussi en ce qui concerne les mthodes de suivi et dvaluation axes sur les rsultats. On a cherch en particulier abandonner les principes de suivi et dvaluation axs sur les procdures et marqus par le souci du dtail en faveur dun systme qui permet de se concentrer plus rigoureusement sur les rsultats, lapprentissage et lapplication effective des lments dvaluation et de suivi.
20
Par exemple, le pProgramme des Volontaires des Nations Unies contribue raliser des rsultats au niveau communautaire qui peuvent et doivent inspirer les interventions du PNUD en amont. Ainsi, les Volontaires des Nations Unies viennent complter laction du PNUD en faveur dun dveloppement davantage ax sur les personnes et plus participatif.Les bureaux de pays devraient veiller rendre pleinement compte des rsultats raliss dans le cadre de ces partenariats.
89
Ressources et annexes
Sigles et abrviations Glossaire Documents et sites Web A. Programmation et tablissement de rapports au PNUD B. Gestion axe sur les rsultats C. Directives des organismes des Nations Unies et des donateurs concernant le suivi et lvaluation D. Mthodes et outils de suivi et dvaluation E. Indicateurs et mesure F. Partenariats G. Apprentissage et gestion du savoir H. Renforcement des capacits dvaluation I. Intervention en cas de conflit et de crise J. Pauvret K. galit entre les sexes L. Dmocratie et gouvernance M. Autres rfrences Outils de suivi et dvaluation Annexe A: Plan dvaluation et de suivi Annexe B: Termes de rfrence de lvaluation Annexe C: Rapport annuel de projet Annexe D: Rapport de visite sur le terrain Annexe E: Menu doutils de suivi
93 95 107 108 108 109 112 116 117 118 119 120 121 121 122 123 125 126 129 132 134 136
Sigles et abrviations
ACDI BCP CAD CRS DANIDA FAO FENU FIDA FNUAP OCDE OIT ONG PAM PNUD RAAR RAP SIDA UNDAF UNICEF UNOPS USAID Agence canadienne de dveloppement international Bilan commun de pays Comit daide au dveloppement Cadre de rsultats stratgiques Agence danoise de dveloppement international Organisation des Nations Unies pour lalimentation et lagriculture Fonds dquipement des Nations Unies Fonds international de dveloppement agricole Fonds des Nations Unies pour la population Organisation de coopration et de dveloppement conomiques Organisation internationale du Travail Organisations non gouvernementales Programme alimentaire mondial Programme des Nations Unies pour le dveloppement Rapport annuel ax sur les rsultats Rapport annuel de projet/programme Agence sudoise de dveloppement international Plan-cadre des Nations Unies pour laide au dveloppement Fonds des Nations Unies pour lenfance Bureau des Nations Unies pour les services dappui aux projets United States Agency for International Development
93
Glossaire
La plupart des termes et expressions apparaissant dans le prsent Guide sont dun usage courant dans le contexte du dveloppement et de lvaluation.Ils sont tous dfinis ici dans le cadre du suivi et de lvaluation, encore quils puissent avoir dautres acceptions dans dautres contextes. Cest ainsi que termes de rfrence , par exemple, dsigne toujours expressment les termes de rfrence dune valuation. Les dfinitions ont pour objet dharmoniser la terminologie dans lensemble de la communaut du dveloppement.Elles ont t labores par le Bureau de lvaluation du PNUD ou extraites et inspires des sources suivantes : n PNUD, Manuel de programmation du PNUD, http://intra.undp.org/bdp/pm n n n n n n n PNUD, RBM Technical Note, http://intra.undp.org/osg/results PNUD, Bureau de lvaluation, Participatory Evaluation Handbook, http://intra.undp.org/eo/methodology/methodology.html PNUD, Bureau de lvaluation, Effectiveness Report, http://intra.undp.org/eo/publications/publications.html OCDE, Comit daide au dveloppement, http://www.oecd.org/dac/htm/glossary.htm FNUAP The Programme Managers Monitoring and Evaluation Toolkit, , http://bbs.unfpa.org/ooe/_me_methodologies.htm Directives concernant le BCP, www.dgo.org Directives du Plan-cadre des Nations Unies pour laide au dveloppement, www.dgo.org
Certaines dfinitions sont beaucoup plus dtailles dans le Glossaire que dans le texte, ce qui non seulement prcise davantage les notions, mais aussi englobe des termes et expressions qui apparaissent dans la documentation de rfrence du prsent Guide.
95
A
Activits. Actions menes dans le contexte de la programmation qui sont ncessaires et suffisantes et par lesquelles des apports (financiers, humains, techniques et matriels) sont mis en uvre pour donner des produits particuliers ou contribuer aux rsultats, Les activits peuvent galement tre dfinies comme des interventions de dveloppement . Apport. Moyen mis en uvre pour excuter des activits de programme ou de projet, cest--dire des ressources financires, humaines et matrielles. Appui conseil. Sensibilisation, conseils dorientation et dialogue, communication et mdiation dinformation, partenariats ou compromis politique. Les conseillers du PNUD, le personnel charg des programmes et les cadres des bureaux de pays sont les principaux fournisseurs dassistance douce soit par le jeu des projets et programmes, soit de manire indpendante, de manire ponctuelle et la demande. Lappui conseil est gnralement offerte en amont, au niveau o sont examines, formules et appliques les politiques nationales ayant une incidence sur les rsultats du dveloppement humain, encore quelle puisse galement tre fournie en aval par le personnel charg des projets. Attribution. Relation de cause effet entre des changements observs (ou attendus) et une intervention donne au regard des effets dautres interventions ou de facteurs interfrents. Sagissant de lattribution de la ralisation deffets, les valuations visent dmontrer lexistence dun lien crdible entre les produits et actions du PNUD en partenariat avec dautres et le changement en matire de dveloppement (effets). Audit. Examen ou valuation document de la mesure dans laquelle une situation, procdure ou prestation fournie correspond des normes ou critres, politiques et procdures prdtermins. Doit constituer une activit dassurance indpendante et objective conue pour apporter une valeur ajoute et une amlioration aux oprations de lorganisation. Laudit aide lorganisation raliser ses objectifs en valuant et amliorant lefficacit de la gestion des risques, des procdures de contrle et dadministration selon une formule systmatique et rigoureuse. Auto-valuation. valuation effectue par les gestionnaires dun programme ou projet sur le terrain.
B
Bnficiaires. Particuliers ou institutions dont la situation est cense samliorer (groupe cible) ainsi que dautres dont la situation pourrait samliorer. Renvoie aussi un groupe limit de parties prenantes qui profiteront directement ou indirectement du projet.
Bilan commun de pays. Procdure fonde sur un pays permettant dexaminer et dtudier la situation du dveloppement national et didentifier les principaux problmes aux fins de sensibilisation, dialogue dintervention et prparation du plan-cadre daide au dveloppement. Les rsultats sont dcrits dans un document de bilan commun de pays (BCP).
96
C
Cadre de rsultats stratgiques (CRS). Cette expression gnrique dsigne lhypothse de dveloppement englobant les rsultats ncessaires la ralisation dun objectif stratgique, leurs relations de cause effet ainsi que les hypothses sous-jacentes. Ce cadre organise la mesure, lanalyse et la communication des rsultats de lentit oprationnelle. Il sert galement doutil de gestion et est donc ax sur les rsultats fondamentaux qui doivent tre suivis afin dindiquer le progrs. Il peut sagir galement des buts et objectifs globaux de lapproche du dveloppement dun pays donn sur la base de lanalyse des problmes, assortie de lnonc des priorits. Pour le PNUD, le document qui dcrit ses rsultats concernant une entit oprationnelle du point de vue des effets, produits, partenariats et indicateurs, avec des buts, buts subsidiaires et domaines stratgiques dappui bien prcis. Conclusion. Jugement raisonn fond sur la synthse de constatations empiriques ou dnoncs factuels correspondant une situation particulire. Exemple : le programme de recherche-dveloppement de lInstitut dagronomie efficace sur le plan technique mais pche dans ses relations avec les groupes cibles (Voir constatation , qui diffre dune conclusion.) Constatation. nonc factuel au sujet du programme ou projet sur la base dlments empiriques runis au moyen dactivits de suivi et dvaluation. Exemple : bien que ses premires applications exprimentales de la nouvelle technologie de prvention de lrosion des sols ait t positive, laction de lInstitut dagronomie na suscit quune raction peu enthousiaste auprs du groupe dagriculteurs viss, qui sont mal informs au sujet des incidences financires de cette technologie. (Voir conclusion , qui a un sens diffrent de la constatation.) Critre. Point de rfrence ou norme permettant une comparaison des progrs ou ralisations comme par exemple ce qui a t accompli dans le pass, ce que des organisations comparables partenaires du dveloppement ralisent, les objectifs recherchs ou les lments budgtiss, ce qui aurait pu raisonnablement tre ralis tant donn les circonstances. Le critre dsigne aussi un objectif intermdiaire permettant de mesurer les progrs une priode donne.
D
Dformation. Il sagit de la dformation statistique. Reprsentation inexacte entranant une erreur systmatique dans un rsultat de recherche. La dformation peut se traduire par une surestimation ou une sous-estimation de caractristiques ou tendances. Elle peut tre le fait dinformation incomplte ou de mthodes de collecte de donnes errones, et peut tre dlibre ou non. Donnes de rfrence (ou de base). Donnes dcrivant la situation sur laquelle doit porter un programme ou projet et qui servent de point de dpart de la mesure de lefficacit dudit programme ou projet. Une tude de rfrence donnerait la description de la situation pralable la fourniture de laide, qui sert dterminer les rsultats et ralisations dune activit donne et constitue une importante rfrence dvaluation. Donnes. Informations ou faits prcis dordre quantitatif et qualitatif.
GLOSSAIRE
97
Durabilit. Viabilit des rsultats positifs dun programme ou dun projet aprs lachvement de la coopration technique canalise au moyen dudit programme ou projet; durabilit statique apport continu des mmes avantages, amorcs par le programme ou projet achev, aux mmes groupes cibles; durabilit dynamique application ou adaptation des rsultats dun programme ou projet un contexte diffrent ou un environnement en volution par les groupes cibles initiaux ou dautres groupes. Dans le cas dun effet, indique si le changement positif apport la situation en matire de dveloppement sera permanent.
E
Effet. Modification effective ou recherche de la situation de dveloppement que les interventions du PNUD cherchent soutenir. Correspond un changement dans la situation en matire de dveloppement entre lachvement des produits et la ralisation de limpact. Exemples : amlioration du rendement des rizires, augmentation des revenus des agriculteurs. Efficacit du dveloppement. La mesure dans laquelle une institution ou une intervention a produit le changement vis dans un pays ou lexistence dun bnficiaire. Elle dpend de plusieurs facteurs, qui vont de la qualit de la conception du projet la pertinence et la viabilit des rsultats recherchs. Efficacit. La mesure dans laquelle un rsultat de dveloppement est ralis au moyen des interventions. La mesure dans laquelle un programme ou projet ralise les rsultats prvus, cest--dire les buts, effets et produits, et contribue aux effets. Efficience. Transformation optimale dapports en produits. Enqute. Collecte systmatique dinformation auprs dune population dfinie, gnralement par le jeu dentretiens ou de questionnaires appliqus un chantillon dunits de population (particuliers, bnficiaires, adultes). Enseignement tir. Leon dgage de lexprience qui est applicable une situation gnrale plutt qu des conditions particulires. Exemple : un organisme soccupant de recherche-dveloppement a besoin dun centre dinformation dynamique pour diffuser les rsultats de ses programmes de recherche auprs de groupes cibles et susciter un retour dinformation de la part de ces groupes au sujet de lutilit de ses rsultats de recherche-dveloppement. quipe dvaluation. Groupe de spcialistes chargs de la planification dtaille et de la conduite dune valuation. Lquipe dvaluation rdige le rapport dvaluation. valuateur. Personne qui intervient tous les stades de lvaluation, de la dfinition du mandat et de la collecte et analyse des donnes la formulation des recommandations et la prise de mesures correctives ou lintroduction damliorations. valuation mi-parcours. Type dvaluation effectue au cours de lexcution dun projet ou programme. Elle vise essentiellement valuer les progrs accomplis, tirer les premires conclusions en vue de la gestion du programme ou projet et formuler des recommandations pour la suite des oprations. Elle porte sur les questions oprationnelles ainsi que sur la performance et permet de dgager les premiers enseignements. Est parfois qualifie dvaluation continue.
98
valuation conjointe. valuation laquelle contribuent diffrents organismes donateurs ou partenaires. Lvaluation peut tre plus ou moins commune, selon la mesure dans laquelle les diffrents partenaires collaborent lvaluation, mettent en commun leurs ressources dvaluation et combinent linformation au sujet de lvaluation. Lvaluation conjointe permet galement de rsoudre des problmes dattribution dans lvaluation de lefficacit de programmes et stratgies, de la complmentarit des actions soutenues par diffrents partenaires, de la qualit de la coordination de lassistance, etc. valuation dimpact. Type dvaluation axe sur limpact ou les rsultats globaux plus long terme, intentionnels ou non, dun programme ou effet. Par exemple, une valuation dimpact pourrait montrer quune baisse du taux de mortalit infantile global dune communaut donne est la consquence directe dun programme de soins prnatals et postnatals de qualit et daccouchement assurs par des spcialistes de la sant. Voir galement valuation de limpact au niveau du pays . valuation de groupe. valuation dun ensemble de projets ou programmes connexes. Une valuation densemble axe sur un effet de dveloppement est galement appele valuation deffet . valuation de limpact au niveau du pays. valuation de la contribution globale du PNUD, y compris les interventions douces, dans un pays; de lapport du PNUD qui a produit des rsultats finals rcents, quel que soit le cycle de programme donn au cours des cinq dernires annes; et des interactions du PNUD avec les partenaires du dveloppement dans la ralisation dobjectifs nationaux; par dfinition, cette valuation est effectue posteriori. Voir aussi valuation dimpact . valuation de la performance. valuation extrieure ou auto-valuation par units de programme, qui supposent le suivi deffets, programmes, projets ou particuliers, des tudes, des rapports de fin danne et de fin de projet, des valuations institutionnelles ou tudes spciales. valuation de projet. valuation dun projet ou dune intervention particulire en matire de dveloppement visant raliser des objectifs dsigns dans des dlais dtermins et suivant un plan daction tabli. La base de lvaluation devrait tre incorpore au descriptif de projet. Dans le contexte du PNUD, il sagit aussi des valuations de programme dcrites dans les documents dappui aux programmes. valuation des effets. valuation couvrant un ensemble de projets, programmes et stratgies visant raliser un certain effet. Il sagit dvaluer comment et pourquoi les effets sont atteints ou ne le sont pas dans un contexte national donn ainsi que lapport des produits du PNUD aux effets. Sert galement prciser les facteurs sous-jacents de la ralisation ou non des effets; a soulign les effets involontaires positifs et ngatifs des interventions; recommande des mesures afin damliorer lefficacit des futurs cycles de programmation et de tirer des enseignements. valuation externe. valuation effectue par un ou plusieurs valuateurs qui ne participent pas directement la formulation, lexcution ou la gestion de lobjet de lvaluation. Effectue normalement par des personnes nappartenant pas aux organisations concernes. (Synonyme : valuation indpendante ). valuation finale. valuation effectue une fois que lintervention est en place depuis un certain temps ou vers la fin dun projet ou programme afin de mesurer les rsultats;
GLOSSAIRE
99
indique lefficacit et la pertinence des interventions et stratgies; indique les premiers signes dimpact; recommande les interventions encourager ou abandonner. valuation indpendante. valuation effectue par des personnes distinctes de celles qui sont charges de la gestion, de lorientation ou de lexcution du projet. Elle peut faire intervenir des groupes appartenant lorganisation donatrice. La crdibilit dune valuation dpend en partie du degr dindpendance avec lequel elle a t effectue, cest--dire du niveau dautonomie, et de laptitude runir des informations, mener des enqutes et signaler les constatations en dehors de toute influence politique ou pression de lorganisation. valuation interne. valuation effectue par les membres de lorganisation qui sont lis aux programmes, projets ou questions valuer. Voir galement auto-valuation . valuation participative. tude et valuation collective dun programme ou projet par les parties prenantes et bnficiaires. Les valuations participatives supposent une rflexion, sont orientes vers laction et cherchent renforcer les capacits. Elles sont essentiellement axes sur les besoins en information des parties prenantes plutt que sur le donateur, qui sert de mdiateur. valuation rtrospective. valuation rcapitulative dune intervention effectue gnralement deux annes au moins aprs son achvement. Elle a pour objet dtudier lefficacit de lintervention (programme ou projet) et de dgager des conclusions en vue dinterventions analogues. valuation stratgique. valuation dune question particulire, bien souvent intersectorielle, ayant dimportantes incidences sur les grandes priorits en matire de dveloppement de ltat et du PNUD et prsentant des risques levs pour les parties prenantes. Le moment de son excution est dautant plus important que la question est urgente et soulve des risques levs pour les parties prenantes, dont les avis ce sujet sont contradictoires. Elle a pour objet de faire mieux comprendre le problme, de rduire les incertitudes lies aux diffrentes options possibles et de parvenir un compromis acceptable par toutes les parties intresses et daider les diffrentes parties prenantes se mettre daccord sur le sens de certaines questions dorientation, ce qui constitue une tape importante dans la formulation des politiques. valuation thmatique. valuation de certains aspects ou de questions intersectorielles de diffrents types dinterventions. Il peut sagir de lvaluation groupe de projets ou de programmes concernant un thme particulier recoupant plusieurs secteurs ou zones gographiques. Analogue une valuation stratgique . Exemple : valuation de lexcution nationale, valuation de la collaboration avec la socit civile. valuation. Opration limite dans le temps visant valuer systmatiquement et objectivement la pertinence, la performance et le succs de programmes et projets en cours et achevs. Lvaluation peut galement porter sur les effets ou dautres questions de dveloppement. Elle est opre de manire slective pour rpondre des questions prcises afin dorienter les dcideurs ou responsables de programme et dgager des informations sur la validit des thories et hypothses la base de llaboration des programmes, les actions efficaces et les autres, et les raisons de cette efficacit ou inefficacit. Lvaluation a gnralement pour objet de dterminer la pertinence, lefficience, lefficacit, limpact et la viabilit. Elle permet de dgager des enseignements intersectoriels de
100
lexprience oprationnelle et dtablir sil est ncessaire dapporter des modifications au cadre de rsultats stratgiques. Lvaluation devrait produire des informations crdibles et utiles, en permettant dintgrer les enseignements tirs la prise des dcisions. Voir aussi valuation de projet et valuation deffet .
F
Fiabilit. Cohrence et qualit des donnes rassembles grce lapplication rpte dun instrument scientifique ou dune procdure de collecte des donnes dans des conditions identiques. Une fiabilit absolue des donnes dvaluation est difficile obtenir. Toutefois, grce des listes de contrle et la formation des valuateurs, on peut amliorer la fois la fiabilit et la validit des donnes. Suppose la collecte de donnes exhaustives et des questions dvaluation bien conues.
G
Gestion axe sur les rsultats (GAR). Stratgie ou mthode de gestion applique par une organisation pour veiller ce que ses procdures, produits et services contribuent la ralisation de rsultats clairement dfinis. La gestion axe sur les rsultats offre un cadre cohrent de planification et de gestion stratgique en amliorant lapprentissage et la responsabilit. Il sagit aussi dune vaste stratgie de gestion visant apporter dimportants changements dans le mode de fonctionnement des organismes, lamlioration de la performance et la ralisation de rsultats tant lorientation centrale, par la dfinition de rsultats ralistes, le suivi du progrs dans la ralisation des rsultats escompts, lintgration des enseignements tirs dans les dcisions de gestion et la communication dinformation au sujet de la performance. Gestion de la performance. Cration dune demande de gestion concernant linformation sur la performance, et son exploitation et son application une amlioration permanente. Recouvre la mesure de la performance . Groupes cibles. Principaux bnficiaires dun programme ou projet, segments de la population quun programme ou projet cherche atteindre afin de rpondre leurs besoins selon des considrations de sexe et sur la base de leurs caractristiques socioconomiques.
I
Impact. Effet global et long terme dune intervention. Rsultats dun programme ou projet qui sont valus en regard des objectifs de dveloppement ou des buts long terme dudit programme ou projet; changement dans une situation, prvu ou non, positif ou ngatif, quun programme ou projet contribue apporter. Limpact est le rsultat plus long terme ou rsultat final attribuable une intervention de dveloppement, contrairement aux produits et aux effets, qui reprsentent les rsultats plus immdiats de lintervention. La notion dimpact est proche de celle d efficacit du dveloppement . Exemples : lvation du niveau de vie, amlioration de la scurit alimentaire, accroissement des recettes dexportation, hausse de lpargne grce la baisse des importations. Voir rsultats . Indicateur de performance. Caractristique ou dimension particulire servant mesurer les changements recherchs dfinis par un cadre de rsultats dune entit.
GLOSSAIRE
101
Les indicateurs de performance servent observer le progrs et mesurer les rsultats effectifs par rapport aux rsultats escompts. Ils permettent de dterminer si et dans quelle mesure une entit progresse dans la ralisation de ses objectifs au lieu de rpondre au pourquoi concernant ces progrs. Les indicateurs de performance sont gnralement exprims sous une forme quantifiable et devraient tre objectifs et mesurables (exemple : chiffres, pourcentages, notations et indices). Indicateur. Tmoin de progrs (ou de labsence de progrs) dans la ralisation dobjectifs; moyen de mesurer les ralisations effectives au regard des prvisions sur les plans de la quantit, de la qualit et de la rapidit. Il sagit dune variable quantitative ou qualitative qui permet dvaluer de manire simple et fiable la ralisation, le changement ou la performance.
M
Mdiation. Intervention dun intermdiaire impartial, parfois dans des domaines sensibles. Peut prendre de nombreuses formes et concerner des domaines politiques, linformation et le partenariat. Relve de l appui conseil . Meilleures pratiques. Pratiques de planification ou oprationnelles dont lefficacit a t confirme dans des conditions donnes. Les meilleures pratiques servent dmontrer ce qui est efficace et ce qui ne lest pas et constituer et appliquer des connaissances au sujet des fonctionnements dans des situations et contextes diffrents. Voir aussi enseignements tirs . Mesure de la performance. Collecte, interprtation et communication de donnes servant aux indicateurs de performance mesurant quel point les programmes ou projets fournissent des produits et contribuent la ralisation de desseins suprieurs (buts et effets). Les mesures de la performance sont surtout utiles pour tablir des comparaisons dans le temps ou entre entits excutant des tches analogues. Mcanisme dvaluation de la performance des initiatives en matire de dveloppement au regard des objectifs dfinis. Est galement dfinie comme la mesure objective de la manire dont une entit ralise ses buts ou objectifs dclars. Mesure suppltive ou indicateur suppltif. Variable remplaant une variable difficile mesurer directement. Mthode du tableau synoptique. Mthode qui tablit une relation logique entre les principaux lments de la conception des programmes et projets et contribue faire en sorte que lintervention ait des chances de raliser des rsultats mesurables. On peut utiliser la matrice du tableau synoptique pour rcapituler et assurer la cohrence des effets, produits, activits et apports, ainsi que pour dterminer dimportants risques ou hypothses. Se dfinit galement comme une mthode de planification et de gestion de programme axe sur les rsultats. Cette mthode permet de dterminer les lments stratgiques (apports, produits, effets, buts) dun programme, leurs relations de cause effet, ainsi que les lments extrieurs pouvant dterminer la russite ou lchec du programme. Cette mthode suppose la mise en place dindicateurs de performance pour suivre et valuer la ralisation des buts des programmes.
102
P
Partenariat. Collaboration entre institutions la ralisation de buts et objectifs communs et convenus faisant appel aux forces individuelles et maximisant les synergies. Des partenariats efficaces, o lapport de chaque partenaire est bien compris, sont au centre de la ralisation de rsultats. Parties prenantes. Particuliers, groupes ou entits intresss directement aux objectifs et lexcution dun programme ou projet : communauts dont le programme cherche modifier la situation; personnel de terrain excutant des activits; responsables de projet et de programme qui supervisent lexcution; donateurs et autres dcideurs qui dterminent la conduite tenir en ce qui concerne le programme; partisans, critiques et autres personnes qui jouent un rle dans lenvironnement du programme. Dans le cas de lvaluation participative, les parties prenantes jouent un rle de plus en plus actif dans lvaluation en formulant les questions, en planifiant lvaluation, en runissant les donnes et en rglant les problmes. Pertinence. Mesure dans laquelle les objectifs dun programme ou projet demeurent valables tels quils ont t prvus au dpart ou modifis ultrieurement cause dun changement de conditions dans le contexte immdiat et lenvironnement extrieur de ce programme ou projet. Sagissant dun effet, la mesure dans laquelle il rpond aux priorits nationales fondamentales et bnficie de lappui des principaux partenaires. Plaidoyer. Plaidoyer en faveur de quelque chose ou de quelquun, reprsentation ou recommandation de quelque chose ou de quelquun. Le rle de plaidoyer du PNUD consiste favoriser le programme de dveloppement humain aux chelons mondial, rgional et national par le jeu dlments tels quallgement de la dette, galit entre les sexes, limination de la pauvret, changement climatique et bonne gouvernance. Relve de l appui conseil . Plan de travail. Rcapitulation annuelle ou pluriannuelle de tches, calendriers et responsabilits. Constitue un outil de suivi pour assurer la ralisation de produits et des progrs dans la production deffets. Plan-cadre des Nations Unies pour laide au dveloppement. Cadre de planification et de ressources pour les programmes et projets de pays des organismes du systme des Nations Unies. labor sur la base de lanalyse de lvaluation commune de pays. Porte de lvaluation. Centre dintrt dune valuation sur le plan des questions examiner, des limites, des lments analyser et des lments exclure de lanalyse. Produits. Produits concrets (y compris les services) dun programme ou projet qui sont ncessaires la ralisation des objectifs de ce dernier. Les produits concernent lachvement (plutt que lexcution) dactivits et constituent le type de rsultats sur lesquels les responsables ont une forte influence. Exemple : services de vulgarisation agricole offerts des riziculteurs. Voir rsultats .
R
Rapport annuel ax sur les rsultats (RAAR). Principal instrument de communication dinformation sur la performance et les progrs dans la ralisation des rsultats par
GLOSSAIRE
103
les entits oprationnelles concernant lventail complet dinterventions du PNUD. Globalement, le RAAR offre au PNUD une valuation complte des principaux rsultats raliss et un examen des ressources au niveau de lorganisation. Il a pour objet de servir de base au retour dinformation et un ajustement permanent. Rapport cot-efficacit. Relation entre les cots (apports) et les rsultats dun projet. Un projet est dun meilleur rapport cot-efficacit sil ralise ses rsultats au moindre cot par rapport dautres projets visant les mmes rsultats. Recommandation. Suggestion de mesures prendre dans des conditions donnes, les excutants tant dsigns. Exemple : titre de stratgie pour faire accepter les rsultats de ses recherches par les utilisateurs viss, lInstitut dagronomie devrait crer un centre dchange dinformation avec les utilisateurs viss. Grce un programme systmatique dchange dinformation, lInstitut devrait communiquer aux utilisateurs des renseignements sur les nouvelles technologies en cours de dveloppement et solliciter leurs vues sur la manire damliorer ces technologies. Renforcement des capacits. Opration par laquelle des particuliers, groupes, organismes et pays renforcent, amliorent et organisent leurs systmes, ressources et connaissances apparaissant dans leur aptitude remplir des fonctions, rsoudre des problmes et fixer et raliser des objectifs, individuellement et collectivement. Responsabilit. Responsabilit lie la justification des dpenses, dcisions ou rsultats de lexercice du pouvoir et des fonctions officielles, y compris des fonctions dlgues un groupe ou une personne. Dans le cas des responsables de programme, il sagit de la responsabilit de dmontrer aux parties prenantes quun programme est efficace et correspond aux rsultats escompts tout en rpondant aux exigences juridiques et financires. Pour les organisations qui favorisent lapprentissage, la responsabilit peut aussi se mesurer la manire dont les cadres utilisent les rsultats du suivi et de lvaluation. La responsabilit comporte galement lobligation de donner une image prcise et juste de lefficacit et des rsultats des oprations. Elle concerne lobligation quont les partenaires du dveloppement dagir selon des attributions, rles et prestations clairement dfinis et dassurer un suivi, une valuation et une information crdibles. Retour dinformation. Organisation et conditionnement des informations pertinentes provenant dactivits de suivi et dvaluation, diffusion de cette information auprs de ses destinataires et surtout exploitation de cette information en vue de la prise de dcisions et de la promotion de lapprentissage dans une organisation. En tant que produit, le retour dinformation dsigne linformation produite au moyen du suivi et de lvaluation et communique aux parties intresses. Peut comporter constatations, conclusions, recommandations et enseignements tirs de lexprience.
S
Sources secondaires. Sources telles que rapports dtape, rapports annuels, notes, tudes sectorielles et donnes de rfrence. Fournissent les donnes de base et de rfrence et les ressources ncessaires lvaluation. Suivi des effets. Collecte et analyse de donnes en vue de mesurer la performance dun programme, projet, partenariat, rforme gnrale ou appui conseil pour ce qui est de la
104
ralisation de effets de dveloppement au niveau du pays. Un ensemble dindicateurs dfinis est labor pour suivre rgulirement les principaux aspects de la performance. La performance reflte lefficacit dans la transformation dapports en produits, rsultats et impacts. Suivi. Fonction continue visant essentiellement donner aux responsables et principales parties prenantes un retour dinformation rgulier et de premires indications concernant les progrs ou labsence de progrs dans la ralisation des effets viss. Il sagit de suivre lexcution ou la situation par rapport au projet ou attente sur la base de normes prdtermines. Le suivi suppose gnralement la collecte et lanalyse de donnes sur les procdures, stratgies et rsultats de lexcution ainsi que la recommandation de mesures correctives. Systme de notation. Instrument permettant de former et de confirmer un jugement quant la pertinence, la performance et au succs dun programme ou projet au moyen dune chelle de codes numriques, alphabtiques ou descriptifs.
T
Termes de rfrence. Dfinition des travaux et du calendrier excuter par lquipe dvaluation. Rappelle le contexte et prcise la porte de lvaluation, indique les principales raisons de lvaluation et les questions poses. Rcapitule les connaissances disponibles, bauche une mthode dvaluation et dcrit la rpartition des tches et des responsabilits entre les participants lvaluation. Prcise les qualifications requises des quipe ou particuliers ainsi que les critres appliquer pour constituer une quipe dvaluation.
V
Validit. Prcision de la mesure ou du test. Pour tre valides, les valuations doivent tenir compte de tous les facteurs pertinents, tant donn le contexte global de lvaluation, et leur accorder le poids quil convient au cours de la formulation des conclusions et recommandations.
GLOSSAIRE
105
Documents et sites Web utiles

Les documents, sites Web et autres ressources ci-aprs ont aid llaboration du cadre de suivi et dvaluation du PNUD. Ils constituent une source dinformations dtailles sur certains sujets abords dans le prsent Guide. La plupart des rfrences sont accompagnes dune brve description de leur contenu. Marche suivre pour obtenir ces ressources : 1. Consultez le site Web correspondant; 2. Consultez le site Web du Bureau de lvaluation du PNUD (http://www.undp.org/eo) et suivez les liens disponibles jusquaux document; ou 3. Commandez un exemple imprim au Bureau de lvaluation du PNUD. Les documents sont classs selon les thmes suivants : A. Programmation et tablissement de rapports au PNUD B. Gestion axe sur les rsultats C. Directives des organismes des Nations Unies et des donateurs concernant le suivi et lvaluation D. Methodes et outils de suivi et dvaluation E. Indicateurs et mesure F. Partenariats G. Apprentissage et gestion du savoir H. Renforcement des capacits dvaluation I. J. Intervention en cas de conflit et de crise Pauvret
K. galit entre les sexes L. Dmocratie et gouvernance M. Autres rfrences
107
A. Programmation et tablissement de rapports au PNUD

PNUD, Manuel de programmation du PNUD, avril 1999, http://intra.UNDP.org/bdp/pm PNUD, Cadre de financement pluriannuel, Rapport de lAdministrateur, 1998 PNUD, Guidelines on the Annual Review and ROARs for 2000 (rvis le 15 dcembre 1999), http://intra.undp.org/osg/results PNUD, Change Management, http://intra.undp.org/bom/maintopics/services/bp/bpmain.html Ce site contient des documents de base lis la gestion du changement au PNUD, y compris le document dorientation gnrale sur les bureaux de pays de lavenir et les plans dactivits de lAdministrateur 2000-2003. PNUD, Balanced Scorecard, http://intra,undp.org/bom/scorecard/index.html Ce site a pour objet de rpondre aux questions relatives la notion de tableau de bord stratgique et fournir des informations au sujet des progrs accomplis dans la constitution et lapplication du tableau de bord stratgique du PNUD. Ce dernier devrait permettre de mesurer de manire stratgique la manire dont lorganisation se repositionne conformment la perspective et aux objectifs du plan dactivit. Le site contient des indicateurs et des objectifs dans le cadre du futur systme de gestion de la performance du PNUD. Directives relative au Bilan commun de pays, avril 1999,www.dgo.org Directives concernant le Plan-cadre des Nations Unies pour laide au dveloppement, avril 1999, www.dgo.org Directives concernant le Rapport annuel 2000 du Coordonnateur rsident des Nations Unies, www.dgo.org PNUD, Groupe de supervision, Discussion Paper on Oversight, 22 novembre 2000.
B. Gestion axe sur les rsultats

PNUD, Results Based Management Center Gateway, http://stone.undp.org/undpweb/rbmsgat/main.cfm Le Systme de gestion axe sur les rsultats est une base de donnes en ligne qui contient des informations au niveau de pays, des rgions et de la plante au sujet du cadre de rsultats stratgiques, du rapport annuel ax sur les rsultats et du plan de gestion des bureaux de pays. PNUD, Technical Note on UNDP Results Framework, http://intra.undp.org/osg/results/rg/training Ce site contient des notes techniques et des documents didactiques sur le cadre de rsultats stratgiques, le Rapport annuel ax sur les rsultats, le plan de gestion des bureaux de pays, le tableau stratgique des ressources et lvaluation des comptences en matire de rsultat. Bureau du Vrificateur gnral du Canada. Mise en uvre de la gestion axe sur les rsultats, Implementing Results-Based Management,
108
http://www.oag-bvg.gc.ca/domino/other.nsf/html/00rbm_e.html Il sagit dune brve synthse des enseignements tirs de lapplication de la gestion axe sur les rsultats dans plusieurs contextes canadiens et internationaux. Binnendijk, Annette, RBM in the development cooperation agencies: A review of experience, Evaluation Capacity Development in Asia, PNUD/NCSTE/BM, 2000 http://intra.undp.org/eo/documents/evaluation _cap_dev_china.pdf Organisation des Nations Unies pour lalimentation et lagriculture, Budgtisation axe sur les rsultats la FAO, Rome, fvrier 2001). Inayatullah, C., PNUD Pakistan, A Review of the 1999 Annual progress reports from the standpoint of RBM, CCF for Pakistan, en prparation. Marc Holzer, National Center for Public Productivity, tats-Unis, Public Performance Evaluation and Improvement: A review of experience , Evaluation Capacity Development in Asia, PNUD/NCSTE/BM, 2000, http://intra,undp.org/eo/documents/evaluation_cap_dev_china.pdf Tofflon-Weiss, Melissa, Bertrand, Jane T., Terrell, Stanley S. The Results Framework An Innovative Tool for Program Planning and Evaluation. Evaluation Review, Vol. 23, No. 3, juin 1999. Cet article prsente une tude de cas de llaboration et de lapplication dun cadre de rsultats dune initiative rgionale finance par lUSAID concernant la prvention du VIH/sida en Amrique centrale. Il est apparu que le cadre de rsultats prsente de nombreux avantages par rapport aux mthodes dvaluation traditionnelles faisant appel des consultants extrieurs. tant donn quil couvre toute la dure du projet, le cadre de rsultats offre au personnel du programme, aux donateurs, aux partenaires et aux valuateurs loccasion de travailler en quipe et de runir et dexploiter des donnes en vue de la planification, de lexcution et de lvaluation du projet. PNUD, Measuring & Managing Results: Lessons for Development Cooperation, 1997. Ce rapport examine ltat de la mesure de la performance : ce quelle est, les types dactivits quelle suppose, les organismes de dveloppement qui lutilisent et quelles fins ils lutilisent, ainsi que les enseignements que lon peut tirer de leur exprience et les meilleures pratiques. Certaines expriences dentits du secteur public et dorganismes de dveloppement sont tudies afin de dterminer la place relative occupe par la mesure de la performance. Les enseignements tirs, les meilleures pratiques et des recommandations sont indiqus pour chaque organisme de dveloppement examin. (Disponible auprs du Bureau de lvaluation)
C. Directives des organismes des Nations Unies et des donateurs concernant le suivi et levaluation
DANIDA, Evaluation Guideline , 1999. OCDE, Groupe de travail sur lvaluation de lassistance, Glossary of Terms in Evaluation and Results-Based Management, 2001, http://www.oecd.org/dac/htm/glossary.htm
DOCUMENTS ET SITES WEB UTILES
109
Guide de rfrence contenant un aperu des termes figurant dans les glossaires des membres de lOCDE et les bases de donnes de termes et dfinitions de 15 organismes. OCDE, Comit daide au dveloppement, Principles for Evaluation of Development Assistance, 1991, http://www.oecd.org/dac/Evaluation/pdf/evalprin.pdf Le CAD a labor une srie de principes gnraux applicables aux principaux domaines de la programmation et de la gestion de lassistance, notamment lvaluation des projets, laide au programme et la coopration technique. Ces principes noncent les vues des membres du CAD au sujet des principales exigences de lvaluation, partir des politiques et pratiques actuelles ainsi que de lexprience des organismes donateurs en matire dvaluation et de retour dinformation sur les rsultats. OCDE, Comit daide au dveloppement. Review of the DAC Principles for Evaluation of Development Assistance, 1998, http://www.oecd.org/dac/Evaluation/pdf/eval.pdf Ltude porte sur lapplication des principes du point de vue de lvaluation de leur impact, de leur utilit et de leur pertinence. Ces principes sont les suivants : objet de lvaluation, impartialit et indpendance, crdibilit, utilit, participation des donateurs et des bnficiaires, coopration des donateurs, programmation de lvaluation, conception et excution des valuations, communication de rapports, diffusion et retour dinformation, et systmes dvaluation dcentraliss. OCDE/CAD, Critres dvaluation, http://www.oecd.org//dac/Evaluation/htm/evalcrit.htm Ce site contient les critres gnraux applicables lvaluation et au suivi qui sont approuvs par les membres du Comit daide au dveloppement de lOCDE. On y trouve galement les questions principales au titre de chaque critre (pertinence, efficacit, efficience, impact et viabilit). OCDE, Service de la gestion, Improving Evaluation Practices: Best Practice Guidelines for Evaluation and Background Paper, 1999, http://www.oecd.org/puma Les directives dfinissent les principales questions et pratiques permettant de mieux exploiter lvaluation. Elles sont axes sur la gestion des activits dvaluation dans le secteur public et la gestion des valuations particulires plutt que sur des questions de mthode. Les meilleures pratiques concernent la dfinition dobjectifs clairs pour lvaluation; lapplication dvaluation, lamlioration de la prise des dcisions, de laffectation des ressources et de la responsabilit; la gestion de lvaluation de faon quelle reste cible; la participation des parties prenantes lvaluation; et la communication, interne et externe, des rsultats de lvaluation. OCDE, Comit daide au dveloppement, Effective Practices in Conducting a Joint Multi-Donor Evaluation, 1998, http://www.oecd.org/dac Ce rapport prsente la marche suivre pour planifier et excuter une valuation conjointe de programmes de dveloppement en cas dintervention de plus dun organisme donateur. Avec le renforcement du rle du partenariat dans le financement et la fourniture de laide au dveloppement, il faudra de plus en plus dvaluation conjointe et denseignements tirs de diverses formules de coopration concerte pour le dveloppement. Ce guide constitue un outil utile pour la promotion de lvaluation commune et de la collaboration entre organismes donateurs. Il est
110
destin aux responsables des organismes donateurs participant la planification et lexcution dvaluations conjointes de programmes daide au dveloppement mens avec dautres partenaires donateurs. Direction du dveloppement et de la coopration (Suisse), External Evaluation: Are we doing the right things? Are we doing things right? Juin 2000. Les directives sent rparties en deux sections. La premire partie expose la terminologie et les principes de lvaluation. Quant la deuxime partie, elle examine chacune des cinq tapes dune valuation externe. Ces directives sadressent essentiellement aux organisations qui parrainent des valuations ou y participent et sont charges de lapplication de leurs rsultats. FENU, Monitoring Guidelines, 2000. FNUAP, Monitoring and Evaluation Methodologies: The Programme Managers M&E Toolkit, 2000, http://bbs.unfpa.org/ooe/me_methodologies.htm Orientation et options offertes aux bureaux de pays du FNUAP pour ce qui est de lamlioration des activits de suivi et dvaluation dans le contexte de la gestion axe sur les rsultats. Les bureaux de pays du PNUD peuvent exploiter en particulier les outils qui examinent la participation des parties prenantes lvaluation, la planification des valuations, la collecte des donnes, la gestion de lvaluation et la communication et lexploitation des rsultats de lvaluation. UNICEF, A UNICEF Guide for Monitoring and Evaluation: Making a Difference? Fvrier 1991. ( vrifier) Lobjet de ce manuel est les politiques et procdures de suivi et dvaluation de lUNICEF. La section I est consacre limportance du suivi et de lvaluation. La section II concerne lorganisation du suivi et de lvaluation par la dfinition des rles et responsabilits lUNICEF (siges et bureaux de pays) ainsi que le rle de gouvernements. La section III prsente le champ dapplication du suivi et la manire dont il peut tre exploit au niveau des projets et programmes et des rsultats suprieurs du dveloppement (comme par exemple la situation des femmes et des enfants). La section IV prsente le champ dapplication des valuations; les directives concernant la planification, la gestion et lexcution des valuations; et lexploitation des rsultats des valuations. USAID, A Sourcebook on Results-Oriented Grants and Cooperative Agreements, http://www.usaid.gov/pubs/sourcebook/usgov/ Il sagit dun manuel de base lectronique pour la conception, la distribution et ladministration des subventions axes sur les rsultats de lUSAID et laccord de coopration sur lexcution des activits daide au dveloppement. Ce document est essentiellement destin au personnel de lUSAID et ses partenaires du dveloppement mais contient des orientations et suggestions utiles dans les domaines suivants : n Dfinition des interventions daide axe sur les rsultats; n Gestion axe sur les rsultats au moyen de partenariats avec les gouvernements, les organisations non gouvernementales et dautres entits de la socit civile et le secteur priv; n Collecte, analyse et communication dinformations sur la performance globale au regard des rsultats viss; n Application des informations sur le suivi et lvaluation des rsultats la prise
111
de dcisions, introduction aux besoins dajustement de manire souple et mise en lumire de la ralisation des rsultats W.K. Kellogg Foundation, Evaluation Handbook, 1998,http://www.WKKF.org/ Ce Guide est conu pour les valuations au niveau des projets. Il offre un cadre de rflexion au sujet de lvaluation servant doutil de programmation et dfinit la marche suivre pour concevoir et mener des valuations. Il contient en outre des informations de base qui permettront au personnel charg du projet de procder lvaluation sans laide dun valuateur extrieur. Banque mondiale, Monitoring and Evaluation Chapter (projet) , Monitoring and Evaluation for Poverty Reduction Strategies, 2000, http://www.worldbank.orog/html/oed/evaluation/ Louvrage de rfrence sur les stratgies de rduction de la pauvret est un document volutif qui vise aider les pays laborer et renforcer des stratgies de rduction de la pauvret. Lobjet du chapitre consacr au suivi et lvaluation est dorienter llaboration de systmes de suivi des rsultats et de stratgies dvaluation dimpact. On trouvera en outre un mode demploi des rsultats du suivi et de lvaluation afin de crer un retour dinformation, les moyens de favoriser la participation aux activits de suivi et dvaluation et la manire de renforcer les capacits institutionnelles aux fins de suivi des rsultats et dvaluation dimpact. Banque mondiale, Evaluation, Monitoring and Quality Enhancement Community Website, http://www.worldbank.org/html./oed Ce site Web contient des tudes dvaluation de la Banque mondiale dont une srie dvaluations documentes effectues au niveau des pays, des secteurs, des thmes et des impacts et prsente les meilleures pratiques et enseignements tirs. Des liens sont indiqus avec les manuels ou outils de suivi et dvaluation de la Banque mondiale concernant les indicateurs et la mesure de la pauvret, ainsi que dautres groupes dvaluation de la Banque mondiale.
D. Methodes et outils de suivi et devaluation

PNUD, Bureau de lvaluation et de la planification stratgique, Who Are the Question-makers? A Participatory Evaluation Handbook, 1997, http://intra.undp.org/eo/methodology/methodology.html Ce guide vient complter le guide du suivi et de lvaluation des rsultats du PNUD et sadresse ceux qui cherchent un complment dorientation au sujet des mthodes dvaluation participative. On y trouvera un bref aperu de lvolution de la mthode participative, une comparaison de lvaluation participative avec des mthodes plus traditionnelles, lexamen du rle de la participation au PNUD, une description du cadre de lvaluation participative ainsi quun examen de quelques questions pratiques lies lexcution de ce type dvaluation. Banque interamricaine de dveloppement, A Management Tool for Improving Project Performance, http://www.iadb.org/cont/evo/EngBook/engbook.htm Ce guide dvaluation destin au personnel du sige et des bureaux hors sige de la Banque interamricaine de dveloppement prsente plusieurs outils dvaluation aux niveaux de la conception, de lexcution ou du suivi des projets et de lachvement des projets et de limpact.
112
Fonds des Nations Unies pour lenfance (UNICEF), A Guide for Monitoring and Evaluation, http://www.unicef.org/reseval/mande4r.htm United States Agency for International Development (USAID), Center for Development Information and Evaluation (CDIE) Performance Monitoring and Evaluation Tips, http://www.dec.org/usaid_eval/004 The Gateway to Development Information (eldis), Methods, Tools and Manuals, http://nt1.ids.ac.uk/eldis/hot/pm3.htm Ce site contient un ventail de directives et de manuels qui aideront les praticiens du dveloppement mener des activits de suivi et dvaluation participatives. The M and E News, http://www.mande.co.uk Il sagit dun service dinformation consacr aux mthodes de suivi et dvaluation intressant les projets de dveloppement comportant des objectifs de dveloppement social. Research Methods Knowledge Base, http://trochim.human.cornell.edu/kb/index.htm Il sagit dun manuel dtaill informatis qui aborde tous les points dun cours dinitiation classique aux mthodes de recherche sociale. Il couvre la totalit des oprations de recherche, formulation des questions, chantillonnage, mesure (enqutes, mesure qualitative), conception de la recherche, analyse des donnes et rdaction de ltude. Il examine galement les grands fondements thoriques et philosophiques de la recherche, dont lide de la validit dans la recherche, la fiabilit des mesures et la dontologie. USAID, Automated Directives System (ADS), Chapter 200Introduction: Managing for Results, Functional series 200Programming Policy, http://www.usaid.gov/pubs/ads Ce site contient les directives crites officielles de lUSAID concernant les politiques, procdures et dlgations de pouvoir pour la conduite des oprations de lAgence. On y trouve galement des conseils concernant la ralisation de rsultats (chapitre 200), la planification (chapitre 201), lvaluation et lapprentissage (chapitre 203) USAID, Center for Development Information and Evaluation, http://www.dec.org/usaid_eval/ Le centre dinformation et dvaluation pour le dveloppement de lUSAID publie un large ventail dvaluations dimpact, dvaluations de programme et dopration, de rapports de gestion axe sur les rsultats, de conseils en matire de suivi de la performance ainsi que lUSAID Evaluation News. Ces publications rsument et communiquent lefficacit des initiatives de dveloppement durable de lUSAID, les enseignements tirs du portefeuille dactivits de dveloppement de lAgence et les meilleures pratiques des oprations de dveloppement repenses de lUSAID. On trouvera dans ce site laccs plus de 60 publications produites par le centre depuis 1996. Les rapports y sont ajouts au fur et mesure. USAID Evaluation Publications, Published 1997 - 2000, http://www.dec.org/usaid_eval/ Ce site prsente plusieurs publications consacres lvaluation: ________. Conducting a Participatory Evaluation, TIPS No 1, 1996. Cette note dfinit lvaluation participative, ses caractristiques et ses objectifs.
113
Elle examine les diffrences entre valuation participative et valuation traditionnelle. Enfin, elle prsente les grandes tapes dune valuation participative, y compris le moment opportun, la dtermination du niveau de participation et la ralisation dun consensus au sujet des rsultats. ________. Conducting Key Informant Interviews, TIPS, No 2, 1996. Cette note prsente les entretiens avec des enquts essentiels, qui constituent une technique dvaluation rapide et peu coteuse. Elle aborde les avantages et les inconvnients de la mthode, la manire den optimiser lutilit ainsi que des instructions prcises sur son application.. ________. Preparing an Evaluation Scope of Work, TIPS, No 3, 1996. Cette note contient des suggestions pour la prparation dun bon champ dapplication de lvaluation. Elle prsente les diffrents lments du champ dapplication et souligne le type dinformation requis au titre de chacun deux. ________. Using Direct Observation Techniques, TIPS No 4, 1996. Cette note prsente lobservation directe qui constitue un exemple de mthodes rapides et peu coteuses de collecte dinformation au sujet de la performance dintervention en matire de dveloppement. Elle examine les avantages et les limites de la mthode, la manire den optimiser lutilit et donne des instructions claires en vue de son application. ________. Using Rapid Appraisal Methods, TIPS, No 5, 1996. Cette note prsente un ventail de mthodes peu coteuses appeles mthodes dvaluation rapide, qui servent runir des informations au sujet de la performance dintervention en matire de dveloppement. Elle en examine les forces et les faiblesses et indique quand elles sont appropries. ________. Preparing a Performance Monitoring Plan, TIPS, No 7, 1996. Cette note prsente les lments dun plan de suivi de la performance et contient des conseils pour ltablissement de ce plan en vue de la collecte systmatique et rapide de donnes sur la performance. ________. Establishing Performance Targets, TIPS, No 8, 1996. Cette note dfinit les objectifs de la performance, les raisons de leur importance ainsi que les sources et mthodes dinformation applicables la fixation dobjectifs. ________. Conducting Focus Group Interviews, TIPS, No 10, 1996. Cette note dfinit les entretiens avec des groupes de rflexion, examine les avantages et les limites de la mthode, indique le meilleur moment et lobjet de son application, et prsente une mthode claire pour lorganisation et la conduite dentretiens avec des groupes de rflexion de faon obtenir des rsultats de qualit. ________. The Role of Evaluation in USAID, TIPS, No 11, 1997. Cette note examine le nouveau rle de lvaluation lAgence, le changement dorientation de lvaluation dans un contexte ax sur les rsultats en en justifiant limportance. Par ailleurs, elle prsente les principales tapes de la planification et de lexcution dune valuation ________. Guidelines for Indicator and Data Quality, TIPS, No 12, 1998. Cette note dcrit les critres et procdures de lUSAID concernant la qualit des
114
indicateurs et des donnes dans les systmes de suivi de la performance au titre de la gestion axe sur les rsultats. ________. Monitoring the Policy Reform Process, TIPS, No14, 2000. Cette note examine les questions et problmes lis la conception et lapplication de systmes de suivi des rformes gnrales. En partant des meilleures pratiques des missions de lUSAID dans le domaine des rformes gnrales, le document prsente les caractristiques dun bon systme de suivi, fournit des exemples de jalons au cours de la formulation et de ladoption des politiques et de lapplication des politiques qui constituent la premire tape dans le changement du suivi, et dveloppe trois mthodes de suivi des rformes gnrales : quantitative, qualitative et composite, en en prcisant les forces et les faiblesses.. ________. Measuring Institutional Capacity, TIPS, No 15, 2000. On trouvera dans ce document des renseignements sur la mesure de la capacit institutionnelle, ainsi que quelques outils permettant de mesurer la capacit de toute une organisation et dautres examinant les diffrentes composantes ou fonctions dune organisation. Les capacits internes des organisations sont examines. Le document porte sur les questions suivantes : diffrentes approches de la mesure pour des types particuliers de renforcement des capacits, forces et faiblesses de chaque mthode, collecte des donnes et caractre participatif de lopration de mesure. Institut de la Banque mondiale, Training Evaluation Toolkit (Version 1.3) Mis au point par le service de lvaluation de lInstitut de la Banque mondiale, cet ensemble doutils se compose de schmas et de directives permettant quiconque ayant ou non une connaissance pralable de lvaluation, deffectuer une valuation de formation de niveau I. Lensemble doutils peut servir laborer des questionnaires sollicitant le retour dinformation des participants concernant les activits de formation, runir les donnes et mettre les notations en tableau. http://www.worldbank.org/wbi/. Worthen, Blaine R., James R. Sanders et Jody Fitzpatrick, Program Evaluation: Alternative Approaches and Practical Guidelines, 2me Edition, White Plains, NY: Longman Inc., 1997. Cet ouvrage constitue un guide de rfrence pour les valuateurs et ceux qui sintressent lvaluation des programmes. Il se compose des parties suivantes : n Mthodes et modles dvaluation; n Collecte, analyse et exploitation de donnes qualitatives et quantitatives; n Directives pratiques pour la planification, lexcution et lexploitation dvaluations, y compris des listes de contrle et guides de procdure; n Glossaire de lvaluation. Agenge sudoise du dveloppement international, (SIDA), Ownership in Focus? Discussion paper for a planned evaluation, Sida Studies in Evaluation, 00/5, 2000, http://www.sida.org/Sida/jsp/Crosslink.jsp?d=520 Ce document examine la notion de matrise et prsente les opinions courantes au sujet des causes et des effets dune faible matrise dun pays partenaire. Il prsente une srie de questions pouvant tre examines dans le cadre dune valuation soccupant de matrise.
115
Banque mondiale, Impact Evaluation, avril 2001, http://www.worldbank.org/poverty/impact/index.htm Ce site contient des informations et des ressources lintention des particuliers et des organisations soccupant de lvaluation et de lamlioration de lefficacit des projets et programmes visant rduire la pauvret.
E. Indicateurs et mesure
PNUD, Selecting Key Results Indicators, http://stone.undp/org/undpweb/eo/evalnet/ docstore1/index_final/methodology/documents/indicators.PDF OCDE, CAD, Development indicators, http://www.oecd.org/dac/Indicators Ce site explique le noyau dindicateurs labor par le CAD de lOCDE pour suivre la performance et les stratgies de dveloppement. Il contient des cartes, des graphiques et des liens vers des sources de donnes pour tous les indicateurs du noyau. Il prsente un tableau synoptique du bien-tre humain sous ses aspects conomiques, sociaux et environnementaux. ELDIS Participatory Monitoring and Evaluation Guide: Indicators, http://ntl.ids.ac.uk/eldis/hot/pm4.htm Ce site offre des liens et des informations concernant plusieurs travaux consacrs llaboration participative dindicateurs. Les documents cits contiennent des exemples dindicateurs. Banque mondiale, Dpartement de lvaluation des oprations, Performance Monitoring Indicators: A handbook for task managers, 1996, http://www.worldbank.org/html/oed/evaluation Ce guide prsente le contexte du cadre logique et de la typologie des indicateurs; dcrit llaboration et lapplication des indicateurs la conception, la supervision et lvaluation des projets; examine les questions importantes lies au bon usage des indicateurs. Il fournit en outre des exemples dindicateurs de performance labors pour des projets financs par la Banque et indique comment les indicateurs sont mis au point sur la base des objectifs de dveloppement de chaque projet. Funnell, Sue C., Developing and Using a Program Theory Matrix for Program Evaluation and Performance Monitoring , New Directions for Evaluation, No 87, automne 2000. Lauteur examine les principales caractristiques de la mthode de la thorie des programmes et montre comment en amliorer lutilit pour le suivi et lvaluation: en intgrant les informations relatives au contexte du programme, en dfinissant les critres de russite et des comparaisons afin de juger et dinterprter les informations relatives la performance, et en dsignant les sources dinformation sur la performance. Holzer, Mark., National Center for Public Productivity, USA. Public Performance Evaluation and Improvement: A review of experience , Evaluation Capacity Development in Asia, PNUD, 2000, http://intra.undp.org/eo/documents/evaluation_cap_dev_china.pdf
116
F. Partenariats
Institut de recherche pour le dveloppement, http://www.jsi.com/idr Cet Institut se consacre la promotion de la participation de groupes sousreprsents et dfavoriss au dveloppement social, politique et conomique. Dans le domaine du partenariat intersectoriel, lInstitut aide identifier des stratgies et renforcer la capacit de reprsentants de la socit civile de travailler avec les dirigeants des secteurs priv et public llaboration de politiques efficaces. Knowledge Resource Group, http://www.civicus.org/krg/html Lobjectif du KRG est de rassembler, analyser, relier et diffuser les enseignements tirs au sujet de partenariats impliquant le monde des affaires, les pouvoirs publics et la socit civile. Le groupe part de la base de connaissance existante au sujet de la constitution de partenariats ainsi que de lexprience en matire dlaboration doutils et de programmes propres acclrer lapprentissage et renforcer la viabilit des partenariats tant donn que des enseignements sont tirs et appliqus. Partnerships for Poverty Reduction, http://www.worldbank.org/ppr/english/ppr_eng.html Ce site est parrain par lInter-American Foundation, le PNUD et la Banque mondiale. Il prsente lensemble des connaissances dun groupe de chercheurs et de praticiens au sujet des effets de partenariats sur la rduction de la pauvret en Amrique latine et dans les Carabes Strengthen Partnerships and Improve Aid Effectiveness, http://www.oecd.org/dac/htm/devpart.htm Ce site fournit des rapports de suivi et des rapports dtape traduisant une forte collaboration stratgique avec dautres institutions multilatrales. Grce des liens, il donne accs des informations au sujet du renforcement de partenariats et de lamlioration de lefficacit de lassistance. USAID, Partnering for Results: Assessing the Impact of Inter-Sectoral Partnering, 1999, http://www.info.usaid.gov/pubs/isp/ Ce guide concerne le choix dindicateurs, le suivi des progrs et la documentation des rsultats des partenariats intersectoriels entre pouvoirs publics, monde des affaires et socit civile. Il examine galement certains problmes propres lvaluation des partenariats intersectoriels. Enfin, il propose un cadre utiliser lors du choix des indicateurs pour mesurer limpact des partenariats intersectoriels et examine les indicateurs existants entrant dans ce cadre. Ce guide se veut souple et permet aux utilisateurs de choisir partir dun menu dindicateurs afin quils soient adapts aux besoins particuliers de chaque partenariat. USAID, New Partnerships Initiative (NPI): Resource Guide, http://www.usaid.gov/pubs/npi/npiresrc.htm Il sagit dune approche globale du dveloppement durable faisant appel des partenariats stratgiques et supposant la participation active de la socit civile, du monde des affaires et des institutions de gouvernance locale dmocratique afin de renforcer la capacit des communauts locales de jouer un rle moteur dans leur propre dveloppement. Le guide des ressources de la NPI rassemble les rsultats dexpriences pilotes dans 15 missions de lUSAID et offre plusieurs outils de programmation afin daider lintgration de la NPI dans les portefeuilles des missions de lUSAID.
117
USAID, Participatory Development, http://www.usaid.gov/about/part_devel/docs.html Ce site Web contient tous les documents qui sont le fruit de linitiative participative de lUSAID, Il contient galement des donnes au sujet du Rseau de participation mondiale (GP-NET), liste de diffusion, qui permet aux praticiens du dveloppement du monde entier dchanger des informations et des ides et dexaminer des questions lies au dveloppement participatif. Cette page offre galement des liens vers dautres sites consacrs au dveloppement participatif. World Bank Partnerships, http://worldbank.org/html/extdr/prt-global.htm Cette page contient des synopsis et permet des points de contact concernant quatre partenariats de la Banque mondiale, dont les partenariats conomiques pour le dveloppement. Il sagit dun rseau mondial informel dentreprises, dorganismes de la socit civile et de ministres, qui a pour objet de dmontrer les effets positifs de partenariats trisectoriels en partant de lexemple de plusieurs projets cibls auxquels participent le monde des affaires, les pouvoirs publics et des organismes de la socit civile et en leur fournissant des apports. Lobjectif du rseau est de dmontrer que ces partenariats sont avantageux pour chacune des trois parties, peuvent tre beaucoup plus largement utiliss dans le monde entier et se prtent un largissement aux niveaux national et rgional.
G. Apprentissage et gestion du savoir

Base de donnes centrale sur lvaluation du PNUD, http://www.undp.org/eo/database/cedab/cedab.html Il sagit dune base de donnes de la mmoire institutionnelle contenant des renseignements au sujet de plus de 1 500 valuations de projet et de programme du PNUD. Evaluation Plan Database du PNUD (EVP), http://www.undp.org/eo/database/evp/evp.html Grce cette base de donnes, les bureaux de pays du PNUD et dautres entits peuvent prparer leurs projets dvaluation respectifs en ligne et les changer. Base de donnes du Comit daide au dveloppement (CAD), http://minweb.idrc.ca/cida/dacloge.htm Ce site contient une liste de synthses dvaluation mise la disposition du grand public par plusieurs organisations internationales de dveloppement. Department for International Development (DFID), Project Evaluation, http:://www.dfid.gov.uk/public/what/project_frame.html Ce site permet laccs des versions en ligne de toutes les synthses dvaluation du dpartement et permet de commander des rapports dvaluation complets. Organisation internationale du Travail (OIT), PROGEVAL, http://ilis.ilo.org/ilis/progeval/ilintrpr.html PROGEVAL contient des rfrences bibliographiques et des rsums de rapports dvaluation sur des programmes et projets de coopration technique excuts par lOIT et dautres organisations internationales. On y trouve aussi des renvois des directives dvaluation et autres publications mthodologiques sur lvaluation.
118
Fonds international de dveloppement agricole (FIDA), Lessons through Evaluation, http://www.ifad.org/evaluation/public_html/eksyst/doc/lle/index.htm Ce site numre les enseignements tirs des valuations menes par le FIDA. Ces enseignements sont numrs par thmes et rgions. Fonds dquipement des Nations Unies (FENU), Evaluation Index, http://www.uncdf.org/projects/eval/es-index.html Ce site numre les valuations de projet du Fonds dquipement, et contient des enseignements en vue de la conception de projets futurs. Bellanet International Secretariat, Knowledge ManagementImplications and Applications for Development Organizations, http://www.bellanet.org/ partir dun atelier, ce rapport prcise, examine et situe la gestion du savoir dans les cultures et pratiques de la communaut internationale du dveloppement. Cinq thmes sont tudis: comprhension du savoir, dfinition de lindustrie du savoir et objectifs stratgiques, gestion de la structure et du mcanisme du savoir, cration dune culture et dune dynamique du savoir et promotion de rseaux de gestion du savoir. Institute of Development Studies, Efela: evaluation feedback for effective learning and accountability: synthesis report, juillet 2000. http://www.ids.ac.uk/ids/ Ce rapport rcapitule les rsultats dune enqute sur les politiques, pratiques, philosophies et approches du retour dinformation dvaluation des membres de lOCDE. Il examine les problmes et dilemmes auxquels les organismes ont faire face en cherchant amliorer leurs pratiques en matire de retour dinformation dvaluation, et met en avant les domaines o se dgage une nouvelle rflexion et o de nouvelles possibilits soffrent pour ce qui est damliorer les pratiques de retour dinformation dvaluation et de liens entre le retour dinformation dvaluation en vue dun apprentissage efficace ave dautres objectifs et initiatives sur le terrain des politiques de dveloppement. Le rapport dgage quelques grands domaines de rflexion et dapprentissage et indique le dveloppement de nouvelles pratiques. Morten T. Hansen, Nitin Nohria, and Thomas Tierney, Whats Your Strategy for Managing Knowledge? , Harvard Business Review, mars-avril 1999. Cet article examine les pratiques de gestion du savoir dentreprises de plusieurs secteurs, et en particulier de socits de consultants en gestion. Il dfinit deux stratgies : la stratgie de codification et la stratgie de personnalisation, et examine le choix de la stratgie qui convient aux diffrents secteurs. Les auteurs font valoir qu mettre laccent sur la mauvaise approche, en fonction de la nature du domaine dune organisation, ou les rechercher lune et lautre simultanment, on peut nuire lentreprise.
H. Renforcement des capacites devaluation

PNUD, Evaluation Capacity Development in Asia, 2000. http://intra.undp.org/eo/documents/evaluation_cap_dev_china.pdf Ce rapport prsente les travaux de la confrence sur lvaluation et le renforcement des capacits tenue Beijing les 27 et 28 octobre 1999. Les objectifs de cette confrence taient au nombre de quatre : a) stimuler la rflexion sur le rle de
119
lvaluation dans la bonne gouvernance et la rforme du secteur public; b) examiner les interactions entre la gestion axe sur les rsultats et le suivi et lvaluation dans le contexte de la bonne gouvernance; c) identifier les stratgies et ressources propres susciter loffre et la demande de suivi et dvaluation dans les pays dAsie; et d) encourager et appuyer la cration de rseaux nationaux et rgionaux afin de faciliter les mesures de suivi. Banque mondiale/Dpartement de lvaluation des oprations, Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance, ECD Working Paper Series, No.7, 2000, www.worldbank.org/evaluation/me Ce document constitue le point de dpart de lidentification de questions communes et de synergies oprationnelles entre le renforcement des capacits de suivi et dvaluation et la gouvernance en Afrique subsaharienne et de ltablissement de liens entre appui la gouvernance et renforcement des capacits de suivi et dvaluation. Banque mondiale/Dpartement de lvaluation des oprations, Evaluation Capacity Development: A Diagnostic Guide and Action Framework, ECD Working Paper Series, No 6, 1999, www.worldbank.org/evaluation/me Ce guide sadresse aux services publics et organismes de dveloppement qui laborent un systme dvaluation nationale ou sectorielle. Il sarticule autour de neuf tapes distinctes aidant lidentification des options en matire de renforcement des capacits dvaluation et llaboration dun plan daction dans ce domaine. Il offre une liste de contrle dtaille des questions envisager en renforant les capacits dvaluation dun pays.
I. Intervention en cas de conflit et de crise

OCDE/CAD, Guidance for Evaluating Humanitarian Assistance in Complex Emergencies, 1999. Cette publication sadresse aux responsables du lancement, de la conception et de la gestion des valuations de programmes daide humanitaire. Elle dfinit les caractristiques de situations durgence complexes et expose les diffrences entre valuation de programmes daide humanitaire et valuation de programmes dassistance classique. Elle contient des directives concernant la planification, lexcution et la gestion de lvaluation. Overseas Development Institute, Evaluating Humanitarian Assistance Programmes in Complex Emergencies, 1998. Cette tude cherche amliorer la cohrence et la qualit des mthodes dvaluation, renforcer la fonction de responsabilit de lvaluation, participer linstitutionnalisation des enseignements tirs et dfinir de meilleures mthodes de suivi de la performance des oprations dassistance humanitaire. Les auteurs examinent les aspects fondamentaux des valuations dans un contexte humanitaire, les mesures propres renforcer lefficacit de lvaluation et les moyens dtablir les paramtres de base de lvaluation. On y trouvera des directives concernant la planification, lexcution et la gestion dvaluation dans des situations de conflit, notamment ltablissement dun mandat, la composition des quipes, les sources dinformation et les techniques de collecte dinformations et les mthodes de travail.
120
HCR, Enhancement of the Evaluation Function in UNHCR, 1998, http://www.unhcr.ch/evaluate/reports Cette tude examine le rle de la fonction dvaluation au HCR. La section I prsente une analyse de situation, tandis que la section II examine les principales tapes franchir pour amliorer lvaluation en mettant en place une structure porteuse et en apportant des amliorations au cycle dvaluation. HCR, Planning and Organising Useful Evaluations, 1998, http://www.unhcr.ch/evaluate/reports Ces directives ont pour objet daider le personnel du sige et de terrain du HCR valuer et analyser un large ventail dactivits menes par le HCR : comprhension fondamentale de la fonction, description des diffrents mthodes, planification, excution et suivi des valuations.
J. Pauvret
Banque mondiale, Evaluating the Impact of Projects on Poverty: A Handbook, 2000, http://www.worldbank.org/evaluation/toolkits/ Ce guide dote les responsables de projet et les analystes des moyens ncessaires pour valuer limpact au niveau des projets. Il sadresse des lecteurs ayant une connaissance gnrale en matire de statistiques. Quatre chapitres et une srie dtudes de cas couvrent une vaste combinaison de contextes nationaux, types de projets et mthodes dvaluation. Banque mondiale, Monitoring and Evaluation for Poverty Reduction Strategies, 2000, http://www.worldbank.org/evaluation/toolkits/ Le manuel de base sur les stratgies de rduction de la pauvret est un document volutif visant aider les pays laborer et renforcer des stratgies de rduction de la pauvret. Le chapitre consacr au suivi et lvaluation montre comment mettre au point des systmes de suivi des rsultats et des stratgies dvaluation dimpact. On y trouve galement une mthode dapplication des rsultats du suivi et de lvaluation la cration dun mcanisme de retour dinformation; les moyens de favoriser la participation aux activits de suivi et dvaluation; et la manire de renforcer des capacits institutionnelles aux fins du suivi des rsultats et de lvaluation dimpact.
K. galit entre les sexes

Banque mondiale, Evaluating Gender and Development at the World Bank, OED Precis No 200, 2000, www.worldbank.org/evaluation/lessons/ Cette note rcapitule les vues des participants latelier de la Banque mondiale sur lgalit entre hommes et femmes et lvaluation. Elle examine des questions lies aux projets dvaluation des dimensions sexospcifiques de laide de la Banque, de la complexit de ces questions et de lventail de vues concernant des mthodes efficaces de rglement de ces questions PNUD/Gender in Development, Guidance Note on Gender Mainstreaming, http://www/UNDP.org/gender/policies/guidance.html#appendix1 Cette note prconise lintgration des objectifs de lgalit entre hommes et
121
femmes dans tout le cycle de programmation. Elle prsente les principales questions et dfinit le rle du personnel, des cadres suprieurs aux reprsentants rsidents en passant par les coordonnateurs des questions dgalit entre homme et femmes. Elle montre comment intgrer le souci de lgalit entre hommes et femmes dans le cycle de programmation et comment lintgration des questions de sexospcificit peut contribuer efficacement dvelopper les relations publiques. PNUD/BPD, Tracking Gender Mainstreaming in MDGD Activities, 1998, http://magnet.UNDP.org/Docs/Gender/Testgned.htm Cette note fait le point de lintgration du souci de lgalit entre hommes et femmes dans les programmes et activits de la Division du renforcement de la gestion et de la gouvernance, examine linteraction entre galit entre hommes et femmes et bonne gouvernance et dfinit des moyens et propose des outils permettant de renforcer lintgration de lgalit entre hommes et femmes dans lensemble du cycle de programmation.
L. Dmocratie et gouvernance
Dpartement du dveloppement international, Strategies for Achieving the International Development Targets: Making Government Work for Poor People, juin 2000, http://www.dfid.gov.uk Il sagit dun document interne du Dpartement du dveloppement international du Royaume-Uni, qui prsente une stratgie permettant de mettre les pouvoirs publics au service des pauvres. On y examine les moyens ncessaires aux pouvoirs publics pour favoriser les pauvres et les proccupations de ces derniers concernant la manire dont les institutions publiques les traitent. Sont dfinies sept capacits publiques fondamentales que ltat doit laborer, en collaboration avec le secteur priv et la socit civile, pour raliser les objectifs du dveloppement international. OCDE, Public Management and Governance, http://www.oecd.org/puma Ce site est rparti entre six domaines lis la gouvernance dans les pays de lOCDE : budgtisation du secteur public, participation des citoyens, thique et corruption, gestion des ressources humaines, rforme des rglementations, formulation de politiques stratgiques. Les questions fondamentales, des documents et des liens supplmentaires sont indiqus pour chaque domaine. Le site contient des statistiques du secteur public et des informations sur des initiatives publiques pour chaque pays membre. Agence sudoise du dveloppement international (SIDA), The Evaluability of Democracy and Human Rights Projects, 1997, http://www.sida.org/Sida/jsp/Crosslink.jsp?d=520 Cette tude des possibilits dvaluation examine lappui de la SIDA la dmocratie et aux droits de lhomme en partant de 28 projets intressant quatre pays : Afrique du Sud, El Salvador, Guatemala et Nicaragua. Ltude suit lvolution de lapproche de la SIDA, les questions gnrales lies lvaluation des ces projets, le contexte de la dmocratie et de droits de lhomme dans les pays examins et la mthode et les activits lies lvaluation. On y trouve des enseignements sur des mthodes utiles dvaluation de limpact sur la dmocratie et les droits de lhomme et des pratiques efficaces en vue de la planification et de lexcution de ces projets.
122
PNUD, Evaluation of the Governance Programme for Latin America and the Caribbean, 1998, http://intra.UNDP.org/eo/publications/publixations.html Cette valuation thmatique a t effectue en 1997-1998 et couvre les activits du PNUD dans le domaine de la gouvernance menes dans la rgion pendant cette priode. Lvaluation avait pour objectif de dgager des enseignements et de formuler des recommandations afin damliorer les activits de coopration dans le domaine de la gouvernance et den encourager lapplication dans dautres contextes. Kaufmann, Kraay and Zoido-Lobaton, Governance Matters: From Measurement to Action, Finance & Development (FMI) juin 2000, volume 37, numro 2.
M. Autres rfrences
PNUD, Simplification Task Force, Simplification Report to the Executive Team, http://intra.undp.org/eo PNUD, Bureau de lvaluation, Impact Assessment of UNDP Country Interventions, Methodology for CLIA Phase I (version 2.1), http://intra.undp.org/eo/methodology/methodology.html PNUD, Alex Rusita, Evalnet, End of mission report, 2001. PNUD, Netnarumon Sirimonthon, Evalnet, Tripartite meetings, http://intra.undp.org/eo PNUD, Siv Tokle, PowerPoint Presentation to the Associate Administrator, 2000. PNUD, Siv Tokle, IAWG Presentation on RBM and M&E, Genve, 2001. PNUD, Ouzbkistan, New Approach to Monitoring in Uzbekistan, RBEC best practice newsletter No 4, novembre-dcembre 2000, http://intra.undp.org/rbec FNUAP, Linda Sherry-Cloonan, IAWG Presentation on RBM and M&E, Genve, 2001. Programme alimentaire mondial, Stratgie pour 2002-2005, WFP/EB.A/2001/5-B/1. Programme alimentaire mondial, Notes on the development of RBM in WFP, 18 juillet 2001. Banque mondiale, Aid and Reform in Africa, tude de la Banque mondiale, dcembre 1999.
123
Outils de suivi et dvaluation

Les principaux outils du suivi et de lvaluation axs sur les rsultats sont prsents dans les annexes qui suivent.Ils viennent complter les chapitres 4 et 5 concernant les procdures de suivi et dvaluation. Quatre outils sont prsents : exemples dun plan dvaluation et de suivi, termes de rfrence dune valuation, format de rapport annuel de projet et format de rapport de visite sur le terrain. Le Guide se termine par un tableau synoptique qui dcrit comment les responsables de projet,les responsables de programme et les cadres suprieurs pourront utiliser la mesure souple doutils de suivi dans un bureau de pays moyen grand. Annexe A. Plan dvaluation et de suivi Annexe B. Annexe C. Annede D. Annexe E. Termes de rfrence de lvaluation Rapport annuel de projet Rapport de visite sur le terrain Menu doutils de suivi
Les formulaires sont annots afin dindiquer o et comment ils peuvent tre adapts aux circonstances. Les annexes devraient aider les utilisateurs appliquer avec souplesse les outils et formats axs sur les rsultats et les progrs dans la ralisation des rsultats. On peut se procurer ces annexes lectroniquement sur le site Web du Bureau de lvaluation du PNUD : http://intra.undp.org/eo. Une partie ou la totalit de ces outils pourraient galement tre disponibles lavenir grce un systme intgr.
125
Annexe A. Plan dvaluation et de suivi

OBJET
Les objectifs du plan dvaluation et de suivi sont les suivants : n
Le sige du PNUD utilisera galement ces plans pour valuer ladhsion aux valuations, sur la base des valuations quun bureau de pays sengage effectuer au cours dun cycle de programme de pays.
Doter les bureaux de pays et autres entits dun outil de planification pour lexcution dvaluations; n n Enregistrer et analyser les enseignements et les constatations des valuations; Aider suivre ltat des recommandations dvaluation.
P R PA R ATION ET PRSENTAT I O N
Les bureaux de pays prparent leur plan dvaluation au dbut de chaque cycle de programmation et le soumettent par des moyens lectroniques (ou sur support papier) au bureau de lvaluation du PNUD.21 Cela suppose que la direction prenne des dcisions stratgiques et slectives avec le personnel du programme au sujet de lobjet et la date de lvaluation. Par la suite, le bureau de pays utilise le plan pour sassurer que les activits de planification de lvaluation se droulent comme prvu. Une fois acheves les valuations, le bureau de pays introduit, envoie ou tlcharge le rapport complet au Bureau de lvaluation (et dans le systme lorsquil sera prt). Cest au bureau de lvaluation quil incombe de suivre la conformit de lvaluation et danalyser systmatiquement les renseignements produits afin de favoriser lapprentissage. Le bureau de pays introduit des extraits dans le tableau, et notamment des recommandations. Cela permet de constituer la base du suivi et de la recherche sur les rsultats, enseignements et recommandations de lvaluation. Le bureau de pays suit lapplication des recommandations de lvaluation en enregistrant les dcisions relatives aux recommandations de lvaluation et les mesures de suivi prises cet effet.
CALENDRIER
Le bureau de pays soumet le plan dvaluation au Bureau de lvaluation au cours du premier trimestre de chaque cycle de programme de pays. Il peut ensuite tre actualis en permanence, chaque anne ou priodiquement, en fonction des besoins locaux. Par exemple, si la premire valuation est prvue au sujet dun effet trois ans aprs le dbut du cycle de programme de pays, le bureau de pays ne devra pas revoir la planification avant lanne prcdant lvaluation.
FLEXIBILITY
Les bureaux de pays qui ne sont pas tenus de procder des valuations ne doivent pas laborer de plan dvaluation. Les valuations de projet se font sur une base volontaire et sont enregistres dans le plan lorsquelle sont arrtes au niveau du pays. Les bureaux de pays peuvent, sils le souhaitent, ajouter des lments dcrivant la planification de toutes leurs activits de suivi et dvaluation.
21
Antrieurement, le plan dvaluation tait tabli par des moyens lectroniques et diffus sur le site Web intranet du Bureau de lvaluation.En attendant que le plan soit reli au systme de gestion axe sur les rsultats,les bureaux de pays laborent le plan sur Word.Les futurs moyens lectroniques sont indiqus dans le cadre ci-aprs.
126
PLAN DVALUATION ET DE SUIVI

[Priode du programme (eg, 20022006)] [Insrer le nom du pays]
Modle rempli
OUTILS DE SUIVI ET DVA L UAT I O N
127
SUIVI DES RECOMMANDATIONS DVALUATION 2001-2003
128
Annexe B: Termes de rfrence de lvaluation

Les termes de rfrence type ci-aprs sont conus pour tre adapt et utilis dans les valuations de projets et de rsultats. Le contenu particulier des valuations deffets est indiqu.
1 . INTRODUCTION
Brve description du contenu du pays de programme, y compris ses besoins et priorits en matire de dveloppement. Les effets, programmes, projets, groupes de projets et autres lments valuer sont situs dans ce contexte et les parties prenantes, partenaires et bnficiaires principaux sont dsigns. n Dans le cas dune valuation deffet, les renseignements ci-aprs devraient figurer : Brve description de leffet (rfrence de leffet et sa situation actuelle); n Justification de la participation du PNUD leffet et raisons de lvaluation; n Brve description des produits et initiatives du PNUD qui devraient avoir contribu leffet; n Principaux partenaires participant leffet; n Aperu des progrs accomplis dans la ralisation de leffet.
2 . OBJECTIFS DE L V A L UAT I O N
Bref expos du mode didentification de la ncessit de lvaluation, brve description des principales parties prenantes de lvaluation, expos des raisons pour lesquelles lvaluation est effectue et expos du choix du moment.
3 . PORTE DE L V A L UAT I O N
Description de lobjet de lvaluation et, implicitement, de ce qui en est exclu. Dans le cas de lvaluation dun projet, la porte devrait comporter : Laire gographique du projet; n Le calendrier du projet sur lequel doit porter lvaluation; n Les questions lies la pertinence, la performance et au succs du projet ou des projets faisant lobjet de lvaluation. n Sil sagit dune valuation deffet, les mmes domaines devraient tre inclus, adapts aux effets. Lvaluation devrait aussi porter au moins sur les enseignements tirs, les constatations et recommandations dans les domaines suivants : n Leffet a-t-il t atteint et, dans la ngative, des progrs ont-ils t accomplis? n tude des facteurs sous-jacents sur lesquels le PNUD na pas de prise mais qui influencent leffet; n Les produits du PNUD et autres interventions peuvent-ils tre relis de manire crdible la ralisation du rsultat, et notamment aux principaux produits, programmes, projets, ainsi qu lassistance et lappui conseil, ayant contribu au rsultat? n La stratgie de partenariat du PNUD a-t-elle t approprie et efficace?
4 . PRODUITS ATTENDUS DE L V A L UAT I O N

Description des produits que le responsable de lvaluation veut obtenir, comme par exemple un rapport dvaluation assorti de constatations, recommandations, enseignements tirs, notation de la performance. On tablira galement une liste
129
doprations ou une description des meilleures pratiques dans un domaine donn ou dans le crneau des interventions du PNUD dans un pays de programme spcifique. Dans le cas dune valuation deffet, le produit pourrait consister en un rapport portant sur : n Les stratgies de la poursuite ou de lachvement de lassistance du PNUD concernant leffet; n Des recommandations en vue de la formulation ventuelle de lassistance future concernant leffet; n Les enseignements tirs au sujet des meilleures pratiques et des pires pratiques dans la ralisation de produits, les reliant aux effets et utilisant les partenariats de manire stratgique; n La notation des progrs dans la ralisation des effets et des produits; n La notation de la pertinence de leffet.
5 . MTHODE OU APPROCHE DE L V A L UATION

Proposition dlments fondamentaux de la mthode appliquer par lquipe dvaluation. Dans le cas des valuations de projet ou deffet, cette section pourrait comporter des informations sur les lments ci-aprs : n tude de la documentation (tude sur dossier); n Entretiens; n Visites sur le terrain; n Questionnaires; n Techniques participatives et autres formules de collecte et danalyse de donnes; n Participation des parties prenantes ou partenaires. Dans le cas dune valuation deffet, il est recommand dajouter une brve description de la mthode dvaluation, en particulier de laccent mis sur le changement du dveloppement et le rle des partenaires.
6 . QUIPE DVALUAT I O N
Prciser le nombre dvaluateurs et leurs domaines de comptence, ainsi que leurs attributions respectives. Cest toujours au chef dquipe quil incombe de mettre au point le rapport. Les valuateurs peuvent tre internes ou externes, nationaux ou internationaux, et tre des particuliers ou des socits. Il peut tre beaucoup plus avantageux dutiliser des socits plutt que des particuliers. On trouvera dans le tableau ci-aprs les avantages et les inconvnients des deux formules.
7 . MODALITS DEXCUTION
Dtails concernant les modalits dexcution : n n Arrangements en matire de gestion et en particulier rle du bureau de pays et des partenaires du PNUD. Calendrier dexcution de lvaluation, y compris lchancier des activits suivantes : - tude sur dossier; - Instructions aux valuateurs;
130
AVANTAGES ET INCONVNIENTS DU RECOURS DES SOCITS DVALUATION ET DES VALUATEURS PRIVS SOCITS
Avantages 1. Les honoraires sont convenus selon un montant forfaitaire qui ne variera quen cas de modification des termes de rfrence. 2. Les membres de lquipe ont lhabitude de travailler ensemble. 3. La socit garantit la qualit des produits. 4. Une approche pluridisciplinaire est assure. 5. La procdure de recrutement est gnralement plus facile, encore quelle soit plus longue que pour un particulier. 6. La socit labore la mthode/ proposition concernant lvaluation. 1. Peuvent coter cher. 2. Si la socit a t trop en contact avec le thme ou lorganisation,cela pourrait compromettre la crdibilit de lopration. 3. Les membres de lquipe ont gnralement des approches et perspectives analogues, si bien que lon perd une partie du bnfice de positions diffrentes. 4. La procdure dappel doffres peut tre longue et lourde.
PARTICULIERS
1. Les particuliers peuvent tre hautement qualifis,extrmement spcialiss et compter de nombreuses annes dexprience. 2.La diversit des membres de lquipe contribue un dbat qui peut tre enrichissant. 3. Peuvent coter moins cher.
Inconvnients
1. Lidentification des consultants prend du temps. 2. La constitution dune quipe de professionnels qui nont jamais travaill ensemble pourrait nuire la cohsion et la cohrence des travaux et accrotre le risque de conflits entravant les progrs. 3. Toute modification du calendrier se traduit par des surcots : honoraires, indemnit journalire et voyages. 4. Cest le bureau de pays qui doit assurer la logistique.
- Visites sur le terrain, entretiens, questionnaires; - Entretien final; - Rdaction du rapport - Runion des parties prenantes; - Mise au point dfinitive du rapport; - Consultations et suivi. n Ressources ncessaires et appui logistique requis. Combien de consultants et dexperts faut-il et pendant combien de temps? Quels types de voyages faudra-t-il effectuer? Quel sera le matriel ncessaire? Les modalits de financement de lvaluation sont examines au stade de la planification, mais elles ne doivent pas apparatre dans le mandat proprement dit.
Dans le cas dune valuation deffet, ce sont lobjet et le calendrier de lvaluation qui dtermineront le temps ncessaire aux diffrentes parties. On trouvera dans le tableau 3, dans le chapitre 5, une comparaison type du temps et des ressources ncessaires aux valuations deffet. Le personnel du bureau de pays charg de grer lvaluation deffet, cest--dire le groupe deffet ou lquipe charge de lvaluation, devrait sinspirer de ces estimations temporelles pour tablir le budget dune valuation deffet.
131
Annexe C: Rapport annuel de projet

La prsentation du Rapport annuel de projet est ENTIREMENT LIBRE. Le rapport doit toutefois porter sur les principaux lments relatifs aux rsultats, savoir les progrs dans la ralisation des rsultats, les produits raliss et laction mene au sujet des partenariats et de lappui conseil. Chaque bureau peut ajouter tout autre lment quil souhaite, selon le projet et les effets.
Projet : __________________________________________________________________________________ [Insrer le nom et un titre court : CTY/99/002/D/99 Attnuation de la pauvret] Priode considre : ________________________________________________________________________ [Priode coule depuis le dernier rapport annuel de projet. Normalement,lexercice budgtaire,janvier 2001-dcembre 2002]
PERFORMANCE DU PROJET APPORT AUX OBJECTIFS DU CADRE DE RSULTATS STRATGIQUES (CRS)

[Le tableau ci-aprs analyse brivement lapport du projet, au cours de la priode considre, la ralisation dun effet. Le responsable du projet se concentrera sur la colonne le point sur les produits ,mais en tant quexpert,il peut galement avoir des observations ou des vues exprimer dans la colonne le point sur les effets . Tout projet contribue un effet.Si le projet ou programme comporte plusieurs composantes,il peut contribuer plus dun effet.Dans ce cas,mentionner ces effets, ou renvoyer les produits aux effets.] OBJECTIF DU CRS : [extraire du CRS] Effets Le point sur les effets OBJECTIF SECONDAIRE DU CRS : [extraire du CRS] Produits annuels Le point sur les produits Raisons pour lesquelles les progrs sont en de de lobjectif Le cas chant. Examinez les facteurs sousjacents et les raisons des lacunes dans le produits et la ralisation de lobjectif. DOMAINE DAPPUI STRATGIQUE : [extraire du CRS] Le point sur les stratgies de partenariat Brve mise jour sur toute ralisation ou problme (rapport par exception). Recommandations et mesures proposes
Produit [extrait du CRS]
Bref aperu de la situation et de tout changement observ,de toute contribution du projet.
Dans le cadre des produits du CRS, utilisez les objectifs du CRS. Dans le cas des autres produits, utilisez le descriptif de projet ou plan de travail.
Ralisations du projet dans les produits (indiquez sils sont stratgiques).En labsence dobjectifs du CRS, utilisez les donnes du plan de travail.
Interventions concernant toute question lie aux rsultats, lavancement des produits ou au partenariat. Mesures correctives. Responsabilits.
PERFORMANCE DU PROJET QUESTIONS DEXCUTION

[Certains problmes peuvent tre gnriques sans concerner un produit particulier ou bien ils peuvent sappliquer tous les produits.Dans ce cas,le responsable du projet donne des indications concernant les trois principaux problmes. Si cest indispensable, dautres problmes peuvent tre ajouts, encore que les autres problmes doivent normalement samliorer si les principaux problmes sont rgls. Si le tableau ci-dessus na pas couvert ces problmes,la prsente section peut tre laisse en blanc.] numrer les trois principaux problmes (au maximum) rencontrs au cours de lexcution et proposez une solution. Relevez les mesures dj prises pour rgler les problmes. 1. _____________________________________________________________________________________________________ 2. _____________________________________________________________________________________________________ 3. _____________________________________________________________________________________________________
132
N OTATION DES PROGRS DANS LA RALISATION DES EFFETS

[Si le bureau de pays a dcid dutiliser la notation de progrs comme outil,le responsable du projet indique sa notation des progrs dans la ralisation des produits. Par la suite, le responsable du programme marque son accord (ou note diffremment) et note les progrs dans la ralisation de leffet. Ces notations peuvent tre utilises par le bureau de pays ou le sige aux fins de lanalyse du rapport annuel ax sur les rsultats ou pour servir dapport aux valuations et dautres fins lies la validation des rsultats.] DANS LE CAS DES RSULTATS : o o o Changement positif (dtermin par une volution notable partir de la rfrence vers lobjectif final du CRS mesure par un indicateur de rsultat) Changement ngatif (retour un niveau infrieur la rfrence mesure par un indicateur de rsultat) Sans changement DANS LE CAS DES PRODUITS : Applicable chaque objectif de produit [Cela ne vaut que pour les produits stratgiques.Si les parties veulent une notation de tous les produits,ceux qui ne figurent pas dans le CRS seraient fonds sur le descriptif de projet, les plans de travail ou tout autre accord quand aux rsultats escompts.] o o o Non (non ralis) Partiel (seulement si les deux tiers au moins dun objectif quantitatif sont raliss) Oui (ralis)
APPUI CONSEIL NON FOURNI AU MOYEN DE PROJETS OU DE PROGRAMMES

[Lappui conseil contribue la ralisation de leffet ou des produits.Dans cette section,le responsable de projet est appel fournir des informations au sujet dactivits excutes sans avoir t prvues dans le plan de travail ou qui nont pas encore donn de rsultats concrets.Cette section a pour objet de dfinir des activits supplmentaires ou spcifiques excuter pour progresser dans la ralisation de leffet.Cette section du Rapport annuel de projet pourrait alimenter la section dinformation du Rapport annuel ax sur les rsultats pour le texte relatif la sensibilisation et au dialogue dintervention. Elle permet au bureau de pays et au projet de travailler dans le mme sens pour ce qui est de la sensibilisation et du dialogue.Si lappui conseil ne concerne pas le projet ou si elle constitue un sujet trop sensible,cette section peut ne pas tre remplie.] Quelles sont les principales activits dassistance douce excutes par le projet? _______________________________________________________________________________________________________ Quels sont les principaux obstacles au progrs dans la ralisation de leffet qui appellent un appui conseil? 1. _____________________________________________________________________________________________________ 2. _____________________________________________________________________________________________________ 3. _____________________________________________________________________________________________________ Veuillez proposer des lments dune stratgie dappui conseil pour lanne prochaine : ____________________________
ENSEIGNEMENTS TIRS
[Les enseignements tirs du Rapport annuel de projet devraient alimenter lanalyse de performance du Rapport annuel ax sur les rsultats ainsi que lexamen annuel, qui permet aux partenaires de rassembler et dchanger les enseignements tirs de tous les projets et Rapports annuels de projet.] Dcrivez brivement les principaux enseignements tirs au cours de lanne : 1. _____________________________________________________________________________________________________ 2. _____________________________________________________________________________________________________ 3. _____________________________________________________________________________________________________ tabli par : ________________________________________________________________ (Direction du projet,nom et titre) [Note : Les rapports devant dans la mesure du possible tre tablis sous forme lectronique, une signature nest pas ncessaire.Le resonsable de projet peut la communiquer dans un message lectronique,au moyen dun site Web ou par un programme informatique]
133
Annexe D: Rapport de visite sur le terrain

Le contenu du rapport de visite sur le terrain dpendra de lobjet de la visite. En tout tat de cause, un rapport de visite sur le terrain doit au moins examiner les progrs dans la ralisation des effets, ltat des produits, les partenariats, les principaux problmes et les mesures proposes. Le bureau de pays ou le Comit directeur des projets peut ventuellement demander des renseignements complmentaires. LA PRSENTATION DU RAPPORT CI-APRS PEUT TRE MODIFIE AU NIVEAU DU BUREAU DE PAYS EN FONCTION DES BESOINS LOCAUX.
Date de la visite : ___________________ Objet et lieu de la visite : _________________________________________________________________________________ [Numro et titre du (ou des) projet(s),endroit visit] Buta de la visite sur le terrain o Examen des progrs dans la ralisation des rsultats o Appui la prise des dcisions o Rglement de problme o Satisfaction et retour dinformation des bnficiaires o Apprentissage o Responsabilit o Autres (prcisez) ____________________________________________________________________________________
[Aux fins de cohrence,mme tableau que pour le Rapport annuel de projet.] OBJECTIF DU CRS : [extraire du CRS] Effets Le point sur les effets OBJECTIF SECONDAIRE DU CRS : [extraire du CRS] Produits annuels Le point sur les produits Raisons pour lesquelles les progrs sont en de de lobjectif Le cas chant. DOMAINE DAPPUI STRATGIQUE : [extraire du CRS] Le point sur les stratgies de partenariat Brve mise jour sur toute ralisation ou problme (rapport par exception). Recommandations et mesures proposes
Rsultat No 1 [du cadre de rsultats stratgiques]
Brve analyse de la situation et de tout changement observ,de toute contribution de projet.
Dans le cas des produits au titre du cadre de rsultats stratgiques, utilisez les objectifs de ce cadre. Pour les autres produits, utilisez le descriptif de projet ou plan de travail.
Ralisations du projet dans les produits (indiquez sils sont stratgiques). En labsence dobjectifs du CRS, utilisez les donnes du plan de travail.
Interventions concernant toute question lie aux rsultats, lavancement des produits ou au partenariat.. Mesures correctives. Responsabilits/ temps.
Rsultat No 2
Si le projet contribue plus dun rsultat.
134
PERFORMANCE DU PROJET QUESTIONS DEXCUTION

[Si la personne qui conduit la visite sur le terrain observe des problmes gnraux qui ne sont pas lis un produit particulier ou qui sappliquent tous les produits,examinez les trois principaux problmes.] numrez les trois principaux problmes (au maximum si tant est quil y ait des problmes) rencontrs dans lexcution et proposez une solution. 1. _____________________________________________________________________________________________________ 2. _____________________________________________________________________________________________________ 3. _____________________________________________________________________________________________________
N OTATION DES PROGRS DANS LA RALISATION DES EFFETS

[Si le bureau de pays a dcid dutiliser des notations dans le Rapport annuel de projet, il est utile dinclure ici une section analogue aux fins de validation.Le responsable de programme du PNUD ou toute autre personne menant la visite,indique sa notation des progrs.Le bureau de pays ou le sige peut utiliser cette notation aux fins de lanalsye du Rapport annuel ax sur les rsultats et le Comit directeur peut lutiliser aux fins danalyse et de suite donner ainsi quaux fins dvaluation.] DANS LE CAS DES EFFETS : o o o Changement positif (dtermin par une volution notable partir de la rfrence vers lobjectif final du CRS mesur par un indicateur deffet) Changement ngatif (retour un niveau infrieur la rfrence mesure par un indicateur deffet) Sans changement
DANS LE CAS DES PRODUITS : Appliqu chaque objectif de produit [Cela ne vaut que pour les produits stratgiques.Si les parties veulent une notation de tous les produits,ceux qui ne figurent pas dans le CRS seraient fonds sur le descriptif de projet, les plans de travail ou tout autre accord quand aux rsultats escompts.] o o o Non (non ralis) Partiel (seulement si les deux tiers au moins dun objectif quantitatif sont raliss) Oui (ralis)
ENSEIGNEMENTS TIRS
[Si,au cours de la visite,des enseignements se dgagent des entretiens avec les responsables ou les bnficiaires du projet, ou que le responsable du programme observe directement des enseignements,la prsente section peut tre remplie.] Dcrivez brivement les principaux enseignements tirs au cours de lexcution du projet : 1. _____________________________________________________________________________________________________ 2. _____________________________________________________________________________________________________ 3. _____________________________________________________________________________________________________ Participants la visite sur le terrain : [Si plus dune personne ont effectu la visite.] Rdig par : ____________________________________________________________________ (Nom,titre et organisation) [Note: La signature nest pas requise tant donn que les rapports devraient dans la mesure du possible tre tablis par voie lectronique.Le responsable de programme peut le transmettre dans un courrier lectronique,au moyen dun site Web ou par un programme informatique.]
ANNEXES
Liste des personnes rencontres [facultatif] Autres annexes
135
Annexe E: Menu doutils de suivi

Le tableau ci-aprs dcrit comment les trois principaux groupes concerns par lassistance du PNUD responsables de projet, responsables de programme et cadres suprieurs utiliseraient normalement le menu souple doutils de suivi dans un bureau de pays moyen ou grand. Les parties en gris dsignent un outil particulirement important pour le niveau donn.
PRINCIPALES RESPONSABILITS ET USAGES DES DIFFRENTS OUTILS DE SUIVI OUTIL/ MCANISME DE SUIVI
Rapport unifi dexcution, Rapport sur dexcution des projets Plans de travail de projet.
RESPONSABLE DE PROJET
Rdige et applique les rapports sur lexcution des projets aux fins de budgtisation et dvaluation des dpenses. Rdige et applique le plan de travail.Le communique au personnel du projet, au bureau de pays et au mcanisme directeur ventuel. Lutilise pour appliquer et examiner la stratgie du projet et planifier lutilisation des ressources. tabli comme convenu dans les descriptifs de projet ou avec le PNUD. Communiqu au personnel du projet,au bureau de pays et au mcanisme directeur ventuel.Sert prsenter les progrs et problmes. Peut les organiser priodiquement avec les bnficiaires du projet. Devraient idalement tre prvues dans le descriptif de projet.Les utilise pour adapter la stratgie.Communique les rsultats. Peut en prendre linitiative.Servent au rglement de problmes et lexamen de la stratgie. Ltablit dans le cadre du plan de travail. Lutilise pour communiquer les ralisations ou de nouvelles rflexions. Peut galement lutiliser aux fins de dialogue de politique gnrale.
RESPONSABLE DE PROGRAMME DU PNUD

Analyse du point de vue des dpenses en regard de la ligne budgtaire et du plan de travail. Rvise le budget au besoin.
CADRES SUPRIEURS DES BUREAUX DE PAYS DU PNUD

Non utilis,sauf en cas de problmes dexcution insuffisante ou de dpassement des cots. Nutilisent pas le plan de travail.Le responsable de programme peut les informer dvnements importants les intressant ou ncessitant leur appui.
Participe ltablissement de critres dans le plan de travail. Lexamine pour arrter les principaux rsultats et veiller ce que ces rsultats correspondent au cadre de rsultats stratgiques. Peut galement lutiliser pour examiner les activits et apports correspondants,ainsi que le budget.Utilise les jalons critiques aux fins dalerte rapide en cas dcart par rapport aux objectifs. Analyse les rapports du point de vue des rsultats et progrs.Prend les mesures ncessaires.Les communique ventuellement aux partenaires dans les effets. Peut les utiliser pour valuer lexcution du plan de travail et aux fins de nouvelles demandes de crdit.
Rapports dtape ou rapports trimestriels
Ne lutilise pas, moins que le responsible de programme ne les informe de problmes graves.
Runions de groupe de rflexions
Utilise les rsultats pour analyser et revoir la stratgie.Dfinit les enseignements tirs. Peut galement les utiliser avec les partenaires principaux pour obtenir un retour dinformation sur les effets, les experts chargs du suivi et de lvaluation sous contrat organisant la runion. Peut en prendre linitiative.Servent fournir un retour dinformation,rgler des problmes et examiner la stratgie.
Ne lutilisent pas. Ne sont informs par le responsable de programme quen cas de problme dorientation ou de mcontentement.
Runions bilatrales ou tripartites
Ny participent quen cas de problme dorientation ou de prise de dcisions ou en cas de participation des homologues du gouvernement. Ne lutilisent pas.Ne reoivent normalement que des rapports essentiels concernant des questions fondamentales; le responsable de programme peut attirer leur attention sur certaines questions.
Documentation technique du projet
Lanalyse du point de vue du contenu, de la qualit,des mesures prendre. En cas de rsultats importants,sassure de la conformit avec le plan de tra vail. Dfinit les questions de politique gnrale.Sert suivre les effets.
136
OUTIL/ MCANISME DE SUIVI

Rapport annuel de projet (RAP)*
tabli par le Conseiller technique principal ou le Directeur. Communiqu au personnel de projet, au bureau de pays et au mcanisme directeur ventuel. Note les progrs dans la ralisation des produits.

Donne des instructions au projet au sujet des questions supplmentaires inclure. Analyse du contenu,de la qualit et des mesures prendre.Note les progrs dans la ralisation des produits et effets et examine lauto-valuation des produits par le projet.Communique ce rapport aux rseaux dinformation.

Prennent les dcisions concernant les options fondamentales ou le suivi si le responsable de programme signale des problmes importants. Peuvent examiner les rapports annuels de projet dans le cas de grands programmes. Examinent les tendances. Peuvent dcider quune valuation de projet est requise.Arrtent les dcisions de principe avec les partenaires au sujet des recommandations et prparent u ne intervention. Le reprsentant rsident et la direction du bureau de pays sont galement encourags effectuer certaines visites sur le terrain.Prennent des dcisions au sujet des options fondamentales ou du suivi si le responsable de programme signale des problmes importants. Ne prennent des dcisions que si des problmes importants sont signals et suivent les tendances en cas de problmes de responsabilit gnrale.
valuation du projet
Peut demander cette valuation,qui est normalement prvue dans le descriptif de projet. Peut tre appel participer lorganisation de lvaluation.Fournit un appui et des informations. Prend des mesures. Fournit un appui et des informations la mission. Visitera les oprations dexcution sur le terrain.
Peut en prendre linitiative. Peut organiser lvaluation pour le compte du gouvernement.Communique les enseignements tirs.Suit les mesures prises.
Visites sur le terrain
Examine normalement au moins une fois par an chaque effet ou programme ou projet contribuant au cadre de rsultats stratgiques.La visite peut tre effectue par le responsable de programme,le conseiller, une quipe du bureau de pays, avec ou sans partenaire.Confirme les rsultats et recommande des mesures.
Visites de sondage
Ne sont normalement pas effectues,sauf ventuellement pour les contractants. Veille ce que des systmes soient en place en vue de sondage par le bureau de pays. Peut organiser ces enqutes pour obtenir un retour dinformation des bnficiaires au sujet de la performance ou des besoins du projet Non utilis.
Trs utiles pour contrler la responsabilit en matire dadministration et de gestion. Effectues par le groupe dappui des programmes,le responsable du programme ou le personnel administratif. Vrifie la responsabilit,formule des recommandations,identifie les goulets dtranglement et note les progrs. Peut faire procder des enqutes auprs des clients afin dobtenir un retour dinformation au sujet des progrs des effets. Les utilise aux fins de validation des rsultats ou indicateurs, et de mesures correctives. Peut charger des spcialistes externes deffectuer une validation technique indpendante des rsultats de projet, une analyse de la situation des effets, ou des travaux de recherche. Principal organisateur avec lquipe du bureau de pays et les partenaires.Fournit des informations au sujet des effets slectionner. Recrute lquipe dvaluation. Conduit llaboration des termes de rfrence.Assure la participation et les consultations.
Enqutes auprs des clients
Prennent des mesures en fonction des rsultats des enqutes,cest-dire sensibilisation ou mesures correctives, stratgie des effets. Dcident de lutilisation stratgique de spcialistes extrieurs.Utilisent les rsultats aux fins de retour dinformation aux partenaires au sujet des effets. Prennent les dcisions stratgiques au sujet des rsultats rvaluer avec les partenaires. Communiquent le rapport dvaluation aux principaux partenaires.Conduisent lintervention de gestion. Prennent les mesures de suivi.Suivent lapplication des recommandations.
valuations ou suivi externes
valuation des effets
Fournit des informations et un appui lvaluation.Prend des mesures de suivi si les progrs dans la ralisation des effets sont faibles.
137
OUTIL/ MCANISME DE SUIVI

Comits/ mcanismes directeurs
Communique les rapports annuels de projet et autres documents.Organise les runions.Donne suite aux dcisions et adapte la stratgie. Assure normalement lorganisation,selon le plan de travail.Sert adapter la stratgie sur la base du retour dinformation des bnficiaires.

Travaille avec le projet afin dassurer le centrage de la planification et des rsultats ainsi que le suivi. Communique les approches de gestion axe sur les rsultats. Contrle le suivi.[Dans le cas des comits directeurs chargs des effets, voir le groupe charg des effets]. Encourage les runions de parties prenantes consacres aux rsultats ou aux projets qui pourraient tre utiles.Assure le suivi du plan daction rsultant de latelier. Sert valuer les ralisations des rsultats au moyen des vues des bnficiaires.Sert rorienter les oprations afin de progresser dans la ralisation des effets. Organise et participe,et peut assurer la direction des travaux de groupe.value ltat des produits et effets stratgiques, assure lexcution concernant le suivi des effets.labore et communique des enseignements. Dfinit lapproche stratgique en vue des rsultats. Participe lvaluation des effets. Communique les points saillants des rapports,des valuations et des enseignements tirs sur la base des tendances et questions essentielles des rapports annuels de projet. Consigne les conclusions et assure le suivi de chaque rsultat. Participe aux runions dexamen. Participe ltablissement du rapport annuel ax sur les rsultats.

Peuvent conduire les runions. Ne peuvent tre informs par les responsables de programme que des grandes questions dorientation ou des problmes nouveaux.
Runion des parties prenantes ou atelier
Suivi des questions dintervention.Sensibilisation aux fins de changements ventuellement dgags de latelier. Sert raliser un consensus autour des priorits. Sert dapport lexamen et aux valuations annuelles.
Groupe charg des effets
Participe.Fournit des informations au sujet des rsultats et activits dans le cas de projet li aux produits et aux effets. Modifie lapproche en fonction du retour dinfor mation du groupe.
Peuvent diriger le groupe, surtout si des partenaires extrieurs en font partie. Appliquent les apports des groupes chargs des effets lexamen annuel.Interviennent en cas de questions de politique gnrale.
Examen annuel
Fournit les rapports annuels de projet en tant quoutils de discussion. Peut participer selon la question examine. Adapte la stratgie sur la base de lexamen.
Direction et consultation. Constitue un consensus et une entente mutuelle avec les partenaires au sujet des rsultats et de la performance.Sert dapport lvaluation par lquipe de pays des Nations Unies des progrs dans la ralisation des objectifs du Plan-cadre des Nations Unies pour laide au dveloppement. Conduisent la planification des travaux du bureau de pays pour lanne suivante.Suivent lapplication des principales dcisions. Dirigent les groupes au niveau des responsables des organismes ou y participent.Assurent le centrage des rsultats. Fournissent un apport aux rapports annuels axs sur les rsultats. Dirigent les groupes au niveau des responsables des organismes ou y participent.Assurent le centrage des rsultats. Fournissent un apport aux rapports annuels axs sur les rsultats. Dcident de lexcution et de lutilisation de ces valuations. Conduit le suivi et lapprentissage. Apport aux rapports annuels axs sur les rsultats Lutilisent comme un outil de gestion.Assurent la liaison avec le sige.Communication aux principaux partenaires.
Groupe de coordination des donateurs
Rarement utilis.
Peut participer. Assure le retour dinformation aux projets.
valuation des bilans communs de pays et du Plan-cadre des Nations Unies pour laide au dveloppement valuations thmatiques et valuations dimpact Rapport annuel ax sur les rsultats
Rarement utilis. Peut fournir des renseignements sur des questions thmatiques ou techniques. Rarement utilis.
Peut participer. Applique les enseignements tirs la programmation.Assure le retour dinformation aux projets.
Peut tre consult aux fins dinformation.Applique les enseignements tirs la programmation. Prpare le projet dans le cadre dune quipe,sur la base des rapports annuels de projet et de lexamen annuel.Fournit un retour dinformation aux projets.
Fournira des informations au moyen du rapport annuel de projet. Peut recevoir ce projet aux fins de retour dinformation.
138
P ROGRAMME DES NATIONS UNIES POUR LE DVELOPPEMENT

Bureau de lvaluation du PNUD, 2002 Bureau de lvaluation Programme des Nations Unies pour le dveloppement One United Nations Plaza New York, NY 10017, USA Tel. (212) 906 5095, Fax (212) 906 6008 Internet: http://intra.undp.org.eo or http://www.undp.org/eo

FR M&E Handbook

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

FR M&E Handbook

Transféré par

Droits d'auteur :

Formats disponibles

Guide du suivi et de lvaluation axs sur les rsultats

P ROGRAMME DES NATIONS UNIES POUR LE DVELOPPEMENT B U R E AU DE L VA L UATION

PROGRAMME DES NATIONS UNIES POUR LE DVELOPPEMENT BUREAU DE LVALUATION

Guide du suivi et de lvaluation axs sur les rsultats

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

Khalid Malik Directeur Bureau de lEvaluation

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

LE CADRE DU SUIVI ET DE L V A L UAT I O N

PARTIE II. LE SUIVI ET L V A L UAT I O N

PARTIE III. SUIVI ET VALUATION DE LA PERFORMANCE

PARTIE IV. EXPLOITATION DES DONNES DE SUIVI ET DVALUATION

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

Objets et dfinitions A. Objets du suivi et de lvaluation B. Dfinitions du suivi et de lvaluation

Tableau 1. Tableau 2. Tableau 3. Tableau 4.

A. Objects du suivi et de lvaluation

FIGURE 1. OBJETS DU SUIVI ET DE LVALUATION

tre responsable et se recentrer

Renforcement Tirer les des capacits leons de lexprience

B. Dfinitions du suivi et de lvaluation

PRODUITS n Ralisation dtudes n Nombre de personnes formes

EFFETS Augmentation des revenus n Cration demplois

IMPACT n Amlioration des conditions de sant n Allongement de la dure de vie

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

Le passage la gestion axe sur les rsultats

A. Suivi et valuation dans le contexte de la gestion axe sur les rsultats

SUIVI DES EFFETS

LMENTS DU SUIVI DES EFFETS (appliqus une srie dinterventions et stratgies)

V A L UATION DES EFFETS

RAPPORT ENTRE SUIVI DES EFFETS ET VALUATION DES EFFETS

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

I M P O R TANCE DES PA R T E N A R I ATS

I M P O R TANCE DE LAPPUI CONSEIL

L VOLUTION VERS UNE GESTION AXE SUR LES RSULTATS

ENCADR 1.RLES DES PARTENAIRES DANS LE SUIVI ET LVALUATION

Les partenaires du dveloppement Les parties prenantes

L VOLUTION VERS UNE GESTION AXE SUR LES RSULTATS

B. Incidences pour le bureau de pays

USAID, Recent Practices in Monitoring and Evaluation,TIPS, No 14,2000

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

Feuille dinformation sur lvaluation de projet

Rapport de projet annuel

Visites sur le terrain

Veuillez consulter Partie II, Chapitre 5.

L VOLUTION VERS UNE GESTION AXE SUR LES RSULTATS

CHANGEMENTS DANS LES OUTILS ET PROCDURES

QUOI? Informations requises

POURQUOI? quelles fins?

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

PROBLMES PRATIQUES QUI SE POSENT AUX CHARGS DE PROGRAMME

RESPONSABILITS DES CHARGS DE PROGRAMME EN MATIRE DE SUIVI ET DVALUATION

Meilleure excution des produits des projets

L VOLUTION VERS UNE GESTION AXE SUR LES RSULTATS

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

Planification du suivi et de lvaluation

A. Principes de base de la planification

FIGURE 1. PLAN DE TRAVAIL DU BUREAU DE PAYS

Plan de travail gnral

Plan de travail pour le contrle et lvaluation Plan de travail du projet

P L A N I F I C ATION AU NIVEAU DU PROGRAMME DE PAY S

P L A N I F I C ATION DU SUIVI ET DE L VA L UAT I O N

GUIDE DU SUIVI ET DE L VA L UATION AXS SUR LES RSULTAT S

ENCADR 1. PLANIFICATION DES VALUATIONS DEFFET DANS LE CADRE DU PROGRAMME DE PAYS