Académique Documents
Professionnel Documents
Culture Documents
de Valerie Stetson
Depuis 1943, Catholic Relief Services (CRS) a le privilge de servir les pauvres et les personnes dfavorises dans le monde. Sans distinction de race, de religion ou de nationalit, CRS apporte une assistance durgence la suite de catastrophes naturelles ou causes par lhomme. Par le biais de projets de dveloppement dans des domaines de lducation, la paix et la justice, lagriculture, la microfinance, la sant et le VIH/Sida, CRS travaille faire respecter la dignit humaine et promouvoir une meilleure qualit de vie. CRS travaille aussi aux tats-Unis pour mieux faire connatre aux catholiques et autres personnes intresses les problmes de paix et de justice internationales afin quils agissent en ce sens. Ses programmes et ses ressources rpondent lappel des vques des tats-Unis qui demandent de vivre dans la solidarit, comme une seule famille humaine, par del les frontires, les ocans et les diffrences de langues, de cultures et de conditions conomiques. Par des initiatives mondiales et des programmes au niveau des communauts, la Croix Rouge Amricaine aide les personnes vulnrables partout dans le monde prvenir les catastrophes, les urgences humanitaires complexes et les conditions sanitaires dangereuses, sy prparer et y rpondre. En se concentrant sur la sant au niveau mondial, la prparation et la raction aux catastrophes, la restauration des liens familiaux et la dissmination de la loi humanitaire internationale, la Croix Rouge Amricaine offre une assistance humanitaire rapide, efficace et de grande ampleur aux personnes dans le besoin. Pour raliser ses buts, la Croix Rouge Amricaine travaille avec ses partenaires dans le mouvement international de la Croix Rouge et du Croissant Rouge et avec dautres organisations internationales dassistance et de dveloppement pour dvelopper les capacits locales, mobiliser et habiliter les communauts et tablir des partenariats. Son programme le plus important est actuellement le Programme de Reconstruction aprs le Tsunami, qui amliore la sant communautaire et prvient les pidmies, appuie les communauts pour reconstruire leur vie et rtablir leurs moyens dexistence, et aide les socits concernes de la Croix Rouge et du Croissant Rouge, ainsi que leurs communauts, dvelopper des capacits de prparation aux catastrophes. Publi en 2008 par : Catholic Relief Services 228 W. Lexington Street Baltimore, MD 21201-3413 USA American Red Cross 2025 E Street, NW Washington, DC 20006 USA
Auteur : Valerie Stetson diteur de la srie : Guy Sharrock (CRS) Lecteurs/correcteurs : Carolyn Fanelli, Cynthia Green, Joe Schultz (CRS), and Dina Towbin Traductrice : Odile Adjavon Rvision : Alexandre Diouf Concepteur graphique : Jeanne Ivy Photo de couverture : Sean Sprague Ce module a t produit par CRS et la Croix Rouge Amricaine avec un appui financier des subventions Food for Peace (FFP) de lAgence des tats-Unis pour le Dveloppement International (USAID) : Subvention de dveloppement des capacits institutionnelles du CRS (AFP A-00-03-00015-00) et Subvention de dveloppement des capacits institutionnelles de la Croix Rouge Amricaine (AFP A-00-00007-00). Les points de vue exprims dan ce documents sont ceux de lauteur et ne reprsentent pas ncessairement ceux de lUSAID ou de FFP. Pour voir la srie complte, veuillez aller sur le site : www.crs.org ou www.redcross.org.
iv iv v
vi vii
16
37 39 41 46 Annexe I Rfrences et suggestions de lectures Annexe II Check-list pour un rapport dvaluation de Gary Miron Annexe III Modle de rsum excutif Annexe IV Brochure
iii
Prface
Le suivi et lvaluation (S&E) sont des responsabilits centrales des gestionnaires de programmes de la Croix Rouge Amricaine et de CRS, qui permettent de garantir la qualit de la programmation. Le module Communiquer et rendre compte dune valuation fait partie dune srie de modules de formation et de renforcement des capacits sur laquelle la Croix Rouge Amricaine et CRS ont dcid de collaborer dans le cadre de leurs subventions respectives de dveloppement des capacits institutionnelles. Ces modules sont conus pour rpondre des besoins identifis sur le terrain de directives et doutils particuliers qui ne semblaient pas pouvoir tre trouvs dans des publications existantes. Bien que les exemples des modules concernent principalement les programmes du Titre II, les directives et les outils fournis sont valables en dehors du domaine de la scurit alimentaire. Notre intention, en crivant Communiquer et rendre compte dune valuation tait de donner des informations qui aide les employs des organisations non gouvernementales faciliter lapprentissage des individus, des groupes et des organisations en communiquant et en rendant compte de faon plus efficace des valuations et de leurs rsultats pour que toutes les parties prenantes tirent le maximum de lvaluation des programmes. Ce module a tir une grande partie de son inspiration et des ses ides de Torres et al. (2005). Veuillez envoyer vos commentaires et vos suggestions sur ce module par e-mail m&efeedback@crs.org.
Citation recommande : Stetson, Valerie, 2008. Communiquer et rendre compte dune valuation, Srie de modules sur le S&E, Croix Rouge amricaine/CRS. Croix Rouge amricaine et CRS, Washington, DC, et Baltimore, Maryland.
Remerciements
Lauteur voudrait remercier tous ceux qui ont contribu ce document en partageant leurs ides et leurs perspectives. Elle voudrait aussi insister sur la contribution des correcteurs, en particulier Guy Sharrock (CRS), Alice Willard (qui travaillait pour la Croix Rouge Amricaine) et Carolyn Fanelli (CRS/ Zimbabwe). Nous voudrions aussi reconnatre le travail de Dina Towbin (consultante) dont le travail ditorial a aid guider le document dans ses dernires phases et Joe Schultz et Jeanne Ivy qui taient responsables du travail de prsentation graphique.
iv
Sigles
aea CRS FFP MaRP eBu onG S&e SCF uSaiD viH/sida Wv
American Evaluation Association (Association amricaine dvaluation) Catholic Relief Services Food for Peace (Nourriture pour la paix) Mthode acclre de recherche participative Evaluation base sur lutilisation Organisation non gouvernementale Suivi et valuation Fdration Save the Children United States Agency for International Development(Agence des tats-Unis pour le dveloppement international) Virus dimmunodficience humain/syndrome dimmunodficience acquise World Vision
Glossaire
Activits de rflexion critique : Quand des individus ou des groupes sont invits interprter des informations comme des rsultats dvaluation y rflchir, les comprendre et les analyser, dans une atmosphre de respect et douverture. Les activits de rflexion critique encouragent le dialogue, un change dides et dopinions qui permet dapprendre plus et de prendre conscience des valeurs, convictions et hypothses sous-jacentes. Apprentissage organisationnel : Cest un processus continu et dynamique de croissance et damlioration qui utilise les informations (comme les rsultats des valuations) pour faire des changements. Communiquer/communication : Cela peut tre dfini comme une transmission linaire dinformations dun metteur, par lintermdiaire dun canal de transmission, un rcepteur ou comme un processus par lequel des informations sont changes entre des individus. Dans ce module, la communication est vue comme un processus dynamique et continu dinteraction significative entre les parties prenantes de lvaluation. Diffusion : La communication des actions par des comptes-rendus crits, oraux et/ou audio-visuels des valuateurs pour que tous les publics qui ont le droit de savoir puissent avoir connaissance des rsultats de lvaluation. La diffusion nest pas lutilisation, bien quelle soit une action importante qui encourage lutilisation. valuation base sur lutilisation : Cest une approche qui offre un cadre conceptuel pratique pour concevoir et mener les valuations de manire amliorer leur utilisation. Elle concerne la fois la faon dont les parties prenantes appliquent les rsultats de lvaluation et la manire dont elles vivent le processus dvaluation. Gestion des connaissances : Comment les constatations et les informations sont saisies, organises et partages, selon un calendrier. Gestionnaire dvaluation : Lemploy de lONG souvent le chef de lunit de S&E ou le directeur du programme dsign par la direction pour grer lvaluation. Ses principales responsabilits sont gnralement de prparer lvaluation (compiler un livre dinstructions, prparer un cahier des charges), daider lquipe dvaluation et le chef dquipe durant lvaluation et de faciliter lutilisation de lvaluation. Le gestionnaire dvaluation est
vi
Glossaire
gnralement charg de soccuper de la communication et des comptes rendus de lvaluation. Parties prenantes de lvaluation : Ce sont les individus, les groupes et/ou les organisations qui peuvent influer sur la planification, les activits ou les rsultats de lvaluation ou qui peuvent tre affects par ceux-ci. Public de lvaluation : Les personnes qui reoivent les informations sur lvaluation et ses rsultats. Les publics comprennent, entre autres, les parties prenantes (par ex. les employs dautres organisations non gouvernementales [ONG] qui pourraient bnficier dinformations sur un programme particulier) Rendre compte : Prsenter les informations rsultant dune activit dvaluation. Les rapports bass sur des faits sont une approche de rdaction de rapports o de ce qui est dit des progrs dun projet qui est justifi par des informations vrifiables. Certains rapports insistent beaucoup sur les progrs faits mais apportent peu de preuves justifiant ce qui est crit.
vii
Rsum excutif
Une stratgie de communication et de rapports comprend un rapport crit final dvaluation ainsi que dautres formes interactives de communication et de rapports pour permettre que lvaluation soit comprise et utilise.
et quon rende compte de faon efficace des processus et des rsultats des valuations. Limplication active des parties prenantes de lvaluation toutes les phases dune valuation en permet lappropriation et lutilisation. Une stratgie de communication et de comptes rendus comprend un rapport crit final dvaluation ainsi que dautres formes interactives de communication et de comptes rendus pour permettre que lvaluation soit comprise et utilise. Communiquer et rendre compte dune valuation a pour objectif daider le personnel des ONG faciliter lapprentissage dindividus, de groupes et dorganisations en communiquant et en rendant compte de faon plus efficace des processus et des rsultats des valuations. Les expriences russies montrent quil faut planifier la communication et les comptes rendus sur une valuation depuis le dbut, leur consacrer un budget et des ressources et quil faut inclure toutes les activits qui seront menes tout au long de lvaluation. Les comptes rendus doivent avoir des formes varies, adaptes ce que veut savoir le public et ils doivent tre fournis au bon moment. Les rapports crits doivent utiliser un langage clair, sans jargon technique et ils doivent comporter des lments visuels, comme des graphiques, des tableaux, des photos et/ou des illustrations. Pour planifier une stratgie efficace de communication et de comptes rendus, les employs de lONG doivent rflchir aux caractristiques des parties prenantes et des publics de lvaluation, lobjectif de la communication et la meilleure faon de communiquer avec eux. Une stratgie de communication et de comptes rendus rflchit aux activits de toutes les phases de lvaluation. Par exemple, pendant lvaluation, on rend compte des progrs et des rsultats prliminaires. Aprs lvaluation, le rapport est diffus vers les publics extrieurs. Un rapport final est la meilleure manire de communiquer une valuation. On peut envisager dautres formats : des communications brves, comme des brochures ou des bulletins, des prsentations orales aux runions de bilan ou des formats cratifs, comme le thtre. Les activits de rflexion critique, comme des sessions de travail, utilisent des mthodes danimation pour aider les parties prenantes et les publics simpliquer activement dans les rsultats de lvaluation. Les formats lectroniques peuvent aider diffuser les rapports un public important. Des communications lectroniques en temps rel, comme des confrences par Internet, permettent des parties prenantes loignes de lire une valuation et den discuter.
viii
Introduction
La communication et les comptes rendus la fois sur le processus et sur les rsultats de lvaluation sont cruciaux pour quil puisse y avoir une comprhension, un apprentissage et une utilisation.
bass sur les rsultats. Cest un catalyseur pour lapprentissage organisationnel (McMillan et Willard, 2008 ; Torres et al., 2005 ; Willard, 2008). De nombreuses ONG ont maintenant un ordre du jour dapprentissage organisationnel et ont le personnel ncessaire pour raliser cet ordre du jour. Patton (1997) insiste sur lutilisation et lapplication de nouvelles connaissances tires dune valuation et suggre que la responsabilit dun valuateur est la fois de faciliter lutilisation des rsultats et de les diffuser. La communication et les comptes rendus sur le processus comme sur les rsultats de lvaluation sont centraux pour quil puisse y avoir une comprhension, un apprentissage et une utilisation. Et pourtant, les valuateurs se plaignent rgulirement que leurs rapports dvaluation ne sont pas lus ou ne sont pas partags et, dans certains cas, que les recommandations du rapport ne sont pas utilises (Torres et al., 2005). Les valuateurs, les gestionnaires ou les dirigeants des organisations supposent parfois que les gens vont comprendre les recommandations dune valuation, vont tre daccord avec elles, y faire attention ou envisager dagir sur la base de ces recommandations (Rochow, 2005). lapprentissage organisationnel est un processus continu et dynamique de croissance et damlioration qui utilise des informations telles que les constatations de lvaluation pour faire des changements. la gestion de la connaissance et la manire dont les constatations et les informations sont saisies, organises et partages au bon moment. lutilisation de lvaluation est la manire dont les gens appliquent les rsultats de lvaluation et aussi dont ils vivent le processus dvaluation.
Une implication active des parties prenantes de lvaluation du dbut la fin amliore leur comprhension, leur appropriation et leur utilisation de lvaluation (Patton, 1997). Si les rapports crits finaux sont le produit le plus important de lvaluation, dautres formes de communication et de compte rendus aident la comprhension et lutilisation (Torres et al., 2005).
Introduction
Presque tous les employs dONG ont des responsabilits de suivi et valuation (S&E) et certains peuvent mme diriger une unit de S&E. En plus de son travail de tous les jours, la direction choisit souvent un employ de S&E de lONG pour jouer le rle de gestionnaire de lvaluation pour dimportantes valuations mi-parcours ou finales menes par un expert ou une quipe externe. Arms des directives pour une communiquer et rendre compte efficacement, les gestionnaires dvaluation des ONG pourront mieux grer les valuateurs externes et faciliter lvaluation pour en amliorer lutilisation. Co module complte une srie en trois partie sur lvaluation : 1. 2. 3. Prparer une valuation Grer et mettre en uvre une valuation Communiquer et rendre compte dune valuation
Communiquer et rendre compte dune valuation envisage toutes les phases dune valuation depuis la planification du dbut jusquau rapport final et la suite. Des ides pour communiquer et rendre compte dune valuation sont contenues dans le premier et le second module. Le prsent module dveloppe ces ides en donnant des directives pratiques dtailles pour des stratgies de communication et de comptes rendus.
Introduction
Les valuations EBU commencent par lidentification des utilisateurs principaux et des informations dont ils ont besoin. On appelle souvent cela une analyse des parties prenantes de lvaluation. Ces parties prenantes participent aux principales activits et dcisions de lvaluation qui vont de la rdaction du cahier des charges llaboration ou la revue des recommandations de lvaluation.
communication et de comptes rendus efficaces ? Quest-ce qui empche de russir ? En apprenant ce que la communaut de lvaluation a dcouvert au cours du temps, les employs des ONG pourront appliquer les bonnes pratiques et tre conscients des difficults possibles (et donc les viter ou les attnuer). Rflchissez vos propres expriences positives de communication et de comptes rendus puis comparez-les aux connaissances rsumes ci-dessous. Cette section du module tudie les pratiques efficaces et les difficults et met en avant certaines pratiques thiques de lvaluation pour communiquer et rendre compte.
Toutes les formes de communications et de comptes rendus Ce sont les utilisateurs ! doivent tre faites sur mesure pour ce que le public a besoin de
savoir. Les valuateurs doivent comprendre comme diffrentes parties prenantes, individus et groupes, apprennent et traitent les informations. vitez de produire des rapports trop longs et trop thoriques pour des dcideurs trop occups ou de ngliger des parties prenantes analphabtes ou moins puissantes.
Des comptes-rendus de formes varies permettent de mieux comprendre. Cela va des rapports dvaluation finale et des rsums excutifs des sessions de travail, des sessions de thtre ou des prsentations par affiche. Le Tableau 6, ci-dessous, donne une liste plus complte doptions de formes de comptes-rendus. Les formes crites de comptes-rendus, comme les rapports, les rsums excutifs et les fiches dinformation, doivent utiliser un langage clair et sans jargon technique et comprendre des lments visuels, comme des graphiques, des tableaux ou des illustrations pour communiquer rapidement les informations et les constatations. Il faut prsenter des donnes quantitatives avec des donnes qualitatives. Les recommandations doivent tre classes par ordre de priorit. Elles seront concrtes, spcifiques et faisables.
Collaborer et interagir
Communicating is a two-way street. Collaboration is powerfulnot only does it increase ownership and enhance use by stakeholdersit also is respectful of others and can lead to better evaluation recommendations. Use Table 2 to determine if your communicating and reporting strategies and formats include interactive methods that involve stakeholders.
Potentiellement interactif
Prsentations orales Prsentations par affiche Thtre
Plus interactif
Sessions de travail Communications lectroniques en temps rel Discussions en tte--tte
La collaboration peut tre utilise pendant toutes les phases dune valuation. Par exemple, on peut discuter des formats possibles de comptes rendus durant la phase de planification, les parties prenantes peuvent tre impliques dans linterprtation des rsultats provisoires durant la phase de mise en
uvre et on peut tenir des runions pour partager les premires versions des rapports durant la phase finale. Noubliez pas dinclure dans le plan dvaluation le temps et les autres ressources, comme les cots des runions, par exemple, qui seront ncessaires pour ces types dactivits.
Tableau 3 : Garantir des pratiques thiques dans la communication et les comptes rendus
Action
Comprendre les valeurs culturelles et sociales de tous les participants
Ne jamais rvler le nom des participants quand vous rendez compte des rsultats de lvaluation Faites attention ce que dautres parties nutilisent pas les donnes pour des objectifs diffrents de ceux qui avaient t accepts par les personnes qui ont fourni les donnes Faites attention la divulgation des rsultats de lvaluation, que ce soit par des communications crites ou orales Protgez les droits des enfants et des adolescents
Rflchir la communication et aux comptes rendus lors de la planification de lvaluation. Il est important dy penser ds le dpart.
commence ds la premire runion avec les parties prenantes de lvaluation et continue tout au long des trois phases de lvaluation. Phase 1 : Planification et prparation dune valuation Phase 2 : mise en uvre et gestion dune valuation Phase 3 : Utilisation des rsultats de lvaluation Traditionnellement, les parties prenantes de lvaluation regardent le rapport final comme le sommet et la distribution du rapport comme le principal mcanisme permettant lutilisation (Patton, 1997). Trop souvent, le bailleur de fonds est considr comme le principal public. Tout en reconnaissant limportance du rapport final dvaluation et du bailleur de fonds du programme, il faut une stratgie de communication et de comptes rendus plus complte pour promouvoir lapprentissage et lutilisation de lvaluation. La pratique montre que si lon implique continuellement les parties prenantes (cest--dire quon noublie pas les partenaires locaux et les communauts) et quon discute de lvaluation, cela mne plus dappui, plus dappropriation, plus dintrt et dutilisation (Torres et al., 2002 ; Guijit et Woodhill, 2002). La prochaine section donne des directives sur la faon de communiquer et de rendre compte tout au long de toutes les phases dune valuation.
Quatre tapes pour bien communiquer et rendre compte des rsultats de lvaluation
Le module Prparer une valuation dcrit lanalyse des parties prenantes de lvaluation comme une tape importante de la planification de lvaluation. Les parties prenantes de lvaluation peuvent aller du bailleur de fonds du projet jusqu un groupe de femmes de la communaut. Elles peuvent avoir accs lInternet haut dbit ou tre analphabtes et vivre dans un village isol sans lectricit. Elles peuvent vouloir suivre la progression de lvaluation, apprendre comment amliorer leurs conditions ou prendre une dcision de financement sur la base des rsultats de lvaluation. Les stratgies de communication et de comptes rendus doivent rpondre aux situations et aux besoins varis des diffrentes parties prenantes et des diffrents publics de lvaluation. Les tapes ci-dessous vous aideront laborer une stratgie ractive de communication et de comptes rendus. Notez que ces tapes ne sont quune partie du plan dvaluation complet.
Culture organisationnelle pas optimale cest--dire le style dopration de la direction, la faon dont lautorit et la responsabilit sont assignes ou dont les employs reoivent une formation continue
Pour une conscientisation Pour obtenir un appui Pour montrer du respect Pour voir la progression de lvaluation Pour apprendre et samliorer Pour promouvoir le dialogue et la comprhension parmi les partenaires Pour valuer la probabilit dun appui dans lavenir Pour aider laborer les recommandations Pour sassurer que les recommandations seront utilises
3. Ont-ils besoin dtre impliqus dans la prise de dcisions ? Et, si oui, quand et pour quelle raison ?
3e tape
Maintenant que les besoins du public ont t identifis, la prochaine tape sera de choisir la meilleure mthode de communication. Relisez lobjectif de lvaluation dans le cahier des charges de lvaluation et voyez ce que les parties prenantes ont exprim comme attentes. Puis, posez aux parties prenantes individuelles ou aux groupes les questions suivantes :
1. Dans quelle mesure connaissent-ils le programme ou le projet quon value ? 2. Quelle exprience ont-ils de lutilisation des rsultats dvaluation? 3. Quel est leur niveau de lecture ?
Trs bien Un peu Pas du tout Une longue exprience Un peu dexprience Pas dexprience Bon Moyen Faible ou ne savent pas lire (analphabtes) ______ pour crire ______ pour lire Facilement Avec un peu deffort Isols
10
Rapport final dvaluation avec rsum excutif Une runion de bilan sera tenue au bureau du bailleur de fonds pour prsenter les rsultats, les recommandations et les actions prvues
Lquipe dvaluation prparera les rapports crits. Le personnel du sige de lONG prparera lordre du jour et la prsentation de la runion de bilan. Cot dimpression pour 25 exemplaires du rapport crit ; frais de voyage des employs pour aller la runion Washington, DC ; temps de prparation de la runion de bilan
Noubliez pas quil est Comme le montre la colonne de important de prvoir ds le droite du Tableau 5, ci-dessus, les dbut le budget pour tous les frais cots de lvaluation sont une partie de lvaluation. importante de la planification de lvaluation. Ceux qui planifient lvaluation oublient souvent de prvoir au budget les cots de limpression, des runions (voyage et lieu de runion) et de la distribution des rsultats de lvaluation. Quand les ressources manquent, il est trop facile doublier de rendre des comptes aux communauts ou dautres groupes de parties prenantes. Les cots de la traduction, de limpression et de lemballage peuvent varier selon le pays et les imprimeries. Il faut discuter des prix assez tt pour sassurer que la stratgie de communication et de comptes rendus est raliste et que lon ne puise pas dans le budget prvu pour dautres activits ncessaires de lvaluation. Le dernier lment dune stratgie de communication et de comptes rendus est la varit des formes et des activits qui seront utilises tout au long de lvaluation, selon le temps et les ressources disponibles. Vous trouverez dans le Tableau 6, ci-dessous, un choix de formats, descriptions et conseils pour communiquer et rendre compte dune valuation. La stratgie de communication et de comptes rendus comprend presque toujours un rapport crit final. Au dbut, prparez pour le rapport un plan qui tienne compte des utilisateurs et autres publics. Ce plan permet de structurer lvaluation, joue le rle de check-list des sujets devant tre couverts et aide lquipe dvaluation avancer dans ce travail prenant. Par exemple, les sections sur la description du programme et la mthodologie peuvent tre rdiges ds que lvaluation a commenc. Faites aussi savoir rapidement aux parties prenantes comment et quand lquipe communiquera avec elles.
Limportance du budget
11
Continuer la communication et les comptes rendus avec les parties prenantes durant lvaluation
Durant la mise en uvre de lvaluation, prvoyez des plans pour informer les parties prenantes ou les remercier de leur participation la collecte des donnes, pour communiquer avec elles et leur rendre compte de lavancement de lvaluation et pour prsenter et discuter les rsultats provisoires avec ces personnes ou ces groupes. Les activits de communication et de comptes rendus avec les parties prenantes comprendront, par exemple : Des runions avec les chefs de village et les bnficiaires pour mettre sur pied des entretiens et des runions de feedback un moment qui les arrange
1 De brves runions priodiques o lquipe dvaluation tient un petit groupe de parties prenantes cls (par exemple le reprsentant rsidant de lONG) au courant de lavancement de lvaluation 1 Des e-mails hebdomadaires de lquipe dvaluation sur le terrain dcrivant lavancement et prsentant les ides prliminaires qui sont envoys aux parties prenantes bases dans la capitale ou au sige 1 Des tables rondes mensuelles pour tenir au courant et informer un groupe plus important de parties prenantes (par exemple les ONG et leurs partenaires).
Pour plus dinformations sur la faon de communiquer et de rendre compte dune valuation, se reporter Willard (2008).
12
normes dvaluation des programmes pour les recommandations et les comptes rendus
Demander le feedback de divers participants du programme sur la crdibilit des interprtations, explication, conclusions et recommandations de lvaluation avant de finaliser le rapport. Discuter des erreurs courantes dinterprtation et des dductions fausses qui peuvent tre faites sur les informations collectes. Source : Joint Committee on Standards 2004.
Lapproche de lvaluation base sur lutilisation (EBU) implique les parties prenantes dans llaboration des recommandations. Lquipe dvaluation prsente des recommandations provisoires aux parties prenantes pour quelles les lisent, en discutent et les modifient. Le temps pass faciliter lanalyse et linterprtation des rsultats peut tre rentable parce quil permet une meilleure comprhension des rsultats et un engagement les utiliser. Un autre avantage de cette approche est que les rsultats ngatifs ou controverss peuvent tre communiqus tt. La qualit de lvaluation en est elle aussi amliore parce que les valuateurs peuvent apprendre des choses de linterprtation des donnes par les parties prenantes, ce qui mne souvent des rsultats plus ralistes et faisables (Patton, 1997 ; Gujit et Woodhill, 2002 ; Torres et al., 2005). On peut consulter mme de grands nombres de personnes en utilisant des activits en petits groupes pour les inviter donner leur avis sur la clart du rapport, sa justesse et son format et pour quelles disent si elles pensent que ses conclusions et ses recommandations sont appropries. Grce ce type de consultations, les parties prenantes rflchissent dj aux rsultats de lvaluation (et les utilisent ) (Torres et al., 2005 ; Patton, 1997). Les parties prenantes de lvaluation doivent toujours avoir au minimum loccasion de commenter les constatations de lvaluation ou de rviser la version provisoire du rapport final. Informez aussi les parties prenantes de la manire dont lvaluation sera diffuse. Une fois que les rsultats et les recommandations de lvaluation seront finaliss, ils pourront tre communiqus dautres groupes de parties prenantes, comme les agences qui financent, les organes du gouvernement et des organisations partenaires.
Sur le terrain : Impliquer les parties prenantes dans llaboration des recommandations
Dans une valuation de World Vision, la suite du travail sur le terrain, lquipe dvaluation a produit un rapport provisoire dvaluation. Elle a prvu une runion dinterprtation des donnes, dune dure de deux jours, o elle a fait travailler les employs du programme sur les donnes. Lquipe a rpondu des questions spcifiques, a donn un feedback aux auteurs du rapport sur des points qui ntaient pas clairs et a contest des rsultats qui lui semblaient improbables. Des tableaux de confrence ont t utiliss pour faciliter le travail de groupe sur les donnes et pour noter les ides. la suite de ce travail, les employs du programme connaissaient vraiment bien les donnes de lvaluation. Lquipe dvaluation tait persuade que ce processus permettrait aux employs de comprendre parfaitement les rsultats et quainsi, ils se serviraient du rapport et sy rfreraient. Source : Communication personnelle avec Jamo Huddle, World Vision International
13
La diffusion dune valuation des publics externes est une partie importante de la stratgie de comptes rendus. La diffusion promeut lapprentissage et peut aussi promouvoir la coordination et la coopration entre des organisations surs. Une grande diffusion des recommandations de lvaluation peut viter que ces recommandations ne soient ignores. Le plaidoyer est un autre objectif courant de la diffusion pour augmenter lappui du gouvernement ou des bailleurs de fonds pour un programme particulier ou pour encourager laction des citoyens.
normes dvaluation des programmes pour la diffusion
Quand vous planifiez la diffusion des rsultats, envisagez des mthodes varies comme des rsums excutifs, des rapports imprims, des prsentations audiovisuelles, des auditions, des runions, des confrences, des entretiens, des discussions en panels et des articles de journaux. Les principaux rsultats et rapports dvaluation provisoires seront distribus leurs utilisateurs prvus pour quils puissent les utiliser au bon moment. Source : Joint Committee on Standards 2004.
La diffusion peut tre intgre au processus dvaluation par exemple en impliquant les partenaires dans une valuation ou faite une fois que lvaluation est termine. Comme stratgies de diffusion, on peut prvoir de faire circuler des rapports crits et des fiches dinformations, de faire des prsentations PowerPoint ou de publier des articles spcialiss.
14
15
16
17
outils et ressources
Check-list pour un rapport dvaluation
de lvaluation et qui rpondent le mieux aux besoins des diffrentes parties prenantes et des diffrents publics (Patton, 1997).
Comptes Rflexions Comptes rendus cratifs critiques rendus utilisant des formats lectroniques
Prsentation Revues Communications vido aprs sur site Internet action Pices de Communications thtre ou Sessions lectroniques en jeux de rles de travail temps rel, comme chats Prsentations rooms, par affiche tlconfrences, Ateliers vidoconfrences dcriture et confrences Internet
Rapport final dvaluation Rsum excutif Rapports intermdiaires ou rapports dactivits Histoires de vie quotidienne, de russites et dapprentissage Brves communications, comme des bulletins, des brochures, des mmos, des e-mails, des cartes postales Communications par les mdias (presse crite)
Rapports crits
Le rapport final dvaluation prsente toute lvaluation. Il sert de base au rsum excutif, aux prsentations orales et autres formes de comptes rendus et cest une ressource importante pour les archives du programme. De nombreux bailleurs de fonds prescrivent un format pour les rapports quils demandent. Suivez bien ce format. Cependant, de nombreuses ONG ont leur propre format gnrique de rapport quand le bailleur ne demande pas de format particulier. Dans ce cas, le format de lONG devra tre utilis (cf. Stetson et al., 2007). Vous trouverez dans lAnnexe II une check-list pour un rapport dvaluation pour guider les discussions entre les valuateurs et les parties prenantes sur le
18
contenu des rapports dvaluation. Pour communiquer de faon efficace des rsultats ngatifs ou sensibles, il est important de les prsenter de manire encourager la rsolution de problmes pour que les parties prenantes ne soient pas sur la dfensive. Vous pouvez prsenter les rsultats positifs en premier, puis numrer les rsultats ngatifs. Utilisez des termes tels que ralisations , russite ou cibles atteintes pour les rsultats positifs et des expressions telles que en progrs , doit tre amlior ou choses sur lesquelles il faudra travailler pour des rsultats qui ne sont pas positifs (Torres et al., 2005). Je suis dsole de vous avoir crit une aussi longue Un rsum excutif est une version lettre. Je navais pas le temps den brve gnralement dune
crire une courte.
quatre pages du rapport final George Bernard Shaw
dvaluation, contenant des versions condenses des principales sections.
Il est plac au dbut du rapport final dvaluation et donne les principales informations de faon prcise et concise. Les rsums excutifs sont gnralement crits pour que des dcideurs trop occups puissent avoir les principales informations sur lvaluation sans devoir lire lensemble du rapport. Le rsum excutif peut tre distribu sans le rapport complet et doit pouvoir tre compris en tant que document indpendant. Le rsum excutif met gnralement en lumire les rsultats et les recommandations de lvaluation mais il peut aussi comprendre une brve prsentation des objectifs, des principales questions et des mthodes de recherche de lvaluation (Torres et al., 2005 ; Kusek et Riste, 2004). Cela peut prendre normment de temps de condenser les 50 pages dun rapport final en un rsum dune page. Utilisez les conseils du cadre cidessous pour faciliter ce travail.
19
intermdiaires, prliminaires ou initiaux de lvaluation. Le calendrier des rapports intermdiaire suit les besoins spcifiques des parties prenantes de lvaluation pour leur permettre de Mettre un visage humain prendre des dcisions. Les rapports sur le S&e intermdiaires peuvent servir En 2003, le bureau Food for Peace rendre une valuation plus utile, (FFP) de lUSAID a demand que mais ils peuvent aussi poser des de brves histoires sur les activits problmes sils sont mal interprts. et les impacts du Titre II soient Pour viter ce problme, commencez incluses dans les rapports annuels les rapports intermdiaires en des rsultats. Dautres bailleurs de prcisant les choses suivantes : fonds sintressent aussi de plus 1 Sur quelles activits de en plus cette faon de mettre un collecte de donnes porte ou visage humain sur les donnes de ne porte pas le rapport S&E dans les rapports. Ces brefs 1 Quand est ce que les textes ou histoires peuvent aussi tre rsultats finaux de utiliss pour le plaidoyer dans des lvaluation seront campagnes mdiatiques (De Ruiter disponibles ? et Aker, 2008 ; Long et al., 2008) Les choses auxquelles les lecteurs doivent faire attention quand ils interprtent les rsultats (Torres et al., 2005).
Les histoires de vie quotidienne, de russites et dapprentissage sont diffrentes manires de communiquer des rsultats dvaluation des publics particuliers. 1 Les histoires de vie quotidienne montrent lexprience de personnes affectes par les projets de lONG et aident personnaliser les russites et les difficults du travail de lONG. 1 Les histoires de russite sont des descriptions de quand, o, quoi, pourquoi et comment un projet a russi atteindre ses objectifs 1 Les histoires dapprentissage racontent des cas de difficults imprvues dans le projet ou dimpacts ngatifs du projet. Elles montrent comment ceux-ci ont t dcouverts et surmonts et ce qui a t appris dutile pour lavenir et pour dautres (De Ruiter et Aker, 2008 ; Long et al., 2008). Elles peuvent tre incluses dans le rapport final ou tre jointes sous forme dannexes. Pour de plus amples informations sur la manire de rdiger ces histoires, veuillez consulter Histoires de vie quotidienne (De Ruiters et Aker, 2008), Histoires de russites et dapprentissage (Long et al., 2008) et Rdaction dune histoire de vie quotidienne en suivi et valuation (Hagens, 2008).
20
outils et ressources
Brochure Bridges of Hope
Brves communications, comme des bulletins, des brochures, des mmos, des e-mails, des cartes postales : Elles servent mettre en lumire les informations sur lvaluation, aident veiller lintrt pour lensemble des rsultats de lvaluation et servent pour les relations publiques de lorganisation. Leur format peut inviter donner son avis, donner des mises jour, rendre compte des activits dvaluation venir ou prsenter des rsultats prliminaires ou finaux. Ces formats seront sans doute moins utiles quand lvaluation est surtout qualitative et quand une description complte du contexte de lvaluation est cruciale pour interprter les rsultats (Torres et al., 2005). Ces trois types de brves communications diffrent les unes des autres parce que : 1 Les bulletins utilisent un format de journal 1 Les communiqus sont des mises jour trs brves, distribues frquemment 1 Les brochures attirent lattention par une couverture colore attrayante 1 Les dossiers utilisent des photos, des donnes, des graphiques et des histoires pour prsenter les rsultats dvaluation. Ces formats doivent tre attrayants du point de vue visuel grce lutilisation de la couleur, de la mise en page, de titres varis et des illustrations. Par exemple, la progression de lvaluation peut tre prsente sous forme de liste puce sous les titres : Travail termin , Travail en cours et Travail venir , ce qui permettra au lecteur de comprendre la progression de lvaluation dun seul coup dil. Les logiciels de publication assiste par ordinateur permettent de faire facilement des bulletins, communiqus et brochures sduisants et attrayants (CDC, 2007 ; Torres et al., 2005). LAnnexe IV prsente une brochure que CRS a labore avec ses partenaires pour Bridges of Hope, un projet de VIH/sida au Cambodge. Les e-mails, mmos, fax et cartes postales aident maintenir la communication avec les parties prenantes de lvaluation en utilisant des messages courts. Ces formes de communication peuvent tre utilises pour tenir les publics au courant de la progression de lvaluation, pour les inviter participer des activits dvaluation venir et/ou pour communiquer la faon dont les recommandations dune valuation vont tre utilises ou mises en uvre. Noubliez pas que lutilisation de communication par e-mails pose le problme de la confidentialit. Il est utile de prvoir une limitation
21
de responsabilit au bas de tous les messages e-mail. Si lon doit demander un avis sur des informations confidentielles ou controverses, ces moyens de communication ne sont pas le meilleur choix (Torres et al., 2005).
Sur le terrain : Carte postale pour tenir au courant de la collecte des donnes dune enqute
Lenqute est maintenant termine ; le taux de rponse tait de 79%. Pour la notation du programme, les rponses ont t les suivantes : 39% : trs utile 42% : assez utile 11% : pas trs utile 8% : pas utile du tout Lanalyse complte montrera quelles catgories de participants ont trouv le programme plus ou moins utile et pourquoi ils lont not ainsi. Source : Torres et al. 2005.
22
La plupart des rapports dvaluation sont crits par une seule personne ou par une petite quipe. La rdaction de rapports peut aussi tre une occasion de renforcer les capacits du personnel ou des partenaires. Par exemple, certains employs nationaux seront peut-tre plus laise et produiront des chapitres de meilleure qualit sils les crivent dans la langue locale (McMillan et Willard, 2008).
23
de mieux comprendre et de mieux mmoriser. Dites-vous que les illustrations donnent au lecteur le plus grand nombre dides, dans le temps le plus court, en utilisant le moins dencre et dans lespace le plus petit (Kusak et Rist, 2006 ; Patton, 1997). Il est important de prsenter les illustrations avec des explications crites ou orales pour sassurer quelles soient bien comprises. Quand vous ajoutez des illustrations dans un texte ou un rapport, dcrivez les informations quelles contiennent ou interprtez la signification des donnes prsentes (Torres et al., 2005). Le tableau 7, ci-dessous, prsente des options dillustrations, le type dinformations que chaque option peut communiquer et des conseils pour utiliser les illustrations de faon efficace.
24
Informations communiques
Montre des tendances dans le temps, des mouvements, des distributions et des cycles
Conseils
Donner des noms aux lignes, plutt que dutiliser une lgende Essayer de ne pas utiliser plus de trois lignes Utiliser diffrentes couleurs, ou diffrentes textures si cest en noir et blanc
Utiliser au plus six parties Arranger les parties en partant de la plus grande ou de la plus importante partir de midi Utiliser des couleurs vives et contrastes Donner des noms aux parties du camembert
Histogramme ou diagramme Montre les diffrences entre des informations similaires (par exemple groupes de barres
distribution en pourcentages) Les groupes de barres comparent plusieurs lments
Utiliser aussi peu de barres que possible Utiliser la couleur ou la texture pour montrer les aspects des donnes Placer des chiffres montrant la valeur des barres au dessus ou lintrieur de la barre
Montrent les processus, les lments, Autres diagrammes (organigramme, les rles ou des parties dune entit plus chronogramme, diagramme grande de dispersion)
Utiliser efficacement lespace blanc Donner le message dans le titre Ajouter la source des donnes
Tableaux
Dcrivent, classent, montrent des relations et comparent Prsentent de faon pratique de grandes quantits de donnes
Donner un numro en chiffres arabes chaque tableau Placer le titre juste au dessus du tableau Bien dfinir les lignes et les colonnes Montrer la source des donnes
Transmettent efficacement des messages ou des ides qui sont difficiles exprimer en mots Montrent des structures organisationnelles, dmontrent des flux Montrent une direction Utiliser des organigrammes pour montrer des problmes Utiliser des cartes pour montrer des rsultats comparables dans diffrentes rgions ou pays
Que ce soit simple : sil faut beaucoup dexplications, utiliser plutt un texte Utiliser les illustrations de faon crative car elles aident communiquer Mettre une lgende pour dfinir les symboles utiliss Utiliser lespace blanc
Sources : Torres et al. 2005; Kusek and Rist 2004; Tufte 1989.
25
Quand le niveau dalphabtisation est trs bas, des tableaux avec des mots et des chiffres de base peuvent tre transforms en symboles ou en images. Utilisez des objets ronds familiers, comme des oranges, des pices de monnaie ou des melons, pour faire un camembert. Ces symboles familiers aident les gens voir et comprendre les rsultats et sen souvenir (Feuerstein, 1986). Des dessins ou des photos peuvent tre utiliss dans des rapports dvaluation pour aider visualiser des aspects importants de donnes qualitatives. Comme pour les graphiques, assurez-vous que la signification des dessins ou des photos est clairement explique dans le rapport.
Des photos permettent dexpliquer, de clarifier et de renforcer le texte dun rapport crit en illustrant des activits du projet (comme des personnes actionnant une pompe eau) ou le contexte du projet (comme une salle de classe). Les photos aident aussi raconter les histoires de participants du programme. Rapetissez bien les photos pour quelles aient une bonne taille par rapport au texte. Notez aussi que certains bureaux sur le terrain ont du mal tlcharger des rapports contenant trop de photos (Cf. De Ruiter et Aker [2008] pour des conseils sur la faon de prendre des photos).
26
Prsentations orales
Les prsentations orales permettent de communiquer la progression ou les rsultats de lvaluation aux parties prenantes et dautres publics. Lavantage est que le public peut poser des questions et que la communication est plus interactive. Les prsentations orales comprenant des discussions avec animateur peuvent conduire un dialogue entre les parties prenantes et un engagement vis--vis des actions (pour de plus amples informations, voir ci dessous la section sur les activits de rflexion critique) (Torres et al., 2005). Les runions de bilan commencent habituellement par une brve prsentation suivie par une discussion des principaux rsultats et dautres questions. On peut faire rgulirement des runions de bilan pour communiquer la progression de lvaluation aux gestionnaires de programmes. Une runion finale de bilan pourra tre tenue avec les parties prenantes pour partager les principaux rsultats et les principales recommandations du rapport final dvaluation et pour en discuter. Les prsentations en panel et les runions communautaires sont dautres exemples de runions de bilan plus formelles. Les prsentations en panel peuvent tre utilises pour runir des parties prenantes de lvaluation pour prsenter dimportants rsultats et dimportantes recommandations de lvaluation ou dautres composantes de lvaluation. Les panels sont gnralement composs de trois quatre panelistes. Chaque personne fait une brve prsentation sur un aspect de lvaluation. Un modrateur facilite ensuite la discussion entre les panelistes et entre les panelistes et le public (Kusek et Rist, 2004). Des runions communautaires rassemblent des parties prenantes de la communaut et les valuateurs ou des employs du projet pour discuter des rsultats de lvaluation et demander lavis des parties prenantes. Une bonne partie des comptes rendus de lvaluation se fait de faon interpersonnelle et informelle. Une communication sur lvaluation peut se faire lors de conversations de couloir, en buvant un th ou un caf, durant des repas la fortune du pot (o chaque personne amne son propre repas), avant ou aprs des runions, au tlphone et par des rseaux informels. La radio et la tlvision peuvent tre utiles quand les rsultats de lvaluation doivent tre diffuss au-del des parties prenantes primaires. Dans des socits analphabtes, la radio est un moyen trs efficace de diffuser des informations. Les stations de radio communautaires (qui ont un mandat pour le dveloppement) peuvent fournir une production bas prix et ont souvent des capacits de traduction dans les langues locales.
27
crit. Quand vous prparez la prsentation, pensez au type dinformations qui intressera le plus le public et la manire dveiller son attention. Parlez clairement, vitez de prsenter des donnes dtailles. Un conseil pratique bien connu pour les prsentations orales est annoncez au public ce que vous allez dire, dites le, puis rsumez ce que vous avez dit. Cherchez des moyens de transformer les prsentations orales en apprentissage. Par exemple, quand vous prsentez les donnes, voyez avec le public toute lanalyse du dbut la fin et concluez par les rsultats et les recommandations. Expliquez pourquoi une recommandation a t prfre dautres options et encouragez le public donner son avis et participer (Casley et Kumar, 1987). Quelques ides pour impliquer le public durant une prsentation orale : Au dbut, demander ce quils attendent et invitez-les poser des questions
1 Poser des questions ouvertes aux membres du public, crites sur des tableaux de confrence, et notez leurs rponses 1 Ajuster la prsentation selon les ractions du public et son langage corporel 1 Prvoir du temps pour des questions, rponses et discussions en petits groupes 1 Demander lavis des membres du public sur la prsentation et demandez de quelles autres informations ils ont besoin (Torres et al., 2005). Des documents distribuer ou des prsentations PowerPoint donnent un appui visuel et aident le public comprendre. Ne distribuez pas les rapports complets dvaluation au dbut dune prsentation orale parce que le public va passer son temps lire le rapport au lieur dcouter la prsentation (Torres et al., 2005). Mais de brefs documents daccompagnement, distribus avant la prsentation, peuvent la rendre plus efficace. Le cadre ci-dessous donne des conseils pour prparer et prsenter des diapositives PowerPoint.
28
29
mouvement et du son. Les vidos peuvent tre tournes en format numrique, dites sur ordinateur et diffuses sous forme de CD-Rom ou de DVD. Bien quil soit intressant davoir un prsentateur, des vidos peuvent tre distribues et visionnes par un grand nombre de publics. Les vidos sont particulirement utiles pour : 1 prsenter des rsultats qualitatifs dvaluation, comme des interviews 1 documenter les processus de lvaluation 1 prsenter les rsultats de lvaluation de nouveaux programmes 1 partager les rsultats dvaluation avec des groupes qui ne peuvent pas lire les rapports dvaluation (Torres et al., 2005). Vous trouverez dans le cadre ci-dessous des conseils pour produire et prsenter des vidos.
les activits de rflexion critique permettent de valider les informations issues de lvaluation, danalyser les rsultats et dutiliser ces connaissances pour prendre des dcisions en connaissance de cause. Les activits de rflexion critique peuvent avoir lieu tout au long de lvaluation, par exemple durant des runions hebdomadaires de revue, ou la fin, pendant un atelier sur les leons apprises.
30
pour encourager les gens discuter, rflchir et analyser les informations. Un dialogue authentique demande aussi que lanimateur ou le groupe tablissent un environnement de confiance, de respect et de collaboration entre les valuateurs et les parties prenantes. La rflexion critique est plus efficace quand les gens : 1 posent des questions pertinentes et font preuve de curiosit, 1 admettent ce quils ne savent pas, 1 dcouvrent et examinent les convictions, les suppositions et les opinions par rapport aux faits et aux preuves, 1 scoutent attentivement les uns les autres, 1 changent dopinion compte tenu des faits nouveaux dcouverts, 1 examinent les russites et les problmes avec attention et de faon approfondie
les pices de thtre et les jeux de rles sont dexcellentes manires de
montrer les rsultats de lvaluation et dillustrer des applications potentielles des recommandations. Torres et al. (2005) dcrivent trois formes de thtre o les rsultats de lvaluation sont prsents et utiliss pour faire natre un dialogue. Il sagit : 1. des sketches traditionnels qui sont labors partir des donnes de lvaluation (en particulier des entretiens ou des groupes focaux). Ils peuvent aussi dcrire les rsultats de lvaluation. Les acteurs jouent un sketch puis sortent. Le sketch est suivi par une discussion entre les membres du public, dirige par un animateur. 2. Des sketches interactifs qui sont des petites scnes provocantes qui poussent les membres du public penser aux problmes et aux rsultats de lvaluation et en parler. la suite dun sketch interactif, le public discute de ses ractions avec les acteurs qui restent dans leur rle. L encore, la discussion est guide par un animateur qui fournit aussi des donnes tires de lvaluation. Aprs les discussions diriges, les acteurs rptent le sketch, en le changeant selon les rsultats de la discussion du public. 3. Des ateliers de thtre en forum qui utilisent le jeu de rles. Un animateur prsente les rsultats de lvaluation. Les participants peuvent tre soient des acteurs, soient des membres du public. Les participants crent de petites scnes sur la base des rsultats de lvaluation et de leur propre exprience. Les ateliers sont dynamiques dans ce sens que les membres du public peuvent devenir acteurs et les acteurs devenir public et aussi parce que les acteurs peuvent changer de stratgie au milieu dune scne. Un animateur pose ensuite des questions et dirige les discussions propos de chaque mini-scne. Le thtre est suivi dune succession de questions ouvertes, comme : Quest-ce qui sest pass ici ? Pourquoi est-ce que cela sest pass ? Comment cela se passe-t il dans notre situation ? Quest-ce que nous pouvons y faire ? Cest une manire trs efficace de communiquer les rsultats dune valuation, surtout sur des sujets sensibles pour le groupe. Par exemple, ce type de jeux de rles a t
31
utilis en Ouganda et ailleurs en Afrique pour communiquer des rsultats sur lopprobre associe au VIH et au sida.
les prsentations par affiche donnent des informations rapides, visuelles et faciles lire des publics qui ne connaissent pas, ou peu, le programme ou lorganisation. La prsentation par affiche peut tre complte par une prsentation orale. Les prsentations comprennent habituellement des photos, des diagrammes, des graphiques, des tableaux, des chartes, des dessins et des textes affichs sur des panneaux. Les prsentations par affiche sont souvent utilises lors de grandes confrences comprenant plusieurs sessions. Elles y prsentent des informations condenses sur lvaluation. Les membres du public peuvent regarder la prsentation ou sarrter pour une brve discussion. Les valuateurs peuvent tre prsents aux prsentations par affiche pour communiquer les principales ides et les principaux problmes et rpondre aux questions, mais la prsentation par affiche peut aussi tre un lment indpendant (Torres et al., 2005).
un atelier dcriture est une technique novatrice pour impliquer des parties
prenantes peu alphabtises du projet dans la rdaction de rapports. Cela aide les participants au projet tre des crateurs actifs dinformations et non simplement des fournisseurs passifs. Les ateliers dcriture sont des ateliers de deux ou trois jours o des participants au programme, des employs de lONG et des artistes travaillent ensemble. Les employs de lONG interrogent les participants pour obtenir des histoires qui clarifient des rsultats dvaluation, des meilleures pratiques ou des leons apprises. Celles-ci sont retranscrites et corriges. Les artistes prparent des illustrations selon les instructions des participants. Les rapports sont ensuite publis et les preuves sont revues par les participants et les facilitateurs de lONG pour vrifier le contenu et la langue et voir si elles sont appropries (cf. la zone de texte plus bas).
les revues aprs action sont une srie dactivits de rflexion qui peuvent
tre utilises durant une valuation pour traiter les rsultats initiaux de
32
lquipe dvaluation ou pour voir les progrs ou les obstacles dans le travail dvaluation. Comme pour dautres activits de rflexion critique, les revues aprs action doivent tre menes dans un environnement sr o les gens peuvent exprimer ouvertement leurs ides. Un animateur sera l pour poser des questions ouvertes et diriger la discussion du groupe. Les revues aprs action sont menes quand les souvenirs sont encore frais. Lanimateur pose une srie de questions, comme celles ci-dessous, et note les principales remarques du groupe : 1 Quest-ce qui tait suppos se passer ? 1 Quest-ce qui sest pass en ralit ? 1 Pourquoi y a-t-il eu des diffrences ? 1 Quavons-nous appris ? 1 Quelles ont t les russites ? Les insuffisances ? 1 Que devrions-nous faire pour maintenir les russites et amliorer les insuffisances ?
les sessions de travail avec les parties prenantes de lvaluation sont la marque dune valuation collaborative et participative. Elles peuvent tre faites nimporte quel moment de lvaluation (Torres et al., 2005). Pour avoir des sessions de travail efficaces, il faut appliquer les principes dapprentissage des adultes, comme ceux qui sont utiliss pour les ateliers.
33
34
35
1 les confrences par internet sont des runions entre des personnes se trouvant dans des lieux diffrents par lintermdiaire dune connexion Internet. Elles leur permettent de visionner le mme document ou la mme prsentation en mme temps sur des crans dordinateur et davoir une communication audio. Les spcifications des logiciels de confrences par Internet diffrent et peuvent comprendre un chat room ou permettre une communication vido ou audio. Les confrences par Internet peuvent tre utilises pour planifier, prsenter des informations, demander des avis et des ractions et corriger des plans ou rapports dvaluation. Les confrences par Internet peuvent tre organises par des compagnies spcialises dans ce service ou par Internet. 1 les podcasts sont une srie de dossiers digitaux qui sont distribus par Internet pour pouvoir tre lus sur des lecteurs portables (par ex. des iPods) ou des ordinateurs. Les podcasts permettent aux valuateurs de communiquer avec les parties prenantes et de rendre compte dune valuation tout moment. Par exemple, si une partie prenante ne peut pas assister une runion finale de bilan, un podcast de la runion lui permet de tlcharger le podcast de lvnement. Bien quil ne soit encore que trs peu utilis, ce format lectronique promet beaucoup pour lavenir.
36
Annexe I
37
et CRS, Washington, DC, et Baltimore, Maryland. Management Systems International (MSI), 2006. Constructing an Evaluation Report. MSI, sous contrat de lAgence des tats-Unis pour le dveloppement international (USAID), Washington, DC. Maunder, N, 2005. C-SAFE Program Review, Year Three, Final Report. CARE, Catholic Relief Services, et World Vision, Johannesburg, Afrique du Sud, octobre. McMillan D. E., et A. Willard. 2008. Prparer une valuation : Directives et outils pour la planification avant lvaluation. Srie de modules sur le S&E, Croix Rouge amricaine/CRS. Croix Rouge amricaine et CRS, Washington, DC, et Baltimore, Maryland. Patton, M. Q., 1997. Utilization-Focused Evaluation, 3rd ed. Thousand Oaks, Californie : Sage Publications. Rochow, G., 2005. The Key Role of Communication Theory in Reporting Evaluation Findings in MultiInstitutional International Evaluations. 2005 , confrence conjointe dvaluation, Canadian Evaluation Society / AEA, Toronto, Ontario, Canada. Schenk, K., et J. Williamson, 2005. Ethical Approaches to Gathering Information from Children and Adolescents in International Settings : Guidelines and Resources. Washington, DC : Population Council. Stetson, V., S. Hahn, D. Leege, D. Reynolds, et G. Sharrock. 2007. ProPack II : Le dossier projet de CRS. Guide pour la gestion et la mise en uvre de projets pour les gestionnaires de projets et de programmes de CRS. Catholic Relief Services, Baltimore. The Joint Committee on Standards for Educational Evaluation, avec J. R. Sanders, prsident, 1994, 2004. The Program Evaluation Standards, 2nd ed. Thousand Oaks, Californie : Sage Publications. Torres, R.T., H. Preskill, et M. E. Pionte,. 2005. Evaluation Strategies for Communicating and Reporting : Enhancing Learning in Organizations. Thousand Oaks, CA : Sage Publications. Tufte, E. R., 1989. The Visual Display of Quantitative Information. Cheshire, Connecticut : Graphics Press. Visser, P. 2004. Conflict as the Beginning of Peace. Jakarta : Catholic Relief Services. Willard, A. 2008. Grer et mettre en uvre une valuation Srie de modules sur le S&E, Croix Rouge amricaine/CRS. Croix Rouge amricaine et CRS, Washington, DC, et Baltimore, Maryland. Wilson, P., et D. Reilly, 2007. Report: CARE, CRS, SCF and WV/Indonesia : Joint Evaluation of their Responses to the Yogyakarta Earthquake. CARE, Catholic Relief Services, Save the Children Federation, et World Vision, Jakarta, juillet.
38
Annex II
Cet check-list de rapport dvaluation est prvue pour deux applications, toutes deux en lien avec la gestion de lvaluation : cest (1) un outil pour guider une discussion entre les valuateurs et leurs clients sur le contenu dsir pour les rapports dvaluation et (2) un outil pour fournir un feedback formateur aux rdacteurs des rapports. Les valuateurs peuvent noter leur propre progrs durant la phase de rdaction. Ils peuvent aussi utiliser la check-list pour dterminer quels sont les points forts et les domaines auxquels il faudra remdier dans leur(s) rapport(s) dvaluation. Quand deux personnes, ou plus, travaillent sur le mme rapport, la check-list peut servir doutil pour dlguer, coordonner et suivre la progression des contributeurs. Cette check-list nest pas prvue pour tre utilise comme outil de mtavaluation. Les rapports dvaluation varient beaucoup pour ce qui est de leur objectif, de leur budget, des attentes et des besoins du client. Si on utilisait cette check-list pour valuer des rapports rels ou faire des comparaisons entre des rapports, on devrait valuer ou pondrer les points de vrification dans chaque section et pondrer limportance relative de chaque section. Cette check-list se base, et base sa rflexion, sur The Program Evaluation Standards (Joint Committee on Standards for Educational Evaluation, 1994). Instructions: Notez chaque lment du rapport en utilisant les rubriques suivantes. Noircissez les cercles ou cochez la cel lule qui correspond votre note pour chaque point. Si un lment ou un point de vrification nest pas applicable au rap port, cochez la cellulle NA droite. On peut ajouter des points de vrification, selon ce qui est dcid par les personnes utilisant la check-list.
1= non abord, 2= abord en partie, 3= tout fait abord, NA= non applicable
1. Page de titre
A. Le titre est suffisamment clair et concis pour faciliter lindexation B. Le nom de lauteur ou des auteurs et leurs affiliations sont prciss C. La date de prparation est note D. Le titre prcise ce qui a t valu, y compris la population cible, le cas chant E. Le nom du client ou du (des) financeur(s) est mentionn F. Le texte et les illustrations de la page de titre sont bien arrangs, de faon claire G. Commentaires :
1
1 1 1 1 1 1 1
2
2 2 2 2 2 2 2
3
3 3 3 3 3 3 3
NA
39
1. Rsum excutif
A. Description du programme/projet B. Questions dvaluation et objectifs de lvaluation C. Brve description des mthodes et de la stratgie analytique (le cas chant) D. Rsum des principaux rsultats E. Implications des rsultats F. Recommandations, le cas chant G. Commentaires :
1
1 1 1 1 1 1 1
2
2 2 2 2 2 2 2
3
3 3 3 3 3 3 3
NA
tlchargez ce document en ligne. Evaluation Report Checklist by Gary Miron (Excel) http://crsprogramquality.org/pubs/ME/Communication_Verification_list_French.pdf
40
Annexe III
2. The Context
The Yogyakarta earthquake killed an estimate 5,700 people and injured 27,000. Over 300,000 houses were destroyed or severely damaged and a further 200,000 suffered minor damage. 1.6 million people were left homeless. An additional 1.1million people were affected1.
Recovery is now well underway in the affected areas, as those affected have been provided with some form of shelter assistance, health and education services are operating, and children are back in school and say they feel less traumatised. However, many gaps still remain, particularly due to the limited recovery of economic livelihoods.
At the time of the earthquake, three of the agencies had teams on the ground responding or preparing to respond to a potential eruption of the Mount Merapi Volcano. They began assessments and redeployed NFI kits from the Mount Merapi crisis to earthquake-affected areas. The fourth agency began their response on May 29th 2006. Many staff employed in Yogyakarta had worked in their agencys emergency response program in Aceh Province. They were able to apply their learning from Aceh to the more recent disaster in Java
Source: UNDP: The Cluster Approach in Yogyakarta and Central Java One Year Review, 2007, p.1. vii
41
and work more effectively with local government and community structures in distributing aid to affected people.
All four agencies were credited with working in remote areas that were damaged severely. The agencies carried out rapid assessments and NFI distributions of shelter, hygiene, clothing, household and clean up kits. WVI provided extensive support to reactivate health services at sub-district and village levels. CRS, SC and WVI implemented activities to protect children and reduce their trauma. SC and WVI provided support for elementary schools to restart classes in mid-July 2006 as well as support for schools to operate effectively. CARE, CRS and WVI implemented transitional or permanent housing programs, while water and sanitation activities were implemented by CARE and CRS. The largest activity by each agency was NFI distribution and collectively the agencies reached around 20% of all affected people with shelter and other NFI kits.
4. Conclusions
Conclusions are based the views expressed most frequently by aid recipients, local government officials and staff from village level up to district level.
Appropriateness: Most activities were considered appropriate and justified. The friendliness of staff was appreciated and the fact that all these agencies arrived at the start of the emergency and responded quickly. Agencies were also commended for the high quality of the goods they provided and the fact that they tended to monitor distributions, the selection of beneficiaries and the use of their assistance regularly. Concerns raised were related to the overall response and distribution process. Oversupply and undersupply occurred in some villages. In addition, officials and villagers noted that assessments were carried out in the same location by different agencies, indicating a lack of coordination. Respondents said coordination between agencies on their emergency response needs to improve. Another concern was about the way agencies work with affected people. While noting the positive impacts of assistance, informants said assistance created conflict and dependency in some village locations. Concerns over distribution, and the importance of it being fair and not creating conflict were raised in seven out of the nine villages visited.
Impact2: Agency activities did contribute to positive impacts. As there were many agencies and actors responding to the emergency, impacts cannot be attributed to the specific agencies who participated in this evaluation. The impacts mentioned most often by recipients and village leaders were:
NFI support helped meet the basic survival needs of affected people. CRS, SC and WVI childrens activities helped to reduce childrens trauma and increase their selfesteem and confidence. SC and WVI elementary school support ensured that schools could restart in mid-July and work effectively thereafter.
2 The definition of impact used is from the Impact Measurement and Accountability in Emergencies: The Good Enough Guide, page 4. The Guide also informed the teams review of accountability. viii A Joint Evaluation of the Yogyakarta Earthquake Response July 2007
42
Recovery: Agency activities did help affected people and communities to recover. Recovery levels reflect the support provided by all emergency responders and not just these agencies. Villagers said the contribution by the Government of Indonesia (GOI) to recovery was 50-60%, by the NGOs 25-30% and by others around 10%.
WVIs health sector support helped ensure that local people had access to basic health care services quickly. CARE and CRS water and sanitation activities helped to improve peoples access to clean water and increase their knowledge of hygiene. Agencies implementing shelter programs helped families to have a place to live that is more earthquake resistant. CARE and CRS were credited with working in ways that helped increase cooperation and solidarity at community level.
Villagers and leaders said that the elementary school system is 90% recovered. The work of SC and WVI was credited with contributing to this level of recovery. The childrens activities implemented by CRS, SC and WVI were credited with helping children to recover from trauma and respondents said trauma had decreased, though no percentage was given. Drinking water sources were said to be back to normal though sanitation and access to latrines was said to have recovered by only 50%. In most villages housing reconstruction is only between 30-50% and similar figures were given for economic recovery. Accountability to local people: The four agencies did work with local leaders and involved them in assessments, planning, monitoring and decision-making while at the same time involving the communities to varying degrees in these processes.
However, women in villages where three of the agencies worked said they wanted to be more involved and have more information on agency activities. All informants stressed the importance of regular information to all in a community, backed up by on going monitoring of the assistance programs implemented to ensure fairness and to avoid conflicts.
Monitoring and Evaluation (M&E): Of the regular M&E activities, there were some good practices which are exemplary. Of note was the child-led evaluation carried out by SC, in which children were trained to actually do a program evaluation. Other agencies had carried out internal reviews and one agency also conducted an external evaluation of their post emergency program. All agencies were able to produce solid input and output data, and some like CRS had some easy to use outcome level indicators.
Emergency preparedness: The overall speed at which the agencies responded to the disaster was significant, mainly due to the fact that three of the agencies were already mobilized on the ground in Yogyakarta to respond to a potential eruption of the Mount Merapi Volcano. Otherwise, the response time may not have been so swift. Joint evaluation: The joint evaluation had advantages, in bringing together the organizations involved and providing them opportunities to learn from one another about each others programs. Results are more holistic than a single agency evaluation. The way the process was carried out enabled these agencies to be accountable to government, affected people and others working in
A Joint Evaluation of the Yogyakarta Earthquake Response July 2007
ix
43
the Yogyakarta response. However, such evaluations need to be done one or two months after an emergency program work ends.
Recommendations
Recommendations on activities for future sudden onset emergencies a) Continue to do the type of programme activities carried out in this response. Carry out assessments to ensure aid meets the needs of affected people and to agree with them procedures for distribution and beneficiary selection. Provide good quality items, distribute quickly and follow simple procedures. b) Better coordinate NFI programs between all actors/stakeholders to ensure equal distribution across areas and application of distribution methods that promote fairness. Monitor the assistance well by ensuring that staff participate in distributions and beneficiary selection processes. c) Carry out joint assessments so that the same information is not collected a number of times in the same location by different organizations. d) Start recovery activities earlier e.g. transitional and permanent housing plus activities to restore livelihoods.
e) Complete a study on the transitional and permanent housing designs and approaches used by these four agencies, other INGOs and the GOI in Yogyakarta to draw out learning that can be applied in Indonesia when responding to future emergencies where shelter is a huge need. Recommendations on economic recovery activities a) Provide more support in helping affected HHs and communities to restore their economic livelihoods. b) Learn from work done in other countries prone to sudden onset emergencies to identify appropriate economic livelihood activities to support in future emergencies in Indonesia. Recommendations on local accountability
a) Provide information to the wider community: men, women, beneficiaries and non-beneficiaries, on a regular basis so that people are aware of the work being conducted by the agency with them so reducing opportunities for misuse of information. b) Establish a complaints system that clearly defines how people can complain about the work being done by an agency if they need to do so. Recommendations on emergency preparedness c) From the start, involve women as well as men in planning, implementation and evaluation of programs. a) Complete country emergency preparedness and contingency plans and ensure that all staff are aware of their existence and content. This could be done through country program emergency
44
b) Create a joint database on the capacity of different agencies regarding the location and type of pre-positioned NFIs. Examine the feasibility of holding joint stock in shared warehousing. c) Better prepare staff who do not have emergency experience and ensure new hires receive appropriate training and supervision. Recommendations on joint evaluations
response simulations, followed by an interagency simulation once all agencies are comfortable with their own plans.
a) Once joint assessments are complete, plan for a joint evaluation to start within one to two months of emergency program completion. Use the Good Enough Guide s to inform the JE process.
b) Commit enough experienced program staff to the entire period3 of the JE so that the team has sufficient experience for an in-depth review of a few sector specific activities.
3 The two CRS team members were highly qualified emergency staff and did an excellent job. Transfer of knowledge as one member turned over their work to the other in the middle of the evaluation proved challenging. A Joint Evaluation of the Yogyakarta Earthquake Response July 2007 xi
tlchargez ce document en ligne Joint Evaluation of The Yogyakarta Earthquake (PDF) http://crsprogramquality.org/pubs/ME/yogyakarta.pdf
Communiquer et rendre compte dune valuation
45
Annexe IV
ONS
support oenter-
o.crs.org
46