Fonds pour la promotion des tudes pralables tudes transversales valuations

Guide mthodologique
L valuation de limpact

Prise en compte de limpact et construction dindicateurs dimpact

q CIEDEL

JUIN 1999

SOMMAIRE

Prsentation du guide FICHE 1. Pourquoi sintresse-t-on limpact des actions ? FICHE 2. Rsultats, effets, impact : trois notions diffrentes Deux quiproquos frquents. Le reprage des rsultats, des effets et de limpact dune action. FICHE 3. Limpact : une dfinition tiroirs FICHE 4. Evaluer les rsultats, les effets et limpact dune action FICHE 5. Cinq questions sur lvaluation de limpact Pourquoi valuer limpact. Quand peut-on valuer limpact. Qui dcide quun changement est significatif. Comment valuer limpact. La mesure de limpact est-elle fiable ? FICHE 6. Inventorier les changements constitutifs de limpact

5 7 8

12

15 16

19

Point de dpart : la situation de rfrence. Un critre cl : les changements durables. Le reprage des lments constitutifs de limpact. FICHE 7. Analyse des changements : la grille de lecture des effets La diversit des effets dune action. Construction dune grille de lecture des effets dune action. Schma gnral de construction dune grille de lecture. FICHE 8. Mesure des changements : les indicateurs dimpact Le reprage des indicateurs. Exemple de construction et de mise en uvre dindicateurs dimpact. FICHE 9. Exemples dindicateurs dimpact ANNEXE 1. Rappel de quelques termes relatifs laction ANNEXE 2. Rappel de quelques termes relatifs lvaluation ANNEXE 3. BIBLIOGRAPHIE LE CIEDEL 35 45 47 49 51 28

25

Guide mthodologique Lvaluation de limpact

Dfinition et mise en place dindicateurs dimpact

Gilbert Graugnard Nicolas Heeren

q CIEDEL

JUIN 1999

Prsentation du guide

Une tude CAD-OCDE ralise en 1997 a montr que la plupart des valuations des actions menes par les organisations de solidarit internationale (OSI) sont trop qualitatives, tournes vers lefficience et trop peu centres sur limpact. Ce constat conduit les OSI sintresser davantage aujourdhui la durabilit de leurs programmes. Conformment la mission qui lui a t confie, le F3E (Fonds pour la promotion des tudes pralables, tudes transversales et valuations) souhaite contribuer llargissement de cette pratique par llaboration dun outil dfinissant mieux ce quon appelle limpact dune action et les moyens de son valuation. Ce guide mthodologique est compos de 9 fiches thmatiques : les fiches 1, 2 et 3 permettent de prciser ce que lon entend par impact. Une attention particulire est porte la terminologie. Les mots rsultats, effets et impact recouvrent en effet chacun des notions trs prcises ; les fiches 4 9 portent davantage sur les modalits dvaluation de limpact. Les annexes 1 et 2 rappellent les dfinitions des termes les plus usits en matire daction et dvaluation. Ce travail a bnfici de la contribution : du groupe de travail du F3E sur le thme Mthodologie et dontologie de lvaluation au cours des annes 1997-1998 ; des participants la journe de test des fiches de travail du guide en juin 1999.

Important
La question de lvaluation est ici souvent aborde. Sauf mention particulire, il sagit dvaluation externe. Le mot action, choisi comme terme gnrique, recouvre aussi bien une action ponctuelle, quun projet ou un programme de dveloppement.

FICHE 1

POURQUOI SINTRESSE-T-ON LIMPACT DES ACTIONS ?

Le critre dimpact des actions de dveloppement est de plus en plus frquemment utilis comme moyen dvaluer leur russite moyen et long terme. Cet intrt pour la prise en compte de limpact dans lvaluation des actions est n : du constat que les incidences long terme des projets de dveloppement ntaient pas toujours la hauteur des attentes de leurs promoteurs ; de nouvelles proccupations lies lvolution du contexte dans lequel sexercent les actions de dveloppement.

Constat
Les valuations finales des projets confirment rgulirement que les objectifs fixs ont t atteints et que, le plus souvent, la viabilit des actions engages est assure. Pourtant, dans de nombreux cas, les rsultats atteints au terme de laction disparaissent rapidement : les pratiques et les modes de fonctionnement mis en place sont progressivement abandonns, les btiments dsaffects, les quipements techniques inutiliss et souvent hors dusage. Ce constat vaut aussi bien pour les projets publics que pour ceux conduits par des OSI. Les causes de cette dfaillance peuvent provenir : de la conception de laction et de son excution qui conduisent des rsultats immdiats, mais ne permettent pas de crer les conditions dun changement durable ; des limites des valuations, trop centres sur la capacit atteindre les objectifs fixs, et pas suffisamment sur les changements induits par laction.

Evolution du contexte
Les processus de dmocratisation et de dcentralisation laissent de plus en plus de place aux acteurs locaux. Les oprateurs doivent tenir compte de lensemble des initiatives issues des milieux o ils agissent et ne pas seulement sintresser aux bnficiaires directs. La prise en compte du concept de dveloppement durable conduit, entre autre, chercher dans son environnement les moyens didentifier les changements produits par laction et leur durabilit.

FICHE 2

RSULTATS, EFFETS, IMPACT : TROIS NOTIONS DIFFRENTES

Dans les travaux dvaluation dactions de dveloppement, les mots rsultats, effets, impact donnent lieu une grande diversit dutilisation, do une frquente confusion et la difficult didentifier exactement ce quest limpact.

Deux quiproquos frquents

Le rsultat nest pas limpact

Lvaluateur dun projet de ralisations hydrauliques, qui retient comme impact le nombre de personnes accdant leau, confond avec le rsultat de laction. Ce qui pourrait constituer un impact, ce sont les changements durables dans la vie des nouveaux accdants leau.
Un effet diffre de limpact
A lorigine, le mot impact, du latin impactum (heurter), signifiait uniquement : endroit o vient frapper un projectile (Grande encyclopdie Larousse de 1962). Lusage du mot impact a depuis t tendu leffet dune action forte, brutale, et par extension, juge inapproprie, effet influence dune action (Petit Robert de 1978). Et plus tard : influence dcisive de quelque chose ou de quelquun sur le droulement de lhistoire des vnements (Petit Larousse de 1988). Cest cette volution qui a conduit utiliser le mot impact pour dfinir les changements produits par une action de dveloppement sur lenvironnement, lconomie, les populations Mais quel cart entre limpact dorigine, brutal, destructeur et celui attendu des changements apports par une action de dveloppement !

Lvaluation dun programme dappui aux changes craliers inter-rgionaux aborde la question de son impact sur les volumes commercialiss. Lvolution de ces derniers rsulte du systme mis en place, qui combine lappui aux changes et les stratgies dapprovisionnement des groupements dagriculteurs. Limpact serait rechercher dans les consquences durables de laugmentation des changes craliers : autonomisation des groupements par rapport aux grands commerants, scurisation alimentaire, etc.

Cette confusion provient en grande partie du sens commun de ces mots qui, dans le domaine de lvaluation, nont pas encore trouv de dfinitions de rfrence. Ceci est particulirement valable pour la notion dimpact.

Le reprage des rsultats, des effets et de limpact dune action

Pour plus de facilit, reprons ces notions de rsultats, effets et impact sur un exemple imaginaire, simplifi, mais nanmoins concret : le projet DET.

Descriptif du projet DET

Dans la rgion de Bougouli au Magria (hypothtique pays africain de la zone sahlienne) les populations rurales souffrent dune carence en eau. LONG De lEau pour Tous (DET) a pour finalit 1 le bien tre de tous. Son but1 : installer des quipements hydrauliques permettant tous laccs une eau de qualit et en quantit suffisante pour couvrir ses besoins. DET mandate une mission didentification pour recenser les possibilits damnagement de la zone de Bougouli. Cette mission contacte, sur place, les chefs de village et les groupements dhommes et de femmes. Elle approche galement les autorits locales, les services de lhydraulique rurale, les agences daide au dveloppement, les reprsentations locales des cooprations bi ou multilatrales et le bureau national des ONG. DET constate que la plupart des villages disposent de puits, de puisards et de marigots qui fournissent de leau en quantit suffisante mais de mauvaise qualit sur le plan bactriologique. A lissue de cette mission, DET labore un projet selon un canevas dit du cadre logique.
Les objectifs1 du projet

Fournir une quantit deau suffisante grce la ralisation de 12 puits aux normes techniques en cours (diamtre, matriaux, dbit...). ( Loption de rhabilitation des puits existants na pas t retenue car juge techniquement hasardeuse et financirement quivalente au fonage de nouveaux puits.) Amliorer la sant en assurant laccs une eau de bonne qualit sur le plan bactriologique (ce qui, au-del des normes de construction, conduira DET sintresser au mode dusage du puits). Rduire le travail des femmes.
La mthode choisie

Linformation, la ngociation et la prise de dcision en concertation avec lensemble du village (chefferie, quartiers, groupements de femmes et dhommes). La contribution du village la fourniture de matriaux locaux et de main-duvre non spcialise.
Les rsultats

Les travaux ont t raliss conformment aux prvisions dans dix des douze villages. Pour des raisons techniques, un puits a t remplac par un forage. Un seul village na pas t quip car les villageois nont pas apport leur contribution matrielle.

Les dfinitions des mots finalit, buts et objectifs sont dtailles en Annexe 1.

FICHE 2. Rsultats, effets, impact : trois notions diffrentes

BILAN DU PROJET DET Objectifs

Raliser 12 puits rpondant aux normes techniques.

Rsultats
10 puits buss de 25 m, ayant un dbit journalier de 60 m 3. 1 forage.

Effets
Le critre qualitatif ntant pas dterminant pour la population, celle-ci continue puiser leau au marigot quand cela est possible et nutilise le puits quen saison sche.

Impact
Laction na pas amlior la situation sanitaire des populations. (Et pourtant, les objectifs ont majoritairement t atteints !) Par contre, les nouvelles activits productives des femmes contribuent laugmentation de leurs revenus dont une partie est rinvestie dans la sant.

Rduire le travail des femmes.

Diminution effective du temps dattente au puits.

Transfert du temps libr sur de nouvelles charges familiales ou productives.

Diminuer les contaminations bactriennes dues leau de boisson.

Analyse bactriologique montrant une faible teneur en germes dans leau des puits.

Les villageois transportent et stockent leau des puits avec les mmes rcipients que leau du marigot. Leau consomme demeure donc contamine.

Dfinitions
Rsultats = changements qualitatifs et quantitatifs produits directement par laction

Les rsultats sont en relation directe avec les objectifs de laction. Ils sont donc clairement tablis dans les documents de projet.
Effets = incidences de laction sur le milieu physique et humain environnant

Les effets conjuguent rsultats de laction et autres dynamiques ou contraintes provenant du milieu dans lequel se droule laction. Avec un peu dexprience, ils peuvent tre esquisss dans le document de projet, mais avec une marge dincertitude lie aux objectifs propres des populations concernes et des stratgies que celles-ci mettront en uvre pour y parvenir. Objectifs et stratgies qui, malgr la concertation pralable, ne sont pas obligatoirement Un impact, des impacts ? les mmes que ceux du projet
Impact = nouvelle situation issue de lensemble des effets
Lutilisation du mot impact, au pluriel, provient de la confusion entre effet et impact. Si de nombreux effets sont souvent improprement dsigns comme impacts , il ny a quun impact : celui de la situation nouvelle analyse dans sa globalit.

Prvoir limpact prsente encore plus de difficults que anticiper les effets car de nombreux facteurs indpendants du projet peuvent se combiner avec les rsultats et les effets de laction.

10

Ne pas confondre rsultats, effets et impact

Impact Action Rsultats

Les effets couvrent un champ plus large que celui de laction programme ; ce champ augmente avec le temps. A la fin de laction, lensemble des effets susceptibles de contribuer son impact : concerne une population plus large que le public cible de laction ; couvre des domaines dactivits plus nombreux que ceux prvus au dpart.

11

FICHE 3

LIMPACT : UNE DFINITION TIROIRS

Dfinition

Limpact dune action de dveloppement, cest la situation issue de lensemble des changements significatifs et durables, positifs ou ngatifs, prvus ou imprvus, dans la vie et lenvironnement des personnes et des groupes et pour lesquels un lien de causalit direct ou indirect peut tre tabli avec laction de dveloppement.

La diversit des lments qui constituent limpact invite une classification en tiroirs.
Tiroir n 1. Limpact = lensemble des changements

Lensemble des changements doit tre pris au sens de lensemble des rsultats et des effets.
Exemple. Limplantation dun dispensaire autogr et sans financement externe, peut avoir un effet bnfique sur la sant des patients et les comptences en gestion. Mais la rpercussion des cots introduit des changements dans laffectation des ressources au dtriment dautres postes de cot et probablement celui des gurisseurs. Ces derniers risquent ainsi de disparatre avec leur savoir.

Tiroir n 2. Limpact = des changements significatifs

Limpact ce nest pas uniquement ce qui change . Cest aussi limportance ressentie de ces changements. Ce qui conduit sinterroger sur qui dcide et sur ce qui est important ou non.
Exemple. Un groupement de femmes commercialisant du poisson dpend totalement des usuriers locaux pour son rapprovisionnement. Un projet les concernant vise la mise en place dun appui pour la constitution dune pargne collective. A la fin de laction, lpargne nest pas ralise et loprateur du projet estime que limpact sur la vie du groupement est inexistant. Pourtant, les femmes ont ainsi ralis des dpenses de prestige. Elles ont confort leur assise sociale, largi leur rseau de relations et renforc leur position par rapport aux usuriers. Pour elles, le changement est significatif.

Tiroir n 3. Limpact = des changements durables

Limpact, cest ce qui demeure aprs laction. Cela ne signifie pas quil faille attendre la fin de laction pour en connatre la teneur. Si tel tait le cas, nous perdrions la possibilit de reprer en cours daction des combinaisons deffets positives qui seraient renforcer, ou ngatives, et quil faudrait dans ce cas minimiser par une rorientation de laction. Le rep-

12

rage de limpact portera donc sur les effets potentiellement durables avec une marge dincertitude qui diminue avec lcoulement du temps.
Exemple. Aprs les grandes scheresses au Sahel, des projets ont eu pour objectif de favoriser la sdentarisation des leveurs nomades. Deux actions ont t conduites : le ranching et le marachage. Ces actions ont eu des effets : le changement des modes pastoraux, un processus dappropriation des terres, une modification de lorganisation sociale. Dans un premier temps, limpact a t une volution radicale de llevage. Avec le retour dune pluviomtrie moins dficitaire, les techniques de ranching ont t abandonnes, les activits de marachage ont t maintenues. Limpact final de laction est donc une diversification des activits autour de llevage traditionnel.

Tiroir n 4. Limpact = des changements positifs ET ngatifs

Limpact prend videmment en compte les changements ayant apport une amlioration mais aussi ceux qui apportent des contraintes supplmentaires. La dtermination positive ou ngative de ces changements dpend du systme de rfrence choisi. Il peut tre dordre conomique, social ou culturel
Exemple. Une action concerne lamnagement dun primtre irrigu en bordure dune zone lacustre. Objectif : amliorer la ressource alimentaire en priode de soudure et gnrer des revenus complmentaires par la vente de lgumes de contre-saison. Le primtre fournit dsormais une production suffisante pour assurer un apport alimentaire aux exploitants et un revenu complmentaire par la vente. Sur ce point, limpact est un changement significatif et durable : organisation des producteurs, scurit matrielle et alimentaire. Toutefois, les stratgies mises en uvre par les hommes et par les femmes diffrent. Le groupement des femmes sest surtout consacr la production pour lautoconsommation. Les hommes ont davantage cherch produire pour vendre. Avec les revenus gnrs, les hommes prennent des copouses. Le changement est apprci comme positif par les hommes, mais quen disent les femmes ?

Tiroir n 5. Limpact = des changements prvus ET imprvus

Les changements pris en compte pour dterminer limpact concernent galement les interfrences avec les rponses spontanes de la population ou dautres actions en cours dans la zone.
Exemple. La rhabilitation dun quartier dune grande ville africaine prvoit la construction de pavillons qui intgrent une vision moderne de lhabitat : sanitaires, assainissement et cuisine lintrieur de la maison. Quelques mois aprs linstallation des premires familles, les femmes cuisinent dehors, sous des abris de fortune et lespace cuisine intgr au btiment sert des activits artisanales. Cest un espace commode, il y a leau et souvent llectricit. Les habitants ont utilis spontanment les lieux dune faon diffrente de celle fixe par les objectifs du projet. Limpact est la cration dune activit conomique intgre un espace qui navait quune vocation rsidentielle.

Tiroir n 6. Limpact = des changements dans la vie des personnes, des groupes et de leur environnement

Limpact devra prendre en compte les changements aux niveaux de lindividu, de son groupe dappartenance et de son milieu de vie. Ces niveaux peuvent tre diffrents.
Exemple. Dans une cole, linstituteur met laccent sur lhygine individuelle : se laver les mains avant de manger, maintenir propre lespace de vie, etc. Les coliers, persuads du bien-fond de ce quils apprennent lcole le mettent en pratique et rpercutent ces enseignements la maison. Inconsciemment, ils font la leon leur parents. Cette intrusion de lenfant dans lautorit familiale est irrecevable. Ils sont punis, parfois svrement. Des conflits naissent entre linstituteur et les familles. Limpact de laction est une dvalorisation de lcole.

13

FICHE 3. Limpact : une dfinition tiroirs

Lorsque laction consiste en des ralisations matrielles comme la construction dun pont ou dun radier, la rnovation de routes ou de marchs, lamnagement de lespace, etc., lintrt de ces ouvrages ne relve pas de leur ralisation technique (logique de rsultat) mais de lusage qui en est fait par les populations concernes.
Exemple. La rnovation dun quartier urbain au Brsil, en entraide collective, conduit un changement de lhabitat. Les maisons sont plus grandes, plus salubres, mieux ares. Lapparence du quartier est change. Lvaluation de limpact par les habitants se fonde sur les changements dans leur vie quotidienne : plus daisance pour recevoir des visites, meilleure scurit pour les enfants, cohsion sociale et dynamisme communautaire.

Tiroir n 7. Limpact = des changements qui ont un lien de causalit direct ou indirect avec laction

La relation, mme indirecte, avec laction doit pouvoir tre tablie, faute de quoi la dtermination de limpact relve de la mthode du coucou : on profite du nid des autres
Exemple. Lvaluation dun projet de serres solaires en zone dfavorise de montagne montre une baisse significative de la mortalit infantile. Un des objectifs du projet tant lamlioration du chauffage des habitations, on suppose que la baisse de la mortalit est une consquence de limplantation des serres. Mais celles-ci ne concernent quune faible partie de la population et lvaluation tablit que ce sont les mnages les plus aiss qui ont majoritairement bnfici de ces quipements. En labsence dinformation sur dautres actions (vaccination par exemple) ayant pu contribuer ou tre la cause principale de cette baisse, le lien de causalit ne peut tre tabli avec certitude.

14

FICHE 4

EVALUER LES RSULTATS, LES EFFETS ET LIMPACT DUNE ACTION

Lvaluation des rsultats

Lvaluation des rsultats consiste comparer les rsultats atteints et les rsultats dfinis par les objectifs initiaux de laction. Lvaluation prend en compte : la mesure de lcart entre le prvu et le ralis, au plan quantitatif ; la diffrence de nature entre les ralisations prvues et celles ralises, au plan qualitatif.
Lvaluation des rsultats est donc un regard port sur laction elle-mme.

Lvaluation des effets

Lvaluation des effets est plus difficile car ceux-ci dpendent la fois de loprateur et du milieu o sexerce laction. Leur prvision stablit partir de lexprience acquise lors de la conduite dactions similaires. Les documents de projet dcrivent donc les effets attendus avec beaucoup moins de prcision que les rsultats. Lvaluation devra prendre en compte que : le public concern par les effets est plus large que le public cible de laction ; les stratgies menes par les populations sont souvent opaques et difficiles cerner avec prcision ; des actions conduites par dautres oprateurs ont pu interfrer avec laction valuer.
Lvaluation des effets est un regard port sur linteraction entre laction et la population.

Lvaluation de limpact
Lvaluation de limpact prend en compte la complexit des interactions entre laction de dveloppement et lensemble de la population concerne par laction. La complexit des situations conduit obligatoirement faire des choix permettant de retenir ce qui est significatif et de porter un jugement partir dun systme de reprage des changements et de pondration de leur importance.
Lvaluation de limpact est un jugement port sur les dynamiques de changement au sein de la population concerne par laction.

15

FICHE 5

CINQ QUESTIONS SUR LVALUATION DE LIMPACT

Pourquoi valuer limpact ?

Lvaluation de limpact doit permettre : dtablir lutilit de laction dans la dure ; de dfinir les rorientations et les suites donner laction ; damliorer la qualit des actions futures.

Des histoires de vie Le CIDR utilise une mthode de reprage originale pour mesurer limpact de caisses dpargne et de crdit. Le principe consiste en des entretiens longs (3-4 heures), totalement ouverts, o lon demande la personne interwieve de raconter son histoire personnelle, ceci afin dapprhender comment elle abordera (ou non) le sujet de la caisse dpargne et de crdit. La mme opration est conduite, pour comparaison, avec des personnes dun village voisin, non concern par la caisse.

Quand peut-on valuer limpact ?

Limpact, cest ce qui reste quand le projet est fini. Une valuation de limpact deux, trois ou cinq ans aprs la fin du projet permet lvidence de reprer les changements durables. Avec le temps cependant, les liens de causalit entre laction et les changements peuvent devenir plus difficiles tablir.

Dautre part, mme si une identification prcoce ne permet pas de se prononcer avec certitude sur la pertinence et la durabilit des changements, la prise en compte de limpact est toujours utile pour le pilotage et les ventuelles rorientations de laction.

Qui dcide quun changement est significatif ?

Quatre groupes, qui ont chacun leur propre critre dapprciation, sont concerns par cette qualification.
En premier lieu, la population concerne

Attention, la population concerne nest pas un groupe homogne. Elle comprend des individus ou des groupes, aux intrts parfois diffrents, quil faudra identifier et prendre en compte pour mener correctement lvaluation.

16

Il faut veiller galement ce que les proccupations immdiates ne lemportent pas sur les enjeux moyen et long terme.
Loprateur du projet

Celui-ci fondera ses choix partir de la finalit quil sest donne.

LEtat et les collectivits locales

Les pouvoirs publics jugeront en fonction des priorits des politiques nationales et locales.
Les bailleurs de fonds

Au-del du contrle des fonds quils mettent la disposition des oprateurs, les bailleurs ont galement des comptes rendre sur la qualit des actions quils soutiennent.

Comment valuer limpact dune action ?

La dmarche est la suivante : Reprer et inventorier les changements : rsultats et effets (cf. fiche 6). Slectionner les effets produisant des changements significatifs et durables. Etablir une grille de lecture commune pour tous les effets retenus. Cette grille rassemble des champs thmatiques diffrents choisis pour leur pertinence (cf. fiche 7). Etablir des indicateurs qui permettront de donner une valeur chaque lment de la grille (cf. fiche 8). Analyser, de faon systmatique, les relations entre ces divers lments et leur importance relative. Cette analyse nest pas la compilation de rsultats et deffets mais une lecture des dynamiques en cours. Elle doit dgager un sens (orientation et signification), qui donne une cohrence la multiplicit des effets de laction (cf. fiche 9).

A partir de la grille de lecture, quatre effets retenus comme significatifs sont mis en relation. Lvaluation consiste alors tablir leur importance respective pour tablir un jugement.
Effet Effet Action programme Rsultats Effet Effet Autre action Effet Effet Evaluation de limpact Effet

17

FICHE 5. Cinq questions sur lvaluation de limpact

La mesure de limpact est-elle fiable ?

La fiabilit de la mesure dimpact dpend : de la qualit du reprage des effets ; de la pertinence de la grille de lecture et des indicateurs mis en uvre ; de la prise en compte de lincertitude sur la durabilit ; de la qualit de la synthse.

18

FICHE 6

INVENTORIER LES CHANGEMENTS CONSTITUTIFS DE LIMPACT

Rappel

Limpact dune action de dveloppement, cest la situation issue de lensemble des changements significatifs et durables, positifs ou ngatifs, prvus ou imprvus, dans la vie et lenvironnement des personnes et des groupes et pour lesquels un lien de causalit direct ou indirect peut tre tabli avec laction de dveloppement.

Point de dpart : la situation de rfrence

Identifier des changements ncessite tout dabord de connatre les lments de dpart. Rassembls, ceux-ci constituent ce quon appelle la situation de rfrence. La situation de rfrence couvre : lensemble des activits touches par le projet ; la situation des populations concernes (attention, celles-ci dpassent parfois le public dfini a priori comme cible) ; le reprage des acteurs locaux (leaders, groupes et groupements, fonctionnaires et agents de tutelle, oprateurs conomiques, reprsentants de cultes, etc.) et leurs stratgies : que font-ils, que veulent-ils, avec quels moyens et mthodes ? lidentification des oprateurs externes (ONG, agences de dveloppement), avec les rsultats, les effets et si possible limpact de leurs actions passes et en cours ; ventuellement enfin, les donnes historiques, gographiques et socio-conomiques lies la zone. Pour tablir la situation de rfrence, des moyens existent, qui diffrent selon les dmarches suivies par les projets dans leurs phases de conception et de dmarrage : 1) Les documents descriptifs du projet Linformation contenue dans ces documents peut tre fort variable. Comment comparer un simple rapport de mission didentification une tude de faisabilit assise sur une longue exprience de travail dans la rgion ou le domaine considrs ?

19

FICHE 6. Inventorier les changements constitutifs de limpact

2) Ltude pralable ou lvaluation ex-ante

Mesurer limpact implique souvent de tenir compte deffets inattendus. Citons pour exemple ce programme de lutte contre le dboisement grce la diffusion de foyers amliors. Lopration est russie, mais le dboisement persiste et mme samplifie. En fait, confronts une baisse de la demande locale, les coupeurs de bois ne rduisent pas pour autant leur activit : ils vendent le bois lextrieur de la zone du projet. Pour mesurer limpact, il faut comparer ltat actuel des rseaux de vente la situation antrieure. Or, on avait pens recenser les mnages et leurs habitudes culinaires, mais on avait oubli les rseaux de commercialisation !

Au sens du F3E, ce type dtude intervient entre lidentification du projet et le dbut de sa mise en uvre. Ltude pralable a pour but de vrifier la viabilit technique, conomique et sociale des activits prvues. Elle apporte aussi des lments pour dresser un tat des lieux (cf. ci-dessous) le plus objectif possible. Mais cette pratique nest hlas pas systmatique ! Les documents descriptifs du projet et les tudes pralables se limitent en gnral au champ de laction prvue. Pour des raisons de cots, de temps et parfois par oubli ou dsintrt, il est rare que les oprateurs collectent des informations autres que celles directement utiles laction. Pourtant, mesurer limpact implique souvent de prendre en compte des effets trs diffrents et parfois inattendus. 3) L tat des lieux

Cest ce que les Anglo-Saxons pratiquent sous le terme de base line study : une mise plat la plus exhaustive possible de la situation de dpart. Elle dpasse le cadre de laction. La ralisation de cet tat des lieux a videmment un cot. Mais lenjeu en vaut la peine. Dabord parce que la situation analyse en dbut de projet ne se retrouvera plus. Ensuite, et surtout, parce que cet outil de rfrence permet un meilleur pilotage et lamlioration qualitative des actions tout au long de leur mise en uvre. En fin de parcours, la mesure de limpact en sera dautant plus aise.
Lorsque aucune information nest disponible

Les diffrentes sources dinformation que nous venons de citer nexistent pas toujours ; il arrive que ni document de projet, ni tude pralable, ni tat des lieux ne soient disponibles. Dans ce cas, il ne reste qu partir la chasse aux tudes et rapports dj raliss par dautres (en interne ou par des oprateurs extrieurs), dans la zone ou le domaine concerns. Cette tche nest pas toujours facile : ou bien les documents ont disparu avec la fin des projets pour lesquels ils avaient t tablis, ou bien la concurrence, non avoue, entre les oprateurs de dveloppement, conduit une regrettable rtention de linformation. Il est vrai que ces documents, raliss pour des occasions trangres au projet dont on veut valuer limpact, nauront bien videmment pas t raliss au moment prcis du dmarrage de laction. Correctement identifi, ce dcalage temporel ne pose pas de problmes insurmontables.

Aux documents de prparation du projet et ceux raliss par dautres peut sajouter, pour tablir un systme de rfrence acceptable, le rcit par les acteurs locaux de la situation antrieure.

20

Un critre cl : les changements durables

Lanalyse de limpact repose sur lidentification des changements durables. Ces changements se manifestent dans et en dehors de laction. Les changements directement lis laction sont relativement faciles identifier : cest la prise en compte au jour le jour des progrs obtenus dans la ralisation des objectifs. Cette identification repose sur les mthodes habituelles de conduite de projet : fiches de suivi des ralisations, rapports priodiques, etc. Les changements provenant des effets (interaction entre laction de dveloppement et le milieu environnant) ne sont pas toujours identifiables partir de la conduite de laction. Il faudra prendre du recul et se doter dun systme spcifique de reprage, de collecte et de tri de linformation : suivi / valuation, suivi /capitalisation. Laccompagnement de laction par un dispositif de suivi partir dvaluations rgulires et de capitalisation des acquis est le moyen de connatre ce que lon a fait, ce que lon pourrait faire et ce que lon pourra faire lavenir. Mais ce processus est rarement accompli dans sa totalit. Cette lacune rduit largement les possibilits dengager srieusement une dmarche dvaluation de limpact.

Le suivi valuation
Il consiste procder rgulirement des valuations et assurer la mise en uvre de leurs rsultats pour rorienter laction. Les valuations peuvent tre de nature diffrente : auto valuations, valuations assistes, participes, externes, etc. Ce qui importe pour le suivi et la collecte de linformation sur limpact, cest que ces valuations ne soient pas une compilation de documents limite telle ou telle tape de laction, mais quelles soient un ensemble cohrent et organis dans le temps pour permettre une lecture de lvolution de laction. Le dispositif de suivi/valuation a pour fonction premire de juger la ralisation des objectifs. Faute de temps (et donc souvent de financement), seuls les effets les plus facilement reprables sont analyss.

Impact

Action

Rsultats

Evaluation ex-ante

Evaluation intermdiaire

Evaluation finale

Evaluation ex-post

21

FICHE 6. Inventorier les changements constitutifs de limpact

Le suivi capitalisation
Le suivi - capitalisation consiste collecter et analyser rgulirement linformation utile laction. La collecte est assure par les oprateurs de terrain, avec la participation des populations concernes, au travers des outils mis en uvre au cours des phases de programmation et de bilan (Obmemo, Obmemore, larbre mthode, larbre problme, Kifekwa, Marp, Pert, Sepo, Sepa, etc.1). Lanalyse est ralise en concertation entre les oprateurs terrain (contenu) et des oprateurs dappui externes (cadre mthodologique et distance du regard). Le suivi - capitalisation a pour objectif didentifier les innovations, les solutions pratiques, les ouvertures et les potentialits qui pourront tre mises en uvre dans la suite de laction. Parce quelle collecte des informations auprs de la population concerne et pas uniquement du public cible, et quelle identifie tout ce qui peut tre utile laction, la capitalisation conduit par nature reprer les lments qui permettront de mesurer limpact.
Oprateurs : levez le nez du terrain ! Levez le nez de laction et prenez le temps dobserver. Cela suppose un minimum de capacit dcoute et de distanciation. Informez-vous sur lvolution des autres actions en cours sur la zone dactivit. Et surtout triez, notez, conservez par crit les lments reprs pour viter quils ne soient oublis.

Administrateurs : laction, ce nest pas que lactivit ! Noubliez pas de prvoir et de budgtiser le suivi valuation capitalisation*. Inscrivez cette fonction dans le cahier des charges des oprateurs de terrain (chefs de projet, agents techniques).
* Les bailleurs de fonds ont souvent introduit des lignes de financement spcifiques pour cela.

Impact Action

Capitalisation

Cf. bibliographie: SCHIMTZ Jean-Louis & WILLOT Paul, Mthodes et outils dvaluation participative. WILLOT Paul, Evaluer cest quoi ?

22

Collecter et trier !
Si on collecte des informations et quensuite on se dit Voyons ce quil y a dans le sac, nous nous confrontons une mission impossible. Si lon opre un tri slectif a priori, bas sur nos attentes, en sachant que de nombreux changements sont produits par des causes indpendantes de laction, nous risquons de sombrer dans une construction intellectuelle, qui peut tre sduisante mais inutile pour guider notre action. Le suivi doit permettre de slectionner les effets constitutifs de limpact. Cest--dire ceux qui contribuent des changements significatifs, et durables, dans la vie des personnes et dans leur milieu La collecte et le tri relvent donc dun travail souple et volutif, aliment en permanence par le suivi de laction.

Le reprage des lments constitutifs de limpact

Lexemple dun projet dintroduction de la culture attele

Un projet avait pour objectif dintroduire la culture attele sur la base dune charrue par exploitation. Le but tait de librer la force de travail des exploitants, la finalit de promouvoir le dveloppement conomique et social de la zone. Le rsultat atteint est mesurable au pourcentage des exploitations quipes et oprationnelles. Mais lquipement en bufs de trait et charrues ne va pas sans provoquer des changements dans le milieu. Au-del du rsultat une charrue par exploitation de nombreux effets sont reprs. Si notre finalit est daugmenter les potentialits du milieu, nous pouvons choisir de reprer limpact sur les ressources disponibles. Les effets retenus sont : lintensification des cultures ; le flux migratoire sur la zone ; les outils et techniques disponibles. Les indicateurs sont : lvolution de la production agricole sur la zone : surfaces emblaves, rendements ; lage, le sexe et les fonctions des personnes ayant quitt la zone ; les activits des personnes ayant quitt la zone : il est possible que ces dparts aient per mis de crer dautres activits ailleurs ; lvolution de loffre de produits transforms localement : nature, quantit, qualit, satisfaction de la demande locale ; les solutions palliatives apportes aux charges nouvelles : activits du cycle de productions agricoles ne bnficiant pas de la rduction de pnibilit apporte grce la culture attele. Voir page suivante le tableau danalyse de cet exemple.

23

FICHE 6. Inventorier les changements constitutifs de limpact

IMPACT

24

FICHE 7

ANALYSE DES CHANGEMENTS : LA GRILLE DE LECTURE DES EFFETS

La diversit des effets dune action

Ltat des lieux montre gnralement une situation de dpart qui est loin dtre simple. Cependant, lanalyse de la mme situation, en cours dvolution, est encore plus complique ! Les effets identifis concernent des champs dactivits diversifis ; leur mise en relation et leur comparaison ne sont pas chose facile.

Lexemple de la construction dun pont pour dsenclaver un village

De nombreux effets dcoulent de cette action. 1) Lcoulement des productions induit une amlioration de la situation des personnes ou des groupes qui utilisent cette nouvelle opportunit ; ceci conduit des modifications de lquilibre social. 2) La vente du bois de chauffe, des produits de cueillette, des dchets de cultures devient rentable ; ceci augmente la pression sur lenvironnement. 3) Les visites plus frquentes des ressortissants du village installs en ville provoquent des changements culturels, surtout auprs des jeunes. 4) Des commerants viennent sinstaller et concurrencent lpicier local qui doit fermer boutique et arrte simultanment son rle dusurier. De nouveaux circuits de financement se mettent en place. Question : comment mettre en rapport les effets sur les circuits financiers locaux, les changements de comportement des jeunes et laccroissement des prlvements sur les ressources vgtales ?

Lanalyse effet par effet ne peut aboutir qu la compilation des changements. On dit : Il y a eu cela, et ceci, et encore cela. Cette succession deffets ne nous claire gure sur limpact de laction. De ce point de vue, seule leur mise en relation est intressante. Pour cela, la grille de lecture est un outil danalyse fort utile. Cette grille, souvent nomme grille multicritres, est compose de thmes dfinis partir des changements retenus comme constitutifs de limpact.

25

FICHE 7. Analyse des changements : la grille de lecture des effets

Construction dune grille de lecture des effets dune action

Dans lexemple prcdent de construction dun pont, le rsultat est la ralisation de louvrage. Le but est de dsenclaver le village. La concertation entre les villageois et les oprateurs du projet a permis de dterminer des changements constitutifs de limpact. Il y a dsenclavement, car : 1. Nous constatons une augmentation des changes avec lextrieur. 2. Les changes avec lextrieur sont durables. A partir de cet exemple, nous pouvons construire et remplir la grille danalyse.
Effets
Ecoulement des productions locales.

Echanges ?
Flux export et import, en augmentation sensible.

Durables ?
Essentiellement des stratgies individuelles ou familiales. Pas de groupements de producteurs permettant de contrebalancer les pouvoirs externes.

Commercialisation des ressources vgtales qui ntaient pas encore valorises : bois, produits de cueillette, dchets de culture. Brassage culturel ville-campagne.

Augmentation des prlvements sur le terroir.

Pas de stratgie volontariste de renouvellement de ressources considres comme prennes.

Introduction de la culture urbaine auprs des jeunes.

Conflits jeunes vieux pouvant remettre en cause louvrage : destruction volontaire du pont ou laisser faire la dgradation naturelle.

Ouverture conomique.

Augmentation des changes marchands.

Endettement externe en augmentation et perte de la rgulation locale par lusurier. Le contrle social sur la richesse disparat.

Autres effets qui auraient pu tre pris en compte : accs aux soins de sant ; activits touristiques ... ... Dsquilibre des flux dchange : import > export ... Les flux import sont plus durables que les flux export

IMPACT = DCAPITALISATION Commentaire : la population et les oprateurs du projet estiment que le but dsenclavement du village est atteint car deux changements significatifs (augmentation des changes et durabilit) sont intervenus. Lvaluation de limpact montre que ces changements conduisent progressivement une dcapitalisation conomique, sociale et culturelle. Des actions complmentaires, visant pallier cette dcapitalisation, devront tre engages.

26

Schma gnral de construction et dexploitation dune grille de lecture

GRILLE DE LECTURE

changement 1

changement 2 ... changement n ...

Effet x

Effet y

...

Effet z

...

Mise en relation

IMPACT

La grille de lecture sinterpose comme moyen danalyse entre les effets et le jugement port sur limpact de laction de dveloppement. Le nombre deffets et de changements significatifs pris en compte varie videmment en fonction de laction considre. Chaque interaction entre un effet et un changement constitutif de limpact est value partir dindicateurs quil faut tablir (cf. fiche suivante).

27

FICHE 8

MESURE DES CHANGEMENTS : LES INDICATEURS DIMPACT

Dfinition

Les indicateurs dimpact sont des signes vrifiables et mesurables qui, par comparaison une rfrence (ou une norme), permettent de porter une apprciation sur les critres dvaluation1.

La diversit des champs daction et de leurs interactions avec le milieu ne permet pas dtablir une liste type dindicateurs dimpact quil ne resterait qu appliquer. Tout au plus peuton tenter de reprer quelques indicateurs rgulirement utiliss pour la mesure dimpact (cf. fiche 9). En pratique, les indicateurs dimpact sont donc construire, au cas par cas, partir de la grille de lecture des effets (cf. fiche 7).

Les indicateurs de limpact sont-ils diffrents des autres indicateurs ?

Les indicateurs de limpact ont une caractristique commune avec tous les autres indicateurs utiliss au cours dune valuation : ils doivent permettre de mesurer un cart entre la situation constate au moment de lvaluation et une situation de rfrence, gnralement celle qui existait au dbut de laction (cf. fiche 6) ; Ils se diffrencient des indicateurs habituels pour deux raisons : en plus de mesurer un cart, ils doivent donner des indications sur les dynamiques de changement ; dans cette perspective, ils sont mis en relation au moyen de la grille de lecture des effets (cf. fiche 7).
Exemple. Afin dcouler plus facilement leur production en milieu urbain, des producteurs se regroupent et crent des marchs autogrs. Si on prend comme indicateur le volume des ventes ralises, on peut mesurer lcart entre la situation de dpart (vente au village des ngociants) et la situation actuelle (march autogr). La prise en compte de lvolution des changes montre une

Pour plus de dtails sur les termes relatifs lvaluation, consulter lAnnexe 2 p. 47, et le document F3E : Lvaluation, un outil au service de laction.

28

brusque acclration aprs une phase de dmarrage trs lente. A partir dun autre indicateur, la frquence des runions, on constate que si les runions tenues au village sont constantes, celles des producteurs qui portent leurs marchandises au march sont plus nombreuses et rgulires. Cette augmentation des runions prcde celle des ventes. La mise en relation des indicateurs montre que limpact des marchs autogrs a t une prise de conscience des producteurs des rgles du march et de leur capacit vendre meilleur prix. Cette prise de conscience se manifeste ensuite par des changements durables dans leurs pratiques de production et de commercialisation. Il a fallu pour cela, ce qui ntait pas prvu au dpart, que les runions se droulent sur les lieux de vente.

Remarque : les indicateurs (volume des changes, frquence des runions) pourraient galement contribuer la mesure de lefficacit ou de lefficience de laction. Il peut donc exister des indicateurs communs aux divers critres dvaluation. Mais la spcificit des indicateurs dimpact, cest leur mise en relation lintrieur de la grille de lecture.

Le reprage des indicateurs

Les indicateurs sont tablis partir des lments de la dmarche dvaluation dimpact : Dans cet exemple :
Si le projet na pas bnfici dun suivi 2, commencer ici. Si le projet a bnfici dun suivi, commencer ici.

Impact
Choix des changements a priori partir de limpact attendu de laction. Par exemple : changes, durables, etc. (cf. fiche 7). A faire avec toutes les prcautions lies lincertitude sur la prvision de la nature de limpact final.

Grille de lecture des effets

Elaboration dune grille de lecture thmatique des effets partir des changements constitutifs de limpact pouvant tre dfinis partir de priorits : de la population ; de loprateur ; de ladministration ; du bailleur.

Indicateurs
Choisir un ou plusieurs indicateurs par couple effets/ changements retenu dans la grille. Prciser en quoi il permet de mesurer : un cart ; une dynamique. Et en identifiant pour qui il est significatif !

SENS DE CONSTRUCTION DES INDICATEURS

Rappel : la grille de lecture des effets nest pas une liste deffets ! Cest un ensemble de thmes permettant de lire les effets (cf. fiche 9).

A propos du suivi, cf. fiche 6.

29

FICHE 8. Mesure des changements : les indicateurs dimpact

Mise en uvre des indicateurs

Une fois les indicateurs identifis, ils sont mis en uvre en ordre inverse pour, si possible, aboutir une dtermination de limpact.

Impact
Dtermination de limpact.

Grille de lecture des effets

Mise en relation des indicateurs.

Indicateurs
Analyse de la situation par rapport : ltat des lieux (carts) ; aux lments capitaliss (dynamiques de changement).

SENS DUTILISATION DES INDICATEURS

Deux exemples de construction dindicateurs

Exemple 1 : lectrification rurale Changements constitutifs de limpact Grille de lecture des effets
Nouveaux postes de cots.

Indicateurs

Qui paye llectricit ? Qui payait les moyens antrieurs dclairage et de bois de chauffe ?

Llectrification a-t-elle contribu une meilleure quit sociale et conomique ?

(Transfert et rquilibrage des charges au sein de la population)

Ratio de cot lectricit / conomie bois, ptrole, bougies. Accs aux biens et aux services. Nouveaux cots (tlvision, radio, allongement de la dure dclairage, cuisine, moulin). Apports conomiques de nouvelles utilisations (arrosage, lessive). Environnement. Genre. Prlvement sur les espaces boiss. Nouvelle rpartition des tches. Allongement de la journe de travail des femmes.

30

Exemple 2 : implantation dun puits moderne Changements constitutifs de limpact Grille de lecture des effets
Commodit dusage.

Indicateurs

Dbit, proximit. Frquence des conflits lis : au droit de puisage ; lentretien.

Laction a-t-elle contribu un meilleur confort des villageois ?

Notorit du village.

(Ou a contrario entente, mais cest plus difficile mesurer). Capacit daccueil des visiteurs (convivialit). Gains de temps. Affectation du temps libr (organisation des tches). Salubrit. Qualit bactriologique de leau. Part du budget affect la sant.

Maladies hydriques.

Frquence. Liste des prescriptions de mdicaments par le centre de sant.

Disponibilit des personnes.

Nombre de jours travaills. Ratio entre les tches dintert immdiat (cultures) et celles relevant dun investissement moyen terme (amnagement du terroir).

Laction a-t-elle contribu amliorer la sant des villageois ?

Frais mdicaux. Hygine.

Part du budget affect la sant. Consommation de savon. Frquence des lessives et du nettoiement des instruments de cuisine.

Dans lexemple ci-dessus, la commodit et la salubrit sont des thmes proposs par loprateur. Le thme de la notorit a t introduit linitiative de la population du village.

31

FICHE 8. Mesure des changements : les indicateurs dimpact

Exemple de construction et de mise en uvre dindicateurs dimpact1

laction consiste former le personnel soignant qui formera son tour des personnes du corps mdical (mdecins, sages-femmes) dans un pays dAsie ; la finalit est lamlioration des conditions de vie des populations ; lobjectif est de parvenir un meilleur fonctionnement des organisations internationales qui mnent des actions dans le secteur de la sant ; les rsultats immdiatement observables sont le nombre de forms et ltat des lieux du systme de sant du pays ; les effets sont nombreux : augmentation du statut social et conomique des formateurs et des forms, meilleur tat sanitaire des populations, moins dabsentisme au travail, meilleures pratiques mdicales des forms, amlioration des programmes pdagogiques de sant Dans la mesure de ses moyens, lvaluation prendra en compte lapprciation des populations concernes par laction. Cela na pas t possible ici. Loprateur a donc construit sa grille de lecture en fonction de sa finalit et ne slectionne que les effets et les indicateurs lui paraissant correspondre des changements constitutifs de limpact.

Effets
Augmentation du statut social.

Indicateurs
Nombre dinvitations des soires traditionnelles.

Augmentation du statut conomique.

Augmentation de salaire. Evolutions dans le panier des biens consomms.

Progrs dans les pratiques mdicales.

Nombre de mutations dans des rgions o il y a le plus de besoins.

Amlioration de ltat sanitaire des populations. Moins dabsentisme. Amlioration des mthodes pdagogiques en matire de sant (effet dentranement).

Indicateurs de sant traditionnels (taux de mortalit, esprance de vie la naissance). Nombre de jours travaills. Effectifs supplmentaires auto-forms. Changements dans les programmes scolaires.

Cet exemple est propos partir de lexercice dapplication ralis par Mlle Latitia TANKWE, stagiaire la SIDI. Il cherche essentiellement quantifier la mesure dimpact. Ralis en dehors de laction elle-mme, il doit videmment tre considr comme un cas dcole.

32

Quantification des indicateurs

Chaque indicateur pondr selon limportance relative quon lui reconnat peut tre ramen une valeur entre 0 et 1. Plus la moyenne de lensemble des indicateurs se rapproche de 1, plus on peut conclure que limpact est effectivement ralis. Certains indicateurs, comme les changements dans les programmes scolaires, sont difficiles quantifier. Leur prise en compte relve dune apprciation qualitative non aborde dans cet exemple.

Application des indicateurs trois critres

1. Nombre dinvitations des soires traditionnelles pour les formateurs. Sachant quil y a 7 jours dans la semaine et en supposant quil y ait une fte traditionnelle par village et par soir, on associera la valeur maximale 1 7 invitations par semaine et la valeur 0 correspondra videmment aucune invitation. Avant laction, les formateurs taient invits en moyenne une fois par semaine, aprs la formation ce nombre slve quatre invitations. La valeur affecte ce critre est donc : 4 x 1 / 7 = 0,5714 2. Augmentation des salaires Nous considrons quune augmentation de salaire est significative si elle est suprieure au taux dinflation. Le taux dinflation sur lanne slevait 4,5 %. La valeur 0 sera donc associe un taux de croissance du salaire nominal infrieur ou gal 4,5 %, et un doublement des salaires, sera associ la valeur 1. Une augmentation de 50 % du salaire est un seuil psychologique au-del duquel laugmentation est juge moins significative, nous lui affecterons la valeur 0,8 ; ce qui conduit au tableau ci-dessous.

1,2 1 0,8 0,6 0,4 0,2 0 10 20 30 40 50 60 90 100

Augmentation du salaire en %

Laugmentation des salaires tant de 10 %, la valeur fournie par le tableau est proche de 0,2. 3. Nombre de jours travaills Ltat des lieux pralable relevait que la population travaillait en moyenne 320 jours par an. Le nombre maximum tant de 365, laccroissement maximal est de 45, il correspond la valeur 1 de lindice. Laugmentation constate est de 25, soit une valeur dindice de 25 / 45 = 0,55.

33

FICHE 8. Mesure des changements : les indicateurs dimpact

Interprtation des indicateurs

En sinspirant de la culture locale, qui privilgie la valeur travail sur la densification des relations sociale et ensuite laugmentation du revenu montaire, la pondration des indicateurs sera : nombre de jours travaills : 3 / 6 = 0,5 nombre dinvitations des soires traditionnelles pour les formateurs : 2 / 6 = 0,3 augmentation de salaire : 1 / 6 = 0,2 La valeur moyenne, indicateur de limpact de la variation du niveau de vie, est donc : Valeur indice Nombre de jours travaills Nombre dinvitations Augmentation de salaire Moyenne indicateurs 0,55 0,57 0,2 Pondration 0,5 0,3 0,2 Valeur pondre 0,28 0,17 0,04 0,49

Conclusion

La moyenne des indicateurs dimpact tant lgrement infrieure 0,5, limpact sur les conditions de vie de la population concerne peut tre jug peu significatif. Mais nous sommes ici dans un cas dcole prenant en compte un nombre limit dindicateurs avec des lments de quantification et de pondration choisis pour les besoins de lexemple.

34

FICHE 9

EXEMPLES DINDICATEURS DIMPACT

Les indicateurs prsents dans cette fiche concernent les effets constitutifs de limpact. Les indicateurs relatifs aux rsultats, gnralement identifis par ailleurs partir des objectifs de laction, ne sont pas repris ici. Certains exemples deffets induits et indicateurs dimpacts paraissent parfois trs loigns de laction conduite. Rien de surprenant cela : cest bien une des caractristiques de limpact de prendre en compte tous les changements, mme les plus inattendus.
Exemple. Pour une action de dveloppement du tourisme dont lobjectif est de crer une source de revenu supplmentaire dans une zone dtermine, les indicateurs lis aux rsultats seront : taux de remplissage des quipements, dpense moyenne par personne, ratio retombes financires locales / cots externes, etc. La mesure dimpact fera intervenir des indicateurs lis : lvolution de la biodiversit (amlioration ou dgradation des sites), de la dlinquance (vols, constitution de rseaux de narco-trafiquants et de prostitution), des commerces de souvenir, lvolution professionnelle du personnel form (htellerie, restauration, guides) et incidences sur la qualit de loffre dans dautres zones et dautres secteurs dactivit, etc.

Exemples retenus pour ce chapitre

Afin daider la construction dindicateurs dans des cas de figure varis, les tableaux ci-aprs sappliquent aux domaines suivants : lamnagement rural ; lappui la cration dactivits gnratrices de revenus ; le microcrdit ; la sant ; le dveloppement local (avec la socit civile) ; lappui institutionnel ; lhydraulique villageoise ; la rhabilitation de quartiers urbains. Pour chaque tableau, la liste deffets et dindicateurs nest bien sr pas exhaustive.

35

FICHE 9. Exemples dindicateurs dimpact

LAMNAGEMENT RURAL

Exemples deffets constitutifs de limpact

Initiatives de traitement des zones priphriques.

Indicateurs
Instance de concertation inter-villageoise. Nombre dactions concertes.

Actions de conservation des eaux et du sol en amont et aval. Les ressources prcdemment non exploites sont valorises. Mise en place de nouvelles instances et de nouvelles rgles de gestion du terroir. Succs des techniques de conservation des eaux et du sol.

Ratio dinvestissement local / priphrique.

Evolution des prix des sous-produits forestiers.

Persistance ou non danciennes rgles dusage. Nombre de nouvelles rgles mises en place. Augmentation du prix des cailloux. Reproduction des techniques. Exclusion des ayants droit temporaires installs sur des terres marginales pour rcupration et amnagement par leur propritaire.

LAPPUI LA CRATION DACTIVITS GNRATRICES DE REVENUS Indicateurs

Exemples deffets constitutifs de limpact

Incidence sur dautres secteurs dactivit.

Cration demplois et investissement dans des secteurs lis. Cration ou renforcement des structures et/ou groupements professionnels.

Perturbation des mcanismes de fonctionnement concurrentiel du march.

Entreprises non aides concurrences et ayant d cesser leur activit. Concentration des activits sur quelques oprateurs.

Confiance.

Cration dautres initiatives conomiques, sociales, politiques, etc. Evolution du flux migratoire.

Intensification des relations conomiques moyenne et longue distance.

Evolution de la part de budget consacre aux dplacements professionnels et tlcommunications (tlphone, tlcopie, bureautique).

Les migrants se mobilisent pour appuyer les nouvelles activits.

Flux financiers externes.

36

LE MICROCRDIT Exemples deffets constitutifs de limpact Indicateurs

Les crdits sont affects dautres usages que leur destination initiale. Crdits pour lhabitat reconvertis en investissements pour lagriculture pri et intra-urbaine. Laugmentation des flux montaires conduit une ouverture conomique et sociale de la zone.

Actions productives / trsorerie des actions sociales. Evolution de loffre sur les marchs alimentaires locaux.

Evolution des besoins couverts, ou non couverts. Evolution des changes marchands et non marchands hors zone. Evolution des taux dquipement en biens durables. Evolution du ratio dpenses durables / dpenses de consommation courante. Diversification sectorielle. Evolution des prix.

Amlioration de laccs aux services.

Evolution de la sous traitance et/ou de la pluriactivit.

Evolution du rle des usuriers : abandon, rorientation vers dautres segments du circuit financier, intgration au systme du microcrdit, renforcement (rachat de dettes, exploitation du surendettement). Affaiblissement du rle des notables qui exeraient un rle rgulateur entre emprunteurs et usuriers. Concurrence avec les systmes financiers traditionnels. Les commerants ont la possibilit de rembourser rapidement, ils recourent donc plus souvent aux crdits et captent ainsi les disponibilits de la caisse au dtriment des agriculteurs qui fonctionnent en rythme annuel. Laccs au crdit augmente la concurrence entre les petits oprateurs conomiques.

Nombre dusuriers. Estimation des flux financiers. Disponibilits : volution des montants et dlais accords.

Augmentation des conflits lis lexercice des fonctions politiques. Evolution du nombre de tontines et des volumes cotiss. Typologie des emprunteurs. Volumes emprunts.

Nombre de faillites. Rotation ( turn over ) des petits oprateurs.

37

FICHE 9. Exemples dindicateurs dimpact

LA SANT Exemples deffets constitutifs de limpact

Rle des ans : les vieux sont plus nombreux pour un nombre constant de fonctions honorifiques. Capacit festive : moins de maladies donc moins dobstacles aux rjouissances et autres manifestations collective. Augmentation ou baisse de la fragilit de la population.

Indicateurs
Frquence des conflits daccs aux fonctions honorifiques. Respect du calendrier des ftes. Pourcentage de participation. Invitations entre familles. Invitations dhtes externes. Prvalence de certaines affections : allergies, asthme Evolution du nombre de personnes invalides ou handicapes.

Plus grande disponibilit au travail. Laugmentation de la force de travail et la croissance dmographique conduisent : de nouveaux besoins en quipements collectifs ;

Temps de prsence sur les lieux de travail.

Nouvelles demandes, non programmes, dquipements collectifs. Evolution des demandes en cours.

une pression foncire plus forte.

Evolution du couvert vgtal. Ratio friches / espaces cultivs. Cot daccs au foncier.

Pour financer les soins : volution des systmes de solidarit.

Affectation des tontines. Affectation des ressources procures par les activits collectives.

LE DVELOPPEMENT LOCAL (AVEC LA SOCIT CIVILE) Exemples deffets constitutifs de limpact

Notorit des oprateurs locaux.

Indicateurs
Constitution de groupes de pression. Captage de laide : homognit ou htrognit des bnficiaires dinvestissements subventionns.

Image dynamique de la zone.

Evolution du flux migratoire vers la zone du dveloppement local. Evolution des prix.

Besoins de financements locaux.

Nombre, volume, efficacit des systmes de cotisation sur objectifs spcifiques. Mise en place de services payants.

Connaissance objective du terroir.

Dcisions damnagement sur dcisions locales ou par des oprateurs externes (ONG dappui, administration).

38

LAPPUI INSTITUTIONNEL Exemples deffets constitutifs de limpact Indicateurs

Prises de responsabilits politiques et/ou sociales.

Elus issus des structures mres. Influences dans les commissions de concertation. Participants ayant pris des responsabilits dans des associations et organisations de base. Qualit du dbat public, diversit des thmes, qualit de largumentation.

Cration de services : la structure locale cre une boutique dinformation sur les cours mondiaux des produits agricoles. Indexation des prix locaux et volution des stratgies de ventes : plutt que de vendre lagence publique nationale, la commercialisation devient une tape rellement prise en compte au niveau local. Autonomie financire.

Calendrier des ventes. Constitution de stocks spculatifs. Commercialisation individuelle ou collective, apparition de formes coopratives.

Nombre de dossiers de financement (subventions). Evolution du nombre et volume financier des prestations de service (autofinancement).

Intgration : alliances conclues.

Nombre et nature des actions en partenariat.

Effet tache dhuile.

Dlgation des structures filles. Sous-traitance. Cration de structures alternatives.

Rinvestissement des formations visant laugmentation des comptences des cadres.

Nombre de cadres des structures de base ayant pu mettre en uvre les acquis des formations.

39

FICHE 9. Exemples dindicateurs dimpact

LHYDRAULIQUE VILLAGEOISE Exemples deffets constitutifs de limpact Indicateurs

Effets sur la sant. Groupes exclus de laccs aux quipements pour cause de clivages lignagiers ou ethniques. Conflits dusage : eau domestique / eau pour les troupeaux / eau pour lirrigation (concurrence entre agriculteurs et leveurs).

Rcurrence des maladies hydriques. Comparaison origine des usagers / diversit des utilisateurs potentiels. Frquence des conflits sur les lieux de puisage. Nombre et dure des points deaux usage rserv. Entre irrigants, frquence : des vols deau ; bris et sabotage des nouvelles infrastructures.

La production ayant augment mais atteint son seuil maximal, les producteurs recherchent des gains supplmentaires en diversifiant les productions, leur transformation et en amliorant le conditionnement des produits et lorganisation des circuits de vente. Les quipements hydrauliques conduisent lappropriation de systmes de gestion.

Apparition de nouveaux produits : alimentation pour enfants ; cultures dembouche, etc. Production de cagettes et de sacs.

Existence de caisses de maintenance. Frquence et dure des priodes dindisponibilit des quipements pour causes techniques ou ruptures dapprovisionnement.

La plus grande disponibilit en eau : cre de nouveaux services ; Apparitions de nouveaux services : porteurs deau. favorise la convivialit et la capacit daccueil ; Accueil dtrangers. Evolution du solde migratoire. attire les leveurs ; Nombre de nouveaux leveurs. Ngociations sur les itinraires, couloirs et droits de passage des troupeaux. permet de faire des cultures de contre-saison. Evolution de la production en contre-saison. Evolution des revenus individuels et collectifs des femmes et des hommes.

40

LA RHABILITATION DE QUARTIERS URBAINS Exemples deffets constitutifs de limpact Indicateurs

Recomposition sociale : les enjeux locaux lemportent sur les intrts ethniques et les origines (urbains, no-urbains, rurbains...).

Nombre dactions collectives nouvelles engages sur la base denjeux locaux. Nombre dassociations cres sur la base denjeux locaux.

Rappropriation du contrle social.

Evolution de la dlinquance. Frquence des dlits, de la toxicomanie. Actions de lutte contre les rseaux mafieux.

Laction a conduit un sentiment collectif dappartenance un quartier.

Implantation de lieux collectifs. Evolution des lieux de culte. Frquence et nature des relations avec la municipalit centrale. Actions de prservation du patrimoine. Evolution des relations avec les autres quartiers. Demandes dappui dautres quartiers.

Capacit dorganisation et acquisition de comptences.

Production de documents crits (rglements internes, comptabilit, etc.). Transfert des comptences organisationnelles vers dautres actions.

Augmentation des surfaces habitables conduisant des changements de mode de vie et dorganisation familiale : possibilit pour les jeunes de rester au quartier et dy crer une activit gnratrice de revenus.

Ratio entre les logements ayant conserv les mmes occupants et ceux ayant chang. Extension ou diminution daccueil vers les ascendants, les descendants, la parentle, les sous-locataires. Frquence dapparition dactivits nouvelles : artisanat, petit commerce. Age des nouveaux oprateurs conomiques du quartier.

La rhabilitation du quartier a conduit la rgie de transports en commun reconsidrer la desserte permettant ainsi une intgration lconomie urbaine. Evolution dmocratique.

Nouvelles lignes de desserte. Lieux et frquentation des arrts. Evolution du ratio emplois locaux / externes.

Nombre de municipalits ayant des mandats mens terme : programmes raliss, mandats achevs, respect des procdures de concertation. Taux de participation des citoyens.

41

ANNEXES

ANNEXE 1

RAPPEL DE QUELQUES TERMES RELATIFS LACTION

A la priphrie dun village africain, un groupe dhommes et de femmes saffairent. Les femmes apportent de leau. Quatre hommes prparent du banco : ils mlangent de la terre, du fumier et de leau ; quils moulent ensuite pour faire des briques. A la question Que faites-vous ?, le premier rpond : Avec mes mains, je prends du banco et je le mets dans ce moule en tassant bien. A la mme question, le second indique : Je fabrique des briques de banco pour construire les murs dune cole. La troisime personne dit : Je participe linstallation dune cole dans le village. La quatrime renchrit : Juvre pour la promotion de nos enfants par laccs au savoir.

En quelques mots, ces quatre personnes ont successivement permis de distinguer : moyen, objectif, but et finalit de laction : Faire des briques avec un moule : Construire le btiment : Avoir une cole dans le village : Assurer la promotion des enfants :
Dfinitions

est le moyen. est lobjectif. est le but. est la finalit.

La finalit : cest lidal vers lequel on tend. La finalit ne se dcrit pas, elle nest pas photographiable ; elle est immatrielle et fait rfrence des valeurs : la dignit, la libert, lgalit, etc. Le but : cest la matrialisation de la finalit que lon se donne. Le but est concret, il peut tre dcrit, mais il nest pas accessible immdiatement. Lobjectif : cest le rsultat attendu dune action. Cest la succession des objectifs qui concourent atteindre le but que lon sest fix. Les objectifs sont ordonns dans le temps et dans lespace. On parle alors dobjectifs principaux, de sous objectifs, etc. Les moyens : ce sont les outils et mthodes techniques que lon met en uvre pour atteindre les objectifs.

45

ANNEXE 1. Rappel de quelques termes relatifs laction

But et objectif sont-ils la mme chose ?

Dans lexemple prcdent, le but est davoir dune cole dans le village : ce qui suppose bien sr un btiment, mais aussi un matre, du mobilier et du matriel pdagogique. Il faut galement quune relation sinstaure entre les villageois et lcole, crer ventuellement un comit de gestion, assurer les relations avec ladministration. Plus tard, il faudra entretenir le btiment, sintresser au devenir des personnes formes, etc. Les actions en relation avec le but avoir une cole dans le village continueront bien aprs la ralisation des objectifs du projet dimplantation de lcole. Donc : les objectifs sont lis laction de dveloppement et doivent si possible tre atteints dans le temps imparti ; le but, cest ce que lon souhaite voir exister et fonctionner de faon durable lissue de laction. Avant de raliser le but avoir une cole au village , il est ncessaire datteindre au moins deux objectifs : disposer dun btiment adapt. Ceci ncessite en pralable de mobiliser les villageois, de runir les matriaux, de construire les briques, les murs, la toiture, etc. de doter lcole de moyens pour mener ses activits : mobilier, matriel pdagogique, relations avec lacadmie, etc.

Et la stratgie daction ?

Cest lorganisation, dans le temps et dans lespace, des divers objectifs atteindre.
Et la tactique ?

Cest la manire de mobiliser les moyens et mthodes de travail pour atteindre chaque objectif.
Et la dmarche ?

Cest le fondement philosophique de laction : choix des moyens et mthodes mettre en uvre, choix des priorits dans lorganisation des objectifs.
Et la mthode ?

Cest la faon dutiliser les moyens.

46

ANNEXE 2

RAPPEL DE QUELQUES TERMES RELATIFS LVALUATION

De nombreux ouvrages abordent dans toute sa diversit la question de lvaluation (cf. bibliographie). Il nous a toutefois paru utile de prciser ici quelques-uns des termes les plus frquemment employs.

Les termes de rfrence sont tablis lorsque lon veut procder une valuation (ou plus gnralement une tude). Ils permettent de dlimiter le champ de lvaluation et den prciser les objectifs, cest--dire ce que lon cherche savoir sur une action. Ils sont formuls partir dun questionnement tabli sur la connaissance pralable de laction (origine, conception, droulement, rsultats attendus et constats).

Les critres sont les angles de vue sous lesquels on value laction. Les critres les plus courants sont : lefficacit, lefficience, limpact, la viabilit, la pertinence. Selon les actions et les priorits des oprateurs, dautres critres peuvent exister : participation, durabilit (au sens de conserver la viabilit dans la dure), lautonomie, la cohrence, etc.

Dfinitions

Lefficacit : compare les rsultats aux objectifs prvus, mesure les carts et tente de les interprter (analyse quantitative). Le critre defficacit permet dtablir le degr de ralisation atteint. Lefficience : compare les rsultats avec les moyens humains et matriels mis en uvre, les dlais pour atteindre les objectifs, les mthodes utilises. Le critre defficience tend reprer si lon a fait les bons choix pour optimiser, qualitativement et quantitativement, les moyens mis disposition. La viabilit : capacit de laction se poursuivre sans appuis extrieurs. La pertinence : capacit choisir la ou les actions les mieux adaptes pour rpondre la demande des bnficiaires. Limpact : mesure dynamique des effets de laction (cf. fiche 4).

47

ANNEXE 2. Rappel de quelques termes relatifs lvaluation

Les indicateurs sont des signes vrifiables et mesurables qui, par comparaison une rfrence (ou une norme), permettent de porter une apprciation sur les critres dvaluation.
Exemple. Un projet sant, incluant un volet animation et plusieurs campagnes de vaccination, arrive son terme un mois avant la date prvue car les temps de dplacement ont t optimiss. La chane du froid a t assure avec des rfrigrateurs aliments par panneaux solaires, et les vaccinateurs ont accept de dormir en brousse. Cela a permis de couvrir des petits villages qui ntaient pas programms. Lobjectif tait une couverture vaccinale de 80 %. Le rsultat atteint 85 %, et avec constat la fin du projet dun fort intrt (changement dattitude) et une mobilisation (changement de comportement) de la population pour la prvention des maladies. On dira que laction a t : efficace : 85 % de couverture au lieu de la norme de 80 %. efficiente : lorganisation et lutilisation des moyens techniques a permis de rduire la dure du programme, de rduire les cots et de toucher plus de monde. et que son impact, positif, est lvolution des relations du milieu avec les soins de sant.

48

ANNEXE 3

BIBLIOGRAPHIE

Ouvrages
BOYDEN Jo & PRATT Brian : The field directors handbook, Oxford, Oxfam, 1988, 512 p. DUPUIS Jrome : Lvaluation des politiques publiques locales, Voiron, La lettre du cadre territorial, mai 1998, 375 p. DURUFLE G., FABRE R., YUNG M. : Les effets sociaux et conomiques des projets de dve loppement rural, Paris, Ministre de la Coopration, 1988, 188 p. ENGEL Paul G.H. : The social organization of innovation, Amsterdam, Royal Tropical Institute, 1997, 210 p. + fiches mthodologiques. GOSLING Louisa & EDWARDS Mike : A practical guide to assessment, monitoring, review and evaluation , Londres, Save the Children, 1995, 233 p. MORIS Jon & COPESTAKE James : Qualitative enquiry for rural development, Londres, Intermediate Technology Publication, 1993, 92 p. RUBIN Frances : A basic guide to evaluation for development workers, UK & Ireland, Oxfam publications, 1995, 95 p.

Guides mthodologiques
Collectif : Analyse et conduite de projets, Toulouse, ADIR, 1996. GALLAND Bruno, FONTAINE Denis, RASIDY Katia : Evaluer la viabilit des centres de sant, Paris ReMed, 1997, deux fascicules de 61 et 65 p. Collectif : La sant en action, Paris, Comit Franais dducation pour la sant, 1987, 112 p. LECOMTE Bernard, PIERRET RIEUCAUD Marie Hlne : Outils de diagnostic organisationnel des organisations populaires et des ONG (en Afrique de lOuest et Centrale), octobre 1993, 27 p. SCHIMTZ Jean Louis & WILLOT Paul : Mthodes et outils dvaluation participative, Paris, Fondation de France, octobre 1997, 56 p. + annexes.

49

ANNEXE 3. Bibliographie

SEGUIER Michel : Une cl de lecture pour des indicateurs de dveloppement humain, Centre Lebret, 1995, 35 p. WILLOT Paul : Evaluer cest quoi ?, Vedrin Belgique, Groupe dappui aux projets asbl, date non prcise, 55 p.

Etudes
GRESLOU Franois, DE MELO FOUCHER M. : Mesure de limpact social des projets de developpement, document de parcours n 2, CCFD, janvier 1995. Indicatores de desarollo integral, Centro de Investigacin Social y Educacin Popular, Prou, juin 1996, 35 p. Searching for Impact and Methods : NGO Evaluation Synthesis Study, 2 tomes, Ministry of Foreign Affairs of Finland, 1997. Toward Guidelines for Lower-Cost Impact Assessment Methodologies For Microenterprise Program, Washinton D.C., AIMS, juin 1998, 28 p. Cration de capacits locales et dcentralisation au sahel : rapport de synthse des rsultats de ltude PADLOS-Education, CILSS / Club du Sahel, dcembre 1998, 20 p.

50

LE CIEDEL. Centre international dtudes pour le dveloppement local.

Universit catholique de Lyon 30, rue Sainte-Hlne 69002 Lyon France Tl. : 33 (0)4 72 77 87 50. Fax 33 (0)4 72 41 99 88. email : ciedel@univ-catholyon.fr

Le CIEDEL, un institut mdiateur

Institut universitaire par son histoire, oprateur de dveloppement par sa pratique, le CIEDEL est un mdiateur entre la rflexion et laction qui a fait le choix du dveloppement local.
Ses buts

Etre un lieu de collecte, dexprimentation, de traitement et de diffusion des savoirs produits par les acteurs et les rseaux de dveloppement. Etre un mdiateur entre le dveloppement la base et la politique des Etats. Assurer une liaison transversale et pluridisciplinaire des divers champs de comptences gographiques, techniques et professionnelles.
Au centre de son action, la formation

Le CIEDEL a mis en place une formation pour des acteurs de dveloppement des cinq continents qui souhaitent amliorer leurs capacits concevoir et conduire des programmes de dveloppement local. Cette formation est organise en modules qui sarticulent autour des thmes suivants : politiques et stratgies de dveloppement ; conception, gestion et valuation de projets ; mthodes et outils de dveloppement local.
Alimente par six champs daction

Etudes et appuis : accompagnement de partenaires, prestations de service (valuation, appui institutionnel, gender...), mise en oeuvre de programmes dappui aux acteurs locaux de dveloppement. Communication : ralisation de lencyclopdie audiovisuelle sur le dveloppement au Sahel, ralisation de vidos thmatiques, production doutils pdagogiques. Publication : publication de rflexions et de capitalisations des expriences. Documentation : un centre de documentation sur le dveloppement, des bases de donnes informatises (RITIMO, DPH), production doutils documentaires. Recherche : participation la ralisation dtudes sur lvolution des pays du Sud et du Nord, rencontres et travaux collectifs sur le thme du dveloppement local. Rseau dappui la coopration en Rhne-Alpes (RESACOOP) : programme au service des collectivits locales, associations, entreprises, coles, universits et autres organisations de Rhne-Alpes engages dans des projets de coopration.
Mis en uvre par une quipe pluridisciplinaire permanente

Lquipe du CIEDEL est constitue dune douzaine de professionnels du dveloppement, qui alternent activits oprationnelles (tudes, appuis, communication, RESACOOP ) et activits universitaires (formation, recherche et publication).

Fonds pour la promotion des tudes pralables tudes transversales valuations

Constitu en avril 1994, le F3E est un outil cr et gr par des associations de solidarit internationale dsireuses de renforcer leurs actions. A cette fin, le F3E facilite la ralisation dtudes pralables, dvaluations et dtudes transversales, au moyen de cofinancements et/ou dappui technique. Pour chaque tude, les cofinancements proviennent du ministre des Affaires trangres, de lassociation demandeuse et du F3E, sur son fonds de prquation. Laccumulation et la diffusion des rsultats par le F3E des travaux mens avec son appui constituent une capitalisation des expriences, dont chacun, pour le domaine qui le concerne, peut tirer bnfice. Par ailleurs, le F3E met en place des actions de promotion de la dmarche dtude en organisant des journes dinformation technique. Il favorise lamlioration des comptences de ses membres dans ce domaine par la ralisation et la diffusion doutils mthodologiques. Enfin, le F3E est un lieu dchanges entre les associations et avec les pouvoirs publics, qui poursuivent par ce biais une rflexion commune sur les mthodes daction.

32, rue Le Peletier 75009 Paris T. 33 (0)1 44 83 03 55 F. 33 (0)1 44 83 03 25 e.mail : F3E @ globenet.org