Vous êtes sur la page 1sur 55

L'valuation des projets : indicateurs dimpact

Mise jour du 17 fvrier 2012

Rmi Bachelet Ce cours lvaluation des projets est disponible ici

Cours distribu sous licence Creative Commons,


selon les conditions suivantes :

Source : image

cole Centrale de Lille Cit Scientifique BP 48 F-59651 Villeneuve dAscq Cedex

Ralis partir des travaux ou du CIEDEL Source des images indiques audessous en cliquant sur limage

Objectifs
Au terme de cette prsentation, vous devez pouvoir valuer limpact dun projet :
1. Prparer, ngocier et raliser l'valuation:
Connatre les bonnes pratiques Des exemples, tirs de projets dont limpact est particulirement important (projets de dveloppement durable) sont donns et signals par :

2. Savoir construire et calibrer des indicateurs dimpact 3. Comprendre et pouvoir partager des concepts-cls
(Prsents sur la page suivante)
Lightbulb Jon Phillips public-domain-photos.com

Rmi BACHELET

Ralis partir des travaux du CIEDEL

valuation dimpact : concepts-cls

Finalit
Situation de rfrence

Rsultats
suivi

moyens Action buts Effets Indicateurs

Impact
Rmi BACHELET

Objectifs

Ralis partir des travaux du CIEDEL

Le cycle des oprations


Dcision sur la manire dutiliser les rsultats dans les projets futurs

Programmation

Plan Stratgique

Domaines prioritaires, Objectifs globaux

Rapport dvaluation, audit

Livraison
Dcision de continuer ou de rorienter le projet (valuations intermdiaires)

Identification
Etude de faisabilit, Termes de rfrence

Mise en uvre
Go/no-Go

Formulation
Etude de montage

Rapports davancement Dcision de financement


Rmi BACHELET
Adapt de : http://democratie.francophonie.org/IMG/ppt/Gestion_cycl Ralis partir des travaux du CIEDEL e_de_projet_et_cadre_logique.ppt

Chapitre 1/5

Fondamentaux de l'valuation
1. 2. L'valuation des rsultats, des effets, de l'impact Apprcier limpact : un exercice complexe

Rmi BACHELET

Ralis partir des travaux du CIEDEL

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

Dfinitions
Rsultats = changements produits directement par laction
A comparer avec les objectifs formaliss avant le lancement du projet.

Effets = incidences directes et indirectes de laction


Rsultats de laction mais aussi d'autres dynamiques / contraintes provenant du milieu (physique et humain). Les effets peuvent tre anticips, mais avec une marge dincertitude
= P.e. objectifs propres des populations .

Impact = situation finale la suite de laction


Prvoir limpact prsente encore plus de difficults, car de nombreux facteurs indpendants du projet peuvent se combiner avec les rsultats et les effets de laction. Le temps est galement un facteur, car l'impact se juge terme

Rmi BACHELET

Ralis partir des travaux du CIEDEL

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

L'valuation des rsultats


Au vu des objectifs initiaux de laction, comparer :
les objectifs dfinis .. et les rsultats atteints

Deux visions :
quantitative : cart chiffr entre le prvu et le ralis
(p.e. 3 puits construits au lieu de 4)

qualitative : diffrence de nature entre le prvu / ralis


(p.e. un forage au lieu dun puits)

Rmi BACHELET

Ralis partir des travaux du CIEDEL

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

10

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

11

L'valuation des effets


Lvaluation des effets porte sur linteraction entre laction et lenvironnement du projet. De plus,
Le public concern par les effets est plus large que le public cible de laction Les stratgies menes par les personnes et les populations sont souvent imprvisibles et difficiles cerner Dautres actions conduites par dautres oprateurs ont pu interfrer
Rmi BACHELET
Ralis partir des travaux du CIEDEL

12

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

13

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

14

Lvaluation de limpact
L'impact d'un projet est
lensemble des changements significatifs durables positifs et ngatifs prvus et imprvus Sur les personnes, les groupes et leur environnement ayant un lien de causalit avec laction

Rmi BACHELET

Ralis partir des travaux du CIEDEL

15

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

16

Il est difficile danticiper limpact


Impact technique :
attendu : des villageois forms pour lentretien ; inattendu : cration dentreprises de rparation des puits dans la zone.

Impact conomique :
attendu : la caisse villageoise est alimente par le paiement de leau ; inattendu : cration demplois et distribution de revenus travers les entreprises dentretien des puits.

Impact social :
attendu : les enfants du village sont en meilleure sant ; inattendu : les enfants librs de la corve deau peuvent aller lcole.

Impact financier :
attendu : constitution dune caisse pour lentretien des puits ; inattendu : dtournement pour son profit personnel dun vendeur deau.

Impact organisationnel :
attendu : constitution des comits de gestion ; inattendu : certains comits de gestion des puits soccupent aussi de la gestion du potager de lcole.
Source : L'valuation un outil au service de l'action Marie-Christine Guneau- Etienne Beaudoux Ralis partir des travaux du CIEDEL IRAM

Rmi BACHELET

17

Chapitre 2/5

Le processus dvaluation

1.

Modalits de suivi et de construction de l'valuation


Situation de rfrence Moyens, objectifs, buts et finalit

2. Moyens, objectifs, buts et finalit de laction

Rmi BACHELET

Ralis partir des travaux du CIEDEL

18

La situation de rfrence est diagnostiquer au dpart


Sur toutes les activits qui seront touches par le projet :
1. Quelle est la situation de dpart ?
(attention, les personnes concernes dpassent le public dfini a priori comme client ).

2. Qui sont les acteurs ?


leaders, groupes et groupements, fonctionnaires et agents de tutelle, oprateurs conomiques, reprsentants de cultes, etc.

.. analyser leurs zones d'incertitudes et anticiper leurs stratgies (voir


cours danalyse stratgique des projets)
Rmi BACHELET
Ralis partir des travaux du CIEDEL

19

Le suivi valuation
Les jalons et runions de suivi du projet prvoient de procder rgulirement des valuations. Elles peuvent tre des runions de chantier, auto-valuations, valuations externes, etc on peut valuer les effets, mais aussi le dispositif lui-mme.

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL 20 CIEDEL

Le suivi-capitalisation
Collecter et analyser rgulirement linformation utile laction.
Levez le nez de laction et prenez le temps dobserver = coute et distanciation. Informez-vous sur lvolution des autres actions en cours sur la zone dactivit. Triez, notez, conservez par crit les lments reprs pour viter quils ne soient oublis.

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

21

Moyens, objectifs, buts et finalit de laction (1/2)


Prs dun village, un groupe dhommes travaille. Quatre hommes prparent du banco : ils mlangent de la terre, du fumier et de leau, quils moulent ensuite pour faire des briques. A la question Que faites-vous ?,
le premier rpond : Avec mes mains, je prends du banco et je le mets dans ce moule en tassant bien. le second indique : Je fabrique des briques de banco pour construire les murs dun btiment. La troisime personne dit : Je participe linstallation dune cole dans le village. La quatrime renchrit : Joeuvre pour la promotion de nos enfants par laccs au savoir

Rmi BACHELET

Ralis partir des travaux du CIEDEL

22

Moyens, objectifs, buts et finalit de laction (2/2)


Faire des briques avec un moule est le moyen. Construire le btiment est lobjectif. Avoir une cole dans le village est le but. Assurer la promotion des enfants est la finalit.

Rmi BACHELET

Ralis partir des travaux du CIEDEL

23

La finalit : cest lidal abstrait vers lequel on tend. La finalit ne se dcrit pas, elle nest pas photographiable ; elle est immatrielle et fait souvent rfrence des valeurs :
la dignit, la libert, lgalit, etc.

Le but : cest la matrialisation de la finalit que lon se donne, normalement il correspond limpact attendu.
Le but est concret, mais il nest pas accessible immdiatement.

Lobjectif : cest le rsultat attendu dune action. Atteindre les objectifs doit produire des rsultats.
Les objectifs sont ordonns dans le temps et dans lespace : on parle alors dobjectifs principaux, de sous-objectifs, etc.

Les moyens : ce sont les financements, comptences, outils et mthodes que lon met en uvre pour atteindre les objectifs.
Il est indispensable de mobiliser des moyens et des ressources

Rmi BACHELET

Ralis partir des travaux du CIEDEL

24

Chapitre 3/5

Exemples de projets et de leur impact


1. 2. Projet dintroduction de la culture attele Dsenclaver un village, quel impact ?

Rmi BACHELET

Ralis partir des travaux du CIEDEL

25

Exemple dun projet dintroduction de la culture attele


Ce projet a pour objectif dintroduire la culture attele sur la base dune charrue par exploitation.
La finalit de promouvoir le dveloppement conomique et social de la zone. Le but est de librer la force de travail des exploitants, Lobjectif est un agriculteur, une charrue Les moyens sont : une quipe dintervenants, un budget de formation, un bulldozer etc

Rmi BACHELET

Ralis partir des travaux du CIEDEL

26

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

27

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

28

Exemple de la construction dun pont pour dsenclaver un village


De nombreux effets dcoulent de cette action :
1. Lcoulement des productions induit une amlioration de la situation des personnes ou des groupes qui utilisent cette nouvelle opportunit
des modifications de lquilibre social.

2. La vente du bois de chauffe, des produits de cueillette/chasse, des dchets de cultures devient rentable ; ceci augmente la pression sur lenvironnement. 3. Les visites plus frquentes des ressortissants du village installs en ville provoquent des changements culturels, surtout auprs des jeunes. 4. Des commerants viennent sinstaller et concurrencent lpicier local qui doit
Fermer Arrter son rle dusurier : nouveaux circuits de financement.

Quel est au final, limpact ?


Rmi BACHELET
Ralis partir des travaux du CIEDEL

29

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis CIEDEL partir des travaux du CIEDEL

30

Chapitre 4/5

Construire des indicateurs


1. 2. 3. De quoi s'agit-il ? Exercice de construction dindicateurs dimpact Autres concepts utiles en valuation

Rmi BACHELET

Ralis partir des travaux du CIEDEL

31

L'impact rsulte de la combinaison des effets

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

32

Que sont des indicateurs dimpact ?


Ce sont des signes vrifiables et mesurables qui, par comparaison une rfrence, permettent de porter une apprciation

Rmi BACHELET

Ralis partir des travaux du CIEDEL

33

L'impact permet de trouver des indicateurs


indicateur

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

34

Conception des indicateurs

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

35

Conception des indicateurs


On travaille de manire dductive

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

36

Utilisation des indicateurs

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

37

Utilisation des indicateurs

On travaille de manire inductive


Rmi BACHELET
Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL

38

Exercice de construction dindicateurs dimpact


Laction consiste former le personnel soignant qui formera son tour des personnes du corps mdical (mdecins, sagesfemmes)
La finalit est la dignit et lamlioration des conditions de vie des populations ; Les rsultats attendus sont le nombre de forms et ltat des lieux du systme de sant rgional ; Les effets sur les formateurs et les forms sont entre autres :

Quels sont les indicateurs proposer pour 1 et 2 ? Dtaillez pour 1 et 2 et si vous avez le temps dveloppez dautres

1. Amlioration du statut social 2. Amlioration de la situation conomique,

indicateurs : meilleur tat sanitaire des populations, moins dabsentisme au travail, meilleures pratiques mdicales des forms, amlioration des programmes pdagogiques de sant
Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren CIEDEL Propos partir de lexercice dapplication ralis par Mlle Latitia Ralis partir des travaux du CIEDEL TANKWE.

Rmi BACHELET

39

Rmi BACHELET

Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren CIEDEL Propos partir de lexercice dapplication ralis par Mlle Latitia TANKWE. Ralis partir des travaux du CIEDEL

40

Calibrage des indicateurs


Ce n'est pas parce qu'un indicateur est quantifi qu'il a du sens
Une augmentation de revenus de 5%, est-ce "peu" ? "beaucoup" ?

Il faut donc pouvoir interprter chaque indicateur selon limportance relative quon lui reconnat
par une valeur entre 0% et 100%. Plus un indicateur se rapproche de 100%, plus on peut conclure que limpact idal est atteint.

Quels sont les calculs proposer ? dtaillez pour 1 et 2

Rmi BACHELET

Ralis partir des travaux du CIEDEL

41

Application des indicateurs : amlioration du statut social


Indicateur : Nombre dinvitations des ftes traditionnelles pour les formateurs.
Sachant quil y a 7 jours dans la semaine et en supposant quil y ait une fte traditionnelle par village et par soir, on associera la valeur maximale possible de lindicateur 7 invitations par semaine et la valeur 0 correspondra aucune invitation. Avant laction, les formateurs taient invits en moyenne une fois par semaine, aprs la formation ce nombre slve quatre invitations.

La valeur affecte ce critre est donc : (4 - 1) / 7 = 57%

Rmi BACHELET

Ralis partir des travaux du CIEDEL

42

Application des indicateurs : amlioration du statut conomique.


Indicateur : Augmentation des salaires.
Une augmentation de salaire est significative si elle est suprieure au taux dinflation.
Le taux dinflation sur lanne slevait 4,5 %. La valeur 0 sera donc associe un taux de croissance du salaire nominal infrieur ou gal 4,5 %, Calibrage :
Un doublement des salaires sera associ la valeur 100% de lindicateur. Une augmentation de 50 % du salaire est un seuil psychologique au-del duquel laugmentation est juge moins significative, nous lui affecterons la valeur 0,8.

Si laugmentation des salaires est de 17 %, lindicateur calcul est 20%


(17-4,5)*0,8/50 = 20%

Rmi BACHELET

Ralis partir des travaux du CIEDEL

43

Chapitre 5/5

Suivre et valoriser une valuation


1. 2. 3.

La ngociation des objectifs quoi sert lvaluation ? Bonnes pratiques


Quest-ce qui fait quune valuation marche ?

4.

Autres concepts utiles

Rmi BACHELET

Ralis partir des travaux du CIEDEL

44

La ngociation des objectifs


Se conduit avec les diffrents clients/partenaires du projet Permet de clarifier les attentes de chacun
Une colonne pour chaque client Une priorisation des attentes : hirarchiser ce qui est
bien / trs bien / moyen / rsultat minimum acceptable

Revenir rgulirement sur cette matrice lors des runions de suivi

Rmi BACHELET

Ralis partir des travaux du CIEDEL

45

Exemple de matrice dobjectifs

Ralis partir des travaux du CIEDEL

quoi sert lvaluation ? (1/2)


Contrler
si ce qui a t prvu a t ralis, vrifier comment le financement a t utilis

Samliorer
Faire mieux la prochaine fois

Rguler
Indique ce qui a marche ou pas, permet de ne pas refaire les mmes erreurs, guide le pilotage en cours de projet

Capitaliser
Mmoriser lexprience, la transformer en savoir partageable
Rmi BACHELET
Ralis partir des travaux du CIEDEL

47

quoi sert lvaluation ? (2/2)


Former
Si lvaluation est participative ou une auto-valuation, elle permet aux acteurs de progresser

Communiquer
Sur les actions, leur rsultat, leur impact

Faire participer
Si les termes de rfrence sont construits et ngocis

Mais aussi
Mesurer, apprcier limpact rel, obliger rflchir avant dagir, connatre ses faiblesses, se valoriser, motiver,
Rmi BACHELET
Ralis partir des travaux du CIEDEL

48

votre avis, quest-ce qui fait quune valuation marche bien ou mal ?
Selon :
Les intentions des acteurs
Volont de changement ? Craintes ?

Lquipe-projet
Ouverte ? Scurise ?

Les convergences dintrts des acteurs


Concertation ? Ngociation ?

Le type de management
Autoritaire ? Partenariat ?

Limportance accorde lvaluation


Dure ? Moyens ? Temps dchanges ?

Ce qui se passe aprs lvaluation


Des moyens pour appliquer les conclusions, une valorisation, une corve ?
Rmi BACHELET
Ralis partir des travaux du CIEDEL

49

Rmi BACHELET

Source : suivre et valoriser une valuation Christophe Mestre Ralis partir des travaux du CIEDEL CIEDEL

50

Rmi BACHELET

Source : suivre et valoriser une valuation Christophe Mestre Ralis partir des travaux du CIEDEL CIEDEL

51

Autres concepts utiles en valuation

Rmi BACHELET

Ralis partir des travaux du CIEDEL

52

Les termes de rfrence


tablis au dbut du projet.
Ils permettent de dlimiter le champ de lvaluation et den prciser les objectifs = ce que lon cherche savoir sur une action.

Ils sont formuls partir dun questionnement sur laction prvue


origine, conception, financement droulement, rsultats attendus...

Voir Guide mthodologique : La prparation collective des termes de rfrence dune valuation

Rmi BACHELET

Ralis partir des travaux du CIEDEL

53

Les critres
Les angles de vue sous lesquels on value laction. Les critres les plus courants sont :
1.
2. 3.

lefficacit : compare les rsultats aux objectifs prvus (en quantit et


en qualit),

lefficience : compare les rsultats avec les ressources utilises


(moyens humains et matriels),

la soutenabilit : laction est durable (elle se poursuit de manire


autonome sans appui extrieur),

La mthodologie de mise en uvre des critres est galement dveloppe dans la vido formation au brainstorming. Dautres critres peuvent tre utiliss : participation,
environnement, cohrence avec dautres projets, etc

Rmi BACHELET

Ralis partir des travaux du CIEDEL

54

Questions ?
Pour approfondir :
conomie de lvaluation : Analyse cot-bnfice Lvaluation dun site internet Web analytics Trouver les indicateurs Mthodes de recueil de donnes
4 grandes familles de mthodes
1. 2. 3. 4. Les entretiens Les questionnaires Lanalyse de donnes secondaires Lobservation directe

Rmi BACHELET

Ralis partir des travaux du CIEDEL

55