Projet Evaluation Impact

L'valuation des projets : indicateurs dimpact
Mise jour du 17 fvrier 2012
Rmi Bachelet Ce cours lvaluation des projets est disponible ici
Cours distribu sous licence Creative Commons,

selon les conditions suivantes :
Source : image
cole Centrale de Lille Cit Scientifique BP 48 F-59651 Villeneuve dAscq Cedex
Ralis partir des travaux ou du CIEDEL Source des images indiques audessous en cliquant sur limage
Objectifs
Au terme de cette prsentation, vous devez pouvoir valuer limpact dun projet :
1. Prparer, ngocier et raliser l'valuation:
Connatre les bonnes pratiques Des exemples, tirs de projets dont limpact est particulirement important (projets de dveloppement durable) sont donns et signals par :
2. Savoir construire et calibrer des indicateurs dimpact 3. Comprendre et pouvoir partager des concepts-cls
(Prsents sur la page suivante)
Lightbulb Jon Phillips public-domain-photos.com
Rmi BACHELET
Ralis partir des travaux du CIEDEL
valuation dimpact : concepts-cls
Finalit
Situation de rfrence
Rsultats
suivi
moyens Action buts Effets Indicateurs
Impact
Rmi BACHELET
Objectifs
Le cycle des oprations

Dcision sur la manire dutiliser les rsultats dans les projets futurs
Programmation
Plan Stratgique
Domaines prioritaires, Objectifs globaux
Rapport dvaluation, audit
Livraison
Dcision de continuer ou de rorienter le projet (valuations intermdiaires)
Identification
Etude de faisabilit, Termes de rfrence
Mise en uvre
Go/no-Go
Formulation
Etude de montage
Rapports davancement Dcision de financement

Rmi BACHELET
Adapt de : http://democratie.francophonie.org/IMG/ppt/Gestion_cycl Ralis partir des travaux du CIEDEL e_de_projet_et_cadre_logique.ppt
Chapitre 1/5
Fondamentaux de l'valuation
1. 2. L'valuation des rsultats, des effets, de l'impact Apprcier limpact : un exercice complexe
Rmi BACHELET
Rmi BACHELET
Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL CIEDEL
Dfinitions
Rsultats = changements produits directement par laction
A comparer avec les objectifs formaliss avant le lancement du projet.
Effets = incidences directes et indirectes de laction

Rsultats de laction mais aussi d'autres dynamiques / contraintes provenant du milieu (physique et humain). Les effets peuvent tre anticips, mais avec une marge dincertitude
= P.e. objectifs propres des populations .
Impact = situation finale la suite de laction

Prvoir limpact prsente encore plus de difficults, car de nombreux facteurs indpendants du projet peuvent se combiner avec les rsultats et les effets de laction. Le temps est galement un facteur, car l'impact se juge terme
Rmi BACHELET
Rmi BACHELET
L'valuation des rsultats

Au vu des objectifs initiaux de laction, comparer :
les objectifs dfinis .. et les rsultats atteints
Deux visions :
quantitative : cart chiffr entre le prvu et le ralis
(p.e. 3 puits construits au lieu de 4)
qualitative : diffrence de nature entre le prvu / ralis

(p.e. un forage au lieu dun puits)
Rmi BACHELET
Rmi BACHELET
10
Rmi BACHELET
11
L'valuation des effets

Lvaluation des effets porte sur linteraction entre laction et lenvironnement du projet. De plus,
Le public concern par les effets est plus large que le public cible de laction Les stratgies menes par les personnes et les populations sont souvent imprvisibles et difficiles cerner Dautres actions conduites par dautres oprateurs ont pu interfrer
Rmi BACHELET
12
Rmi BACHELET
13
Rmi BACHELET
14
Lvaluation de limpact
L'impact d'un projet est
lensemble des changements significatifs durables positifs et ngatifs prvus et imprvus Sur les personnes, les groupes et leur environnement ayant un lien de causalit avec laction
Rmi BACHELET
15
Rmi BACHELET
16
Il est difficile danticiper limpact

Impact technique :
attendu : des villageois forms pour lentretien ; inattendu : cration dentreprises de rparation des puits dans la zone.
Impact conomique :
attendu : la caisse villageoise est alimente par le paiement de leau ; inattendu : cration demplois et distribution de revenus travers les entreprises dentretien des puits.
Impact social :
attendu : les enfants du village sont en meilleure sant ; inattendu : les enfants librs de la corve deau peuvent aller lcole.
Impact financier :
attendu : constitution dune caisse pour lentretien des puits ; inattendu : dtournement pour son profit personnel dun vendeur deau.
Impact organisationnel :
attendu : constitution des comits de gestion ; inattendu : certains comits de gestion des puits soccupent aussi de la gestion du potager de lcole.
Source : L'valuation un outil au service de l'action Marie-Christine Guneau- Etienne Beaudoux Ralis partir des travaux du CIEDEL IRAM
Rmi BACHELET
17
Chapitre 2/5
Le processus dvaluation
1.

Modalits de suivi et de construction de l'valuation

Situation de rfrence Moyens, objectifs, buts et finalit
2. Moyens, objectifs, buts et finalit de laction
Rmi BACHELET
18
La situation de rfrence est diagnostiquer au dpart

Sur toutes les activits qui seront touches par le projet :
1. Quelle est la situation de dpart ?
(attention, les personnes concernes dpassent le public dfini a priori comme client ).
2. Qui sont les acteurs ?

leaders, groupes et groupements, fonctionnaires et agents de tutelle, oprateurs conomiques, reprsentants de cultes, etc.
.. analyser leurs zones d'incertitudes et anticiper leurs stratgies (voir

cours danalyse stratgique des projets)
Rmi BACHELET
19
Le suivi valuation
Les jalons et runions de suivi du projet prvoient de procder rgulirement des valuations. Elles peuvent tre des runions de chantier, auto-valuations, valuations externes, etc on peut valuer les effets, mais aussi le dispositif lui-mme.
Rmi BACHELET
Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis partir des travaux du CIEDEL 20 CIEDEL
Le suivi-capitalisation
Collecter et analyser rgulirement linformation utile laction.
Levez le nez de laction et prenez le temps dobserver = coute et distanciation. Informez-vous sur lvolution des autres actions en cours sur la zone dactivit. Triez, notez, conservez par crit les lments reprs pour viter quils ne soient oublis.
Rmi BACHELET
21
Moyens, objectifs, buts et finalit de laction (1/2)

Prs dun village, un groupe dhommes travaille. Quatre hommes prparent du banco : ils mlangent de la terre, du fumier et de leau, quils moulent ensuite pour faire des briques. A la question Que faites-vous ?,
le premier rpond : Avec mes mains, je prends du banco et je le mets dans ce moule en tassant bien. le second indique : Je fabrique des briques de banco pour construire les murs dun btiment. La troisime personne dit : Je participe linstallation dune cole dans le village. La quatrime renchrit : Joeuvre pour la promotion de nos enfants par laccs au savoir
Rmi BACHELET
22
Moyens, objectifs, buts et finalit de laction (2/2)

Faire des briques avec un moule est le moyen. Construire le btiment est lobjectif. Avoir une cole dans le village est le but. Assurer la promotion des enfants est la finalit.
Rmi BACHELET
23
La finalit : cest lidal abstrait vers lequel on tend. La finalit ne se dcrit pas, elle nest pas photographiable ; elle est immatrielle et fait souvent rfrence des valeurs :
la dignit, la libert, lgalit, etc.
Le but : cest la matrialisation de la finalit que lon se donne, normalement il correspond limpact attendu.
Le but est concret, mais il nest pas accessible immdiatement.
Lobjectif : cest le rsultat attendu dune action. Atteindre les objectifs doit produire des rsultats.
Les objectifs sont ordonns dans le temps et dans lespace : on parle alors dobjectifs principaux, de sous-objectifs, etc.
Les moyens : ce sont les financements, comptences, outils et mthodes que lon met en uvre pour atteindre les objectifs.
Il est indispensable de mobiliser des moyens et des ressources
Rmi BACHELET
24
Chapitre 3/5
Exemples de projets et de leur impact

1. 2. Projet dintroduction de la culture attele Dsenclaver un village, quel impact ?
Rmi BACHELET
25
Exemple dun projet dintroduction de la culture attele

Ce projet a pour objectif dintroduire la culture attele sur la base dune charrue par exploitation.
La finalit de promouvoir le dveloppement conomique et social de la zone. Le but est de librer la force de travail des exploitants, Lobjectif est un agriculteur, une charrue Les moyens sont : une quipe dintervenants, un budget de formation, un bulldozer etc
Rmi BACHELET
26
Rmi BACHELET
27
Rmi BACHELET
28
Exemple de la construction dun pont pour dsenclaver un village

De nombreux effets dcoulent de cette action :
1. Lcoulement des productions induit une amlioration de la situation des personnes ou des groupes qui utilisent cette nouvelle opportunit
des modifications de lquilibre social.
2. La vente du bois de chauffe, des produits de cueillette/chasse, des dchets de cultures devient rentable ; ceci augmente la pression sur lenvironnement. 3. Les visites plus frquentes des ressortissants du village installs en ville provoquent des changements culturels, surtout auprs des jeunes. 4. Des commerants viennent sinstaller et concurrencent lpicier local qui doit
Fermer Arrter son rle dusurier : nouveaux circuits de financement.
Quel est au final, limpact ?

Rmi BACHELET
29
Rmi BACHELET
Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren Ralis CIEDEL partir des travaux du CIEDEL
30
Chapitre 4/5
Construire des indicateurs

1. 2. 3. De quoi s'agit-il ? Exercice de construction dindicateurs dimpact Autres concepts utiles en valuation
Rmi BACHELET
31
L'impact rsulte de la combinaison des effets
Rmi BACHELET
32
Que sont des indicateurs dimpact ?

Ce sont des signes vrifiables et mesurables qui, par comparaison une rfrence, permettent de porter une apprciation
Rmi BACHELET
33
L'impact permet de trouver des indicateurs

indicateur
Rmi BACHELET
34
Conception des indicateurs
Rmi BACHELET
35
Conception des indicateurs

On travaille de manire dductive
Rmi BACHELET
36
Utilisation des indicateurs
Rmi BACHELET
37
Utilisation des indicateurs
On travaille de manire inductive

Rmi BACHELET
38
Exercice de construction dindicateurs dimpact

Laction consiste former le personnel soignant qui formera son tour des personnes du corps mdical (mdecins, sagesfemmes)
La finalit est la dignit et lamlioration des conditions de vie des populations ; Les rsultats attendus sont le nombre de forms et ltat des lieux du systme de sant rgional ; Les effets sur les formateurs et les forms sont entre autres :
Quels sont les indicateurs proposer pour 1 et 2 ? Dtaillez pour 1 et 2 et si vous avez le temps dveloppez dautres
1. Amlioration du statut social 2. Amlioration de la situation conomique,
indicateurs : meilleur tat sanitaire des populations, moins dabsentisme au travail, meilleures pratiques mdicales des forms, amlioration des programmes pdagogiques de sant
Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren CIEDEL Propos partir de lexercice dapplication ralis par Mlle Latitia Ralis partir des travaux du CIEDEL TANKWE.
Rmi BACHELET
39
Rmi BACHELET
Source : Prise en compte de limpact et construction dindicateurs dimpact Gilbert Graugnard - Nicolas Heeren CIEDEL Propos partir de lexercice dapplication ralis par Mlle Latitia TANKWE. Ralis partir des travaux du CIEDEL
40
Calibrage des indicateurs

Ce n'est pas parce qu'un indicateur est quantifi qu'il a du sens
Une augmentation de revenus de 5%, est-ce "peu" ? "beaucoup" ?
Il faut donc pouvoir interprter chaque indicateur selon limportance relative quon lui reconnat
par une valeur entre 0% et 100%. Plus un indicateur se rapproche de 100%, plus on peut conclure que limpact idal est atteint.
Quels sont les calculs proposer ? dtaillez pour 1 et 2
Rmi BACHELET
41
Application des indicateurs : amlioration du statut social

Indicateur : Nombre dinvitations des ftes traditionnelles pour les formateurs.
Sachant quil y a 7 jours dans la semaine et en supposant quil y ait une fte traditionnelle par village et par soir, on associera la valeur maximale possible de lindicateur 7 invitations par semaine et la valeur 0 correspondra aucune invitation. Avant laction, les formateurs taient invits en moyenne une fois par semaine, aprs la formation ce nombre slve quatre invitations.
La valeur affecte ce critre est donc : (4 - 1) / 7 = 57%
Rmi BACHELET
42
Application des indicateurs : amlioration du statut conomique.

Indicateur : Augmentation des salaires.
Une augmentation de salaire est significative si elle est suprieure au taux dinflation.
Le taux dinflation sur lanne slevait 4,5 %. La valeur 0 sera donc associe un taux de croissance du salaire nominal infrieur ou gal 4,5 %, Calibrage :
Un doublement des salaires sera associ la valeur 100% de lindicateur. Une augmentation de 50 % du salaire est un seuil psychologique au-del duquel laugmentation est juge moins significative, nous lui affecterons la valeur 0,8.
Si laugmentation des salaires est de 17 %, lindicateur calcul est 20%

(17-4,5)*0,8/50 = 20%
Rmi BACHELET
43
Chapitre 5/5
Suivre et valoriser une valuation

1. 2. 3.
La ngociation des objectifs quoi sert lvaluation ? Bonnes pratiques

Quest-ce qui fait quune valuation marche ?
4.
Autres concepts utiles
Rmi BACHELET
44
La ngociation des objectifs

Se conduit avec les diffrents clients/partenaires du projet Permet de clarifier les attentes de chacun
Une colonne pour chaque client Une priorisation des attentes : hirarchiser ce qui est
bien / trs bien / moyen / rsultat minimum acceptable
Revenir rgulirement sur cette matrice lors des runions de suivi
Rmi BACHELET
45
Exemple de matrice dobjectifs
quoi sert lvaluation ? (1/2)

Contrler
si ce qui a t prvu a t ralis, vrifier comment le financement a t utilis
Samliorer
Faire mieux la prochaine fois
Rguler
Indique ce qui a marche ou pas, permet de ne pas refaire les mmes erreurs, guide le pilotage en cours de projet
Capitaliser
Mmoriser lexprience, la transformer en savoir partageable
Rmi BACHELET
47
quoi sert lvaluation ? (2/2)

Former
Si lvaluation est participative ou une auto-valuation, elle permet aux acteurs de progresser
Communiquer
Sur les actions, leur rsultat, leur impact
Faire participer
Si les termes de rfrence sont construits et ngocis
Mais aussi
Mesurer, apprcier limpact rel, obliger rflchir avant dagir, connatre ses faiblesses, se valoriser, motiver,
Rmi BACHELET
48
votre avis, quest-ce qui fait quune valuation marche bien ou mal ?
Selon :
Les intentions des acteurs
Volont de changement ? Craintes ?
Lquipe-projet
Ouverte ? Scurise ?
Les convergences dintrts des acteurs

Concertation ? Ngociation ?
Le type de management
Autoritaire ? Partenariat ?
Limportance accorde lvaluation

Dure ? Moyens ? Temps dchanges ?
Ce qui se passe aprs lvaluation

Des moyens pour appliquer les conclusions, une valorisation, une corve ?
Rmi BACHELET
49
Rmi BACHELET
Source : suivre et valoriser une valuation Christophe Mestre Ralis partir des travaux du CIEDEL CIEDEL
50
Rmi BACHELET
Source : suivre et valoriser une valuation Christophe Mestre Ralis partir des travaux du CIEDEL CIEDEL
51
Autres concepts utiles en valuation
Rmi BACHELET
52
Les termes de rfrence

tablis au dbut du projet.
Ils permettent de dlimiter le champ de lvaluation et den prciser les objectifs = ce que lon cherche savoir sur une action.
Ils sont formuls partir dun questionnement sur laction prvue

origine, conception, financement droulement, rsultats attendus...
Voir Guide mthodologique : La prparation collective des termes de rfrence dune valuation
Rmi BACHELET
53
Les critres
Les angles de vue sous lesquels on value laction. Les critres les plus courants sont :
1.
2. 3.
lefficacit : compare les rsultats aux objectifs prvus (en quantit et

en qualit),
lefficience : compare les rsultats avec les ressources utilises

(moyens humains et matriels),
la soutenabilit : laction est durable (elle se poursuit de manire

autonome sans appui extrieur),
La mthodologie de mise en uvre des critres est galement dveloppe dans la vido formation au brainstorming. Dautres critres peuvent tre utiliss : participation,
environnement, cohrence avec dautres projets, etc
Rmi BACHELET
54
Questions ?
Pour approfondir :
conomie de lvaluation : Analyse cot-bnfice Lvaluation dun site internet Web analytics Trouver les indicateurs Mthodes de recueil de donnes
4 grandes familles de mthodes
1. 2. 3. 4. Les entretiens Les questionnaires Lanalyse de donnes secondaires Lobservation directe
Rmi BACHELET
55

Projet Evaluation Impact

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Projet Evaluation Impact

Transféré par

Droits d'auteur :

Formats disponibles

L'valuation des projets : indicateurs dimpact

Mise jour du 17 fvrier 2012

Rmi Bachelet Ce cours lvaluation des projets est disponible ici

Cours distribu sous licence Creative Commons,

cole Centrale de Lille Cit Scientifique BP 48 F-59651 Villeneuve dAscq Cedex

Ralis partir des travaux du CIEDEL

valuation dimpact : concepts-cls

moyens Action buts Effets Indicateurs

Ralis partir des travaux du CIEDEL

Le cycle des oprations

Domaines prioritaires, Objectifs globaux

Rapport dvaluation, audit

Rapports davancement Dcision de financement

Ralis partir des travaux du CIEDEL

Effets = incidences directes et indirectes de laction

Impact = situation finale la suite de laction

Ralis partir des travaux du CIEDEL

L'valuation des rsultats

qualitative : diffrence de nature entre le prvu / ralis

Ralis partir des travaux du CIEDEL

L'valuation des effets

Ralis partir des travaux du CIEDEL

Il est difficile danticiper limpact

Modalits de suivi et de construction de l'valuation

2. Moyens, objectifs, buts et finalit de laction

Ralis partir des travaux du CIEDEL

La situation de rfrence est diagnostiquer au dpart

2. Qui sont les acteurs ?

.. analyser leurs zones d'incertitudes et anticiper leurs stratgies (voir

Moyens, objectifs, buts et finalit de laction (1/2)

Ralis partir des travaux du CIEDEL

Moyens, objectifs, buts et finalit de laction (2/2)

Ralis partir des travaux du CIEDEL

Ralis partir des travaux du CIEDEL

Exemples de projets et de leur impact

Ralis partir des travaux du CIEDEL

Exemple dun projet dintroduction de la culture attele

Ralis partir des travaux du CIEDEL

Exemple de la construction dun pont pour dsenclaver un village

Quel est au final, limpact ?

Construire des indicateurs

Ralis partir des travaux du CIEDEL

L'impact rsulte de la combinaison des effets

Que sont des indicateurs dimpact ?

Ralis partir des travaux du CIEDEL

L'impact permet de trouver des indicateurs

Conception des indicateurs

Conception des indicateurs

Utilisation des indicateurs

Utilisation des indicateurs

On travaille de manire inductive

Exercice de construction dindicateurs dimpact

1. Amlioration du statut social 2. Amlioration de la situation conomique,

Calibrage des indicateurs

Quels sont les calculs proposer ? dtaillez pour 1 et 2

Ralis partir des travaux du CIEDEL

Application des indicateurs : amlioration du statut social

La valeur affecte ce critre est donc : (4 - 1) / 7 = 57%

Ralis partir des travaux du CIEDEL

Application des indicateurs : amlioration du statut conomique.

Si laugmentation des salaires est de 17 %, lindicateur calcul est 20%

Ralis partir des travaux du CIEDEL

Suivre et valoriser une valuation

La ngociation des objectifs quoi sert lvaluation ? Bonnes pratiques