Vous êtes sur la page 1sur 66

L'évaluation d’impact des projets

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille

1
Image cc0, source
Avant de commencer

Confort de lecture ?
• haute définition
Dr. Rémi Bachelet • mettre la vidéo en mode « plein écran »
Maître de conférences
à Centrale Lille
• mettre en pause, varier la vitesse, sous-titres
gestiondeprojet.pm

 Objectifs de la formation
. • originaux des diapositives, fichiers vidéos...
 Concepts-clés
 • quiz, prise de notes partagée, ressources...

 Programme et projets
• MOOC/SPOC GdP :
 forum, réseaux sociaux
 certification de réussite

2
Cours sous licence Creative Commons

Dr. Rémi Bachelet Pas d’utilisation commerciale


Maître de conférences
à Centrale Lille
– Gratuit pour un usage personnel ou dans un cadre bénévole
– Entreprise ou cursus universitaire : Demander l’autorisation
• Votre organisation a-t-elle les droits ? =>
http://goo.gl/s2yRtv
• RH ou formateur : Faire une demande d’utilisation =>
http://goo.gl/2uGj8s

Images : cc-by source 3


Objectifs

Au terme de cette formation, vous devez pouvoir :

Dr. Rémi Bachelet 1. Évaluer un projet :


Maître de conférences – Établir des termes de référence
à Centrale Lille
– Connaître les « bonnes pratiques »
– Exemples, tirés de projets/organisations

 Objectifs de la formation – Étude de cas corrigée à la fin de chaque chapitre
 Concepts-clés 2. Concevoir, calibrer et mettre en œuvre des indicateurs
 Programme et projets
d’impact
3. Comprendre et partager des concepts-clés
(Présentés sur la page suivante)

Image public-domain-photos 4
Vocabulaire de l’évaluation
Finalité Moyens Restitution
suivi – évaluation critères
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Objectifs/Résultats buts

 Objectifs de la formation
suivi-capitalisation Effets
 Concepts-clés

 Programme et projets
Impact prévu/réel Induction/déduction

Situation de départ Indicateurs


5
Programme et Projets
Capitalisation pour les programmes
/ projets à venir
Loi, Plan Domaines
Programmation Stratégique prioritaires,
Étude Objectifs globaux
d’impact (réel)

Rapport Étude
Dr. Rémi Bachelet d’évaluation Identification d’impact (prévu)
Livraison des projets
Maître de conférences
à Centrale Lille Dossier de cadrage
Cadre logique,

Suivi : continuer Termes de référence


/ piloter le projet De l’évaluation
 Objectifs de la formation

 Concepts-clés Formulation
Mise en œuvre
 Programme et projets
 Lancement

Etude de montage
Rapports d’avancement
Budget
Évaluations intermédiaires
Décision de
financement

6
Sommaire

1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille

3. Évaluer l’impact en mettant en œuvre des


indicateurs

4. Critères de réussite, bonnes pratiques

7
Fondamentaux de l’évaluation

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille
Chapitre 1

 Définitions

 Objectifs et résultats

 L'évaluation des effets

 Apprécier l’impact

Source cc-by-SA : Wikimédia Commons 8


Dr. Rémi Bachelet Impact
Maître de conférences
à Centrale Lille Objectifs Résultats
Chapitre 1


 Définitions

 Objectifs et résultats

 L'évaluation des effets

 Apprécier l’impact

Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 9
Définitions

Résultats = changements produits directement par le projet


Dr. Rémi Bachelet – A comparer avec les objectifs formalisés avant le lancement.
Maître de conférences
Effets = incidences directes et indirectes de l’action
à Centrale Lille – Résultats directs du projet mais aussi de facteurs extérieurs.
– Les effets peuvent être anticipés, mais avec une marge
Chapitre 1 d’incertitude

 Définitions
Impact = changement durable à la suite de l’action, ce qui
reste quand le projet est achevé.
 Objectifs et résultats – Prévoir l’impact est difficile, car de nombreux éléments
extérieurs au projet interviennent.
 L'évaluation des effets
– Le temps joue un rôle majeur, car l'impact se juge à terme,
 Apprécier l’impact après la fin du projet

10
Dr. Rémi Bachelet Impact
Maître de conférences
à Centrale Lille Objectifs Résultats
Chapitre 1

 Définitions

 Objectifs et résultats

 L'évaluation des effets

 Apprécier l’impact

11
L'évaluation des résultats

Comparer :
– les objectifs définis pour le projet
Dr. Rémi Bachelet – … et les résultats atteints
Maître de conférences
à Centrale Lille
Chapitre 1 Deux visions :
– quantitative : écart chiffré entre le prévu et le réalisé
 Définitions
(p.e. 3 puits construits au lieu de 4)
 Objectifs et résultats

– qualitative : différence de nature prévu / réalisé (p.e.
 L'évaluation des effets un forage au lieu d’un puit)
 Apprécier l’impact

12
Objectifs Résultats Effets Impact
Réaliser 12 puits • 10 puits 60m3
répondant aux • 1 forage
Dr. Rémi Bachelet normes techniques
Maître de conférences
à Centrale Lille
Chapitre 1 Réduire le travail Diminution des
des femmes temps d’attente
 Définitions aux puits

 Objectifs et résultats

Améliorer la santé Bonne qualité
 L'évaluation des effets des habitants en bactériologique de
 Apprécier l’impact
éliminant les l’eau des puits
maladies liées à
l’eau polluée.

Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 13
Dr. Rémi Bachelet
Maître de conférences Impact
à Centrale Lille
Chapitre 1
Projet Effets

 Définitions

 Objectifs et résultats

 L'évaluation des effets


 Apprécier l’impact

14
L'évaluation des effets

Dr. Rémi Bachelet


Maître de conférences
L’évaluation des effets porte sur l’interaction
à Centrale Lille entre le projet et son environnement.
Chapitre 1 – Les acteurs concernés ne se limitent pas au client /
public-cible du projet
 Définitions
– Les réactions des acteurs : groupes, personnes …
 Objectifs et résultats
sont difficiles à prévoir
 L'évaluation des effets

– D’autres projets, évènements … ont pu interférer
 Apprécier l’impact

15
Objectifs Résultats Effets Impact
Réaliser 12 puits • 10 puits 60m3 La population
répondant aux • 1 forage continue de puiser
normes techniques l’eau au marigot
Dr. Rémi Bachelet sauf en saison
Maître de conférences sèche
à Centrale Lille
Réduire le travail Diminution des Le temps libéré
Chapitre 1 des femmes temps d’attente permet des
aux puits activités
 Définitions productives :
culture, tissage…
 Objectifs et résultats
Améliorer la santé Bonne qualité Les villageois
 L'évaluation des effets
 des habitants en bactériologique de stockent l’eau
éliminant les l’eau des puits dans des récipients
 Apprécier l’impact
maladies liées à contaminés par
l’eau polluée. l’eau du marigot

Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 16
Dr. Rémi Bachelet Impact
Maître de conférences
à Centrale Lille Objectifs Résultats
Chapitre 1

 Définitions

 Objectifs et résultats

 L'évaluation des effets

 Apprécier l’impact

17
L’appréciation de l’impact

L'impact d'un projet est


 l’ensemble des changements
Dr. Rémi Bachelet
 …durables
Maître de conférences
à Centrale Lille  positifs et négatifs
Chapitre 1
 prévus et imprévus
 Définitions
 sur les personnes, les groupes et
 Objectifs et résultats

 L'évaluation des effets


l’environnement
 Apprécier l’impact
 … ayant un lien de causalité avec le projet

18
Objectifs Résultats Effets Impact
Réaliser 12 puits • 10 puits 60m3 La population Les résultats
répondant aux • 1 forage continue de puiser correspondent aux
normes techniques l’eau au marigot objectifs du projet,
Dr. Rémi Bachelet sauf en saison mais il n’a pas
Maître de conférences sèche amélioré la
à Centrale Lille situation sanitaire
Réduire le travail Diminution des Le temps libéré
des populations.
Chapitre 1 des femmes temps d’attente permet des
aux puits activités
Par contre, les
 Définitions productives :
nouvelles activités
culture, tissage…
 Objectifs et résultats productives des
Améliorer la santé Bonne qualité Les villageois femmes produisent
 L'évaluation des effets des habitants en bactériologique de stockent l’eau des revenus, dont
 Apprécier l’impact éliminant les l’eau des puits dans des récipients une partie sert à

maladies liées à contaminés par améliorer la santé.
l’eau polluée. l’eau du marigot

Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 19
Il est difficile d’anticiper l’impact

• Impact technique :
– attendu : des villageois autonomes et formés pour l’entretien ;
– inattendu : création d’entreprises de réparation des puits.
• Impact économique :
Dr. Rémi Bachelet – attendu : la caisse villageoise est alimentée par le paiement de l’eau ;
– inattendu : la caisse permet la création d’emplois dans les entreprises
Maître de conférences d’entretien des puits.
à Centrale Lille • Impact social :
Chapitre 1 – attendu : les enfants du village sont en meilleure santé ;
– inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école.
 Définitions • Impact financier :
– attendu : constitution d’une caisse pour l’entretien de chaque puits ;
 Objectifs et résultats
– inattendu : l’argent d’une des caisses est détourné
 L'évaluation des effets • Impact organisationnel :
– attendu : constitution de comités de gestion des puits ;
 Apprécier l’impact

– inattendu : certains comités de gestion fonctionnent si bien qu’il
conduisent d’autres actions, p.e un potager pour l’école.

Inspiré de : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 20
Anticiper l’impact

Quels sont les enjeux, acteurs et parties


prenantes du projet ?
– Dirigeants, chefs, élus..
Dr. Rémi Bachelet
Maître de conférences – Agents de l’État, des collectivités locales
à Centrale Lille
– Groupes et associations,
Chapitre 1
– Financeur, bailleur de fonds
 Définitions
– Opérateurs économiques,
 Objectifs et résultats
– etc…
 L'évaluation des effets

 Apprécier l’impact

... analyser leurs zones d'incertitudes et anticiper
leurs stratégies (voir formation d’analyse stratégique des
projets)
21
Synthèse

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille
Chapitre 1


 Définitions

 Objectifs et résultats

 L'évaluation des effets


 Apprécier l’impact

22
Introduction de la culture attelée

Ce projet a pour objectif d’introduire la culture attelée dans des villages


sahéliens.
« pour chaque exploitation agricole, une charrue »
Décrivez les actions menées, leurs objectifs, effets … et l’impact possible
Images source 23
Projet d’introduction de la culture
attelée

Pour mieux comprendre la technologie et les enjeux liés à son adoption, vous
pouvez utiliser les liens suivants :
– Fiche technique : Traction animale : http://goo.gl/DCnROV
– Livre : La traction animale : http://goo.gl/UNVsWZ
– Article : Financement de la culture attelée et stratégies
d’équipement : http://goo.gl/ooyqEt

Image cc-by-SA : Wikimédia Commons 24


Réflexion et questions

Pour le projet d’introduction de la culture attelée


établissez un schéma :
• Les principales actions à mener
• Leurs objectifs
Dr. Rémi Bachelet
Et anticipez quels seraient ..
Maître de conférences
à Centrale Lille • Leurs effets
• Leur impact
Chapitre 1
Partagez votre travail, découvrez le corrigé …et les
 Définitions
travaux des autres apprenants :
 Objectifs et résultats
• Sur le fil de discussion (MOOC/SPOC)
 L'évaluation des effets
• Sur les communautés dédiées :
 Apprécier l’impact • Facebook, Google+, Twitter #Gestiondeprojet.pm
Utilisez #ÉvaluationImpact
Quiz
25
Sommaire

1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille

3. Évaluer l’impact en mettant en œuvre des


indicateurs

4. Critères de réussite, bonnes pratiques

26
Le processus d’évaluation

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille
Chapitre 2

 Termes de référence

 Suivi : évaluation et capitalisation

 Moyens, objectifs, buts et finalité

Photos © www.ifadem.org 27
Les termes de référence
Avant le lancement du projet, ils permettent d’établir un
consensus, de préparer l’évaluation, de « passer
commande » à un évaluateur :
1. Description et environnement du projet : Dans quelle
stratégie/programme s’inscrit-il? Acteurs, contexte, leçons des projets
Dr. Rémi Bachelet antérieurs, impact attendu …
Maître de conférences 2. Contenu du travail d’évaluation : Questions évaluatives : Quels objectifs?
à Centrale Lille Quels critères de réussite ? Méthodologie d’évaluation, indicateurs
Chapitre 2 envisagés…
3. Organisation de l’évaluation : Compétences requises, durée, moyens :
 Termes de référence
 budget, étapes du déroulement, processus de sélection du consultant …
4. Les livrables : Rapports, restitution des résultats : à qui, comment ?
 Suivi : évaluation et capitalisation
« La qualité d’une évaluation dépend à 50% de celle des
 Moyens, objectifs, buts et finalité termes de référence ».
– Guides méthodologique F3E, Daniel NEU
• Préparer les termes de référence
• La préparation collective d’une évaluation

28
Le suivi – évaluation
Procéder régulièrement à des évaluations : les présenter et les discuter lors
des réunions du projet.
• Elles peuvent être des auto-évaluations, des évaluations externes, ou être
réalisées en commun pendant des réunions du projet.
• Pendant le déroulement, on peut évaluer les premiers résultats/effets, mais
aussi le fonctionnement du projet (implication des acteurs..).
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 2 Impact

 Termes de référence
Action Résultats

 Suivi : évaluation et capitalisation

 Moyens, objectifs, buts et finalité

Situation de Évaluation(s) Évaluation de fin de Évaluation


départ, baseline intermédiaire(s) projet, post-mortem d’impact

Inspiré de : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 29
Le suivi-capitalisation
Collecter et analyser régulièrement “l’information utile à
l’action”, la mémoriser
– Prendre le temps d’observer = écoute et distanciation.
– S’informer sur les autres projets en cours.
– Noter, conserver par écrit les indicateurs
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 2
Impact
 Termes de référence


 Suivi : évaluation et capitalisation
Action

 Moyens, objectifs, buts et finalité

Capitalisation
Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 30
Près d’un village, quatre hommes préparent du banco : ils
mélangent de l’argile, de la paille et de l’eau, qu’ils moulent
ensuite pour faire des briques.

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille
Chapitre 2 A la question “Que faites-vous ?”
 Termes de référence – Le premier répond : “Je prends de l’argile et de la paille et je
les tasse dans ce moule puis je laisser sécher au soleil”.
 Suivi : évaluation et capitalisation
– Le second : “Je fabrique des briques de banco pour

 Moyens, objectifs, buts et finalité construire les murs d’un bâtiment”.
– Le troisième dit : “Je participe à l’installation d’une école
dans notre village”.
– Le quatrième : “J’œuvre pour l’avenir de nos enfants par
l’accès au savoir”
Source1, source2, source3 cc-by-SA : Wikimédia Commons 31
• Préparer des briques est le moyen de
réalisation du projet.
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
• Construire le bâtiment est son objectif.
Chapitre 2
• Faire fonctionner une école dans le
 Termes de référence
village est son but.
 Suivi : évaluation et capitalisation


 Moyens, objectifs, buts et finalité • Assurer l’avenir des enfants est sa
finalité.

32
• Les moyens sont les financements, compétences, outils
et méthodes pour atteindre les objectifs.
– Il est indispensable de mobiliser des moyens et des
ressources
– Une bétonnière et du ciment, du temps de travail, un budget,
un chef de chantier, une convention entre les partenaires...
• L’objectif : c’est le résultat attendu d’une action.
Dr. Rémi Bachelet – Les objectifs sont ordonnés dans le temps et dans l’espace :
organigramme des tâches (WBS), jalons, livrables...
Maître de conférences
– Réaliser les fondations, monter les murs, le toit, acquérir et
à Centrale Lille
installer le mobilier pour aménager l’école…
Chapitre 2
• Le but : c’est la matérialisation de la finalité que l’on se
 Termes de référence
donne = l’impact attendu.
– Le but est concret, mais il n’est pas accessible
 Suivi : évaluation et capitalisation immédiatement : une fois l’école construite, il faudra...

 Moyens, objectifs, buts et finalité
– .. recruter les instituteurs, les payer, acheter les
cahiers/manuels tous les ans …
• La finalité : c’est l’idéal vers lequel on tend. La finalité
souvent fait référence à des valeurs :
– La dignité, la liberté, l’égalité, le libre arbitre, le bien
commun ...
33
Synthèse : le processus d’évaluation

• Termes de référence 1. Description du projet


2. Travail d’évaluation
3. Organisation
4. Livrables
Dr. Rémi Bachelet
Maître de conférences • Suivi
à Centrale Lille
Chapitre 2


 Termes de référence

 Suivi : évaluation et capitalisation



 Moyens, objectifs, buts et finalité
• Moyens, objectifs, buts et finalité

34
Introduction de la culture attelée

Pour vous, quels sont les moyens, l’objectif, le but et la finalité du projet ?

Images : source 35
Réflexion et questions
Pour le projet d’introduction de la culture attelée dans
des villages sahéliens décrivez :
• Moyens
• Objectif
Dr. Rémi Bachelet • But
Maître de conférences • Finalité
à Centrale Lille
... du projet
Chapitre 2

 Termes de référence Partagez votre travail, découvrez le corrigé …et les


 Suivi : évaluation et capitalisation travaux des autres apprenants :
 Moyens, objectifs, buts et finalité
• Sur le fil de discussion (MOOC/SPOC)
• Sur les communautés :
• Facebook, Google+, Twitter #Gestiondeprojet.pm
Utilisez #Finalité
Quiz
36
Sommaire

1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille

3. Évaluer l’impact en mettant en œuvre des


indicateurs

4. Critères de réussite, bonnes pratiques

37
Construire des indicateurs

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille
Chapitre 3

 Concevoir des indicateurs

 Mesurer la situation de départ

 Mettre en œuvre les indicateurs

 Déterminer l’impact

Photos © www.ifadem.org 38
Un indicateur d’impact qu’est-ce que
c’est ?

Dr. Rémi Bachelet Un signe vérifiable et mesurable qui


Maître de conférences
à Centrale Lille
permet :
Chapitre 3 – par comparaison à une référence,

 . Concevoir des indicateurs – de porter une appréciation
 Mesurer la situation de départ

 Mettre en œuvre les indicateurs


… on le met au point à partir de l'impact
 Déterminer l’impact
attendu du projet

39
L'impact attendu permet de déterminer des
indicateurs

Effet
Dr. Rémi Bachelet Indicateur
Impact
Maître de conférences
attendu
à Centrale Lille Indicateur
Chapitre 3 Effet
Projet

 . Concevoir des indicateurs
Indicateur
 Mesurer la situation de départ Effet
Indicateur Impact réel
 Mettre en œuvre les indicateurs
Effet
 Déterminer l’impact Indicateur

40
IFADEM : le projet

Autoformation Autoformation Evaluation


tutorée tutorée 3ème
1er 2e des
regroupement
regroupement regroupement enseignants /
2 jours 2 jours Evaluation du
6 mois 6 mois 3 jours dispositif

Parcours de 350 heures de formation

Cas IFADEM développé par


Marion Alcaraz, AUF
Photos © www.ifadem.org 41
IFADEM - Termes de référence
Indicateurs ?
Effets ?

Objectifs Impact attendu


Dr. Rémi Bachelet
Maître de conférences • Former 100 formateurs • Améliorer les connaissances
à Centrale Lille d’instituteurs et compétences
Chapitre 3 • Développer 7 livrets de professionnelles des
formation instituteurs
 Concevoir des indicateurs
• Créer 4 Espaces • Tester et valider une
 Mesurer la situation de départ
 . numériques stratégie nationale de
formation continue
 Mettre en œuvre les indicateurs • Former 1800 instituteurs
• ….
 Déterminer l’impact

42
Déterminer les indicateurs
Impact attendu : Interroger des experts –
Amélioration des Lire des rapports
1. connaissances professionnelles d’évaluations de
systèmes éducatifs
2. compétences pratiques
des enseignants
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 3 Effets ?
 Concevoir des indicateurs

 Mesurer la situation de départ Connaissances professionnelles


• « connaitre les étapes
 Mettre en œuvre les indicateurs
 .

d’une leçon »
 Déterminer l’impact • ..
Pratiques de classe
• « travail en groupes »
• …
Indicateurs
43
Indicateurs : méthodologie

Indicateurs :
• Connaissances professionnelles
Dr. Rémi Bachelet • Pratiques de classe
Maître de conférences
à Centrale Lille
Chapitre 3

 Concevoir des indicateurs

 Mesurer la situation de départ Grille Questionnaire


 Mettre en œuvre les indicateurs
 . d’observation « Connaissances
 Déterminer l’impact « séances de professionnelles »
classe »

Voir cours Méthodes de recueil de données


Les entretiens, conception de questionnaires, observation directe …
44
Situation de départ

Situation de départ, baseline


Dr. Rémi Bachelet = Recueil des données au démarrage du projet
Maître de conférences
à Centrale Lille
QCM sur les connaissances professionnelles
Chapitre 3
• 20% des enseignants interrogés connaissent les étapes d’une leçon
de compréhension orale
 Concevoir des indicateurs
• ….
 Mesurer la situation de départ • Moyenne de 23,7/45
 Mettre en œuvre les indicateurs
 .

 Déterminer l’impact Observation de séances de classe


• 13% des enseignants acceptent que leurs élèves utilisent des
tournures « français oral »
• 44% des enseignants font travailler leurs élèves en groupes
• …
45
Utiliser les indicateurs pour
mémoriser la situation initiale

Dr. Rémi Bachelet


Maître de conférences
Impact attendu
à Centrale Lille
Chapitre 3

 Concevoir des indicateurs


Indicateurs
 Mesurer la situation de départ

 Mettre en œuvre les indicateurs


 .

 Déterminer l’impact

Situation initiale
46
Impact

Objectifs Résultats

Évaluation Évaluation
ex-ante ex-post

47
Evaluation ex-post
 Même méthodologie
que celle utilisée au
début du projet

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille Indicateurs
Chapitre 3

 Concevoir des indicateurs

 Mesurer la situation de départ Recueil des données


 Mettre en œuvre les indicateurs après la fin du projet
 Déterminer l’impact
 .

Situation finale
48
Utiliser les indicateurs pour connaître
la situation finale

IMPACT REEL
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 3

 Concevoir des indicateurs Indicateurs


 Mesurer la situation de départ

 Mettre en œuvre les indicateurs

 Déterminer l’impact
 .

Situation finale
49
Appréciation de l’impact
• Ce n'est pas parce qu'un indicateur est quantifié qu'il a
du sens
– Une augmentation de revenus de 100€, est-ce "peu" ?
"beaucoup" ?
Dr. Rémi Bachelet
Maître de conférences
• Calibrer la variation de chaque indicateur en comparant
à Centrale Lille situation de départ et impact attendu
Chapitre 3 – Entre 0% et 100%.
• 0% = on reste à la situation initiale
 Concevoir des indicateurs
• 100% = impact optimal attendu
 Mesurer la situation de départ • % de variation de l’indicateur
 Mettre en œuvre les indicateurs = (mesure finale- mesure initiale) / impact optimal

 Déterminer l’impact
 .
• Comment mettre en évidence l’impact spécifique du
projet ?
– Comparer avec un groupe « témoin »

50
Quel impact ?

Fort ou faible / Les enseignants qui avaient obtenu


% attendu ? les moins bons résultats à l’entrée
sont- ils ceux qui ont le plus évolué ?
Amélioration ?
Impact réel
Quantitatif Quantitatif et qualitatif
% Calibré Analyse des dynamiques

Indicateurs de la situation Indicateurs de la situation


de départ VARIATION ex-post
Entrée des enseignants en formation. 1 an après la sortie de formation

51
Synthèse
• L'impact attendu

Dr. Rémi Bachelet • Déduction et induction


Maître de conférences
à Centrale Lille
Chapitre 3

 Concevoir des indicateurs


 .

 Mesurer la situation de départ


 .

 Mettre en œuvre les indicateurs


 .

 Déterminer l’impact
 .
• Impact

52
Développement d’indicateurs d’impact

Source : Prise en compte de l’impact et construction


d’indicateurs d’impact
Gilbert Graugnard - Nicolas Heeren CIEDEL
Proposé à partir de l’exercice d’application réalisé par
Mlle Laëtitia TANKWE.

Le projet consiste à former le personnel soignant qui formera à son tour


des personnes du corps médical (infirmiers, sages-femmes…)
– La finalité est l’amélioration des conditions de vie des populations ;
– Le but est l’amélioration du système de santé régional
– Les effets sur les médecins/infirmiers … que vous devez étudier sont :
1. L’amélioration de leur statut social
2. L’avancement de leur situation économique,

Rémi BACHELET : gestiondeprojet.pm


53
Réflexion et questions
Pour le projet de formation du personnel soignant, les effets
sur les formateurs que vous devez étudier sont :
1. L’amélioration du statut social
2. L’avancement de la situation économique,
Dr. Rémi Bachelet Proposez des indicateurs pour ces deux effets, choisissez-en
Maître de conférences un pour chacun et calibrez-le
à Centrale Lille
Chapitre 3

 Concevoir des indicateurs


Partagez votre travail, découvrez le corrigé …et les travaux
 Mesurer la situation de départ
des autres apprenants :
 Mettre en œuvre les indicateurs
• Sur le fil de discussion (MOOC/SPOC)
 Déterminer l’impact • Sur les communautés :
• Facebook, Google+, Twitter #Gestiondeprojet.pm
Utilisez #Indicateurs
Quiz
54
Sommaire

1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille

3. Évaluer l’impact en mettant en œuvre des


indicateurs

4. Critères de réussite, bonnes pratiques

55
Suivre et valoriser une évaluation

Dr. Rémi Bachelet


Maître de conférences
à Centrale Lille

Chapitre 4

 Les critères

 À quoi sert l’évaluation?

 Bonnes pratiques

Photos © www.ifadem.org Liban 56


Les critères

• Les “angles de vue” grâce auxquels on porte un


jugement sur la réussite d’un projet.
• Trois catégories de critères génériques :
1. Ceux qui relèvent de l’efficacité comparent objectifs et
Dr. Rémi Bachelet résultats, impact attendu et impact réel…
Maître de conférences 2. L’efficience : met en rapport les résultats avec les ressources
à Centrale Lille utilisées pour les atteindre (humaines, financières, matérielles),
3. La pérennité : l’action est durable/soutenable (elle se poursuit
Chapitre 4 de manière autonome sans appui extérieur),

 Les critères
 .
– La méthodologie de mise en œuvre des critères est
également développée dans la vidéo formation au
 À quoi sert l’évaluation? brainstorming.
 Bonnes pratiques – D’autres critères peuvent être utilisés : implication des
personnes, respect de l’environnement, cohérence avec d’autres
projets, etc…

57
IFADEM : critères

• Nombre d’enseignants formés (/objectif),


Efficacité • % qui améliorent effectivement leur
pédagogie (impact).

Dr. Rémi Bachelet • Rapport résultats / budget et moyens


Maître de conférences Efficience mobilisés Plus performant que la formation
à Centrale Lille
classique ?
Chapitre 4

 Les critères
 .

Cohérence • Intégration dans le système de formation


 À quoi sert l’évaluation? des instituteurs burundais
 Bonnes pratiques

• Capacité du ministère burundais à faire


Pérennité fonctionner seul la formation

58
À quoi sert l’évaluation ? (1/2)

• Contrôler
– … si ce qui a été prévu a été réalisé, vérifier comment
le financement a été utilisé, certifier la régularité des
procédures (audit)
Dr. Rémi Bachelet
Maître de conférences • S’améliorer
à Centrale Lille – Faire mieux la prochaine fois
Chapitre 4

 Les critères • Piloter


 À quoi sert l’évaluation?
 . – Régulation en cours de projet
 Bonnes pratiques • Capitaliser
– Mémoriser l’expérience, la transformer en savoir
partageable pour améliorer les projets/programmes
futurs
Image cc-by-NC : source1, source2 cc-by-NC, source3 cc-by-NC 59
À quoi sert l’évaluation ? (2/2)

• Former
– Permet aux acteurs d’apprendre et de progresser
Dr. Rémi Bachelet • Communiquer et valoriser
Maître de conférences – Les actions, leurs résultats, leur impact
à Centrale Lille

Chapitre 4

 Les critères • Faire participer


 À quoi sert l’évaluation?
 .
– Si les termes de référence sont construits et
 Bonnes pratiques négociés avec toutes les parties prenantes
• Mais aussi …
– Réfléchir avant d’agir, motiver...

Image cc-by-NC : source1, source2 60


• La volonté de progresser
– Désir de s’améliorer ? Crainte du changement ?
• Une équipe-projet sécurisée
– Sûre d’elle ? Stabilisée ? Menacée ?
• Les convergences d’intérêts des acteurs
Dr. Rémi Bachelet – Concertation ? Négociation ? Conflits ?
Maître de conférences
à Centrale Lille • Le style de management
– Autoritaire ? Collaboratif ?
Chapitre 4
• L’importance accordée à l’évaluation
 Les critères
- Moyens financiers et humains ? Temps prévu
 À quoi sert l’évaluation? pour la restitution et le débat ?
 Bonnes pratiques
 .

• Conséquences de l’évaluation
– Des moyens pour appliquer les conclusions de l’étude ?
Une valorisation de ses résultats ? Une corvée ? Un
rapport mis dans un tiroir ?
Images : source1, source2 , source3, source4, source5 61
Les résultats de l’évaluation

« L’évaluation de la 2e
phase IFADEM a permis de
mettre en évidence la
nature de la
performance de
l’action de formation
continue (…) Ce rapport
montre les potentialités
du système en cours de
construction par le
ministère et les différentes
parties prenantes ; il
souligne aussi certaines
conditions qui
déterminent la viabilité
d’un plan stratégique de
formation continue dans www.ifadem.org
les cinq années à venir. »
62
Synthèse

• Les critères

• À quoi sert l’évaluation ?


Dr. Rémi Bachelet – Contrôler, s’améliorer, piloter, capitaliser,
Maître de conférences
à Centrale Lille
former, valoriser, faire participer…

Chapitre 4

 Les critères
 .

 À quoi sert l’évaluation?


 .

 Bonnes pratiques
 . • Bonnes pratiques
– Conséquences de l’évaluation ?

63
Outil : tableau de bord d’évaluation

Évaluation : tableau de bord [gestiondeprojet.pm]


https://goo.gl/162sp

64
Réflexion et questions
Pour un projet sur lequel vous travaillez, mettez en œuvre un
tableau de bord avec des indicateurs : limitez-vous à la
valorisation du projet.
• Faire connaitre et diffuser les accomplissements du projet
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille

Chapitre 4
Partagez votre travail, commentez et découvrez les travaux
 Les critères
des autres apprenants :
 À quoi sert l’évaluation? • Sur le fil de discussion (MOOC/SPOC)
 Bonnes pratiques • Sur les communautés :
• Facebook, Google+, Twitter #Gestiondeprojet.pm
Utilisez #SuiviEvaluation

Quiz
65
Merci de votre attention !

Bibliographie
– Guides et outils F3E : http://f3e.asso.fr
• Prise en compte de l’impact et construction d’indicateurs -
Gilbert Graugnard - Nicolas Heeren CIEDEL, dont cette
Dr. Rémi Bachelet formation est largement inspirée http://goo.gl/aFpABM
Maître de conférences
à Centrale Lille
Autres formations sur gestiondeprojet.pm :
– Évaluation d’un site internet : Web analytics
– Méthodologie des indicateurs : Méthodes de recueil et
d’analyse de données

Crédits de cette formation Auteur : Rémi BACHELET


– Version 1 (05/2010) (diapos, vidéo)
– Version 2 (09/2013) (diapos, vidéo), Marion Alcaraz (IFADEM).
– Version 3 (05/2016) (diapos, vidéo)
66