Académique Documents
Professionnel Documents
Culture Documents
1
Image cc0, source
Avant de commencer
Confort de lecture ?
• haute définition
Dr. Rémi Bachelet • mettre la vidéo en mode « plein écran »
Maître de conférences
à Centrale Lille
• mettre en pause, varier la vitesse, sous-titres
gestiondeprojet.pm
Objectifs de la formation
. • originaux des diapositives, fichiers vidéos...
Concepts-clés
• quiz, prise de notes partagée, ressources...
Programme et projets
• MOOC/SPOC GdP :
forum, réseaux sociaux
certification de réussite
2
Cours sous licence Creative Commons
Image public-domain-photos 4
Vocabulaire de l’évaluation
Finalité Moyens Restitution
suivi – évaluation critères
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Objectifs/Résultats buts
Objectifs de la formation
suivi-capitalisation Effets
Concepts-clés
Programme et projets
Impact prévu/réel Induction/déduction
Rapport Étude
Dr. Rémi Bachelet d’évaluation Identification d’impact (prévu)
Livraison des projets
Maître de conférences
à Centrale Lille Dossier de cadrage
Cadre logique,
Concepts-clés Formulation
Mise en œuvre
Programme et projets
Lancement
Etude de montage
Rapports d’avancement
Budget
Évaluations intermédiaires
Décision de
financement
6
Sommaire
1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille
7
Fondamentaux de l’évaluation
Définitions
Objectifs et résultats
Apprécier l’impact
Définitions
Objectifs et résultats
Apprécier l’impact
Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 9
Définitions
10
Dr. Rémi Bachelet Impact
Maître de conférences
à Centrale Lille Objectifs Résultats
Chapitre 1
Définitions
Objectifs et résultats
Apprécier l’impact
11
L'évaluation des résultats
Comparer :
– les objectifs définis pour le projet
Dr. Rémi Bachelet – … et les résultats atteints
Maître de conférences
à Centrale Lille
Chapitre 1 Deux visions :
– quantitative : écart chiffré entre le prévu et le réalisé
Définitions
(p.e. 3 puits construits au lieu de 4)
Objectifs et résultats
– qualitative : différence de nature prévu / réalisé (p.e.
L'évaluation des effets un forage au lieu d’un puit)
Apprécier l’impact
12
Objectifs Résultats Effets Impact
Réaliser 12 puits • 10 puits 60m3
répondant aux • 1 forage
Dr. Rémi Bachelet normes techniques
Maître de conférences
à Centrale Lille
Chapitre 1 Réduire le travail Diminution des
des femmes temps d’attente
Définitions aux puits
Objectifs et résultats
Améliorer la santé Bonne qualité
L'évaluation des effets des habitants en bactériologique de
Apprécier l’impact
éliminant les l’eau des puits
maladies liées à
l’eau polluée.
Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 13
Dr. Rémi Bachelet
Maître de conférences Impact
à Centrale Lille
Chapitre 1
Projet Effets
Définitions
Objectifs et résultats
Apprécier l’impact
14
L'évaluation des effets
15
Objectifs Résultats Effets Impact
Réaliser 12 puits • 10 puits 60m3 La population
répondant aux • 1 forage continue de puiser
normes techniques l’eau au marigot
Dr. Rémi Bachelet sauf en saison
Maître de conférences sèche
à Centrale Lille
Réduire le travail Diminution des Le temps libéré
Chapitre 1 des femmes temps d’attente permet des
aux puits activités
Définitions productives :
culture, tissage…
Objectifs et résultats
Améliorer la santé Bonne qualité Les villageois
L'évaluation des effets
des habitants en bactériologique de stockent l’eau
éliminant les l’eau des puits dans des récipients
Apprécier l’impact
maladies liées à contaminés par
l’eau polluée. l’eau du marigot
Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 16
Dr. Rémi Bachelet Impact
Maître de conférences
à Centrale Lille Objectifs Résultats
Chapitre 1
Définitions
Objectifs et résultats
Apprécier l’impact
17
L’appréciation de l’impact
18
Objectifs Résultats Effets Impact
Réaliser 12 puits • 10 puits 60m3 La population Les résultats
répondant aux • 1 forage continue de puiser correspondent aux
normes techniques l’eau au marigot objectifs du projet,
Dr. Rémi Bachelet sauf en saison mais il n’a pas
Maître de conférences sèche amélioré la
à Centrale Lille situation sanitaire
Réduire le travail Diminution des Le temps libéré
des populations.
Chapitre 1 des femmes temps d’attente permet des
aux puits activités
Par contre, les
Définitions productives :
nouvelles activités
culture, tissage…
Objectifs et résultats productives des
Améliorer la santé Bonne qualité Les villageois femmes produisent
L'évaluation des effets des habitants en bactériologique de stockent l’eau des revenus, dont
Apprécier l’impact éliminant les l’eau des puits dans des récipients une partie sert à
maladies liées à contaminés par améliorer la santé.
l’eau polluée. l’eau du marigot
Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 19
Il est difficile d’anticiper l’impact
• Impact technique :
– attendu : des villageois autonomes et formés pour l’entretien ;
– inattendu : création d’entreprises de réparation des puits.
• Impact économique :
Dr. Rémi Bachelet – attendu : la caisse villageoise est alimentée par le paiement de l’eau ;
– inattendu : la caisse permet la création d’emplois dans les entreprises
Maître de conférences d’entretien des puits.
à Centrale Lille • Impact social :
Chapitre 1 – attendu : les enfants du village sont en meilleure santé ;
– inattendu : les enfants libérés de la corvée d’eau peuvent aller à l’école.
Définitions • Impact financier :
– attendu : constitution d’une caisse pour l’entretien de chaque puits ;
Objectifs et résultats
– inattendu : l’argent d’une des caisses est détourné
L'évaluation des effets • Impact organisationnel :
– attendu : constitution de comités de gestion des puits ;
Apprécier l’impact
– inattendu : certains comités de gestion fonctionnent si bien qu’il
conduisent d’autres actions, p.e un potager pour l’école.
Inspiré de : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 20
Anticiper l’impact
Apprécier l’impact
... analyser leurs zones d'incertitudes et anticiper
leurs stratégies (voir formation d’analyse stratégique des
projets)
21
Synthèse
Définitions
Objectifs et résultats
Apprécier l’impact
22
Introduction de la culture attelée
Pour mieux comprendre la technologie et les enjeux liés à son adoption, vous
pouvez utiliser les liens suivants :
– Fiche technique : Traction animale : http://goo.gl/DCnROV
– Livre : La traction animale : http://goo.gl/UNVsWZ
– Article : Financement de la culture attelée et stratégies
d’équipement : http://goo.gl/ooyqEt
1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille
26
Le processus d’évaluation
Termes de référence
Photos © www.ifadem.org 27
Les termes de référence
Avant le lancement du projet, ils permettent d’établir un
consensus, de préparer l’évaluation, de « passer
commande » à un évaluateur :
1. Description et environnement du projet : Dans quelle
stratégie/programme s’inscrit-il? Acteurs, contexte, leçons des projets
Dr. Rémi Bachelet antérieurs, impact attendu …
Maître de conférences 2. Contenu du travail d’évaluation : Questions évaluatives : Quels objectifs?
à Centrale Lille Quels critères de réussite ? Méthodologie d’évaluation, indicateurs
Chapitre 2 envisagés…
3. Organisation de l’évaluation : Compétences requises, durée, moyens :
Termes de référence
budget, étapes du déroulement, processus de sélection du consultant …
4. Les livrables : Rapports, restitution des résultats : à qui, comment ?
Suivi : évaluation et capitalisation
« La qualité d’une évaluation dépend à 50% de celle des
Moyens, objectifs, buts et finalité termes de référence ».
– Guides méthodologique F3E, Daniel NEU
• Préparer les termes de référence
• La préparation collective d’une évaluation
28
Le suivi – évaluation
Procéder régulièrement à des évaluations : les présenter et les discuter lors
des réunions du projet.
• Elles peuvent être des auto-évaluations, des évaluations externes, ou être
réalisées en commun pendant des réunions du projet.
• Pendant le déroulement, on peut évaluer les premiers résultats/effets, mais
aussi le fonctionnement du projet (implication des acteurs..).
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 2 Impact
Termes de référence
Action Résultats
Suivi : évaluation et capitalisation
Inspiré de : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 29
Le suivi-capitalisation
Collecter et analyser régulièrement “l’information utile à
l’action”, la mémoriser
– Prendre le temps d’observer = écoute et distanciation.
– S’informer sur les autres projets en cours.
– Noter, conserver par écrit les indicateurs
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 2
Impact
Termes de référence
Suivi : évaluation et capitalisation
Action
Capitalisation
Source : Prise en compte de l’impact et construction d’indicateurs d’impact Gilbert Graugnard - Nicolas Heeren CIEDEL 30
Près d’un village, quatre hommes préparent du banco : ils
mélangent de l’argile, de la paille et de l’eau, qu’ils moulent
ensuite pour faire des briques.
Moyens, objectifs, buts et finalité • Assurer l’avenir des enfants est sa
finalité.
32
• Les moyens sont les financements, compétences, outils
et méthodes pour atteindre les objectifs.
– Il est indispensable de mobiliser des moyens et des
ressources
– Une bétonnière et du ciment, du temps de travail, un budget,
un chef de chantier, une convention entre les partenaires...
• L’objectif : c’est le résultat attendu d’une action.
Dr. Rémi Bachelet – Les objectifs sont ordonnés dans le temps et dans l’espace :
organigramme des tâches (WBS), jalons, livrables...
Maître de conférences
– Réaliser les fondations, monter les murs, le toit, acquérir et
à Centrale Lille
installer le mobilier pour aménager l’école…
Chapitre 2
• Le but : c’est la matérialisation de la finalité que l’on se
Termes de référence
donne = l’impact attendu.
– Le but est concret, mais il n’est pas accessible
Suivi : évaluation et capitalisation immédiatement : une fois l’école construite, il faudra...
Moyens, objectifs, buts et finalité
– .. recruter les instituteurs, les payer, acheter les
cahiers/manuels tous les ans …
• La finalité : c’est l’idéal vers lequel on tend. La finalité
souvent fait référence à des valeurs :
– La dignité, la liberté, l’égalité, le libre arbitre, le bien
commun ...
33
Synthèse : le processus d’évaluation
Termes de référence
Moyens, objectifs, buts et finalité
• Moyens, objectifs, buts et finalité
34
Introduction de la culture attelée
Pour vous, quels sont les moyens, l’objectif, le but et la finalité du projet ?
Images : source 35
Réflexion et questions
Pour le projet d’introduction de la culture attelée dans
des villages sahéliens décrivez :
• Moyens
• Objectif
Dr. Rémi Bachelet • But
Maître de conférences • Finalité
à Centrale Lille
... du projet
Chapitre 2
1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille
37
Construire des indicateurs
Déterminer l’impact
Photos © www.ifadem.org 38
Un indicateur d’impact qu’est-ce que
c’est ?
39
L'impact attendu permet de déterminer des
indicateurs
Effet
Dr. Rémi Bachelet Indicateur
Impact
Maître de conférences
attendu
à Centrale Lille Indicateur
Chapitre 3 Effet
Projet
. Concevoir des indicateurs
Indicateur
Mesurer la situation de départ Effet
Indicateur Impact réel
Mettre en œuvre les indicateurs
Effet
Déterminer l’impact Indicateur
40
IFADEM : le projet
42
Déterminer les indicateurs
Impact attendu : Interroger des experts –
Amélioration des Lire des rapports
1. connaissances professionnelles d’évaluations de
systèmes éducatifs
2. compétences pratiques
des enseignants
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 3 Effets ?
Concevoir des indicateurs
d’une leçon »
Déterminer l’impact • ..
Pratiques de classe
• « travail en groupes »
• …
Indicateurs
43
Indicateurs : méthodologie
Indicateurs :
• Connaissances professionnelles
Dr. Rémi Bachelet • Pratiques de classe
Maître de conférences
à Centrale Lille
Chapitre 3
Déterminer l’impact
Situation initiale
46
Impact
Objectifs Résultats
Évaluation Évaluation
ex-ante ex-post
47
Evaluation ex-post
Même méthodologie
que celle utilisée au
début du projet
Situation finale
48
Utiliser les indicateurs pour connaître
la situation finale
IMPACT REEL
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 3
Déterminer l’impact
.
Situation finale
49
Appréciation de l’impact
• Ce n'est pas parce qu'un indicateur est quantifié qu'il a
du sens
– Une augmentation de revenus de 100€, est-ce "peu" ?
"beaucoup" ?
Dr. Rémi Bachelet
Maître de conférences
• Calibrer la variation de chaque indicateur en comparant
à Centrale Lille situation de départ et impact attendu
Chapitre 3 – Entre 0% et 100%.
• 0% = on reste à la situation initiale
Concevoir des indicateurs
• 100% = impact optimal attendu
Mesurer la situation de départ • % de variation de l’indicateur
Mettre en œuvre les indicateurs = (mesure finale- mesure initiale) / impact optimal
Déterminer l’impact
.
• Comment mettre en évidence l’impact spécifique du
projet ?
– Comparer avec un groupe « témoin »
50
Quel impact ?
51
Synthèse
• L'impact attendu
Déterminer l’impact
.
• Impact
52
Développement d’indicateurs d’impact
1. Fondamentaux de l’évaluation
Dr. Rémi Bachelet
Maître de conférences 2. Le processus d’évaluation
à Centrale Lille
55
Suivre et valoriser une évaluation
Chapitre 4
Les critères
Bonnes pratiques
Les critères
.
– La méthodologie de mise en œuvre des critères est
également développée dans la vidéo formation au
À quoi sert l’évaluation? brainstorming.
Bonnes pratiques – D’autres critères peuvent être utilisés : implication des
personnes, respect de l’environnement, cohérence avec d’autres
projets, etc…
57
IFADEM : critères
Les critères
.
58
À quoi sert l’évaluation ? (1/2)
• Contrôler
– … si ce qui a été prévu a été réalisé, vérifier comment
le financement a été utilisé, certifier la régularité des
procédures (audit)
Dr. Rémi Bachelet
Maître de conférences • S’améliorer
à Centrale Lille – Faire mieux la prochaine fois
Chapitre 4
• Former
– Permet aux acteurs d’apprendre et de progresser
Dr. Rémi Bachelet • Communiquer et valoriser
Maître de conférences – Les actions, leurs résultats, leur impact
à Centrale Lille
Chapitre 4
• Conséquences de l’évaluation
– Des moyens pour appliquer les conclusions de l’étude ?
Une valorisation de ses résultats ? Une corvée ? Un
rapport mis dans un tiroir ?
Images : source1, source2 , source3, source4, source5 61
Les résultats de l’évaluation
« L’évaluation de la 2e
phase IFADEM a permis de
mettre en évidence la
nature de la
performance de
l’action de formation
continue (…) Ce rapport
montre les potentialités
du système en cours de
construction par le
ministère et les différentes
parties prenantes ; il
souligne aussi certaines
conditions qui
déterminent la viabilité
d’un plan stratégique de
formation continue dans www.ifadem.org
les cinq années à venir. »
62
Synthèse
• Les critères
Chapitre 4
Les critères
.
Bonnes pratiques
. • Bonnes pratiques
– Conséquences de l’évaluation ?
63
Outil : tableau de bord d’évaluation
64
Réflexion et questions
Pour un projet sur lequel vous travaillez, mettez en œuvre un
tableau de bord avec des indicateurs : limitez-vous à la
valorisation du projet.
• Faire connaitre et diffuser les accomplissements du projet
Dr. Rémi Bachelet
Maître de conférences
à Centrale Lille
Chapitre 4
Partagez votre travail, commentez et découvrez les travaux
Les critères
des autres apprenants :
À quoi sert l’évaluation? • Sur le fil de discussion (MOOC/SPOC)
Bonnes pratiques • Sur les communautés :
• Facebook, Google+, Twitter #Gestiondeprojet.pm
Utilisez #SuiviEvaluation
Quiz
65
Merci de votre attention !
Bibliographie
– Guides et outils F3E : http://f3e.asso.fr
• Prise en compte de l’impact et construction d’indicateurs -
Gilbert Graugnard - Nicolas Heeren CIEDEL, dont cette
Dr. Rémi Bachelet formation est largement inspirée http://goo.gl/aFpABM
Maître de conférences
à Centrale Lille
Autres formations sur gestiondeprojet.pm :
– Évaluation d’un site internet : Web analytics
– Méthodologie des indicateurs : Méthodes de recueil et
d’analyse de données