KIT DE FORMATION

MODULE 7

GESTION AXÉE SUR LES

RÉSULTATS: SUIVI-ÉVALUATION
ET SYSTÈME D'INFORMATION
Sommaire

● Concepts de suivi et d'évaluation dans la GAR

● Différences et complémentarité entre suivi et évaluation

● Mise en œuvre du suivi

● Notions générales sur l'évaluation

● Système d'information en appui au S&E

Lien entre le Cadre Logique et le S&E (1/2)
Le Cadre Logique peut être utilisé comme base pour le
système de Suivi-Évaluation (S&E) d'un programme ou
projet.
Les 2ème et 3ème colonnes de la Matrice de Cadre Logique
(MCL) fournissent les éléments de fondation d'un
système de S&E: elles définissent les indicateurs de
performance, fixent les paramètres-cibles à atteindre, et
décrivent les sources d'information du système.
Basé sur The Logical Framework Handbook
de la Banque Mondiale
Lien entre le Cadre Logique et le S&E (2/2)

Source: FIDA, 2002

Suivi de performance en GAR
Qu'est-ce que le Suivi?
 Suivi = un processus systématique de vérification de l'
efficacité [effets] et l'efficience [produits/extrants] de la mise en
œuvre d'une intervention de développement (programme,
projet) en vue de:
– Apprécier l'avancement des résultats et identifier des
insuffisances (ou des écarts); et,
– Recommander des mesures correctives pour optimiser les
résultats désirés.
 Dans le cycle de vie d'un programme, le suivi ne prend place
que pendant la phase de mise en œuvre.
 Il est basé sur des indicateurs spécifiés durant la phase de
formulation du programme.
Particularité du Suivi en GAR
 Gestion Axée sur les Résultats = Stratégie de gestion d'un
projet/ programme orientée vers la performance, la réalisation
d'extrants et l'accomplissement d'effets directs.
 Dans le cas d'une approche GAR, le "bon suivi" équivaut à:
 Un suivi continu et systématique;
 Une participation des concernés clés d'une intervention de
développement; et,
 Une attention particulière vis-à-vis de l'atteinte des résultats
escomptés.
 Dans certains programmes, les concernés clés incluraient les
bénéficiaires, l'agence d'exécution, le chargé et les cadres du
programme, le ministère de tutelle, etc.
Intérêt du Suivi en GAR
 Impacts: Améliorations générales
à moyen et long termes qu'une
intervention de développement
(politique, programme, projet)
apportent à la société.
 Effets: Effets initiaux et
intermédiaires engendrés par
l'intervention de développement
en raison de l'utilisation par les
bénéficiaires des produits/extrants
générés par cette intervention.
 Produits/Extrants: Biens et
services produits et livrés par
l'intervention de développement.
 Différence entre Suivi et Évaluation
 Suivi = processus continu de collecte systématique
d'information sur les indicateurs choisis d'une
intervention de développement en cours.
 Évaluation = appréciation systématique de la
formulation, de la mise en œuvre, de l'efficience, de
l'efficacité, des processus, et des résultats d'un
programme/projet en cours ou complétée.
 Le suivi est continu, l'évaluation est épisodique ou
périodique (effectuée à un moment donné).
 L'évaluation peut avoir lieu à différents moments du
cycle d'un programme et fait appel le plus souvent à
des spécialistes externes, non impliquées dans la
mise en œuvre du programme à évaluer.
Complémentarité entre Suivi et Évaluation (1/2)
Complémentarité entre Suivi et Évaluation (2/2)

Critères Suivi Évaluation

Fréquence Régulière, continue Épisodique, périodique
Couverture Tous les programmes Certains programmes et aspects
Objet Lier les activités et les ressources du Identifier des contributions causales
programme aux objectifs/résultats des activités aux objectifs/résultats
Positionnement Activité interne Interne, externe, participative
Données Générales aux bénéficiaires Basées sur un échantillon
Profondeur de Compare les résultats aux cibles Explore les résultats inattendus
l'information Intérêt: QUOI Intérêt: POURQUOI
Coût Échelonné sur toute la durée Peut être élevé
Utilité Gestion et amélioration constante du Prise de décisions majeures sur un
programme et de la performance programme
Diffusion Rapporte l'avancement et alerte sur Fournit leçons et recommandations et
des problèmes signale des réalisations significatives
Responsabilité Gestionnaire du programme Évaluateur de concert avec le
gestionnaire et le personnel
Pourquoi intervient le Suivi?
 Pour améliorer la performance du
programme et la qualité des
réalisations.
 Pour apprendre des expériences du
terrain.
 Pour deviser des mesures correctives
éclairées et prendre de bonnes
décisions.
 Enfin, pour s'assurer d' obtenir les
résultats escomptés et planifiés lors
de la formulation.
Où et comment intervient le Suivi?
 Sur tous les sites où intervient le
programme.
 En impliquant les communautés et les
bénéficiaires.
 Avec des outils appropriés de collecte
de données.
 Selon les indicateurs fixés lors de la
formulation du programme.
 En appréciant quantitativement,
qualitativement et en temps réel toutes
les réalisations du programme…
Attention à la résistance!!!
 Comment réussir le Suivi?
 Réfléchir au et planifier le S&E à partir du
moment où le programme n'est qu'au stade
d'idée (1ère étape du cycle de vie) et durant la
phase de formulation.
 Impliquer les concernés clés dans le
montage du Plan de S&E du programme
(promotion d'un accord sur les résultats
escomptés et la performance requise,
renforcement de l'engagement et de la
confiance, etc.).
 Faire preuve de fermeté et de rigueur dans la
mise en œuvre du Plan de S&E d'un
programme.
Qui intervient dans le Suivi?
 Fortement recommandé de clarifier les
intervenants dans le suivi et de préciser
leurs rôles et responsabilités ("Qui fait quoi
et quand?")
 Fortement recommandé d'impliquer les
intervenants identifiés dans le montage du
Plan de S&E du programme dès le départ.
 Nécessaire de former ces intervenants sur
les concepts de S&E, selon les rôles et
responsabilités assignés.
Évaluation des programmes
 Définition et questions de l'évaluation
Définition de l'évaluation
Appréciation systématique et objective d'un projet, d'un programme ou
d'une politique, en cours ou terminé, de sa conception, de sa mise en
œuvre et de ses résultats, afin de déterminer la pertinence et
l'accomplissement des objectifs, l'efficience en matière de
développement, l'efficacité, l'impact et la durabilité.
L'évaluation aide à répondre à des questions telles que:
 Quels sont les effets et impacts du programme?
 Est-ce que le programme évolue tel qu'escompté?
 Est-ce que les activités réalisées ont été exécutées telles que
planifiées (quantité, qualité, temps)?
 Qu'est-ce qui cause les changements relevés par le suivi?
 Est-ce que les différences relevées entre les divers sites du
programme sont dues à la manière d'opérer du programme?
 Qui bénéficie réellement du programme et de ses retombées?
Évaluation: 3 questions fondamentales
1. Questions descriptives: montrer ce qui se passe (décrire les
processus, les conditions prévalentes, les relations
organisationnelles, et les points de vue des divers concernés
par le programme).
2. Questions normatives: comparer ce qui se passe avec ce qui
était planifié (activités réalisées, objectifs atteints ou non).
Peuvent concerner les ressources/intrants, les activités, et les
produits/ extrants.
3. Questions de cause à effet: se concentrer sur les résultats et
chercher à déterminer dans quelle mesure le programme
entraine des changements.
 Que peut-on évaluer?
Que peut-on évaluer?
Projet Action de développement unique exécutée sur un seul ou
plusieurs sites.
Programmes Intervention incluant divers projets contribuant à un objectif
commun.
Politiques Normes, instructions ou règlements établis par un organisme
pour réguler, organiser ou mettre en œuvre des décisions de
développement.
Organismes Multitude de programmes d'intervention mis en œuvre par un
organisme.
Secteurs Interventions dans un même secteur tel que l'éducation, la
santé, la foresterie, l'agriculture.
Thèmes Aspects particuliers transversaux tels que l'équité et
l'approche genre, les biens publics globaux.
Assistance à un Avancement dans le plan national de développement, l'effet
pays de l'aide au développement, et les enseignements tirés.
Source: Morra Imas & Rist (2009).
 Pourquoi doit-on évaluer une intervention?
1. Besoin de preuves évidentes sur ce qui fonctionne (les
mauvaises performances et les restrictions budgétaires
peuvent nuire!!!).
2. Besoin d'améliorer l'exécution d'un programme et la
performance d'un organisme public (améliorer la conception
des programmes sociaux et des méthodes de ciblage des
bénéficiaires, par exemple).
3. Besoin d'avoir une information fiable sur la durabilité des
résultats obtenus par un programme (est-ce que le programme
apporte des solutions durables à une problématique en
s'attaquant aux causes?).
 Types d'évaluation et cycle d'un programme (1/2)
Évaluation prospective: apprécie les résultats potentiels et objectifs
d'un programme avant son démarrage et leur probabilité d'être atteints.
Conduite avant le lancement, s'appelle aussi évaluation ex-ante.
Exemple: Analyse coûts-avantages.

Évaluation formative: vise à améliorer les performances, le plus souvent

effectuée en cours de mise en œuvre d'un programme. S'appelle parfois
évaluation de processus pour l'étude des dynamiques internes
d'organismes. Exemple: Évaluation à mi-parcours.

Évaluation sommative: conduite en fin de programme (ou à la fin d'une

phase de ce programme), vise à déterminer le niveau d'atteinte des
résultats escomptés. S'appelle parfois évaluation ex-post. Exemple:
Évaluation d'impact.
Sources: OCDE (2002); Morra Imas & Rist (2009).
Types d'évaluation et cycle d'un programme (1/2)
 Évaluation de projet ou de programme
Évaluation de projet: évaluation d'une action de développement
individuelle conçue pour atteindre des objectifs spécifiques avec des
ressources et un plan de travail déterminés, souvent dans le cadre d'un
programme plus large.
Évaluation de programme: évaluation d'un ensemble structuré d'actions
de développement pour atteindre des objectifs de développement
spécifiques à l'échelle d'un secteur, d'un pays, d'une région, ou global.
L'évaluation peut être:
• Interne: par des évaluateurs dépendants du bailleur ou de l'organisme.
• Externe: par évaluateurs externes au bailleur et à l'organisme.
• Indépendante: par des évaluateurs non liés aux responsables de la
conception et de l'exécution.
Quoi évaluer: les 5 grands critères
Pertinence Mesure selon laquelle les objectifs d'un programme correspondent
(Relevance) aux attentes des bénéficiaires, aux besoins du pays, aux priorités
globales, aux politiques des partenaires et des bailleurs de fonds.
Efficacité Mesure des résultats atteints - ou en voie de l'être - d'un
(Effectiveness) programme, compte tenu de leur importance relative.

Efficience Mesure selon laquelle les ressources d'un programme sont

(Efficiency) converties en produits/extrants au meilleur coût. Nécessite parfois
une analyse économique de différentes alternatives.
Impact Appréciation des effets à long terme, positifs et négatifs, primaires
(Impact) et secondaires, induits par un programme, directement ou non,
intentionnellement ou non.
Durabilité Appréciation de la continuation des bénéfices résultant
(Sustainability) d'une action de développement après la fin d'un programme.
Probabilité d'obtenir des bénéfices à long terme.

Source: OCDE (2002)

Évaluation dans une perspective GAR

Source: Adapté de Rodriquez-Garcia & Kusek (2007). Traduit par MM

Quand l'évaluation devient-elle nécessaire?
En règle générale, une évaluation devient nécessaire quand les
données des mesures régulières de l'unité de suivi montrent que
la performance en cours est clairement et significativement
différente de celle planifiée.

EI EI

EMP EMP

Planifié EMP Évaluation à mi-parcours

Réalisé EI Évaluation d'impact

Source: Adapté de Kusek & Rist (2004) par MM

 Théorie de changement et Évaluation
Une théorie du changement décrit un plan de changement social qui va
de la formulation des hypothèses avant la conception à la définition des
objectifs à long terme. Cette théorie est souvent présentée sous forme
de schéma (modèle logique) qui analyse les liens entre les ressources et
les résultats. Il est souvent présenté sous forme de tableau énumérant
les étapes, des données ou ressources jusqu'à la réalisation de l'objectif
visé par le programme (cadre logique).
Construire une théorie du changement permet à l'évaluateur de:
 Comprendre la philosophie sur laquelle est basée le programme.
 Examiner l'évidence existante à travers une synthèse de recherche.
 Voir un programme complexe comme un ensemble de chaines
d'intervention visant des changements de comportement.
Source: Grantcraft (2006)
 Évaluation et méthodes de collecte (1/2)
Méthodes quantitatives: apprécier de manière chiffrée certains aspects de
l'objet évalué. Conviennent mieux pour formuler statistiquement une
conclusion généralisable. Exemple: Enquête-questionnaire. Défi:
Échantillonnage (question de validité externe).

Méthodes qualitatives: très souvent utilisées pour aller en profondeur des

aspects qualitatifs de l'objet évalué. Conviennent bien pour leur flexibilité et
leur utilisation rapide. Exemple: Focus groupe. Défi: Rôle de facilitateur pour
l'évaluateur.

Méthodes mixtes: combinaison complémentaire de méthodes quantitatives et

qualitatives afin de collecter des données quantifiables et des appréciations
qualitatives. Exemple: Observation directe pendant une entrevue d'enquête-
questionnaire. Défi: Bonne combinaison méthodologique et souci de
triangulation.
Évaluation et méthodes de collecte (2/2)
Entrevue avec des
Sondage de
personnes bien
panel
Entretien informées
avec des
individus
concernés
Focus
Groupe
Enquête
Observation
Forum participative Observation
communautaire directe Recensement
Revue de registres
officielles (SIG et
données admin.)
Expérimentation
Visites au champ
terrain
Questionnaire

Méthodes informelles / peu structurées Méthodes formelles / plus structurées

Sources: Kusek & Rist (2004); Morra Imas & Rist (2009). Traduction de l'anglais par MM

30
 Évaluation participative et programmes sociaux
Évaluation participative: Méthode collective d'évaluation selon laquelle
concernés et bénéficiaires collaborent pour concevoir et conduire une
évaluation et en tirer les conclusions. Ses principes de base sont:
 Implication des bénéficiaires dans la fixation d'objectifs et des
priorités, la sélection des questions et la prise de décisions.
 Appropriation par les participants de l'évaluation.
 Assurance que l'évaluation se concentre sur les méthodes et
résultats qui sont importants aux participants.
 Participants travaillant ensemble, facilitant et promouvant l'unité du
groupe.
 Tous les aspects de l'évaluation sont compréhensibles et pertinents
à tous les participants.
 Évaluateurs agissant comme des facilitateurs; participants agissant
comme preneurs de décision et évaluateurs.
Sources: OCDE (2002); Morra Imas & Rist (2009)
Évaluation d'impact: causalité et attribution
 Fait partie des méthodes contribuant à
l'apprentissage des spécialistes du développement et
à l'amélioration de la conception des politiques et
programmes.
 S'intéresse spécialement aux relations de cause à
effet dans les programmes (structuré autour d'une
question-clé: quel est l'impact – ou l'effet causal –
d'un programme sur un résultat donné?). Cette
dimension causale est primordiale.
 Vise à déterminer quels changements peuvent être
attribués directement et exclusivement au
programme.
Qu'est-ce que l'impact en GAR?
 L'impact d'un programme est la différence entre les effets
observables engendrés par ce programme et ceux observés
lorsque celui-ci n'intervient pas.
 Défi: il est difficile d'observer simultanément la situation des
bénéficiaires…

Avec le
programme…

… et sans le
programme!
 Évaluation d'impact: nécessité d'un contrefactuel
 Pour estimer l'impact (ou effet causal) d'un
programme, besoin d'un contrefactuel, i.e.
le résultat obtenu par les bénéficiaires si le
programme n'était pas là.
 Pour estimer le contrefactuel, on a besoin
de trouver un groupe témoin (ou groupe de
comparaison) conforme à ces critères:
 Le groupe témoin doit avoir les mêmes
caractéristiques que le groupe des
bénéficiaires du programme;
 La seule différence entre les deux
groupes est que les membres du groupe
témoin n'ont pas bénéficié du programme.
 Évaluation d'impact: 2 erreurs souvent commises
 Avant-après (ou pré-post): Comparer simplement les
résultats dans le groupe de bénéficiaires avant et
après la mise en œuvre du programme.
! Il y a plusieurs d'autres facteurs variables dans
le temps susceptibles d'avoir aussi influencé les
résultats observés.

 Avec-sans: Comparer simplement des éléments

ayant accepté de participer au programme avec des
éléments ne participant pas au programme.
! Ceux qui ne participent pas au programme
peuvent différer systématiquement de ceux qui
y participent.
 Évaluation d'impact: dispositifs d'étude
Dispositifs expérimentaux: aléatoires, généralement
considérés comme les plus robustes des dispositifs
d'évaluation. Avec un groupe témoin, présentent une
parfaite comparaison contrefactuelle libre des
différents biais et distorsions. Avec une comparaison
avant-après, permettent d'apprécier la contribution
réelle d'un programme.

Dispositifs quasi-expérimentaux: utilisés quand une

composition aléatoire des groupes à comparer n'est
pas possible. Moins robustes que les dispositifs
expérimentaux, sont utilisés selon le contexte et les
ressources disponibles.
Mise en œuvre d'une évaluation
 Conclusions et recommandations d'évaluation
Conclusions d'une évaluation
 Fournir des réponses claires et précises aux questions d'évaluation
posées dans les TdR (montrer des liens de causalité).
 Très souvent, présence de jugements de valeur (conflits potentiels).
 Par éthique, une conclusion doit être liée aux données et analyses.
 Toute question doit trouver réponse dans les conclusions. Sinon…
 Limites méthodologiques et contextuelles: montrer la robustesse du lien
entre données et conclusions et si les constats sont généralisables.

Recommandations d'une évaluation

 Représentent des suggestions pour améliorer, réformer ou renouveler le
programme.
 Dérivent d'une ou plusieurs conclusions vis-à-vis de problèmes.
 Sont priorisées et hiérarchisées avec des destinataires précisés.
Source: Euréval(2010)
 Diffusion/utilisation des résultats d'évaluation
Diffusion des résultats d'évaluation
 Étape à part entière du processus évaluatif, après la production et
validation du rapport d'évaluation, mais prévue dès le départ.
 Étape indispensable pour l'utilisation de l'évaluation par des utilisateurs
potentiels (impératif de transparence).
 Selon les différents utilisateurs, différents supports de communication
utilisés.

Utilisation des résultats d'une évaluation

 Préparer des décisions, aider à formuler des jugements, à connaître les
effets d'un programme.
 Peut être de différente façon pour différents utilisateurs.
 Doit être anticipée et guider la démarche d'évaluation depuis le début.

Source: Euréval(2010)
Système d'information en appui au S&E
 S&E et Rapportage: utilité d'un système d'info
Indicateurs Sources de vérification
1. Élaboration de la matrice du

Conception de l’intervention
cadre logique de l'intervention

Conception d'un système d'information

Regroupement dans une base
3. Enregistrement et de données ou un tableur
regroupement des données

de gestion en appui au S&E

Formulaire Formulaire de
d’enregistrement regroupement
Entité 1
2. Développement de la matrice de Indicateurs Paramètres Données de départ Entité 2
Entité 3
suivi-évaluation

Implémentation et concrétisation de l’intervention

Démarrage de l’intervention
4. Analyse visant à dégager des conclusions

25%

25%

5. Communication des résultats

25%

25%

Source: FIDA, 2002

Après le Cadre Logique, le Plan de S&E…
Après finalisation du cadre logique du programme, il s'agira
d'élaborer un plan de suivi-évaluation du programme incluant:
 La définition de la méthodologie de collecte des données du
suivi (sources, périodicité, mode de transmission, etc.);
 La définition de la méthodologie de traitement et d’analyse
des données collectées;
 Le désignation des formats des supports de diffusion de
l'information du suivi;
 La définition de la méthodologie des différentes évaluations
du programme et l'élaboration de leurs termes de référence;
 La définition de la méthodologie de conduite des différents
audits (institutionnels et techniques), si besoin, et
l’élaboration des termes de référence y afférent…
Après le Plan de S&E, le Système d'Information…
Après l'élaboration d'un plan de suivi-évaluation du programme ,
il s'agira de concevoir et de mettre en place du Système
d’information de Gestion en appui au suivi-évaluation du
programme, incluant:
 L'élaboration d'un état des lieux en matière de système
d'information (infrastructures, protocoles, liaisons, etc.);
 L'analyse conceptuelle et fonctionnelle du système
d'information existant et la détection des gaps par rapport
aux besoins du suivi-évaluation du programme en question;
 La mise en forme de la base de données du S&E;
 La programmation de l'application devant gérer la base de
données du S&E;
 La finalisation de l'implantation du système d'information;
 La formation des utilisateurs du système d'information.
Système d'Info: centralité des bases de données
Définition d'une base de données
En général, une base de données est un ensemble organisé de
documents, généralement structuré en colonnes et sous forme
tabulaire.
Pour ce qui est des bases de données électroniques, les
spécialistes des sciences informatiques parlent d'un ensemble
de données structuré et organisé afin qu'une application
informatique puisse sélectionner rapidement les éléments
désirés dans cet ensemble.
La forme de base de données la plus courante dans le monde
est la base de données relationnelle. Dans une telle base de
données, toutes les données ne sont pas stockées dans le
même tableau mais dans de différents tableaux liés entre eux.
Avantages d'une base de données de S&E
 Rendre les données immédiatement disponibles en cas de besoin;
 S'assurer toujours de la disponibilité des données dans un format
facilitant différentes analyses sans effectuer des calculs manuels;
 Être plus efficace et précis dans la gestion et l'utilisation des
données;
 Permettre la comparaison de différents ensembles de données;
 Traiter de grandes quantités de données rapidement et avec
précision;
 Réduire le temps passé dans la gestion des données en réduisant
les processus d'analyse des données;
 Transformer des données disparates en information consolidée;
 Améliorer la qualité, la rapidité et la cohérence de l'information;
 Soutenir l'analyse spatiale à l'aide d'un système d'informations
géographiques (SIG) et la représentation des données sur les
cartes pour une compréhension facile par les décideurs…
Usage de bases de données: ce qu'il faut retenir!!!
 Ne jamais compter sur la technologie pour "apporter toutes les
réponses" à elle seule en matière de S&E.
 Prendre en considération la politique gouvernementale en matière
de TIC dans le cas de bases de données des entités publiques.
 Veiller quotidiennement à la fonctionnalité et la sécurité d'une base
de données afin d'assurer l'intégrité, la disponibilité et la qualité
des données.
 Identifier quelles données doit contenir la base de données.
 Déterminer quel logiciel ou application utiliser pour l'analyse.
 Savoir que la disponibilité d'un logiciel d'analyse spatiale est utile.
 Prendre toutes les mesure nécessaires pour relier une nouvelle
base de données à d'autres bases existantes (transfert de données)
 Identifier dès le départ les besoins en renforcement de capacités en
matière de conception et de gestion pour améliorer l'utilisation de
la base de données et l'accès à l'information.
 Merci pour votre attention.

Site de l'AfCoP: http://cop-mfdr-africa-fr.ning.com/