MODULE V

METHODOLOGIE DE COLLECTE DE
DONNEES ET EVALUATION DE LA
PERFORMANCE
 SOMMAIRE
Eléments de base du système de suivi évaluation
Point de départ de la planification
La maitrise du plan de S & E
Source de données
Outils et méthodes
Type de données
Quantification et qualification des données
Les points fort et faible des données
Méthodes qualificatives
COLLECTE DE DONNEES ET SUIVI DES
ACTIVITES: DES ELEMENTS DE BASE
DE L’EVALUATION DES
PERFORMANCES
COLLECTE DE DONNEES : UN DES ELEMENTS
DE BASE DU SYSTEME DE SUIVI EVALUATION
Progrès significatifs réalisés mais on constate que les plans de suivi
évaluation lorsqu’il existe évolue de façon isolée en ne prenant pas
toujours en compte un système cohérent de coordination et d’assurance
qualité des données

 Exemple : Système de surveillance HIV existe mais fonctionne mal:

 Études de comportement sont réalisées mais sans harmonisation des

méthodes d’échantillonnage ou sans les mêmes indicateurs,

 Évaluation approfondie financée par un bailleur dans un domaine

important sans que les résultats soient jamais diffusés à d’autres
acteurs s
Composantes d’une stratégie de S&E

La stratégie de S&E doit également comporter les points

suivants:
 Planifier comment collecter et analyser les données
 Système de rapports assorti de présentations standards
 Information en retour (feedback), évaluation et examen
 Plan d’exécution du S&E et budget
Collecte de données : point de
départ de la planification
Point de départ ou situation de votre indicateur avant l’opération

Base d’une évaluation du changement avant et après l’opération

Sans étude de référence, il est difficile de mesurer les performances

Collecte et analyse de données pour définir la situation avant l’opération

Habituellement, le premier cycle de collecte de données de la matrice de votre

plan de suivi constitue la base de votre étude de référence

Collecte de données périodiques pour mesurer la progression vers les résultats

La matrice du plan de S&E
Tous les types de suivi et de gestion des performances exigent une approche structurée
de la collecte de données – un plan de S&E

Les données n’apparaissent pas par

génération spontanée. Tout d’abord CADRE LOGIQUE

vous devez parvenir à un accord sur les La chaîne des

Indicateurs
Moyens de
Hypothèses
résultats vérification
points suivants:
Impact
 Quel est le but spécifique dans
lequel les données sont Effet Direct

rassemblées Extrant
 Méthode précise qui sera utilisée
Activités
pour traiter les données
 D’où proviendront les données
brutes
 Avec quelle fréquence vous
rassemblerez les données et à
quel coût
 Qui s’en chargera et comment
 Comment se fera la coordination
?
La matrice du plan de S&E
Résumé
Que comprend la matrice du plan
de S&E?
CADRE LOGIQUE

La chaîne des Moyens de

Indicateurs Hypothèses
résultats vérification

Impact  Des indicateurs de performances

Effet Direct
sélectionnés
Extrant  Des sources de données
Activités identifiées
 Les méthodes de collecte et
d’analyse des données
Matrice du plan de S&E
Résultat escompté -
Moyens de vérification
Indicateurs
Source des
Fréquence
et coût des
Responsabilité
Méthode
Utilisation
de  La fréquence de la collecte des
clés
données opérations
de collecte
de la collecte
de données
de collecte l'information données
I.1
 Les rôles et responsabilités
I.2
respectifs pour tous les éléments
I.3 mentionnés ci-dessus
 Soyez précis, utilisez des noms lorsque
cela est possible

 Comment les informations

seront utilisées et diffusées
 Dans quel rapport, qui sera utilisé par
qui?
Sources de données
Que sont les sources de données?

 L’indicateur nous dit quelles sont les informations qui seront rassemblées

 La source de données – pour chaque indicateur – nous dit d’où

proviendront les données (études, enregistrement vital, registres
d’entrées/sortie des patients, études d’infrastructures, inventaires, rapports
de surveillance, sentinelles…)
des données de S&E

Discussions préalables
Collecte de données:
Outils et méthodes

 Principaux outils et méthodes utilisés pour la collecte

de données

o Des méthodes différentes sont utilisées pour rassembler

les données

o Évaluation des méthodes et outils pertinents

Rassemblez-vous trop
d’informations?
Je n’aurais pas demandé La collecte de données de suivi doit
autant d’informations si
j’avais su que je suis
être axée directement sur les
censée ne pas les indicateurs clés sélectionnés pour
utiliser! une opération
Ne compliquez pas les choses
Ignorance optimale (Chambers, 1992)
 Restons ignorants de ce que nous n’avons pas besoin de savoir

Imprécision appropriée (Ilchman, 1972)

 Faisons correspondre le degré de détail à ce qui est nécessaire pour la prise
de décisions
 Trop de détails est un gaspillage de ressources
La collecte de données vous cause du souci?
Collecte de données :
Outils et méthodes de collecte
L’échantillonnage consiste à sélectionner parmi un groupe
plus nombreux un sous-groupe de l’ensemble de la
population à étudier

Échantillonnage probabiliste
 Est fondé sur la théorie statistique pour tirer des conclusions de la
population prise comme échantillon

Échantillonnage non probabiliste

 Utilise des moyens subjectifs pour déterminer la mesure dans laquelle
un sous-groupe ou un échantillon est représentatif de l’ensemble de la
population
Deux grands types de données
Primaires
 ___________________________
 ____________________________
 ____________________________
Secondaires
 ___________________________
 ____________________________
 ____________________________
 ____________________________
Utilisez des données secondaires si possible
Vérifiez tout d’abord quelles sont les données qui existent déjà ou
essayez d’améliorer celles qui sont déjà disponibles

Ne procédez à une collecte de données primaires que si cela est

nécessaire

 Si les données par exemple que vous recherchez existent

mais que leur synthèse et leur collecte sont lentes et peu
précises, il est préférable de s’attacher à renforcer les
capacités des structures locales présentes pour que les
données existantes répondent à vos besoins
Méthodes de collecte de données quantitatives
et qualitatives les plus communément utilisées

Méthodes quantitatives Méthodes qualitatives

 enquêtes par échantillonnage
 questionnaires
 observations visuelles et
dénombrements
 Mesures matérielles
 entrevues approfondies de
groupes ou d’individus
 discussions thématiques en
groupe
 interrogations de personnes
bien informées
 tournées/évaluations
visuelles
Quels sont les points forts et les points faibles de la
collecte de données quantitatives et qualitatives?
Points forts Points faibles
Estimation précise reposant sur la Demande des compétences
théorie statistique spécifiques pour
l’interprétation
Collecte de données
quantitatives méthodes difficiles à concevoir
Données considérées comme robustes
et exigent souvent des
et efficaces pour la prise de décisions
compétences hautement
et le plaidoyer
techniques
Données plus riches (exposent en
détail le point de vue de la personne Beaucoup de travail et de
interrogée ) temps
Collecte de données
qualitatives Difficiles à vérifier
Donnent une interprétation et un
objectivement sans d'autres
contexte pour évaluer les
recherches et opérations de
comportements
collecte de données
Méthodes qualitatives fréquemment utilisées Assurez-
vous d’obtenir la réponse recherchée

Les mesures qualitatives sont habituellement fondées sur

un type ou un autre de barème (par exemple 1=faible
2=modéré 3= significatif 4=élevé)

Nous utilisons souvent des mesures qualitatives fondées

sur un barème sans aucun point de référence

Cependant, s’il n’est pas utilisé de points de référence,

par exemple ce qu’il faut entendre par “élevé” ou “faible”,
chaque personne interrogée appliquera sa propre
interprétation, ce qui rendra les comparaisons des
résultats très peu fiables

Attention à la façon dont vous posez les questions ou

concevez les enquêtes – des approches différentes vous
donneront des résultats différents – et utilisez les
enquêtes pilotes pour vous aider à prévenir les surprises
et à éviter de mauvaises mesures
Coordination et diffusion de
données
1. un plan général de diffusion national des données
2. Un rapport annuel informatif et bien diffusé de l’unité SE
3. Des réunions annuelles en vue de diffuser et de discuter le résultat des
données avec les décideurs politiques, les planificateurs et les
responsables de la mise en œuvre
4. Centralisation de la production et de la diffusion des données
5. Base de données ou bibliothèque centralisée de toutes les données sur le
secteur y compris les recherches en cours
6. Coordination des besoins nationaux et ceux des bailleurs de fonds en
matière de diffusion des données .
COORDINATION DES DONNEES
Permet :
Réduire la charge des demandes de données de la part des différentes parties
prenantes

Planification commune permet de réduire le double emploi dans la

programmation et la dispersion des ressources
Collecte de données : Résumé CADRE LOGIQUE

La chaîne des Moyens de

Indicateurs Hypothèses
résultats vérification
Les sources de données Impact
pour chaque indicateur Effet Direct
sont indiquées Extrant

Activités

Matrice du plan de S&E

Résultat escompté -
Moyens de vérification
Fréquence Utilisation
Indicateurs Source Responsabilité
et coût des Méthode de
clés des de la collecte
opérations de collecte l'information
données de données
de collecte
I.1
I.2

I.3
La matrice du plan de S&E
Résumé
CADRE LOGIQUE

Indiquer clairement la méthode La chaîne des

résultats
Indicateurs
Moyens de
vérification
Hypothèses

technique qui sera utilisée pour Impact

rassembler et analyser les Effet Direct

données correspondant à chaque Extrant

indicateur Activités

Matrice du plan de S&E

Résultat escompté -
Moyens de vérification
Fréquence Utilisation
Indicateurs Responsabilité Méthode
Source des et coût des de
clés de la collecte de
données opérations l'information
de données collecte
de collecte
I.1
I.2

I.3
SUIVI-EVALUATION AXE SUR LES
RESULTATS

 EVALUATION DE PERFORMANCE
LISTE DE CONTRÔLE ASSORTIE
D’ECHELLE DE NOTATION
Introduction
 Cette partie va se focalisée sur les notions de pertinence,
d’efficacité, d’efficience , d’impact/effets, et viabilité qui
constituent l’essence de l’évaluation ex ante et ex post des
projets/programmes de développement
 Elles constituent les outils de mesure de la performance
 Les critères d’évaluation et
questionnements
Critère Définition Eléments à prendre en
compte (questionnement)

« caractère d’un projet  Correspondance avec les

La pertinence répondant aux attentes de tout besoins et les demandes
ou partie des acteurs des bénéficiaires ;
concernés ».  Conformité avec les
Il s’agit d’apprécier les orientations stratégiques
objectifs retenus par le projet et générales du pays ;
ou le programme par rapport Le programme/projet est-il
aux besoins des populations bien approprié ou adéquat
concernées. La question pour atteindre le but général
fondamentale est de savoir si poursuivi ?
les objectifs de l’action à L’objectif est-il toujours
mener, en cours ou finalisée d’actualité ?
correspondent aux besoins des Le projet/programme
populations concernées, du correspond t-il toujours aux
pays, aux priorités globales, attentes des parties
aux politiques des ministères prenantes ?
impliqués et des bailleurs de
fonds. Cette question se pose
notamment de façon
rétrospective compte tenu de
l’évolution du contexte
 Récapitulatif des critères d’évaluation
et questionnements (suite)
Critère Définition Eléments à prendre en
compte (questionnement)

« caractère d’un projet dont  Cohérence des objectifs à

La cohérence les moyens sont adéquats à la conception du projet ?
l’objectif et adéquat entre  Les activités prévues
eux ». permettent-elles
Il s’agit de savoir si les d’atteindre les objectifs
activités mises en œuvre opérationnels ?
permettent d’atteindre les  Concordance des divers
objectifs moyens et instruments
mobilisés pour concourir à
la réalisation des objectifs
(cohérence interne) :
 Concordance avec les
actions entreprises par les
partenaires au
développement, et
d’autres partenaires
nationaux (cohérence
externe) ;
 Récapitulatif des critères d’évaluation
et questionnements(suite)
Critère Définition Eléments à prendre en
compte (questionnement)

« caractère d’un projet  Niveau d’atteinte de

L’efficacité produisant les résultats ou l’objectif principal ?
effets attendus »  Résultats attendus et
Il s’agit d’apprécier dans résultats effectifs de
quelle mesure les activités l’action
du projet ont permis  Résultats imprévus
d’atteindre les résultats (négatifs ou positifs,
escomptés. Ce critère ne effet d’aubaine)
doit pas masquer certains  Analyse des écarts
problèmes constatés ;
organisationnels ou de  Le projet a-t-il eu les
pérennisation des effets attendus au
investissements. niveau des
bénéficiaires ?
 Récapitulatif des critères d’évaluation
et questionnements(suite)
Critère Définition Eléments à prendre en
compte (questionnement)

« caractère d’un projet  Modalités de

L’efficience dont les résultats ou effets mobilisation des
obtenus sont à la mesure ressources financières,
des moyens mis en techniques,
œuvre » organisationnelles et
La comparaison se fait humaines ?
souvent en terme de  Comparaison des coûts
moyens par rapport aux avec les éléments de
normes requis pour référence
obtenir un tel résultat. Les pertinente (norme)?
moyens dont il faut tenir  Les résultats immédiats
compte s’entendent au escomptés ont-ils été
sens large par les moyens effectivement obtenus
matériel, financier et et dans quelles
humain mis en œuvre conditions de qualité,
incluant la participation coût et délais ?
des bénéficiaires.  Rapprochement des
résultats avec les
 Récapitulatif des critères d’évaluation
et questionnements(suite)
Critère Définition Eléments à prendre en
compte (questionnement)

« ensemble des effets, positifs ou  Le projet a-t-il contribué à

L’impact négatifs, primaires ou secondaires, corriger le problème visé ou à
généré par le projet, directement produire le développement
ou non, intentionnellement ou escompté ?
non »  Description quantitative de
L’impact mesure les effets que l’impact de l’action
peut avoir le projet sur  Description qualitative de
l’environnement du projet. Il peut l’impact de l’action (négatif,
être économique, social, culturel, positif, attendu, imprévu) :
écologique, politique. création ou consolidation,
renforcement de capacités, etc.
L’impact est perceptible à moyen
et long terme (2 à 4 ans).
L’effet résultat à moyen terme  Le projet a-t-il apporté un
(changement constaté) au niveau changement (escompté ou
des bénéficiaires, pendant non) auprès des bénéficiaires.
l’exécution ou juste après une L’effet est perceptible au cours
intervention de l’intervention ou juste
après (1 à 2 ans).
 Récapitulatif des critères
d’évaluation et
questionnements(suite et fin)
Critère Définition Eléments à prendre en
compte (questionnement)

« caractère d’un projet engendrant  Viabilité financière et

La pérennité ou durabilité des activités ou une structure opérationnelle des
capable de « vivre » et de se mécanismes
développer. »  Les effets du projet sont-ils
C’est l’appréciation de la capacité durables ?
des actions entreprises à perdurer  Possibilité de reproduire ou
(viabilité) et à s’étendre de de généraliser l’opération
manière autonome
(reproductibilité).
- la viabilité : elle est lié à la
pérennité du projet après le
départ de l’appui ou
l’assistance technique ;
- la reproductibilité : il s’agit
d’apprécier si le projet est
transposable dans une autre
localité après qu’il ait été
réalisé dans une localité
donnée ;
- la représentation : elle mesure la
représentation des différents
groupes de bénéficiaires dans
les instances
 VIII Lien de ces notions avec le
cadre logique
Impact
Finalité
Pertinence Pérennité

Efficacité
Résultats
Pérennité

Produits
Cohérence
Efficience
Activités

Intrants
 IX Liste de contrôle et échelle de
notation
 Les définitions et l’échelle de notation utilisée pour chaque critère d’évaluation
sont Présentées ci-après:
 Pertinence des objectifs : La mesure dans laquelle les objectifs du projet sont
conformes aux priorités de développement de l’heure du pays et aux besoins
des populations bénéficiaires. Évaluations possibles : élevée, appréciable,
modeste, négligeable.
 Efficacité : La mesure dans laquelle les objectifs du projet ont été atteints ou
devraient l’être, en tenant compte de leur importance relative. Évaluations
possibles : élevée, appréciable, modeste, négligeable
 Efficience : La mesure dans laquelle le projet a atteint ou devrait atteindre un
rendement plus élevé que le coût d’opportunité du capital et généré des
avantages à des coûts inférieurs à ceux des autres solutions de rechange.
 Évaluations possibles : élevée, appréciable, modeste, négligeable.
 IX Liste de contrôle et échelle de
notation(suite)
 Durabilité : La résistance aux risques liés aux flux d’avantages nets au fil du
temps. Évaluations possibles : très probable, probable, peu probable, très peu
probable, impossible à évaluer.
 Impact sur le développement humain : La mesure dans laquelle un projet
améliore les conditions de vie des populations bénéficiaires et également
impact sur le développement des capacités institutionnelles, on entend à la fois
l’impact escompté et l’impact non escompté d’un projet.
 Évaluations possibles : élevé, appréciable, modeste, négligeable.
 Effets : La mesure dans laquelle les principaux objectifs pertinents du projet
ont apporté un changement comportemental ou institutionnel significatif.
Évaluations possibles : très satisfaisants, satisfaisants, modérément
satisfaisants, modérément insatisfaisants, insatisfaisants, très insatisfaisants
 IX Liste de contrôle et échelle de
notation (suite et fin)
 Performance du PTF : La mesure dans laquelle les services fournis par le PTF
assurent la qualité initiale et favorisent la mise en œuvre par le truchement
d’un contrôle approprié (notamment assurer des dispositions transitoires
appropriées pour l’exécution sans heurt du projet). Évaluations possibles : très
satisfaisante, satisfaisante, insatisfaisante, très insatisfaisante.
 Performance de l’agence d’exécution : La mesure dans laquelle l’agence
d’exécution a assumé l’appropriation et la responsabilité afin de garantir la
qualité de la mise en œuvre, et respecté les clauses et accords en vue de la
réalisation des objectifs de développement et de durabilité. Évaluations
possibles : très satisfaisante, satisfaisante, insatisfaisante, très insatisfaisante
Fin de la journée
Je vous remercie de votre
aimable attention