Trousse d’Outils

Des Administrateurs de Programme

Pour le Suivi et l’Évaluation

BUREAU DES SERVICES DE CON TRÔLE INTERNE ET D’ÉVALUATION OUTIL NO 3

NOVEMBRE 2000

Objets de l’Évaluation

1. Introduction
La trousse d’outils est un complément des directives de programmation du FNUAP. Elle fournit
au personnel des bureaux de pays du FNUAP des conseils et des options pour améliorer les
activités de suivi et évaluation dans le contexte de la gestion des programmes axée sur les
résultats. Elle est également utile aux autres administrateurs de programme, au siège et au niveau
national. Beaucoup des approches décrites dans cette trousse d’outils peuvent aussi bien servir à
élaborer les stratégies de programme 1 .

Cet outil offre un aperçu général des raisons les plus fréquentes de procéder à des évaluations de
programme. Le contenu de ces pages est fondé sur l’examen d’un large éventail de textes relatifs
à l’évaluation provenant des milieux universitaires et d’organisations internationales de
développement comme le FNUAP, le PNUD et l’UNICEF.

2. Pourquoi définir les objets d’une évaluation?

Avant d’évaluer un programme, il faut définir clairement les raisons de l’évaluation. Si l’objet
n’est pas clair, il y a risque que l’évaluation soit centrée sur de fausses préoccupations, tire de
fausses conclusions et présente des recommandations qui ne serviront pas aux utilisateurs prévus
des résultats de l’évaluation.

L’expérience a montré que, quand l’administrateur de l’évaluation détermine le principal objet

de celle-ci de concert avec ceux qui sont supposés utiliser les constatations faites lors de
l’évaluation, la chance que ces constatations soient utilisées lors de la prise de décisions
augmente considérablement.

1
Par souci de brièveté, le mot « programme » sera utilisé partout par référence à un programme de pays aussi bien qu’à ses sous-
programmes et projets composants.
Outil No 3 : Objets de l’évaluation

En planifiant une évaluation, le responsable de celle-ci doit donc toujours poser les questions
suivantes : Qui veut l’évaluation? Pourquoi la veut-on? Comment entend-on l’utiliser?

3. Trois objets courants de l’évaluation

L’encadré 1 met en lumière les trois objets les plus courants de l’évaluation et un échantillon des
questions auxquelles les utilisateurs prévus attendent ordinairement une réponse de l’évaluation.

4. Qui utilise les constatations d’une évaluation? Et quel type

de constatation?

Certaines de ces constatations se prêtent particulièrement à la prise de décisions par des

utilisateurs déterminés. Par exemple, les administrateurs de sous-programme et de projet et le
personnel des institutions chargées de l’exécution ont besoin de connaître les constatations d’une
évaluation qui portent sur le processus d’exécution et le progrès réalisé vers l’atteinte des buts.
Ce type d’information les aidera à choisir des stratégies d’exécution plus efficaces.

Les décideurs qui supervisent les programmes, tels que les dirigeants, les cadres supérieurs de
l’administration et les donateurs, ont besoin des constatations d’une évaluation qui portent sur
l’efficacité, l’impact et la durabilité. Ce type d’information leur permettra de décider s’il faut
poursuivre, modifier ou annuler le programme ou projet.

Les données produites grâce aux évaluations, qui mettent en lumière les bonnes pratiques et les
enseignements tirés, sont d’une importance capitale pour tous ceux qui s’occupent de la politique
d’ensemble et de la conception des programmes.

Il est essentiel de noter qu’un type de constatations tirées d’une évaluation constitue
ordinairement un intrant essentiel pour produire d’autres types de constatations. Par exemple,
les données sur les processus d’exécution du programme rassemblées grâce à une évaluation
formative ou à des activités de suivi et d’examen, sont un intrant indispensable pour rendre
possible l’analyse de l’impact du programme et pour faire bien connaître les bonnes pratiques.
Quand il est constaté que les activités n’ont pas d’impact, les données du processus peuvent
indiquer s’il en est ainsi à cause d’un échec au niveau de l’exécution (par exemple, parce que des
services n’ont pas été fournis, de sorte que le bénéfice attendu n’a pu se concrétiser) ou d’un
échec au stade de la théorie (par exemple, le programme a été exécuté comme prévu, mais n’a
pas produit les résultats attendus). Les données relatives au processus d’exécution permettent
d’analyser quelles approches donnent ou ne donnent pas de résultats, et dans quelles
circonstances. L’encadré 2 met en lumière un exemple d’échec au stade de la théorie qui s’est
répercuté sur l’impact des interventions du FNUAP visant à réduire les taux de mortalité
maternelle.

2
Outil No 3 : Objets de l’évaluation

Encadré 1. Trois objets immédiats courants de l’évaluation

Améliorer la conception et la performance d’un programme en cours – Évaluation formative.

• Quels sont les points forts et les points faibles du programme? Quels types de problèmes
d’exécution sont apparus et comment y est-il répondu?
• Quel progrès a été accompli vers les réalisations et les objectifs souhaités? Les activités
planifiées suffisent-elles (en quantité et en qualité) pour atteindre les réalisations?
• Les indicateurs choisis sont-ils assez pertinents et spécifiques pour mesurer les réalisations? Est-
il nécessaire de les remanier? A-t-il été faisable de collecter des données sur les indicateurs
choisis? Les indicateurs ont-ils servi pour le suivi?
• Pourquoi certains agents d’exécution n’exécutent-ils pas les activités aussi bien que d’autres?
• Qu’arrive-t-il que l’on n’attendait pas?
• Comment se passe l’interaction entre personnel et clients? Comment les agents d’exécution et
les groupes cibles perçoivent-ils le programme? Qu’y aiment-ils? Que n’y aiment-ils pas? Que
veulent-ils changer?
• Comment les fonds sont-ils actuellement utilisés par rapport aux attentes initiales? Sur quels
points peut-on améliorer l’efficience?
• Comment l’environnement externe affecte-t-il les activités internes du programme? Les
hypothèses de départ sont-elles encore valides? Le programme inclut-il des stratégies visant à
réduire l’impact des risques identifiés?
• Quelles nouvelles idées en train de se dégager peuvent être mises à l’épreuve?

Formuler un jugement d’ensemble sur l’efficacité d’un programme achevé, souvent pour
garantir l’exercice effectif des responsabilités – Évaluation récapitulative.

• Le programme a-t-il donné des résultats? A-t-il contribué à atteindre les objectifs généraux et les
objectifs immédiats énoncés? Les réalisations souhaitées ont-elles été atteintes?
• L’exécution a-t-elle été conforme aux mandats délivrés par les bailleurs de fonds? Les fonds
ont-ils été utilisés comme il convenait en vue des objectifs visés?
• Le programme doit-il être poursuivi ou éliminé? Élargi? Reproduit?

Faire connaître les bonnes pratiques.

• Quelle est la logique supposée par le jeu de laquelle il est prévu que les intrants et activités
produiront des réalisations, qui déboucheront sur des issues, lesquelles changeront en fin de
compte la condition de la population cible ou la situation visée (ce qu’on appelle aussi la théorie
du programme)?
• Quels types d’intervention réussissent, et dans quelles conditions?
• Quel est le meilleur moyen de mesurer les réalisations/objectifs?
• Quels enseignements ont été tirés?
• Quelles grandes options sont ouvertes à la suite des activités du programme?

3
Outil No 3 : Objets de l’évaluation

Encadré 2. Théorie de programme concernant la réduction de la

mortalité maternelle

Une évaluation thématique de sept projets de maternité sans risques soutenus par
le FNUAP montre que les hypothèses ou les théories de programme sous-tendant
les stratégies adoptées n’ont pas suffi à atteindre les objectifs des projets. Tous
les projets promouvaient les soins prénatals et quatre des projets comportaient
des programmes de formation destinés aux accoucheuses traditionnelles. La
théorie de programme sous-jacente était donc que les soins prénatals et la
formation des accoucheuses traditionnelles constituent des stratégies essentielles
pour réduire la mortalité maternelle. Toutefois, les données de la recherche
montrent que les soins prénatals ne permettent pas de déceler les complications
liées à la grossesse et que les accoucheuses traditionnelles ayant reçu une
formation, si elles ne sont pas reliées de manière appropriée au système de santé
structuré, ne peuvent réduire sensiblement la mortalité maternelle.

L’évaluation a donc abouti à la conclusion que les stratégies retenues pour

prévenir les décès maternels doivent être basées sur l’information technique la
plus récente. Plusieurs postulats fondamentaux sont aujourd’hui largement
connus concernant la maternité sans risques :
• Toute grossesse est exposée à des risques;
• Un(e) assistant(e) qualifié(e) doit être présent(e) lors de chaque
accouchement.

Il faut mettre davantage l’accent sur les soins dans les jours suivant la naissance.
Les soins post-partum doivent comporter la prévention et la détection rapide des
complications tant chez la mère que chez le nouveau-né.

Source : FNUAP, 1999.

L’encadré 3 illustre à quel point il importe que les administrateurs des programmes financés par
le FNUAP veillent à ce que différents types de constatations tirées d’une évaluation soient
produits durant le cycle de programmation de pays, afin d’améliorer la qualité des décisions
portant sur le programme et de rendre possible l’enrichissement de la mémoire organisationnelle.

4
Outil No 3 : Objets de l’évaluation

Encadré 3. Constatations tirées des évaluations produites par le

FNUAP – exigences présentes et futures

Durant la période 1998-1999, 77 % des évaluations conduites par les bureaux de

pays du FNUAP ont été des évaluations de projet dont l’objectif tait de formuler
un jugement d’ensemble sur la pertinence et la performance du projet. Ces
évaluations se sont placées à l’achèvement de l’exécution du projet et furent
habituellement conduites par des consultants indépendants, le plus souvent
nationaux. Les experts des équipes d’appui technique ont également participé à
bon nombre d’évaluations.

Le reste (23 %) des évaluations de projets visait à améliorer la conception et

la performance du projet à mi-parcours .

Durant la même période, le Bureau des services de contrôle interne et d’évaluation

(OOE) a conduit quatre évaluations et études thématiques dans des secteurs
stratégiques clefs pour le Fonds, comme la maternité sans risques; le soutien du
FNUAP aux interventions visant le VIH/sida; la mise en oeuvre de la vision SR :
progrès et nouvelles orientations du FNUAP; et l’impact de la décentralisation
gouvernementale sur le processus de programmation du FNUAP. Ces évaluations
visaient principalement à dégager des connaissances qui permettraient au Fonds
de situer dans un cadre ses politiques et stratégies d’ensemble, de manière qu’elles
répondent adéquatement aux contextes locaux variables dans les secteurs de
programme clefs.

À mesure que l’approche de la programmation axée sur les résultats devient plus
habituelle au FNUAP, les données liées au processus, qui sont ordinairement
collectées au moyen d’un suivi continu du programme, d’évaluations formatives et
de recherche opérationnelle 1 , aussi bien que les données sur les bonnes pratiques et
les enseignements tirés, produites par l’analyse des résultats de nombreuses
évaluations, prendront une importance accrue s’agissant de fournir des réponses
critiques à la question de savoir ce qui donne des résultats, ce qui n’en donne pas,
et pour quelles raisons.

Source : Adapté du document DP/FPA/2000/10 du 5 mai 2000 : Rapport

périodique de la Directrice exécutive au Conseil d’administration sur l’évaluation.

5
Outil No 3 : Objets de l’évaluation

Sources
Michael Quinn Patton, « Utilization-Focused Evaluation – The New Century Text », 3e éd.
Sage Publications, 1997.

Peter H. Rossi, Howard E. Freeman et Mark W. Lipsey, « Evaluation – A Systematic

Approach », 6e éd., Sage Publications, 1999.

Document du FNUAP DP/FPA/2000/10, daté du 5 mai 2000, « Rapport périodique de la

Directrice exécutive au Conseil d’administration sur l’évaluation ». Disponible en anglais à
l’adresse suivante sur Internet : <http://www.unfpa.org/exbrd/>. Disponible aussi en français et
espagnol sous forme imprimée.

FNUAP, « Maternité sans risque s ». Rapport d’évaluation No 15, 1999.

UNICEF, « Évaluation – Un guide de l’UNICEF pour le suivi et évaluation - Faire une

différence? » Bureau de l’évaluation, 1991. Disponible en anglais à l’adresse suivante sur
Internet : <http://www.unicef.org/reseval/mander.htm>. Disponible aussi en français et espagnol
sous forme imprimée.

PNUD, « Suivi et évaluation basés sur les résultats – Manuel destiné aux administrateurs de
programme ». OESP, 1997. Disponible en anglais, français et espagnol à l’adresse suivante sur
Internet : <http://www.undp.org/eo/monitor.htm>.

6
Outil No 3 : Objets de l’évaluation

Cet outil fait l’objet d’une amélioration constante.

Nous vous sommes reconnaissants
de toutes les observations et suggestions que vous voudrez
éventuellement faire sur son contenu.
Nous vous encourageons aussi à nous envoyer des informations ou expériences
provenant de programmes et projets financés ou non par le FNUAP concernant la
population, qui peuvent illustrer les problèmes
abordés par cet outil. Prière d’adresser vos contributions à :

Fonds des Nations Unies pour la population

Bureau des services de contrôle interne et d’évaluation

Daily News Building

220 East 42nd Street
New York, NY 10017

Téléphone : (212) 297-5213

Fax : (212) 297-4938
E-mail : mompoint@unf pa.org

Cet outil peut être consulté sur le site Web du FNUAP à http://www.unfpa.org/