Vous êtes sur la page 1sur 190

M&E Cover-French 3/12/08 11:41 AM Page 1

BANQUE MONDIALE

Éloges de

Comment mettre en place des systèmes de S&E pour améliorer les performances du secteur public
Comment mettre en place des systèmes de S&E pour améliorer
les performances du secteur public

« Le Groupe indépendant d’évaluation (IEG) de la Banque mondiale a un programme de longue date d’ap-
pui aux pays en développement qui s’emploient à renforcer leurs systèmes de S&E. Il tire son expérience Comment mettre en place des systèmes
d’un large éventail de pays et d’environnements du secteur public. La majeure partie de cette expérience
est étayée par les publications de l’IEG, mais n’a pas encore été synthétisée jusqu’à présent. Cet ouvrage
sera utile pour les responsables gouvernementaux et les bailleurs de fonds qui s’intéressent à l’institu-
tionnalisation des systèmes publics de S&E. »
de S&E pour améliorer les performances
Ajay Chhibber
Directeur, IEG/Banque mondiale

« Un argument central du présent ouvrage est que l’utilisation des informations découlant du S&E est une
du secteur public
condition nécessaire de la gestion efficace des dépenses publiques aux fins de réduire la pauvreté. En
d’autres termes, le S&E est nécessaire à l’élaboration des politiques fondées sur des données probantes,
la gestion fondée sur des données probantes et la responsabilisation fondée sur des données probantes. Keith Mackay
Cet ouvrage est un outil précieux pour ceux qui mettent en place des systèmes publics de S&E pour
appuyer une saine gestion des affaires publiques. »
David Shand
Ancien Conseiller en gestion financière à la Banque mondiale
Ancien chef de programme par intérim,
Service de gestion publique, OCDE

« Ceci est un excellent rapport. Le contenu est très solide et devrait être particulièrement utile aux pays
qui veulent mettre en place ou améliorer leurs systèmes de S&E. Les monographies sont très utiles et sont
très bien élaborées. C’est une information que l’on trouve rarement ailleurs. »
Harry Hatry
Directeur du Programme de gestion publique
The Urban Institute

« La Banque mondiale appuie de plus en plus les pays dans leurs efforts de recherche des résultats. Nous
considérons cela comme un moyen important d’améliorer l’efficacité de l’aide au développement. Cet
ouvrage permet de disséquer, pour les lecteurs, la masse croissante de connaissances acquises par la
Banque en aidant les pays à institutionnaliser leurs systèmes publics de S&E. Je recommande cet ouvra-
ge aux responsables gouvernementaux, à nos partenaires de développement et aux membres du person-
nel de la Banque qui œuvrent au renforcement des capacités pour aider les pays à augmenter leurs
connaissances et obtenir des résultats sur le terrain. »
Susan Stout
Chef, Results Secretariat
Banque mondiale

ISBN 978-0-8213-7483-2
BANQUE MONDIALE

BANQUE MONDIALE

SKU 17483
M&E Cover-French 3/12/08 11:41 AM Page 2

Comment mettre en place des systèmes de S&E pour améliorer les


performances du secteur public Série des Documents de travail de l’IEG
Le suivi et l’évaluation (S&E) sont au cœur des dispositions efficaces de gouvernance. Ils sont
sur le développement des capacités
nécessaires pour axer sur des faits concrets l’élaboration de politiques, les décisions budgé-
taires, la gestion et la responsabilisation. 1. Mackay, Keith. 1998. “Lessons from Experience.”

Il n’existe pas de modèle « optimal » auquel doit ressembler le système de S&E d’un gouver- 2. Brushett, Stephen. 1998. “Evaluation Capacity Development in Zimbabwe: Issues and Opportunities.”
nement. Cela dépend en grande partie celles des nombreuses utilisations potentielles des
informations tirées du S&E qui constituent les principales raisons de l’élaboration d’un tel sys- 3. Barberie, Alain. 1998. “Indonesia’s National Evaluation System.”
tème.
4. Mackay, Keith. 1998. “The Development of Australia’s Evaluation System.”

5. Guerrero, R. Pablo O. 1999. “Comparative Insights from Colombia, China and Indonesia.”
Il est utile de commencer par un a diagnostic des fonctions de S&E qui existent déjà
ainsi que de leurs forces et faiblesses, du point de vue de la demande (l’utilisation 6. Mackay, Keith. 1998. “Evaluation Capacity Development: A Diagnostic Guide and Action Framework.”
effective des informations résultant du S&E) et de l’offre (la qualité technique des
7. Schacter, Mark. 2000. “Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance.”
informations sur le suivi et des rapports des évaluations).
8. Hauge, Arild. 2001. “Strengthening Capacity for Monitoring and Evaluation in Uganda: A Results-Based
Les diagnostics peuvent aussi contribuer à sensibiliser à l’intérêt prioritaire que revêt le Management Perspective.”
S&E et à créer un consensus à ce sujet.
9. Adrien, Marie-Hélène. 2003. “Guide to Conducting Reviews of Organizations Supplying M&E Traiing.”

10. Hauge, Arild. 2003. “The Development of Monitoring and Evaluation Capacities to Improve Government
Une prochaine étape consiste à élaborer un plan d’action — qui conduira à la destination Performance in Uganda.”
souhaitée pour un système de S&E. Cette étape devrait impliquer les principales parties pre-
nantes au sein des ministères centraux et sectoriels, les bailleurs de fonds, les universités, etc. 11. Mackay, Keith. 2004. “Two Generations of Performance Evaluation and Management System in Australia.”

12. Ravindra, Adikeshavalu. 2004. “An Assessment of the Impact of Bangalore Citizen Report Cards on the
Au nombre des principaux éléments d’un plan d’action figurent l’existence des cham-
Performance of Public Agencies.”
pions influents de la cause du S&E, de solides mesures d’incitation à effectuer le S&E
et à utiliser les informations ; la formation au S&E et à l’utilisation des informations 13. Schiavo-Campo, Salvatore. 2005. “Building Country Capacity for Monitoring and Evaluation in the Public
relatives au S&E ; les dispositions structurelles pour assurer l’objectivité et la qualité Sector: Selected Lessons of International Experience.”
du S&E ; et un engagement à long terme en faveur de l’institutionnalisation du S&E.
14. Boyle, Richard. 2005. “Evaluation Capacity Development in the Republic of Ireland.”
On peut tirer de nombreux enseignements des pays qui ont mis en place des systèmes 15. Mackay, Keith. 2006. “Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector
publics efficaces de S&E — et il y aussi de nombreuses erreurs à éviter. La première Management.”
erreur consiste à concevoir un système de S&E trop complexe — ce qui non seulement
constitue un gaspillage d’effort, mais risque aussi de compromettre un système de S&E. 16. Zaltsman, Ariel. 2006. “Experience with Institutionalizing Monitoring and Evaluation Systems in Five Latin
American Countries: Argentina, Chile, Colombia, Costa Rica and Uruguay.”
Une autre erreur consiste à croire que le S&E est une fin en soi ; l’information résultant
du S&E n’a de valeur que si elle est utilisée de manière intensive. 17. Mackay, Keith, Gladys Lopez-Acevedo, Fernando Rojas, Aline Coudouel, and others. 2007. “A Diagnosis of
Colombia’s National M&E System, SINERGIA.”

Il est utile de suivre et d’évaluer régulièrement l’évolution du système de S&E et de


déterminer dans quelle mesure il fonctionne de manière satisfaisante. Il sera probable- Ces publication sont disponibles en ligne à : http://www.worldbank.org/ieg/ecd.
ment nécessaire de lui apporter constamment des aménagements.

La réussite est déterminée en fin de compte par la mesure dans laquelle l’information
fournie par le S&E est utilisée pour améliorer les performances du gouvernement.
G R O U P E I N D É P E N DA N T D ’ É VA LUAT I O N D U G R O U P E D E L A B A N Q U E M O N D I A L E

Comment mettre en place


des systèmes de S&E pour
améliorer les performances
du secteur public

Keith Mackay

2007
http://www.worldbank.org/ieg Banque mondiale
http://www.worldbank.org/ieg/ecd Washington, D.C.
©2007 Banque internationale pour la reconstruction et le développement/Banque mondiale 1818 H Street NW
Washington DC 20433
Téléphone : 202-473-1000
Internet : www.worldbank.org
E-mail: feedback@worldbank.org

Tous droits réservés

1 2 3 4 10 09 08 07

Le présent rapport a été établi par les services de la Banque internationale pour la reconstruction et le
développement/Banque mondiale et les constatations, interprétations et conclusions qui y sont présentées ne reflètent pas
nécessairement celles de ses administrateurs ou des gouvernements qu’ils représentent.
La Banque mondiale ne garantit pas l’exactitude des données figurant dans la présente publication. Les frontières, les
couleurs, les dénomina-tions et toute autre information figurant sur les cartes du présent rapport n’impliquent de la part de
la Banque mondiale aucun jugement quant au statut juridique d’un territoire quelconque et ne signifient nullement que
l’institution reconnaît ou accepte ces frontières.

Droits et licences
Le contenu de cette publication fait l’objet d’un dépôt légal. La publication ou la transmission d’une partie ou de l’intégralité
de la présente publication peut constituer une violation de la loi applicable. La Banque internationale pour la reconstruction
et le développement/Banque mondiale encourage la diffusion de ses études et, normalement, accorde sans délai
l’autorisation d’en reproduire des passages.
Pour obtenir l’autorisation de reproduire ou de réimprimer toute partie de cette publication, veuillez adresser votre
demande en fournissant tous les renseignements nécessaires, par courrier, au Copyright Clearance Center Inc., 222
Rosewood Drive, Danvers, MA 01923, USA ; téléphone : 978-750- 8400 ; télécopie : 978-750-4470 ; site web :
www.copyright.com.
Pour tout autre renseignement sur les droits et licences, y compris les droits dérivés, envoyez votre demande, par
courrier, à l’adresse suivante : Office of the Publisher, The World Bank, 1818 H Street NW, Washington, DC 20433, USA ; par
télécopie, au 202-522-2422 ; ou par courriel à l’adresse e-mail: pubrights@worldbank.org.

Crédits photos de couverture : en haut à gauche, planificateurs égyptiens, par Ray Witlin, Photothèque de la Banque
mondiale ; en haut à droite, travaux routiers en Afrique du Sud, par Trevor Samson, Photothèque de la Banque mondiale ; en
bas à gauche, Leica Geosystems, reproduction autorisée ; en bas à droite, employé des chemins de fer égyptiens, par Ray
Witlin, Photothèque de la Banque mondiale.

ISBN: 978-0-8213-7483-2
e-ISBN: 978-0-8213-7484-9
DOI: 10.1596/978-0-8213-7483-2

Une demande a été soumise à la bibliothèque du Congrès des États-Unis en vue de cataloguer cette
publication.

World Bank InfoShop Groupe indépendant d’évaluation


Courriel : E-mail: pic@worldbank.org Programme de gestion des connaissances et de
Téléphone : 202-458-5454 renforcement des capacités d’évaluation
Télécopie : 202-522-1500 (IEGKE)
E-mail: eline@worldbank.org
Téléphone: 202-458-4497
Facsimilé: 202-522-3125
Imprimé sur du papier recyclé
Table des matières

v Avant-propos
vii Remerciements
ix Sigles et abréviations

1 1 Introduction

5 PREMIÈRE PARTIE—Quel parti les pouvoirs publics peuvent-ils tirer du suivi et


evaluation ?
7 2 Qu’est-ce que le S&E ? Notions élémentaires sur le S&E
9 3 Contribution du S&E à une saine gouvernance
19 4 Principales tendances influant sur les pays — les raisons pour lesquelles
les pays se dotent de systèmes de S&E

23 DEUXIÈME PARTIE—Quelques expériences nationales


25 5 Pays observant des pratiques optimales – à quoi reconnaît-on l’« efficacité » ?
27 6 Chili
33 7 Colombie
39 8 Australie
47 9 Le cas particulier de l’Afrique

55 TROISIÈME PARTIE—Enseignements
57 10 Mise en place des systèmes nationaux de S&E — Enseignements tirés de
l’expérience
67 11 Mesures visant à encourager le S&E — comment créer la demande
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

73 QUATRIÈME PARTIE—Comment renforcer un système national de S&E


75 12 L’importance d’une étude diagnostique sur le pays
81 13 Élaboration des plans d’action

91 CINQUIÈME PARTIE—Questions en suspens


93 14 Domaines nouveaux
99 15 Conclusions

101 SIXIÈME PARTIE—Foire aux questions


103 Foire aux questions

115 Annexes
117 A: Enseignements concernant la façon de faire en sorte que les évaluations
aient de l’influence
121 B: Une étude diagnostique de pays – l’exemple de la Colombie
143 C: Termes de référence pour un diagnostic approfondi du système
Colombien de S&E
147 D: Évaluation de l’appui de l’IEG à l’institutionnalisation des systèmes de S&E
153 E: Glossaire des principaux termes de S&E

161 Notes de fin de document


169 Bibliografie

iv
Avant-propos

D
epuis sa création en 1973, le Groupe indépendant d’évaluation de la
Banque mondiale (IEG) — précédemment dénommé Département
de l’évaluation des opérations — aide les gouvernements des pays en
développement à renforcer leurs systèmes et capacités de suivi et d’évalua-
tion (S&E). Depuis lors, l’IEG a acquis une vaste expérience dans ce domaine
dans une gamme élargie de pays et de cadres du secteur public.

En 1998, l’IEG a commencé la publication d’une La Première Partie du rapport s’attache dans un
série de documents de travail et d’autres études premier temps à déterminer ce que le S&E peut
dans ce domaine, afin de mettre en évidence et apporter aux gouvernements. Elle tente de pré-
de diffuser ces enseignements. Ces publications ciser le contenu qui se trouve derrière le dis-
sont disponibles sur le site web de l’IEG : cours. Des notions élémentaires sur le S&E sont
http://www.worldbank.org/ieg/ecd. Le nombre présentées (chapitre 2), ainsi qu’un examen des
élevé des lecteurs de ces publications témoigne moyens précis par lesquels les informations sur
du très grand intérêt suscité par cette question — le suivi et les constatations des évaluations peu-
le site web à lui seul enregistre chaque année vent être utilisées et l’ont été pour améliorer les
plus de 110 000 visiteurs, et représente une très performances du gouvernement, par exemple, à
forte proportion du nombre total des lecteurs l’appui de la prise de décisions budgétaires (cha-
des publications de l’IEG. pitre 3). On estime que l’utilisation des informa-
tions relatives au S&E est une condition nécessaire
Les publications de l’IEG sur cette question mettent de la gestion efficace des dépenses publiques
en évidence les systèmes de S&E dans les pays où pour réduire la pauvreté — en d’autres termes,
les pratiques sont optimales ou prometteuses. Elles le S&E est nécessaire à l’élaboration des poli-
comprennent également des guides diagnostiques, tiques fondées sur des observations, et la res-
des diagnostics de pays, des exemples d’évalua- ponsabilité fondée sur des faits. C’est la raison
tions ayant exercé une grande influence et du ma- pour laquelle la plupart des pays membres de
tériel didactique sur les outils de S&E et l’évaluation l’Organisation de coopération et de développe-
d’impact, entre autres. Dans ce contexte, le présent ment économiques — les pays les plus riches —
volume vise à synthétiser et à résumer cet ensemble tiennent énormément à disposer et à se servir des
de connaissances pour les lecteurs. informations tirées du S&E pour appuyer une

v
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

bonne gestion des affaires publiques. Cette par- un obstacle insurmontable aux efforts d’élabora-
tie examine aussi (chapitre 4) certaines des prin- tion d’un système de S&E. Il n’en est cependant
cipales tendances qui incitent les pays à accorder rien. Il existe un certain nombre de moyens de
un rang de priorité plus élevé au S&E. créer la demande de S&E, alliant « la carotte », « le
bâton » et « le sermon » (chapitre 11).
La Deuxième Partie porte essentiellement sur les
résultats obtenus par plusieurs pays qui ont su La Quatrième Partie présente les moyens de ren-
mettre en place un système public de S&E fonc- forcer un système national de S&E. Elle s’intéresse
tionnant de manière satisfaisante. Le chapitre 5 particulièrement aux avantages d’une étude dia-
examine les caractéristiques d’un système de S&E gnostique sur le pays (chapitre 12). Un tel dia-
efficace. Des exemples de plusieurs pays — dont gnostic peut aider à bien comprendre les activités
le Chili (chapitre 6), la Colombie (chapitre 7) et de S&E actuellement menées dans le pays, l’en-
l’Australie (chapitre 8) — illustrent un tel sys- vironnement de la fonction publique et les pos-
tème. Il convient toutefois de noter que l’une sibilités d’utiliser les informations relatives au
des idées qui revient souvent dans ce rapport est S&E pour les fonctions de base de l’administra-
qu’il n’existe pas de « meilleur » modèle auquel tion, telles que la prise de décisions budgétaires
devrait ressembler un système de S&E national ou et la gestion de programmes et de projets. Un dia-
sectoriel. Dans les pays relativement faibles, il gnostic aboutira naturellement à un plan d’ac-
pourrait être indiqué de faire preuve de plus de tion définissant les principales options pour le
prudence en mettant davantage l’accent sur des renforcement d’un système national de S&E (cha-
changements progressifs s’ils peuvent démon- pitre 13).
trer que le S&E est efficace par rapport au coût.
L’Afrique, qui connaît de graves contraintes de ca- La Cinquième Partie examine les domaines dans
pacités, est examinée dans cette perspective (cha- lesquels l’expérience internationale concernant les
pitre 9). systèmes nationaux de S&E n’est pas bien com-
prise ni bien étayée par des documents. Il s’agit
La Troisième Partie analyse les enseignements des domaines nouveaux ou d’avant-garde, liés
tirés de la mise en place des systèmes nationaux notamment au coût-efficacité des différentes op-
de S&E dans ces pays et dans bien d’autres pays tions de renforcement des systèmes publics de
en développement et développés. Treize ensei- S&E et aux modèles de bonnes pratiques de S&E
gnements fondamentaux sont mis en évidence aux niveaux sectoriel et infranational (chapitre
(chapitre 10) ; ces enseignements sont conformes 14). Des réponses sont données à un certain
aux résultats obtenus au plan international dans nombre de questions qui sont fréquemment po-
d’autres types d’activités de renforcement des sées sur les systèmes publics de S&E (chapitre 15).
capacités du secteur public. Ces enseignements Ces questions portent sur les principaux risques
comprennent, par exemple, la condition préa- et écueils à éviter en voulant renforcer le S&E dans
lable d’une demande substantielle par l’adminis- un pays, par exemple, le fait de croire à tort que
tration des informations sur le suivi et des résultats le S&E a une valeur intrinsèque, ou d’adopter
des évaluations et le rôle central des mesures une démarche technocratique en matière de ren-
d’incitation. Les enseignements comprennent forcement des capacités.
aussi l’importance d’un diagnostic du S&E dans
un pays et d’un puissant champion de la cause du Enfin, la Sixième Partie présente un ensemble
S&E. La faible demande de S&E par l’administra- des questions les plus courantes sur le S&E, ainsi
tion est fréquente et est souvent perçue comme que les réponses à ces questions.

vi
Remerciements

Le présent rapport a été rédigé par Keith Mackay, dans ce rapport sont uniquement celles de l’au-
qui a été l’initiateur, en 1988, de la série des do- teur et ne représentent pas nécessairement les
cuments de travail et d’autres publications de vues de la Banque mondiale ou de l’IEG. Nous
l’IEG sur le sujet. Le rapport a bénéficié des ob- sommes particulièrement reconnaissants à
servations formulées par Harry Hatry et David l’Agence norvégienne de coopération au déve-
Shand. Heather Dittbrenner a préparé le texte loppement (Norad) pour sa généreuse contribu-
pour la publication. Toutefois, les vues exprimées tion financière.

vii
Sigles et abréviations

ANAO Office national australien de l’audit


COINFO Comité de coordination des données (Colombie)
CONPES Conseil national de la politique économique et sociale (Colombie)
CAD Comité d’aide au développement (OCDE)
DANE Bureau national de statistique (Colombie)
DDTS Direction de l’aménagement durable du territoire (Colombie)
DEPP Direction de l’évaluation des politiques publiques (Colombie)
DFID Département du développement international (Royaume-Uni)
DIFP Service de l’investissement et des finances publiques (fait partie de la DNP)
DNP Direction nationale du Plan (Colombie)
GAO Bureau de la responsabilité du gouvernement (États-Unis)
BID Banque interaméricaine de développement
ICBF Institut colombien du bien-être familial
IDEAS Association internationale d’évaluation du développement
IEG Groupe indépendant d’évaluation
S&E Suivi et évaluation
ODM Objectifs de développement pour le Millénaire
ONG Organisation non gouvernementale
NIMES Système national intégré de suivi et d’évaluation (Ouganda)
OCDE Organisation de coopération et de développement économiques
OMB Bureau de la gestion et du budget (États-Unis)
PART Outil de notation de l’évaluation de programmes (États-Unis)
PEAP Plan d’action pour l’éradication de la pauvreté (Ouganda)
PEP Plan d’évaluation du portefeuille (Australie)
PETS Enquête sur le suivi des dépenses publiques (Ouganda)
DSRP Document de stratégie pour la réduction de la pauvreté
SEDESOL Secrétariat du développement social (Mexique)
SENA Institut national de formation professionnelle (Colombie)
SIGOB Système de programmation et de gestion par objectif et résultat (Colombie)
SINERGIA Système national d’évaluation des résultats de la gestion du secteur public
(Colombie)
SIIF Système intégré d’information financière (Colombie)
TDR Termes de référence

ix
1
Introduction

U
n nombre croissant de gouvernements s’emploient à améliorer leurs
résultats en créant des systèmes qui leur permettent de mesurer et de
comprendre leur performance. Ces systèmes de suivi et évaluation (S&E)
sont utilisés pour mesurer la quantité, la qualité et le ciblage des biens et des
services — les extrants — que fournit l’État, ainsi que les réalisations et les im-
pacts découlant de ces extrants. Les mêmes systèmes sont aussi un outil pour
faciliter la compréhension des causes de la bonne et de la mauvaise performance.

Bien des raisons expliquent l’intensification des bissent des pressions pour démontrer les résul-
efforts visant à renforcer les systèmes nationaux tats des grosses de dépenses au titre de l’aide dont
de S&E. Les pressions financières et les attentes ils sont responsables ; ils s’emploient, à leur tour,
sans cesse croissantes des citoyens moyens inci- à convaincre les pays en développement de ren-
tent continuellement les gouvernements à four- forcer leurs propres systèmes de S&E, et à leur ap-
nir plus de services publics et avec des normes de porter un concours dans ce sens.
qualité plus élevées. Ces pressions sont en outre
une raison suffisante pour trouver des moyens de Au cours des dernières années, les bailleurs de
fonctionnement plus efficaces au plan du coût afin fonds ont concentré leur aide tout particulière-
que les gouvernements puissent faire davantage ment sur les pays plus pauvres, c’est-à-dire ceux
avec moins. Les pays du monde en développe- qui préparent des stratégies pour la réduction
ment comptent souvent sur les pays les plus de la pauvreté dans le cadre des initiatives d’al-
riches — les membres de l’Organisation de co- légement de la dette. Ces pays cherchent à at-
opération et de développement économiques teindre les objectifs de développement pour le
(OCDE) — et adoptent les outils de gestion du Millénaire. Les bailleurs de fonds commencent
secteur public dont se servent en général ces aussi à se rendre compte que les systèmes natio-
pays, tels que le S&E et la budgétisation fondée naux de S&E peuvent contribuer aux efforts de
sur les résultats. La société civile et les parlements lutte contre la corruption ; ces systèmes aident à
exercent également des pressions sur les gou- détecter les « fuites » au niveau des financements
vernements afin que ceux-ci rendent publique- publics, ainsi qu’à établir quelques-unes des consé-
ment compte de leurs résultats et les expliquent. quences possibles de la corruption — comme
En outre, les bailleurs de fonds internationaux su- dans les cas où les dépenses publiques ne trou-

1
COMMENT METTRE EN PLACE DES SYSTÈMES DE S&E

vent leur pendant ni dans la qualité physique de pour appuyer l’amélioration des résultats de leurs
l’infrastructure ni dans le volume et la qualité des activités — ou en d’autres termes, pour soutenir
services fournis. une saine gouvernance. Le volume réunit les don-
nées d’expérience considérables accumulées par
La mise en place du S&E ainsi que des systèmes le Groupe indépendant d’évaluation (IEG) de la
de S&E est souvent considérée, d’un point de Banque mondiale dans son programme de longue
vue étroit et technocratique, comme s’apparen- date d’appui aux pouvoirs publics, et par les
tant à l’élaboration d’un système de gestion fi- membres du personnel de la Banque dans le cadre
nancière ou de passation des marchés. Le S&E et de leurs efforts pour mettre en place des systèmes
les systèmes de S&E comportent en effet des as- de S&E. Il s’inspire aussi de l’ensemble croissant
pects techniques qu’il faut gérer minutieusement. de publications provenant d’autres sources et qui
Mais l’importance qu’on accorde à la dimension traitent de cette question.
technocratique est des plus inadéquates si, ce
faisant, on néglige les facteurs qui déterminent le À l’heure actuelle, beaucoup d’accent est mis sur
degré d’utilisation concrète des informations re- les résultats et l’aptitude à mettre en évidence la
latives au S&E. Lorsqu’un système de S&E est performance. La première partie traite de la ques-
sous-utilisé, cette situation constitue non seule- tion de savoir ce que le S&E offre exactement
ment un gaspillage de ressources, mais elle est éga- aux pouvoirs publics ; elle tente de préciser la sub-
lement susceptible de compromettre gravement stance sur laquelle se fonde le discours en faveur
la qualité des informations que produit le sys- du S&E. Le chapitre 2 présente des notions élé-
tème. Elle remet également en question la dura- mentaires sur le S&E. L’annexe E complète cette
bilité du système lui-même. analyse, en présentant un glossaire des termes clés
de l’évaluation et de la gestion axée sur les ré-
Les spécialistes de l’évaluation font souvent valoir sultats, élaboré par le Comité d’aide au dévelop-
que le S&E et les systèmes de S&E sont une pement de l’OCDE. Pour certains hauts
« bonne chose » et ont une valeur intrinsèque. Les responsables et membres du personnel des
experts en amélioration de la gestion semblent bailleurs de fonds, le S&E peut paraître comme
quant à eux soutenir souvent que la gestion axée un sujet très technique et aux méthodes diffi-
sur les résultats ou les modes d’utilisation des in- ciles à comprendre pour le profane. Ce chapitre
formations relatives au S&E offrent une sorte de s’efforce de démystifier le S&E en donnant une
panacée pour l’amélioration de la performance brève vue d’ensemble d’un éventail de différents
des pouvoirs publics. De faibles arguments de ce types et méthodes de S&E.
genre destinés à promouvoir le S&E sont peu
convaincants pour des gouvernements sceptiques Le chapitre 3 propose une analyse des façons
ou soumis à une pression excessive dans le monde précises dont le S&E peut être et a été utilisé
en développement. Cela dit, il existe effective- pour améliorer la performance de l’administration.
ment des exemples très convaincants de gou- L’accent est mis ici sur les manières dont celle-ci
vernements qui ont déployé les efforts requis se sert du S&E, telles que pour appuyer la prise
pour mettre en place un système de S&E. Ces gou- de décisions budgétaires. Des exemples sont four-
vernements utilisent de façon intensive les in- nis pour montrer comment la société civile recourt
formations relatives au S&E que produisent les au S&E pour mesurer la performance de l’admi-
systèmes et ils se sont servis de ces renseigne- nistration et amener celle-ci à améliorer ses ré-
ments pour améliorer considérablement les ré- sultats. Un certain nombre d’exemples
sultats de leurs politiques, programmes et projets. d’évaluations ayant exercé une grande influence
sont aussi offerts et ils confirment que le S&E
Le présent volume vise à aider les gouvernements peut se révéler très efficace au plan du coût pour
dans leurs efforts visant à mettre en place, à ren- les pouvoirs publics. Les principales tendances qui
forcer et à institutionnaliser pleinement leur sys- incitent les pays à se doter de systèmes de S&E
tème de S&E, non pas comme une fin en soi, mais sont examinées brièvement au chapitre 4.

2
1: INTRODUCTION

La deuxième partie traite de l’expérience de plu- l’utilisation des informations relatives au S&E revêt
sieurs pays ayant réussi à mettre en place un sys- une importance capitale pour la performance et
tème de S&E qui fonctionne bien. Le chapitre 5 la viabilité d’un système de S&E. L’utilisation est
décrit à grands traits la physionomie d’un « bon » fonction de la nature et de la vigueur de la de-
système de S&E ; trois dimensions de l’efficacité mande d’informations relatives au S&E, cette de-
y sont proposées. Une question qui se pose cou- mande dépendant à son tour des mesures
ramment est celle de savoir s’il existe effectivement adoptées pour encourager l’utilisation du S&E.
des pays qui ont réussi à mettre en place un sys- On peut certes estimer que les pays dont la de-
tème national de S&E. La réponse à cette ques- mande de S&E est faible ou seulement tiède sont
tion est un « oui » sans équivoque. Bien des pays confrontés à un obstacle insurmontable dans leurs
développés et un nombre modeste mais croissant efforts visant à mettre en place des systèmes de
de pays en développement ont réussi à établir des S&E. Mais une telle façon de voir les choses est bien
systèmes de S&E performants à l’échelle de l’en- trop pessimiste ; il existe des moyens d’accroître
semble de l’administration. Des études de cas la demande en renforçant les incitations, et ces
portant sur trois pays de ce genre — Chili, Co- moyens sont examinés au chapitre 11, qui traite
lombie et Australie — sont présentées aux cha- de la « carotte », du « bâton » et du « sermon » en
pitres 6, 7 et 8. tant que mesures destinées à assurer le recours aux
informations relatives au S&E.
Le cas spécial de l’Afrique est examiné au cha-
pitre 9. L’Afrique constitue manifestement une Le chapitre IV présente les moyens par lesquels
grande priorité pour la communauté internatio- un système national de S&E peut être renforcé.
nale, et elle a bénéficié tout particulièrement d’un Un des enseignements utiles pour le renforcement
volume considérable d’aide au développement, no- d’un système de S&E est qu’il importe d’effectuer
tamment dans le domaine du renforcement des un diagnostic national (chapitre 12). Ce diagnostic
capacités. Les efforts visant à renforcer le S&E ont permet de bien comprendre les activités actuelles
été déployés dans le contexte de la préparation des de S&E, l’environnement du secteur public, et les
stratégies pour la réduction de la pauvreté. Ce possibilités de renforcement des systèmes de
chapitre se penche sur quelques-unes des diffi- S&E ainsi que d’utilisation des informations re-
cultés et des possibilités qui se présentent aux latives au S&E. Ces informations peuvent servir
pays pauvres dans le cadre de ces efforts. à appuyer les fonctions de base de l’administra-
tion, telles que la prise de décisions budgétaires
De nombreux pays développés et en développe- et la gestion courante des programmes et des
ment ont accumulé une expérience substantielle projets. Chose peut-être tout aussi importante, un
en matière d’établissement des systèmes de S&E. diagnostic aide les principales parties prenantes
Comme dans toute forme d’initiative de renfor- au sein de l’administration et de la communauté
cement des capacités, il existe un certain nombre des bailleurs de fonds à se concentrer sur les
d’enseignements dégagés au prix de grands efforts atouts et les lacunes des dispositifs de S&E rn vi-
au sujet de ce qui marche le mieux et de ce qui gueur. Un tel diagnostic peut aussi permettre de
est inefficace, et tous ces enseignements sont faire en sorte que ces parties prenantes parta-
examinés dans la troisième partie. gent une perception commune des problèmes. Un
diagnostic mène naturellement à un plan d’action
Il est peu surprenant que ces enseignements qui définit les principales options de renforcement
soient cohérents d’un pays et d’une région à d’un système national de S&E (chapitre 13).
l’autre ; les expériences concordent avec l’expé-
rience internationale d’autres types de renforce- Le présent volume ne peut pas chercher — et ne
ment des capacités dans le domaine de la gestion cherche effectivement pas — à s’attaquer à tous
du secteur public, tels que les systèmes budgétaires les problèmes susceptibles de se poser lorsqu’on
ou la réforme de la fonction publique (chapitre 10). essaie de mettre en place un système national de
Comme on l’a déjà mentionné, la question de S&E ou de renforcer un système existant. L’ex-

3
COMMENT METTRE EN PLACE DES SYSTÈMES DE S&E

périence internationale relative à certains do- bailleurs de fonds consiste à veiller à ce que les
maines n’est ni bien comprise ni attestée, et la qua- évaluations qu’ils produisent soient utilisées in-
trième partie présente les grandes lignes de tensément. Désormais, on comprend bien qu’il
quelques-uns de ces domaines. Ces domaines ne suffit pas de réaliser un rapport d’évalua-
nouveaux et d’avant-garde constituent des sujets tion, de le rendre accessible au public, et de tenir
qui sont importants pour l’institutionnalisation du pour acquis que son utilisation ira en quelque
S&E, mais pour lesquels les connaissances ac- sorte de soi. Au contraire, les évaluateurs indi-
tuelles semblent insuffisantes (chapitre 14). Il viduels et leurs bureaux d’évaluation doivent
s’agit notamment des modèles de bonnes pra- agir nettement par anticipation en mettant en
tiques en matière de S&E aux niveaux infranational œuvre une stratégie détaillée pour la diffusion
et sectoriel ; des moyens par lesquels les gou- non seulement du rapport d’évaluation, mais
vernements peuvent œuvrer de manière efficace aussi de ses conclusions — afin d’encourager
et crédible à aider la société civile à s’attaquer aux l’adhésion aux conclusions de l’évaluation et à
questions de S&E de leurs propres résultats ; et l’application de ses recommandations. Divers en-
de l’efficacité du point de vue du coût des autres seignements et conseils pratiques utiles pour
modèles d’aide des bailleurs de fonds en faveur faire en sorte que les évaluations aient de l’in-
de l’institutionnalisation du S&E. fluence figurent en annexe A.

Quelques remarques finales sont formulées au À l’annexe B figure un exemple de diagnostic na-
chapitre 15. tional portant sur la Colombie. Des exemples de
termes de référence pour un diagnostic plus ap-
La quatrième partie apporte des réponses à un cer- profondi du système colombien de S&E sont
tain nombre de questions qui se posent fré- présentés à l’annexe C. Les conclusions d’une
quemment, lors des conférences nationales et auto-évaluation de l’aide de l’IEG en faveur de
internationales, sur le thème du présent volume. l’institutionnalisation des systèmes de S&E fi-
La fréquence à laquelle des questions similaires gurent en annexe D. Cette évaluation fournit
sont posées nous aide à cerner les questions clés un modèle possible aux bailleurs de fonds et
auxquelles il convient de s’attaquer lorsqu’on aux pouvoirs publics qui cherchent à évaluer
cherche à institutionnaliser un système de S&E. leurs propres efforts visant à mettre en place
ou à renforcer un système national de S&E.
Un défi auquel sont confrontés les services Enfin, l’annexe E contient un glossaire des termes
d’évaluation tant de l’administration que des clés du S&E.

4
PREMIÈRE PARTIE
Quel parti les pouvoirs
publics peuvent-ils tirer du
suivi et evaluation ?

L
a première partie porte sur les avantages que procure le S&E aux pou-

voirs publics ; elle tente de préciser le fondement du discours sur le

S&E. Le chapitre 2 présente des notions élémentaires sur les S&E. Il

aborde la question de savoir en quoi consiste exactement le S&E, et examine

quelques-uns des principaux outils, méthodes et approches auxquels ont gé-

néralement recours les gouvernements et les donateurs internationaux. Cet

examen est suivi, au chapitre 3, d’une analyse des façons précises dont le S&E

peut servir et sert à améliorer les résultats des gouvernements. Enfin, le cha-

pitre 4 étudie brièvement les principales tendances qui incitent les pays à se

doter de systèmes de S&E.


2
Qu’est-ce que le S&E ?
Notions élémentaires sur
le S&E

L
e domaine du S&E comporte un grand nombre de termes et de notions
connexes, ce qui peut prêter à confusion. À cela s’ajoute le fait que la dé-
finition des notions similaires varie souvent d’un pays ou d’un organisme
de développement à l’autre. Le Comité d’aide au développement (CAD) a éla-
boré un glossaire des principaux termes et notions, pour réduire cette confu-
sion et assurer une certaine harmonisation (CAD 2002). Ce glossaire figure en
annexe E. Le présent chapitre propose une analyse plus générale du S&E.

Les indicateurs de performance sont des me- traîné une amélioration des performances. Ils
sures des ressources, des activités, des extrants, peuvent toutefois servir à attirer l’attention sur la
des réalisations et des impacts des activités du gou- nécessité d’un examen ou d’une évaluation pos-
vernement. Les indicateurs peuvent être de très térieure d’une question. L’un des risques que
haut niveau, du point de vue de la mesure des per- présentent les systèmes d’indicateurs de perfor-
formances du gouvernement par rapport aux ob- mance est qu’on peut les concevoir de façon trop
jectifs de développement pour le Millénaire complexe, en y incluant un nombre excessif d’in-
(ODM) ou au plan de développement national, ou dicateurs peu utilisés, ce qui pourrait déboucher
de celui des activités et des extrants des ministères sur des données de piètre qualité.
et des organismes publics. Ils sont utiles pour
fixer les cibles de performance, évaluer les pro- Les méthodes d’appréciation préalable ra-
grès accomplis en vue de les atteindre et comparer pide sont des moyens peu coûteux de recueillir
les performances de différentes organisations. Il rapidement les points de vue et les réactions des
s’agit de moyens relativement peu coûteux de bénéficiaires et des autres parties prenantes. Ces
mesurer fréquemment les performances du opinions fournissent à la direction des rensei-
gouvernement. gnements rapides pour la prise de décision, sur-
tout au niveau de l’activité ou du programme.
Si les indicateurs de performance permettent de Ces méthodes consistent en des entrevues, des
cerner les problèmes et, ce faisant, de prendre des échanges au sein de groupes de réflexion, l’ob-
mesures correctives, ils ont notamment pour in- servation directe et des mini-enquêtes. Il peut se
convénient de ne pas révéler généralement si les révéler difficile de généraliser les conclusions
mesures adoptées par les pouvoirs publics ont en- auxquelles mènent ces méthodes qualitatives.

7
I : Q U E L PA R T I L E S P O U V O I R S P U B L I C S P E U V E N T- I L S T I R E R D U S U I V I E T E VA L U AT I O N ?

Celles-ci sont par ailleurs moins valides, moins des méthodes plus élaborées d’évaluation de l’im-
fiables et moins crédibles que les enquêtes pact peuvent aboutir à des conclusions beaucoup
formelles. plus fiables et convaincantes. De telles méthodes
donnent lieu à la comparaison des bénéficiaires
L’évaluation rapide consiste à procéder à l’exa- du programme à des groupes de contrôle ou de
men formel d’une activité ou d’un programme pu- comparaison à deux ou plusieurs moments. Des
blic. À titre illustratif, au Chili les évaluations techniques statistiques très perfectionnées servent
rapides donnent lieu à un examen sur dossiers, à déterminer les impacts précis du programme sur
par des consultants externes, des objectifs d’un les bénéficiaires. Ce type d’évaluation est très exi-
programme, ainsi qu’à une analyse du cadre lo- geant du point de vue des données et il peut se
gique (qui décrit les liens de causalité entre les ac- révéler très coûteux ; il est toutefois possible de
tivités gouvernementales et les réalisations et réduire considérablement ce coût. Il convient de
impacts souhaités). Toutes les données dispo- planifier de telles évaluations bien avant la date à
nibles (notamment les indicateurs de perfor- laquelle on aura besoin de leurs conclusions, car
mance) sont analysées afin d’évaluer l’efficience il est en général impossible de les effectuer rapi-
et l’efficacité de l’activité. La Banque mondiale dement. Même si les évaluations très perfection-
adopte cette démarche dans bon nombre de ses nées sont souvent coûteuses, elles peuvent
évaluations préalables et rétrospectives des pro- s’avérer très économiques lorsqu’elles entraînent
jets. Elle utilise par ailleurs un éventail d’autres ren- ne serait-ce qu’une très légère amélioration des
seignements dans ses évaluations rétrospectives, résultats du programme.
dont les conclusions des missions de supervi-
sion, les entrevues avec les principales sources Les examens détaillés des dépenses sont un
d’information, et toutes les données primaires type d’évaluation des politiques. Le ministère chi-
ou secondaires qui ont été recueillies. lien des Finances y a recours pour examiner tous
les programmes au sein d’un secteur fonctionnel
Les principaux points forts des évaluations ra- précis, tel que les établissements scolaires. Ces exa-
pides sont la vitesse et le coût relativement faible mens donnent lieu à des études sur dossiers des
de leur réalisation. Leurs principaux points faibles questions d’inefficacité et de chevauchement des
— par rapport aux méthodes plus rigoureuses — programmes. Les examens bisannuels des dé-
sont leurs données empiriques moins solides et penses du Royaume-Uni étudient ces questions,
leurs techniques nettement moins rigoureuses ainsi que les réalisations des programmes et les
d’analyse des données. Elles ont en outre de la dif- priorités gouvernementales.
ficulté à établir les rapports possibles de cause à
effet entre les mesures prises par le gouvernement Les avantages et les inconvénients, les coûts, les
et les améliorations subséquentes de ses compétences et le temps nécessaires pour utili-
performances. ser ces outils de S&E sont examinés dans le do-
cument intitulé « Suivi et évaluation : Quelques
L’évaluation d’impact se concentre sur les réa- outils, méthodes et approches (IEG 2004b) ». Se
lisations et les impacts des activités gouverne- reporter aussi au Glossaire des principaux termes
mentales. Les méthodes d’évaluation rapide relatifs à l’évaluation et la gestion axée sur les ré-
peuvent être utilisées pour estimer l’impact, mais sultats du CAD (2002) et à l’Annexe E.

8
3
Contribution du S&E à une
saine gouvernance

L
e S&E peut fournir des renseignements uniques sur les performances
des politiques, des programmes et des projets gouvernementaux. Il
peut déterminer ce qui est efficace, ce qui est inefficace, et quelles en
sont les raisons. Le S&E donne par ailleurs des informations sur les perfor-
mances d’un gouvernement, des différents ministères et organismes publics,
ainsi que des cadres de direction et de leur personnel. Enfin, il fournit des ren-
seignements sur les performances des bailleurs de fonds qui appuient l’action
des pouvoirs publics.

Il est tentant — mais dangereux — de considé- rentes émanant des citoyens et des groupes de
rer le S&E comme ayant une valeur intrinsèque. la société. Les informations relatives au S&E
La valeur du S&E ne découle pas du simple fait peuvent appuyer les délibérations des pou-
de le réaliser ou de disposer des informations voirs publics en fournissant des données fac-
qui en résultent ; au contraire, la valeur vient de tuelles sur les types d’activités publiques qui
l’utilisation de ces renseignements pour contri- sont les plus efficaces au plan du coût, tels
buer à améliorer les performances des pouvoirs que les différents types de programmes d’em-
publics. Comme nous le verrons plus loin, bon ploi, d’interventions en matière de santé ou de
nombre de gouvernements se servent systéma- paiements au titre de transferts monétaires
tiquement des informations relatives au S&E pour conditionnels. Les termes qui décrivent cette
améliorer leurs performances. Les gouverne- manière d’utiliser les informations relatives au
ments et d’autres entités peuvent se servir fort uti- S&E sont notamment l’« élaboration des poli-
lement de l’information sur le S&E de diverses tiques fondée sur des données factuelles », la
manières, notamment pour: « budgétisation fondée sur les résultats » et la
« budgétisation guidée par les performances »
• Appuyer l’élaboration des politiques — (Encadré 3.1).
surtout la prise de décisions relatives au • Aider les ministères à réaliser leurs travaux
budget —, la budgétisation fondée sur d’élaboration et d’analyse des politiques,
les résultats et la planification nationale. ainsi qu’à mettre au point les programmes.
Ces processus se concentrent sur les priorités • Aider les ministères et les organismes publics
gouvernementales parmi les demandes concur- à gérer les activités aux niveaux des sec-

9
I : Q U E L PA R T I L E S P O U V O I R S P U B L I C S P E U V E N T- I L S T I R E R D U S U I V I E T E VA L U AT I O N ?

Encadré 3.1. Qu’est-ce que la budgétisation fondée sur la performance ?

L a plupart des pays de l’OCDE entreprennent une forme quel-


conque de budgétisation fondée sur la performance (Curris-
tine 2005). Certains autres pays, tels que le Chili, ont créé un
sur la performance ». C’est la forme la plus courante de budgéti-
sation fondée sur les résultats. Les renseignements fournis par le
S&E sur les résultats du programme sont une ressource, parmi
système public de suivi et d’évaluation pour appuyer la budgé- d’autres toutefois, qui sert dans la prise de décisions relatives à
tisation fondée sur la performance, et un nombre croissant de l’affectation du budget au programme. D’autres renseignements,
pays en développement s’engagent dans la même voie. Beau- ainsi que les priorités du gouvernement en matière de politique (no-
coup considèrent le suivi et l’évaluation comme un outil utile pour tamment les considérations liées à l’équité), influent aussi sur les
aider les gouvernements en proie à des difficultés budgétaires affectations budgétaires.
à réduire l’ensemble de leurs dépenses en déterminant les pro- La troisième approche est la « budgétisation présentation-
grammes et activités dont l’efficacité au plan du coût est rela- nelle fondée sur la performance ». Ici, le gouvernement utilise les
tivement faible. La budgétisation fondée sur la performance informations résultant du S&E pour rendre compte de ses résul-
aide par ailleurs les pouvoirs publics à établir un ordre de prio- tats effectifs (passés) ou escomptés (futurs) dans les documents
rité entre des propositions de dépenses concurrentielles. Elle budgétaires qu’il transmet au parlement ou au congrès. Il est pos-
constitue de ce fait un instrument qui leur permet de mieux op- sible que ces informations n’aient aucune influence sur la prise de
timiser leurs dépenses. décisions en matière budgétaire, et cette approche est la plus faible
La budgétisation fondée sur la performance prévoit l’utilisation forme de budgétisation fondée sur la performance.
des informations sur le suivi et des conclusions de l’évaluation. On Une erreur courante consiste à croire que l’existence de don-
distingue trois principales approches de la budgétisation fondée nées montrant une piètre performance doit entraîner la réduction
sur la performance. La première est connue sous le nom de « bud- ou la suppression totale de l’enveloppe budgétaire du programme
gétisation directe fondée sur la performance » — dans laquelle concerné. Cela pourrait certes arriver dans le cas d’une activité pu-
il existe un rapport direct, souvent reposant sur des formules, de blique de faible priorité, mais souvent il faut consacrer davantage
telle sorte que l’affectation budgétaire à un programme est basée de dépenses audit programme pour corriger la situation, tout au
sur la performance de celui-ci, telle que mesurée par ses résul- moins à court terme. À titre illustratif, une évaluation concluant que
tats (autrement dit, ses extrants ou ses réalisations). Un exemple les dépenses consacrées à l’enseignement primaire ou aux hôpi-
en est le financement d’une université basé sur le nombre d’étu- taux publics sont des plus inefficaces ne mènerait pas à l’élimina-
diants qui obtiennent leur diplôme dans chaque discipline, telle que tion de ces programmes ; ceux-ci sont trop importants. Il conviendrait
la médecine ou les lettres. au contraire de cerner les causes de la piètre performance — ce
La deuxième approche est la « budgétisation indirecte fondée que doit révéler une évaluation — et de s’y attaquer.

teurs, des programmes et des projets. Il s’agit luations ou les examens sont utilisés pour dé-
notamment de la prestation des services publics couvrir les raisons en question (voir, par
et de la gestion du personnel. Le S&E déter- exemple, Wholey, Hatry et Newcomer 2004).
mine la façon la plus efficace d’utiliser les res- Il s’agit là de la fonction d’apprentissage du
sources disponibles ; il peut servir à cerner S&E, souvent désignée sous le terme de « ges-
les difficultés liées à la mise en œuvre, par tion axée sur les résultats » ou de « gestion
exemple. Il est possible d’utiliser les indicateurs orientée vers les résultats ».
de performance pour comparer les coûts et le • Renforcer la transparence et appuyer les
rendement — évaluation comparative des per- rapports de responsabilité en révélant la me-
formances — de différents districts, unités ad- sure dans laquelle les pouvoirs publics ont at-
ministratives et régions. Il est également teint les objectifs visés. Le S&E fournit les
possible de procéder à des comparaisons chro- données de fait essentielles dont on a besoin
nologiques, lesquelles aident à discerner les pour établir les bases de solides rapports de res-
pratiques qui sont bonnes, mauvaises ou pro- ponsabilité, tels que l’obligation pour le gou-
metteuses, ce qui peut inciter à rechercher vernement de rendre compte au parlement
les raisons d’une telle performance. Les éva- ou au congrès, ainsi qu’à la société civile et aux

10
3: CONTRIBUTION DU S&E À UNE SAINE GOUVERNANCE

bailleurs de fonds. Le S&E appuie en outre les clairement quels sont leurs objectifs et com-
rapports de responsabilité au sein de l’admi- ment elles se réalisent concrètement
nistration, tels que ceux existant entre les mi- • La clarification des buts et des objectifs des pro-
nistères sectoriels et les ministères centraux, grammes et des stratégies nécessaires pour
entre les organismes publics et les ministères les atteindre, ainsi que l’établissement de rap-
sectoriels, et entre les ministres, les cadres de ports publics à ce sujet.
direction et le personnel. Une solide culture de • L’établissement de normes explicites de service
responsabilité peut, à son tour, fournir les in- à la clientèle par les organismes de prestation
citations nécessaires pour améliorer les des services, ainsi que le suivi et la publication
performances. de données sur le degré d’application de ces
normes
Ces utilisations du système de S&E le place au • Une réforme de la fonction publique qui porte
centre des dispositifs d’une saine gouvernance en principalement sur la performance, la gestion
tant que condition nécessaire à une gestion effi- et l’évaluation du personnel, en ce qui
cace des dépenses publiques en vue de faire re- concerne notamment le recrutement et la pro-
culer la pauvreté. Il s’ensuit que le système de S&E motion fondés sur le mérite ainsi que le li-
est nécessaire pour assurer une élaboration des cenciement, — en reconnaissant les liens entre
politiques basées sur des données concrètes, une la performance individuelle et celle du projet
gestion scientifiquement fondée sur des données ou du programme
concrètes et une responsabilité reposant sur des • La qualité des conseils de politique offerts par
éléments probants. L’insistance sur le S&E est un la fonction publique et la mesure dans laquelle
moyen permettant de mettre en place un secteur ces conseils reposent sur des données fac-
public orienté vers les résultats et responsable, en tuelles (grâce au recours au S&E)
créant notamment une culture de la performance • Les efforts de lutte contre la corruption — le
au sein de la fonction publique. C’est pourquoi S&E peut servir à détecter les « fuites » au ni-
le S&E ne doit pas être considéré comme une ac- veau des fonds publics, grâce par exemple aux
tivité étroite et technocratique. enquêtes de suivi des dépenses publiques. Le
suivi, par la communauté, des projets des
Le S&E peut être utilisé dans le cadre d’un grand bailleurs de fonds (ou des pouvoirs publics)
nombre d’activités précises à l’intérieur des quatre peut par ailleurs constituer un moyen efficace
grandes catégories d’utilisation des informations d’enrayer la corruption dans le cadre de l’exé-
qui en résultent. Parallèlement, le SéE est étroi- cution des projets
tement lié à d’autres aspects de la gestion du sec- • La participation de la société civile — le S&E
teur public, à savoir : offre un instrument permettant d’amplifier la
voix de la société civile et d’exercer une pres-
• Les systèmes de suivi budgétaire et l’établis- sion supplémentaire sur les pouvoirs publics
sement de rapports financiers pour qu’ils atteignent des niveaux plus élevés
• Les relations budgétaires intergouvernemen- de performance.
tales, notamment la décentralisation de l’ad-
ministration, et la mesure dans laquelle elles Expériences nationales
comprennent une focalisation sur la perfor- La plupart des gouvernements des pays membres
mance de l’administration1 de l’OCDE mettent un accent important sur les
• Les institutions de responsabilité telles que quatre utilisations des informations résultant du
les bureaux nationaux d’audit S&E — pour appuyer l’élaboration des politiques
• La commercialisation des services publics et basée sur des données factuelles (surtout la bud-
leur prestation par le secteur privé (à but lu- gétisation fondée sur la performance), la formu-
cratif ou non lucratif), par exemple, par la sous- lation des politiques, la gestion et la responsabilité.
traitance des tâches de l’administration2. Pour Les gouvernements des pays de l’OCDE possèdent
réussir dans ces activités, il faut comprendre collectivement beaucoup d’expériences dans ce

11
I : Q U E L PA R T I L E S P O U V O I R S P U B L I C S P E U V E N T- I L S T I R E R D U S U I V I E T E VA L U AT I O N ?

domaine : on considère qu’en règle générale normales du gouvernement. Les pays adop-
pour améliorer sa propre performance un gou- tent une diversité de méthodes différentes
vernement doit déployer des efforts substantiels pour évaluer la performance, notamment
pour la mesurer. Le secrétariat de l’OCDE et les mesures de performance, les évalua-
d’autres entités ont publié de nombreuses en- tions, et l’établissement de critères de ré-
quêtes et analyses sur les travaux effectués par les férence (Curristine 2005, pp. 88–89).
pays membres pour renforcer la recherche des ré-
sultats (OCDE 1995, 1997a, 2005 ; Curristine La diversité des approches nationales du S&E, et
2005 ; Shand 2006, par exemple). Parmi ces pu- plus particulièrement des façons dont sont utili-
blications figurent un examen approfondi des sées les informations relatives au S&E, est frap-
pratiques gouvernementales en matière d’éva- pante. L’Encadré 3.2 présente des exemples
luation et des enseignements concernant à la fois provenant de cinq pays dont les systèmes de S&E
le renforcement des capacités et l’utilisation de ont été bien décrits et analysés.
l’évaluation (OCDE 1997a), et un examen des
pratiques et des enseignements relatifs à la bud- Ces cinq exemples nationaux présentent certaines
gétisation fondée sur la performance : caractéristiques communes, telles qu’une ap-
proche, adoptée au niveau de l’ensemble de l’ad-
La recherche des résultats de la gestion pu- ministration, de la mesure de la performance du
blique est une approche bien établie. Elle est gouvernement, le rôle moteur joué par un mi-
indispensable à la réussite de l’action des nistère central puissant (tel que celui des Finances
pouvoirs. Les sociétés sont désormais trop ou de la Planification), et l’accent mis sur l’utili-
complexes pour être administrées unique- sation des informations relatives au S&E pour
ment par des règles régissant les ressources appuyer le cycle budgétaire. Mais la diversité des
et les processus ainsi que par une culture approches est également manifeste. Certains pays
dévouée à l’intérêt public. La recherche des insistent sur le processus budgétaire, et d’autres
résultats a accru la formalisation de la sur la planification. Certains mettent en exergue
planification, de l’établissement de rap- la responsabilité, et d’autres l’apprentissage en vue
ports et du contrôle dans un grand nombre d’appuyer la gestion courante. D’autres encore
de pays, entraînant une amélioration de la mettent l’accent tant sur le suivi que sur l’éva-
qualité des renseignements dont disposent luation, tandis que d’autres insistent uniquement
les cadres de direction et les décideurs soit sur le suivi, soit sur l’évaluation.
(OCDE 2005, p. 81).
On est tenté de conclure que les différences entre
Au cours des 15 dernières années, la ma- les pays sont plus importantes que les similarités.
jorité des gouvernements des pays de Toutefois, ce qu’un nombre croissant de pays ont
l’OCDE ont cherché à modifier la priorité en commun, c’est une méthode systémique de
de la budgétisation et de la gestion qui, S&E, consistant généralement en un système qui
jusque-là, était accordée aux ressources, au s’étend à l’échelle du gouvernement, bien que par-
profit de la recherche des résultats, mesu- fois — comme dans le cas du Mexique — elle ne
rés par les extrants et/ou les réalisations. porte que sur un seul organisme précis (l’orga-
La teneur, le rythme et la méthode de mise nisme de développement social, SEDESOL) qui
en œuvre de ces réformes varient certes constitue un « îlot » de bonne pratique. Une ca-
d’un pays et d’une période à l’autre, mais ractéristique unique du système mexicain est que
ils partagent un regain d’intérêt pour les suite au succès des activités de S&E au sein du SE-
résultats mesurables. ...Dans la plupart DESOL, un système s’étendant à l’ensemble de
des pays de l’OCDE, les initiatives visant à l’administration est maintenant en cours de créa-
évaluer la performance des programmes tion, avec l’appui du ministère des Finances, du
et des ministères sont désormais recon- bureau du contrôleur et du conseil national d’éva-
nues comme faisant partie des activités luation créé récemment (Hernandez 2007).

12
3: CONTRIBUTION DU S&E À UNE SAINE GOUVERNANCE

Encadré 3.2. Les gouvernements qui utilisent de façon intensive les informations relatives au
S&E

Australie comprend environ 1 550 indicateurs de performance, des éva-


À la fin des années 80, le gouvernement avait créé un système luations rapides (approximativement 10 à 12 sont menées à bien
d’évaluation à l’échelle de l’administration, géré par le ministère chaque année), et des évaluations rigoureuses d’impact (envi-
des Finances. Tous les ministères étaient tenus d’évaluer cha- ron quatre par an). Le ministère des Finances commandite les
cun de leurs programmes tous les trois à cinq ans. Ils devaient évaluations par des spécialistes issus des milieux universitaires
en outre élaborer des plans d’évaluation des portefeuilles. Ces ou des cabinets-conseils, et il utilise des termes de référence
plans décrivaient en détail les évaluations prévues au cours et des méthodes uniformisés pour chaque type d’évaluation.
des trois années suivantes et indiquaient les programmes à Les responsables du ministère des Finances se servent de façon
évaluer, les questions à aborder dans chaque évaluation, et les intensive des informations de suivi et des conclusions d’éva-
méthodes d’évaluation à suivre. luation dans leur analyse budgétaire de la performance de
Les évaluations étaient effectuées par les ministères d’exécution chaque ministère et organisme public, pour éclairer la prise de
eux-mêmes, sous la supervision cependant du ministère des Fi- décisions budgétaires par le gouvernement. Le ministère utilise
nances et des autres ministères centraux. En conséquence, le également ces renseignements pour établir les cibles de per-
nombre d’évaluations effectuées s’est accru rapidement, et au mi- formance de chaque organisme public et pour imposer tant aux
lieu des années 90, environ 160 de ces évaluations étaient en ministères qu’aux organismes des améliorations à apporter à leur
cours. Les évaluations étaient utilisées principalement dans le gestion. Le ministère des Finances surveille étroitement la me-
processus budgétaire annuel. Chaque nouvelle proposition de dé- sure dans laquelle chaque ministère opère ces améliorations de
penses soumise par les ministères d’exécution devait préciser la gestion (se reporter au chapitre 6 pour en savoir plus sur le
clairement ses objectifs et présenter toutes les conclusions d’éva- Chili).
luation disponibles sur la performance effective ou probable de l’ac-
tivité gouvernementale. De même, les options d’économies, qui Colombie
étaient des propositions de réduction des dépenses publiques et Le système public de S&E, dénommé SINERGIA, est géré par le
étaient préparées par le ministère des Finances ou par les minis- ministère de la Planification nationale. Une des principales com-
tères d’exécution, devaient elles aussi faire état de toutes les posantes de ce système est la base de données des informations
conclusions d’évaluation disponibles. sur la performance qui contient environ 500 indicateurs de per-
Selon les estimations du ministère des Finances, dès 1994, formance permettant de suivre la performance de l’administra-
près de 80 % des nouvelles propositions de dépenses s’appuyaient tion par rapport à l’ensemble des 320 objectifs du Président.
sur les conclusions d’évaluation, généralement dans une mesure Pour chaque indicateur de performance, on consigne dans la
considérable. Près des deux tiers des options d’économies étaient base de données accessible au public l’objectif, la stratégie pour
également fondées sur les conclusions d’évaluation. Les respon- atteindre cet objectif, la performance de référence, les cibles an-
sables du ministère des Finances, qui assistaient aux réunions du nuelles et le montant des dépenses engagées par le gouvernement.
gouvernement consacrées à l’examen de ces propositions de Lorsqu’une cible de performance n’est pas atteinte, le responsable
budget, ont estimé que ces renseignements influaient considéra- auquel il incombe de le faire est tenu de préparer une déclaration
blement sur la prise de décisions budgétaires par le gouvernement. expliquant cette contre-performance. Le Président se sert de ces
Le bureau national d’audit de l’Australie a constaté que les mi- renseignements dans le cadre de ses réunions mensuelles de
nistères d’exécution utilisaient aussi ces renseignements de façon contrôle de la gestion et de ses séances hebdomadaires de dis-
intensive, tout particulièrement pour faciliter l’amélioration de leur cussion ouverte qui sont organisées dans les municipalités de
efficacité opérationnelle (se reporter au chapitre 8 pour en savoir tout le pays (se reporter au chapitre 7 pour en savoir plus sur la
plus sur l’Australie). Colombie).

Chili Royaume-Uni
Le ministère des Finances a progressivement élaboré un système En 1998, le gouvernement a créé un système de cibles de per-
de S&E à l’échelle du gouvernement à partir de 1994. Ce système formance, lesquelles sont contenues dans les accords relatifs
(suite sur la page suivante)

13
I : Q U E L PA R T I L E S P O U V O I R S P U B L I C S P E U V E N T- I L S T I R E R D U S U I V I E T E VA L U AT I O N ?

Encadré 3.2. Les gouvernements qui utilisent de façon intensive les informations relatives au
S&E (suite)

au secteur public, conclus entre le Trésor et chacun des 18 mance des programmes, reposant sur les informations de suivi et
principaux ministères. Ces accords précisent l’objectif global du les conclusions de l’évaluation. Les notes sont préparées conjoin-
ministère, ses objectifs prioritaires et ses principales cibles de tement par le Bureau de gestion et du budget, qui est le ministère
performance. des Finances des États-Unis, et par les ministères et les orga-
Pour l’ensemble du gouvernement, on dénombre actuellement nismes publics ; cependant, la décision finale en matière de no-
110 cibles, fortement concentrées dans les secteurs prioritaires tation revient au Bureau de gestion et du budget.
de l’éducation, de la santé, des transports et de la justice pénale. Pendant l’exercice 05, 44 % de programmes ont reçu la note
Les cibles sont principalement exprimées en termes de réalisations « efficace » ou « moyennement efficace » ; les résultats ont été jugés
(plutôt que d’extrants) à accomplir. Deux fois par an, les ministères « non démontrés » dans 24 % de programmes, en raison de l’in-
présentent un rapport public sur le nombre d’évaluations, et cette suffisance des informations de S&E (il s’agissait d’une baisse
information est prise en compte dans les décisions budgétaires. considérable par rapport à l’exercice 02, lorsque le taux des pro-
Les priorités en matière de dépenses, les plafonds des dépenses grammes aux résultats jugés « non démontrés » s’établissait à 50 %).
et les cibles de performance connexes sont établis dans le cadre Les ministères sont tenus d’utiliser les notes PART dans la de-
d’un système d’examens triennaux des dépenses. Le bureau na- mande annuelle de crédits budgétaire qu’ils soumettent au Bu-
tional d’audit du Royaume-Uni signale que les ministères utilisent reau de gestion et du budget. Les demandes doivent mettre en relief
aussi, dans le cadre de leur planification et de leur responsabilité les notes PART, les recommandations concernant les améliora-
internes, les renseignements sur la performance provenant des ac- tions de la performance des programmes, et les cibles de per-
cords relatifs au secteur public ; ces renseignements sont ce- formance. À son tour, le Bureau de gestion et du budget se sert
pendant moins utilisés pour la gestion régulière. aussi des notes PART comme ressource lorsqu’il prépare les de-
mandes de crédits soumises au Congrès par le gouvernement. En
États-Unis outre, le Bureau de gestion et du budget utilise les notes PART pour
En 2002, le gouvernement a créé l’Outil d’évaluation des pro- s’accorder avec les ministères sur les améliorations à apporter
grammes (PART), en faisant fond sur les efforts antérieurs visant à leur performance ou pour leur imposer des exigences relatives
à mesurer sa performance. Cette méthode sert actuellement à à ces améliorations.
noter l’ensemble des 1 000 programmes gouvernementaux, en Le Bureau de la responsabilité du gouvernement des États-Unis
mettant l’accent sur quatre aspects de leurs résultats : 1) la a conclu que la méthode PART aide le Bureau de gestion et du bud-
clarté des objectifs et de la conception du programme ; 2) la qua- get à analyser les informations de S&E sur la performance des pro-
lité de la planification stratégique et son degré de focalisation grammes dans le cadre de ses travaux d’analyse budgétaire. Cette
sur les cibles du programme ; 3) l’efficacité de la gestion du pro- méthode suscite en outre l’intérêt des ministères à l’égard des ren-
gramme ; et 4) les résultats effectifs du programme. Ce dernier seignements sur la performance budgétaire. Cependant, le Bureau
critère vaut 50 % de la note PART de chaque programme. de la responsabilité conclut que le Congrès continue d’adopter une
Tous les quatre critères mettent particulièrement l’accent sur politique classique de délibérations budgétaires, en mettant rela-
le fait qu’il faut réunir de solides éléments probants sur la perfor- tivement peu l’accent sur les informations de S&E.
Sources : Australie — Mackay 1998a, 2004 ; Chili — Rojas et al. 2005 ; Guzmán 2003, 2005, 2006 ; Colombie — Castro 2006a, 2006b ; May et al. 2006 ; Royaume-Uni —
Trésor du Royaume-Uni (sans date) ; Bureau national d’audit du Royaume-Uni 2006 ; États-Unis — OMB 2003 ; GAO 2004 ; Sandoli 2005.

Bien des pays en développement comptent sur large éventail de méthodes d’évaluation de la
les pays à revenu élevé — membres de l’OCDE — performance du gouvernement et de l’utilisation
pour trouver les modèles de pratique optimale en des renseignements qui en découlent. Il s’ensuit
matière de bonne gouvernance, notamment le que même s’il existe un grand nombre de ten-
S&E, mais ce concept peut se révéler trompeur dances communes qui incitent les gouvernements
et potentiellement dangereux. L’environnement à créer des systèmes de S&E, et malgré l’exis-
du secteur public de chaque pays est unique, et tence de nombreux outils communs de S&E dans
les pays de l’OCDE eux-mêmes présentent un l’ensemble de ces pays, il y a également de grandes

14
3: CONTRIBUTION DU S&E À UNE SAINE GOUVERNANCE

différences au niveau de l’accent mis sur chaque formance de l’administration, ainsi que des don-
outil et sur les types de fins auxquelles ces outils nées provenant de sondages d’opinion sur la qua-
sont utilisés. lité et la disponibilité des services municipaux.
L’initiative a réussi à faire pression sur l’adminis-
Société civile tration municipale pour qu’elle améliore sa per-
Lors de la création d’un système de suivi et d’éva- formance ; elle l’a également incitée à recueillir
luation de la performance des pouvoirs publics, et à publier un plus large éventail de renseigne-
on peut être tenté de se concentrer uniquement ments fiables sur sa propre performance.
sur les acteurs gouvernementaux, tels que les mi-
nistères centraux, les ministères sectoriels et les Un autre rôle joué par la société civile a trait à la
organismes publics, les administrations infrana- réalisation des évaluations. Certains gouverne-
tionales, et le parlement ou le congrès. Mais ce fai- ments, comme ceux du Chili et de la Colombie,
sant, on négligerait l’important rôle que peut confient aux universitaires ou à des cabinets-
jouer la société civile dans le suivi et l’évaluation conseils toutes les évaluations effectuées dans le
des résultats des pouvoirs publics. La société ci- cadre du système public de S&E5. Si l’on sous-traite
vile — organisations non gouvernementales ces évaluations, plutôt que de les confier à des
(ONG), universités, instituts de recherche, fonctionnaires, c’est entre autres pour contribuer
groupes de réflexion et médias — peut jouer un à leur assurer un plus haut niveau d’indépen-
rôle dans le S&E de plusieurs façons, notamment dance, d’objectivité et de crédibilité — et pour évi-
à la fois comme utilisateur et producteur des ren- ter tout conflit d’intérêts potentiel ou perçu que
seignements de S&E3. peut susciter l’autoévaluation. Une autre raison
du recours à la sous-traitance peut résider dans
L’un des meilleurs exemples permettant d’illustrer le fait que le gouvernement ne dispose pas sou-
ces deux rôles est offert par les fiches d’évaluation vent de moyens suffisants pour effectuer lui-
par les citoyens instaurées par une ONG de Ban- même l’évaluation. La sous-traitance des
galore (Inde) en 1994 ; ce modèle a depuis lors évaluations peut par aussi permettre d’agrandir
été repris dans bon nombre d’autres villes in- la réserve des évaluateurs disponibles dans un
diennes et dans d’autres pays tels que le Bangla- pays. En outre, étant donné que la plupart des
desh, les Philippines, l’Ouganda, l’Ukraine et le gouvernements divulguent les résultats des éva-
Viet Nam. Les fiches d’évaluation sont utilisées par luations — aussi bien sous-traitées que réalisées
l’ONG de Bangalore pour mettre en évidence les au plan interne par les ministères et les orga-
bonnes et les mauvaises performances de divers nismes publics eux-mêmes — la qualité des éva-
départements de l’administration municipale et luations s’en trouve soumise à un droit de regard
pour amener avec succès cette dernière à amé- externe. À son tour, cette situation inciterait moins
liorer ses performances (voir l’Encadré 3.3). les gouvernements à produire des évaluations
complaisantes, peu critiques et peu honnêtes.
Un exemple similaire vient de Bogota (Colombie)
où une initiative de la société civile a été mise au Conclusion
point indépendamment du gouvernement na- Les informations de suivi et les conclusions d’éva-
tional et des administrations municipales en 1997. luation peuvent contribuer de plusieurs manières
Connue sous le nom de Bogotá Cómo Vamos à une saine gouvernance, notamment dans les do-
(Bogota, comment allons-nous ?), cette initia- maines de l’élaboration des politiques fondée sur
tive a été lancée par un consortium formé d’une des données factuelles (y compris la prise de dé-
fondation privée, du principal quotidien de Bo- cisions budgétaires), la formulation des politiques,
gota et de la chambre de commerce. L’initiative la gestion et la responsabilité. Bien des gouver-
elle semble désormais faire partie, de façon per- nements de par le monde ont réalisé ce potentiel
manente, du paysage social4. Bogotá Cómo Vamos en majeure partie, notamment la plupart des pays
recourt aux analyses effectuées par des spécialistes de l’OCDE et un nombre modeste mais croissant
et à une large diffusion des données sur la per- de pays en développement. Cette situation est

15
I : Q U E L PA R T I L E S P O U V O I R S P U B L I C S P E U V E N T- I L S T I R E R D U S U I V I E T E VA L U AT I O N ?

Encadré 3.3. Les fiches d’évaluation par les citoyens — un puissant outil à la disposition de la
société civile

rations, tout particulièrement après la deuxième fiche d’évaluation.


L a fiche d’évaluation par les citoyens de Bangalore a été uti-
lisée pour la première fois en 1994 par une ONG indépendante
dénommée Public Affairs Centre. Ces fiches recourent à des en-
Le gouvernement de l’État et les organismes publics municipaux
ont lancé un certain nombre de réformes visant à améliorer les in-
quêtes auprès d’échantillons aléatoires des ménages de Ban- frastructures et les services municipaux — notamment en réfor-
galore pour évaluer leur degré de satisfaction par rapport à mant l’impôt foncier, en créant le Bangalore Agenda Task Force,
diverses dimensions de la qualité des services fournis par l’ad- et en rationalisant les systèmes et les procédures internes des or-
ministration municipale et d’autres organismes de services pu- ganismes publics. Les opérations de ceux-ci sont désormais plus
blics. Parmi les dimensions couvertes par ces enquêtes sur la transparentes et l’on répond mieux aux besoins des citoyens. Un
prestation des services, on peut citer le comportement du per- certain nombre d’autres facteurs ont certes contribué également
sonnel qui fournit les services au public, la qualité du service, à cette transformation de Bangalore, mais les fiches d’évaluation
les renseignements fournis par le personnel, et l’ampleur de la ont servi de catalyseur dans ce processus.
corruption (pots de vin versés en échange d’un service plus ra- Les avantages à retirer des fiches d’évaluation semblent dé-
pide). Les organismes que les ménages ont été invités à clas- pendre dans une large mesure de plusieurs facteurs. En premier
ser étaient notamment les compagnies de distribution d’eau et lieu, on peut citer l’utilisation de tels renseignements par les mé-
d’électricité, d’autres services municipaux, ainsi que les entités dias et la société civile. Les médias jouent clairement un impor-
chargées des transports et du logement, les compagnies de té- tant rôle en faisant connaître les résultats médiocres d’un
léphone, les banques et les hôpitaux. organisme public, et cette situation à son tour stimule la société
La première fiche d’évaluation a relevé plusieurs problèmes : civile, les organismes publics eux-mêmes et les autres parties
de faibles niveaux de satisfaction du public ; des organismes pu- prenantes clés au sein de l’administration municipale. Une société
blics peu sensibles aux besoins des citoyens ; l’absence du souci civile active peut jouer un rôle important en ne cessant pas d’in-
de satisfaire les clients ; la corruption ; et le coût élevé de l’ineffi- sister pour que les réformes nécessaires soient opérées dans les
cacité du secteur public. La deuxième enquête relative à la fiche organismes publics et en surveillant le degré de mise en œuvre ef-
d’évaluation par les citoyens, réalisée en 1999, a révélé un ac- fective des mesures. Dans ce sens, les fiches d’évaluation peu-
croissement du degré de satisfaction, mais elle n’a noté aucune amé- vent également jouer un rôle politique (Banque mondiale 2003).
lioration au niveau de la proportion des ménages qui versent des L’aptitude des organismes publics — plus particulièrement
pots-de-vin. Le Public Affairs Centre a assuré une large diffusion leurs dirigeants — à répondre aux attentes des citoyens est très
des conclusions de la fiche par le biais des médias — où ces importante. Lorsque les hauts responsables se soucient d’assu-
conclusions ont fait la une —, des réunions publiques et des pré- rer la performance de leurs organismes et de servir aussi bien que
sentations devant les organismes de prestation des services publics. possible les citoyens ordinaires, il est probable que se crée un ter-
Le Groupe indépendant d’évaluation (IEG) a commandité une rain d’action beaucoup plus fertile sur la base des conclusions des
évaluation de l’impact des deux premières fiches (1994 et 1999) fiches d’évaluation. Évidemment, dans la mesure où, de par sa cul-
basée sur des entrevues avec un échantillon de dirigeants d’or- ture, la fonction publique n’a pour principal souci de satisfaire la
ganismes, de hauts responsables gouvernementaux, de groupes clientèle, ni ne tient à atteindre de hauts niveaux de performance,
d’action citoyenne et de médias de Bangalore. Les répondants ont d’importantes contraintes limiteront les réalisations potentielles,
signalé qu’ils appréciaient de manière générale la fiche en tant même si les plus hauts responsables sont engagés en faveur de
qu’outil pour recueillir des observations sur les services. À la suite la réforme. L’expérience de Bangalore illustre ce qui peut être
des conclusions de ces fiches, de nombreux organismes publics réalisé lorsqu’une organisation dynamique, à savoir le Public Af-
ont engagé des mesures de réforme. Les fiches ont contribué à sen- fairs Centre, est en mesure 1) de mener des enquêtes rigoureuses
sibiliser davantage le public à la qualité des services et incité les sur la satisfaction des citoyens vis-à-vis de la performance des pou-
groupes de citoyens à exiger de meilleurs services. Elles ont voirs publics, 2) d’assurer une large couverture médiatique des
amené les principaux responsables à comprendre les points de vue conclusions, et 3) à la fois de convaincre les organismes publics
des citoyens ordinaires et le rôle de la société civile dans la gou- d’améliorer leur performance et de leur apporter un certain
vernance de la ville. Bangalore a connu de nombreuses amélio- concours pour les aider à cet égard.
Sources : Ravindra 2004 ; Bamberger, Mackay et Ooi 2004. Voir aussi le site http://www.pacindia.org/.

16
3: CONTRIBUTION DU S&E À UNE SAINE GOUVERNANCE

illustrée par les cinq pays dont le recours inten- Il convient par ailleurs de souligner le rôle po-
sif aux informations de S&E est résumé dans le tentiellement important que peut jouer la so-
présent chapitre. Ces pays ont adopté des mesures ciété civile à la fois en tant que producteur et
conçues à dessein pour créer et affiner progres- utilisateur des informations relatives au suivi et
sivement les systèmes de S&E afin d’appuyer les à l’évaluation de la performance des pouvoirs
fonctions essentielles de l’administration. Di- publics. Un exemple en est les fiches d’évaluation
verses tendances qui influencent les gouverne- par les citoyens de Bangalore, lesquelles ont de
ments et les enseignements tirés de l’expérience l’influence sur le gouvernement de l’État et l’ad-
internationale en matière d’établissement de sys- ministration municipale. La méthode de la fiche
tèmes publics de S&E sont examinés plus en pro- d’évaluation a été reprise dans de nombreux
fondeur aux chapitres 4 et 5 respectivement. autres pays.

17
4
Principales tendances influant
sur les pays — les raisons
pour lesquelles les pays se
dotent de systèmes de S&E

I
l ressort des recherches effectuées par l’OCDE qu’il existe des cycles ou
des tendances au niveau des types de réforme du secteur public qu’adop-
tent les pays (OCDE 1995, 1997a, 1997b, 1998b, 2004, 2005 par exemple).
Parmi les priorités en matière de réforme sur lesquelles les pays développés
ont mis l’accent pendant les années 90 figurent la privatisation, les normes de
service à la clientèle, la gestion axée sur les résultats, l’externalisation, la ré-
munération basée sur la performance, la décentralisation et la budgétisation
fondée sur la performance.

Des tendances similaires influencent les pays en public de S&E (May et al. 2006). Une deuxième ex-
développement, dont certains cherchent plication de cette tendance est l’effet de démons-
consciemment à adopter des approches repo- tration produit par les principaux pays, dont le
sant sur les pratiques optimales au plan mondial. Chili, la Colombie, le Mexique et le Brésil. Troisiè-
Comme nous l’avons déjà relevé, ce concept peut mement, un ensemble commun de pressions so-
se révéler dangereux pour les systèmes de S&E, cioéconomiques est peut-être plus important en
en raison de la nécessité de les adapter étroite- Amérique latine : des contraintes macroécono-
ment aux réalités et aux priorités de chaque pays. miques budgétaires persistantes ; l’insatisfaction liée
au fait que la croissance des dépenses publiques
L’influence des tendances de l’OCDE sur les pays dans les secteurs sociaux ne s’est pas accompagnée
en développement semble agir avec un retard d’un d’améliorations correspondantes de la qualité ou
certain nombre d’années. L’avantage considérable de la quantité des services fournis ; des pressions
que présente cette situation est que les pays en dé- constantes en faveur de l’amélioration et de l’ex-
veloppement peuvent en apprendre sur les succès tension de la prestation des services publics et des
et les échecs de la mise en œuvre ailleurs. transferts de revenus ; et des pressions croissantes
en faveur de la responsabilité du gouvernement et
Ainsi, en Amérique latine par exemple, il est évident du « contrôle social » — c’est-à-dire une obligation
qu’un nombre croissant de pays —atteignant 20 — plus claire des pouvoirs publics de rendre compte
s’emploient actuellement à renforcer leur système aux citoyens ordinaires et au congrès.

19
I : Q U E L PA R T I L E S P O U V O I R S P U B L I C S P E U V E N T- I L S T I R E R D U S U I V I E T E VA L U AT I O N ?

Une influence supplémentaire s’observe en Eu- de la Banque dans les pays, ainsi que sur les ques-
rope de l’Est. Les pays qui sont devenus membres tions plus générales liées à la performance des
de l’Union européenne ou les pays candidats à pays par rapport aux objectifs de développement.
l’adhésion sont tenus de renforcer leur système À son tour, cette situation nécessite un plus grand
de suivi et d’évaluation, ce qui donne davantage recours aux systèmes nationaux de suivi et aux ren-
d’impulsion à cette tendance (Boyle 2005). seignements qu’ils génèrent1. En outre, les fai-
blesses de ces systèmes poussent la Banque à
En outre, les initiatives des bailleurs de fonds in- déployer plus d’efforts pour octroyer, en faveur
ternationaux tels que la Banque mondiale in- de leur renforcement, de l’aide sous forme de
fluent fortement sur les pays emprunteurs, plus prêts, de dons et d’assistance technique.
particulièrement ceux qui dépendent davantage
de l’aide internationale. L’initiative d’allègement Parallèlement, on assiste à une certaine modifica-
de la dette de la Banque en faveur des pays tion des priorités au niveau des prêts accordés par
pauvres très endettés a exigé — comme une sorte la Banque et les autres bailleurs de fonds, les pro-
de conditionnalité des bailleurs de fonds — l’éla- jets étroitement définis étant progressivement aban-
boration, par les pays, de Documents de straté- donnés au profit de prêts-programmes. Cette
gie pour la réduction de la pauvreté (DSRP) réorientation donne lieu à l’octroi de financements
présentant les mesures du degré de succès des ef- globaux (correspondant en fait à un appui budgé-
forts de réduction de la pauvreté déployés au taire général). Étant donné l’absence d’une défini-
plan national (IEG 2002). L’accent mis par les tion précise, dans le cadre de ces opérations de prêt,
bailleurs de fonds sur la réalisation des ODM né- des activités et des extrants de projet, il convient éga-
cessite une focalisation similaire. Les DSRP exigent lement de se concentrer sur une vue d’ensemble
une analyse du S&E de chaque pays, tout parti- des résultats ou des réalisations de l’aide au déve-
culièrement la pertinence des indicateurs de per- loppement. Cette situation exige à son tour un
formance disponibles. La plupart des pays pauvres plus grand recours aux systèmes nationaux pour ob-
ont toutefois éprouvé de la difficulté à renforcer tenir les statistiques nationales et assurer le suivi et
leur système de suivi, du point de vue de la pro- l’évaluation des programmes gouvernementaux.
duction des données et surtout de leur utilisation
(Banque mondiale et Fonds monétaire interna- Des pressions similaires en faveur de la respon-
tional 2004 ; Bedi et al. 2006). sabilité, exercées sur les bailleurs de fonds, ont
mené autant à un accroissement de leur partici-
De fortes pressions en faveur de la responsabilité pation à la recherche de solutions à ces problèmes,
sont par ailleurs exercées sur les bailleurs de fonds qu’à une plus grande collaboration de leur part.
internationaux eux-mêmes, afin de les amener à Un instrument qui permet aux bailleurs de fonds
démontrer les résultats de l’investissement de de partager leurs expériences dans ce domaine est
milliards de dollars chaque année au titre de l’aide l’Initiative de gestion axée sur les résultats de dé-
et à mettre plus d’accent sur le suivi et l’évaluation. veloppement, qui encourage les bailleurs de fonds
En ce qui concerne la Banque mondiale, ces pres- et les pouvoirs publics à améliorer la mesure, le
sions ont entraîné l’élaboration de son plan d’ac- suivi et la gestion orientée vers les résultats. Cette
tion axé sur les résultats, qui comprend entre initiative a été établie lors d’une réunion des
autres l’exigence selon laquelle les stratégies d’aide- banques multilatérales de développement à Mon-
pays de la Banque doivent se concentrer ferme- terrey (Mexique) en 2002 et elle a débouché sur
ment sur le degré d’obtention effective des un ambitieux programme d’activités, dont les ré-
résultats et la contribution de la Banque à leur réa- unions de haut niveau tenues à Marrakech (2004),
lisation (Banque mondiale 2004a, IEG 2006). Paris (2005) et Hanoi (2007). Dans le cadre de
l’Initiative, on a aussi constitué un ensemble crois-
Cette orientation entraîne une focalisation net- sant de ressources documentaires et de mono-
tement plus grande sur la disponibilité des in- graphies nationales provenant des pays en
formations de S&E de la performance des projets développement et traitant de l’application du suivi

20
4 : P R I N C I PA L E S T E N D A N C E S I N F L U A N T S U R L E S PAY S

et de l’évaluation ainsi que de la gestion de la per- nales et mondiales. À titre d’exemple, l’Afrique
formance aux niveaux des pays, des secteurs, des compte aujourd’hui 16 associations nationales, et
programmes et des projets2. quelques-unes d’entre elles (telles que celles du
Niger, du Rwanda, du Kenya et de l’Afrique du Sud)
Ces facteurs se sont combinés pour accroître le ont été particulièrement actives au cours des der-
niveau de participation des bailleurs de fonds à nières années. Le maintien de leur niveau d’activité
la mise en place ou au renforcement des sys- est toutefois un défi permanent, car il dépend dans
tèmes de S&E des pays en développement. Ces une très large mesure de la présence et de l’éner-
efforts se concentrent d’une part sur les systèmes gie des défenseurs locaux du principe de S&E.
nationaux de statistiques qui mesurent les progrès
des pays par rapport aux ODM, et d’autre part sur Il existe également plusieurs associations régio-
les systèmes publics de S&E de la performance de nales, telles que l’Association africaine d’évalua-
l’administration (la pertinence de cette distinc- tion (AfrEA) et, en Amérique latine, Preval et la
tion est examinée au chapitre 9). nouvelle association régionale dénommée ReLAC
(Red de Seguimiento, Evaluación y Sistematización
D’après les estimations de l’IEG, dès 2002 la en América Latina y el Caribe — Réseau de suivi,
Banque mondiale travaillait déjà avec plus de 30 d’évaluation et de systématisation de l’Amérique
pays sur le dernier type de mise en place des sys- latine et des Caraïbes). Au niveau mondial, on
tèmes (IEG 2002) ; depuis lors, ce nombre s’est trouve l’Association internationale de l’évalua-
considérablement accru. La Banque mondiale tion du développement (IDEAS) et l’Organisa-
dispose d’un programme régional pour appuyer tion internationale de coopération en évaluation ;
la mise en place des systèmes de S&E en Amérique cette dernière association réunit les dirigeants
latine, et il s’agit notamment de créer une com- des associations d’évaluation régionales et na-
munauté de praticiens de haut niveau réunissant tionales4. Les bailleurs de fonds multilatéraux et
les responsables des systèmes de S&E et d’autres bilatéraux, notamment la Banque mondiale, ont
acteurs. La Banque asiatique de développement fourni des financements et apporté d’autres
a également créé une communauté de praticiens concours à un certain nombre de ces associa-
similaire3, et la Banque africaine de développe- tions d’évaluation.
ment a annoncé une communauté semblable
pour l’Afrique. La Banque interaméricaine de dé- Ces associations reflètent en partie l’intérêt gran-
veloppement a lancé en 2005 un programme dissant pour le S&E et le nombre croissant d’in-
d’appui visant à aider les pays de la région Amé- dividus travaillant dans ce domaine. De telles
rique latine et Caraïbes à établir leur système de communautés de praticiens sont susceptibles
S&E ; une vingtaine de pays ont bénéficié d’un d’influer sur la qualité des interventions en ma-
appui sous forme de don au titre de ce pro- tière de S&E et, partant, de faciliter les efforts
gramme. D’autres bailleurs de fonds, tels que le déployés par les pouvoirs publics pour consolider
ministère du Développement international du leurs systèmes de S&E. Au sein de certaines as-
Royaume-Uni, interviennent également de plus en sociations nationales, telles que celle du Niger
plus activement dans ce domaine. À titre illustratif, (RenSE), on assiste à une étroite collaboration
depuis un certain temps cet organisme se entre les universitaires, les consultants, les res-
concentre tout particulièrement sur les systèmes ponsables gouvernementaux et les représentants
de suivi de la pauvreté et sur l’utilisation des ren- des bailleurs de fonds ; les grandes conférences
seignements relatifs à la performance pour ap- des associations d’évaluation régionales et mon-
puyer le processus budgétaire (voir, par exemple, diales, telles que l’AfrEA et l’IDEAS, réunissent éga-
Booth et Lucas 2001a, 2001b ; Roberts 2003). lement ces parties prenantes. Cette expansion
pourrait sensibiliser davantage de responsables
Une dernière tendance qui incite à se focaliser sur gouvernementaux au S&E et enrichir également
le S&E est l’augmentation du nombre et des effec- leurs connaissances dans ce domaine —, et ce fai-
tifs des associations d’évaluation nationales, régio- sant, en accroître la demande.

21
DEUXIÈME PARTIE
Quelques expériences
nationales

L
a deuxième partie est consacrée à l’expérience de plusieurs pays qui
ont réussi à mettre en place des systèmes de S&E efficaces, et à
l’Afrique. Une question que posent régulièrement les ministres et
autres responsables sceptiques des administrations publiques est celle de sa-
voir s’il existe réellement des pays qui ont réussi à se doter de systèmes na-
tionaux de S&E. La réponse à cette question est un « oui » sans ambigüité. De
nombreux pays développés, ainsi qu’un nombre réduit mais croissant de
pays en développement, sont parvenus à mettre en place des systèmes de S&E
efficaces pour l’ensemble de leur administration. Le chapitre 5 donne un
aperçu de ce qui constitue un système public de S&E « efficace » ; il propose
à cet effet trois dimensions de l’efficacité. Les expériences de trois pays ayant
réussi dans ce sens — Chili, Colombie, Australie — sont présentées aux cha-
pitres 6, 7 et 8. Le cas spécial des systèmes de S&E en Afrique, où il existe de
nombreux problèmes de capacités, fait l’objet du chapitre 9.
5
Pays observant des
pratiques optimales – à quoi
reconnaît-on l’« efficacité » ?

L
es responsables de nombreux pays en développement s’intéressent aux
expériences des administrations ayant mis en place des systèmes de S&E
efficaces. Ces administrations ont accumulé des informations utiles sur
la manière de mettre en place et de gérer efficacement un système de S&E
—ce qu’il faut faire, comment le faire et les pièges à éviter. Elles mettent éga-
lement en évidence le coût-efficacité du suivi et de l’évaluation.
Comme on l’a relevé au chapitre 3, il est dange- Le fait même de comparer un pays à un autre qui
reux de vouloir reproduire sans discernement le est doté d’un système de S&E efficace est édifiant ;
modèle d’un autre pays. En Amérique latine, par la comparaison permet de mettre en évidence les
exemple, de nombreux pays admirent le cas du raisons de l’efficacité, et montre comment il pour-
Chili – qui dispose d’un système de S&E très so- rait être facile ou difficile de reproduire ailleurs
lide et rigoureux — et souhaiteraient l’appliquer ce modèle efficace.
à leur contexte. Or, le Chili possède un ensemble
de caractéristiques spécifiques et peu communes : La notion d’un système de S&E efficace mérite éga-
un système budgétaire très centralisé, un minis- lement quelques explications. La définition adop-
tère des Finances très compétent et extrêmement tée tout au long de la présenté étude est la
puissant, des ministères et organismes publics suivante :
suivant scrupuleusement les règles et les procé-
dures établies par le ministère des Finances, une L’institutionnalisation efficace du S&E im-
fonction publique disciplinée et une communauté plique la mise en place d’un système viable
universitaire extrêmement compétente. Tous ces et fonctionnant de manière satisfaisante au
facteurs sont autant d’éléments qui contribuent à sein d’une administration qui utilise abon-
l’efficacité du système de S&E du Gouvernement damment les informations de bonne qualité
chilien. Mais, il n’existe qu’un Chili. relatives au S&E.

Cela ne signifie cependant pas que l’expérience Trois dimensions de l’efficacité sont mises en évi-
chilienne ou celle d’autres pays ayant mis en place dence dans cette définition :
des systèmes de S&E efficaces soit sans intérêt
pour d’autres pays, même ceux dont les admi- 1. Utilisation des informations relatives au
nistrations publiques sont relativement faibles. S&E. Ces informations sont utilisées dans l’un

25
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

ou plusieurs des principaux domaines suivants normes permettant de comparer les systèmes
décrits au chapitre 3, à savoir, l’élaboration de S&E pour déterminer s’ils sont de bonne
des politiques publiques, y compris la budgé- qualité ou non1. La plupart des bureaux d’éva-
tisation fondée sur les résultats ou la planifi- luation ont mis en place une sorte de méca-
cation nationale ; la formulation et l’analyse des nisme de contrôle de la qualité. Toutefois, de
politiques et l’élaboration des programmes ; la nombreux autres ne semblent pas mener ou
gestion des programmes et des projets ; ou faire mener des évaluations officielles de la
l’obligation de rendre compte. Évidemment, le qualité de leurs activités de S&E.
degré d’utilisation des informations relatives au 3. Viabilité. Il s’agit ici de la probabilité pour le
S&E peut se situer dans une fourchette allant système de S&E de survivre à un changement
de zéro ou négligeable à important (ou inten- d’administration, à un remaniement ministé-
sif). Une utilisation intensive peut être consi- riel ou à un changement au niveau des hauts
dérée comme étant le reflet de l’intégration responsables. Lorsque l’utilisation des infor-
systématique du S&E dans les procédures ad- mations tirées du S&E est bien ancrée — c’est-
ministratives. La plupart des évaluateurs et des à-dire systématiquement intégrée — aux
bureaux d’évaluation au sein des administra- principaux processus administratifs tel que le
tions publiques et des organismes bailleurs de cycle budgétaire, on peut dire qu’il est insti-
fonds savent curieusement mal dans quelle tutionnalisé et a des chances d’être viable à long
mesure les constatations des évaluations qu’ils terme. Par contre, lorsque le système de S&E
mènent sont ou ne sont pas utilisées par n’a qu’une poignée d’adeptes ou lorsqu’il est
d’autres. peu utilisé, ou encore s’il est essentiellement
2. Bonne qualité des informations relatives financé par les bailleurs de fonds plutôt que par
au S&E. Les administrations diffèrent consi- le gouvernement lui-même, on pourrait dira
dérablement l’une de l’autre selon les objec- qu’il est peu probable qu’il soit viable.
tifs qu’ils poursuivent au titre du « S&E ».
Certaines administrations mettent l’accent sur Trois études de pays dont les gouvernements ont
un système d’indicateurs de performance — mis en place des systèmes de S&E observant des
axé sur les objectifs nationaux de développe- pratiques optimales sont présentées dans les cha-
ment ; les objectifs poursuivis par les minis- pitres suivants. Il s’agit du Chili, de la Colombie
tères ; et au sein de ces derniers, sur les et de l’Australie. Pour des examens approfondis
produits et services fournis et les processus mis de ces systèmes, se référer à Rojas et al. 2005 ; Mac-
en œuvre aux échelons inferieurs. D’autres kay et al. 2007 ; et Mackay 2004. Aucun des trois
s’attachent à mener divers types d’évaluation, systèmes ne peut être considéré « parfait » sur la
tels que des évaluations rapides, des évaluations base des trois dimensions de l’efficacité présen-
d’impact rigoureuses, ou d’appliquer d’autres tées plus haut. Chacun d’eux a ses forces et ses
types et méthodes d’évaluation. Il existe des faiblesses, comme on va le voir plus loin.

26
6
Chili

L
e Gouvernement chilien a progressivement mis au point son système de
S&E durant un certain nombre d’années, la majeure partie du proces-
sus ayant eu lieu depuis 1994. Ce système a été conçu, mis en œuvre et
géré en grande partie par le puissant ministère des Finances, avec pour ob-
jectif général d’améliorer la qualité des dépenses publiques.
La mise au point du système chilien a également 6.1). Le ministère des Finances collecte actuelle-
été influencée par les pressions budgétaires et la ment environ 1 550 indicateurs de performance
nécessité de freiner l’ensemble des dépenses pu- pour tous les secteurs.
bliques, ainsi que par l’évolution du cadre des ré-
formes du secteur public. Dans ce contexte, elle est La troisième composante — Rapports de gestion
— à juste titre — intervenue de façon opportuniste. détaillés — a été introduite en 1996. Chaque
année, les ministères et organismes publics pré-
Principales composantes du système parent ces rapports pour rendre compte de leurs
Le système de S&E du Chili comporte six compo- objectifs, des dépenses engagées et des résultats
santes principales. La première, qui est la compo- enregistrés.
sante la plus ancienne, est l’analyse ex ante des
coûts et des avantages de tous les projets d’inves- Les évaluations des programmes publics consti-
tissement. Introduite en 1974, elle est gérée par le tuent la quatrième composante. Introduites en
ministère du Plan. Toutes les autres composantes 1996, elles suivent un modèle uniformisé et com-
sont gérées par le ministère des Finances. Comme portent des examens rapides, notamment une
on l’a relevé au chapitre 5, le ministère chilien des analyse du cadre logique d’un programme, une
Finances est très puissant et très compétent. Ce der- étude sur dossiers et une analyse des données dis-
nier joue un rôle prépondérant aussi bien dans le ponibles. Les évaluations d’impact rigoureuses
processus budgétaire annuel que dans le système constituent la cinquième composante du système.
de S&E ; il est beaucoup plus puissant que les mi- Introduites en 2001, elles impliquent la collecte et
nistères et organismes publics sectoriels. l’analyse des données primaires, habituellement
au moyen de techniques statistiques de pointe.
Les indicateurs de performance constituent la
deuxième composante du système. Ils ont d’abord La sixième, qui est la composante la plus récente
été introduits à titre pilote en 1994 (voir Encadré du S&E, porte sur les examens détaillés des dé-

27
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

Encadré 6.1. Le système chilien de S&E de l’administration dans son ensemble

L es six principales composantes du système sont les sui-


vantes :
port aux engagements institutionnels formellement convenus
avec le ministère des Finances ; il s’agit notamment des mesures
précises que les entités en question ont promis de mettre en
Analyse ex ante des coûts et des avantages. Cette analyse est œuvre pour améliorer leur performance (examinées dans le
exigée pour tous les projets publics (depuis 1974). Elle est gérée texte principal). Les projets de rapports sont examinés par le mi-
par le ministère du Plan. C’est la seule composante dont la ges- nistère des Finances et le ministère de la Présidence, et les en-
tion n’est pas assurée par le ministère des Finances. tités concernées leur apportent toutes les modifications jugées
nécessaires. Les versions finales des rapports sont transmises
Indicateurs de performance. Ces indicateurs sont recueillis pour au Congrès.
tous les programmes publics. Les indicateurs de performance
ont d’abord été introduits à titre pilote en 1994. Leur nombre Évaluations des programmes publics (1996). Quelque 185 de
s’est rapidement accru au cours de ces dernières années, pas- ces examens rapides ont été réalisés à ce jour (c’est-à-dire
sant de 275 en 2001 à environ 1 550 actuellement. Vingt cinq pour jusqu’à la fin de 2006). Ils permettent de clarifier les objectifs dé-
cent des indicateurs concernent les méthodes appliquées, 57 % taillés du programme et de conclure un accord (entre le minis-
ont trait aux produits publics (c’est-à-dire les biens et services tère des Finances et le ministère ou l’organisme public dont le
produits) et 18 % se rapportent aux réalisations. Chaque minis- programme est évalué). Une analyse du cadre logique et une
tère et chaque organisme public fournissent les informations au étude sur dossiers de la performance du programme sont réa-
ministère des Finances ; il y a environ 11 indicateurs par entité. lisées, s’inspirant des informations disponibles sur la perfor-
Les différentes entités doivent avoir mis en place des systèmes mance. Le coût moyen d’une évaluation est d’environ 11 000
d’information de gestion pour produire ces informations. Chaque dollars, et sa réalisation dure généralement quatre à six mois.
année, après vérification et audit des données, le ministère des
Finances intègre les informations relatives à la performance Évaluations d’impact rigoureuses (2001). Ces évaluations im-
aux projets de budget qu’il élabore. pliquent la collecte des données primaires, une analyse élabo-
rée des données, et souvent l’utilisation de groupes témoins.
Rapports de gestion détaillés (1996). Chaque ministère et chaque Dix-huit évaluations ont été menées à ce jour, à un coût moyen
organisme public préparent un rapport annuel de gestion détaillé, de 88 000 dollars et sur une durée atteignant 18 mois. Hormis les
conformément aux directives du ministère des Finances. Ces rap- dépenses de défense et les paiements de transfert, plus de 60 %
ports constituent les principaux documents d’information du des dépenses publiques ont été évaluées à ce jour.
public. Ils rendent compte des dépenses, de l’utilisation des
ressources, et des résultats ; ainsi, ils s’inspirent dans une très Examens détaillés des dépenses (2002). Ils couvrent tous les pro-
large mesure des informations sur la performance qu’il est de- grammes dans un domaine d’activité ou un ministère particulier.
mandé aux entités publiques de produire, et des évaluations Ils s’intéressent aux questions d’inefficacité et de chevauche-
commanditées par le ministère des Finances. Ils décrivent éga- ment des programmes. Huit de ces examens sur dossiers ont été
lement les progrès accomplis par les entités concernées par rap- menés à ce jour, à un coût moyen de 48 000 dollars.

penses (2002). Ces examens couvrent tous les toutes les activités ; ces informations sont égale-
programmes dans un domaine d’activité donné ment utilisées dans les évaluations. Les évaluations
et s’intéressent aux questions telles que l’ineffi- des programmes publics sont menées de façon sé-
cacité et les chevauchements des programmes lective, surtout lorsqu’il s’agit de programmes
plus récents. Des évaluations d’impact plus ap-
Un aspect louable du système chilien est sa « dé- profondies sont menées à un stade plus avancé
marche progressive » en matière de S&E. Il per- de la vie du programme, notamment lorsque son
met de collecter régulièrement des informations impact n’est pas connu ou lorsqu’il s’agit d’une
sur la performance de tous les programmes et de priorité pour les pouvoirs publics.

28
6: CHILI

Budgétisation fondée sur les résultats luations sont ensuite examinées avec le directeur
Le système de S&E chilien a un certain nombre du budget du ministère des Finances. Les déci-
de caractéristiques lui permettant de bien fonc- sions concernant les crédits budgétaires peuvent
tionner ; elles permettent de déterminer dans être prises à ce stade.
quelle proportion les informations tirées du S&E
sont utilisées. L’une de ces caractéristiques est le Durant le processus budgétaire, le directeur du
lien étroit qui existe entre le système et le cycle budget rencontre le personnel de la division du
budgétaire annuel. Un danger qui guette tout contrôle de gestion et des services du budget
système de S&E — qu’il s’agisse d’un système pour examiner le projet de budget et la perfor-
concernant l’ensemble de l’administration ou mance générale de chaque entité. Ces réunions
d’un système sectoriel — tient au fait qu’il est géré examinent les rapports de gestion détaillés que
par une entité spécialisée et autonome, évoluant chaque entité est appelée à produire1 — ces rap-
en marge des activités principales du ministère ports contiennent les objectifs de l’entité concer-
concerné. Dans le cas du Chili, les cinq compo- née, des informations sur sa situation financière
santes du système de S&E relevant de la compé- et sa performance, les constatations de l’évalua-
tence du ministère des Finances sont gérées par tion, et les progrès accomplis par rapport aux
sa division du contrôle de gestion. Cette division objectifs de performance2 fixés au cours des cycles
travaille en étroite collaboration avec le directeur budgétaires précédents.
du budget à qui elle rend compte — et qui a rang
de ministre et est membre du gouvernement — Les informations tirées du S&E constituent un élé-
et également avec les services du budget qui sont ment important de la prise de décision budgétaire,
chargés de contrôler les finances et la perfor- mais il ne s’agit que d’un élément parmi d’autres.
mance de tous les ministères et organismes pu- Comme on l’a relevé au chapitre 3, il existe rare-
blics sectoriels. ment un rapport figé direct entre la bonne ou la
mauvaise performance d’une entité et les crédits
Au Chili, les indicateurs de mauvais résultats dans budgétaires qui lui sont alloués. Ainsi, dans cer-
l’exécution d’un programme constituent des mo- tains cas, la mauvaise performance d’une entité
tifs de procéder à une recherche plus approfon- entrainera une réduction des crédits budgétaires,
die des causes, au moyen d’un examen officiel, qui voire la cessation du programme. Dans d’autres
prend la forme d’une évaluation rapide ou celle cas par contre, la mauvaise performance d’un
d’une évaluation d’impact rigoureuse. La direction programme considéré comme une priorité gou-
du budget du ministère des Finances joue le rôle vernementale pourrait entraîner une augmenta-
principal dans la détermination des programmes tion à court terme des crédits budgétaires afin de
publics devant faire l’objet d’une évaluation. En corriger le problème identifié.
préparant le programme d’évaluation, le ministère
des Finances s’efforce d’anticiper les besoins d’in- Amélioration de la gestion
formation du prochain budget. Une caractéristique remarquable du Chili est la
façon dont le ministère des Finances utilise les in-
Ce programme est également examiné avec le formations tirées du S&E pour améliorer la per-
ministère de la Présidence et le ministère du Plan formance des autres ministères et organismes
— ces trois ministères centraux disposent en effet publics. Il procède, à cet effet, de deux manières.
d’une commission interministérielle qui supervise Premièrement, les indicateurs de performance
toutes les évaluations — ainsi qu’avec le Congrès, font l’état des lieux de la performance du pro-
mais il reste clair que le ministère des Finances est gramme, et le ministère des Finances convient
le principal acteur dans le processus. Les chefs des avec chaque entité des objectifs de performance
services du budget du ministère des Finances pour le prochain exercice budgétaire. Le ministère
sont également appelés à formuler des observa- des Finances suit la mesure dans laquelle ces ob-
tions détaillées sur les rapports d’évaluation jectifs sont réalisés. En 2003, par exemple, les trois
concernant les entités qu’ils supervisent ; ces éva- quarts environ des objectifs ont été atteints3.

29
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

Deuxièmement, en examinant les recommanda- analyses et la prise des décisions budgétaires. Elles
tions des évaluations qu’il commandite, le minis- sont également utilisées de façon intensive pour
tère des Finances en discute avec les organisations imposer des améliorations de programmes aux mi-
évaluées et convient formellement des change- nistères et organismes publics. Enfin, elles sont uti-
ments qu’il faut apporter à leurs programmes. En lisées pour rendre compte de la performance du
fait, le ministère des Finances leur impose ces gouvernement au Congrès et à la société civile.
changements, qualifiés d’engagements formels.
Il est plutôt rare qu’un ministère des Finances im- Toutefois, ce qui manque sur cette liste, c’est
pose systématiquement de tels changements l’utilisation des informations tirées du S&E par les
concernant la gestion à d’autres départements autres ministères et organismes publics eux-
ministériels et organismes publics. Le ministère chi- mêmes (en dehors des modifications de pro-
lien des Finances peut le faire en raison du rôle im- grammes que leur impose le ministère des
portant qu’il joue au sein du gouvernement. Finances). Une évaluation récente du système
chilien par la Banque mondiale a établi que les in-
Le Tableau 6.1 montre comment le ministère des formations tirées du S&E étaient peu utilisées
Finances utilise les évaluations qu’il fait réaliser. Il (Rojas et al, 2005)4. La principale raison en est le
s’en sert pour imposer des changements mineurs faible degré d’appropriation — ou d’acceptation
dans la gestion des programmes (24 % des pro- — des constatations des évaluations commandi-
grammes évalués) ; des changements importants tées par le ministère des Finances. Cette lacune
(38 %) ; la refonte substantielle des programmes découle du fait que le système chilien de S&E est
ou la réorganisation de l’entité concernée (25 %) ; centralisé et entretenu par la force.
le transfert du programme à une autre institution
(5 %) ; et la cessation de programmes (8 %). Une autre lacune de ce système est l’absence ap-
parentes de mesures visant à inciter les autres mi-
Forces et faiblesses du système nistères et organismes publics à mener leurs
L’on peut évaluer le système chilien à la lumière propres évaluations.
des trois critères d’efficacité d’un système de S&E,
à savoir : l’utilisation intensive des informations ti- Les données disponibles sur la qualité des infor-
rées du S&E, la bonne qualité du S&E, et la viabi- mations sur le suivi et les évaluations effectuées par
lité. Comme on l’a relevé, les informations tirées le système de S&E indiquent que la qualité est
du S&E sont utilisées de façon intensive dans les bonne dans l’ensemble et que par conséquent les

Tableau 6.1. Utilisation des évaluations des programmes publics, 2000–2005a

Incidence sur le Ajustements mineurs Changements importants Refonte substantielle Transfert du Cessation
programme de programmes, par dans les méthodes de du programme ou de la programme à une du
exemple, amélioration gestion, par exemple, structure de l’entité autre institution programme
des méthodes et des modification des critères concernée
systèmes de ciblage, ou
d’information introduction de nouveaux
systèmes d’information
Pourcentage des
programmes
touchés 24 38 25 5 8

Source : Guzmán 2007.


a.Les pourcentages se rapportent aux programmes évalués.

30
6: CHILI

informations tirées du S&E sont globalement fiables du ministère des Finances d’en être le moteur. Si
— mais pas mieux. Malgré le fait que l’on procède jamais le gouvernement décidait de réduire le rôle
à la vérification et à certains audits des données, les central de ce ministère, la solidité et l’utilisation du
données sur les informations relatives à la perfor- système pourraient alors être remises en question.
mance ne font pas l’objet d’audits systématiques.
Le Tableau 6.2.contient une liste plus détaillée
Le ministère des Finances sous-traite ces évalua- des forces et faiblesses du système.
tions à des institutions universitaires et à des
consultants pour s’assurer qu’elles sont conduites Conclusions
en toute indépendance. Des termes de référence Le Gouvernement chilien a réussi à mettre en
uniformisés sont utilisés, ce qui permet de main- place un système permettant une utilisation in-
tenir une certaine similitude entre les questions tensive des données de S&E, notamment durant
évaluées et les méthodes utilisées ; toutefois, le le processus budgétaire. Il a également réussi à im-
manque de données compromet parfois la qua- pulser des améliorations de la gestion dans les mi-
lité des évaluations et le choix des méthodes uti- nistères et organismes publics sectoriels. Le
lisées. Les évaluations sont menées dans des système chilien comprend une véritable « usine
délais souvent très courts parce qu’elles doivent d’évaluation » qui planifie, commandite, gère et uti-
être intégrées au processus d’analyse et de déci- lise les évaluations et en rend compte. Une telle
sion budgétaire du ministère des Finances. Celui- démarche maintient le coût des évaluations, et par
ci veille également à ce que le coût des évaluations conséquent celui de l’ensemble du système à un
soit maintenu à un niveau aussi bas que possible. faible niveau : le ministère des Finances dépense
Ces contraintes de temps et de coûts se traduisent chaque année un total d’environ 0,75 million de
parfois par l’incapacité de recueillir les données dollars pour son système de S&E6, ce qui est très
primaires nécessaires pour effectuer des évalua- modeste par rapport au budget total du gouver-
tions d’impact rigoureuses, par exemple5. nement qui se chiffre à 20 milliards de dollars.

La probabilité pour le système de S&E chilien de Cette utilisation intensive des données de S&E est
s’inscrive dans la durée semble grande. Une série très impressionnante et suffit à elle seule pour faire
de directeurs du budget qui se sont succédé au du système de S&E chilien le système le plus so-
ministère des Finances ont travaillé pour faire lide d’Amérique latine et l’un des plus solides au
progressivement de ce système une partie inté- monde. Le Chili a montré qu’il est possible de
grante du processus budgétaire, et le suivi et mettre en place et de gérer, à un coût relativement
l’évaluation sont désormais intégrés comme fonc- bas, un système de S&E portant sur l’ensemble de
tion essentielle du ministère des Finances. Compte l’administration publique. Beaucoup d’autres gou-
tenu du rôle prédominent du ministère, il ne vernements de la région voudraient imiter ce mo-
semble pas exister des tendances ou des pressions dèle, malgré le fait que certains facteurs qui
susceptibles de réduire la priorité qu’il accorde au contribuent à son efficacité ne se rencontrent
S&E. Une lacune, qui a déjà été relevée, est le faible qu’au Chili — par exemple, le très puissant rôle
niveau d’appropriation du S&E par les ministères du ministère des Finances et le fait que les mi-
et organismes publics sectoriels. Cela constitue, nistères et organismes publics sectoriels soient dis-
en partie, une occasion manquée pour les pou- posés à se conformer aux directives.
voirs publics dans l’ensemble d’utiliser de façon
plus intensive les informations tirées du S&E ; cela Le système de S&E chilien semble très efficace par
constitue également une occasion manquée de rapport à son coût : le ministère des Finances fait
réaliser une culture de performance plus solide une très grande utilisation des informations tirées
au sein de ces entités sectorielles. du S&E, et cela moyennant un coût relativement
bas. Une question que le gouvernement doit exa-
La viabilité du système de S&E du Chili dépend miner est celle de savoir s’il dépense suffisamment
donc de la volonté et de la capacité permanentes sur son système de S&E. Des évaluations pointues

31
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

Tableau 6.2. Forces et faiblesses du système chilien de S&E

Forces Faiblesses

• Démarche « progressive » à l’égard du S&E • Disparité dans la qualité des évaluations, probablement due
• Évaluations externes, suivant un processus entièrement aux contraintes de temps et de coûts imposées par le ministère
transparent, et jugées hautement crédibles par d’autres des Finances.
ministères et le Congrès. • Insuffisance probable des dépenses publiques consacrées aux
• Toutes les informations relatives au S&E rendues publiques et t sur les évaluations.
communiquées au Congrès. • Faible utilisation — à cause du faible degré d’appropriation —
• Système de S&E étroitement lié aux besoins du ministère des des conclusions des évaluations par les ministères sectoriels.
Finances en informations, notamment pour le processus • Manque apparent de mesures d’incitation des ministères et
budgétaire. Utilisation intensive des données de S&E dans organismes publics à mener leurs propres évaluations.
l’élaboration du budget
• Informations sur la performance utilisées pour fixer les objectifs
de performance des ministères et organismes publics ; objectifs
qui sont réalisés dans une large mesure.
• Utilisation des conclusions des évaluations par le ministère des
Finances pour imposer des modifications de méthodes de
gestion aux ministères et organismes publics.
• Suivi étroit du degré d’utilisation des conclusions des
évaluations par le ministère des Finances.

et à grande échelle peuvent coûter beaucoup il est disposé à consacrer un montant important à
plus que ce que le Chili a jusqu’ici dépensé sur cha- l’évaluation de l’un de ses programmes, fût-il l’une
cune des évaluations qu’il a menées. de ses grandes priorités. En ne dépensant pas suf-
fisamment sur une évaluation le gouvernement
Au Mexique par exemple, une série d’évaluations ri- risque de limiter la profondeur et la fiabilité des
goureuses d’impact portant sur le programme Pro- conclusions. Cela a probablement été la cause du
gresa de transfert monétaire conditionnel dans les problème de qualité de certaines évaluations ef-
années 90 a coûté plusieurs millions de dollars — fectuées à la demande du ministère des Finances.
tandis que les dépenses totales des pouvoirs publics
sur le programme étaient chiffrées à 780 millions de Enfin, le faible niveau d’utilisation des conclu-
dollars en 1999. Ces évaluations ne représentaient sions du système par les ministères et organismes
donc qu’une fraction infime des dépenses totales des publics sectoriels constitue une occasion man-
pouvoirs publics sur le programme Progresa. Elles quée pour le gouvernement. Un moyen par lequel
ont beaucoup contribué à persuader les gouverne- le ministère des Finances pourrait assurer une
ments qui se sont succédé non seulement à main- plus grande appropriation des conclusions des
tenir le programme, mais à l’exécuter à une échelle évaluations et encourager l’instauration d’une cul-
beaucoup plus grande ; vers 2005, le gouverne- ture de performance dans l’ensemble de la fonc-
ment dépensait chaque année environ 6 milliards tion publique serait d’adopter une démarche
de dollars sur ce programme (rebaptisé Oportuni- quelque peu moins centralisée et plus collégiale
dades), couvrant 21 millions de bénéficiaires, soit en- pour la préparation et la supervision des évalua-
viron le cinquième de la population mexicaine. tions. Un soutien plus large du S&E au sein de l’ad-
ministration permettrait également d’accroître
Une question à laquelle le Gouvernement chilien davantage les chances de viabilité du système
doit trouver une réponse est celle de savoir si jamais chilien.

32
7
Colombie

L
e Gouvernement colombien a pris en 1991 la décision de créer un sys-
tème de S&E qui, au départ, serait fondé sur l’approche de l’évaluation
de la Banque mondiale. Une prescription constitutionnelle relative à l’éva-
luation a été introduite plus tard cette année, et la Banque et d’autres bailleurs
de fonds sont empressés d’accorder à la Colombie toute une gamme d’assis-
tance technique et financière. Le gouvernement a aussi adopté une série de
lois, décrets et réglementations pour appuyer le système de S&E.

Pendant ses premières années de vie, ce système nové, ce qui a été suivi d’un nouveaux apports
a mis l’accent sur le suivi de l’information plutôt d’aide de bailleurs de fonds. Ces mesures ont ra-
que sur l’évaluation. Il a toutefois connu heurts pidement renforcé le système.
et bonheurs et, vers 2000, la Colombie a même
envisagé de le supprimer — en raison des diffi- Principales composantes du système de
cultés perçues dans la gestion du système, et S&E
aussi des doutes sur sa pertinence pour le pro- Le système — connu par son acronyme espagnol SI-
gramme de réforme de la fonction publique. NERGIA (Sistema Nacional de Evaluación de Re-
sultados de la Gestión Pública, ou Système national
L’élection d’un président réformiste en 2002 a d’évaluation des performances du secteur public)
considérablement changé le sort de ce système. — comprend deux principales composantes et plu-
Le Président a été consterné de constater que sieurs autres composantes mis en œuvre par le
l’augmentation substantielle des dépenses pu- passé à titre pilote ou qui le sont actuellement. Le
bliques dans des domaines tels que l’éducation et sous-système de suivi des résultats par rapport aux
la santé ne s’était pas accompagnée d’une amé- 320 objectifs présidentiels et aux objectifs de déve-
lioration correspondante des performances (pro- loppement national (tels qu’ils figurent dans le plan
duits et réalisations) dans ces domaines. En même de développement national) est la composante la
temps, il s’engageait résolument en faveur d’une plus visible et la plus souvent utilisée.
nouvelle culture de l’administration publique
basée sur la responsabilité sociale — ou le contrôle Ce sous-système (Sistema de Programación y Ges-
social. Le Président a renouvelé l’engagement du tión por Objectivos y Resultados [SIGOB] ou Sys-
gouvernement à l’égard d’un système de S&E ré- tème de programmation et de gestion par objectifs

33
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

et résultats) enregistre les objectifs, les straté- nistère des Finances. Les trois principaux types
gies, les performances de référence et les per- d’évaluation menés en Colombie sont les évalua-
formances visées, et les montants des dépenses tions d’impact rigoureuses, les évaluations « insti-
publiques qui leur sont consacrées. Les personnes tutionnelles » et les évaluations de la « gestion » —
chargées du suivi des objectifs sont aussi tenues les deux dernières s’intéressant essentiellement
de fournir des explications détaillées lorsque ces aux questions de gestion et aux méthodes appli-
objectifs ne sont pas réalisés. Toutes ces infor- quées. Le type le plus onéreux (2 millions de dol-
mations, y compris les coordonnées de chaque lars) est une évaluation d’impact rigoureuse d’un
personne chargée du suivi des objectifs, sont programme de transfert monétaire conditionnel.
mises à la disposition du public sur le site Web du
gouvernement (http://www.sigob.gov.co/ini). Le Ces évaluations sont des activités de collaboration
Président utilise les informations du SIGOB de ma- faisant intervenir la direction du Plan, le ministère
nière intensive à des fins politiques et sociales1. ou l’organisme public sectoriel chargé du pro-
gramme faisant l’objet de l’évaluation, et les
La deuxième grande composante du SINERGIA bailleurs de fonds. Ces évaluations sont en majeure
est la série d’évaluations effectuées actuellement partie financées par des prêts de bailleurs de
(voir Encadré 7.1). À la fin de 2006, 15 évaluations fonds. La plupart des programmes faisant l’objet
étaient en cours ou venaient d’être achevées, et 22 de l’évaluation sont gérés par le ministère de la
autres étaient prévues pour les cinq années sui- Prévoyance sociale, l’institut de la protection de
vantes. Le coût total de ces évaluations est de 11,1 la famille ou le ministère de l’Éducation.
millions de dollars. Contrairement au Chili, les
types d’évaluation ne sont pas uniformisés ; le Un quatrième type d’évaluation actuellement
Chili a uniformisé les termes de référence, la stra- mené à titre pilote est l’évaluation rapide de pro-
tégie d’évaluation et les plafonds de coûts pour grammes publics hautement prioritaires ou qui
chaque type d’évaluation des commissions du mi- semblent rencontrer des problèmes de perfor-

Encadré 7.1. Système colombien de S&E pour l’administration dans son ensemble

es principales composantes du système de S&E sont les sui- trateur système — la Direction nationale du Plan (DNP) — qui pro-
L vantes :
Il existe environ 500 indicateurs de performances relatifs aux
cède à un certain contrôle des données. Toutefois, il n’existe pas
de système formel de vérification des données, et l’on s’inquiète
320 objectifs présidentiels et, pour chaque indicateur, le SIGOB en- de ce que ces dernières puissent être manipulées (déformées) par
registre l’objectif, les stratégies pour réaliser cet objectif, les per- les ministères.
formances de référence, les cibles annuelles, les performances Environ 15 évaluations rigoureuses de l’impact, des institu-
réelles par rapport à ces cibles et les montants imputés des dé- tions et de la gestion sont en cours, et 22 autres sont prévues. Leur
penses publiques. Ainsi, le SIGOB comprend un grand nombre d’in- coût varie entre 15 000 et 2 millions de dollars ; la plupart coûtant
dicateurs des performances de l’administration. Ces informations entre 50 000 et 200 000 dollars.
sont ventilées par région, notamment les grandes villes. Ces évaluations sont sous-traitées à des institutions universi-
En outre, les personnes chargées du suivi des objectifs sont te- taires ou des consultants, sous la supervision de la direction du
nues de fournir des explications détaillées lorsque ces objectifs Plan, en étroite collaboration avec l’entité qui fait l’objet d’évaluation
ne sont pas atteints. Ces rapports sont inclus dans la base des don- et les bailleurs de fonds qui financent l’évaluation. Des évaluations
nées du SIGOB, dont l’essentiel est mis à la disposition du public rapides sont aussi menées à titre pilote, et seront intégrées aux
en temps réel. Le site Web encourage aussi l’éthique de respon- activités de budgétisation et de planification des ministères des Fi-
sabilité en identifiant les personnes chargées du suivi des objec- nances et du Plan. Les méthodes d’évaluation rapide s’inspirent
tifs et leur ministère de tutelle, ainsi que leurs fonctions officielles de l’approche chilienne et de la méthode de notation du système
et leurs adresses électroniques. Il incombe aux ministères et aux PART des États-Unis (voir Encadrés 6.1 et 3.2). Ces études pilotes
organismes publics de fournir les données du SIGOB à l’adminis- devraient coûter entre 15 000 et 25 000 dollars chacune.

34
7: COLOMBIE

mances. Ces évaluations sont effectuées par les mi- les données de S&E pour renforcer le contrôle po-
nistères des Finances et du Plan2. Le but recher- litique de l’administration et consolider le contrôle
ché est que les évaluations rapides soient à terme social. La base de données du SIGOB est chargée
intégrées dans l’analyse budgétaire de base et les sur son ordinateur personnel et il utilise ces don-
processus de prise de décision des deux minis- nées pendant ses réunions mensuelles de contrôle
tères. (En Colombie, le budget est divisé en deux : de gestion avec chaque ministre et le DNP. Ces ré-
les dépenses de fonctionnement gérées par le unions sont l’occasion de revoir l’état d’avance-
ministère des Finances et les dépenses d’équi- ment des activités par rapport à chaque objectif
pement, notamment celles d’éducation et les présidentiel, et les ministres sont tenus de justi-
transferts monétaires dont la gestion incombe fier les cas où les performances ont été en deçà
au ministère du Plan.) des niveaux prévus. Les indicateurs de perfor-
mance et les actions visant à réaliser ces objectifs
Le système de S&E comporte d’autres compo- sont aussi déterminés de commun accord. Le
santes, qui sont toutefois moins importantes et Président utilise les données du SIGOB pendant
moins bien institutionnalisées. L’une de ces com- les réunions-débat hebdomadaires qu’il tient dans
posantes est un effort de collaboration avec la so- les différentes municipalités du pays, et lors de
ciété civile — notamment par la création de l’émission télévisée annuelle pendant laquelle
consortiums d’ONG et de médias — dans l’ana- ses ministres et lui discutent des performances du
lyse des performances de l’État. Une autre com- gouvernement et répondent aux questions des ci-
posante vise à soutenir deux municipalités dans toyens sur ces sujets.
leurs activités de suivi des performances et de bud-
gétisation fondée sur les résultats. La ferme détermination du Président à utiliser
les données de S&E pour suivre les performances
Une dernière composante consiste en la prépa- du gouvernement et en rendre compte semble
ration de rapports sur l’exécution du budget à l’in- unique en Amérique latine — et peut-être dans
tention du Congrès. Ces rapports sont élaborés le monde entier. Une telle détermination envoie
par le ministère du Plan et sont joints en annexe des signaux forts à chaque ministre et agent de
à la documentation budgétaire traditionnelle. Ils l’État. Les ministères et les collectivités locales
présentent les dépenses publiques sur la base de ne semblent toutefois pas avoir adopté les pra-
programmes et rendent compte des données de tiques de S&E à grande échelle. Plusieurs minis-
S&E disponibles sur les performances de ces pro- tères et organismes publics des secteurs sociaux,
grammes. Comme il a été relevé à l’Encadré 3.1, ainsi que deux municipalités, s’attèlent actuelle-
ces rapports sur l’exécution du budget sont une ment à renforcer leurs systèmes de S&E avec l’as-
forme, quoique peu solide, de budgétisation fon- sistance du DNP et des bailleurs de fonds.
dée sur les résultats. Cette forme de budgétisation
est particulièrement peu solide en Colombie car Utilisation des évaluations pour soutenir
le Congrès joue un faible rôle dans le processus la prise de décisions par l’administration
budgétaire, il ne reçoit pas suffisamment d’assis- Au début de 2007, trois évaluations seulement
tance technique qui pourrait permettre aux dé- avaient été achevées, ce qui limite les possibilités
putés de comprendre aisément les informations d’utilisation des résultats des évaluations pour
sur les performances et les résultats des évalua- soutenir la prise de décisions par l’administration,
tions et le débat parlementaire sur le budget an- dans le cadre tant du cycle budgétaire que de la
nuel est généralement axé sur des questions planification nationale. Mais il existe un exemple
politiques de portée limitée (voir Annexe B). notable d’évaluation influente (voir Encadré 7.2).

Responsabilité — contrôle politique Forces et faiblesses du système


et social colombien de S&E
Une particularité de la Colombie est le ferme en- Le système colombien peut aussi être évalué sur
gagement pris par le Président Uribe d’utiliser la base des trois critères d’un système de S&E ef-

35
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

Encadré 7.2. Une évaluation influente en Colombie

F amilias en Acción est un programme public de transferts mo-


nétaires conditionnels qui apporte un soutien financier aux
familles pauvres qui s’engagent à veiller à ce que leurs enfants
par le gouvernement précédent, mais de doubler le nombre de bé-
néficiaires visés de 500 000 à un million de familles pauvres. Vers
la fin de 2006, le gouvernement décidait de faire passer le nombre
reçoivent des soins de santé préventifs, soient scolarisés et as- de bénéficiaires visés à 1,5 million de familles.
sistent aux cours. Ce programme a été créé en 1999 en réponse L’évaluation de Familias en Acción a coûté jusqu’à présent 1,5
à une crise économique. million de dollars. Bien qu’il s’agisse d’un montant substantiel, il
Une étude rigoureuse de l’impact du programme a été confiée est relativement faible par rapport au montant total des dépenses
à des consultants indépendants, sous la supervision de la direc- publiques consacrées à ce programme (environ 100 millions de dol-
tion du Plan. L’évaluation a établi que le programme avait eu un im- lars au moment de l’évaluation). En raison de son influence consi-
pact considérable sur les plans de la nutrition, de l’éducation et dérable sur le gouvernement, cette évaluation peut être considérée
de la santé. Ces résultats ont persuadé le régime du Président Uribe, comme ayant été très rentable.
élu en 2002, non seulement de maintenir ce programme mis en place
Source : Mackay et al. 2007.

ficace : forte utilisation, bonne qualité du S&E, et tants du gouvernement — a été d’une grande
viabilité. La base de données pour une telle éva- utilité et peut être considérée très rentable. Cela
luation en Colombie n’est pas aussi robuste que mérite d’être relevé car même une seule évalua-
celle du Chili, mais on peut néanmoins en tirer tion importante capable d’influer sur les déci-
quelques conclusions. Le niveau d’utilisation par sions d’un gouvernement peut aussi contribuer
le Président de la composante suivi (SIGOB) du à une plus grande acceptation du S&E en dé-
système de S&E est particulièrement élevé, pour montrant sa valeur.
des raisons de contrôle politique et social — donc
de responsabilité. Les évaluations colombiennes n’ont pas fait l’ob-
jet d’études qualitatives formelles, bien que l’on
Il est difficile de déterminer la qualité des données soit assez confiant quant à leur qualité et fiabilité
de suivi, et l’on s’inquiète — notamment certains probables : elles ont été confiées à d’éminents uni-
hauts responsables de l’État et quelques membres versitaires, dont des évaluateurs de renommée in-
influents de la société civile — que celles-ci ne ternationale, et ont bénéficié d’une forte
soient pas entièrement fiables et que certaines in- participation d’évaluateurs de la Banque mon-
formations fournies par les ministères et orga- diale et d’autres bailleurs de fonds. La viabilité du
nismes publics sectoriels ne servent leurs propres programme d’évaluation n’est toutefois pas to-
intérêts. Il semble toutefois que cette compo- talement assurée.
sante de suivi soit hautement viable, même après
un changement de gouvernement et de prési- A court terme — c’est-à-dire pendant les cinq
dent. Cela tient à l’utilité de ces données pour le prochaines années — le programme d’évalua-
DNP et la Présidence dans leurs fonctions de tions sera financé par un nouveau prêt de la
contrôle des performances du gouvernement. Banque mondiale ; une caractéristique de ce pro-
gramme est le niveau décroissant des finance-
L’autre composante majeure du système colom- ments des bailleurs de fonds consacrés à ces
bien de S&E est l’ambitieux programme d’études évaluations, parce qu’ils comptent manifestement
d’impact rigoureuses, d’évaluations institution- sur le gouvernement pour prendre la relève en fi-
nelles et d’évaluations de la gestion. Seules nançant ces évaluations par ses fonds propres3.
quelques évaluations ont été menées à terme, Cela pourrait se produire si le gouvernement ju-
mais l’une d’entre-elles — qui porte sur Familias geait que les évaluations effectuées valent le temps
en Acción, un des programmes les plus impor- et les efforts investis ; il revient en retour à la di-

36
7: COLOMBIE

rection du Plan de veiller à ce que ces évalua- tères et organismes publics sectoriels dont les
tions soient largement utilisées. programmes font l’objet d’une évaluation. Le
DNP a partagé son expertise en matière d’éva-
Comparaison avec le système chilien de S&E luation et certains financements avec ses parte-
D’autres questions importantes se posent, en par- naires sectoriels, et les rapports antagonistes qui
ticulier quand le système colombien de S&E est apparaissent souvent dans d’autres pays quand le
comparé à celui du Chili. Tout d’abord, le système ministère des Finances joue un rôle actif dans le
chilien est géré par la direction du Budget, ce qui programme d’évaluation n’ont apparemment pas
permet une intégration étroite des activités bud- été observés ici. Cette approche de collaboration
gétaires et du S&E. En Colombie par contre, le sys- entre le ministère central et les entités secto-
tème de S&E est principalement géré comme une rielles pourrait changer si la Colombie adopte
activité indépendante qui se trouve, quasiment de une forme plus active de budgétisation fondées
manière accidentelle, logée au sein de la direction sur les résultats.
du Plan. Jusqu’à présent, le système de S&E n’a été
intégré ni aux activités de planification, ni aux Toutefois, pour que cette forme de budgétisa-
fonctions budgétaires de cette direction ; et il n’y tion soit efficace, il faudrait une étroite collabo-
a pas eu de collaboration avec les activités bud- ration entre les services de S&E de la direction du
gétaires du ministère des Finances. Plan, les services du budget de cette même di-
rection, et les services du budget du ministère des
Ce scénario pourrait être en train de changer. Finances. Un moyen d’encourager une étroite
Les évaluations rapides en cours impliquent les collaboration entre ces ministères centraux et les
services de S&E et du budget de la direction du entités sectorielles serait de les rassembler tous
Plan, ainsi que les services du budget du minis- au sein d’un comité gouvernemental de haut ni-
tère des Finances. Si ces phases pilotes sont consi- veau chargé formellement de la supervision du SI-
dérées réussies — autrement dit rentables aux fins NERGIA. Le gouvernement envisage de procéder
de budgétisation fondées sur les résultats — alors de cette manière.
il est probable que le S&E soit intégré aux activi-
tés budgétaires de base des deux ministères. Une liste sommaire des forces et faiblesses du sys-
tème colombien de S&E est présentée au tableau
Certains observateurs ont soutenu qu’un obs- 7.1. Le diagnostic du système colombien établi par
tacle de taille à l’utilisation des données de S&E la Banque mondiale est reproduit à l’Annexe B de
pour influer sur les décisions budgétaires en Co- ce volume.
lombie résulte des diverses rigidités du budget na-
tional. Il s’agit notamment du grand nombre de Conclusions
ressources affectées à des fins spéciales, qui ne Le gouvernement colombien a réussi à créer un
peuvent pas être changées facilement. Résultat, sous-système de suivi des performances du gou-
entre 90 et 95 % des dépenses budgétaires en Co- vernement portant sur tous les 320 objectifs pré-
lombie ne peuvent être réaffectées à court terme. sidentiels et les autres objectifs de développement
Divers arguments contradictoires peuvent être du pays. Il est important de relever que le Prési-
présentés ici (voir Annexe B); mais l’observation dent utilise intensément ce sous-système dans
la plus révélatrice concerne peut-être la forte in- sa supervision directe des performances des mi-
fluence de l’évaluation de Familias en Acción en nistères et des ministres, et pour communiquer
Colombie sur les priorités de l’État et sur ses al- avec la société civile.
locations budgétaires (Encadré 7.2).
Le gouvernement s’est aussi engagé dans un am-
Un dernier point dans la comparaison des sys- bitieux programme d’évaluation ; les résultats
tèmes colombien et chilien est le niveau élevé de des évaluations ont déjà eu une influence signi-
collaboration entre les services colombiens de ficative sur les décisions gouvernementales et les
S&E au sein de la direction du Plan et les minis- allocations budgétaires.

37
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

Tableau 7.1. Forces et faiblesses du système colombien de S&E

Forces Faiblesses

• Très haut niveau d’utilisation du sous-système de • Faible niveau d’utilisation des données de S&E par
suivi par le Président et son cabinet les directions du Budget et du Plan du ministère du
• Données sur les performances utilisées pour définir Plan, et par le ministère des Finances
des objectifs de performance pour les ministres et • Inquiétudes quant à la fiabilité des données de suivi
leurs ministères et organismes publics. Publication fournies par les ministères et organismes publics
du niveau de réalisation des objectifs de sectoriels
performance ; au cas où ceux-ci ne sont pas réalisés, • Dépendance excessive du programme d’évaluation à
les responsables doivent fournir des explications l’égard des financements des bailleurs de fonds
publiques.
• Des évaluations menées de manière indépendante
dans le cadre d’un processus transparent et
considérées comme hautement crédibles par
d’autres ministères et le Congrès
• Des évaluations planifiées et menées dans une
optique de collaboration avec la direction du Plan et
les ministères et organismes publics sectoriels
• Toutes les données de S&E rendues publiques et
soumises au Congrès.

Une faiblesse du système colombien est que les tés de S&E soient menées dans tous les ministères,
données de S&E ne sont pas encore utilisées sys- organismes publics et collectivités locales.
tématiquement pour les activités budgétaires et
de planification des deux ministères responsables Il serait raisonnable de conclure que le système co-
du budget national. Il est très probable que le S&E lombien de S&E est moins développé et moins
soit intégré dans l’analyse budgétaire et la prise éprouvé que celui du Chili. Le système chilien a
de décisions sur ce sujet. Mais, en attendant, le ni- graduellement été mis au point pendant plus
veau d’utilisation des données de suivi et des ré- d’une décennie ; et bien que celui de Colombie
sultats d’évaluation restera limité. De même, existe sous une certaine forme depuis le début des
l’utilisation augmentera considérablement la pro- années 90, ce n’est que depuis 2002 qu’il est réel-
babilité d’une pérennisation du système central lement devenu opérationnel. Le système colom-
de S&E. bien de S&E coûte actuellement autour de 2
millions de dollars par an, soit près du triple du
Divers ministères et organismes publics procèdent coût du système chilien (0,75 million de dollars par
au S&E pour leurs propres besoins internes, pour an)4. Cette différence de coût s’explique par l’ac-
faciliter leur propre planification, analyse et ges- cent particulier mis sur les grandes études d’im-
tion des programmes en cours. Ces entités consti- pact dans le système colombien. Les systèmes des
tuent toutefois l’exception. Avec l’appui de la deux pays peuvent être améliorés, mais tous deux
Banque mondiale, le gouvernement étudie ac- — et particulièrement le système chilien — peu-
tuellement la possibilité d’exiger que des activi- vent être considérés comme rentables.

38
8
Australie

E
n 1983, l’Australie a élu un gouvernement réformiste. Face à une
conjoncture macroéconomique très difficile, ce gouvernement a pro-
gressivement réduit les dépenses publiques totales, pour les ramener
de 30 % du produit intérieur bruit en 1984 à 23 % en 1989 – ce qui représente
une réduction très importante au regard des normes internationales.
Parallèlement, le nouveau gouvernement a ciblé s’inscrivait en droite ligne de la philosophie consis-
ses dépenses beaucoup plus étroitement sur les tant à laisser les gestionnaires gérer.
couches sociales les plus défavorisées. Ayant à
cœur d’améliorer la qualité des dépenses pu- Principales composantes du système2
bliques, il a entrepris une série de réformes no- Le système de S&E australien était essentielle-
vatrices du secteur public, notamment dans les ment axé sur une stratégie d’évaluation officielle,
domaines de la gestion financière et de la réforme fondée sur une étude diagnostique de 1988 de la
budgétaire. Toutes ces mesures ont contribué à pla- conduite des évaluations dans les différents mi-
cer l’Australie au premier rang des pays de l’OCDE nistères et du niveau général de l’activité d’éva-
en matière de gestion du secteur public1. luation au sein du gouvernement. Cette stratégie,
progressivement mise au point durant plusieurs
Ces mesures ont permis de donner beaucoup années (1987-1991), visait trois objectifs princi-
plus d’autonomie aux chefs des ministères — paux : encourager les gestionnaires à utiliser les
d’exécution dans la gestion de leurs crédits bud- résultats des évaluations pour améliorer la per-
gétaires — la philosophie étant de laisser les ges- formance de leurs programmes ; éclairer la prise
tionnaires gérer. On espérait au départ que les des décisions et l’établissement des priorités pu-
mesures encourageraient les ministères à suivre bliques, notamment dans le processus budgé-
étroitement et à mesurer leur performance, mais taire annuel, lorsque les différents ministres
il n’en n’a rien été. Avec l’aide d’autres minis- soutiennent un grand nombre propositions
tères centraux, le puissant ministère des Finances concurrentes ; et améliorer l’éthique de respon-
a donc mis au point une stratégie d’évaluation sabilité dans un contexte de décentralisation en
pour l’ensemble du secteur public. Cette straté- apportant la preuve que les chefs de programmes
gie a bénéficié du ferme soutien du gouverne- exercent leur rôle de contrôle et que leurs pro-
ment, à travers une décision officielle. Elle grammes sont bien gérés3.

39
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

L’organisation des évaluations constituait une moins influents, les priorités établies par le mi-
pièce maîtresse de la stratégie australienne, as- nistère des Finances prévalaient dans une large
surée dans le cadre des plans d’évaluation du mesure. Par contre, pour les ministères d’exécu-
portefeuille (PEP) officiels, qui devaient être com- tion plus puissants, il y avait un certain équilibre
muniqués chaque année au ministre des Finances des forces en présence. Les différends concernant
(voir Encadré 8.1). Portant sur un horizon mobile les priorités de l’évaluation qui n’étaient pas ré-
de trois ans, les PEP indiquaient les programmes glés étaient généralement portés devant les mi-
ou sous-programmes à évaluer, les aspects à nistres, voire le gouvernement si l’on ne parvenait
prendre en compte, et les échéances. Chaque pas à un accord.
programme était officiellement tenu de faire l’ob-
jet d’une évaluation tous les 3 à 5 ans. Les PEP Les ministères d’exécution étaient chargés non
étaient considérés comme des évaluations de seulement de l’organisation, mais aussi de la
grande envergure. Les ministères devaient aussi conduite des évaluations de leurs programmes.
exécuter d’autres évaluations de moindre enver- Certains ministères parmi les plus grands — le mi-
gure pour des besoins de gestion interne uni- nistère du Travail, par exemple — disposaient
quement. Vers le milieu des années 90, environ d’un service d’évaluation comprenant 20 à 25
160 évaluations de PEP étaient en cours à tout agents chargés d’organiser les évaluations, de
moment. fournir des conseils sur la méthodologie d’éva-
luation, de participer aux comités directeurs des
Les priorités des PEP portaient sur le choix des évaluations, et de mener les évaluations de grande
programmes à évaluer et les questions spéci- envergure.
fiques à aborder dans chaque évaluation ; dans ce
contexte, les termes de référence revêtaient une D’autres ministères ne disposaient que de pe-
importance particulière. Ces priorités étaient dé- tites cellules d’évaluation, au sein d’un service
terminées à travers des négociations entre les d’organisation/coordination, la fonction « éva-
services du budget des ministères d’exécution et luation » étant intégrée aux différents programmes
du ministère des Finances. Pour les ministères d’exécution ; ainsi, les programmes devaient ré-

Encadré 8.1. Système australien de S&E pour l’ensemble du secteur public

Obligation d’évaluer chaque programme au moins une


P rincipales composantes du système :

Organisation formelle de l’évaluation à travers les PEP,


fois tous les trois à cinq ans. Cela signifie dans la pra-
tique que certains aspects (tels que certains sous-
qui dressaient une liste des programmes publics que le programmes) de chaque programme étaient évalués ;
ministère envisageait d’évaluer ainsi que les questions la plupart des évaluations ne visaient pas à couvrir de
à aborder dans chaque évaluation. Établis chaque manière détaillée tous les aspects de la performance
année, les PEP avaient un horizon mobile de trois ans. d’un programme. En outre, il était également exigé que
Ils couvraient uniquement les évaluations de grande en- toutes les évaluations achevées soient publiées, à l’ex-
vergure, c’est-à-dire, celles des programmes considé- ception de celles ayant trait à la sécurité nationale ou
rés comme ayant une importance stratégique pour le aux relations industrielles sensibles.
gouvernement : programmes dotés de gros budgets ;
programmes revêtant un intérêt particulier en matière Examen des objectifs des programmes exécutés par
de politiques ; programmes à problème ; et programmes chaque ministère et présentation de l’information sur
pilotes. Les évaluations étaient menées par les minis- la performance. Conjointement menés par le ministère
tères d’exécution eux-mêmes, habituellement avec une concerné et le ministère des Finances, ces examens
certaine implication du ministère des Finances. avaient un horizon mobile de trois ans.

40
8: AUSTRALIE

pondre de la qualité et de la rigueur de l’évalua- questions budgétaires. Cette cellule assurait éga-
tion devant les instances supérieures du ministère lement le suivi de l’organisation des évaluations
(surtout pour les évaluations de petite enver- par les ministères et du nombre d’évaluations
gure, qui prenaient souvent la forme d’examens conduites. Le chef de ce département ministériel
rapides). Certaines évaluations étaient sous- utilisait ces informations pour exercer officieu-
traitées à des consultants ou bureaux d’études. sement des pressions sur les ministères d’exé-
cution afin qu’ils améliorent leurs activités
Les services du budget du ministère des Finances d’évaluation.
intervenaient également dans les évaluations
lorsque cela était possible. Les évaluations de Le système australien de S&E accordait une place
grande envergure connaissaient souvent la par- de choix à l’évaluation, considérée comme un
ticipation des membres des comités directeurs in- moyen de fournir des informations détaillées et
terministériels, qui comprenaient habituellement fiables sur l’efficacité et l’efficience des pro-
d’autres ministères sectoriels concernés et grammes publics. Les données sur la performance
d’autres puissants ministères centraux tels que le étaient également considérées importantes, mais
Trésor, le Premier ministère et le Conseil. Cette on estimait qu’elles pouvaient être gérées par les
large représentation permettait aux responsables ministères d’exécution. Toutefois, vers le milieu
du budget 1) de s’attacher à influencer la conduite des années 90, le ministère des Finances était
des évaluations, afin de s’assurer que les pro- préoccupé par la qualité de ces informations et
blèmes sont examinés en toute impartialité, et 2) avait commandité des examens des rapports an-
de faire des observations sur les projets de rap- nuels présentés par les ministères et de la docu-
ports d’évaluation. mentation relative aux budgets de ces derniers
(documentation communiquée au Parlement).
Une caractéristique du système australien est le
recours à une définition élargie du terme éva- En 1995, les lacunes constatées dans ces rapports
luation. Celle-ci est définie comme une forme ont amené le ministère des Finances à prescrire
d’enquête disciplinée : incluant les évaluations ra- une série d’examens détaillés des objectifs pour-
pides, les examens de politiques, les évaluations suivis par les programmes et des informations
rigoureuses d’impact et les contrôles de perfor- sur la performance de chaque ministère. Ces exa-
mance effectués par la cour des comptes. Les mens ont été effectués conjointement par le mi-
coûts variaient considérablement : un échantillon nistère des Finances et les ministères—
des évaluations analysé par le ministère des Fi- d’exécution, et les recommandations formulées
nances révèle qu’ils se situaient (aux prix de 1993) en vue des améliorations devaient être mises en
dans une fourchette de 43 000 à 430 000 dollars œuvre.
environ4.
Budgétisation fondée sur les résultats
La stratégie australienne d’évaluation a été ren- S’il est vrai que le système australien de S&E vi-
forcée en 1991 suite à un contrôle de perfor- sait trois objectifs, du point de vue du ministère
mance qui avait révélé que le niveau d’engagement des Finances — qui en était le principal architecte
en faveur de l’évaluation variait d’un ministère à et maître d’œuvre — l’objectif ayant bénéficié de
l’autre. Ce rapport publié par la cour des comptes plus d’attention consistait à appuyer les décisions
critiquait certains ministères pour leur mauvais du gouvernement durant le processus budgé-
choix des programmes évalués et pour le fait taire. Le ministère des Finances a joué un rôle très
qu’ils n’accordaient pas suffisamment d’attention influent dans le processus budgétaire en Austra-
à l’efficacité des programmes publics. Le ministère lie. Il préparait l’analyse des politiques pour toutes
des Finances a réagi en créant une cellule spéciale les nouvelles propositions de dépenses émanant
d’évaluation chargée de fournir des conseils, l’ap- des ministères sectoriels et joignait ces analyses
pui, la formation et les encouragements aux autres aux propositions communiquées aux membres du
ministères, ainsi qu’à ses services chargés des gouvernement pour examen collégial lors de la

41
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

prise des décisions budgétaires. Le ministère des vent même entraver la réforme. Le fait de confier
Finances proposait ainsi une analyse indépen- le contrôle des évaluations au ministère des Fi-
dante des politiques, qui représentait le plus sou- nances a permis de s’assurer que celui-ci exerce
vent un point de vue contraire à celui du ministère une influence directe sur ses services chargés de
dépensier. Les services du budget du ministère des la supervision des ministères d’exécution.
Finances déterminaient également les « options
d’épargne », propositions d’action visant à ré- Toutefois, le changement de culture nécessaire au
duire ou supprimer des programmes publics en sein du ministère des Finances a été un proces-
cours5. sus lent, mis en œuvre sur un certain nombre d’an-
nées, et a impliqué un renouvellement substantiel
Le processus budgétaire impliquait un forum des effectifs. L’attention accrue accordée par ce
pour l’échange d’idées. Dans une telle situation ministère aux questions de rapport qualité-prix
fondamentalement caractérisée par des positions (plutôt qu’aux questions des dépenses) traduisait
antagonistes, la disponibilité des résultats des la nature et la qualité des conseils pratiques qu’il
évaluations de la performance des programmes apportait au gouvernement ; ces conseils étaient
était un moyen important de garantir une base de plus en plus fondés sur les résultats des éva-
d’informations fiables pour éclairer la prise des dé- luations disponibles.
cisions budgétaires. Les évaluations pouvaient
fournir un avantage comparatif à ceux qui s’en ser- La caractéristique la plus importante du système
vaient. Il était donc important que les services du australien de S&E réside dans l’utilisation à grande
budget du ministère des Finances soient entiè- échelle des résultats des évaluations pour éclai-
rement impliqués dans l’organisation des éva- rer la prise des décisions budgétaires par le gou-
luations menées par les ministères aussi bien que vernement. Le ministère des Finances réalisait
dans l’exécution des évaluations de grande en- chaque année des études sur ses services du bud-
vergure. Cette implication permettait aux res- get en vue de déterminer l’influence des évalua-
ponsables des questions budgétaires d’être au tions sur chaque nouvelle proposition de politique
courant de la qualité des évaluations et de toutes introduite par les ministres d’exécution et les op-
les lacunes de celles-ci, d’être pleinement au fait tions d’épargne qu’il proposait (ou qui étaient pro-
des résultats et des recommandations des éva- posées par les ministres d’exécution pour financer
luations, et d’être par conséquent capables d’uti- de nouvelles politiques) 6. On estime que de 1994
liser ces informations dans leurs travaux d’analyse à 1995, environ 1,75 milliard de dollars (soit 77 %)
des politiques. Elle permettait également d’amé- de nouvelles propositions de politiques ont été
liorer leur connaissance des objectifs du pro- influencées par les résultats d’une évaluation, et
gramme et du contexte dans lequel celui-ci est dans la plupart des cas, cette influence a été jugée
exécuté — ils avaient besoin de cette connaissance directe. Les chiffres correspondant pour les op-
pour bien accomplir leur travail. tions d’épargne étaient de 380 millions de dollars
(soit 65 % du total).
Il convient de relever ici qu’il peut arriver que les
ministères des Finances ne soient pas toujours dis- Les résultats des évaluations ont influencé non
posés à soutenir les réformes visant à augmenter seulement les possibilités d’action soumises à
la quantité des informations disponibles sur les ré- l’examen du Conseil des ministres, mais également
sultats des pouvoirs publics. Avant les réformes, les décisions de cette instance. Les responsables
le ministère australien des Finances était très im- du budget au ministère des Finances ont égale-
pliqué dans l’examen détaillé des activités de dé- ment fait l’objet d’une étude pour déterminer la
penses des ministères. Le danger tient ici au fait mesure dans laquelle les évaluations avaient in-
que cette focalisation sur les dépenses peut si- fluencé les décisions du gouvernement concer-
gnifier que l’on accorde relativement peu d’at- nant les budgets 1993–1994 et 1994–1995. Les
tention aux résultats de ces dépenses. Les résultats de cette étude sont mitigés, mais indi-
ministères des Finances qui sont puissants peu- quent que les évaluations ont joué un rôle im-

42
8: AUSTRALIE

portant. On estime qu’en 1994–1995, l’évalua- cent mis dans le processus budgétaire sur les en-
tion a influencé la décision du gouvernement veloppes budgétaires du portefeuille (défini
dans 68 % des propositions examinées pour un comme un ministère d’exécution plus des orga-
montant de 2 846 milliards de dollars (représen- nismes sous sa tutelle) — ce qui correspond en
tant les nouvelles propositions de politique et fait à l’établissement des budgets par portefeuille
les options d’épargne). — toute interruption de programme entraîne-
rait souvent une réaffectation des dépenses au sein
Toutefois, la proportion correspondante du bud- de ce portefeuille. Dans certains cas, des pro-
get de 1993–1994 ne représentait que 19 % des grammes ont subi des coupes claires dans le cadre
propositions. Cette différence s’explique dans d’une révision profonde des priorités, par
une large mesure par la révision substantielle exemple, dans les domaines du marché du travail
dans le budget de 1994–1995 des priorités du et de la sécurité sociale ; ces réductions reflé-
marché du travail, de l’industrie, des politiques ré- taient le désir de maximiser le rapport qualité-prix
gionales et autochtones — le principal examen des étant donné les priorités d’action (Encadré 8.2).
politiques sur lequel ces décisions étaient fondées
avait été sensiblement influencé par un certain Forces et faiblesses du système de S&E
nombre d’évaluations commanditées spécifi-
quement pour guider cette opération. Les forces
Certains commentateurs ont estimé que « l’éva-
Quelques programmes seulement ont été inter- luation des programmes (en Australie) a été
rompus suite à une évaluation ; étant donné l’ac- menée à une échelle plus grande et de façon plus

Encadré 8.2. Évaluations influentes en Australie

D ans le cadre du budget 1996-1997, le nouveau gouvernement


était déterminé à réduire et à hiérarchiser les dépenses pu-
bliques. À cet effet, il a accordé une place de choix aux pro-
de trouver un emploi 6 mois environ après sa participation à un pro-
gramme du marché du travail (La référence était un groupe témoin
de personnes n’ayant pas participé à un programme)
grammes du marché du travail et programmes connexes, qui Les résultats de l’évaluation ont montré que le programme
représentaient 2,90 milliards de dollars de dépenses par an. Le JobStart, qui accordait des subventions salariales, avait un coût
ministre de l’Emploi a défini l’objectif global de l’action des pou- net de 3 700 dollars par placement supplémentaire, tandis que le
voirs publics comme consistant à apporter une aide aux per- programme JobSkills, qui était un programme de création directe
sonnes en chômage de longue durée et à celles courant le d’emplois, avait un coût net de 57 800 dollars. Le ministre a noté
risque de se retrouver dans une telle situation. Cette orientation que « le gouvernement ....concentrera ses efforts sur les pro-
a été adoptée pour des raisons à la fois d’équité et d’efficacité, grammes qui se sont révélés les plus rentables en obtenant des
par exemple, faire mieux coïncider l’offre et la demande de tra- résultats réels en termes d’emplois. » Il s’ensuit que le programme
vail. Parallèlement, le ministre voulait assurer un meilleur rap- Jobstart a été retenu et le programme JobSkills sensiblement ré-
port qualité-prix des programmes du marché du travail dans un duit, ciblant plus étroitement les chercheurs d’emplois qui étaient
contexte budgétaire difficile. particulièrement défavorisés.
Le choix des options de politique a été considérablement inspiré En réduisant les programmes du marché du travail et en re-
par les résultats des évaluations australiennes et internationales. Le définissant les priorités, les pouvoirs publics ont épargné au total
ministre a souligné le coût-efficacité relatif des différents programmes quelque 1,14 milliard de dollars en deux ans. Le gouvernement a
du marché du travail. Un grand moyen utilisé pour mesurer ce rap- également commandité une série d’évaluations à grande échelle
port consistait à calculer le coût net, pour les pouvoirs publics, de tout de ses nouveaux programmes du marché du travail et des nouvelles
placement supplémentaire dans les différents programmes — tel que dispositions de promotion de la pleine concurrence entre les pres-
mesuré par l’augmentation de la probabilité pour une personne aidée tataires de services publics et privés.
Source : Mackay 1998a.

43
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

systématique que dans tout autre pays (Kim et al sultats conduite par la Cour des comptes austra-
2006). La caractéristique remarquable du système lienne (ANAO) en 1997 a permis de conclure que
australien de S&E était l’utilisation intensive des les ministères d’exécution utilisaient beaucoup les
résultats des évaluations dans le processus bud- résultats d’évaluation pour améliorer leur effica-
gétaire, pour éclairer aussi bien les conseils de po- cité opérationnelle. Dans une moindre mesure,
litique de haute qualité (Uhr et Mackay 1996) ils utilisaient également ces résultats pour éclai-
que les décisions budgétaires du gouvernement rer leurs propres décisions d’affectation des res-
(Tableau 8.1). Comme on l’a relevé au chapitre 5 sources et dans la conception des améliorations
en examinant la budgétisation fondée sur les ré- à apporter à la qualité des services (Cour des
sultats, l’influence des conclusions des évalua- comptes australienne 1997).
tions sur les décisions des pouvoirs publics était
généralement indirecte — allant d’une influence Le fait pour les ministères d’exécution d’utiliser
considérable dans un certain nombre de cas à abondamment les données de S&E traduit une
une influence mineure ou nulle dans d’autres autre force du système australien : l’évaluation était
cas. C’est le maximum que l’on puisse attendre essentiellement menée de façon conjointe par le
d’un système de S&E applicable à l’ensemble du ministère des Finances, d’autres ministères cen-
secteur public, en termes d’utilisation potentielle traux, et les ministères sectoriels. Si la responsa-
des données de S&E produites par le système. bilité en matière d’évaluation était en grande
partie dévolue aux ministères d’exécution, l’im-
Le vérificateur général de l’Australie a commenté plication des ministères centraux dans la prépa-
la situation en ces termes : « à mon sens, la réus- ration et la supervision des évaluations PEP de
site de l’évaluation au niveau du gouvernement grande envergure a permis de garantir une plus
fédéral ... était dans une large mesure attribuable grande adhésion aux évaluations elles-mêmes et
à son intégration totale au processus budgétaire. à leurs résultats.
Chaque fois qu’il y avait un engagement de res-
sources, une certaine forme d’évaluation était Cette démarche contraste avec celle du Chili, par
nécessaire pour justifier pratiquement toutes les exemple, où généralement les ministères d’exé-
propositions soumises au financement budgé- cution adhérent peu ou pas du tout aux évalua-
taire » (Barrett 2001). tions commanditées par le ministère des Finances.
La démarche adoptée par l’Australie permettait
Une autre force du système a été l’utilisation in- également de s’assurer de l’utilisation, intensive
tensive des données de S&E par les ministères et dans les évaluations, de la connaissance profonde
organismes d’exécution. Une évaluation des ré- et de la compréhension que les ministères d’exé-

Tableau 8.1. Forces et faiblesse du système australien de S&E

Forces Faiblesses

• Utilisation intensive des résultats des évaluations • Qualité inégale des évaluations
aux fins d’analyses budgétaires, de conseils de • Disponibilité insuffisante des services de formation
politique, et de prise des décisions budgétaires par supérieure en évaluation
le gouvernement • Attention insuffisante accordée aux informations
• Utilisation intensive des résultats des évaluations régulières sur la performance
par les ministères et organismes publics sectoriels • Prétendue charge administrative sur les ministères
• Évaluations menée de façon conjointe par le
ministère des Finances, d’autres ministères
centraux, et les ministères sectoriels.

Source : Mackay 1998a, 2004.

44
8: AUSTRALIE

cution ont de leurs propres programmes. Un dan- performance — en particulier pour faciliter la
ger qui guette tout système de S&E fondé sur des conduite des évaluations. Il a fallu attendre 1993,
évaluations indépendantes externes tient au fait c’est-à-dire quelque six années après l’introduc-
qu’il peut ne pas tirer parti de cette connaissance tion de cette stratégie, pour que le ministère des
profonde des programmes. Finances fasse effectuer des examens d’ensemble
de la qualité des rapports annuels et des docu-
Les faiblesses ments budgétaires présentés par les ministères.
Le côté négatif de la démarche australienne plus
fondée sur la collaboration était, toutefois, la qua- À la suite de ces examens, qui ont remis en cause
lité inégale des évaluations conduites par les mi- la qualité des objectifs poursuivis par les pro-
nistères d’exécution. L’audit des performances grammes et celle des informations sur la perfor-
effectué par l’ANAO a porté sur un échantillon de mance, le ministère des Finances a ordonné une
rapports d’évaluation et conclu que plus du tiers série d’examens détaillés a intervalles réguliers,
de ces rapports comportait des lacunes métho- portant sur les objectifs poursuivis par les pro-
dologiques d’un genre ou d’un autre. grammes et les informations relatives à la per-
formance de tous les ministères et organismes
L’une des raisons en est que de nombreux do- publics. Il a demandé que des plans d’action
maines d’activités des ministères d’exécution qui soient mis en œuvre pour résoudre tout pro-
avaient la responsabilité d’exécuter ou de faire exé- blème identifié. Une leçon tirée de cette expé-
cuter des évaluations n’avaient pas toutes les rience est que tous les systèmes de S&E ont
compétences nécessaires pour assurer un travail besoin d’être examinés et réajustés en perma-
de haute qualité. Le ministère des Finances a nence ; il est nécessaire de suivre et d’évaluer tout
fourni la formation de base en techniques d’éva- système de S&E comme il est l’est pour tout autre
luation et publié des manuels sur l’évaluation des type de réforme du secteur public.
programmes et l’analyse coûts-avantages. Mais
l’audit de l’ANAO a révélé que 20 % des ministères Une dernière lacune du système selon certains
d’exécution étaient préoccupés par le manque de chefs de départements ministériels tient au fait
formation en techniques d’évaluation de pointe. que les conditions formelles relatives à la prépa-
ration et à l’établissement de rapports sur les éva-
Avec le recul, une possibilité de s’attaquer au pro- luations étaient trop fastidieuses. Certains
blème de la qualité des évaluations aurait consisté, ministères ont en effet créé des processus in-
pour le ministère des Finances, à imposer la créa- ternes complexes et ont fini par produire des
tion, dans chaque ministère, d’une importante cel- PEP de 120 pages, alors que les directives du mi-
lule centrale d’évaluation. Une autre option aurait nistère des Finances n’imposaient pas une telle
consisté à centraliser l’ensemble de la fonction complexité ; la production de PEP nettement
d’évaluation au sein du ministère des Finances — moins volumineux était recommandée comme
option qui aurait exigé la création d’un bureau pratique optimale.
d’évaluation très vaste, ce qui est contraire à l’ob-
jectif de décentralisation de la plupart des ré- Le système d’évaluation —
formes du secteur public. Post-scriptum7
L’élection d’un gouvernement conservateur en
Deux autres faiblesses du système méritent d’être 1996 a entrainé une réduction substantielle de la
relevées. La première est l’importance relative- fonction publique ; un affaiblissement sensible du
ment faible accordée à la collecte et à l’utilisation processus de conseil et du rôle du ministère des
régulières des informations sur la performance. Finances, notamment dans le cycle budgétaire ;
Le ministère des Finances a explicitement in- et le démantèlement de bon nombre de contrôles
formé les autres ministères de la nécessité de dé- et de prescriptions de l’administration centrale.
finir des objectifs pertinents pour les programmes Parallèlement, une bien plus grande autonomie
et de disposer d’informations pertinentes sur la a été accordée aux responsables des ministères

45
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

d’exécution — ce qui constitue un retour à la que de la règle9. Les audits des résultats effec-
philosophie consistant à laisser la gestion aux tués par l’ANAO ont permis de mettre en évi-
gestionnaires. dence la mauvaise qualité des informations sur la
performance que la plupart des ministères com-
Certes, les ministères d’exécution sont toujours muniquent désormais au Parlement.
tenus de rendre publiquement compte de leur
performance au Parlement, mais, en matière de Le ministère des Finances continue certes d’ap-
S&E, le ministère des Finances n’applique plus au porter des conseils sur les budgets des minis-
niveau central les contrôles ou les normes de tères, mais il lui manque des informations
qualité en matière de S&E. Dans le cadre de ces systématiques et fiables tirées du suivi, ainsi que
changements, la stratégie d’évaluation officielle da- et les résultats des évaluation sur lesquels fonder
tant de dix ans — et par conséquent le système ces conseils. Comme l’a conclu l’OCDE —
de S&E du gouvernement — a été abandonnée.
Pour le vérificateur général de l’Australie, ces ré- En Australie, la déréglementation de la
formes constituent une déréglementation de fonction publique et l’adoption d’une at-
l’évaluation. S’il est vrai qu’il existe encore certains titude indépendante par les organismes
ministères d’exécution que l’on peut considérer centraux ont permis la liberté de gestion,
comme des « îlots » de pratiques optimales dans mais on estime aujourd’hui que ces me-
le domaine du S&E,8 notamment du point de vue sures ont privé le ministère des Finances des
de la conduite, de la qualité et de l’utilisation des informations dont il a besoin pour bien
résultats du S&E, il s’agit-là de l’exception plutôt conseiller le ministre (OCDE 2002).

46
9
Le cas particulier de
l’Afrique

L’
expérience des pays africains est pertinente pour les pays pauvres
d’autres régions, en particulier ceux qui préparent des stratégies de ré-
duction de la pauvreté. L’Afrique offre également des enseignements
sur la manière de renforcer progressivement les capacités de suivi et d’évaluation
(S&E), surtout lorsqu’une aide accrue des bailleurs de fonds est possible. Ces
enseignements sont aussi valables pour les pays à revenu intermédiaire tels que
ceux qui ne se sont pas encore engagés à améliorer l’ensemble de leurs sys-
tèmes de S&E. Dans ces pays, il peut être indiqué d’adopter une démarche plus
prudente, mettant l’accent sur des changements progressifs, s’il est possible
de démontrer que le S&E est une activité publique rentable.
Il est largement admis que l’extrême pauvreté aux recensements de la population et aux en-
que connaissent la plupart des pays africains quêtes auprès des ménages. Les pays, à travers
montre clairement qu’il est nécessaire d’accorder leurs bureaux nationaux de statistiques, semblent
la priorité à une intensification de l’aide au dé- très disposés à accepter un tel appui. Les DSRP
veloppement. Plus de 30 pays africains ont élaboré présentent habituellement leurs systèmes natio-
des DSRP intérimaires ou définitifs, condition de naux de suivi (statistiques) comme étant syno-
l’admissibilité à l’allégement de la dette au titre de nymes du S&E, et la nécessité d’accorder la
l’Initiative en faveur des pays pauvres très en- priorité au S&E est devenue une formule sacrée
dettés1. Les DSRP définissent les objectifs de dé- largement acceptée tant par les pouvoirs publics
veloppement et ont pour but de rendre compte que par les bailleurs de fonds. Dans de nombreux
des résultats accomplis. Dans la pratique, il s’agit cas, cependant, les systèmes nationaux de S&E
de montrer dans quelle mesure un pays a réalisé sont principalement conçus pour satisfaire les
les ODM. besoins des bailleurs de fonds en données (IEG
2004b).
Ainsi, il est particulièrement important de dis-
poser de statistiques nationales fiables, lesquelles Par ailleurs, les DSRP mettent l’accent enfin de
entraînent en retour un accroissement de l’appui compte sur le montant de ressources budgétaires
des bailleurs de fonds en faveur du renforcement et autres ressources consacrées aux priorités na-
des capacités statistiques, notamment par l’aide tionales et sur les progrès accomplis par rapport

47
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

aux ODM. Ces deux aspects sont certes impor- commandite aussi des évaluations ou des re-
tants, mais il manque ici ce que Booth et Lucas cherches sur certaines questions (Stout 2001).
(2001a, 2001b) qualifient de « maillon manquant » :
informations sur les performances aux stades in- Le recours accru aux opérations de prêt-
termédiaires de la chaîne des résultats, notamment programme offre un autre moyen d’atténuer le
en termes d’actions gouvernementales, de pro- problème d’harmonisation, dans la mesure où il
duits et de services offerts et de leurs impacts ; réduit la possibilité de S&E par projet et partant,
et résultats détaillés des évaluations, permettant la possibilité de morcellement des activités de
d’établir un lien entre les actions gouvernemen- S&E exécutées par les différents bailleurs de
tales et les résultats réels sur le terrain. fonds. En Ouganda, par exemple, la Banque mon-
diale et d’autres bailleurs de fonds accordent au
Les statistiques sur les montants dépensés et gouvernement des prêts-programmes au titre de
celles sur les niveaux de pauvreté sont toutes l’aide budgétaire. Ce type de prêt-programme
très importantes, mais elles ne permettent pas de devient de plus en plus courant dans les pays
mesurer les performances du gouvernement en africains et d’autres pays bénéficiaires d’un allè-
termes des résultats de ses dépenses — les pro- gement de dette.
duits, les réalisations et les impacts induits par l’ac-
tion du gouvernement lui-même. Les ODM et Enseignements tirés de l’expérience
d’autres indicateurs de la pauvreté donnent une ougandaise2
mesure de base de la performance des pays mais Certains pays africains, tels que l’Ouganda et la
ne renseignent pas sur les contributions des pou- Tanzanie, comprennent bien l’importance de dis-
voirs publics par rapport à celles des bailleurs de poser d’informations fiables et exhaustives sur la
fonds, du secteur privé et des groupes de la so- performance. Ils utilisent abondamment ces in-
ciété civile comme les ONG. formations dans la préparation de leurs plans na-
tionaux et la définition des priorités budgétaires
La plupart des pays africains sont tout simple- (voir, par exemple, Gouvernement de Tanzanie
ment trop pauvres pour entreprendre des éva- 2001 ; Ssentongo 2004 ; Gouvernement ougandais
luations et des examens ; ils comptent plutôt sur 2004, 2006). Un fait marquant concernant ces
les bailleurs de fonds pour réaliser de tels tra- deux pays est que leurs plans nationaux — connus
vaux. Une difficulté réside dans la lourde charge en Ouganda sous l’appellation Plans d’action pour
que les pays doivent supporter pour satisfaire les l’éradication de la pauvreté (PEAP) — ont existé
besoins des bailleurs de fonds en matière de S&E, avant l’initiative du DSRP. Cela a permis aux deux
notamment les missions d’inspection, la fourni- pays de préparer facilement leurs DSRP ; en fait,
ture des informations sur la performance, la non- ils ont tout simplement eu à préparer des versions
harmonisation des méthodes et critères résumées de leurs plans nationaux pour satis-
d’évaluation, etc. (IEG 2003a). Le manque d’har- faire les conditions du DSRP.
monisation des interventions des bailleurs de
fonds alourdit la charge de l’information que doi- L’Ouganda a fait l’expérience d’un certain nombre
vent fournir les pays tributaires de l’aide. On peut d’initiatives et de systèmes de S&E. À titre
cependant faciliter la coopération et l’harmoni- d’exemple, il est le premier pays où des enquêtes
sation en adoptant des approches sectorielles. de suivi des dépenses publiques (PETS) ont été
En Tanzanie, par exemple, il existe un groupe de réalisées (Encadré 9.1). Toutefois, les examens
travail du secteur de la santé, composé des re- des dispositions de S&E réalisés en 2001 (voir
présentants des pouvoirs publics et des bailleurs Tableau 9.1) et 2003 ont révélé qu’il existe en Ou-
de fonds, qui non seulement analyse les perfor- ganda de nombreux systèmes qui ne sont ni co-
mances et les politiques sectorielles, mais examine ordonnés ni harmonisés aux niveaux sectoriels et
également les systèmes sectoriels de S&E et iden- sous-sectoriels — au moins 16 systèmes distincts
tifie les priorités en matière de renforcement des (Hauge 2003). En outre, un examen approfondi
capacités de S&E. Ce groupe de travail sectoriel de trois secteurs (santé, éducation et eau/assai-

48
9 : L E C A S PA R T I C U L I E R D E L’ A F R I Q U E

Encadré 9.1. Une évaluation influente en Ouganda

A u début des années 90, l’Ouganda, comme de nombreux


autres pays en développement, était préoccupé par les mau-
vaises performances des services publics tels que l’éducation et
tant des fonds alloués à chaque établissement ainsi que le mon-
tant effectivement reçu par celui-ci fassent désormais l’objet d’une
large diffusion à travers les stations de radio et les journaux locaux,
la santé. Une cause majeure de cette situation était la « fuite » et qu’elles soient affichées à l’intention du public dans tous les éta-
des fonds qui ne parvenaient pas aux organismes publics de blissements. Cette mesure a permis aux parents d’être informés
première ligne. Avec l’appui de la Banque mondiale, la métho- de la situation financière des écoles de leurs enfants. Elle leur a
dologie des PETS a été élaborée et appliquée dans le secteur de fourni les informations dont ils avaient besoin pour tenir les en-
l’enseignement primaire en 1996. Elle avait pour objectif de me- seignants et les chefs d’établissement responsables du manque
surer la proportion des fonds fournis par le gouvernement cen- d’enseignants ou de l’insuffisance de manuels scolaires. Elle a éga-
tral qui parviennent aux écoles primaires et l’ampleur des fuites, lement montré aux collectivités locales que le gouvernement cen-
et de formuler des recommandations pour réduire ces fuites. tral avait repris son rôle de contrôle.
Les PETS ont analysé le calendrier des flux de ressources Deux PETS de suivi ont montré que le flux de fonds non sala-
budgétaires à différents niveaux de l’administration et ont comparé riaux parvenant aux écoles primaires avait augmenté, passant de
les allocations budgétaires aux dépenses effectivement consacrées 13 % au cours de la période 1991-1995 à environ 80 à 90 % au cours
aux écoles primaires. Étant donné qu’il n’existait pas de comptes de la période 1999-2000. Cet exemple montre que les données
publics appropriés sur les dépenses effectives, des enquêtes ont quantitatives sur les services publics constituent un outil efficace
été menées dans 250 écoles primaires publiques de 19 districts, pour la mobilisation de la « voix » de la société civile. Même si les
et un fichier a été créé aux fins de suivre les dépenses et les ré- plaintes individuelles peuvent être écartées, la réaction du public
sultats de la période 1991-1995. Cette étude a révélé que seul 13 % appuyée par des données comparatives systématiques peut dif-
des fonds (non salarial) prévus sont effectivement parvenus aux ficilement ne pas être prise en compte et peut amener les pouvoirs
écoles entre 1991 et 1995. Les 87 % restants ont disparu ou ont été publics à agir.
utilisés par les responsables de district à d’autres fins. Environ 20 % Le premier PETS a coûté 60 000 dollars et on estime qu’il a per-
des fonds alloués au paiement des salaires des enseignants ont mis d’accroître les fonds parvenant aux écoles primaires de plus
été perçus par des « employés fictifs » qui n’existaient nulle part de 18,5 millions de dollars par an. Ce résultat montre que les PETS
ou qui ne travaillaient pas en tant qu’enseignants. constituent un outil d’évaluation particulièrement rentable. Dé-
Les résultats de cette étude ont eu un très écho dans les mé- sormais, le Gouvernement ougandais réalise régulièrement des
dias, et le gouvernement a décidé que les informations sur le mon- PETS pour chaque secteur de service de base.
Source : Bamberger, Mackay et Ooi 2004, 2005.

nissement) a révélé une lourde charge de col- partie défaut. Malheureusement la qualité des
lecte des données aux niveaux du district et des données était très incertaine et parfois médiocre.
structures. Les ministères et les organismes publics sectoriels
devaient par conséquent compté énormément
Les systèmes d’information de gestion de ces sur les visites d’inspection plutôt que sur les in-
trois secteurs ont recueilli des informations sur dicateurs de performance communiqués par en-
près de 1 000 indicateurs de performance avec en- tités concernées. Hauge et autres (2002) ont
viron 300 000 entrées par an pour chacun des 110 estimé que les inspections sur le terrain dans le
districts en Ouganda. Ces indicateurs ont porté seul secteur de la santé coûtaient l’équivalent
dans une large mesure sur les dépenses, les acti- de 1 400 années-personne par an, consommant
vités et l’état physique des infrastructures telles souvent le temps de travail d’un personnel mé-
que les écoles et les centres de santé. dical qualifié.

Cependant, les mesures de la satisfaction du Les conclusions de l’étude diagnostique sur la


client et les indicateurs d’impact tels que l’état de multiplicité des systèmes de S&E et des indicateurs
santé et les acquis scolaires faisaient en grande de performance, ainsi que la lourde charge im-

49
Tableau 9.1. Système ougandais de S&E - Résumé des questions stratégiques, des défis et des mesures éventuelles

50
Suivi des progrès réalisés sur le front de la lutte contre la pauvreté et information en retour

Questions 1. Coordination et 2. Objectifs de 3. Incitations à 4. Dévolution de 5. Rôle joué par la 6. Principes 7. Formation en
stratégiques harmonisation développement, contribuer aux l’autonomie de société civile dans le de partenariat matière de S&Ede
de S&E cibles et indicateurs résultats gestion contrôle du respect du PEAP S&E
de performance des règles de
transparence et de
responsabilisation

Éléments • Projet de stratégie • Le PEAP/DSRP en • Reconnaissance • Décentralisation de • Caractère • Projet de principes • Sensibilisation à
positifs de de suivi de la tant que cadre de l’efficacité des la responsabilité consultatif du de partenariat dans l’importance du
la situation pauvreté global de l’action prestations de pour les processus de PEAP le CDI S&E
ougandaise • Groupes de travail prioritaire contre la services en tant prestations de • Transparence du • Tendance vers un • Disponibilité de
sectoriels en tant pauvreté qu’impératif de services processus appui budgétaire chercheurs et
qu’élément central • Mise à l’essai gestion publique • Introduction de la budgétaire • Réunion du groupe universitaires
du processus de d’une formation à • Enquête sur les budgétisation axée • Pratique de consultatif locaux et traditions
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

planification et de la gestion axée sur prestations de sur les produits l’affichage des avis programmée dans de formation
budgétisation les résultats services au plan • Plans de district publics le cadre du cycle
• Efforts • « Séminaire sur les national (2000) intégrés • Capacité budgétaire
d’harmonisation indicateurs » dans • Renforcement des appréciable des
des rapports le cadre du cycle capacités au titre ONG
d’avancement des budgétaire du plan de • Dialogue
projets développement des gouvernement -
• Affectation de 5 % collectivités société civile à
des fonds de lutte locales l’échelon central
contre la pauvreté
pour le suivi et la
responsabilisation

Défis • Modalités • Degré inégal de • Performance • Capacités de • Nécessité • Un tiers de l’APD • Faibles
rencontrés distinctes de clarté des objectifs évaluée sous gestion d’améliorer le est une assistance compétences de
planification et au plan sectoriel l’angle des généralement processus de technique hors gestion au niveau
d’établissement • Objectifs du PEAP dépenses et de faibles au niveau consultation avec budget et non des
des rapports pour liés à l’activité l’activité local les parties soumise au S&E administrations
différentes sources ministérielle plutôt administrative • Les ratios de prenantes pour • Près de 300 projets locales
de financement qu’aux résultats en • Faible corrélation dépenses prescrits l’établissement des autonomes encore
• Politiques, matière de entre l’affectation au titre des priorités en cours
budgets, plans de pauvreté des ressources et mécanismes de • Un tiers de l’APD d’exécution
travail de les performances dons conditionnels est une assistance • 20 examens
secteurs/districts • Récompenses liées laissent peu de technique hors annuels de
abordés comme à la qualité du latitude aux budget et non programmes
des processus travail responsables pour soumise au S&E distincts
distincts documentaire s’adapter aux
besoins locaux
• Alignement et • Peu d’objectifs • Application • Nombre et niveau • Le dialogue • Les bailleurs de • Augmentation
coordination de assortis de irrégulière des des postes gouvernement/ON fonds locaux ne probable de la
différentes calendriers, de sanctions en cas imposés par G au niveau central peuvent s’écarter demande en
initiatives de points de référence de mauvaises l’administration n’est pas repris au des lignes matière de gestion
gestion axée sur et de cibles performances centrale niveau local directrices fixées et de S&E touchant
les résultats tangibles • Corruption en au plan aux interactions
• Un tiers de l’APD • Faible corrélation grande partie non institutionnel en entre
est une assistance entre les objectifs sanctionnée matière de S&E les prestations de
technique hors sectoriels et ceux services et les
budget définis à l’échelon résultats sur le
des districts plan de la pauvreté

Mesures • Identification d’un • Échelonnement des • Introduction de la • Permettre une plus • Étendre • Mettre à profit • Renforcer les
éventuelles ministère ou objectifs et cibles portée du grande autonomie l’application du l’appui fourni par capacités locales
pour faire organisme qui se du PEAP par le programme et des locale pour le principe de les bailleurs de pour la formation
face aux fasse le champion biais du travail de résultats comme recrutement, les transparence du fonds au titre du à l’évaluation, par
défis de l’effort de S&E planification, de barèmes de salaires et les domaine de CDI et du PEAP exemple en formant
• Établissement de budgétisation et réussite et de dépenses non l’affectation des pour renforcer les des formateurs
dispositifs d’élaboration des gratification des salariales ressources à celui synergies en dans
fondamentaux de plans d’activités au performances • Assurer comme de l’exécution matière de des institutions
S&E (par exemple, niveau des • Recours à la NSDS contrepartie • Fiches de notation planification, locales
un cadre formel), secteurs, districts comme baromètre un pouvoir de par les clients en d’établissement de • Coordonner
harmonisation de et structures des progrès supervision tant que rapports et l’utilisation des
la terminologie, • Cadre de dépenses réalisés en termes renforcé au plan complément de la d’examen financements
des modalités de à long terme centré de satisfaction local NSDS • Utiliser la matrice affectés au S&E
présentation des sur la définition des clients • Introduction • Permettre aux ONG de politique dans le cadre
rapports et de leur des objectifs et des • Introduction du de pratiques d’avoir droit à des économique des du fonds d’action
périodicité cibles du PEAP rapport qualité-prix participatives financements par PRSO comme contre la pauvreté,
• Meilleure à moyen terme dans la Loi de de S&E en tant le fonds d’action mécanisme du programme de
coordination entre finances que fonction de contre la pauvreté conjoint de développement des
les organismes • Introduction des gestion essentielle au titre des planification et collectivités
d’inspection et chartes de service activités de suivi et d’examen locales et du
d’audit client de contrôle de Deuxième
l’obligation de programme de
rendre des gestion
comptes économique et
• Introduction des financière
chartes de service • Créer une
client association locale
d’évaluation

Source : Hauge 2001.


Remarque : CDI : Cadre de développement intégré ; ONG : Organisation non gouvernementale ; PAEP Plan d’action pour l’éradication de la pauvreté ; DSRP : Document de stratégie pour la réduction de la pauvreté ; LGDP : Programme de déve-
loppement de l’administration locale

51
9 : L E C A S PA R T I C U L I E R D E L’ A F R I Q U E
I I : Q U E L Q U E S E X P É R I E N C E S N AT I O N A L E S

posée sur le personnel de première ligne, ont que l’engagement des agents de la fonction pu-
causé une grande consternation au sein du gou- blique et la demande d’une politique davantage
vernement et entraîné la décision de créer un axée sur les résultats4.
Système national intégré de S&E (NIMES) placé
sous l’égide des services du Premier ministre. Le Conclusions
NIMES se veut un système-cadre de S&E per- L’Ouganda et d’autres pays africains disposent
mettant de coordonner et d’harmoniser les sys- déjà de systèmes de S&E. Ils bénéficient également
tèmes existants, et de renforcer les capacités de l’appui des bailleurs de fonds pour le renfor-
gouvernementales en matière de S&E (Gouver- cement de leurs capacités statistiques et ont accès
nement ougandais 2004, 2006). aux évaluations menées par les bailleurs de fonds.
Le défi auquel ces pays font face consiste non
Dans le cadre du NIMES, plusieurs groupes de tra- pas à mettre au point de nouveaux systèmes,
vail ont été créés pour s’occuper des questions sui- mais plutôt à rationaliser et améliorer ceux qui
vantes : S&E au sein des collectivités locales ; existent déjà. Des problèmes existent par rap-
recherche sur les politiques ; évaluation ; données port à la qualité des données et à la non-
statistiques nationales ; systèmes sectoriels d’in- harmonisation des conditions des bailleurs de
formation de gestion et données spatiales ; or- fonds en matière de S&E — trop de données
ganisations de la société civile et S&E ; et pour peu d’information. Ce qui exacerbe ces
informations financières. Quatre bailleurs de fonds problèmes du point de vue de l’offre est le fait que
au moins fournissent un appui financier en faveur dans la plupart des autres pays, la demande par
du NIMES, à hauteur de quelque 7,5 millions de l’État des données de S&E est faible.
dollars sur une période de trois ans, en plus des
apports propres de l’État. Il serait certes irréaliste de s’attendre à ce que la
plupart des pays africains mettent sur pied des sys-
Le NIMES réduit le très grand nombre d’indica- tèmes de S&E intégrés et fiables, mais il existe un
teurs de performance, en particulier au niveau sec- certain nombre de mesures importantes qu’ils
toriel, et met un accent particulier sur les produits, pourraient envisager. Voici présentée ci-dessous
les réalisations et les impacts, ainsi que sur la dé- une liste dont les pays africains et d’autres pays
finition des objectifs chiffrés. La Banque mon- engagés dans le processus de DSRP pourraient
diale et sept autres bailleurs de fonds élaborent s’inspirer avec ou sans l’appui des bailleurs de
désormais une stratégie conjointe d’aide à l’Ou- fonds. Les avantages, les coûts et les limites de cer-
ganda3, fondée sur les buts et les objectifs du tains de ces outils de S&E sont présentés dans
Plan d’action national d’éradication de la pau- Suivi & évaluation : Quelques outils, méthodes
vreté (PEAP). Dans une large mesure, ces bailleurs & approches (IEG 2004b) :
de fonds utilisent les informations tirées du sys-
tème S&E du gouvernement pour évaluer leurs • Systèmes de gestion de l’information finan-
propres performances. Toutefois, ils continuent cière aux fins d’appuyer un meilleur suivi des
de mener des évaluations distinctes. dépenses publiques
• Enquêtes de suivi des dépenses publiques en
En plus du NIMES, le Gouvernement ougandais vue d’identifier les « fuites » et de suivre les ef-
s’est également engagé dans un processus visant fets de la corruption
à améliorer ses performances et renforcer sa res- • Enquêtes sur satisfaction du client à l’égard
ponsabilité, par l’adoption d’une gestion axée des prestations de services et les perceptions
sur les résultats au sein des administrations pu- de la qualité des services publics
bliques, et l’établissement de liens avec le pro- • Évaluations rapides, par exemple, des projets
cessus budgétaire et l’évaluation des performances ou programmes à problème
du personnel. L’action des pouvoirs publics dans • Collectes de données statistiques nationales ou
ce sens porte sur les mesures visant à renforcer sectorielles, en particulier sur les priorités na-
aussi bien la volonté politique des gouvernants tionales telles que les ODM

52
9 : L E C A S PA R T I C U L I E R D E L’ A F R I Q U E

• Données administratives des ministères de S&E. En cas de faible utilisation, il est néces-
sectoriels. saire d’en identifier les raisons, par exemple,
l’ignorance de son existence, sa faible demande,
La seule mise en garde par rapport à cette liste est la mauvaise qualité des données considérées non
que dans certains cas, le moins vaut le plus. Un fiables, ou le manque de personnel capable d’ana-
danger à éviter est la tendance consistant à mettre lyser et d’exploiter ces informations. Cela per-
au point un système de S&E trop complexe. Il im- met d’identifier les étapes nécessaires à
porte donc de suivre attentivement la mesure l’amélioration de l’offre ou à l’augmentation de la
dans laquelle on utilise chaque type d’informations demande en d’informations de S&E.

53
TROISIÈME PARTIE
Enseignements

N
ombre de pays développés et en développement ont accumulé une

expérience substantielle en matière d’établissement des systèmes

de S&E. Que ces enseignements soient cohérents à l’échelle de dif-

férents pays et régions n’est nullement surprenant ; ils reflètent par ailleurs

l’expérience internationale relative aux autres types de renforcement des ca-

pacités du secteur public (chapitre 10). La question de l’utilisation des infor-

mations relatives au S&E se trouve au cœur du débat sur la performance et

la viabilité d’un système de S&E. L’utilisation est fonction de la nature et de

la solidité de la demande d’informations relatives au S&E — en d’autres

termes, des mesures incitant à utiliser le S&E. On peut estimer que les pays

dont la demande de S&E est faible ou nulle sont confrontés à un obstacle in-

surmontable dans leurs efforts visant à mettre en place des systèmes de S&E,

mais une telle façon de voir les choses est de loin trop pessimiste. Il existe des

moyens d’accroître la demande en renforçant les mesures d’encouragement,

et ceux-ci sont examinés au chapitre 11 qui traite de la carotte, du bâton et

du sermon destinés à assurer le recours aux informations relatives au S&E.


10
Mise en place des systèmes
nationaux de S&E —
Enseignements tirés de
l’expérience

L
e volume croissant des publications sur l’expérience en matière de ren-
forcement des systèmes publics de S&E tend à indiquer que les spécia-
listes s’accordent généralement sur un certain nombre d’enseignements
clés (Encadré 10.1) (voir Banque africaine de développement et Banque mon-
diale 1998 ; Boyle 2005 ; Compton, Baizerman et Stockdill 2002 ; CAD 2006 ;
Banque de développement de l’Afrique australe, Banque africaine de déve-
loppement et Banque mondiale 2000 ; Mackay 1998d, 2004 ; May et al. 2006 ;
OCDE 1997a, 1997b, 1998a, 2004 ; Schiavo-Campo 2005 ; PNUD 2000).
Le premier et le plus grand enseignement est adoptées pour effectuer et utiliser le S&E. Il ne suf-
qu’une demande substantielle émanant des fit pas de décréter que le S&E est important pour
pouvoirs publics est une condition préa- qu’il en soit ainsi ; une telle démarche n’est sus-
lable au succès de l’institutionnalisation. ceptible que de susciter un intérêt de pure forme
Autrement dit, un système de S&E doit générer et il est assurément peu probable qu’elle dé-
des informations relatives au suivi et des conclu- bouche sur des informations relatives au S&E de
sions de l’évaluation qui sont jugées très utiles par bonne qualité. À moins qu’ils ne s’accompagnent
les principales parties prenantes, qui servent à d’un train d’autres mesures, de tels efforts visant
améliorer la performance des pouvoirs publics, et à assurer une conformité imposée d’en haut peu-
qui répondent à une demande suffisante pour vent facilement mener à une observation de fa-
que la fonction de S&E permette d’assurer son fi- çade, voire à une résistance active.
nancement et sa viabilité dans un avenir prévisible.
Il n’est pas facile de susciter une demande sub-
Les efforts visant à mettre en place un système de stantielle de S&E. En outre, une entrave à la de-
S&E ne porteront leurs fruits que s’il existe une mande est la méconnaissance de ce en quoi
demande réelle ou que celle-ci ne puisse être consiste effectivement le S&E, tout particulière-
crée à dessein, tout particulièrement en s’assurant ment dans les situations où il est nécessaire d’ob-
que de puissantes mesures incitatives ont été tenir l’adhésion des principales parties prenantes

57
III: ENSEIGNEMENTS

Encadré 10.1. Éléments des systèmes S&E qu’elles apprécient fortement. Il peut être
nationaux efficaces de S&E convaincant d’attirer l’attention sur le volume
croissant de données factuelles qui montrent que
• Demande gouvernementale substantielle l’investissement dans le S&E est très rentable
• Rôle important des incitations (Bamberger, Mackay et Ooi 2004).
• Diagnostic du S&E existant comme mesure initiale
• Rôle clé d’un puissant « champion » de la cause L’offre est également importante — assurer la for-
• Pilotage à partir du centre par un ministère com- mation en S&E, fournir des manuels, élaborer
pétent les procédures, trouver les bons consultants en
• Conception du système non caractérisée par une matière de S&E, etc. ; l’expertise en S&E est as-
complexité excessive surément nécessaire si l’on veut produire des in-
• Fiabilité des systèmes de données ministériels formations relatives au S&E qui sont fiables. Ceux
• Degré d’utilisation comme mesure du succès qui considèrent le S&E d’un point de vue tech-
• Formation en matière de S&E et d’utilisation du nocratique en tant qu’activité technique auto-
S&E nome tendent à se concentrer uniquement sur ces
• Limitation du recours aux lois, décrets et règle- questions.
ments gouvernementaux
• Dispositifs structurels pour assurer l’objectivité L’offre de la production des informations rela-
et la qualité du S&E tives au S&E est toutefois moins importante que
• Fourniture d’un effort à long terme, ce qui exige la demande. Si la demande de S&E est forte, il peut
de la persévérance se révéler relativement simple d’améliorer l’offre
• Élaboration de façon non linéaire et moins pré- pour y répondre, mais l’inverse n’est pas vrai. La
visible demande émanant des pouvoirs publics est cru-
• Évaluation régulière du système de S&E lui-même. ciale pour l’utilisation des informations relatives
au S&E et pour le financement continu des acti-
vités de S&E. C’est pourquoi il convient d’obte-
telles les ministres ou les ministères des Finances nir l’adhésion des principales parties prenantes,
avant de déployer d’importants efforts pour créer telles que les ministres ou les ministères des Fi-
et financer une fonction de S&E. L’on se trouve nances si l’on veut déployer des efforts substan-
donc fréquemment devant un cercle vicieux : tiels pour créer, renforcer ou financer les fonctions
l’absence de demande de S&E de la part des pou- de S&E. Le recours permanent au financement des
voirs publics tient au fait que la nature et l’apport bailleurs de fonds et à leurs activités de S&E n’est
potentiel du S&E sont mal compris ; cette mau- pas une solution durable.
vaise compréhension est due au manque d’ex-
périence en matière de S&E ; et le manque Les incitations jouent un rôle important
d’expérience s’explique par la faiblesse de la dans la demande. Il faut de solides mesures d’in-
demande. citation pour que le S&E s’effectue convenable-
ment, et plus particulièrement pour que les
Pour surmonter ce dilemme, il faut sensibiliser da- informations relatives au suivi et les conclusions
vantage au S&E — l’éventail de ses outils, mé- de l’évaluation soient véritablement utilisées. En
thodes et techniques — et à ses utilisations d’autres termes, de solides mesures d’incitation
potentielles. La demande peut augmenter une sont nécessaires au succès de l’institutionnalisa-
fois que les principales parties prenantes au sein tion de la fonction de S&E (voir l’encadré 10.2 sur
de l’administration commenceront à mieux com- l’expérience de l’Irlande par exemple). Cette re-
prendre le S&E, lorsqu’elles découvriront des marque concorde également avec les abondantes
exemples de systèmes de suivi et de rapports publications sur la réalisation de tout type de ré-
d’évaluation très efficaces au plan du coût, et forme institutionnelle, tout particulièrement dans
quand elles seront informées du fait que d’autres le contexte de la gestion du secteur public et
administrations ont mis en place des systèmes de d’une gouvernance saine (pour un examen ap-

58
1 0 : M I S E E N P L A C E D E S S Y S T È M E S N AT I O N A U X D E S & E — E N S E I G N E M E N T S T I R É S D E L’ E X P É -

Encadré 10.2. Enseignements tirés de l’expérience irlandaise

Irlande a élaboré son système public d’évaluation pour ré- Un autre enseignement est l’avantage que présente un examen
L’ pondre aux conditions officielles d’adhésion à l’Union eu-
ropéenne. Depuis l’accession du pays à l’Union, son système a
périodique des progrès dans le cadre de l’élaboration d’un tel
système et de sa réorientation — parfois de façon substantielle
été renforcé pour des raisons internes liées au désir de l’admi- — en conséquence. L’Irlande continue d’expérimenter d’autres
nistration d’assurer une meilleure utilisation des ressources améliorations à apporter à son système d’évaluation.
dans tous les secteurs de dépenses publiques. L’Initiative gou- L’Irlande dispose d’une modeste réserve d’évaluateurs, et cette
vernementale d’examen des dépenses traduit cette orientation. situation constitue un obstacle au système, même si elle a permis
Pour les pays en développement, l’Irlande fournit un certain au pays d’en comprendre rapidement les exigences. La modeste
nombre d’enseignements aussi bien sur les facteurs de succès de réserve de compétences a souligné l’importance d’une utilisation
la mise en place d’un système de S&E que sur les obstacles aux- attentive de cette ressource ; elle a des implications à la fois sur
quels se heurte cette mise en place. Un des enseignements qui se la demande et sur l’offre.
dégagent est que de fortes pressions externes, liées à la disponi- En ce qui concerne la demande, cette situation tend à indiquer
bilité d’importantes ressources, peuvent servir de catalyseur clé qu’il importe de ne pas essayer de mettre au point un système ex-
pour l’adoption d’un système de S&E. (Une analogie pour les pays cessivement complexe ou exigeant. Au contraire, il vaut mieux se
pauvres est la condition relative à la préparation des stratégies de concentrer sur les activités de S&E les plus efficaces au plan du
réduction de la pauvreté, assorties de systèmes de S&E connexes, coût ; ces activités sont déterminées par l’utilisation probable des
dans le contexte de l’allégement de la dette au titre de l’Initiative informations relatives au S&E qui sont produites. Pour ce qui est
en faveur des pays pauvres très endettés.) Une fois créé, un sys- de l’offre, il serait avantageux d’œuvrer à renforcer les capacités
tème de S&E peut servir à des fins supplémentaires déterminées limitées de façon planifiée — par exemple grâce à une informa-
à l’initiative du pays. Évidemment, la demande émanant du pays tion ciblée, à l’élaboration de programmes, au renforcement des
et les incitations à utiliser les informations relatives au S&E sont compétences en cours d’emploi, aux détachements, à l’appui à
très importantes pour l’institutionnalisation et la viabilité d’un tel l’établissement de réseaux, à l’examen régulier de la qualité du S&E,
système. Encore une fois, le cas de l’Irlande souligne à quel point ou à la conclusion de contrats périodiques avec les cabinets-
il est difficile d’établir un lien direct entre les informations relatives conseils. En cas de recours aux fonctionnaires pour effectuer les
au S&E et la prise de décisions budgétaires ainsi que les autres évaluations, il importe tout particulièrement de veiller à ce qu’ils
processus d’affectation des ressources. Des procédures et des pra- soient suffisamment formés et qu’ils reçoivent des directives ap-
tiques officielles peuvent se révéler nécessaires pour établir des propriées ainsi que d’autres appuis leur permettant de s’acquit-
liens directs. ter efficacement de leurs tâches.
Source : Boyle 2005.

profondi des publications, voir Banque mondiale tant à croire que le simple fait de rendre dispo-
1997a ; OCDE 2004, 2005). nibles les informations relatives au S&E en ga-
rantirait l’utilisation.
Le simple fait de disposer d’informations rela-
tives au S&E ne garantit en rien leur utilisation ef- Aucune administration ne met en place un sys-
fective, que ce soit par les responsables des tème de S&E pour la raison que celui-ci a une va-
programmes dans le cadre de leur travail quoti- leur intrinsèque. Les administrations se dotent de
dien, par les responsables du budget auxquels il systèmes de S&E parce que ces systèmes 1) ap-
incombe de donner des conseils sur les options puient directement leurs activités de base, telles
de dépense, ou par un congrès ou un parlement que le processus budgétaire ; la planification na-
qui se charge de veiller au respect de l’éthique de tionale ; l’élaboration de politiques et de pro-
responsabilité. Cette situation met en évidence à grammes ; et la gestion des ministères, des
la fois les risques d’une conception technocratique organismes publics, des programmes et des acti-
selon laquelle le S&E est un ensemble d’outils vités, ou 2) fournissent des informations pour
dotés d’une valeur intrinsèque, et l’erreur consis- appuyer les rapports de responsabilité. Il s’ensuit

59
III: ENSEIGNEMENTS

que les systèmes de S&E sont souvent liés aux ré- que ceux du Chili, de la Colombie et de l’Austra-
formes du secteur public telles que la budgétisa- lie (examinés respectivement, dans le cas de
tion fondée sur les résultats, l’élaboration des chaque pays, dans May et al. 2006 ; IEG 2003b [cha-
politiques basée sur des données factuelles, la pitre 11] ; Mackay 2004). Cela dit, la présence de
gestion axée sur les résultats, etc. ; de telles ini- puissants défenseurs du S&E ne constitue qu’un
tiatives partagent un certain nombre d’éléments facteur de succès ; elle n’offre pas de garantie de
communs (voir le chapitre 3). succès. On peut citer des exemples, tels que ceux
de l’Égypte, où l’appui accordé par un groupe de
Dans le cadre des travaux visant à mettre en place ministres clés au S&E a été considérablement
ou à renforcer un système public de S&E, il est compromis par des cadres intermédiaires scep-
utile de commencer par un diagnostic des tiques (IEG 2004a ; Schiavo-Campo 2005).
fonctions de S&E qui existent à l’heure ac-
tuelle, ainsi que de leurs forces et faiblesses — La mise en place d’un système de S&E à l’échelle
du point de vue tant de la demande que de l’offre. du gouvernement — qu’il consiste exclusivement
Il convient de déterminer clairement l’ampleur de en un système d’indicateurs de performance ou
l’utilisation effective (par opposition à celle de l’uti- qu’il englobe divers types d’évaluation et d’exa-
lisation souhaitée) des informations relatives au men — nécessite un effort considérable. Il faut en
S&E, ainsi que les diverses façons dont elles sont effet recruter et former le personnel qui sera
utilisées. De tels diagnostics constituent en eux- chargé d’effectuer ou de gérer le S&E, et utiliser
mêmes une forme d’évaluation, et ils sont utiles leurs conclusions ; mettre en place une infra-
non pas simplement en raison des informations structure administrative pour décider des pro-
et des enseignements qu’ils offrent, mais aussi grammes publics à évaluer et des questions à
parce qu’ils peuvent être un instrument permet- aborder dans chaque évaluation ; et établir des sys-
tant de sensibiliser davantage les parties pre- tèmes de données et des procédures de collecte
nantes au sein de l’administration, de la société d’informations relatives au S&E ainsi que d’éta-
civile et de la communauté des bailleurs de fonds blissement de rapports à ce sujet.
à l’importance du S&E, ainsi qu’à la nécessité de
mettre en place un nouveau système ou de ren- Elle exige par ailleurs une supervision active du
forcer les systèmes existants. système de S&E par les hauts responsables, les-
quels sont habituellement très occupés. À l’instar
Une autre dimension de la demande, et un autre d’autres systèmes, dans les domaines tels que la
facteur de succès, est la présence d’un puissant gestion financière ou la passation des marchés, il
défenseur — un ministre ou haut responsable faut déployer des efforts soutenus pendant un cer-
influent qui soit en mesure de prendre la tête tain nombre d’années pour faire fonctionner ef-
des efforts visant à institutionnaliser le S&E, de ficacement un système de S&E. L’OCDE a conclu :
convaincre ses collègues de son caractère priori-
taire, et de consacrer des ressources considé- Il faut du temps pour mettre au point un
rables à la création d’un système de S&E applicable système de mesure des performances et
à l’ensemble du secteur public. Un défenseur pour l’intégrer dans un système de gestion.
doit posséder une certaine connaissance du S&E, Aucun pays membre de l’OCDE ne consi-
du point de vue des outils et des méthodes, et dère facile d’élaborer un système de mesure
comprendre son utilité potentielle pour l’admi- des performances. Au contraire, c’est un
nistration —pour une ou plusieurs des quatre exercice perçu comme épuisant et néces-
principales utilisations des informations relatives sitant une surveillance et un contrôle per-
au S&E (telles que décrites au chapitre 3). manents (OCDE 1997a, p. 24).

Les défenseurs officiels du S&E ont joué un im- Il s’ensuit qu’une autre caractéristique des sys-
portant rôle dans la création de quelques-uns tèmes gouvernementaux efficaces de S&E est la
des systèmes publics de S&E les plus efficaces, tels gérance de ce processus par un ministère

60
1 0 : M I S E E N P L A C E D E S S Y S T È M E S N AT I O N A U X D E S & E — E N S E I G N E M E N T S T I R É S D E L’ E X P É -

compétent qui est à même de concevoir, établir blement celui du Mexique, où le Secrétariat au dé-
et gérer un système de S&E. Dans nombre de pays veloppement social (SEDESOL), un ministère
développés et de pays à revenu intermédiaire- compétent et respecté, gère un système de S&E
tranche supérieure (Australie, Canada, Chili et qui met l’accent à la fois sur les évaluations qua-
États-Unis par exemple), ce rôle a échu au mi- litatives et les évaluations d’impact. Ce ministère
nistère des Finances. Il est assurément utile que s’emploie par ailleurs à renforcer son système
l’entité institutionnelle chef de file en matière de d’indicateurs de performance pour mieux ap-
S&E soit proche du centre du pouvoir (par puyer les évaluations qu’il effectue (Hernandez
exemple le cabinet d’un président) ou du pro- 2006).
cessus budgétaire (Bedi et al. 2006). L’expérience
de l’Amérique latine fait apparaître également la À l’origine de l’initiative de ce ministère sectoriel
nécessité de préciser le rôle et les responsabilités se trouve une loi adoptée par le Congrès et ren-
des principales parties prenantes (Encadré 10.3). dant obligatoire l’évaluation des programmes so-
ciaux. Craignant que le pouvoir exécutif ne se
Dans certains pays, des ministères sectoriels com- serve de ses programmes sociaux comme d’une
pétents ont mis en place de solides systèmes de monnaie pour acheter des votes, le Congrès avait
S&E. L’exemple le plus remarquable est proba- exigé la présentation de solides données attestant

Encadré 10.3. L’expérience des systèmes de S&E de l’Amérique latine

ne conférence régionale organisée conjointement par la des Finances, cabinet du président, ministères sectoriels et
U Banque mondiale et la Banque interaméricaine de déve-
loppement (BID) en juin 2005 s’est penchée sur l’expérience
congrès. Il est par ailleurs crucial d’adopter les mesures ap-
propriées pour inciter ces parties prenantes à jouer un plus
des cinq pays chefs de file ou prometteurs d’Amérique latine, à grand rôle dans le S&E.
savoir le Brésil, le Chili, la Colombie, le Mexique et le Pérou. Plu- • Le renforcement des systèmes de S&E n’est pas unique-
sieurs de ces pays ont su créer et institutionnaliser des systèmes ment — ni même principalement — une question d’offre exi-
de S&E avec beaucoup de succès. geant une « solution technique ». Pour qu’un système de
Il ressort des différences expériences nationales qu’il n’existe S&E soit efficace et durable, les informations relatives au suivi
pas de définition universelle d’un système de S&E efficace. Cer- et les conclusions d’évaluation doivent être utilisées de ma-
tains pays mettent l’accent sur un système d’indicateurs de per- nière intensive par toutes les parties prenantes, notamment
formance, tandis que d’autres s’attachent à effectuer des les ministères sectoriels et, selon la façon dont a été conçu
évaluations (examen des programmes ou évaluations rigou- le système, la société civile.
reuses d’impact). En outre, la plupart des pays ont adopté une so- • Des ministères et des membres du personnel conservateurs
lution applicable à l’administration dans son ensemble, sous peuvent résister aux efforts de mise en œuvre des systèmes
l’impulsion des ministères des Finances ou du Plan alors que de S&E et d’utilisation du S&E comme outil de gestion et
quelques autres se concentrent davantage sur les systèmes d’élaboration du budget. Il est indispensable d’obtenir un ni-
sectoriels de S&E. Une des caractéristiques clés de la plupart des veau élevé d’engagement et d’appui constant de la part de
systèmes de la région est qu’ils reflètent des efforts déployés à puissants défenseurs du S&E aux niveaux des ministères et
l’initiative des pays, plutôt que des bailleurs de fonds, pour ins- des cadres supérieurs.
titutionnaliser le S&E. • Il existe un débat implicite sur la façon d’établir l’ordre de prio-
L’expérience commune de ces pays a permis d’acquérir une cer- rité des évaluations — se concentrer sur les programmes en
taine sagesse collective dans le domaine de l’élaboration de sys- difficulté, les projets pilotes, les programmes qui nécessitent
tèmes solides de S&E : de grandes dépenses ou font l’objet d’une grande publicité,
• Il est nécessaire de définir clairement le rôle et les respon- ou sur la recherche systématique requise pour répondre aux
sabilités des principaux acteurs — ministères du Plan et questions liées à l’efficacité des programmes.
Source : May et al. 2006.

61
III: ENSEIGNEMENTS

de la performance des programmes pour ap- tielle des informations sur la performance et dans
prouver leur financement. Cette loi a été in- leur sous-utilisation notable.
fluencée, au moins en partie, par la série
d’évaluations rigoureuses de l’impact du pro- Une erreur courante consiste à concevoir un
gramme Progresa. système de S&E trop complexe. Ce problème
s’observe plus facilement au niveau des indicateurs
Bien que ces évaluations d’impact soient parmi de performance — à titre illustratif, en 2002 le sys-
quelques-unes des plus chères jamais effectuées, tème de S&E de la Colombie, SINERGIA, avait
avec un coût se chiffrant en millions de dollars, accumulé 940 indicateurs de performance ; pour
leur qualité a également été largement recon- un pays comme la Colombie, un tel nombre était
nue, tout comme leur impact énorme sur l’ad- difficile à gérer dans le cadre de l’utilisation des
ministration. Elles ont contribué à la convaincre informations pour assurer la responsabilité, et il
de maintenir le programme Progresa et de a par la suite été réduit à environ 500 (Castro
l’étendre considérablement lorsqu’il s’est trans- 2006a, 2006b ; Mackay et al. 2007 ; annexe B du
formé en programme Oportunidades — dès présent ouvrage). En revanche, le système chilien
2005, l’État consacrait environ 6 milliards de dol- de S&E comprend 1 550 indicateurs de perfor-
lars à ce programme, lequel couvre quelque 21 mance. Ce nombre est certes très important, mais
millions de bénéficiaires, soit approximativement le ministère des Finances hautement compétent
le cinquième de la population mexicaine. est en mesure d’utiliser efficacement ces infor-
mations. La meilleure attitude serait de considé-
Ces évaluations, bien que coûteuses, peuvent rer le Chili comme l’exception qui confirme la
être considérées comme ayant été très efficaces règle générale selon laquelle le moins vaut le
au plan du coût. Dans d’autres pays, les gouver- plus.
nements trouvent que les exemples d’évaluations
ayant une très grande influence sont assez convain- Le nombre idéal d’indicateurs de performance est
cants en ce qui concerne l’utilité potentielle de également fonction du nombre de programmes
l’évaluation et les avantages que présente la mise et de services publics, ainsi que du type d’indi-
en place d’un solide système de S&E. cateurs de performance. Les indicateurs peuvent
se concentrer sur les diverses parties de la « chaîne
Comme on l’a mentionné au chapitre 3, le succès des résultats » d’un programme (définie dans
du S&E effectué au SEDESOL a contribué à l’annexe E) : ressources, activités, réalisations,
convaincre le puissant ministère des Finances et extrants et impacts. Les hauts responsables ten-
les services de contrôle de l’État à se joindre au draient à se servir d’indicateurs stratégiques de
conseil national d’évaluation pour créer un sys- haut niveau tels que les réalisations et les extra-
tème de S&E pour l’ensemble de l’administra- nts. Les cadres opérationnels et leur personnel,
tion. Cette situation met en évidence le puissant en revanche, auraient tendance à se concentrer
effet de démonstration que peut avoir un organe sur un plus grand nombre d’indicateurs opéra-
sectoriel qui obtient de bons résultats. tionnels qui ciblent les processus et les services.

Il convient de noter en passant que l’on a rarement La production régulière de ce type d’informations
vu, pour ne pas dire jamais, un ministère qui dé- détaillées sur la performance n’est qu’une pre-
cide d’établir un solide système de S&E en par- mière étape. Les hauts fonctionnaires et les cadres
tant de zéro. Même dans les pays africains les opérationnels n’auraient généralement pas le temps
plus pauvres, on dispose généralement d’un éven- d’examiner minutieusement les données brutes. Si
tail d’indicateurs de performance, et il existe aussi des analystes compétents examinent les données
un certain nombre d’évaluations effectuées par les et fournissent des résumés et des analyses aux
bailleurs de fonds. Le problème réside davantage hauts fonctionnaires, le travail de ces derniers peut
dans la piètre qualité et dans la couverture par- s’en trouver considérablement facilité.

62
1 0 : M I S E E N P L A C E D E S S Y S T È M E S N AT I O N A U X D E S & E — E N S E I G N E M E N T S T I R É S D E L’ E X P É -

Les systèmes de données des ministères sont pacités en matière de données peuvent se révé-
souvent — et peut-être en général — peu coor- ler utiles dans cette situation. Il constituerait le
donnés, aussi un seul ministère peut-il disposer point de départ de toute rationalisation nécessaire
de plusieurs systèmes de ce genre, chacun ayant de la collecte des données ou de l’amélioration
une définition des données, des sources de don- de leur qualité. Il apporterait aux données la cré-
nées, une périodicité de collecte et des méca- dibilité dont elles ont besoin pour être utilisées.
nismes d’assurance de la qualité (s’il y en a) qui
lui sont propres. À titre illustratif, le SEDESOL La vérification et la crédibilité des données relè-
du Mexique disposait de huit systèmes distincts vent en partie d’un problème technique de pré-
d’information de gestion en 2004 (Banque mon- cision, de procédure et de contrôle de la qualité.
diale 2004c). Un des problèmes auxquels est Ce problème de qualité technique est lié à la né-
confronté l’Ouganda est celui du nombre de sys- cessité, pour les données, d’être potentiellement
tèmes de S&E non coordonnés — on y compte utiles — les informations doivent être dispo-
jusqu’à 16 systèmes sectoriels et sous-sectoriels nibles en tant voulu, faciles à comprendre, co-
distincts, dont le gouvernement s’emploie ac- hérentes au fil du temps, etc. Il se pose aussi un
tuellement à assurer la coordination dans le cadre problème de franchise et d’objectivité ; à me-
d’une nouvelle stratégie nationale intégrée de sure que les informations sur la performance ga-
S&E (Hauge 2003 ; Gouvernement ougandais gneront en importance — plus particulièrement
2006). lorsqu’elles sont utilisées à des fins de respon-
sabilité — il apparaîtra des incitations à falsifier
Un des problèmes qui se posent dans les pays afri- les données2. Il s’agit clairement là d’une source
cains, et peut-être dans quelques autres régions, de préoccupation qui exige l’adoption de mesures
est que même si les ministères sectoriels re- précises pour vérifier les données, par exemple
cueillent un éventail d’informations sur la per- par le biais des audits indépendants des don-
formance, ces données sont souvent de qualité nées. La vérification pourrait aussi nécessiter
médiocre. Cela tient en partie au fait que la charge l’agrément des procédures de vérification des
de la collecte des données échoit, au niveau de données d’un organisme. Bien entendu, les ef-
l’entité, à des fonctionnaires surmenés qui doi- forts visant à falsifier les données peuvent éga-
vent fournir les données à d’autres fonction- lement être considérés comme un signe de succès
naires en service dans les bureaux de district et qui montre que le système de S&E commence à
à la capitale, mais qui reçoivent rarement le avoir un impact — c’est-à-dire qu’il fait réellement
moindre commentaire sur la façon dont les don- « mal ».
nées sont effectivement utilisées, à supposer
qu’elles le soient. Les données financières sur les dépenses liées
aux programmes comprennent un type essentiel
Cette situation entraîne un autre cercle vicieux : de renseignements, dont il faut assurer la qualité
la médiocrité des données tient en partie au fait et la disponibilité immédiate. Ces renseignements
qu’elles ne sont pas utilisées ; et leur non- sont fournis par les systèmes intégrés de gestion
utilisation s’explique en partie par leur qualité financière. Une saine budgétisation sur la base des
médiocre. Dans de tels pays, il existe trop de performances, la gestion des programmes et la res-
données, mais pas assez d’informations. Il s’en- ponsabilité gouvernementale exigent toutes qu’un
suit qu’un autre enseignement utile pour l’insti- lien soit établi entre les informations sur les coûts
tutionnalisation d’un système gouvernemental et les résultats des programmes publics. Ironi-
de S&E est la nécessité de mettre en place des quement, de nombreuses d’évaluations omet-
systèmes de données ministériels fiables — tent par la suite d’examiner le coût des
afin de contribuer à fournir les données brutes programmes qui sont évalués, aussi devient-il
dont les systèmes de S&E ont besoin1. Un audit plus difficile de mesurer l’efficacité du programme
des systèmes de données et un diagnostic des ca- au plan du coût.

63
III: ENSEIGNEMENTS

Les systèmes gouvernementaux de S&E ne vi- données, etc. Ils doivent également être des uti-
sent jamais à produire, en tant que fin en soi, des lisateurs avisés des évaluations ; en d’autres
volumes considérables d’informations sur la per- termes, il importe qu’ils soient en mesure de dé-
formance ou un nombre élevé d’évaluations de terminer si une méthode d’évaluation est erronée
grande qualité ; cela tiendrait d’une approche et ses conclusions peu fiables. Enfin, les députés
axée sur la demande du système de S&E. Au et leur personnel doivent être capables de com-
contraire, ils ont pour objectif d’assurer une uti- prendre les informations relatives au S&E.
lisation intensive de toutes les informations rela-
tives au S&E qui existent, pour assurer l’efficacité Un autre enseignement est qu’il existe des in-
au plan du coût du système de S&E — c’est-à-dire convénients lorsqu’un pays s’appuie sur un
son utilisation pour appuyer les fonctions de base décret, une loi, une décision du gouverne-
du gouvernement, comme nous l’avons déjà men- ment ou d’autres déclarations de haut niveau
tionné. L’utilisation est l’aune à laquelle se pour créer un système de S&E. En Amérique la-
mesure le succès d’un système de S&E ; in- tine et dans les pays francophones — ceux ayant
versement, il serait difficile de convaincre un mi- adopté le Code civil napoléonien —, il existe une
nistère des Finances sceptique qu’il doit continuer tradition de recours à de tels instruments juri-
à financer un système de S&E dont les réalisations diques pour créer et légitimer les systèmes de
ne sont pas utilisées. De tels systèmes seraient à S&E3. Ainsi, des pays comme la Colombie ont
juste titre considérés comme étant inutiles. une série de lois et de décrets rendant obligatoire
l’évaluation ; ces textes ont même été enchâssés
Pour assurer la bonne performance d’un système dans la constitution en 1991. Pourtant, dans les
de S&E, il convient de disposer de fonctionnaires années qui se sont écoulées depuis lors, le système
ou de consultants bien formés qui sont haute- public d’évaluation a connu des hauts et des bas,
ment qualifiés dans ce domaine. Pour cette raison, et ce n’est qu’après un changement de gouver-
la plupart des plans de renforcement des capaci- nement en 2002 que ce système a commencé à
tés mettent un accent considérable sur la four- enregistrer une solide performance (Castro 2006a,
niture d’une formation portant sur un 2006b ; Mackay et al. 2007).
éventail d’outils, de méthodes, d’approches
et de concepts de S&E. Les gouvernements qui Ce dont il s’agit ici n’est pas le fait qu’une loi ou
sous-traitent leurs évaluations doivent s’assurer que un décret prescrivant le S&E soit inutile, bien au
leurs fonctionnaires possèdent les compétences contraire, ces textes peuvent être des instruments
et l’expérience nécessaires pour superviser et utiles pour légitimer le S&E, tout particulière-
gérer ces évaluations — il faut pour cela un en- ment dans les pays où l’existence de tels instru-
semble plus large de compétences que l’aptitude ments juridiques est considérée comme
à simplement effectuer une évaluation. Il convient nécessaire pour que toute réforme gouverne-
par ailleurs que ces gouvernements comprennent mentale soit jugée utile et prise au sérieux4. Mais
les points forts et les faiblesses — l’efficacité relative une loi ou un décret ne peut à lui seul garantir que
au plan du coût — des divers types de S&E. les efforts considérables qui sont requis pour
mettre en place un système de S&E seront dé-
La formation d’initiation au S&E peut aussi per- ployés.
mettre de faire mieux connaître les informations
relatives au S&E et d’accroître la demande de ces Les dispositifs structurels d’un système de
informations. La formation doit également cou- S&E sont importants d’un certain nombre de
vrir l’utilisation des informations relatives au points de vue, dont l’un est la nécessité d’assu-
S&E. Les analystes du budget et les responsables rer l’objectivité, la crédibilité et la rigueur des in-
des programmes doivent être en mesure d’in- formations relatives S&E que produit le système.
terpréter les données de suivi pour comprendre En ce qui concerne les données, certains gou-
les tendances, les définitions de données, les in- vernements (celui du Chili par exemple) font
terruptions dans les séries chronologiques de appel à des comités externes d’audit pour rem-

64
1 0 : M I S E E N P L A C E D E S S Y S T È M E S N AT I O N A U X D E S & E — E N S E I G N E M E N T S T I R É S D E L’ E X P É -

plir cette tâche, tandis que d’autres recourent au performance ou dont les informations sont peu
bureau national d’audit (par exemple le Canada) fiables — voir l’encadré 3.1.
(Mayne et Wilkins 2005), et certains s’en re-
mettent principalement aux services d’audit in- Les pays qui se sont dotés d’un système public
ternes des ministères (l’Australie par exemple). de S&E constatent qu’il s’agit d’un effort de
Quelques-uns comptent sur le ministère cen- longue haleine, exigeant patience et per-
tral pour vérifier les données fournies par les mi- sévérance (OCDE 1997a ; Mackay 1998b ; Lahey
nistères sectoriels (cas de la Colombie entre 2005 ; May et al. 2006). Il faut du temps pour
autres), et d’autres ne disposent d’aucune stra- créer ou renforcer les systèmes de données ; for-
tégie d’audit (par exemple l’Argentine) (Zaltsman mer ou recruter du personnel qualifié ; prévoir,
2006a). gérer et effectuer les évaluations ; mettre en
place des systèmes de partage des informations
Pour ce qui est de l’évaluation, les questions d’ob- relatives au S&E entre les ministères concer-
jectivité et de crédibilité sont tout particulièrement nés ; et former le personnel à l’utilisation des in-
importantes. Comme nous l’avons relevé dans formations relatives au S&E dans son travail
l’encadré 3.1, le Chili (et la plupart des autres quotidien, que celui-ci ait trait aux opérations des
pays d’Amérique latine) remédie à ce problème programmes ou à l’analyse des politiques et à la
en confiant les évaluations à des entités exté- fourniture de conseils. L’Australie et le Chili ont
rieures telles que les institutions universitaires été en mesure de créer des systèmes d’évalua-
et les cabinets-conseils ; qui plus est, les évalua- tion qui fonctionnent correctement (du point de
tions sont commanditées et gérées par le minis- vue de la qualité, du nombre et de l’utilisation
tère des Finances, plutôt que par les ministères des évaluations) en l’espace de quatre ou cinq
sectoriels, mais le processus d’appel d’offres et ans ; mais dans le cas de la Colombie, il a fallu
d’attribution de contrats pour effectuer les éva- plus d’une décennie.
luations est totalement transparent5.
Cela ne signifie cependant pas qu’il soit judicieux
Cette approche présente comme inconvénient un d’adopter une approche lente et mesurée de la
manque d’adhésion aux conclusions de ces éva- mise en place d’un système de S&E. Les défen-
luations par les ministères sectoriels, lesquels seurs du S&E au sein de l’administration finis-
n’utilisent guère les évaluations commanditées par sent par s’en aller, et l’occasion propice d’agir —
le ministère des Finances. Ce problème peut tou- en fait, la priorité accordée par un gouvernement
tefois ne pas être si important au Chili où le puis- à tout type de réforme du secteur public — peut
sant ministère des Finances est en mesure disparaître aussi rapidement qu’elle s’est pré-
d’utiliser les conclusions d’évaluation non seule- sentée. Cette situation donne à penser qu’il
ment pour appuyer la prise de décisions budgé- convient d’adopter une approche consistant à
taires, mais aussi pour imposer aux ministères travailler de façon ciblée, résolue et même in-
sectoriels des changements au niveau de la ges- tense pour mettre en place les composantes du
tion et des programmes (Rojas et al. 2005). Ce sys- système de S&E, et que les gouvernements doi-
tème imposé à partir du centre est unique. vent les institutionnaliser le plus vite possible.

La plupart des gouvernements de l’OCDE comp- Il semble que la plupart des pays disposant
tent sur les ministères sectoriels pour effectuer d’un système de S&E efficace ne l’ont pas éla-
eux-mêmes les évaluations (Curristine 2005), boré de façon linéaire — c’est-à-dire en ayant
même si une telle pratique soulève des questions dès le départ une idée précise de la physionomie
au sujet de la fiabilité de telles autoévaluations. Aux éventuelle du système une fois que celui-ci serait
États-Unis, le Bureau de gestion et du budget pleinement développé, puis en réalisant pro-
(ministère des Finances) évalue la performance gressivement cette vision. Au contraire, il ressort
des programmes et marque les programmes qui de l’examen des résultats obtenus par des pays tels
n’ont pas d’informations relatives au S&E de leur que l’Australie (Mackay 2004), le Canada (Lahey

65
III: ENSEIGNEMENTS

2005), le Chili (Zaltsman 2006a ; se reporter éga- suit que les effets néfastes sur ce système parais-
lement au chapitre 7), la Colombie (Mackay et al. sent être tout simplement des dommages colla-
2007), l’Irlande (Boyle 2005) et les États-Unis téraux.
(Joyce 2004 ; Lahey 2005) que leur système de S&E
a été élaboré de façon progressive, voire parcel- La fréquence des corrections apportées à mi-
laire, le processus connaissant des faux départs et parcours à mesure que sont mis en place les sys-
des impasses dans son déroulement. tèmes de S&E fait apparaître un autre
enseignement qui se dégage de l’expérience, à sa-
Cette situation semble occasionnée en partie par voir qu’il est utile d’évaluer régulièrement un
les différents délais nécessaires pour mettre en système de S&E lui-même, dans le but peu sur-
place des fonctions précises de S&E — un système prenant de déterminer ce qui est efficace, ce qui
d’indicateurs de performance se rapportant à la est inefficace, et pourquoi. Il est extrêmement utile
réalisation d’examens des programmes ou d’éva- d’identifier la nature des difficultés rencontrées
luations rigoureuses d’impact. Elle paraît égale- et d’indiquer les changements possibles d’orien-
ment tenir à un certain nombre de corrections tation. De telles évaluations donnent l’occasion
apportées à mi-parcours, à mesure que devient évi- d’examiner à la fois les dimensions de l’équation
dent le progrès ou l’absence de progrès de telle liées à la demande et à l’offre, et d’établir avec pré-
ou telle initiative de S&E. On peut également cision le degré effectif — par opposition au degré
citer l’influence importante de facteurs extérieurs, prévu — d’utilisation des informations relatives
tels qu’un changement de gouvernement, qui au S&E, ainsi que les façons précises dont on se
peuvent non seulement modifier l’orientation sert de ces informations.
d’un système de S&E, mais entraîner un renfor-
cement considérable de celui-ci — comme ce fut La gestion rigoureuse, par le ministère des Fi-
le cas Colombie après 2002 et aux États-Unis après nances du Chili, du système de S&E de ce pays
2000. En raison d’un changement de gouverne- trouve son illustration dans l’examen des deux
ment, il est aussi possible qu’un système de S&E principales composantes relatives à l’évaluation de
soit considérablement réduit voire abandonné ce système qu’il a chargé la Banque mondiale
— comme on l’a vu en Australie après 1997 (cha- d’effectuer (Rojas et al. 2005). Le ministère a com-
pitre 8) et aux États-Unis après 1980 (GAO 1987). mandité cet examen d’une part pour appuyer la
gestion courante et l’amélioration du système de
Il semble exister une asymétrie plutôt préoccu- S&E, et d’autre part pour appliquer à lui-même
pante concernant les systèmes publics de S&E ; les mêmes normes de responsabilité en matière
leur mise en place est lente mais leurs activités de performance qu’il impose aux ministères et aux
peuvent être réduites rapidement. Dans le cas programmes qu’ils gèrent — le ministère des Fi-
des gouvernements qui ont en grande partie nances a naturellement communiqué au congrès
abandonné leur système de S&E, une telle mesure du Chili les conclusions de l’évaluation effectuée
semble refléter une préférence idéologique pour par la Banque mondiale. Un certain nombre de
une « administration de petite taille », plutôt guides diagnostiques sont disponibles pour ap-
qu’une décision mûrement réfléchie sur l’effica- puyer de telles évaluations des systèmes publics
cité au plan du coût du système de S&E ; il s’en- de S&E (voir le chapitre 12)6.

66
11
Mesures visant à
encourager le S&E —
comment créer la demande

L
es efforts visant à renforcer les systèmes publics de S&E sont souvent
considérés comme des solutions techniques — donnant lieu à l’amé-
lioration des systèmes de données, la réalisation d’évaluations de bonne
qualité, etc. Ces questions liées à l’offre sont assurément importantes, mais
le fait de s’y attaquer ne suffit pas pour renforcer les systèmes.
Au chapitre 10, nous avons relevé que la demande fonctionnant correctement peut avoir une énorme
est tout particulièrement importante pour insti- influence en suscitant de l’intérêt pour les activi-
tutionnaliser avec succès un système de S&E — tés de S&E ainsi que la demande de celles-ci. En
c’est-à-dire instituer une fonction efficace de S&E outre, la mise en évidence de l’efficacité au plan
au sein d’une administration, où les informations du coût des évaluations individuelles effectuées
relatives au S&E de bonne qualité sont utilisées dans d’autres pays peut également convaincre
intensément. La demande s’intéresse à l’utilisa- les décideurs du bien-fondé du S&E.
tion prioritaire des informations relatives au suivi
et des conclusions de l’évaluation pour appuyer Dans certains pays, tels que l’Égypte, les ministres
les activités de base du gouvernement. Ces in- clés ont acquis une bonne compréhension des
formations et conclusions sont utilisées notam- avantages potentiels du S&E. Pourtant, les efforts
ment pour faciliter la prise de décisions visant à institutionnaliser le S&E en Égypte ont été
d’affectation des ressources dans le processus considérablement compromis par les cadres
budgétaire ; aider les ministères à formuler leurs moyens qui n’ont pas adhéré à cette vision d’un
politiques et à entreprendre leurs travaux d’ana- système de S&E.
lyse ; faciliter la gestion courante et la prestation
des services publics ; et soutenir les rapports de Le principal problème qu’illustre cette situation
responsabilité. est la nécessité de s’assurer qu’au sein de l’ad-
ministration il existe des mesures suffisamment
Susciter une forte demande au sein d’un pays re- puissantes qui incitent à effectuer un suivi et une
lève cependant d’une toute autre réalité. Le fait évaluation de bonne qualité, et à utiliser de façon
de disposer d’exemples d’autres pays — tels que intensive les informations qui en résultent. En
le Chili, la Colombie et un certain nombre d’autres d’autres termes, de fortes incitations sont né-
pays de l’OCDE — qui ont consenti les efforts né- cessaires si l’on veut institutionnaliser avec suc-
cessaires à la mise en place d’un système de S&E cès la fonction de S&E. Cette situation souligne

67
III: ENSEIGNEMENTS

par ailleurs le fait qu’il importe de comprendre les budgétisation plus centralisé (comme celui du
mesures qui encouragent les ministères et les Chili — voir le chapitre 6). Enfin, si le S&E se veut
fonctionnaires individuels à effectuer — ou non un outil permettant d’appuyer la formulation et
— le S&E. l’analyse des politiques fondées sur des données
factuelles, alors il est davantage susceptible de
Un environnement du secteur public dans lequel mettre à contribution tous les ministères.
il est difficile pour les responsables de s’acquitter
de leurs tâches selon des normes élevées et de ma- Manifestement, chacune de ces utilisations pré-
nière systématique est peu propice au S&E. Les vues du S&E met en jeu différents ensembles de
responsables peuvent tout au plus se concentrer parties prenantes et donc de mesures d’incitation
sur des tâches quotidiennes de gestion définies — pour stimuler le système. Comme on l’a déjà
de façon restrictive. Ils ne sont pas disposés à mentionné, on tend à concevoir de façon trop am-
rendre des comptes au sujet de leur performance bitieuse les systèmes publics de S&E, de sorte à
s’ils n’ont pas une garantie certaine des ressources y inclure toutes les utilisations possibles des in-
mises à leur disposition ou s’ils n’exercent pas d’in- formations relatives au S&E (se reporter, par
fluence substantielle sur les réalisations de leurs exemple, au cas de la Colombie — annexe B).
activités. Dans un tel environnement, les res- Cette approche mettrait à contribution toutes les
ponsables considèrent naturellement le S&E parties prenantes et, partant, un ensemble plus
comme sans importance, potentiellement (et complexe de mesures d’incitation, et elle peut être
probablement) injuste à leur égard, et représen- irréaliste.
tant une menace plutôt qu’une aide.
Comme on le verra au chapitre 12, il importe
La nature des mesures encourageant le S&E est d’étudier la question des mesures d’incitation lors
fonction de la façon dont un pays prévoit d’utili- de la réalisation du diagnostic du système de S&E
ser les informations relatives au S&E. S’il entend d’un pays ou d’un ministère ; il s’agit également
se servir du S&E principalement pour venir en aide d’une question majeure lorsqu’on élabore un plan
aux cadres opérationnels de tous les ministères d’action pour renforcer un système de S&E.
et organismes publics sectoriels — ce qui cor- Comme on l’a déjà mentionné, les abondantes
respond à la fonction didactique du S&E —, alors publications sur la réalisation des autres types de
la culture générale de la fonction publique est im- réforme de la gouvernance insistent sur le fait
portante. Mais si l’activité de S&E est menée sur- qu’il importe de comprendre les mesures d’inci-
tout à des fins de responsabilisation, dans ce cas tation (Banque mondiale 1997b, chapitre 9).
le nombre des parties prenantes clés, dont la de-
mande de S&E revêtirait une importance cru- Trois types de mesures d’incitation sont présen-
ciale, serait nettement plus limité : le cabinet du tés au tableau 11.1 : la « carotte », le « bâton » et
président ou du premier ministre, le congrès ou le « sermon »1. Bon nombre de ces mesures ont
le parlement, les ministères des Finances et du été utilisées pour faciliter l’institutionnalisation du
Plan, et le vérificateur général des comptes. S&E dans les administrations des pays dévelop-
pés et des pays en développement. La « carotte »
Si le S&E est destiné à servir d’outil de budgéti- constitue un encouragement positif et une ré-
sation fondée sur la performance, alors le minis- compense pour la réalisation des activités de S&E
tère des Finances et probablement quelques et l’utilisation de leurs conclusions. Il s’agit par
autres ministères centraux seraient les princi- exemple, de reconnaître publiquement les mérites
pales parties prenantes. Les ministères sectoriels des d’une reconnaissance publique des minis-
seraient également des parties prenantes dans tères qui effectuent le S&E ou de prendre des me-
un système multisectoriel de budgétisation fon- sures d’incitation financières à leur profit.
dée sur la performance (tel que celui de l’Australie
— voir le chapitre 8), mais ils joueraient un rôle
beaucoup moins important dans un système de — Suite du texte à la page 72 —

68
Tableau 11.1. Mesures d’incitation en faveur du S&E — la carotte, le bâton et le sermon

La carotte Le bâton Le sermon

• Octroi de prix ou de récompenses — appréciation, par les • Adoption de lois, décrets ou règlements rendant obligatoires • Déclarations d’appui de haut niveau par le
hautes instances, de l’évaluation fondée sur les bonnes le S&E. président, les ministres, les chefs de
pratiques ou les pratiques optimales, ou de la gestion axée • Prescriptions officielles relatives à la planification et à la départements ministériels, les adjoints aux
sur les résultats. réalisation du S&E, ainsi qu’à l’établissement de rapports ministres, etc.
• Adoption d’une approche collégiale de S&E entre les sur le S&E — institution d’une dynamique organisationnelle • Énoncés de la vision du gouvernement sur
ministères clés — ce qui permet d’éviter une situation dans si les ministères sont contraints d’établir des comités et la réforme du secteur public, la bonne
laquelle un ministère concurrent contrôle les informations d’autres structures formelles de S&E. gouvernance ou les plans nationaux, qui
relatives au S&E. • Rétention d’une partie du financement destiné aux mettent en exergue les avantages du S&E.
• Fourniture d’incitatifs budgétaires en faveur des programmes ministères/organismes publics qui n’effectuent pas le S&E. • Répétition fréquente du message d’appui
très performants — fonds d’appel d’offres du Chili par • Prise de dispositions pour assurer une plus grande lors des réunions avec les cadres
exemple (Attention : le rapport souhaitable entre la transparence par rapport à la performance de supérieurs, les chefs de section et d’autres
performance et le financement est souvent flou. À titre l’administration et des responsables, en publiant membres du personnel du ministère.
illustratif, il est parfois nécessaire de fournir un financement régulièrement des informations sur les objectifs, les • Organisation de séminaires/ateliers de
supplémentaire à un programme dont la performance laisse réalisations et la qualité des services de tous les sensibilisation pour démystifier le S&E,
à désirer, afin d’en combler les lacunes — se reporter à la programmes. La comparaison de la performance des donner des assurances quant à sa
partie VI, question 15). différentes entités administratives (États, provinces, faisabilité, expliquer les avantages qu’en
• Octroi aux ministères/organismes d’incitatifs liés au budget districts, municipalités) est tout particulièrement efficace retireraient les participants.
pour les encourager à améliorer leur performance (ce qui pour souligner les bonnes/mauvaises performances, mettre • Utilisation d’exemples concrets d’activités
donne de l’importance au fait de disposer d’informations l’accent sur ceux qui obtiennent de bons résultats, et de S&E ayant eu une influence, pour
relatives au S&E pour mettre en évidence la performance) embarrasser ceux dont les résultats sont médiocres. démontrer leur utilité et leur efficacité au
— à titre d’exemple, le ministère des Finances offre une • Mise en relief — et large diffusion — des informations plan du coût.
plus grande certitude quant au financement, transmet les relatives au S&E qui sont critiques dans les rapports soumis • Explication, à l’intention des responsables
estimations par le biais d’un cadre de dépenses à moyen au parlement/congrès. Cela peut se révéler délicat au plan et du personnel, de la façon dont le S&E
terme, d’accords sur les ressources, de la budgétisation des politique et extrêmement embarrassant pour le peut les aider à fournir de meilleurs
portefeuilles et de la budgétisation des programmes. gouvernement. services à leurs clients.
• Octroi d’une plus grande autonomie de gestion aux • Définition d’objectifs de performance difficiles mais réalistes • Expérimentation de quelques évaluations
programmes dont la performance est satisfaisante. (sur une base trimestrielle ou annuelle par exemple) que rapides et évaluations d’impact pour
• Inclusion de seuils de performance axés sur les réalisations chaque ministère, organisme public et responsable de démontrer leur utilité.
— ou les extrants — dans les prêts accordés par la Banque programmes est tenu d’atteindre. • Organisation de conférences/séminaires
mondiale (et d’autres bailleurs de fonds) aux gouvernements • Inclusion d’indicateurs de performance pertinents sur les systèmes de S&E fondés sur les
— par exemple le prêt de la Banque à l’appui du programme (réalisations, extrants) dans les évaluations annuelles de la bonnes pratiques dans certains ministères,
Bolsa Familia du Brésil. performance des responsables.

(Suite sur la page suivante)


11: MESURES VISANT À ENCOURAGER LE S&E — COMMENT CRÉER LA DEMANDE

69
70
Tableau 11.1. Mesures d’incitation en faveur du S&E — la carotte, le bâton et le sermon (suite)

La carotte Le bâton Le sermon


• Récompenses pour le respect des exigences officielles en • Imposition de l’obligation d’établir un rapport sur les écarts dans d’autres pays, etc. — cela démontre
matière de S&E (en ce qui concerne notamment le S&E de de performance dans les cas où les objectifs ne sont pas ce que peuvent produire les systèmes de
haute qualité). atteints — cela nécessite que les secteurs de programme S&E.
III: ENSEIGNEMENTS

• Octroi de financements supplémentaires aux ministères pour expliquent leur piètre performance (Colombie). • Création d’un réseau de fonctionnaires
effectuer le S&E. • Mise en exergue, le cas échéant, de la mauvaise qualité de travaillant sur le S&E — ce qui aide à
• Gestion rigoureuse des connaissances provenant des la planification de l’évaluation, des systèmes de données, mettre en évidence les exemples de bonnes
conclusions de l’évaluation — à titre illustratif, des résumés des indicateurs de performance, des techniques de S&E, de pratiques en matière de S&E dans les
analytiques facilement compréhensibles et ciblant des l’établissement de rapports sur le S&E — cette situation ministères, démontre leur faisabilité et
publics clés peuvent réduire le coût de l’accès aux embarrasse ceux qui obtiennent de mauvais résultats (une contribue à encourager l’adoption des
conclusions et de l’assimilation de celles-ci. institution supérieure de contrôle, un ministère central tel normes de qualité.
• Organisation régulière de « réunions-bilan » d’équipe que le ministère des Finances ou le cabinet du président, • Appui des bailleurs de fonds multilatéraux
(auxquelles participent les responsables et le personnel) voire l’audit interne peuvent jouer ce rôle). et bilatéraux aux activités publiques de
pour préciser les objectifs, examiner la performance de • Instauration de sanctions pour le non-respect des S&E, par le biais de leurs prêts aux
l’équipe et déterminer les moyens de l’améliorer. recommandations des évaluations convenues (Chili). gouvernements — un tel concours permet
• Contrats de performance ou rémunération fondée sur la • Organisation de rencontres de discussion ouverte entre le de mettre en évidence et d’appuyer le S&E.
performance pour les fonctionnaires — c’est-à-dire l’octroi président et les citoyens pour mettre en évidence les cas de
d’une récompense directe pour la performance. À titre bonne/mauvaise performance de l’administration (Colombie).
illustratif, les nouveaux hauts fonctionnaires de Ceará • Mise à contribution de la société civile dans le cadre du S&E
(Brésil) reçoivent jusqu’à 40 % de leur rémunération sous de la performance de l’administration — il en résulte des
forme de primes de performance, lesquelles sont basées sur pressions en faveur de l’amélioration de la performance et
la réalisation des objectifs des indicateurs de performance. de la responsabilisation (Bangalore, Bogotá).
• Mesures d’incitation à l’intention du personnel — utilisation • Recours aux mécanismes de responsabilisation tels que les
de l’expérience en matière de S&E comme critère de fiches de notation par les citoyens — diffusion des mauvais
recrutement, de promotion et de reconnaissance résultats des organismes publics.
professionnelle du personnel. • Formulation, à l’intention du ministère, d’observations sur la
• Appui aux domaines de programmes pour effectuer le S&E qualité des conseils en matière de politique — critique des
— par le biais de conseils donnés par le service conseils de médiocre qualité (par exemple, des conseils qui
d’assistance, de manuels et d’autres ressources ne reposent pas sur de solides données factuelles).
documentaires, de la formation gratuite, d’observations sur • Instauration des contrats de performance ou de la
les termes de référence, de projets de rapport d’évaluation, rémunération fondée sur la performance — application de
etc. Cela facilite (réduit le coût de) la réalisation du S&E, et sanctions directes en cas de mauvais résultats.
l’utilisation de leurs conclusions.
• Adoption de mesures pour veiller à ce que les fournisseurs
de données — au niveau de l’installation par exemple —
comprennent comment leurs données sont utilisées et
pourquoi il importe de fournir des données exactes et en
temps utile.
• Formation aux responsables et au personnel des
programmes, ainsi qu’aux analystes du budget, pour leur
faire comprendre en quoi consiste le S&E et comment s’en
servir pour améliorer les travaux en cours.
• Identification et mise en évidence des exemples de bonnes
pratiques en matière de planification de l’évaluation, de
techniques de S&E, d’établissement de rapports sur
l’évaluation — ce qui permet d’offrir des modèles que
d’autres peuvent facilement imiter (une institution
supérieure de contrôle, un ministère central tel que le
ministères des Finances ou le cabinet du président, voire
l’audit interne peuvent jouer ce rôle).
• Retour systématique d’information entre les ministres et les
ministères sur la qualité des conseils en matière de
politique, pour chaque note d’information sur les politiques
transmise aux ministres. Saluer et mettre en exergue les
conseils de bonne qualité — cas du ministère australien de
l’Emploi par exemple.
• Création à l’échelle de l’ensemble de l’administration d’un
réseau des fonctionnaires travaillant sur le S&E. Cela
contribue à donner une identité et un appui aux évaluateurs
(lesquels se sentent souvent isolés au sein de chaque
ministère/entité) — cas de l’Australie, du Canada et du
Niger par exemple.
• Assistance financière et technique des bailleurs de fonds
multilatéraux et bilatéraux aux activités de S&E de
l’administration.
11: MESURES VISANT À ENCOURAGER LE S&E — COMMENT CRÉER LA DEMANDE

71
III: ENSEIGNEMENTS

Le « bâton » consiste notamment en « petits convenues. Enfin, le « sermon » revêt notamment


coups » ou sanctions à l’encontre des minis- la forme de déclarations des hautes autorités re-
tères ou des fonctionnaires individuels qui re- latives à l’appui et à la sensibilisation à l’impor-
fusent de prendre au sérieux la performance tance du S&E. Il s’agit également des efforts
et le S&E — telles que les sanctions financières visant à mieux faire connaître le S&E et à expli-
frappant les ministères qui omettent de mettre quer aux fonctionnaires quels avantages ils en
en œuvre les recommandations des évaluations retireraient.

72
QUATRIÈME PARTIE
Comment renforcer un
système national de S&E

L’
un des enseignements à prendre en compte lors de la mise en place
d’un système de S&E est qu’il est important de réaliser une étude
diagnostique sur le pays (voir chapitre 12). Une telle étude permet
de mieux comprendre les efforts déployés dans le domaine du S&E, l’envi-
ronnement de la fonction publique et les possibilités de renforcement des ac-
tivités de S&E et d’utilisation des informations de S&E dans l’exécution des
fonctions essentielles de l’administration. Un autre avantage, peut-être tout
aussi important d’un diagnostic réside dans le fait qu’il permet de concentrer
l’attention des principales parties prenantes au sein de l’administration et dans
la communauté des bailleurs de fonds sur les forces et les faiblesses des dis-
positifs actuels de S&E mis en place par les pouvoirs publics. Le diagnostic peut
également permettre à ces parties prenantes d’avoir une même perception
des problèmes. Un diagnostic conduit naturellement à l’élaboration d’un plan
d’action qui identifie les principales options de renforcement du système na-
tional de S&E (chapitre 13).
12
L’importance d’une étude
diagnostique sur le pays

I
l est clair que les stratégies de S&E varient considérablement d’un pays à
l’autre. Le Brésil par exemple met l’accent sur l’adoption d’une méthode
applicable à l’ensemble du secteur public pour définir les objectifs des pro-
grammes et créer un système d’indicateurs de performance. D’autres pays,
tels que la Colombie, combinent cette méthode avec un calendrier d’évalua-
tions d’impact rigoureuses.
D’autres pays encore, tels que l’Australie, les États- pas de meilleure méthode universelle de S&E à
Unis et le Royaume-Uni mettent l’accent sur un l’échelle nationale ou sectorielle1. Au contraire, la
plus large éventail d’outils et de méthodes de méthode qu’un pays devrait adopter dépend des
S&E comprenant les indicateurs de performance, utilisations réelles ou prévues des informations
les examens rapides, les évaluations d’impact et qu’un tel système produira. Comme on l’a vu
les audits de la performance. Certains pays ont dans le chapitre 3, ces utilisations peuvent consis-
réussi à mettre en place un système de S&E ap- ter à éclairer la prise de décision en matière d’al-
plicable à l’ensemble du secteur public. L’Ou- location des ressources dans le cadre du processus
ganda, pour sa part, utilise un ensemble de 16 budgétaire, à appuyer la planification nationale et
systèmes différents de suivi sectoriel peu coor- sectorielle, à soutenir la gestion courante et la pres-
donnés et hétéroclites. La plupart des pays les plus tation des services publics et à sous-tendre la
pauvres — ceux à qui les bailleurs de fonds mul- chaîne des responsabilités.
tilatéraux demandent d’élaborer des stratégies
de réduction de la pauvreté — soulignent la né- Il est manifestement important d’adapter les ef-
cessité de recueillir régulièrement des indica- forts de création ou de consolidation des sys-
teurs de performance pour mesurer les progrès tèmes nationaux de S&E aux besoins et aux
accomplis dans la réalisation des ODM. priorités de chaque pays. Il faut réaliser une étude
diagnostique sur les activités de S&E car cela peut
Pourquoi réaliser une étude orienter l’identification des possibilités d’institu-
diagnostique ? tionnalisation du S&E. Un diagnostic formel per-
Cette diversité dans les approches nous montre met d’identifier les forces et les faiblesses actuelles
que non seulement les points de départ de chaque du pays concernant la réalisation, la qualité et
pays sont différents, mais aussi que les objectifs l’utilisation du S&E. Par ailleurs, un diagnostic
auxquels ils aspirent sont hétérogènes. Il n’existe est inestimable du fait qu’il sert de base à l’éla-

75
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

boration d’un plan d’action qui doit être conçu en les hauts responsables de l’administration. C’est
fonction des utilisations futures prévues des in- en grande partie grâce à cette réaction qu’il a été
formations tirées du suivi et des résultats de l’éva- décidé de créer le Système national intégré de
luation. Une étude diagnostique précoce peut suivi et d’évaluation (NIMES), dans le but de ré-
éclairer l’appréciation des chances de réalisation gler les problèmes liés à l’harmonisation et aux
des objectifs visés. pressions excessives exercées sur les fournisseurs
d’informations relatives au suivi dans les ministères
Le diagnostic peut être soit réalisé ou commandité et organismes publics sectoriels et au niveau des
par le gouvernement ou par les bailleurs de fonds entités (Chapitre 9). Une étude diagnostique ra-
ou il peut être mené conjointement. Le processus pide sur les activités de S&E au sein du Secréta-
de réalisation d’une étude diagnostique offre l’oc- riat du développement social (SEDESOL) au
casion d’amener les principales parties prenantes Mexique a révélé qu’il existait rien qu’au sein de
au sein de l’administration — particulièrement cet organisme huit systèmes de suivi non coor-
les hauts responsables des ministères clés — à donnés. Cela a également incité sa haute direction
concentrer l’attention sur la question de l’institu- à prendre des mesures pour harmoniser ces sys-
tionnalisation du système de S&E. La majorité des tèmes (Banque mondiale 2004c).
pays en développement si ce ne sont tous, ont déjà
un certain nombre d’activités et de systèmes de En 1987, le processus de réalisation d’une étude
S&E. Toutefois, l’absence de coordination ou d’har- diagnostique en Australie a servi de base à la stra-
monisation entre ces systèmes constitue un défi tégie d’évaluation du gouvernement. Bien que
commun pouvant se traduire par des doubles em- n’ayant pas conduit à un consensus entre les mi-
plois. Une étude diagnostique qui met en évi- nistères sectoriels qui étaient en grande partie op-
dence de tels problèmes peut encourager les posés à l’imposition d’un ensemble de critères
pouvoirs publics à les aborder et, en permettant pour la réalisation des évaluations, le processus a
une compréhension commune de la nature des non seulement fourni une base objective solide
problèmes, elle peut aussi favoriser un consensus pour la stratégie d’évaluation mais il a également
sur ce qu’il faut pour les régler. permis de sensibiliser ces parties prenantes à l’im-
portance de cette question et les a amené à accepter
Un tel consensus est particulièrement important quelque peu à contrecœur la stratégie elle-même.
pour le S&E qui est une activité foncièrement trans-
versale, touchant tous les ministères et organismes Une étude diagnostique fournit également des
publics. Toute réforme à l’échelle de l’ensemble du données de référence permettant de mesurer les
secteur public, telle que la création d’un système na- progrès accomplis par un pays au fil du temps ;
tional de S&E, nécessite des efforts considérables, elle constitue par ailleurs un effort à long terme
un niveau élevé de coordination par l’administration visant à susciter et maintenir la demande et l’offre
centrale ainsi que la coopération active des minis- des services de S&E. Comme on l’a vu au chapitre
tères et organismes publics sectoriels. En général, 10, la plupart des pays n’ont pas développé leurs
il n’est pas facile de réussir une réelle coordination systèmes de S&E d’une façon linéaire et prévisible ;
entre tous ces acteurs. Ainsi, tout processus comme ils l’ont plutôt fait de manière opportuniste, au gré
la préparation d’une étude diagnostique sur le S&E des occasions qui se sont présentées et des obs-
permet d’amener les parties prenantes clés à dia- tacles rencontrés, et à mesure qu’ils compre-
loguer sur la question et à essayer de trouver un ac- naient quelles initiatives étaient efficaces ou non.
cord sur ce qu’il faut faire pour améliorer la démarche
adoptée par l’administration. Dans cet environnement, il est important de sur-
veiller et d’évaluer régulièrement le système de
Ceci est illustré par les expériences de l’Ouganda, S&E lui-même, tout comme le serait n’importe
du Mexique et de l’Australie. En effet, la découverte quelle réforme du secteur public. En effet, suivre
de 16 sous-systèmes de S&E en Ouganda a suscité et évaluer régulièrement le système de S&E dans
des préoccupations, voire de l’indignation, parmi le but de le renforcer est un moyen pour ceux qui

76
1 2 : L’ I M P O R TA N C E D ’ U N E É T U D E D I A G N O S T I Q U E S U R L E PAY S

en ont la charge de prêcher par l’exemple. Certains • Les principales utilisations actuelles des infor-
aspects d’un système de S&E se prêtent bien à une mations de S&E, notamment le rôle de ces in-
surveillance régulière, comme le nombre d’éva- formations dans le processus budgétaire et
luations réalisées ou la mesure dans laquelle les leur utilisation par les ministères et organismes
recommandations qui en découlent sont mises en publics sectoriels
application. D’autres aspects peuvent impliquer • Les types de S&E le plus fréquemment utilisés
une évaluation plus approfondie de temps en • La responsabilité de la collecte des informations
temps, tels que l’ampleur de l’utilisation des in- relatives à la performance et de la réalisation
formations produites par le système de S&E dans des évaluations
le processus de prise de décision budgétaire ou • L’étendue de l’appui des bailleurs de fonds au
la qualité des données de surveillance. S&E
• Les forces et faiblesses générales du/des sys-
Ainsi, une étude diagnostique est un type d’éva- tème(s) de S&E.
luation et peut déterminer l’ampleur des progrès
accomplis et définir les mesures correctives qu’il Une étude diagnostique ne vise pas uniquement
faut prendre à mi parcours. Il est également à re- à faire un état des lieux fidèle à la réalité. Il faut
marquer que les bureaux nationaux d’audit jouent faire preuve de jugement pour déterminer la pré-
un rôle important dans la mesure où ils examinent sence ou l’absence des facteurs de succès pour la
la performance des systèmes de S&E au moyen mise en place d’un système de S&E, comme on
des audits de la performance (voir par exemple, l’a vu au chapitre 10. Ainsi il est essentiel de com-
le Bureau national de l’audit en Australie, 1997 ; prendre l’importance de la demande d’informa-
Mackay 2004 ; Bureau du l’auditeur général du Ca- tions de S&E par l’administration et savoir s’il
nada, 2003 ; GAO 2004) et encouragent leurs existe un défenseur influent du S&E en son sein.
gouvernements à mettre en œuvre les améliora-
tions nécessaires par exemple, en Australie, au Ca- En revanche, il est nécessaire de savoir s’il existe
nada, et aux États-Unis. des obstacles à la création d’un système de S&E,
tels que l’absence d’une demande et d’une ap-
Quelles sont les questions à examiner propriation véritables ; l’absence d’une culture mo-
dans le cadre d’une étude diagnostique ? derne de la prise de décision et de la
De manière simplifiée, un diagnostic présente ce responsabilisation basées sur les faits (imputable,
qui est efficace et ce qui ne l’est pas — les forces dans certains pays, aux problèmes d’éthique ou
et les faiblesses du système de S&E — et les rai- de corruption) ; l’insuffisances des compétences
sons de cela. dans les domaines de l’évaluation, de la compta-
bilité ou de l’audit ; la médiocrité de la qualité et
Une étude diagnostique sur le S&E devrait porter de la fiabilité des informations financières et autres
sur un certain nombre de questions clés (encadré informations relatives à la performance. Cette
12.1). Ces questions sont pertinentes, que l’accent compréhension conduit naturellement à l’élabo-
soit mis au niveau national, ou au niveau d’un mi- ration d’un plan d’action pour renforcer les sys-
nistère ou organisme public sectoriel, quoiqu’à des tèmes de S&E existants ou pour mettre au point
degrés divers. Ces questions incluent : un nouveau système (voir chapitre 13).

• La genèse du système de S&E existant (en sup- Bien que les questions soulevées plus haut soient
posant qu’il existe déjà un type quelconque de en grande partie communes à tous les pays, il est
système ou systèmes) nécessaire de les adapter au contexte du pays.
• La gestion du système et les rôles et respon- Les pays à revenu intermédiaire ou les pays à re-
sabilités des principales parties prenantes venu intermédiaire de la tranche supérieure pour-
• L’environnement du secteur public et la ques- raient bien disposer d’une forte communauté
tion de savoir s’il existe des mesures incitant d’évaluateurs basée dans les universités et les ins-
à prendre le S&E au sérieux tituts de recherche mais. En revanche, l’offre des

77
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

Encadré 12.1. Principales questions examinées dans le cadre de l’étude diagnostique d’un
système national de S&E

1. Genèse du système de S&E existant — Le rôle des militants ou dé- et la planification nationale ; possibilités de renforce-
fenseurs du S&E ; principaux événements ayant conduit à faire des ment du rôle du S&E dans le processus budgétaire.
informations tirées du S&E une priorité (par exemple, la formation • Mesure dans laquelle les informations tirées du S&E com-
d’un gouvernement favorable aux réformes, une crise budgétaire) mandité par les principales parties prenantes (par
2. Le ministère ou l’organisme public chargé de gérer le système exemple, le ministère des Finances) sont utilisées par
de S&E et de planifier les évaluations — Les rôles et les d’autres, tels que les ministères sectoriels ; si elles ne sont
responsabilités des principales parties prenantes au sys- pas utilisées, quels sont les obstacles à cette utilisation ;
tème de S&E, par exemple, le ministère des Finances, le mi- éléments de preuve solides concernant le degré d’utili-
nistère du Plan, le Cabinet du Président et les ministères sation par les différentes parties prenantes (par exemple,
sectoriels, le Parlement ou le Congrès ; coexistence éventuelle une étude diagnostique ou une enquête) ; exemples d’éva-
de plusieurs systèmes de S&E non coordonnés aux niveaux luations à grande échelle qui ont considérablement in-
national et sectoriel ; importance des questions d’intérêt fé- fluencé les décisions prises par le gouvernement.
déral, étatique ou local pour le système de S&E. 5. Types d’outils de S&E mis en exergue dans le système de S&E :
3. L’environnement du secteur public et la question de savoir s’il les indicateurs réguliers de performance, examens ou évaluations
aide ou empêche les responsables de s’acquitter de leurs fonc- rapides, audits des performances, évaluations d’impact rigou-
tions de manière à atteindre les normes les plus élevées et à reuses et détaillées ; ampleur et coût de chacun de ces types de
rendre compte de leurs actes — Mesures incitant les parties pre- S&E ; façon dont des priorités relatives à l’évaluation sont éta-
nantes à prendre le S&E au sérieux, solidité de la demande des blies — axées sur les programmes à problème, les programmes
informations tirées du S&E. Des réformes du secteur public pilotes, les programmes à forte intensité de dépenses ou à grande
sont-elles en cours qui pourraient bénéficier d’une plus grande visibilité, ou sur un calendrier de recherche systématique pour
priorité accordée à l’évaluation de la performance du gouver- répondre aux questions sur l’efficacité du programme.
nement, par exemple une stratégie de réduction de la pauvreté, 6. Qui est chargé de collecter les informations sur la perfor-
la budgétisation fondée sur les résultats, le renforcement des mance et d’effectuer des évaluations (par exemple, les mi-
compétences en matière d’analyse des politiques, l’instauration nistères eux-mêmes, les milieux universitaires ou les cabinets
d’une culture des résultats dans la fonction publique, les amé- de conseil) ; tout problème relatif à la qualité ou à la fiabilité
liorations de la prestation des services, par exemple, par l’adop- des données ou à la qualité des évaluations effectuées ; les
tion des normes de service à la clientèle, la décentralisation de forces et les faiblesses de la fourniture des services de S&E
l’administration, la participation accrue de la société civile ou une au plan local ; les principales contraintes de capacités et les
stratégie de lutte contre la corruption. priorités de l’État en matière de renforcement des capacités.
4. Les principaux aspects de la gestion du secteur public que 7. Ampleur du soutien des bailleurs de fonds au S&E au cours
le système de S&E appuie vigoureusement — i) la prise de dé- des dernières années : les projets financés par les bailleurs
cision budgétaire, ii) la planification nationale ou sectorielle, de fonds qui appuient le S&E au niveau de l’ensemble de l’ad-
iii) la gestion de programme, et iv) la chaîne de responsabili- ministration, des secteurs ou des organismes publics — La
tés (devant le ministère des Finances, le Cabinet du Président, fourniture de l’assistance technique, de toute autre aide au
le Parlement, les ministères sectoriels et la société civile). renforcement des capacités et de tout financement pour la
• Rôle réel des informations tirées du S&E aux différentes réalisation des évaluations de grande envergure, telles que
étapes du processus budgétaire en l’occurrence, les ser- les évaluations d’impact rigoureuses.
vices de conseil et de planification, la prise de décision 8. Conclusions : Forces et faiblesses globales du système de
budgétaire, l’examen des performances et l’établisse- S&E ; sa viabilité du point de vue de sa vulnérabilité à un chan-
ment des rapports ; décalage éventuel entre les activités gement de gouvernement par exemple, son niveau de dé-
de S&E des ministères sectoriels et l’utilisation des in- pendance à l’égard des financements des bailleurs de fonds
formations qui en découlent dans le processus budgétaire ; ou d’autres appuis ; les projets actuels de renforcement du
existence de tout décalage entre le processus budgétaire système de S&E à l’avenir.

78
1 2 : L’ I M P O R TA N C E D ’ U N E É T U D E D I A G N O S T I Q U E S U R L E PAY S

compétences en matière d’évaluation serait beau- rent ces données3. Une autre difficulté éventuelle
coup plus faible dans de nombreux pays les plus réside dans l’insuffisance des capacités des uni-
pauvres, c’est-à-dire ceux qui élaborent des stra- versités et d’autres organismes qui fournissent la
tégies de réduction de la pauvreté, par exemple formation dans le domaine du S&E ; une telle for-
(voir le chapitre 9). En outre, les pays pauvres mation constitue un élément commun aux plans
sont susceptibles de se focaliser davantage sur les d’action élaborés pour aider à institutionnaliser
systèmes de surveillance de la pauvreté en parti- le S&E. Un guide analytique permettant d’évaluer
culier et peuvent avoir de plus grandes difficultés les organismes de formation figure dans Adrien
à faire face aux multiples exigences non coor- (2003) ; une étude diagnostique réalisée sur le
données des bailleurs de fonds en matière de Ghana en utilisant ce guide est également dis-
S&E. La pression des bailleurs de fonds constitue ponible (Adrien 2001).
en général la principale force motrice des initia-
tives que l’État prend pour consolider les sys- Entre ces deux extrêmes — une mission d’une se-
tèmes de S&E, et le degré d’adhésion nationale à maine et une évaluation approfondie — se trou-
ces initiatives peut ne pas être élevé. Un examen vent les études diagnostiques réalisées par la
plus approfondi des questions relatives aux études Banque pour la Colombie et l’Ouganda. Chacune
diagnostiques est présenté par Mackay (1998b)2. a nécessité plusieurs missions pour discuter avec
les hauts responsables du gouvernement et les re-
Profondeur de l’étude diagnostique présentants de la société civile, examiner des do-
Une question récurrente c’est celle de savoir com- cuments (tels que les déclarations de politique
bien de temps il faut pour réaliser une étude dia- générale du gouvernement, les documents rela-
gnostique du S&E. Il n’y a pas de réponse simple à tifs aux projets pertinents financés par les bailleurs
cette interrogation ; En effet, tout dépend des ob- de fonds et toute étude diagnostique antérieure
jectifs pour lesquels une étude diagnostique est sur le pays portant sur le S&E, la réforme du sec-
prévue, de la gamme des questions à l’étude et du teur public, ou les questions liées à la gestion
temps et du budget disponibles. Dans certains cas des finances publiques, par exemple), mais aussi
une mission d’une semaine dans un pays a fourni des conférences ou des exposés dans le cadre des
suffisamment de données de base servant de point séminaires sur les systèmes publics de S&E.
de départ pour une large compréhension des ques-
tions clés auxquelles fait face un gouvernement qui L’étude diagnostique sur la Colombie a connu la
s’intéresse au renforcement de ses fonctions de participation d’un certain nombre de services de
S&E. Le cas diamétralement opposé est celui d’une la Banque qui ont travaillé en étroite collaboration
évaluation plus formelle, plus détaillée et plus ap- avec ceux du gouvernement dans le cadre de
profondie du système national d’évaluation comme plusieurs missions dans le pays (Mackay et autres,
celle que le Chili qui a demandé à la Banque mon- 2007) ; cette étude figure en annexe B. Les termes
diale d’entreprendre (Rojas et autres, 2005). Une de référence d’une éventuelle future étude dia-
équipe de sept personnes y a pris part durant plu- gnostique détaillée du système de S&E de la Co-
sieurs mois. Cela a nécessité de nombreuses missions lombie sont présentés en annexe C.
au Chili et impliquait des entrevues avec de nom-
breux responsables de l’administration centrale et Les études diagnostiques réalisées sur l’Ouganda en
des ministères sectoriels ainsi que des examens dé- 2001 et complétées en 2003 ont été faites par un
taillés de la qualité et de l’utilisation de l’évaluation. consultant de la Banque dans le cadre de plusieurs
De telles études diagnostiques détaillées peuvent missions, avec la collaboration étroite et l’appui du
coûter plusieurs centaines de milliers de dollars. gouvernement (Hauge 2001, 2003). Cette étude
diagnostique (2001) est résumée au tableau 9.1.
D’autres aspects peuvent nécessiter un examen
plus approfondi. Il s’agit notamment de la qualité La portée d’un diagnostic sectoriel serait plus li-
et de la fiabilité des informations sur le suivi, et mitée que celle d’un diagnostic national bien que
des systèmes sectoriels d’information qui génè- plusieurs, sinon, la plupart des questions clés soient

79
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

identiques. Un diagnostic sectoriel devrait mettre portunités se présenteront, que l’on subira des re-
l’accent, entre autres, sur la contribution des acti- vers ou que l’on rencontrera des obstacles.
vités de S&E sectoriel au système national de S&E.
Naturellement, il est possible de réaliser un dia- Le processus de réalisation d’une étude dia-
gnostic sectoriel dans le cadre d’un diagnostic na- gnostique offre l’occasion d’associer les hauts
tional ; ceci peut s’avérer utile pour comprendre responsables des ministères centraux et secto-
les questions portant sur l’institutionnalisation du riels et le personnel des bailleurs de fonds à l’exa-
S&E au niveau du secteur, ou dans le cas où le gou- men des objectifs, des utilisations et de
vernement envisage de piloter de nouvelles ini- l’architecture du ou des systèmes nationaux de
tiatives de S&E dans certains ministères sectoriels. S&E. Les études diagnostiques peuvent fournir des
résultats étonnants sur la multiplicité de systèmes
Selon les questions à examiner dans le cadre non coordonnés et les doubles emplois. Ces ré-
d’une étude diagnostique, il peut s’avérer né- sultats peuvent aider à trouver un consensus sur
cessaire de rassembler une équipe d’experts ayant un plan d’action visant à renforcer le système.
une formation diversifiée. Cette équipe peut donc
être constituée de personnes possédant des com- Toutefois, il n’est pas facile de trouver un consen-
pétences dans certains ou tous les domaines sui- sus sur les rôles et les responsabilités dans le
vants : gestion d’un système national de S&E ; cadre d’un système national de S&E. Les minis-
indicateurs et systèmes de performance ; sys- tères et organismes publics sectoriels peuvent
tèmes statistiques ; évaluation ; réforme de la préférer ne pas être soumis à des exigences for-
gestion du secteur public ; et budgétisation fon- melles de S&E émanant de l’administration cen-
dée sur les résultats. trale. Les ministères centraux eux-mêmes
voudront contrôler le système de S&E nouvelle-
Si l’on envisage également un projet financé par ment créé ou rénové4. Une approche plus fondée
des bailleurs de fonds pour appuyer la mise en sur la collaboration et moins antagoniste peut
place d’un système de S&E, il serait important aider à aplanir ces différences.
d’inclure dans l’équipe quelques membres du
personnel de ces bailleurs de fonds ayant une ex- Une étude diagnostique doit inclure un état des
périence pertinente. La participation active des lieux fidèle à la réalité et l’exercice prudent de la
hauts responsables de l’administration est, natu- faculté de jugement en déterminant la présence
rellement, un facteur important pour tirer parti de ou l’absence des facteurs de succès pour établir
leurs connaissances et de leurs avis sur le système un système de S&E, par exemple, l’existence d’un
de S&E existant et la manière dont il pourrait être défenseur influent du S&E. Un diagnostic rapide
renforcé, dans le but de s’assurer qu’ils acceptent peut fournir une vue d’ensemble d’un certain
les résultats et les recommandations de l’étude. nombre de questions clés mais on ne doit pas s’at-
tendre à ce qu’il soit exhaustif ou équilibré. Un dia-
Conclusions gnostic détaillé et approfondi doit inclure des
L’étude diagnostique des systèmes nationaux de précisions sur des questions spécifiques consi-
S&E peut permettre de bien comprendre leurs dérées comme importantes pour le pays, telles
forces et leurs faiblesses. Une telle étude mani- que la qualité des systèmes de données ou une
festement de l’importance pour l’élaboration d’un enquête détaillée sur l’ampleur de l’utilisation
plan d’action adapté à la vision du futur système actuelle des informations de S&E.
de S&E, en particulier en termes des d’utilisa-
tions souhaitées des informations tirées du suivi La plupart des études diagnostiques ne sont ni très
et des résultats de l’évaluation qui sont spéci- rapides, ni ne prennent trop de temps, ni ne sont
fiques à chaque pays. Cette étude fournirait éga- très détaillées ; elles se situent entre ces deux ex-
lement une mesure de référence pour évaluer trêmes. Néanmoins, un diagnostic solide exige une
les progrès futurs, et le système pourra égale- attention considérable ; l’expertise et la qualité des
ment être modifié au fur et à mesure que les op- avis de ceux qui l’élaborent sont essentielles.

80
13
Élaboration des plans
d’action

U
n thème central de la présente étude est qu’il n’existe pas de « meilleur »
modèle de ce que doit être un système national ou sectoriel de S&E. L’ac-
cent que les pays choisissent de mettre sur les différents objectifs d’un
système de S&E varie considérablement d’un pays à l’autre. Par exemple, le sys-
tème de S&E peut viser essentiellement à appuyer la prise de décision budgé-
taire ou la gestion des activités en cours ou encore à établir les responsabilités.
De plus, chaque pays est unique du point de vue de planification nationale ; aider les ministères
de ses activités, fonctions et systèmes de S&E ainsi à formuler et analyser les politiques et à éla-
que du point de vue de la culture et de l’environ- borer les programmes ; soutenir les ministères
nement du secteur public. En conséquence, un plan et les organismes publics dans la gestion de
d’action visant à créer ou à renforcer un système leurs activités ; ou renforcer la chaîne des res-
de S&E existant doit être adapté aux circonstances ponsabilités (chapitre 3).
du pays. C’est pourquoi il est si important de faire
un diagnostic des forces et des faiblesses du sys- 2. Les rôles et les responsabilités formelles des
tème national de S&E qui servira de base à l’éla- principales parties prenantes dans le système
boration d’un plan d’action (chapitre 12). de S&E — ceux qui devraient produire des in-
formations sur le suivi et effectuer des éva-
Vision du futur système luations et ceux qui devraient s’en servir. Il est
De préférence, un diagnostic pourrait se traduire important de confier la responsabilité de la
par une déclaration claire sur ce à quoi il serait sou- gestion ou de la surveillance à un ministère, co-
haitable que le système de S&E ressemble à un mité, ou toute autre entité exerçant une grande
moment donné à l’avenir. L’architecture du sys- influence.
tème comprendrait, en particulier, les éléments
suivants : 3. Il faudrait savoir si un système national, com-
prenant tous les ministères centraux et secto-
1. Lesquelles des quatre utilisations possibles des riels, et les organismes publics doit être mis en
informations de S&E seront les objectifs du sys- place ou si le système doit être concentré plus
tème, tout en reconnaissant les compromis étroitement sur les différents secteurs ou or-
qu’il convient de faire entre elles : soutenir le ganismes publics. Certains gouvernements ne
processus de prise de décision budgétaire ou conçoivent un système de S&E que pour des

81
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

opérations financées par les bailleurs de fonds veau peuvent se concevoir de plusieurs manières.
dans leur pays.1 Les questions liées à la mise en œuvre et qui doi-
vent être abordées dans un plan d’action com-
4. Les niveaux de l’administration auxquels le prennent celles de savoir :
système de S&E sera mis en place : l’adminis-
tration centrale, l’État, la province ou les col- • Dans quelle mesure l’accent sera mis sur le ren-
lectivités locales. forcement de ce qui existe déjà : améliorer les
systèmes d’informations sur la gestion finan-
5. La gamme d’outils de S&E sur lesquels le sys- cière (pour suivre les allocations budgétaires
tème se concentrera : indicateurs de perfor- et les dépenses réelles) ou améliorer les sys-
mance, évaluations rapides, évaluations tèmes de suivi des ministères, particulière-
rigoureuses d’impact, etc. Il est possible de ment les données administratives sur les
créer un système de surveillance de la perfor- activités de l’administration, les bénéficiaires et
mance fiable sans réaliser d’évaluations ; tou- les résultats (à noter que ces données sont
tefois, pour réaliser des évaluations, il faut généralement rassemblées au niveau des en-
détenir des données fiables sur la performance tités concernées).
provenant de systèmes de surveillance, d’en- • Si de nouvelles solutions doivent appliquées à
quêtes spéciales ou des uns et des autres. titre pilote en vue de leur adoption systéma-
tique par la suite en cas de succès. Ces solutions
Questions relatives à la mise en œuvre peuvent inclure l’adoption de nouveaux critères
Une fois que la vision du système de S&E entiè- formels en matière de S&E dans les ministères
rement fonctionnel a été formulée, il est possible ou les organismes publics pilotes, par exemple,
d’élaborer un plan d’action pour la concrétiser. Ce où il existe déjà un solide engagement envers
plan d’action doit s’inspirer des enseignements la réalisation et l’utilisation du S&E et où des
tirés au plan international de la création des sys- résultats positifs ont déjà été obtenus. Des
tèmes nationaux de S&E (chapitre 10). Naturel- études pilotes peuvent être menées à d’autres
lement, il ne servirait à rien d’élaborer un plan niveaux, comme dans différents États ou mu-
d’action à s’il n’existe pas déjà une certaine de- nicipalités. Sous forme d’évaluations rapides ou
mande importante de S&E au sein de l’adminis- d’évaluations rigoureuses d’impact, elles peu-
tration. vent également être envisagées comme des
outils particuliers d’évaluation s’il n’existe
Un plan d’action peut également être conçu pour guère de compétences pertinentes dans le
renforcer la demande, par exemple, en s’assu- pays.
rant que toutes les principales parties prenantes • Quand et avec quelle rapidité devrait interve-
jouent un certain rôle important dans la planifi- nir l’adoption systématique. Au Chili, par
cation ou la gestion du système de S&E, notam- exemple, des outils particuliers de S&E ont
ment par le biais de leur participation à un comité été intégrés de façon séquentielle : les indica-
de surveillance ou de planification. Il pourrait teurs de performance en 1994, les examens ra-
être nécessaire de prendre des mesures incitatives pides en 1996, les évaluations rigoureuses
particulières pour renforcer davantage la de- d’impact en 2001, et les examens complets
mande ; ces mesures pourraient consister en un des dépenses en 2002 (chapitre 6). Le Mexique
ensemble de méthodes alliant la carotte, le bâton prévoit d’appliquer systématiquement son
et le sermon (chapitre 11). En d’autres termes, ce nouveau système national de S&E sur une pé-
serait une erreur d’élaborer un plan d’action axé riode de trois ans (2007–2009) (Hernandez
purement sur les questions technocratiques et 2007).
liées à l’offre.
Le rythme d’exécution d’un plan d’action est ma-
Le renforcement d’un système de S&E existant ou nifestement très important. Il se pose ici un pro-
la mise en place d’un système entièrement nou- blème de capacité d’absorption — jusqu’à quel

82
1 3 : É L A B O R AT I O N D E S P L A N S D ’A C T I O N

point les ministères et les organismes publics nistère des Finances aux fins d’une budgétisa-
peuvent-ils absorber les changements et les ré- tion fondée sur les résultats doit couvrir tous les
formes proposées et à quel rythme ? Nous avons programmes. Un moyen d’y parvenir consiste à
appris des pays qui ont créé un système de S&E s’appuyer sur des indicateurs de performance.
avec succès que c’est un effort de longue haleine Toutefois, ceci a pour inconvénient le fait que les
qui exige de la patience et la persévérance (cha- indicateurs fournissent en général peu d’infor-
pitre 10). Les défenseurs nationaux du S&E ont mations sur les raisons pour lesquelles les résul-
en revanche tendance à être impatients lorsqu’ils tats ont été obtenus ou non. En d’autres termes,
engagent la réforme de leurs systèmes de S&E. Un ils n’indiquent par les causes d’une bonne per-
autre enseignement tiré c’est qu’il faut institu- formance ou d’une mauvaise performance.
tionnaliser un système de S&E le plus rapide-
ment possible avant le départ éventuel des ces Des examens rapides peuvent permettre de com-
défenseurs. prendre ces rapports de causalité et, parce qu’ils
sont peu coûteux à réaliser par rapport à d’autres
Comme on l’a souligné au chapitre 10, il est utile méthodes d’évaluation, ils peuvent également
de suivre et d’évaluer régulièrement le système permettre une plus large couverture des pro-
de S&E lui-même, afin de déterminer dans quelle grammes nationaux. Les résultats d’évaluation
mesure ses diverses composantes sont mises en les plus fiables peuvent provenir d’une évaluation
application avec succès. Ceci fournit une base rigoureuse d’impact, bien que la réalisation de
solide pour tous les changements nécessaires à celle-ci puisse être très coûteuse. Ainsi, il est plus
la nature, la portée et le calendrier d’exécution du difficile pour un ministère des Finances de les uti-
plan d’action, ce qui est manifestement important liser pour évaluer une large gamme des pro-
si une solution pilote a été adoptée. grammes (chapitre 2). Il faut souvent faire des
compromis entre le choix des outils de S&E et les
Les plans d’action peuvent être axés sur certaines utilisées visées des informations de S&E.
ou sur toutes les parties prenantes suivantes : les
ministères et les responsables publics, tels que les Un autre compromis concerne l’entité qui com-
ministères et organismes publics centraux et sec- mandite les évaluations et celle qui est censé les
toriels ; les administrations infranationales au ni- utiliser. Le ministère des Finances du Chili com-
veau de l’État, de la province ou du district ; le mandite une gamme des types d’évaluation et
Parlement ou le Congrès, y compris les repré- les utilise efficacement à ses propres fins ; mais,
sentants élus, les comités et leur personnel ; et les les ministères et organismes publics sectoriels
groupes de la société civile comprenant les uni- sont très réticents à les utiliser à leurs propres fins
versités, les instituts de recherche et les ONG. Les internes, car ces entités n’adhèrent pas aux ré-
mesures généralement adoptées peuvent consis- sultats de l’évaluation (chapitre 6). Il peut être dif-
ter, par exemple, à fournir une formation dans le ficile de faire accepter les ministères sectoriels un
domaine du S&E ; promulguer toute loi, tout dé- système de S&E imposé par l’administration
cret et toute réglementation nécessaires ; élabo- centrale.
rer les directives et les normes en matière de
S&E ; renforcer et harmoniser les systèmes de Le ministère des Finances de l’Australie a essayé
suivi ; et réaliser différents types d’évaluations, tels de contourner cette difficulté en laissant aux mi-
que les examens rapides et les évaluations ri- nistères sectoriels la responsabilité principale de
goureuses d’impact. planifier et de réaliser des évaluations, assurant
ainsi une forte adhésion de leur part aux résultats
Compromis de l’évaluation (chapitre 8). Toutefois, cette ad-
De nombreux problèmes et compromis doivent hésion a eu des conséquences : jusqu’à un tiers
être envisagés au moment d’élaborer un plan des évaluations a souffert d’une certaine insuffi-
d’action. Il faudrait par exemple tenir compte du sance sur le plan méthodologique2. Ceci suggère
fait qu’un système national de S&E géré par le mi- un autre compromis : les évaluations réalisées

83
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

au sein de l’entité concernée peuvent garantir tinence et le rapport coût-efficacité des informa-
une forte adhésion mais celles qui sont réalisées tions publiques.
de l’extérieur peuvent être plus rigoureuses et plus
objectives. Ce projet se fonde sur le diagnostic que la Banque
a réalisé sur SINERGIA (annexe B). Il inclut éga-
Une chaîne de résultats simple conçue pour éta- lement un grand nombre de diagnostics prévus
blir un système de S&E est présentée sur le sur des questions plus détaillées et plus précises :
schéma 13.1. Ceci constitue une représentation
simplifiée de la manière dont un plan d’action de- • Un examen des dispositifs institutionnels exis-
vrait génère divers types d’extrants, tels que le tants, en particulier de la mesure dans laquelle
nombre de responsables formés en matière de les informations de S&E établies par SINERGIA
S&E, le nombre d’évaluations effectuées, etc. Ces ont été utilisées dans le but de soutenir la pla-
extrants devraient, à leur tour, produire des ré- nification nationale et la prise de décision bud-
sultats intermédiaires telle que la demande ren- gétaire. Cet examen recommandera d’accroitre
forcée de S&E au sein de l’administration, et le niveau d’utilisation des informations de S&E
générer des résultats finaux dont l’utilisation des par l’administration.
informations sur le suivi et des résultats de l’éva- • Un examen des structures de S&E, des dispo-
luation par l’administration et d’autres entités. Il sitifs institutionnels et des capacités dispo-
est à espérer que ces résultats permettront d’ob- nibles au sein de deux ministères d’exécution
tenir un impact final comme l’amélioration de la pour aider à établir des normes de qualité de
performance de l’administration, de l’efficacité du S&E, qui seront imposées à tous les minis-
développement et de la prestation des services et tères et organismes publics.
la réduction de la pauvreté. • Une évaluation des capacités de S&E au sein
de l’unité de la Direction nationale du Plan
Menu de mesures à prendre pour chargée de la gestion de SINERGIA et qui four-
améliorer le S&E nit de l’assistance technique à d’autres minis-
Le tableau 13.1 présente un menu de mesures à tères et organismes publics.
prendre éventuellement pour améliorer la de- • Un examen des lois, décrets et réglementa-
mande et l’offre de S&E. Il est loin d’être com- tions en vigueur concernant le S&E.
plet mais, il illustre la gamme et la nature des • Un examen du coût, de la qualité et du rapport
mesures qui peuvent être prises pour mettre sur coût-efficacité des différents outils et tech-
pied ou renforcer les systèmes de S&E. Un niques d’évaluation actuellement utilisés dans
exemple de plan d’action qui découle directe- le système SINERGIA.
ment d’une étude diagnostique du S&E réalisée • Un diagnostic sur les capacités nécessaires à
dans un pays, l’Ouganda, figure dans l’encadré 9.2. l’adoption de la budgétisation fondée sur les
résultats.
L’autre exemple est le projet de la Banque mon- • Un diagnostic de la qualité des informations sur
diale visant à aider le gouvernement colombien la performance et de leur utilisation, ainsi que
à renforcer son système national de S&E, SINER- sur les systèmes d’information dans deux mu-
GIA (chapitre 7 ; annexe B). Ce projet de 14 mil- nicipalités pilotes.
lions de dollars comprend quatre volets : • Une évaluation des mécanismes de responsa-
1) appuyer le gouvernement pour un meilleur bilisation au niveau local dans certaines mu-
suivi des dépenses aux niveaux régional et local ; nicipalités qui ont adopté les bonnes pratiques.
2) consolider l’institutionnalisation de SINERGIA • Une évaluation de la méthodologie actuelle-
au sein de l’administration ; 3) appuyer la création ment utilisée par la Direction nationale du
des systèmes de S&E régionaux et locaux en par- Plan en vue d’évaluer la performance de toutes
tie au moyen d’une approche pilote ; et 4) établir les 1100 municipalités colombiennes.
des mécanismes pour améliorer la qualité, la per-
—Suite du texte à la page 89—

84
1 3 : É L A B O R AT I O N D E S P L A N S D ’A C T I O N

Figure 13.1. Chaîne de résultats dans le cadre de la création d’un système national de S&E

Prestation des services améliorée, croissance économique et réduction de la pauvreté


Éfficacité du développement améliorée
Impact


Amélioration des résultats de l’administration


Le S&E utilisé aux fins de la prise de décision par l’administration concernant les politiques, les plans et les
allocation budgétaires ; mise en œuvre et gestion des activités de l’administration ; suivi des activités,
comptabilisation des dépenses, évaluation des programmes et des projets ; examen de l’administration et
des politiques ; responsabilisation de l’administration.

Réalisations
finales
Administration Parlement Société civile
Les informations de S&E Les informations de S&E Le parlement évalue La société civile évalue la
appuient directement appuient directement la et débat la performance de
l’équilibre budgétaire, la gestion des activités de performance de l’administration et
planification nationale et l’administration. l’administration. contribue librement aux
l’élaboration des politiques. débats sur les politiques.

Le cadre ou système formel de S&E est créé par le gouvernement, ce qui conduit à la planification systématique, la
réalisation et l’établissement des rapports et l’utilisation des informations du suivi et des résultats des évaluations.

Réalisations
Demande Offre renforcée Systèmes Demande de S&E Demande de S&E
intermédiaries
|renforcée de de S&E et nationaux de renforcée au sein du renforcée au sein de la
S&E au sein de capacités S&E renforcés. parlement, capacités société civile et offre et
l’administration. renforcées de renforcées de S&E du capacités de S&E
S&E au sein de personnel parlementaire. renforcées au sein de la
l’administration. société civile.

Le plan d’action donne lieu à une gamme de résultats tels que le nombre de responsables formés en matière de S&E ;
les systèmes de données harmonisés ; la qualité et la priorité améliorées des indicateurs de suivi disponibles ; la
Produits
qualité et la gamme améliorée des évaluations réalisées ; les mesures renforcées d’incitation des ministères à
réaliser et à utiliser le S&E.

L’administration et les bailleurs de fonds exécutent un ensemble d’activités permettant de renforcer des fonctions de
S&E du pays, notamment des séminaires nationaux sur les systèmes de S&E du pays ; des études diagnostiques sur
les fonctions de S&E au niveau national ou sectoriel ; des audits des systèmes de données ; la formation dans le
domaine du S&E, y compris la formation des formateurs, ou l’octroi des bourses aux responsables, aux ONG, aux Activités
universités ou aux instituts de recherche, aux services du parlement ; divers types d’évaluation sont réalisés à titre
pilote ou démonstratif.

85
86
Tableau 13.1. Actions susceptibles d’être menées pour renforcer les systèmes nationaux et sectoriels de S&E

Renforcer l’offre et les capacités de


Renforcer la demande de S&E par Renforcer l’offre et les capacités de Renforcer la demande de S&E dans S&E dans la société civile et
l’administration S&E au sein de l’administration Renforcer les systèmes de S&E la société civile, au Parlement au Parlement

Utiliser la carotte, le bâton et le


sermon pour renforcer la demande
(voir tableau 11.1).
Les bailleurs de fonds préconisent le Les bailleurs de fonds préconisent
S&E et mettent l’accent sur les le S&E et mettent l’accent sur les
résultats. Diffuser des exemples résultats. Ils diffusent les exemples
d’évaluations susceptibles d’évaluations susceptibles
d’influencer les decisions. d’influencer les decisions.
Les bailleurs de fonds préservent et Les bailleurs de fonds conservent Les bailleurs de fonds conservent
partagent les résultats obtenus par et diffusent les résultats obtenus et diffusent les données sur les
d’autres pays en matière de S&E . par d’autres pays dans le domaine résultats obtenus par d’autres pays
du S&E . en matière de S&E .
Organiser des séminaires nationaux Coordonner /harmoniser les Organiser des séminaires de
pour réfléchir sur les options activités de S&E des bailleurs de réflexion à l’échelle nationale sur
relatives aux systèmes nationaux de fonds dans le pays. les options liées au S&E par
S&E. l’administration..
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

Organiser des séminaires sur les Organiser des séminaires sur les
résultats des évaluations réalisées résultats des évaluations
par les bailleurs de fonds (par effectuées par les bailleurs de
exemple celle de la Banque fonds (celles de la Banque
mondiale) qui sont pertinentes pour mondiale, par exemple) qui sont
le pays — montrer l’utilité de pertinents pour le pays — montrer
l’évaluation. l’utilité de l’évaluation.
Organiser des séminaires régionaux Encourager la création de réseaux Encourager une coordination étroite
sur les systèmes nationaux de S&E. régionaux d’experts et de avec les activités des autres bailleurs
professionnels du S&E . de fonds afin de renforcer les systèmes
de S&E au niveau de l’administration
centrale et des secteurs.
Réaliser des études diagnostiques Réaliser des audits des données Réaliser les diagnostics Réaliser le diagnostic Réaliser un diagnostic des
nationales/sectorielles sur les nationales/sectorielle. Réaliser un nationaux/sectoriels des fonctions national/sectoriel des fonctions de organisations qui offrent la formation
fonctions de S&E — mettre l’accent diagnostic des organisations qui de S&E — demande, offre, S&E — mettre en évidence les en matière de S&E.
sur les problèmes et les opportunités. assurent la formation en matière de systèmes, options relatives aux problèmes et les opportunités.
S&E. plans d’action.
Intégrer le S&E comme une Intégrer le S&E comme une Les bailleurs de fonds accordant Réaliser des enquêtes sur la
composante des activités des composante des activités connexes des prêt s à l’appui des systèmes satisfaction de la clientèle et sa
bailleurs de fonds ou du liées à la gestion du secteur public/ de S&E. perception de la qualité des
gouvernement dans le domaine de la la gestion des dépenses publiques, enquêtes réalisées par l’Etat et
gestion du secteur public ou de la par exemple , la budgétisation Lier les efforts de renforcement du faire une large publication des
gestion des finances publiques. fondée sur les résultats, la gestion système de S&E aux autres résultats (exemple, les CRC).
fondée sur les résultats et la réformes adoptées par l’État en
gestion stratégique ; approches matière de résultats.
sectorielles ; programmes de
réformes sectorielles ; prestation
des services ; gestion financière et
responsabilitsation, y compris les
systèmes de gestion de
l’information financière ;
renforcement des capacités
statistiques (bureaux des
statistiques, système de gestion du
ministère ; production des données
statistiques, y compris les enquêtes
sur la prestation des services) ;
renforcement des capacités du
bureau national de l’audit,
décentralisation de l’administration.
Identifier et appuyer les défenseurs Encourager une coordination plus
du S&E. Promouvoir la collaboration étroite du S&E au sein de
entre toutes les parties prenantes l’administration y compris des liens
clés de l’administration au système entre le S&E, le budget, la
de S&E — en particulier en matière planification et les systèmes
de planification et de surveillance du intégrés de gestion des ministères.
système.
Chercher à imposer le S&E au moyen Diffuser les informations sur les Chercher à imposer le S&E au Chercher à imposer le S&E au Diffuser les normes et méthodes
des décisions, décrets, normes et les méthodes moyen des décisions, décrets, moyen des décisions, décrets, d’évaluation. Aider les instituts de
réglémentations et lois de l’État. d’évaluation. réglementations et lois de l’État. réglementations et lois recherche, les universits et les ONG à
Élaborer des principes directeurs et promulugués par l’État.Introduire évaluer et examiner la performance
des manuels de S&E. une loi sur la liberté d’information . de l’administration, par exemple les
fiches d’évaluation par les citoyens,
l’analyse budgétaire.

(Suite du tableau à la page suivante)


1 3 : É L A B O R AT I O N D E S P L A N S D ’A C T I O N

87
88
Tableau 13.1. Actions susceptibles d’être menées pour renforcer les systèmes nationaux et sectoriels de S&E (suite)

Renforcer l’offre et les capacités de


Renforcer la demande de S&E par Renforcer l’offre et les capacités de Renforcer la demande de S&E dans S&E dans la société civile et
l’administration S&E au sein de l’administration Renforcer les systèmes de S&E la société civile, au Parlement au Parlement

Fournir une formation sur une Encourager les medias à faire des Former les parlementaires et leur
gamme d’outils, de méthodes et de reportages sur les résultats personnel à l’analyse des résultats
techniques de S&E aux obtenus par l’administration. de l’administration.
responsables au plan national, de
Assurer une série de formations sur
l’État et des municipalités.
une gamme d’outils, de méthodes et
de techniques aux personnels des
des universités, des ONG, etc.
Assurer la formation des formateurs Offrir des formations de formatieurs
en matière de S&E et appuyer les en matière de S&E et appuyer les
collèges de la société civile, par instituts de recherche, par exemple
exemple au moyen des accords de au moyen des accords de jumelage.
jumelage avec les homologues des
pays développés.
Examiner les indicateurs de
performance des ministères.
Renforcer les systèmes
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

d’information de gestion des


ministères. Appuyer les enquêtes
sur la prestation des services.
Créer un fonds d”évaluation. Créer et doter en personnel des Créer un fonds d’évaluation — Créer un fonds d’évaluation — ouvrir
unités de S&E, de statistiques et ouvrir l’accès à la société civile. l’accès à la société civile.
d’analyse des politiques.
Encourager les bailleurs de fonds à Les bailleurs financent des Appuyer la participation de la Les bailleurs de fonds sous-traitent
financer les évaluations évaluations et des examens de communauté à l’évaluation les évaluations/examens aux
d’impact/examens de grande grande envergure en se fondant sur participative de la pauvreté, etc. universités et aux instituts de
envergure pour montrer leur la notion de bien public. recherche.
faisabilité et leur utilité.
Permettre que les bailleurs de fonds Permettre que les bailleurs de Encourager la société civile et le
aient davantage recours à fonds aient davantage recours à parlement à examiner
l’expertise nationale en matière de l’administration pour entreprendre attentivement les rapports
S&E lors de la réalisation des le S&E des projets et programmes d’évaluation de l’administration.
évaluations. qu’ils financent.
1 3 : É L A B O R AT I O N D E S P L A N S D ’A C T I O N

• Un examen de la qualité des données et de

associations nationales d’évaluation


l’ampleur de leur harmonisation entre les prin-
cipaux systèmes de suivi dans l’administration
Appuyer la miseen place des

centrale colombienne.
• Un examen de la qualité, de la pertinence et de
l’utilisation du principal système de suivi de la
performance de l’administration par la Direc-
tion nationale du Plan.

Conclusions
Une stratégie utile pour établir un système natio-
nal de S&E consiste à commencer par un dia-
gnostic des activités actuelles de S&E au sein de
l’administration. En même temps, une vision de
ce que doit être un système efficace devrait être
élaborée. Ces mesures de base conduisent natu-
rellement à l’élaboration d’un plan d’action, pré-
voyant sa mise en œuvre échelonnée.

À présent, il doit être parfaitement clair qu’il ne


rimerait à rien d’essayer de créer un système na-
tional de S&E standard ou uniforme. Le plan d’ac-
tion conçu pour mettre en place un système
national de S&E doit être adapté étroitement aux
circonstances de chaque pays et à la vision que le
gouvernement a du futur système. Cette vision
devra intégrer les utilisations spécifiques prévues
pour les informations sur le suivi et les résultats
des évaluations, déterminer s’il s’agira d’un sys-
tème national ou d’un système adopté par un mi-
réseaux publics d’évaluation et des

Les bailleurs de fonds appuient les

gouvernements et des évaluations

nistère ou tout autre organisme public, les niveaux


évaluations conjointes avec les
Appuyer la mise en place des

de l’administration auxquels le système s’appli-


quera, la gamme particulière d’outils de S&E à
associations nationales

adopter, etc.
pilotées par le pays.
d’évaluation.

Il existe de nombreuses dimensions possibles


d’un système de S&E et de nombreux compro-
mis doivent être envisagés attentivement. Un
plan d’action visant à établir un système de S&E
conjointes avec les gouvernements et

ne doit pas nécessairement être très complexe,


pour des évaluations pilotées par le
Rechercher l’appui des bailleurs de

bien qu’il persiste le risque que le système désiré


soit de conception trop complexe et partant
fonds pour des évaluations

beaucoup plus difficile à appliquer. Il s’agit véri-


tablement d’un cas où l’on pourrait dire que le
moins vaut le plus. Un autre risque consiste à sur-
estimer le rythme auquel le système sera mis en
place.
pays.

89
I V : C O M M E N T R E N F O R C E R U N S Y S T È M E N AT I O N A L D E S & E

Un plan d’action concret permet aux parties pre- ment pas conçus de façon linéaire et prévisible
nantes de l’État et aux bailleurs de fonds de cen- (chapitre 10).
trer leur attention sur l’essentiel. Il leur fournit
également une base de référence devant servir La communauté internationale continue d’accu-
à évaluer les progrès réellement accomplis vers muler les données d’expérience sur la meilleure
la réalisation de la vision du futur système de manière de renforcer les systèmes nationaux de
S&E — par le biais d’activités régulières de S&E S&E et s’interroge sur les approches et les sys-
du système lui-même et du plan d’action. Ceci tèmes qui sont les plus efficaces et dans quels
non seulement facilitera l’identification des pos- types de pays (pays à revenu intermédiaire ou pays
sibilités qui s’offrent mais permettra également pauvres ayant de très faibles capacités). Ceci met
d’identifier et de régler rapidement les problèmes en évidence la nécessité d’accroître davantage la
posés par la mise en œuvre. L’apparition des obs- masse d’informations sur la meilleure manière
tacles et des possibilités explique l’expérience de d’institutionnaliser un système de S&E. Ces ques-
plusieurs pays. En effet, à cause de ces défis, les tions ainsi que d’autres aspects connexes sont
systèmes nationaux de S&E ne sont générale- examinés dans Vème Partie.

90
CINQUIÈME PARTIE
Questions en suspens

L
es questions en suspens sont évoquées dans la présente partie. Il y a
d’autres questions pour lesquelles les résultats obtenus au plan inter-
national ne sont pas bien compris ou ni bien étayés par des documents.
Il s’agit des domaines nouveaux et de pointe, des thèmes qui sont importants
pour l’institutionnalisation du S&E mais sur lesquels les connaissances actuelles
paraissent insuffisantes (chapitre 14). Ces domaines incluent, entre autres, la
viabilité économique d’autres manières de renforcer les systèmes nationaux
de S&E, le niveau optimum des évaluations, les modèles de bonnes pratiques
en matière de S&E aux niveaux sectoriel et infranational, et les moyens d’en-
courager la société civile à participer au S&E de la performance du gouver-
nement. Bon nombre de ces thèmes, sinon tous, mériteraient de faire l’objet
d’une recherche plus approfondie.
14
Domaines nouveaux

L’
acquisition des connaissances sur la création des systèmes nationaux
de S&E reste un travail en cours. Une expérience considérable a été
accumulée et analysée dans les pays membres de l’OCDE (chapitre 3)
et les publications sur l’expérience des pays en développement ont com-
mencé à augmenter au cours des 10 dernières années en particulier.
Cependant, de nombreux domaines ne sont ni certain nombre d’évaluations de ces projets de
bien compris ni bien étayés par des documents renforcement des capacités au cours des pro-
(encadré 14.1). Ainsi, 9 domaines nouveaux sont chaines années. Jusqu’à présent, la majeure par-
suggérés ici. La majeure partie de ces domaines, tie de l’appui des bailleurs de fonds qui a été
sinon tous, méritent d’être examinés plus avant fournie par le biais des projets de prêts l’a été dans
et à fond, ans le cadre d’un programme de re- le cadre d’un programme de réforme de plus
cherche à long terme. grande envergure. Ainsi, lorsque les projets sont
évalués, l’on accorde relativement peu d’attention
Méthodes économiques aux questions comme la viabilité économique
Comme mentionné au Chapitre 13, une ques- des actions individuelles telles que celles qui sont
tion importante est celle de savoir quelles sont citées dans le tableau 13.1.
les méthodes les plus efficaces pour ren-
forcer les systèmes nationaux de S&E et D’autre part, l’IEG qui, pendant plus de 20 ans,
dans quels types de pays. Une longue liste de a géré un programme de renforcement des ca-
différents types de mesures a été fournie dans le pacités de S&E, a réalisé une autoévaluation de
présent document mais la relative viabilité éco- ses activités (IEG 2004a) ; cette évaluation est exa-
nomique de chacune de ces mesures n’est pas minée dans l’Annexe D. D’autres évaluations
connue. Les critères d’évaluation applicables à des initiatives des bailleurs de fonds et des gou-
tout type d’initiative de renforcement des capa- vernements visant à créer des systèmes de S&E
cités tel que son efficacité, son effectivité, sa via- sont nécessaires pour que nous puissions com-
bilité etc. offrent des éléments d’appréciation1. prendre davantage ce qui fonctionne le mieux
dans des contextes différents. La Banque mon-
Les bailleurs de fonds aident de plus en plus ac- diale élabore présentement son premier projet
tivement les pays à renforcer leurs systèmes de consacré uniquement au renforcement d’un sys-
S&E et on peut s’attendre à ce qu’ils réalisent un tème national de S&E, celui de la Colombie. Le

93
V: Q U E S T I O N S E N S U S P E N S

Encadré 14.1. Renforcer les systèmes documents sont peu nombreux.2 Une fois que
nationaux de S&E — Quelques plus d’évaluations des activités de renforcement
domaines nouveaux des capacités seront réalisées par les bailleurs de
fonds dans ce domaine, il sera important de se
concentrer précisément sur ces « échecs ».
• Coût-efficacité des différentes manières de créer
ou de renforcer les systèmes nationaux de S&E Une autre question intéressante est celle de sa-
• Exemples de pays qui ont essayé sans succès de voir quels types de systèmes de S&E, chacun
renforcer leurs systèmes de S&E avec ses objectifs particuliers tels que la budgéti-
• Coût-efficacité des différents types de systèmes sation fondée sur les résultats ou une meilleure
de S&E gestion des programmes, ont le meilleur rap-
• Quel niveau d’évaluation est suffisant ? port coût-efficacité. Ici, le degré d’utilisation de
• Systèmes sectoriels de S&E façons diverses des informations relatives au sys-
• Systèmes infranationaux de S&E tème de S&E et la valeur de cette utilisation consti-
• Harmonisation des interventions des bailleurs de tuent les éléments d’appréciation. Un argument
fonds et alignement sur le pays récurrent dans le présent document est que l’uti-
• Implication de la société civile dans le S&E de la lisation qui est faite d’un système de S&E est l’ul-
performance du gouvernement time mesure de son succès. Le Chili en est un
• Normes formelles relatives aux systèmes de S&E exemple. Son système de S&E lui coûte environ
appliquant les bonnes pratiques. 0,75 million de dollars par an et les informations
qu’il génère sont utilisées intensément par le mi-
nistère des Finances dans le cadre de ses décisions
S&E futur de ce prêt devrait fournir de précieux budgétaires et pour obliger les ministères et les
enseignements. organismes publics sectoriels à améliorer leur
gestion (chapitre 6).
Les publications de plus en plus nombreuses sur
les systèmes nationaux de S&E mettent l’accent La valeur des informations tirées du système de
sur les pays qui appliquent les bonnes méthodes S&E est une question intéressante mais il peut
ou les méthodes prometteuses dans ce domaine s’avérer impossible de la déterminer clairement
(chapitre 5). Ceci peut se comprendre pour au car cela dépend, dans une large mesure, du
moins deux raisons : d’une part, les bailleurs de contexte et du niveau de la demande (ou de l’en-
fonds qui travaillent dans ce domaine et les gou- gagement) de chaque gouvernement. Il est pos-
vernements qui veulent renforcer leurs systèmes sible que certains types de systèmes de S&E, par
de S&E souhaitent reproduire les succès ; ainsi, exemple ceux qui ont recours à un programme
ils veulent comprendre les principales mesures de rigoureux d’évaluations d’impact, soient excessi-
renforcement des capacités et les facteurs déter- vement complexes et coûteux pour les pays les
minants de ces succès. D’autre part, les bailleurs plus pauvres. Toutefois, dans une telle situation,
de fonds qui recommandent les systèmes natio- il est possible d’avoir recours aux bailleurs de
naux de S&E comme un moyen de réaliser une fonds pour le financement et la gestion de ces éva-
saine gouvernance doivent être capables d’iden- luations.
tifier des exemples crédibles de systèmes de S&E
performants. Une question liée à la précédente est celle de sa-
voir quel niveau d’évaluation est suffisant. Et
Ce qui manque dans ces approches ce sont des quel montant les gouvernements doivent-ils être
exemples des pays qui ont essayé sans suc- prêts à consacrer chaque année à leur système de
cès de renforcer leurs systèmes de S&E. En S&E une fois qu’il aura été créé ? Les publica-
tant qu’évaluateurs, nous savons que nous tirons tions sur les évaluations font de temps en temps
des enseignements autant des échecs que des référence à cette question, suggérant parfois qu’il
succès. Toutefois, les exemples étayés par des serait approprié d’allouer environ 1 % des dé-

94
14 : DO M A I N E S N OU V E AU X

penses totales d’une organisation à l’évaluation. sont réellement utilisées de manière intensive et
Toutefois, ce chiffre n’a aucun fondement logique que le système est rentable.
ou empirique. Mais la question reste importante.
Le budget annuel du Gouvernement chilien Une fois encore, ceci met en évidence la néces-
s’élève à environ 20 milliards de dollars et le mi- sité de réaliser un S&E régulier du système lui-
nistère des Finances ne consacre que 0,75 million même. Dans les cas où les informations sur le S&E
de dollars chaque année à son système de S&E. ne sont pas utilisées de façon intense, il est clair
Ce montant est-il suffisant ou excessif ? qu’il faut en analyser les causes. Si l’on estime qu’il
existe des problèmes concernant la fiabilité des
Le ministère chilien des Finances finance moins informations relatives au S&E, alors il faut dé-
de 20 évaluations par an. On peut comparer cette penser davantage pour améliorer le système. Et,
situation à celle de l’Australie où au milieu des an- si ces informations, même lorsqu’elles sont fiables,
nées 90 quelque 160 évaluations de grande en- font l’objet d’une faible demande par les pou-
vergure étaient en cours à tout moment (chapitre voirs publics, il serait nécessaire de prendre des
8). Comme au Chili, les informations tirées des mesures pour renforcer cette demande. Si ces me-
évaluations en Australie étaient utilisées de ma- sures ne produisent pas l’effet escompté et s’il
nière intensive dans le processus budgétaire. n’est pas possible d’améliorer la demande, alors
Quel pays a-t-il produit le nombre optimal d’éva- on peut suggérer de réduire la portée du sys-
luations ? Il n’est pas facile de répondre à cette tème voire de le supprimer.
question. La méthode d’évaluation minimale
adoptée par le ministère chilien des Finances La plupart des arguments avancés dans le présent
peut impliquer que celui-ci ne financera jamais une document mettent l’accent sur les systèmes na-
série d’évaluations d’impact coûteuses à l’échelle tionaux de S&E ou les systèmes applicables à
de celle réalisée au Mexique dans le cadre du l’ensemble du secteur public. En général, de tels
Progresa (examiné au chapitre 6). Mais, le Gou- systèmes relèvent des ministères des Finances
vernement chilien utilise les informations tirées ou du Plan, ou du cabinet du Président. Du côté
du système de S&E de façon intensive et estime des bailleurs de fonds, le personnel en charge de
qu’il est efficace par rapport au coût, car le ren- telles questions est souvent constitué d’experts
dement de l’investissement qu’il consacre au S&E de la gestion du secteur public ou de la gestion
est très positif. Ainsi, il doit dépenser davantage des dépenses publiques dont les activités por-
— et sans doute beaucoup plus — sur son sys- tent dans une large mesure sur les questions sys-
tème de S&E. témiques relatives à une saine gouvernance ; ce
personnel a également tendance à focaliser son
Si nous acceptons que le succès d’un système de attention sur les ministères centraux.
S&E se mesure à l’utilisation des informations
qu’on en tire, il s’agira simplement de déterminer Systèmes sectoriels
le montant à lui consacrer : continuer à allouer des Un autre domaine nouveau est celui des sys-
ressources au système de S&E si les avantages dé- tèmes sectoriels de S&E, comme on en trouve
coulant de son utilisation des informations qu’il souvent dans les ministères de la Santé et de l’É-
génère sont jugés importants, et, si les avantages ducation. Les équipes des bailleurs de fonds à ce
potentiels d’une augmentation proposée des dé- niveau sont généralement constituées de spé-
penses consacrées au système sont également cialistes sectoriels. Les systèmes nationaux et sec-
jugés importants, alors, il faut dépenser ce mon- toriels sont clairement liés. En effet, un système
tant additionnel en mettant à contribution soit le national doit faire appel aux systèmes sectoriels
budget de l’État, soit les prêts des bailleurs de pour la majeure partie des informations dont il a
fonds. Il revient donc aux personnes en charge de besoin sur le suivi. Ces données peuvent prove-
la gestion du système de S&E de démontrer de nir des dossiers administratifs ou éventuellement
façon crédible que les informations qu’on en tire des enquêtes spéciales et des recensements réa-

95
V: Q U E S T I O N S E N S U S P E N S

lisés soit par des entités sectorielles, soit par le bu- menées pour confirmer que les problèmes posés
reau national de la statistique. par les systèmes sectoriels de S&E sont par es-
sence, à moindre échelle, le reflet des problèmes
Les systèmes sectoriels de S&E sont clairement im- auxquels font face les systèmes nationaux de S&E.
portants en eux-mêmes, mais également à cause À tout le moins, il existe probablement quelques
du rôle qu’ils jouent dans un système national. Ce- différences de taille entre les rangs de priorité ac-
pendant, les publications sur les systèmes natio- cordés à ces problèmes. Ensemble, nous devons
naux de S&E et les publications sur les systèmes comprendre quelles sont ces différences.
statistiques de l’État3 semblent se concentrer en
grande partie sur les systèmes nationaux. Cette la- Systèmes infranationaux de S&E
cune doit être comblée. Certains ministères et or- Les systèmes infranationaux de S&E sont
ganismes publics sectoriels dans les pays en comparables aux systèmes sectoriels de S&E, en
développement semblent avoir des systèmes de particulier dans les pays qui n’ont pas un sys-
S&E performants, particulièrement dans les sec- tème de gouvernement unitaire. De nombreux
teurs de la santé, de l’éducation et de la protec- gouvernements ont un système fédéral à plu-
tion sociale. Mais nous ne disposons pas de sieurs niveaux, avec de degrés divers de décon-
données suffisantes sur ces éventuels îlots de centration et de décentralisation des fonctions.
bonnes pratiques, sur les facteurs ayant conduit
à leur création ou sur leur viabilité. Les relations entre ces niveaux de gouvernement
peuvent être complexes, y compris les chaînes de
Il existe ne serait-ce que quelques exemples étayés responsabilité et les exigences formelles en ma-
par des documents d’études d’excellente qualité tière de fourniture d’information. Peu d’études de
sur les systèmes sectoriels de S&E et ces sys- cas ont été élaborées sur le S&E à l’échelle infra-
tèmes eux-mêmes méritent plus d’attention. Un nationale. Mais de telles études sont manifeste-
exemple en est le Réseau de métrologie sanitaire ment importantes à cause de la complexité des ces
(RMS) qui est le fruit d’un partenariat mondial fi- chaînes de responsabilité.
nancé par l’Organisation mondiale de la Santé et
qui encourage la création des systèmes d’infor- Une autre raison pour laquelle ceci est pertinent
mation sanitaire4. Ce réseau a élaboré un outil dé- c’est le fait qu’en général, la majeure partie des
taillé de diagnostic permettant d’évaluer la informations concernant le S&E est collectée au
performance des systèmes de santé, d’identifier niveau des entités. Ainsi, la nature des relations
les faiblesses cruciales et de suivre la performance entre les différentes entités et les ministères/or-
des mesures prises pour s’attaquer à ces faiblesses. ganismes publics sectoriels d’une part et les ni-
Cet outil peut être utilisé pour décerner une note veaux infranationaux d’autre part peut aider à
à un grand nombre important de dimensions des déterminer la qualité des informations fournies
systèmes d’information sanitaire sur une échelle ainsi que la mesure dans laquelle ces informations
de 5 catégories de performance allant de « parti- sont utilisées par les entités elles-mêmes. Comme
culièrement adapté » à « ne fonctionne pas »5. il a été noté dans le cas de l’Ouganda (chapitre 9),
la charge de travail relative à la fourniture des in-
Dans le présent document, l’on part du principe formations au niveau des entités et des districts
que les enseignements tirés de l’institutionnalisa- peut être onéreuse, avec des répercussions très
tion des systèmes nationaux de S&E — examinés négatives sur la qualité des données.
au chapitre 10 — s’appliquent également aux sys-
tèmes sectoriels de S&E. Cette croyance se fonde Harmonisation des interventions des
sur certains éléments empiriques tels que les études bailleurs de fonds
analytiques réalisées dans le cadre de l’organisme Dans la communauté des évaluateurs des bailleurs
de développement social (SEDESOL) du Mexique de fonds, il existe un problème chronique, celui
(Banque mondiale 2004c, Hernandez 2006). Tou- de l’harmonisation des interventions des
tefois, des recherches plus poussées doivent être bailleurs de fonds, ou de l’absence d’harmo-

96
14 : DO M A I N E S N OU V E AU X

nisation. Ce problème alourdit la charge de tra- Le défi pour la communauté des bailleurs de
vail imposée sur les pays en raison de la nécessité fonds est de savoir comment encourager d’autres
pour ces pays de se conformer aux exigences des pays à suivre cet exemple de la participation de
différents bailleurs de fonds en matière de S&E. la société. Ceci dépendra en partie du contexte
Dans la Déclaration de Paris de 2005, les bailleurs de chaque pays et de la place qu’occupe la société
de fonds se sont engagés à harmoniser ces exi- civile dans ce pays.
gences et à s’aligner autant que possible sur les
systèmes nationaux et les méthodes nationales La Banque mondiale et certains autres bailleurs
d’établissement de « cadres des résultats et de de fonds font face à des difficultés supplémentaires
suivi », c’est-à-dire l’alignement sur les pays parce qu’ils interagissent principalement avec les
(Forum de haut niveau sur l’harmonisation, l’ali- gouvernements. Néanmoins, il est possible que
gnement et les résultats, 2005). la Banque use de son influence pour permettre
à la société civile de faire entendre sa voix. La
Les bailleurs de fonds et les pays bénéficiaires se Banque peut, et elle l’a fait, montrer à des groupes
sont également engagés à travailler de concert de la société civile dans différents pays une série
pour renforcer les capacités nationales et la de- d’exemples de participation de la société civile au
mande de gestion axée sur les résultats. Il serait S&E des résultats de l’administration. Il est à es-
intéressant de savoir dans quelle mesure, le cas pérer que ceci va susciter l’intérêt et la volonté de
échéant, ces objectifs ont été atteints ; une série la société civile à s’impliquer dans ce domaine (voir
d’évaluations des résultats de la Déclaration de par exemple, Mackay et Gariba 2000). Il est im-
Paris est en cours et elle fera l’objet de rapports portant que la communauté des bailleurs de fonds
au cours de la période 2008–20106. et la société civile elle-même déterminent d’autres
moyens d’encourager ce type de participation.
Il est encourageant de constater qu’un nombre
croissant d’évaluations d’impact est réalisé par Normes formelles
les bailleurs de fonds et les États. À titre d’exemple, Un dernier domaine nouveau concerne la né-
la Banque mondiale prévoit ou réalise actuelle- cessité d’établir ou non des normes formelles
ment environ 30 évaluations rigoureuses d’impact pour les systèmes de S&E appliquant de
conjointement avec les gouvernements des pays bonnes pratiques. Des normes similaires sont
d’Amérique latine, en général dans le cadre des appliquées par la communauté internationale,
projets conjoints ; celles-ci sont apparemment notamment par les bailleurs de fonds, aux sys-
réalisées en collaboration très étroite. Il est pos- tèmes nationaux et à quelques systèmes statis-
sible qu’il y ait là quelques enseignements à tirer tiques sectoriels et aux systèmes nationaux de
pour réaliser d’autres types d’évaluations et des gestion des finances publiques7. Il est possible
évaluations conjointes bailleurs/gouvernements d’élaborer des normes pour les systèmes natio-
dans d’autres Régions de la Banque. naux de S&E qui seraient basées sur les critères
de la liste de contrôle conçue dans le cadre des
Des exemples de participation de la société ci- différents guides diagnostiques existants (cha-
vile au S&E de la performance du gouver- pitre 12 ; Mackay 1998b).
nement sont présentés dans le chapitre 3. Il
s’agit de l’initiative sur les fiches d’évaluation par Un argument en faveur de telles normes for-
les citoyens qui a été introduite pour la première melles est qu’elles fourniraient une orientation
fois à Bangalore, et d’une démarche comparable plus claire aux gouvernements concernant les
appelée Bogotá Cómo Vamos. Ces initiatives ont normes qu’ils pourraient, et peut-être devraient,
réussi à exercer la pression sur les administra- s’attacher à atteindre. Le deuxième argument
tions municipales pour les amener à améliorer est que ces normes faciliteraient le suivi et l’éva-
leurs résultats. La méthode des fiches d’évaluation luation périodiques des systèmes de S&E eux-
par les citoyens a été reprise dans un certain mêmes. Comme on l’a vu aux chapitres 12 et 13,
nombre de villes en Inde et dans d’autres pays. il est important de suivre et d’évaluer les efforts

97
V: Q U E S T I O N S E N S U S P E N S

visant à consolider le système de S&E, et l’éva- dèle universel de bonne pratique — ni même une
luation du système de S&E par rapport à des cri- poignée de modèles — pour les systèmes de
tères explicites faciliterait cette initiative. S&E auxquels les gouvernements doivent aspirer.
Cependant, un argument à l’encontre d’une liste Il existe, au contraire, une vaste gamme de mo-
standard de critères est qu’il n’existe pas de mo- dèles possibles.

98
15
Conclusions

L
a présente étude porte essentiellement sur les systèmes nationaux de S&E
et sur la manière dont ils peuvent aider à améliorer les performances du sec-
teur public. La plupart des pays membres de l’OCDE et un nombre petit mais
croissant de pays en développement tiennent tout particulièrement à s’assurer de
la disponibilité des informations sur le suivi et des résultats des évaluations.
Ces gouvernements utilisent les informations ti- en soi, mais pour améliorer la performance du
rées du S&E de 4 manières possibles : pour sou- gouvernement. Les études de cas sur les systèmes
tenir l’élaboration des politiques, en particulier la nationaux de S&E performants sont présentées
prise des décisions budgétaires ; pour aider les mi- ainsi qu’un nombre important d’enseignements
nistères centraux à élaborer les politiques et à tirés de ces systèmes de S&E et de l’expérience
réaliser leurs travaux d’analyse ; pour soutenir d’autres pays sur la manière de mettre en place
les ministères et les agences gouvernementales de tels systèmes ainsi que les enseignements sur
dans la gestion de leurs activités ; et pour renforcer les erreurs à éviter.
la chaîne des responsabilités.
L’utilisation des informations qu’un système de
Il est suggéré ici que ces 4 utilisations du S&E le S&E génère comme l’ultime mesure de son suc-
met au centre d’une saine gouvernance, comme cès est un thème récurrent dans le présent do-
une condition nécessaire à la gestion efficace des cument. En effet, il ne suffit pas de créer un
dépenses publiques aux fins du développement système qui produit des indicateurs de perfor-
économique et de la réduction de la pauvreté. Des mance et des évaluations solides sur le plan tech-
exemples d’évaluations réalisées dans les pays nique. L’utilisation dépend de la nature et de
en développement et qui ont joué un rôle très in- l’importance de la demande des informations ti-
fluent ont été fournis pour montrer les bénéfices rées du S&E et ceci à son tour est tributaire des
potentiellement élevés que les gouvernements mesures incitatives prises pour utiliser le S&E. Cer-
peuvent tirer des investissements sur le S&E. tains gouvernements dans les pays en dévelop-
pement ont une forte demande des systèmes de
L’objectif du présent document est d’aider les S&E au plus haut niveau. Dans d’autres, la de-
gouvernements dans leurs efforts visant à créer, mande est faible ou mitigée. En ce qui concerne
à renforcer et à institutionnaliser complètement ces derniers, il existe des moyens pour accroître
leurs systèmes de S&E, non pas comme une fin la demande en améliorant ces mesures incitatives.

99
V: Q U E S T I O N S E N S U S P E N S

L’un des principaux enseignements à inclure dans portantes et évoluent. Par ailleurs, les principaux
le processus de création d’un système de S&E enseignements tirés de ces expériences sont four-
c’est la nécessité de réaliser une étude diagnostique nis dans le présent document. En outre, des ré-
du S&E. En effet, elle peut permettre de bien com- ponses sont apportées aux questions fré-
prendre les activités de S&E au sein du gouverne- quemment posées par les responsables et d’autres
ment, de mieux cerner l’environnement du secteur personnes qui travaillent au renforcement des
public et les opportunités pour utiliser les infor- systèmes nationaux de S&E.
mations relatives au S&E pour soutenir les princi-
pales fonctions de l’État. Un tel diagnostic constitue Mais il existe également un certain nombre de
un fondement important pour l’élaboration d’un questions sur lesquelles on en sait moins, en par-
pan d’action. Un diagnostic peut également être un ticulier les systèmes de S&E qui sont des mo-
moyen de s’assurer que les principales parties pre- dèles de bonnes pratiques aux niveaux
nantes du gouvernement et des bailleurs de fonds infranational et sectoriel ou les moyens par les-
ont la même compréhension des questions sou- quels on pourrait encourager la participation de
levées et de la nécessité de renforcer le S&E. la société civile au S&E. Il s’agit là des domaines
nouveaux et d’avant-garde et nous suggérons ici
Les connaissances sur les expériences des pays en qu’un programme de recherche à long terme
matière de création de systèmes de S&E sont im- soit élaboré afin de les examiner.

100
SIXIÈME PARTIE
Foire aux questions

D
ans la présente partie, des réponses sont apportées à un certain
nombre de questions souvent posées lors des conférences natio-
nales et internationales sur le système national de S&E. La régula-
rité avec laquelle les questions similaires sont posées permet d’identifier les
principaux problèmes à prendre en compte en cherchant à institutionnaliser
un système de S&E.
Foire aux questions

L
es responsables, les universitaires, les consultants, les bailleurs de fonds
et d’autres personnes qui s’intéressent au renforcement des systèmes
nationaux de S&E posent souvent des questions similaires sur la manière
de s’y prendre et de relever les défis. Les réponses aux 21 questions les plus
fréquemment posées sont présentées ci-après. Ces questions permettent de
mettre en évidence les nombreuses dimensions connexes d’un système na-
tional de S&E et de clarifier la nature des arbitrages qui pourraient s’imposer.

1. Comment établir progressivement un Une solution possible est d’utiliser une série d’ou-
système national de S&E ? Est-ce une tils et de mettre en œuvre des méthodes de S&E
démarche trop ambitieuse de la part de mon de façon progressive et à l’échelle de l’ensemble
pays de vouloir établir un système en une de l’administration. Le Chili a réalisé ceci en adop-
fois ? tant un système d’information sur les perfor-
mances en 1994, suivi de rapports de gestion
Un bon premier pas consiste à réaliser une étude détaillés en 1996, des examens rapides en 1996,
diagnostique des fonctions et du système natio- des évaluations rigoureuses d’impact en 2001 et
nal de S&E existant (voir chapitre 12). Une telle des examens complets des dépenses en 2002
étude doit permettre de mieux comprendre les (chapitre 6). Toutefois, la plupart des gouverne-
forces et les faiblesses du système existant et éga- ments peuvent ne pas avoir la patience nécessaire
lement de répondre clairement aux questions pour adopter une démarche aussi laborieuse.
suivantes : qui a besoin de quels types d’infor-
mations de S&E ? À quelles fins et à quel mo- Tout en étant importantes, certaines actions liées
ment ? À leur tour, les réponses à ces questions au S&E telles qu’une amélioration importante
doivent permettre d’identifier le menu de mesures des systèmes de suivi ou une évaluation rigou-
éventuelles à prendre pour renforcer le système reuse d’impact, peuvent prendre beaucoup de
de S&E existant ou pour créer un système entiè- temps pour être réalisées si des données fiables
rement nouveau (chapitre 13). Il est évident qu’il ne sont pas encore disponibles. Les défenseurs des
faut définir clairement à quelles fins sont destinées systèmes de S&E peuvent ou ne peuvent pas vou-
principalement les informations tirées du S&E à loir attendre que ces actions soient mises en
l’avenir. œuvre. Et, même s’ils font preuve de patience, ils

103
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

finiront par quitter leur poste, peut-être de ma- luation et de systèmes de S&E performants qui ont
nière inattendue. eu de l’influence dans d’autres pays (voir cha-
pitre 3). Il est tout aussi important de trouver
C’est une des raisons pour lesquelles il faudrait des défenseurs et des alliés puissants du S&E, et
essayer d’inclure certaines mesures à rentabilité ceux-ci à leur tour peuvent aider à plaider en fa-
immédiate dans le plan d’action du S&E. Celles- veur du S&E et le soutenir à plus grande échelle.
ci peuvent consister en une série d’activités pilotes
telles que réaliser quelques évaluations rapides qui Chaque gouvernement mène déjà certaines ac-
seront utilisées dans le cadre du processus bud- tivités de S&E, même si elles n’incluent que des
gétaire (en révélant la performance des différents systèmes ministériels de dossiers administratifs,
programmes) ; mener une enquête sur le suivi des les données sectorielles des organismes natio-
dépenses publiques dans le but de montrer l’am- naux de la statistique et les informations que les
pleur de la « fuite » des fonds publics ; ou réali- gouvernements fournissent aux bailleurs de fonds.
ser une évaluation rigoureuse d’impact lorsque Il peut être révélateur de réaliser une étude dia-
des données fiables existent déjà ou peuvent être gnostique rapide des activités actuelles de S&E et
rapidement collectées (voir chapitre 2). de découvrir l’ampleur des doubles-emplois et de
l’inefficacité des systèmes de suivi existants.
De telles activités de démonstration peuvent Comme cela a été le cas en Ouganda (chapitre 12),
mettre en évidence la valeur des informations ti- ceci peut constituer la motivation nécessaire pour
rées du S&E et aider ainsi à sensibiliser à ce sujet rationaliser les systèmes actuels et s’assurer qu’ils
et à susciter la demande. Certes, c’est toujours une fournissent des informations plus utiles au
bonne idée de disposer de plans d’action bien éla- gouvernement.
borés, avec un certain nombre de phases pour la
mise en place du système de S&E, mais un en-
seignement important tiré de l’expérience est 3. Comment créer une culture de résultats
qu’il est nécessaire d’être capable de réagir de dans la fonction publique de mon pays ?
façon flexible lorsque se présentent de nouvelles
opportunités concernant le S&E (chapitre 10). Ceci est difficile à réaliser, en particulier pour des
fonctionnaires qui durant toute leur carrière se
sont conformés à des règles et procédures ri-
2. La demande des informations tirées du gides. Il est facile pour les fonctionnaires et leurs
suivi et des résultats de l’évaluation au sein dirigeants de se concentrer seulement sur les ac-
de mon administration est faible. Que dois-je tivités ou les processus tels que le nombre de
faire face à un tel désintérêt si je veux centres de santé de santé construits ou de chèques
établir un système public de S&E ? établis en faveur des assistés sociaux. Mais, le
mieux serait qu’ils mettent l’accent sur les buts et
La faiblesse de la demande constitue un sérieux les objectifs de ces activités et spécifiquement
obstacle à la mise en place d’un système public sur leurs résultats – les extrants, les réalisations
de S&E, mais un certain nombre de mesures peu- et les impacts de leurs initiatives.
vent être prises pour renforcer cette demande
(voir les chapitres 10 et 11). En premier lieu, il peut Il n’y a pas de réponse simple à cette question mais
être utile de sensibiliser les hauts responsables au un certain nombre de mesures peuvent être prises
S&E. Il faut expliquer ce qu’est le S&E et en quoi pour aider à changer l’état d’esprit des fonction-
il peut être utile pour un gouvernement — par naires. L’une d’elles consisterait à disposer de dé-
exemple, en l’aidant à prendre les décisions bud- fenseurs engagés et favorables aux réformes et qui
gétaires en connaissance de cause ou à améliorer occuperaient des postes importants. L’autre so-
la gestion courante de toutes les activités gou- lution serait d’utiliser des de puissantes mesures
vernementales. Les hauts responsables peuvent d’incitation pour promouvoir une culture de ré-
souvent être convaincus par des exemples d’éva- sultats et une meilleure écoute du client — la

104
F O I R E AU X Q U E ST I O N S

culture du service (voir chapitre 11 par exemple). même certains des pays les plus pauvres, y com-
L’organisation de réunions bilans régulières entre pris l’Ouganda et la Tanzanie. Ils le font parce
les dirigeants et leur personnel peut aider à cla- qu’ils comprennent qu’un investissement dans le
rifier les objectifs, à examiner la performance ac- S&E peut être particulièrement rentable.
tuelle de l’équipe et à trouver les moyens de
l’améliorer.
5. Mon gouvernement voudrait bien
Donner une autonomie plus large et une plus renforcer nos activités de S&E mais nos
grande flexibilité aux dirigeants qui réalisent des institutions sont faibles. Que pouvons-nous
performances élevées, c’est-à-dire ceux qui ob- faire ?
tiennent des résultats, peut constituer une puis-
sante incitation dont les effets peuvent se ressentir La réponse la plus simple est de mettre un système
au niveau de leur personnel (Banque mondiale en place de façon progressive en vous appuyant sur
1998). Une telle autonomie peut se matérialiser ce que vous avez déjà. Il faut simplifier et rationa-
par un accès plus large aux financements et da- liser vos systèmes de suivi ; rechercher l’appui et
vantage de pouvoir de recrutement et de licen- l’expertise des bailleurs de fonds pour vos sys-
ciement du personnel sur la base de ses résultats. tèmes de S&E et en vue de réaliser quelques éva-
Il est difficile de réaliser une réforme aussi vaste luations aux fins de démonstration. Établir un ordre
à l’échelle de l’ensemble de la fonction publique, de priorité des évaluations dans les domaines, tels
mais elle peut être mise en œuvre à titre pilote que la santé ou l’éducation, où des décisions gou-
dans certains organismes publics. vernementales importantes doivent être prises à
l’avenir. Il est préférable de commencer de façon
modeste pour démontrer les avantages tirés du S&E
4. Mon gouvernement fait déjà l’objet de et de s’appuyer progressivement sur ces initia-
pressions considérables dues à la charge de tives. Il vaut mieux éviter de commettre l’erreur ha-
travail et à des contraintes. Pourquoi devons- bituelle qui consiste à concevoir un système de S&E
nous maintenant consacrer des efforts à la trop complexe (chapitre 10).
création d’un système de S&E ?

Voir la réponse à la question n° 2. Votre gouver- 6. Combien mon gouvernement doit-il


nement consacre déjà d’énormes efforts au S&E, dépenser sur l’évaluation ? Quel montant est-
en particulier pour le suivi des initiatives de vos il suffisant ?
ministères et le respect des normes minimales
d’évaluation imposées par les bailleurs de fonds. Il existe un mythe selon lequel 1 % des dépenses
Par exemple, une étude diagnostique en Ouganda d’un programme doit être consacré à l’évalua-
a révélé 16 sous-systèmes de suivi ; une autre tion ? Certes, ce chiffre n’a aucun fondement lo-
étude au sein de l’Agence de développement so- gique ou empirique mais il indique le niveau
cial au Mexique a révélé 8 systèmes de suivi sans d’efforts et des ressources qui doivent être consa-
coordination dans un seul organisme public. crés à toute activité d’évaluation. Si un programme
est évalué tous les trois ou cinq ans, alors, même
Il sera certainement possible de réduire les inef- le coût que représente 1 % équivaut seulement à
ficacités et les doubles emplois dans vos systèmes tout montant entre le tiers ou le cinquième des dé-
existants et de produire uniquement les infor- penses en rythme annuel. Ainsi, il suffit que l’éva-
mations de base dont vous avez besoin et que vous luation se traduise par une amélioration modeste
pouvez utiliser. Un nombre croissant de pays à tra- de l’effectivité et de l’efficacité du programme
vers le monde consacrent déjà des efforts im- pour être rentable par rapport au coût. Certaines
portants au S&E ; il s’agit notamment des pays des évaluations mises en évidence dans le présent
membres de l’OCDE, certains pays à revenu in- document ont été beaucoup plus rentables par rap-
termédiaire (tels que le Chili et la Colombie) et port au coût (voir aussi IEG 2004b, 2006).

105
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

Le coût d’une évaluation sera considérablement Pour les systèmes de S&E qui n’ont pas encore été
réduit s’il existe déjà des donnés fiables sur le suivi, mis en place, le défi est de faire en sorte que cha-
en particulier sur les bénéficiaires et les résultats cune compte — afin de s’assurer qu’elles seront
du programme. C’est une des raisons pour les- bien connues au niveau des principaux décideurs
quelles il faudrait mettre en place de solides sys- et auront aussi une grande influence. Il est utile
tèmes administratifs de collecte de données et dans ce contexte d’envisager à l’avance les points
investir dans les systèmes nationaux des importants de décision, tels qu’un examen de
statistiques. grande envergure prévu, un nouveau gouverne-
ment ou l’élaboration d’un plan d’action. Si ces
Il est évident que les évaluations ne doivent jamais points sont prévus suffisamment longtemps à
constituer une fin en soi. L’intensité de l’utilisa- l’avance, il doit être possible de s’assurer que les
tion de l’évaluation constitue en fin de compte au- résultats de l’évaluation seront disponibles à
quel doit se mesurer sa réussite. L’annexe A fournit temps pour être pris en compte dans le proces-
des enseignements sur la manière dont il faut sus de prise de décision du gouvernement.
s’assurer que les évaluations aient une influence.
Le temps nécessaire à l’évaluation dépendra du
type d’évaluation, de l’existence de données ap-
7. Comment établir un ordre de priorités de propriées, etc. Pour de telles « évaluations de dé-
nos évaluations ? Nos ressources monstrative », il serait prudent de chercher à
financières sont limitées et nous ne pouvons minimiser le risque que les résultats de l’évalua-
pas évaluer tout ce que nous voulons. tion soient jugés sans intérêt à cause de leur qua-
lité médiocre, d’un mauvais positionnement dans
L’établissement d’un ordre de priorité entre les le temps ou pour des raisons politiques1.
évaluations est un problème récurrent pour les di-
rigeants d’un système de S&E. Les critères stan-
dards utilisés pour aider à sélectionner les 8. Qui doit assumer le coût des évaluations ?
programmes à évaluer incluent ceux ci : les pro- Les évaluations sont coûteuses et il n’est pas
grammes nécessitant de grosses dépenses ; les raisonnable de s’attendre à ce que les pays
programmes revêtant une importance particu- pauvres en assument les coûts.
lière du point de vue des politiques ; les pro-
grammes dont on suspecte qu’ils ont des Il est vrai que peu d’évaluations sont commandi-
problèmes de performance ; et les programmes tées et payées par les pays africains. Certes, les éva-
pilotes que le gouvernement envisage d’amplifier. luations ne doivent pas nécessairement être
D’autres critères déterminant cet ordre de prio- coûteuses, comme on le souligne au chapitre 2,
rité entre les évaluations incluent la mesure dans les examens rapides et des types similaires d’éva-
laquelle l’évaluation est réalisable ; la question de luation peuvent être réalisés à moindre coût, juste
savoir si elle fournira des informations oppor- pour quelques milliers de dollars. De nombreuses
tunes (en l’occurrence si les conclusions de l’éva- évaluations sont beaucoup plus coûteuses que
luation seront disponibles à temps pour influencer cela. Il y aurait un argument en faveur du fait que
les décisions gouvernementales) ; et s’il existe suf- les évaluations soient considérées comme un bien
fisamment de ressources (en fonds, en personnel, public financé par les bailleurs de fonds interna-
etc.) pour réaliser l’évaluation. tionaux dans les pays pauvres, en partie à cause
de leur pauvreté d’une part, et d’autre part parce
Comme d’habitude, en décidant des programmes que les résultats des évaluations pourront bien être
à évaluer, ce serait une bonne idée de tenir compte bénéfiques pour d’autres pays de la région2.
des questions suivantes : qui a besoin de quelle
information tirée de l’évaluation ? Dans quel but En plus des financements, les bailleurs de fonds
et à quel moment ? peuvent également apporter leur expertise tech-

106
F O I R E AU X Q U E ST I O N S

nique à l’évaluation. Cependant, l’inconvénient de tements ministériels mais réalisées par des enti-
ceci peut aussi bien être un niveau plus faible tés extérieures. L’avantage de cette démarche est
d’adhésion aux résultats de l’évaluation de la part qu’elle permet d’éviter un conflit d’intérêt po-
du gouvernement si les hauts responsables n’ont tentiel et aide à s’assurer que les évaluations sont
joué aucun un rôle dans le choix du programme plus objectives et « indépendantes » que si elles
à évaluer, dans la gestion de l’évaluation ou de ses étaient réalisées par des entités gouvernementales.
résultats. Ceci constitue un argument de taille Une telle démarche accroit la crédibilité et la fia-
en faveur solide en faveur d’une démarche col- bilité de l’évaluation.
légiale en matière d’évaluation, impliquant un
partenariat entre le gouvernement et les bailleurs Le système de S&E du Chili a fait l’expérience des
de fonds. inconvénients que cette approche peut avoir. En
général, les ministères dont les programmes sont
en train d’être évalués adhèrent peu aux résultats
9. Les évaluations rigoureuses d’impact ne de l’évaluation et ainsi ne les utilisent pas assez.
sont-elles pas la règle d’or de l’évaluation, La Colombie a allié les avantages des évaluations
en particulier les évaluations qui impliquent par des entités extérieures avec ceux de l’adhé-
des tests contrôle aléatoires ? Tout autre sion des ministères sectoriels ; ceux-ci sont des
type dévaluation n’est-il pas relativement partenaires à part entière dans la demande et la
insuffisant et peut-être même ne vaut pas la gestion des évaluations externes (chapitre 7).
peine d’être réalisé ?
Dans les pays membres de l’OCED, il arrive plus
C’est un sujet particulièrement controversé3. Cer- souvent que les entités concernées réalisent elles-
tains partisans des évaluations rigoureuses d’im- mêmes les évaluations. Ceci aide à s’assurer que
pact semblent défendre cette idée. Il est évident les évaluations s’appuient sur l’expertise du per-
qu’un test de contrôle aléatoire réalisé correcte- sonnel de l’entité en matière de programme et en-
ment peut fournir des indices très nets sur les courage également les entités à utiliser les
impacts d’un programme ; par exemple la mé- évaluations (Curristine 2005). En Australie, les
thode standard d’expérimentation permettant de ministères sectoriels évaluent leurs propres pro-
mesurer les effets des nouveaux médicaments. grammes mais les ministères centraux jouent un
Toutefois, une grave lacune de telles méthodes rôle dans la supervision des évaluations et l’exa-
d’évaluations rigoureuses d’impact est qu’il n’est men des rapports d’évaluation (chapitre 8).
pas souvent possible de les mettre en application
dans de le cadre des interventions à l’échelle sec-
torielle ou nationale. En général, ces méthodes 11. Combien d’indicateurs de performance
d’évaluation sont aussi très coûteuses, ce qui fait mon gouvernement/ministère/organisme/
que le gouvernement a du mal à les financer. Le programme doit-il collecter ?
Chili, par exemple, réalise un nombre réduit d’éva-
luations d’impact chaque année alors qu’il entre- Il n’y a pas de réponse simple à cette question.
prend également un nombre plus important Cela dépend de celui qui au sein du gouverne-
d’examens sur dossiers peu coûteux (chapitre 6). ment a besoin des indicateurs de performance
pour ses travaux, de combien d’indicateurs il peut
utiliser et leur coût. Le ministère chilien des Fi-
10. Les évaluations ne doivent-elles pas être nances collecte 1 550 indicateurs de performance,
toujours réalisées par des entités ce qui aux normes internationales est énorme ;
extérieures à celles qui sont évaluées ? ce ministère aimerait avoir plus d’informations en-
core mais se rend compte que ce nombre est à
Dans les pays d’Amérique latine, les évaluations la limite de ce que les analystes budgétaires peu-
sont généralement commanditées par les dépar- vent utiliser. En revanche, le système colombien

107
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

de suivi des 320 objectifs présidentiels compte de soutenir activement le système de S&E. Dans
quelque 600 indicateurs ; cette information est dis- certains pays, ils jouent également un rôle im-
ponible sur un site internet (Annexe B). portant en tant que architectes ou superviseurs des
réformes du secteur public. Leur position leur
Il est peut-être plus utile de concevoir un sys- permet de lancer des initiatives visant à renforcer
tème d’indicateurs de performance comme une le système national de S&E, en particulier dans l’op-
pyramide avec au sommet un nombre restreint tique de la budgétisation fondée sur les résultats.
d’indicateurs stratégiques de haut niveau met-
tant l’accent sur les extrants et les réalisations à D’autre part, les ministères des Finances peu-
l’usage des hauts responsables. Pour ceux du ni- vent être des bastions du conservatisme et de la
veau intermédiaire il serait approprié de fournir résistance au changement, tant aux niveaux les
un plus grand nombre d’indicateurs opérationnels plus élevés qu’aux unités en charge du budget qui
axés sur les intrants, les processus et les extrants. supervisent chacun des ministères sectoriels et
Et, à la base de la pyramide, il serait approprié de chacune des agences. En Australie, les respon-
fournir un nombre beaucoup plus important d’in- sables du ministère des Finances étaient favo-
dicateurs opérationnels axés sur les processus et rables aux réformes, y compris à la création d’un
les services à l’usage des responsables techniques système national de S&E. Ils souhaitaient ré-
et de leur personnel aux niveaux de l’organisme orienter les travaux des unités en charge du bud-
public ou de la structure. Tout responsable tech- get pour qu’ils se concentrent moins sur les détails
nique ne serait concerné que par un petit sous- relatifs aux dépenses par poste budgétaire et da-
ensemble de ces indicateurs, c’est-à-dire ceux qui vantage sur les questions de plus vaste portée plus
sont directement pertinents pour son unité. importantes pour les politiques et sur l’effectivité
et l’efficacité des dépenses publiques. Ils se sont
Une erreur commune que l’on commet avec les donc engagés dans un processus de changement
systèmes de suivi consiste à collecter un trop culturel au sein du ministère, cherchant à in-
grand nombre d’indicateurs, ce qui conduit à une fluencer les chefs de division, les chefs de service
situation où l’on dispose de trop de données et et leur personnel. Ceci impliquait le recrutement
de pas assez d’information (chapitre 10). Les don- ciblé, la promotion, la formation sur le tas, le
nées qui ne sont pas utilisées peuvent découra- mouvement de personnel de façon proactive et
ger les fournisseurs d’informations à fournir des la reconnaissance de l’utilisation optimale des in-
données de qualité, et ceci peut mener à un cercle formations tirées du S&E dans les activités de
vicieux avec une faible utilisation des données et conseil du ministère (chapitre 8 ; Mackay 1998a).
des données de qualité médiocre.
Dans certains pays, les ministères des Finances ont
agi comme des freins aux réformes telles que le
12. Serait-il plus approprié de laisser le renforcement des systèmes nationaux de S&E.
ministère des Finances concevoir et gérer un Pour cette raison, il est important d’obtenir la
système national de S&E ? coopération de ces ministères à ces initiatives ou
au moins, d’éviter toute opposition active de leur
Pas nécessairement. Il faut en convenir qu’un cer- part. On peut s’attendre à ce que l’appui des
tain nombre de pays ont ancré leurs systèmes na- autres ministères centraux, tels que le cabinet
tionaux de S&E dans les ministères des Finances. présidentiel et le ministère de la Fonction pu-
C’est le cas en Australie, au Canada, au Chili, et aux blique soit un facteur de succès, en particulier si
États-Unis. Mais cette démarche a des avantages ceux-ci agissent de concert pour soutenir le sys-
et des inconvénients. Les ministères des Finances tème national de S&E. Une étude diagnostique
ont en général beaucoup de pouvoir, en particu- peut permettre d’évaluer l’ampleur de l’appui ou
lier sur des sujets relatifs au financement du bud- de l’opposition de chacun des puissants ministères
get. Ils peuvent réellement prendre des mesures centraux au renforcement du système de S&E ;
incitatives permettant aux ministères sectoriels elle peut également constituer un véhicule per-

108
F O I R E AU X Q U E ST I O N S

mettant une meilleure compréhension mutuelle blement pas appréciées par les ministères sec-
des avantages du système de S&E et aider à pro- toriels, bien qu’elles puissent encore être né-
mouvoir la recherche du consensus sur le plan cessaires. Les incitations positives, « la carotte »
d’action dans le but de renforcer le système. telle que la certitude d’un financement plus im-
portant pour les ministères capables de dé-
montrer leur performance, ont probablement
13. Les ministères sectoriels ne sont-ils pas plus de chances de gagner les cœurs et les es-
réfractaires à l’idée de se voir imposer le prits (chapitre 11).
S&E conçu par l’un des ministères centraux ?

Personne n’aime qu’on lui dise ce qu’il a à faire, 14. Y a-t-il un moyen de s’assurer que les
en particulier s’il n’a pas son mot à dire dans la informations relatives au suivi et les
décision d’instituer des prescriptions formelles et résultats de l’évaluation sont utilisés dans le
si les informations tirées du S&E n’ont pour lui processus budgétaire ?
aucun avantage évident. Cela a été le cas au Chili,
où le puissant ministère des Finances a en réalité Il n’y existe aucun moyen de garantir l’utilisation
imposé un ensemble de prescriptions en matière des informations tirées du S&E dans le processus
de S&E aux ministères et organismes publics sec- budgétaire mais on peut accroitre la probabilité
toriels ; les entités sectorielles utilisent peu les ré- que cela se produise. Il est évident qu’il est im-
sultats de l’évaluation produits par le système. portant que les principales parties prenantes au
processus et aux décisions budgétaires, y compris
Il peut être difficile de trouver un consensus sur le président ou le premier ministre, le ministre des
les avantages des réformes du système de S&E mais finances, d’autres ministres clés et le ministère des
ces efforts doivent être faits. L’absence d’un accord Finances, entre autres, demandent des informa-
peut amener les ministères et organismes publics tions tirées du S&E pour mieux élaborer des op-
sectoriels à ne pas se conformer aux prescriptions tions de politique générale et prendre de
imposées par les ministères centraux en matière meilleures décisions. Si cette demande est faible
de S&E, ou à n’y adhérer que du bout des lèvres. ou absente, alors des mesures peuvent être prises
C’est à ces entités qu’il revient généralement de pour mieux sensibiliser au S&E du point de vue
fournir les données sur le suivi exigées par le sys- de ce qu’il recouvre et peut offrir.
tème de S&E. Si elles considèrent qu’elles n’ont
aucune incitation à fournir des informations de D’autre part, les principales parties prenantes
bonne qualité, alors le système entier en souffrira peuvent avoir des possibilités d’offrir des incita-
(y compris la qualité des évaluations dans la me- tions — carotte, bâton ou sermon — pour en-
sure où celles-ci s’appuient sur les données four- courager l’utilisation des informations issues du
nies par les ministères). C’est l’un des principaux S&E dans processus budgétaire (chapitre 11).
enseignements qu’on tire des études diagnos- Ces incitations peuvent inclure, par exemple, des
tiques réalisées pour l’Ouganda (chapitre 9). déclarations de soutien solides au S&E de la part
des défenseurs influents au sein de l’administra-
Un autre enseignement c’est d’éviter les dangers tion ; les réactions régulières des ministres à l’in-
que représentent des multiples systèmes de suivi tention des analystes politiques au sujet de la
non coordonnés aux niveaux central et sectoriel. qualité des conseils de politiques fournis (y com-
Ils exercent des pressions considérables sur les pris la mesure dans laquelle ces conseils se fon-
fournisseurs de données, en particulier au sein des dent sur les informations disponibles issues du
ministères, des organismes publics et des struc- S&E) ; l’inclusion des notations de la performance
tures concernés. du programme dans les documents budgétaires
publiés ; et la fourniture d’un appui au ministère
Les incitations négatives, « le bâton » imposé des Finances pour piloter quelques évaluations ra-
par les ministères centraux, ne seront proba- pides afin d’en démontrer l’utilité.

109
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

15. La budgétisation fondée sur les résultats (encadré 3.1, page 10). Le premier implique une
n’implique-t-elle pas une réduction des relation directe entre le budget affecté au finan-
dépenses consacrées à des programmes peu cement d’un programme et les résultats de celui-
performants ? ci. Cette approche n’est utilisée que dans quelques
cas définis plutôt de manière étroite tels que le
Pas nécessairement. Le facteur primordial à financement des hôpitaux et de l’enseignement
prendre en compte sera de savoir si le programme supérieur par des mécanismes fondés sur une
est une priorité gouvernementale. Certains pro- formule. Ainsi, il est possible d’introduire une
grammes, tels que l’enseignement primaire, sont telle budgétisation fondée directement sur les
simplement trop importants pour être suppri- résultats à titre pilote pour des programmes bien
més ou même pour que leur budget soit réduit. précis.
Dans ces cas, le défi consiste à régler les pro-
blèmes liés à la performance identifiés sur la base Le deuxième type c’est la budgétisation fondée in-
des informations tirées du suivi et des résultats de directement sur les résultats où l’on s’appuie sur
l’évaluation, par exemple, la prestation inefficace les informations tirées du S&E pour prendre des
des services ou le mauvais ciblage des destinataires décisions de financement budgétaire. Il peut sem-
visés. Ainsi, il peut être nécessaire de consacrer bler anormal d’envisager de se fonder en partie
davantage de dépenses au programme, tout au sur les informations tirées du S&E pour prendre
moins à court terme, pour régler ces problèmes. de telles décisions uniquement pour quelques
programmes pilotes. Les gouvernements peu-
Les ministères de Finances des pays tels que l’Aus- vent disposer d’informations relativement fiables
tralie utilisent des accords de ressource avec des sur tous les programmes, mais peu de gouver-
institutions dans de telles situations ; ces accords nements ont de bons résultats d’évaluation dis-
permettent de fournir des financements accrus à ponibles pour tous les programmes dans tous
court terme à un programme prioritaire en échange les secteurs. Ainsi, il est nécessaire d’utiliser toute
de leur réduction globale à long et à moyen termes. information disponible, qu’elle soit incomplète ou
Ils exigent que des mesures spécifiques soient imprécise. En d’autres termes, les décisions bud-
prises pour améliorer les résultats (OCDE 1997a). gétaires doivent être prises que de bonnes infor-
mations tirées du S&E soient disponibles ou non,
Toutefois, en ce qui concerne les programmes les soient peu nombreuses ou n’existent pas du tout.
moins prioritaires, la preuve d’une mauvaise per-
formance peut amener le gouvernement à déci- En conclusion, il est aussi possible de se fonder sur
der de réduire le programme ou même de le les informations tirées du S&E à titre pilote pour
supprimer. Le Chili est un pays qui peut suppri- appuyer l’allocation budgétaire uniquement dans
mer un programme si des éléments de preuve le cadre de certains programmes. Que la budgé-
montrent sa mauvaise performance, mais c’est une tisation fondée sur les résultats soit adoptée à
exception ; les ministères des Finances de la plu- titre pilote ou pour l’ensemble du budget, il y
part des pays membres de l’OCDE suppriment ra- aura inévitablement des disparités dans le volume
rement des programmes lorsque le S&E révèle des informations disponibles sur le S&E pour les
une performance médiocre (Curristine 2005). différents programmes. Et, ceci en retour suggère
que la priorité doit être accordée à une solide pla-
nification des évaluations pour s’assurer que leurs
16. Est-il possible d’adopter la budgétisation résultats seront disponibles afin d’aider dans le pro-
fondée sur les résultats à titre pilote ou doit- cessus de prise de décisions budgétaires relatives
on l’adopter en une seule fois pour aux programmes clés du gouvernement. Une stra-
l’ensemble du budget ? tégie à mettre en œuvre lors du pilotage de ce type
de budgétisation fondée sur les résultats c’est de
La budgétisation fondée sur les résultats peut commanditer les évaluations stratégiques des dos-
être adoptée à titre pilote. Il en existe trois types siers brûlants pour essayer de s’assurer que les ré-

110
F O I R E AU X Q U E ST I O N S

sultats de l’évaluation sont utilisés dans le pro- met également de déterminer si les résultats de
cessus budgétaire et produire ainsi un effet de cette dépense peuvent la justifier ainsi que de
démonstration. comparer les autres options de dépense pour at-
teindre le même objectif.
Le dernier type de budgétisation fondée sur les
résultats est la budgétisation à titre de présenta- Mais avant que ces évaluations ne puissent être
tion, l’administration présentant au public un réalisées, des données tirées du S&E sur l’effec-
rapport sur sa performance passée ou prévue tivité des dépenses doivent être disponibles (c’est-
pour chaque programme. Une fois de plus, le vo- à-dire, les extrants, les réalisations et les impacts
lume d’informations disponible pour les diffé- de cette dépense). Un dernier avantage de la
rents programmes peut varier considérablement4, budgétisation par programmes est qu’elle per-
donc, il est possible d’adopter ce type de bud- met de mettre un accent à long terme sur les
gétisation fondée sur les résultats à titre pilote. En buts et les objectifs ainsi que sur les mesures in-
Colombie, par exemple, ceci a été fait pour le termédiaires que l’on doit prendre pour les réa-
budget d’investissement mais pas pour le budget liser6.
de fonctionnement (annexe B). Le Gouverne-
ment guatémaltèque effectue actuellement des al- L’alignement de la budgétisation par programmes
locations budgétaires fondées sur les résultats sur le S&E nécessite l’alignement des systèmes
pour les ministères de l’Éducation et de la Santé. d’information. Ainsi, le système de gestion de
l’information financière et celui du suivi de la
performance doivent être harmonisés. Ceci né-
17. La budgétisation par programmes facilite- cessitera des efforts importants.
t-elle la création d’un système de S&E ?
Le Chili a pu mettre en place un système robuste
Oui. La budgétisation par programmes regroupe de S&E sans mécanisme de budgétisation par
en général toutes les activités orientées vers un programmes (bien qu’il s’emploie maintenant à
même objectif dans un seul programme, tel que adopter un tel mécanisme). Toutefois, l’inconvé-
l’amélioration de la nutrition infantile5. Ainsi, il est nient de l’absence de ce mécanisme a été que les
plus facile d’évaluer le montant global des dé- évaluateurs des programmes de ce pays doivent
penses publiques consacrées à la réalisation de cet essayer d’identifier quelles activités gouverne-
objectif. Cela facilite également l’évaluation du mentales doivent être considérées comme fai-
volume d’extrants de ces activités connexes (c’est- sant partie du programme soumis à l’évaluation.
à-dire, les données de référence) et la définition C’est une démarche longue et au coup par coup.
des objectifs de performance. La plupart des pays membres de l’OCDE ont mis
en place un mécanisme de budgétisation par
Cette clarté contraste sensiblement avec le tradi- programmes.
tionnel budget par poste qui permet d’identifier
le montant global des dépenses consacrées par un
organisme public à toutes les activités, avec des 18. Quel rôle le bureau national de l’audit et
informations seulement sur les types de dépenses, le Congrès ou le Parlement doivent-ils jouer
telles que les salaires, la location des bureaux, le dans le S&E ?
téléphone, les voyages, etc. En effet, il est très utile
pour les hauts responsables et pour les analystes En principe, le bureau national de l’audit et la
budgétaires de connaître les montants consacrés branche législative de l’État, le Congrès ou le Par-
à la réalisation de chaque objectif du gouverne- lement, doivent jouer le rôle de chef de file dans
ment car cela les aide à déterminer si ce montant le S&E. Les bureaux nationaux de l’audit sont les
est proportionnel au niveau d’importance de l’ob- contrôleurs fiduciaires du corps législatif. Selon un
jectif ; c’est le fondement même de la perspective usage établi de longue date, ils réalisent des au-
de la gestion fondée sur les résultats. Cela leur per- dits de la conformité des procédures de gestion

111
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

financières des ministères et des organismes pu- systèmes. Mais dans certains pays, tels que l’Ou-
blics. Un nombre croissant de bureaux nationaux ganda et la Tanzanie, l’intérêt porté par l’admi-
de l’audit réalisent également des audits de la nistration au S&E est antérieur aux DSRP ; en
performance, un type d’évaluation qui met l’ac- d’autres termes, les administrations ont pris
cent sur l’efficacité et l’effectivité des dépenses pu- conscience de la nécessité d’investir en temps et
bliques. Et, dans certains pays, ils examinent les en efforts pour établir un système national de
résultats du système de S&E de l’administration S&E en vue de soutenir une meilleure planifica-
et incitent ainsi à apporter les améliorations né- tion nationale et une meilleure allocation des res-
cessaires au système (chapitre 12). sources budgétaires.

En principe, la branche législative de l’État est


elle aussi concernée par les résultats du pouvoir 20. Les bailleurs de fonds ne rendent-ils pas
exécutif. C’est le corps législatif qui est investi le S&E plus difficile — et non plus facile —
des pouvoirs officiels d’approuver ou non les de- pour les pays en développement ?
mandes de financement du gouvernement ; il a
souvent le pouvoir de modifier ces demandes Il est certain que les bailleurs de fonds n’ont pas
comme bon lui semble. En les examinant, il a réussi à harmoniser leurs exigences en matière de
également l’opportunité d’étudier les résultats S&E auxquelles ils s’attendent à ce que les pays se
obtenus dans le par le gouvernement en sa qua- conforment. Cette situation exerce des pressions
lité de gestionnaire responsable des deniers pu- considérables sur certains pays. Il est paradoxal de
blics. Cela dit, il s’avère que les corps législatifs en constater que plus les capacités et systèmes na-
général ne sont pas bien équipés pour examiner tionaux sont faibles, plus les bailleurs de fonds im-
les résultats du gouvernement ; ils n’ont pas les posent leurs systèmes et leurs conditionnalités, ce
qualifications, les ressources ou le temps néces- qui peut saper les efforts que les gouvernements
saires pour assumer cette fonction. déploient pour renforcer leurs propres systèmes.
Toutefois, les bailleurs de fonds peuvent offrir un
certain nombre de différents types d’appuis au ren-
19. Le S&E des DSRP ne constitue-t-il pas un forcement des capacités aux gouvernements pour
autre type de conditionnalité des bailleurs de consolider les systèmes de S&E existants. En outre,
fonds ? les services d’évaluation des bailleurs de fonds
ont entrepris un grand nombre d’évaluations sur
Oui, à bien des égards. Une des raisons impor- de nombreuses années, et celles-ci constituent
tantes pour lesquelles les DSRP mettent l’accent une mine d’informations, une espèce de biblio-
sur le S&E est pour s’assurer que les gouverne- thèque des résultats d’évaluation, que les gou-
ments et les bailleurs de fonds s’intéressent aussi vernements pourraient mettre à profit.
bien aux résultats qu’aux montants dépensés
pour les réaliser. Ceci est devenu encore plus im-
portant depuis que la Banque mondiale a lancé 21. Quels sont les principaux risques et
l’initiative d’allègement de la dette des pays écueils à éviter en voulant renforcer le S&E
pauvres très endettés (chapitre 4). Un défaut dans un pays ?
commun à la plupart des DSRP est qu’ils se
concentrent sur la performance des pays mais Ils sont nombreux. Six principaux défis font l’ob-
n’accordent qu’une attention limitée à la contri- jet sont examinés dans le présent document :
bution spécifique de l’administration ou de cha-
cun des ministères, des collectivités locales, des • L’idée selon laquelle le S&E a une valeur
bailleurs de fonds (ou du secteur privé) à ces ré- intrinsèque, autrement dit qu’il est maître
sultats (chapitre 9). Les raisons de cette insuffi- mot. Cet argument ne convainc pas particu-
sance incluent la faiblesse des systèmes nationaux lièrement les fonctionnaires sceptiques et dé-
de S&E et de l’appui des bailleurs de fonds à ces bordés. Au contraire, pour les persuader il faut

112
F O I R E AU X Q U E ST I O N S

être capable de montrer des évaluations qui ont obstacles rencontrés et des opportunités qui
eu une forte influence et d’autres gouverne- se sont présentés (chapitre 10). Ces évolu-
ments semblables qui ont consacré des efforts tions imprévues peuvent refléter, par exemple,
considérables à l’établissement d’un système le départ des principaux défenseurs, des chan-
de S&E et sont devenus des partisans engagés gements au sein de l’administration ou des
du S&E. Cet argument met l’accent sur le fait crises des finances publiques qui donnent une
que le S&E n’est utile que dans la mesure où importance particulière à la disponibilité des
on l’utilise effectivement pour améliorer les ré- informations tirées du S&E. Ainsi, établir un sys-
sultats de l’administration (chapitre 3 et tème de S&E peut au mieux être considéré
deuxième partie). comme un processus évolutif qui doit être
ajusté et géré soigneusement. Le S&E régulier
• Une démarche technocratique en ma- des progrès accomplis permettra une bonne
tière de renforcement des capacités qui se compréhension du système pour faire les ajus-
concentre uniquement sur la création des sys- tements nécessaires. (chapitre 12).
tèmes de suivi, la réalisation des évaluations et
la formation sur le S&E. Ces activités liées à • L’erreur qui consiste à s’appuyer sur des
l’offre sont nécessaires mais sont loin d’être suf- lois, des décrets et des règlements comme
fisantes pour les systèmes efficaces de S&E. Les principaux moyens d’institutionnaliser
questions liées à la demande sont cruciales, en le S&E au sein de l’administration. Une so-
particulier la nature et le pouvoir des mesures lide base juridique peut partiellement aider à ins-
d’incitation à réaliser des évaluations et à uti- titutionnaliser un système de S&E, mais il en
liser les informations tirées du S&E (chapitres faut beaucoup plus (chapitres 10 et 11).
10 et 11). Une formation qui sensibilise à l’uti-
lité et à l’importance du S&E — ses forces et • Le risque de concevoir un système de
ses limites — peut aider à renforcer la de- S&E trop complexe, en particulier par le
mande de S&E. biais de multiples systèmes de suivi avec un
nombre excessif d’indicateurs de performance
(chapitres 9 et 10).
• L’application rigide d’un plan d’action
préconçu pour la mise en place d’un système • La recherche du système national de S&E
de S&E. Il est toujours intéressant de com- idéal dans d’autres pays. Certains respon-
mencer par une bonne vision du système de sables recherchent des systèmes exemplaires,
S&E, de la manière dont il fonctionnera, et tels que celui du Chili, dans le but de les re-
des fins auxquelles seront utilisées les infor- produire dans leurs pays. C’est une erreur : non
mations qu’il produira une fois qu’il aura été seulement les points de départ de chaque pays
entièrement mis en place. Pourtant l’expé- sont uniques, mais les objectifs visés le sont
rience nous rappelle que la plupart des sys- aussi — selon les utilisations réelles ou prévues
tèmes de S&E réussis ont été établis d’une des informations que leur système de S&E
façon opportuniste et non-linéaire au gré des produira (chapitre 12).

113
ANNEXES
ANNEXE A : ENSEIGNEMENTS CONCERNANT LA FAÇON DE FAIRE EN
SORTE QUE LES ÉVALUATIONS AIENT DE L’INFLUENCE

Un thème qui revient constamment dans le pré- La même définition du succès d’un système de
sent volume est celui selon lequel l’utilisation S&E peut s’appliquer à une évaluation indivi-
des informations relatives au S&E est nécessaire duelle, ce qui mène naturellement à la question
pour que les systèmes soient considérés comme suivante : « que faut-il faire pour qu’une évalua-
une « réussite ». L’enjeu consiste en partie, pour tion soit utilisée intensivement — pour qu’elle ait
un gouvernement, à tirer le maximum d’avan- de l’influence ? ». L’examen ci-après se fonde sur
tages de ses efforts de S&E — ce qui témoigne de une analyse approfondie de huit évaluations dont
l’efficacité au plan du coût du système de S&E. l’influence a été jugée très grande ; la présente
étude énumère un nombre d’enseignements dé-
Toutefois, un faible taux d’utilisation ne constitue taillés sur la façon de concevoir une évaluation in-
pas seulement une occasion manquée ; il peut éga- fluente (Bamberger, Mackay, et Ooi 2004, 2005).
lement faire planer une menace sur la durabilité Ces enseignements sont par ailleurs cohérents
du système. Les représentants gouvernementaux avec les publications universitaires traitant de
considèrent en général que les évaluations sont l’utilisation des évaluations (Patton 1997 par
dépourvues de valeur intrinsèque, aussi y aurait- exemple), et avec les conclusions du Groupe
il peu d’enthousiasme à l’idée de continuer d’in- d’évaluation indépendante (IEG) de la Banque
vestir d’importants montants dans des évaluations concernant l’utilisation de ses propres évalua-
auxquelles aucune suite n’est donnée. tions (IEG 2006). Cinq principaux enseignements
sont résumés ici, comme suit :
L’utilisation est tout particulièrement importante
pendant les premières années d’un système de 1. L’importance d’un environnement pro-
S&E, avant que celui-ci soit pleinement établi et pice de gestion ou de la politique. Les conclu-
accepté comme faisant partie de l’ensemble des sions et les recommandations d’une évaluation
activités normales du gouvernement. Au cours de sont nettement plus susceptibles d’être utilisées
cette période initiale, il importe que les évaluations si elles portent sur d’importantes questions de
aient un puissant effet de démonstration — grâce politique auxquelles le gouvernement s’attaque
à la mise en évidence de leur utilité — en per- à l’heure actuelle. À titre illustratif, il se peut
suadant les hauts fonctionnaires sceptiques ou qu’un gouvernement nouvellement élu ait décidé
non convaincus que le S&E est utile et présente d’accroître considérablement le niveau d’appui
un intérêt réel pour le gouvernement (se repor- aux chômeurs, mais qu’il ne soit pas sûr des
ter au chapitre 3 pour un examen des différentes moyens les plus efficaces au plan du coût de le
façons dont les évaluations peuvent être utilisées faire. Les évaluations de différents types d’inter-
par les pouvoirs publics). En d’autres termes, ventions gouvernementales, tels que la création
pendant la phase de démarrage d’un système de d’emplois, les subventions salariales ou les pro-
S&E, il importe de faire en sorte que chaque éva- grammes de formation à l’intention des chô-
luation compte. Dans ce contexte, c’est aux res- meurs, seraient très utiles pour les décisions du
ponsables d’un système de S&E qu’il incombe de gouvernement (voir l’encadré 8.2 pour un
planifier minutieusement leurs évaluations. exemple australien).

117
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

Un environnement porteur consisterait par ailleurs programmes aient fonctionné pendant assez long-
en l’engagement de la direction d’un organisme à temps pour que se révèlent leurs réalisations et
mettre en œuvre les conclusions de l’évaluation — leurs impacts. En outre, la réalisation de ce type
peut-être parce que l’organisme est fortement axé d’évaluation peut aussi nécessiter beaucoup de
sur le service et que les responsables et le personnel temps, surtout si l’on doit recueillir un volume
tiennent beaucoup à fournir la meilleure qualité considérable de données.
possible de service à leurs clients. Dans cette si-
tuation, on pourrait dire que l’organisme possède Cet exemple colombien souligne les arbitrages que
une solide culture de service ou de résultats. les gestionnaires d’un système de S&E doivent en-
visager lorsqu’ils décident des programmes à éva-
2. Le choix du moment de l’évaluation. La luer, du type de méthode d’évaluation à adopter,
probabilité de l’utilisation des conclusions et des et du moment où il pourrait se présenter une
recommandations d’une évaluation est grande- bonne occasion d’influer sur le débat au sujet
ment accrue lorsqu’elles deviennent disponibles des politiques du gouvernement.
à temps pour contribuer à la prise de décisions
relatives à la politique ou à la gestion. Ainsi, le mi- 3. Comprendre le rôle potentiel de l’éva-
nistère chilien des Finances planifie minutieuse- luation. Les évaluateurs doivent éviter la concep-
ment ces évaluations, en gardant fermement à tion erronée selon laquelle leurs conclusions et
l’esprit les délais concernant le budget, afin de s’as- recommandations seront — et doivent — être la
surer que les évaluations seront achevées à temps principale source d’influence sur les décideurs ou
pour que leurs résultats soient utilisés par les les responsables gouvernementaux. Au contraire,
analystes des politiques et les décideurs dans le une évaluation ne constitue en général qu’une
cycle budgétaire courant (chapitre 6). source parmi beaucoup d’autres d’information et
d’influence sur le gouvernement, et qu’une pièce
En raison de cette situation, une priorité parti- de l’énigme. Idéalement, une évaluation permet
culière est accordée à la planification et à la ges- d’acquérir des connaissances et une compré-
tion du calendrier de chaque évaluation. Mais il hension nouvelles.
peut se révéler difficile de prévoir les possibilités
à exploiter pour influer sur le programme de po- Parfois, les gouvernements se servent des conclu-
litique de l’administration qui pourrait être in- sions des évaluations pour justifier des décisions
fluencé par des circonstances imprévues, telles qu’ils auraient prises de toutes les façons, et plus
qu’un changement de gouvernement ou une particulièrement celles qui auraient pu être im-
crise macroéconomique. populaires. Il se peut aussi qu’une évaluation
porte le « coup de grâce » à un programme peu
Un exemple d’évaluation achevée trop tard pour performant. Les recommandations d’une évalua-
influer sur une décision des pouvoirs publics fi- tion qui se concentre sur des questions détaillées
gure en annexe B, encadré B.2. En Colombie, un de mise en œuvre porteraient généralement moins
nouveau gouvernement a décidé de mettre fin à à controverse que les recommandations relatives
un programme de création d’emplois avant que à la valeur globale du programme ou à la question
les conclusions de l’évaluation ne deviennent de savoir s’il faut poursuivre le programme ou y
disponibles. mettre fin. Un rôle tout particulièrement utile que
joue l’évaluateur consiste à apporter une pers-
En fin de compte, ces conclusions étaient cri- pective nouvelle et externe.
tiques à l’égard de la performance du programme
par rapport à ses objectifs. Une évaluation d’im- 4. Qui doit effectuer l’évaluation ? Pour qu’une
pact rigoureuse a été effectuée. De telles évalua- évaluation ait de l’influence, il faut que l’évalua-
tions peuvent fournir les conclusions les plus teur soit perçu comme étant crédible, objectif et
rigoureuses et les plus fiables, mais en général elles compétent. Dans nombre de situations, il convient
peuvent être effectuées uniquement après que les par ailleurs que l’évaluateur soit considéré comme

118
ANNEXE A : ENSEIGNEMENTS CONCERNANT LA FAÇON DE FAIRE EN SORTE QUE LES ÉVALUATIONS AIENT DE L’INFLUENCE

étant indépendant par rapport au programme — controverse. En d’autres termes, il ne doit y avoir
et parfois à l’organisme aussi — en cours d’éva- aucune surprise.
luation. Dans les pays d’Amérique latine, les éva-
luations sont traditionnellement effectuées par des Les communications et la gestion du savoir sont
entités externes ; cette pratique contraste avec tout particulièrement importantes pour les bu-
celle des pays de l’Organisation de coopération reaux d’évaluation. Ainsi, une importante tâche
et de développement économiques (OCDE) où aussi bien des évaluateurs que des bureaux d’éva-
il arrive plus souvent que l’on effectue des au- luation consiste à dégager les principales conclu-
toévaluations (voir la partie VI). Il s’ensuit qu’il sions qui sont susceptibles d’être les plus
peut y avoir un arbitrage entre l’objectivité, l’in- pertinentes et utiles pour les parties prenantes
dépendance et la crédibilité des évaluations, et la clés, dont les décideurs et les responsables des
façon dont l’évaluateur comprend le programme, programmes. Les hauts responsables n’ont en
ainsi que l’adhésion du responsable et du per- général pas le temps de lire de très longs rapports
sonnel du programme aux conclusions de l’éva- d’évaluation, aussi est-il utile de prévoir de brefs
luation. résumés analytiques faciles à lire, et des docu-
ments récapitulatifs qui identifient les conclu-
L’expertise des évaluateurs internes ou externes sions et les recommandations les plus pertinentes
est une autre question à prendre en considération et les plus remarquables.
à ce niveau. Une façon de combiner les avantages
des deux approches — autoévaluations et éva- Parmi les approches plus complexes de la gestion
luations externes — consiste à faire en sorte que du savoir on peut citer par exemple : l’utilisation
les parties prenantes tant internes qu’externes des sites web d’évaluation (donnant accès à la fois
jouent un rôle de supervision dans l’évaluation, aux évaluations individuelles et aux collections de
peu importe si celle-ci est effectuée sur le plan in- conclusions d’évaluation des bureaux d’évalua-
terne ou externe. tion) ; le lancement officiel des rapports d’éva-
luation, notamment les séminaires et conférences ;
5. Établir une relation avec le client, et dif- et la tenue d’une liste de diffusion des parties pre-
fuser et promouvoir les conclusions et les nantes clés qui se sont montrées intéressées à re-
recommandations de l’évaluation. Un autre cevoir les résumés d’évaluation. L’IEG, qui existe
faux raisonnement, que tiennent apparemment depuis 1973, se sert désormais de sa vaste col-
nombre d’évaluateurs et de responsables des lection de conclusions d’évaluation pour satis-
services d’évaluation, veut que la tâche des éva- faire les besoins immédiats de conclusions
luateurs revienne simplement à publier des rap- d’évaluation et d’enseignements tirés de l’expé-
ports d’évaluation satisfaisants. De même, la rience (IEG 2006, chapitre 3).
diffusion des conclusions et des recommanda-
tions d’une évaluation pourraient (naïvement) Pour ce faire, l’IEG recourt à un nouveau type de
être considérée comme consistant à expédier le produits à « délai d’exécution rapide », dont des
rapport d’évaluation à une longue liste de noms notes, des présentations et des documents d’in-
et d’adresses. formation élaborés à l’intention des hauts cadres,
des cadres responsables et du personnel de la
Lorsque l’évaluateur effectue une évaluation, il im- Banque. Un exemple en est la documentation
porte qu’il maintienne un bon rapport avec les par- préparée à bref délai sur les enseignements utiles
ties prenantes clés, y compris tout parti- pour faire face aux catastrophes naturelles ; elle
culièrement le principal client qui a commandé a été élaborée à la suite du tremblement de terre
l’évaluation. Il doit tenir le client pleinement in- majeur qui a frappé le Pakistan en 2005.
formé du progrès de l’évaluation, et avant l’achè-
vement de cette dernière, il convient d’aviser les L’importance de la mesure de l’utilisation
parties prenantes clés de ses conclusions pro- Un enseignement connexe à tous ceux qui pré-
bables, surtout si celles-ci pourraient porter à cèdent est qu’il importe qu’un bureau d’évalua-

119
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

tion connaisse la mesure dans laquelle ses éva- vernementales, les universitaires et le grand pu-
luations sont effectivement utilisées et à quelles blic. Ces enquêtes portent sur des rapports d’éva-
fins précises. Cela est tout particulièrement im- luation précis de l’IEG. Des questions y sont
portant pour un bureau d’évaluation nouvelle- posées sur —
ment établi, dont la durabilité n’est peut-être pas
assurée. Dans les situations où le taux d’utilisation • Le nombre de lecteurs et la notoriété de ces
est faible, il conviendra de prendre des mesures rapports.
précises pour l’accroître. • Les avis sur leur qualité (pertinence, facilité de
compréhension, concision de la présentation,
L’IEG constitue en fait un modèle de bonne pra- degré d’actualité, utilité des recommandations,
tique. Il prépare un examen annuel des activités impartialité et objectivité de l’analyse, trans-
d’évaluation des secteurs opérationnels de la parence et clarté de la méthodologie, solidité
Banque mondiale. Cet examen consiste par ailleurs du lien entre les conclusions et les données fac-
en une autoévaluation des propres activités d’éva- tuelles, profondeur de l’analyse, et intégration
luation de l’IEG, notamment la perception qu’ont ou non de toutes les informations disponibles).
les parties prenantes clés de l’utilité de ses travaux • L’ampleur de l’influence de l’évaluation, par
d’évaluation. Parmi ces parties prenantes figu- exemple sur la façon dont les répondants com-
rent le Conseil et le personnel de la Banque, no- prennent le domaine.
tamment les directeurs-pays, les responsables • L’utilisation de l’évaluation (dans le cas des
sectoriels et les chefs d’équipe de projets (qui gè- employés de la Banque, divers types possibles
rent les projets financés par les prêts de la d’utilisation des rapports d’évaluation dans
Banque). On organise des échanges au sein de leur travail sont examinés, tels que dans le
groupes de contrôle ainsi que des entrevues struc- cadre de leurs activités ayant trait à la fourni-
turées avec des individus représentatifs dans cha- ture de conseils, à la conception de nouvelles
cun de ces groupes. Les principaux sujets abordés stratégies, et à la modification des projets et des
dans ces groupes de contrôle et ces entrevues sont stratégies existants de la Banque).
l’utilisation et l’utilité des conclusions, produits, • La façon d’améliorer la qualité des recom-
informations et défis de l’évaluation, ainsi que mandations formulées dans les évaluations de
les mesures qui encouragent ou découragent l’IEG.
l’utilisation des informations relatives au S&E
dans les travaux des participants. Les conclusions tirées de telles discussions en
groupe de contrôle, entrevues et enquêtes peu-
Dans le cadre des mêmes autoévaluations, l’IEG vent être très révélatrices pour un bureau d’éva-
effectue des enquêtes internes auprès d’un grand luation, tout comme pour les évaluateurs
nombre d’employés de la Banque mondiale, des individuels. Les approches de ce genre traitent
membres du Conseil des Administrateurs et de un bureau d’évaluation avec la même rigueur
leurs conseillers. Il réalise par ailleurs des en- que ce dernier appliquerait aux programmes
quêtes externes auprès des clients extérieurs, no- qu’il évalue. Cette situation peut à son tour contri-
tamment les gouvernements, les organisations buer à accroître la crédibilité et l’influence du bu-
des bailleurs de fonds, les organisations non gou- reau d’évaluation.

120
ANNEXE B : UNE ÉTUDE DIAGNOSTIQUE DE PAYS – L’EXEMPLE DE
LA COLOMBIE1

La présente étude diagnostique a aussi été publiée SINERGIA, soit des activités spécifiques sous l’égide
séparément (Mackay et al. 2007). La préparation de ce dernier, des exposés formels de conférence
de ce diagnostic rapide a été faite de manière présentés par de hauts commis de l’État, des in-
collégiale avec un certain nombre d’employés formations collectées par des employés de la
des régions Amérique latine et Caraïbes de la Banque qui ont pris part à la préparation et aux mis-
Banque, ainsi que le Coordonnateur du GEI pour sions de supervision de nombreux projets, et l’ap-
le renforcement des capacités d’évaluation. préciation de ce diagnostic par des responsables
du gouvernement en service à la Direction natio-
1. Introduction nale du Plan (DNP). Les missions de la Banque pré-
La Banque mondiale étudie actuellement un prêt voyaient des réunions avec de hauts responsables
programme pour soutenir les efforts fournis de des ministères centraux et sectoriels, du bureau
manière continue par le gouvernement colombien du Contrôleur général, des exécutifs municipaux
pour renforcer son système national de suivi et et de groupes de la société civile, sur des questions
évaluation (S&E) — SINERGIA (Sistema Nacional liées au S&E, y compris les forces et faiblesses du
de Evaluatión de Resultados de la Gestión Pú- SINERGIA. Ces réunions ont été une source in-
blica, ou Système national d’évaluation des per- estimable d’informations, bien qu’une approche
formances du secteur public). Le but de ce plus structurée pour recueillir les points de vue de
diagnostic rapide est d’aider l’équipe de la Banque responsables concernés serait nécessaire pour
et le gouvernement à mieux comprendre les prin- donner une image plus élaborée.
cipaux aspects de ce système de S&E, y compris :
Le présent article vise à documenter ce que nous
• Sa genèse savons et ce que nous ne savons pas sur le SI-
• Son cadre juridique NERGIA. Il doit surtout être perçu comme un
• Ses objectifs et les rôles et responsabilités de travail en cours — un moyen pour obtenir des in-
ses principaux protagonistes formations, des commentaires et des avis sup-
• Les principales composantes du S&E du SI- plémentaires sur les nombreuses facettes
NERGIA : le SIGOB et les études d’impact détaillées du SINERGIA et ses éventuelles futures
• Le niveau d’utilisation des données de S&E orientations. L’un des défis qui interpellent l’ob-
produites par le SINERGIA servateur extérieur est de distinguer parmi les
• Le SINERGIA : forces, défis et futures nombreuses composantes du SINERGIA et
orientations d’autres systèmes de planification/budgétisation
• Conclusion. celles fonctionnent assez bien et celles qui restent
théoriques pour la plupart. Un diagnostic plus ap-
La base de données sur laquelle se fonde ce dia- profondi sera nécessaire pour résoudre un certain
gnostic rapide est constituée d’un certain nombre nombre de questions majeures pendantes sur
de rapports et de déclarations de politique du lesquelles les données disponibles semblent in-
gouvernement, de documents portant sur une suffisantes ou non concluantes. Le projet de
diversité de prêts et projets de bailleurs financés termes de référence d’un tel diagnostic est joint
par la Banque mondiale qui ont soutenu soit le en annexe au présent document ; ce diagnostic

121
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

constituerait, en effet, une évaluation formelle domaines (voir CONPES 2004 ; Castro 2006a). En
du SINERGIA. même temps, le président Uribe manifestait son
désir de voir établie une nouvelle culture d’admi-
2. Genèse et évolution du SINERGIA nistration publique basée principalement sur la
Le système colombien de S&E est né d’une dé- responsabilité sociale — « le contrôle social ». Il a
cision prise par le Ministre des Finances de re- alors introduit un système de suivi et d’information
produire en Colombie l’approche d’évaluation sur l’état d’avancement de la mise en œuvre des ob-
de la Banque mondiale. jectifs présidentiels et de développement du pays
(Sistema de Programación y Gestión por Objetivos
Avec l’assistance technique de la Banque, le gou- y Resultados, ou Système de programmation et de
vernement a conçu la structure de base d’un sys- gestion axées sur les objectifs et les résultats —
tème de S&E. La première phase de l’évolution du SIGOB) ; il a activement cherché à mettre en ap-
système couvre la période 1990 à 1996 et comprend plication la prescription constitutionnelle de l’éva-
une prescription formelle de procéder à des éva- luation et publié une directive présidentielle3 et
luations dans la Constitution révisée de 1991. Le SI- une déclaration de politique sur la gestion axée
NERGIA — le Système national d’évaluation de la sur les résultats (CONPES 2004). Il a intégré au
gestion et des résultats — a été officiellement créé SIGOB dans le SINERGIA et redynamisé ce der-
en 1994. La Banque a fourni un appui permanent nier. Un nouveau chef a par la suite été nommé à
au SINERGIA pendant toute cette période, princi- la cellule d’évaluation chargée de la gestion de SI-
palement à travers le premier Projet de gestion des NERGIA, qui est logée au département de la Plani-
finances publiques (1994–2001). La deuxième fication nationale, et de nouveaux employés et
phase de l’histoire du SINERGIA, qui court de 1996 consultants recrutés dans cette cellule.
à 2002, aurait été marquée par le déclin de la place
du SINERGIA au sein du gouvernement, en raison Pendant cette troisième phase, la Banque a consi-
de difficultés perçues dans la gestion du système. dérablement accru l’appui, en nature et volume,
Pendant cette période a été envisagée la possibi- qu’elle accordait au système de S&E du gouver-
lité d’y mettre un terme, à cause de doutes quant nement, à travers deux prêts d’ajustement struc-
à sa pertinence pour le programme de réforme du turel et un prêt connexe d’assistance technique,
secteur public. Toutefois, la prescription de l’éva- un prêt pour la protection sociale, des activités sec-
luation dans la Constitution a empêché la réalisa- torielles et un deuxième projet de gestion des fi-
tion de cette proposition. Vers la fin de cette nances publiques. D’autres bailleurs de fonds ont
période, en 2001, la Banque a intensifié son appui aussi activement soutenu le SINERGIA pendant
au SINERGIA, non seulement par le truchement du cette période de renouvellement, comme le
nouveau Projet de gestion des finances publiques montre le tableau B.1. Depuis 2002, 10,8 millions
(PFMP II), mais aussi en cofinançant avec la Banque de dollars ont été dépensés pour le SINERGIA,
interaméricaine de développement (BID) une série dont près de la moitié provenait de la BID, 32 %
d’études d’impact de deux programmes publics de la Banque mondiale et 8 % de l’USAID et du
d’envergure, Empleo en Acción (un programme de Programme des Nations Unies pour le dévelop-
création d’emplois) et Familias en Acción (un pement (PNUD). Pendant cette période marquée
programme de transferts conditionnels de fonds)2. par de graves contraintes macroéconomiques, le
gouvernement n’a financé que 12 % des coûts du
La troisième phase, de 2002 jusqu’à nos jours, est SINERGIA sur fonds propres ; il est clair que ce
liée à l’élection d’un Président réformiste, Álvaro faible niveau de soutien financier de l’État n’est
Uribe. Le nouveau régime a été consterné de consta- pas viable à long terme.
ter que l’augmentation substantielle des dépenses
publiques dans des domaines tels que l’éducation 3. Cadre juridique
et la santé ne s’était pas accompagnée d’une amé- L’exposé ci-dessous est basé sur un bilan et une
lioration correspondante des performances (réali- analyse rapides des instruments juridiques en vi-
sations et résultats) du gouvernement dans ces gueur en Colombie. La Banque prépare en ce

122
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

Tableau B.1. Appui financier pour le SINERGIA: 2002–2006 (en milliers de dollars)

Total
Source des fonds 2002 2003 2004 2005 2006 2002–2006

PFMP II de la Banque mondiale 350 300 305 288 300 1 543


Prêts au secteur social de la
Banque mondiale 1 500 — 450 — — 1 950
BID 2 666 — 2 509 — — 5 175
USAID — — 50 200 200 450
PNUD — — 400 — — 400
Gouvernement 250 250 256.7 270 270 1 297
Total 4 766 550 3 970,7 758 770 10 814
Source: Direction nationale du Plan.

moment une analyse plus détaillée pour aider à détaillées sur les objectifs, les résultats visés et
identifier les doubles emplois et les lacunes, et les des indicateurs de gestion pour toutes les activi-
types d’instruments juridiques nécessaires pour tés de l’État4. D’autres lois promulguées pendant
combler ces lacunes — décrets, lois ou déclara- cette période ont accru la complexité du cadre ju-
tions de politique. ridique. Cela dit, il est généralement accepté en
Colombie qu’une base juridique et réglementaire
Un cadre juridique détaillé a été conçu pour ap- détaillée est nécessaire pour donner une orien-
puyer le SINERGIA pendant les années qui ont suivi tation et une légitimité à tout domaine de réforme
l’adoption du mandat constitutionnel en 1991. de l’État, tel que le S&E. Bien entendu, même si
Ce dernier précisait l’objet du système d’évalua- un tel cadre juridique est jugé nécessaire, il ne suf-
tion comme étant « d’évaluer la gestion et les ré- fit pas pour assurer l’efficacité de cette fonction.
sultats du secteur public ». Les lois de 1993 D’autres facteurs mentionnés ci-dessous, tels que
réglementaient la fonction de contrôle budgé- le pouvoir de conduire la réforme, les ressources
taire (exercée par le Contraloria) comprenant des fournies pour soutenir cette dernière, la mise en
« systèmes de contrôle des résultats », ainsi que la place de règles et procédures de routine, et les in-
fonction de contrôle interne au sein des orga- citations à l’utilisation des données de S&E, sont
nismes publics, qui comprenait des systèmes d’éva- aussi essentiels pour l’efficacité du système.
luation et de contrôle de gestion. Une loi de 1994
a assigné la DNP la tâche de créer SINERGIA et Le gouvernement a reconnu que la multiplicité des
rendre compte, sur une base annuelle, des résul- lois et décrets a donné lieu à une profusion de
tats du système d’évaluation au Conseil national concepts, méthodologies et instruments de S&E, et
pour la politique économique et sociale (CONPES) qu’une plus grande clarté est nécessaire à présent
et au Comité de haut niveau présidé par le Prési- que le SINERGIA entre dans une phase de maturité.
dent. Le SINERGIA a pour sa part été créé par D’où la publication d’un document de politique
une résolution de la DNP en 1994, qui donnait effet par le CONPES (#3294) en 2004 : « Rénover l’ad-
au mandat constitutionnel et légal et assignait ministration publique : gestion axée sur les résultats
aussi la responsabilité de l’autoévaluation à tous et réforme du Système national d’évaluation. »
les organismes de la branche exécutive de l’Etat.
En outre, la DNP s’est fixé pour responsabilité 4. Objectifs, rôles et responsabilités
d’élaborer des méthodologies visant à orienter
les activités d’évaluation du système. Plus récem- 4.1 Objectifs
ment, une loi de 2003 stipulait que le budget na- La dernière déclaration de politique du gouver-
tional devait comprendre des informations nement sur le SINERGIA — CONPES 3294 —

123
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

énonce les objectifs du système de S&E comme techniques et un appui financier pour certaines
suit: études d’impact sophistiquées et d’autres types
d’évaluations réalisées par les ministères sectoriels
1. Améliorer l’efficacité et l’impact des politiques, et les organismes publics. Elle conseille les exé-
programmes et institutions publics cutifs infranationaux qui pilotent des systèmes
2. Aider à améliorer l’efficacité et la transparence de S&E, ainsi que des entités telles que le minis-
de la planification et l’allocation des ressources tère de la Protection sociale (MPS) qui met ac-
publiques tuellement en place un système de suivi et
3. Encourager la transparence dans la gestion évaluation. La DEPP gère le système d’information
publique, notamment en promouvant le qui suit les progrès réalisés dans la mise en œuvre
contrôle citoyen — autrement dit le contrôle des objectifs présidentiels, SIGOB, et est conjoin-
social. tement chargée, avec la Présidence, de la prépa-
ration des rapports annuels et de fin de mandat
Ces objectifs d’envergure peuvent être repartis sur les performances de l’administration par rap-
en six différentes utilisations des données de S&E port aux engagement pris dans le plan de déve-
produites par le SINERGIA pour : 1) soutenir l’al- loppement national ; ces rapports constituent
location des ressources et l’orientation du budget des sources de données importantes pour les
national en fournissant des informations sur les rapports annuels présentés par le Président au
performances effectives et possibles des zones Congrès (figure B.1). La DEPP dispose de 31 em-
de dépenses prioritaires alternatives ; 2) soutenir ployés dont environ 70 % de consultants5.
l’exercice de planification nationale, tant pendant
l’élaboration des plans nationaux quadriennaux La DEPP coordonne les rapports des ministères
que lors de la détermination des priorités natio- sectoriels, des organismes publics et des exécu-
nales dans le plan national ; 3) assurer la cohésion tifs infranationaux qui fournissent les données
de l’action gouvernementale autour de ces prio- de suivi nécessaires au SIGOB (présenté ci-
rités de développement ; 4) aider les ministères dessous). Ces entités et collectivités décentralisées
sectoriels dans leurs activités d’élaboration de po- sont officiellement responsables de la gestion
litiques et de planification ; 5) soutenir la gestion axée sur les résultats. La DEPP assure aussi les
actuelle des activités du gouvernement par les fonctions de secrétariat du comité intersectoriel
ministères et organismes publics ; et 6) assurer la de l’évaluation et de la gestion axées sur les ré-
transparence des activités de l’État en mettant les sultats (Comité Intersectorial de Evaluación y
données de S&E à la disposition du Congrès et de Gestión por Resultados). Ce comité, créé par dé-
la société civile — c’est-à-dire en promouvant la cret en décembre 2002, est officiellement chargé
responsabilité à travers le « contrôle social ». de coordonner les activités de S&E des services
publics qui arrêtent le programme d’évaluation
Comme nous le verrons plus loin, parmi ces ob- quadriennal – correspondant au mandat du Pré-
jectifs, celui sur lequel le système colombien SI- sident – et le programme annuel correspondant
NERGIA a le plus insisté, particulièrement depuis des évaluations à réaliser. Ce comité adopte aussi
2002 au moins, a été le contrôle social. les normes techniques et la méthodologie des di-
verses évaluations ; en effet, il tient lieu de comité
4.2 Rôles et responsabilités des principales de pilotage des évaluations. Ce comité est aussi
parties prenantes composé d’autres directions de la DNP, de la Pré-
La Direction de l’évaluation des politiques pu- sidence, du ministère des Finances, et des mi-
bliques (Dirección de Evaluación de Políticas Pú- nistères et organismes publics sectoriels invités à
blicas, DEPP) au sein de la DNP est la cheville participer aux travaux quand leurs programmes
ouvrière du SINERGIA. Cette direction coordonne sont évalués. Le comité s’est réuni six fois depuis
le système, fournit des orientations sur les mé- sa création en début 2004 et rend compte au
thodologies et les types d’évaluation, et gère cer- CONPES. En 2004, le CONPES a publié une dé-
taines évaluations ; elle fournit aussi des conseils claration de politique sur la gestion axée sur les

124
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

Figure B.1. Le SINERGIA : Rôles et responsabilités

Congrès

Société
Président/ civile
CONPES
Gouvernement

Comité intersectoriel pour


l’évaluation et la gestion axées
sur les résultats Direction nationale
Présidence du Plan Présidence
DNP Direction de l’Évaluation de
Ministère des Finances la Politique publique
Ministères/organismes invités

Ministères Ministères Ministères


Collectivités
sectoriels/ sectoriels/ sectoriels/
décentralisées
organismes organismes organismes
publics publics publics

résultats et les réformes nécessaires pour le 5.1 Le SIGOB


SINERGIA. Il existe environ 500 indicateurs de performances
relatifs aux 320 objectifs présidentiels6 et, pour
5. Principales composantes du S&E du chaque indicateur, le SIGOB enregistre l’objectif,
SINERGIA les performances de départ, les objectifs annuels,
Le suivi et évaluation de l’action gouvernementale le niveau réel de réalisation de ces objectifs, et le
nécessite généralement un grand nombre d’ou- montant des dépenses de l’administration. Ainsi,
tils, de méthodes et d’approches. Ceux-ci peuvent le SIGOB comprend un grand nombre d’indica-
paraître compliqués pour un non initié, mais il est teurs des performances de l’administration, dont
important d’en comprendre la portée, et parti- des mesures pour les ressources, les processus,
culièrement l’usage, les avantages et les limites, les résultats et les réalisations. Ces informations
ainsi que le coût, les compétences et le temps re- sont ventilées par région, y compris les grandes
quis pour chacun. Il importe de comprendre que villes. En outre, les personnes chargées du suivi
les divers types de S&E sont complémentaires ; des objectifs sont tenues de fournir des explica-
chacun présente des forces et des faiblesses, et le tions détaillées au cas où ces objectifs ne seraient
défi consiste à déterminer comment les associer pas réalisés. Ces « rapports d’anomalies » sont in-
au mieux dans un système national de S&E. clus dans la base de données SIGOB, dont la sub-
stance est mise à la disposition du public en temps
Les deux principales composantes du SINERGIA réel7. Le site Web encourage aussi la responsabi-
sont le SIGOB, un système d’indicateurs de per- lité en identifiant les personnes chargées du suivi
formance qui suit les progrès dans la mise en des objectifs et leurs ministères de tutelle, ainsi
œuvre des objectifs du président, et son pro- que leurs fonctions officielles et adresses élec-
gramme d’études d’impact. troniques.

125
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

Une version initiale, rudimentaire, du SIGOB a été autres seront réalisées pendant les cinq pro-
mise au point en 2002 avec l’assistance du PNUD, chaines années environ (tableau B.2). Il s’agit
et était au départ logée à la Présidence. Cette res- pour la plupart d’études d’impact qui nécessi-
ponsabilité a par la suite été transférée à la DNP tent une analyse statistique sophistiquée des bé-
en 2005, sous l’égide du SINERGIA, où un nou- néficiaires des programmes avec des groupes
veau progiciel a été conçu avec des fonctions témoins ou de référence. Elles mettent aussi gé-
améliorées. La DNP négocie les objectifs annuels néralement un accent sur l’efficacité des opéra-
avec chaque ministère et organisme public. La tions et d’autres questions liées à la gestion. Un
DEPP soutient aussi les activités pilotes de du- petit nombre d’autres types d’évaluation est en
plication du SIGOB dans la municipalité de Pasto. cours, qui s’intéresse peu aux questions institu-
tionnelles et de gestion.
Les données constitutives du SIGOB sont fournies
par les ministères et organismes publics. En plus Depuis 2002, au moins deux tiers du montant
des différents contrôles de données effectués par total des dépenses effectuées pour le SINERGIA,
les entités qui approvisionnent le SIGOB, la DEPP toutes sources confondues — principalement la
s’attelle elle-même à détecter tout problème ou BID, la Banque mondiale et l’État — ont été af-
incohérence dans les données reçues, et dispose fectées aux évaluations. Le coût de ces dernières
d’une équipe chargée du suivi de la qualité des varie entre 15 000 et 2 millions de dollars pour les
données SIGOB et des informations suspectes études d’impact rigoureuses de la composante ru-
avec les entités qui les ont fournies. Toutefois, en rale de Familias en Acción. Pour les évaluations
l’absence d’un système de contrôle régulier et dé- qui ont bénéficié de l’assistance financière de la
taillé des données, la fiabilité de ces dernières n’est Banque, cette dernière a été accordée principa-
pas avérée et n’a certainement pas été démontrée. lement à travers des prêts à des secteurs spéci-
Le ministère de l’Éducation constitue en partie une fiques, en particulier les secteurs sociaux. On ne
exception car, avec l’appui de la Banque, il a en- connaît pas le montant des fonds supplémen-
trepris certains audits limités des données reçues taires reçus des ministères sectoriels et orga-
des départements et municipalités8 ; puisque les nismes publics pour ces évaluations. Le CONPES
allocations de fonds aux États sont basées sur les a adopté l’étude d’impact comme instrument de
statistiques des inscriptions scolaires, les Etats politique sociale (CONPES 3188).
ont tendance à surévaluer les effectifs.
Le tableau B.2 montre aussi que le coût de nombre
La déclaration de politique du gouvernement sur de ces évaluations est élevé. La raison en est la né-
SINERGIA (CONPES 3294), rédigée par la cessité de procéder à une collecte de données dé-
DEPP/DNP, a indiqué la nécessité de résoudre les taillées, du fait de l’absence de données
problèmes liés à la fiabilité des données du SIGOB, administratives suffisantes, et de statistiques sur
y compris leur qualité, leur cohérence (où l’on a les ménages, entre autres. Ce problème, et le ni-
noté des problèmes dus à la multiplicité et l’ab- veau potentiellement élevé de rentabilité de ce
sence de coordination des sources de données), type d’évaluations, sont examinés plus en détail
leur régularité et leur vérification. Cette déclara- ci-dessous.
tion de politique soulève aussi des inquiétudes ma-
nifestes quant à la possibilité que des ministères La DEPP a confié ces évaluations à des universitaires
« manipulent » les données qu’ils fournissent ou des cabinets conseils nationaux ou internatio-
pour le SIGOB. naux à la suite de processus d’appel d’offres. Ces
évaluations sont sous-traitées pour en assurer
5.2 Évaluations9 l’objectivité, la fiabilité et la crédibilité, et également
Celles-ci constituent la deuxième grande com- en raison de la rareté de spécialistes en études
posante du S&E du SINERGIA. Environ 16 éva- d’impact au sein du gouvernement. Un autre ob-
luations sont en cours ou ont été achevées, et 17 jectif est d’aider à renforcer les capacités locales

126
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

Tableau B.2. Programme des études d’impact et autres évaluations


(Coût en dollars de chaque évaluation entre parenthèses)

Évaluations achevées Évaluations en cours Évaluations prévues (2006–10)


Empleo en Acción (1 ,5m$) Familias en Acción—Rural (2m$) Cursos de Formación Complementaria—SENA
Adulto Mayor (50 000$) Familias en Acción—Grandes Ciudades (180 000$) (200 000$)

Corpomixtas (15 000$) Jóvenes en Acción (670 000$) SENA—Institucional (60 000$)

Programa de Apoyo Vivienda de Interés Social—VIS (226 800$) ICBF—Institucional (30 000$)

Directo al Empleo—PADE Programa de Renovación de la Administración SENA—Otros Programas (95 000$)


(66 000$) Pública—PRAP (311 000$) Reinsertados (119 000$)
Hogares Comunitarios (1,36m$) Familia Guardabosques (119 000$)
Fondo Colombiano para la Modernización y Programas del Sector Agrícola (119 378$)
Desarrollo de las Micro Pequeñas y Medianas Familias en Acción Desplazadas (119 378$)
Empresas—Fomipyme (88 000$)
Banco de Pobres (198 000$)
Sistema General de Participaciones—SGP (Parte 1)
(419 000$) Red de Apoyo Contra la Pobreza Extrema—PEP
(198 000$)
Red de Seguridad Alimentaria—RESA (125 000$)
Evaluación Programas Sector Justicia (119 000$)
Programa de Paz y Desarrollo y Laboratorios de Paz
(etapa 1) (206 000$) DANE—Institucional ($60 000) MinInterior—
Institucional (25 000$)
Desayunos Infantiles
Rapid evaluation pilots (98 000$)
Estratificación Socio económica (200 000$)
Evaluación Plan Decenal de Cultura (150 000$)
Mujer Cabeza de Familia
Microempresaria (150 000$)
Programas de alimentación escolar en Colombia
(600 000$)
Total: 1 631m$ Total: 5 786m$ Total: 2 460m$
Source : Direction nationale du Plan.

en matière d’évaluation. Généralement, la DEPP Le gouvernement a déclaré que les décisions re-
et les ministères sectoriels collaborent étroite- latives aux activités choisies pour faire l’objet
ment dans la gestion de ces études d’impact. d’études d’impact sophistiquées sont basées sur
cinq critères : 1) le montant des ressources qu’elles
Ainsi, pour la DEPP, la priorité est de pouvoir requièrent ; 2) les caractéristiques de la popula-
gérer et contrôler ces évaluations, au lieu de les tion desservie (par exemple les pauvres, ou les per-
réaliser elle-même. Les compétences dont elle sonnes déplacées) ; 3) l’importance de l’activité,
dispose pour appuyer ces activités sont limitées; notamment s’il s’agit d’une priorité du plan de dé-
et sa dépendance à l’égard du personnel contrac- veloppement national ; 4) le caractère novateur
tuel — qui constitue 22 des 31 employés de la de l’activité (s’il s’agit par exemple d’une activité
DEPP — peut constituer un obstacle au déve- pilote) ; 5) le potentiel de reproduction. Les in-
loppement des aptitudes professionnelles, par formations du SIGOB sur les performances ne
exemple en raison de leur inéligibilité aux bourses semblent pas avoir servi à signaler les programmes
de formation. Une priorité pour la DEPP sera de publics à « problèmes » pour lesquels une éva-
renforcer sa capacité à gérer ces évaluations. luation serait justifiée, mais la DEPP gagnerait à

127
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

adopter une telle approche. Au Chili par exemple, tains aspects de ces initiatives sont examinés ci-
les indications de mauvaises performances d’un dessous.
programme constituent un déclencheur d’une
enquête approfondie sur les causes de mauvaises 6. Niveau d’utilisation des données de
performances, dans le cadre d’une évaluation S&E produites par le SINERGIA
formelle — une évaluation rapide ou une étude
d’impact sophistiquée. 6.1 Responsabilité — Contrôle politique et
social
Comme il a été mentionné plus haut, le comité Une particularité de la Colombie a été le ferme en-
intersectoriel pour l’évaluation est officiellement gagement pris par le Président Uribe d’utiliser
chargé d’arrêter les programmes d’évaluation les données de S&E pour renforcer le contrôle po-
tant quadriennaux qu’annuels. Jusqu’à présent litique du pouvoir exécutif et soutenir le contrôle
toutefois, les programmes d’évaluation ont été social. La base de données du SIGOB est chargée
adoptés de manière plutôt ascendante que des- sur son ordinateur personnel et il utilise les don-
cendante, ou planifiée. Ainsi, de nos jours, le pro- nées recueillies pendant ses réunions mensuelles
gramme d’évaluation est déterminé en fonction de « contrôle de gestion » avec chaque ministre
des évaluations financées par les bailleurs de et la DNP. Ces réunions sont l’occasion de revoir
fonds internationaux dans le cadre des prêts qu’ils l’état d’avancement des activités autour de chaque
accordent à l’État, et de quelques évaluations objectif présidentiel, et les ministres sont tenus
supplémentaires financées en grande partie par de justifier chaque écart de performance. Les in-
des ministères sectoriels et organismes publics, dicateurs de performance et les actions visant à
avec une assistance financière et technique de la réaliser ces objectifs sont aussi adoptés. Le Pré-
DEPP. Il est possible que cette approche ait per- sident a rencontré les ministres pour s’assurer
mis une grande appropriation des résultats de ces qu’ils sont tous outillés pour l’utilisation du
évaluations de la part des ministères et des or- SIGOB. Il utilise les données de ce système pen-
ganismes publics dont les programmes ont été dant les forums politiques hebdomadaires qu’il
évalués, et de la part de la DNP et d’autres mi- tient dans les différentes municipalités du pays,
nistères centraux. Toutefois, cela signifie aussi et lors de l’émission télévisée annuelle pendant
que le programme des évaluations dépend en laquelle ses ministres et lui discutent des perfor-
grande partie du soutien des bailleurs et de fonds mances du gouvernement et répondent aux ques-
et des priorités des évaluations. Le comité inter- tions des citoyens sur ces sujets.
sectoriel pour l’évaluation devrait jouer un rôle
substantiel dans la supervision des performances Le ferme engagement pris par le Président pour
du SINERGIA et l’orientation des futures options. utiliser les données de S&E en vue de suivre et
rendre compte des performances du gouverne-
5.3 Autres activités de S&E ment semble unique en Amérique latine, et peut-
La DEPP/DNP a participé à un certain nombre être dans le monde entier. Il envoie des signaux
d’autres activités de S&E, tels que les efforts vi- forts à chaque ministre et agent de l’État, dans
sant à renforcer la reddition publique des per- leurs différents ministères et organismes, et
formances de l’administration, la fourniture d’une semble avoir renforcé la culture de la perfor-
assistance technique à certains ministères/orga- mance ; on se sait toutefois pas dans quelle me-
nismes publics qui s’attèlent à mettre en place sure cette culture a effectivement été renforcée
leurs systèmes internes de S&E, le renforcement — il s’agit là d’un domaine dans lequel un dia-
des capacités en matière de S&E dans le secteur gnostic approfondi devrait être réalisé. Toutefois,
public et les milieux universitaires, la promotion il ne semble pas y avoir eu une adoption des pra-
de la budgétisation axée sur les résultats au niveau tiques de S&E dans tous les ministères et collec-
des municipalités, la préparation d’un rapport tivités décentralisées. Cela dit, divers ministères,
d’exécution du budget d’investissement, et l’éla- organismes publics et collectivités décentralisées
boration de directives politiques sur le S&E. Cer- mentionnés ci-dessus s’attèlent actuellement à

128
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

renforcer leurs systèmes de S&E, dont certains tions pour la promotion de la bonne gouver-
avec l’assistance active de la DEPP. nance et du contrôle social. Cette association
encouragée et soutenue par la DEPP va diffu-
Un autre aspect pas bien connu est celui de la cré- ser des informations sur les bonnes perfor-
dibilité des informations fournies par le gouver- mances des maires, contrôler les plans et
nement à la société civile10. Certains dignitaires de dépenses de l’État, et analyser leur impact sur
la société civile ont manifesté des doutes quant à la pauvreté.
la crédibilité des données du SIGOB – le principal • Partenariats avec des organisations de la société
argument étant que ces données sont produites civile pour la diffusion de données de S&E.
par le gouvernement et sont par conséquent fon- • Utilisation de la télévision et de stations ra-
cièrement douteuses. La dépendance du SINER- dios pour produire des programmes sur les
GIA vis-à-vis des informations produites par le performances de l’administration13.
gouvernement sur ses propres performances est • Recrutement d’experts sectoriels pour analy-
donc perçue par certaines personnes comme une ser et rendre compte des performances de
faiblesse structurelle des mécanismes de respon- l’administration. Cette initiative fournira aussi
sabilité (voir ci-dessous). Le site Web du SIGOB per- une assurance qualité supplémentaire sur les
met aux visiteurs de donner leur point de vue sur données de S&E de l’administration, telles que
les performances de l’administration par rapport les données du SIGOB.
à ses promesses (comme indiqué dans le plan de
développement national), et sur l’accessibilité, la Bien que les progrès enregistrés par les trois der-
qualité et l’utilité des données du SIGOB sur les nières initiatives semblent mitigés, les efforts vi-
performances de l’administration mises à la dis- sant à collaborer directement avec la société civile
position du public11. En outre, la DEPP a réalisé une pourraient avoir des retombées considérables
enquête auprès de 3 000 ménages dans 13 grandes s’ils étaient couronnés de succès. Ils seraient en
villes en juillet 2006, pour leur poser directement outre difficiles à inverser dans les années à venir.
un certain nombre de questions similaires, y com- Un exemple parlant d’une telle initiative de la so-
pris sur la transparence, la réceptivité et la res- ciété civile, mis au point indépendamment du
ponsabilité du gouvernement et de diverses entités gouvernement national, est Bogotá Cómo Vamos.
publiques, la disponibilité des informations sur les Cette initiative a été créée par un consortium re-
performances de l’État, l’importance de la parti- groupant une fondation privée (la Fondation Co-
cipation des citoyens à la gestion publique et la qua- rona), le principal quotidien de Bogotá (El
lité de divers services publics12. Tiempo) et la Chambre de commerce (Cámara de
Comercio de Bogotá), et semble entièrement ins-
Un autre aspect du SIGOB est qu’il est surtout un titutionnalisée.14 Bogotá Cómo Vamos publie un
outil de suivi. Les explications sur les excellents grand nombre de données sur les performances
et les mauvais résultats de l’État doivent être four- des exécutifs municipaux et des résultats de son-
nies par des évaluations de programmes et de po- dages d’opinion. Les trois partenaires de cette ini-
litiques qui seront basées sur des politiques et tiative soutiennent la reproduction de l’approche
programmes élaborés avec rigueur et liés aux ob- à Barranquilla, Cali, Carthagène et Medellín. Cette
jectifs présidentiels et de développement du pays. initiative est un excellent exemple du type de
mécanisme qui peut être soutenu pour pro-
La DEPP a mis en place un ensemble d’initiatives mouvoir le contrôle social des performances de
ambitieuses pour promouvoir davantage le l’État.
contrôle social, et il semble que la toute première
ait enregistré quelques progrès. Il s’agit de : Le Président rend aussi formellement compte au
Congrès chaque année sur le niveau de réalisation
• Colombia Lider—un partenariat indépendant des buts et objectifs du plan national. On n’a tou-
de la société civile regroupant des médias, des tefois aucune idée sur la capacité du Congrès à uti-
banques, des fondations et d’autres organisa- liser ces informations. Celui-ci ne joue qu’un

129
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

faible rôle dans le processus budgétaire (Banque existe des preuves de la capacité du gouvernement
mondiale 2005b, 2005c). L’assistance technique à réaliser les objectifs présidentiels et respecter
fournie aux membres du Congrès est trop faible d’autres priorités de l’administration (voir encadré
pour leur permettre de comprendre facilement B.1). Et, même à court terme, il est possible que
les informations sur les performances de l’État et les collectivités décentralisées utilisent elles-mêmes
les résultats des évaluations. Et, dans tous les cas, les données de S&E ; ces collectivités représentent
l’examen du budget annuel par le Congrès est gé- plus d’un tiers des dépenses du budget fédéral et
néralement axé sur des questions politiques moins ont une plus grande flexibilité en matière d’allo-
importantes. Cette expérience est peut-être si- cations budgétaires.
milaire à celle de beaucoup d’autres pays ; l’apti-
tude du Congrès à jouer un rôle considérable Ainsi, les approches pilotes de budgétisation axée
dans le SINERGIA semble donc faible — à moins sur les résultats à Medellín et Pasto semblent très
que celui-ci ne prenne l’initiative de demander au intéressantes. Par exemple, l’exécutif municipal de
gouvernement des données de S&E et d’en ins- Medellín a mené des enquêtes auprès de
titutionnaliser l’usage. 23 000 ménages pour obtenir des informations sur
des indicateurs détaillés de développement hu-
6.2 Soutien à l’orientation budgétaire et la main. Ces indicateurs sont ensuite étudiés pour
planification nationale déterminer les districts les plus pauvres. Les dé-
Rigidités budgétaires. La DNP est chargé de la penses de l’État ont été substantiellement ré-
préparation du plan de développement national orientées en faveur de ces districts, et des
quadriennal et de l’élaboration du budget d’in- références et objectifs de performance sont fixés
vestissement annuel. Ce dernier comprend des in- pour aider à suivre les performances de l’admi-
vestissements dans les infrastructures et d’autres nistration. L’absence d’évaluation est une
secteurs, ainsi que dans le capital humain (no- contrainte pour la compréhension des résultats
tamment l’éducation et la formation) ; le budget de ces dépenses, mais le gouvernement emploie
d’investissement représente environ 15 % de la to- des universitaires locaux pour analyser la chaîne
talité du budget national. Le ministère des Fi- probable des alternatives aux dépenses de l’ad-
nances est responsable de la partie restante — le ministration — cela lui permet de choisir le type
budget de fonctionnement – qui inclut aussi le fi- d’activités sur lesquelles affecter les dépenses.
nancement en cours des agents de l’État et de
leurs activités administratives, le service de la Ave l’appui de la DEPP, les exécutifs municipaux
dette publique, le paiement des retraites et les de Pasto et Medellin ont préparé des rapports sur
transferts vers les collectivités décentralisées. l’exécution du budget axé sur les résultats pour
l’exercice 07, et élaborent des lois de finances
On n’a pas une idée claire sur la capacité des don- organiques en vue de formaliser cette approche.
nées de S&E à influer sur l’orientation budgétaire Leur travail de budgétisation axée sur les résultats
et la planification nationale en Colombie. Le bud- se fonde sur des systèmes de suivi et des outils
get colombien comprend de nombreux goulots similaires au SIGOB. Du côté de la demande, les
d’étranglement dont les causes sont multiples ; mécanismes de contrôle politique et social ont été
transferts aux collectivités décentralisées prescrits promus dans les deux villes, en se basant sur l’ex-
par la Constitution et un certain nombre d’allo- périence de Bogotá Cómo Vamos. A Pasto, l’al-
cations et d’affectations permanentes de recettes. liance locale pour la reddition des comptes a
Par conséquent, jusqu’à 95 % du budget est affecté réalisé une enquête auprès de 1 300 ménages
et ne peut donc être réaffecté à court terme15. Mais, sur des thèmes analogues à ceux de l’enquête na-
si les informations sur les performances et les ré- tionale réalisée par la DEPP, mais en insistant sur
sultats des évaluations ne peuvent avoir qu’une in- les sujets de la participation citoyenne et la gou-
fluence limitée sur l’affectation du budget national vernance locale. Une étude indépendante sur les
à court terme, les possibilités à moyen et long services de santé subventionnés a été demandée
terme semblent considérables, en particulier s’il et examinée publiquement avec le maire de la ville,

130
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

Encadré B.1. Une évaluation influente de l’étude. Nombre d’enseignements importants


en Colombie sur la planification des évaluations peuvent être tirés
de cette étude de cas (encadré B.2).

F amilias en Acción est un programme public de


transferts conditionnels de fonds qui apporte un
soutien financier aux familles pauvres qui s’engagent
Les contrats de gestion pilotés par la DNP/minis-
tère des Finances et deux organismes sociaux,
à veiller à ce que leurs enfants reçoivent des soins l’Institut colombien du bien-être familial (Instituto
de santé préventifs, soient scolarisés et assistent aux Colombiano de Bienestar Familiar, ou ICBF) et
cours. Ce programme a été créé en 1999 en réponse l’Institut de formation professionnelle (Servicio
à une crise économique. Nacional de Aprendizje, ou SENA), avec l’appui de
Une étude rigoureuse de l’impact du programme, la Banque mondiale, sont une initiative intéres-
qui doit être achevée en 2006, a été confiée à des sante d’élaboration de budgets axés sur les per-
consultants indépendants sous la supervision de la formances. Ces contrats prévoient l’adoption
DNP. L’évaluation a trouvé que le programme avait eu d’indicateurs de performance et d’objectifs pour
un impact considérable sur les plans de la nutrition, la prestation des services et le fonctionnement de
l’éducation et la santé. Ces résultats ont persuadé le l’administration16. Si les objectifs sont atteints,
régime du président Uribe non seulement de mainte- les allocations budgétaires des deux organismes
nir ce programme mis en place par le gouvernement sont revues à la hausse en leur permettant de re-
précédent, mais de doubler son champ d’intervention tenir une plus grande part des recettes non fiscales
de 500 000 à un million de familles pauvres. Vers la fin qu’elles collectent. On ne sait toutefois pas si ces
de l’année 2006, le gouvernement décidait d’étendre pilotes seront retenus ou mis à l’échelle.
la portée du programme à 1,5 million de familles.
L’évaluation de Familias en Acción a coûté jusqu’à Élaboration de budgets fonctionnels et
présent 1,5 million de dollars. Bien qu’il s’agisse d’un planification. La DEPP a élaboré des rapports
montant substantiel, il est relativement faible par rap- « d’exécution de budgets axés sur les perfor-
port aux dépenses totales de l’État pour ce programme mances » pour 2005 et 2006, notamment pour le
(environ 100 millions de dollars au moment de l’éva- budget d’investissement de la Colombie. Ces rap-
luation). En raison de son influence considérable sur ports sont joints en annexe à la documentation
le gouvernement, cette évaluation peut être considé- budgétaire habituelle, qui continue d’être pré-
rée comme hautement rentable. sentée par postes. Les rapports axés sur les ré-
sultats utilisent une classification par programmes
pour regrouper les activités de l’État suivant des
objectifs communs, qui sont basés sur les objec-
et ce processus a abouti à l’engagement de l’exé- tifs présidentiels et le plan de développement
cutif local à améliorer divers aspects de la pres- national. Ces rapports indiquent l’objectif déclaré
tation de services. Ces modèles municipaux de chaque « programme », les objectifs corres-
fournissent des enseignements pour l’adoption pondants en termes de performances (sur la base
de la budgétisation axée sur les résultats aux ni- de données SIGOB), et le budget d’investisse-
veaux fédéral, départemental et municipal, sur ment correspondant pour cette année.
toute l’étendue du territoire.
Cependant, les programmes n’ont pas été conçus
Une illustration de la capacité du gouvernement à de manière rigoureuse (en suivant le cadre logique
répondre efficacement aux priorités émergentes est ou des méthodologies similaires) et les alloca-
la création du programme Empleo en Acción pen- tions budgétaires représentent souvent des esti-
dant la crise économique de la fin de la décennie mations de l’appui financier accordé à ce type de
1990. Le gouvernement a par ailleurs accepté de programme sous divers postes budgétaires. La
procéder à une importante étude d’impact de ce publication de rapports ex ante — autrement dit
programme ; il a cependant décidé de mettre fin avant l’exécution du budget – est une forme de
à ce programme avant la publication des résultats budgétisation axée sur les résultats, quoique la

131
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

Encadré B.2. Le programme Empleo en Acción : Leçons pour la planification des évaluations

e gouvernement a sollicité le soutien de la Banque pour un tamment quand celle-ci est complexe et onéreuse, et quand il
L nouveau programme de création d’emplois dans les travaux
publics, en vue de répondre la crise économique de la fin des
faut attendre une certaine période de temps pour en voir les ré-
sultats. Des évènements imprévus et exogènes à l’évaluation peu-
années 90. Une partie d’un prêt de la Banque, qui a pris effet en vent toujours se produire ; le défi est donc de gérer ce risque. Il
2001, était destinée au financement d’une étude d’impact so- est aussi important de planifier les évaluations afin que leurs ré-
phistiquée, qui constituait une condition pour l’octroi de ce prêt. sultats puissent être utilisés pour la prise de décisions éventuelles,
Des retards ont été enregistrés dans la mise en œuvre du pro- notamment sur l’élection d’un nouveau gouvernement (à l’occa-
jet et, parallèlement, la situation économique a commencé à sion de l’élaboration d’un nouveau plan national), et le cycle bud-
s’améliorer. Vers le début de l’année 2004, le nouveau gouver- gétaire annuel. Un autre problème lié à la planification des
nement décidait de mettre un terme au programme Empleo en évaluations est la hiérarchisation des évaluations — la sélection
Acción ; à cette période, quelques 183 millions de dollars avaient des activités de l’Etat à évaluer, la détermination de l’échéance des
déjà été dépensés pour ce programme. résultats et de la profondeur (et du coût) de l’analyse. De prime
Les résultats de l’étude d’impact, qui a coûté environ 1,5 mil- abord, pour un programme public d’envergure tel qu’Empleo en Ac-
lion de dollars, ont été publiés plus tard cette année. Cette étude ción, il est très approprié de procéder à une étude d’impact ap-
a constaté que le programme avait réussi à générer des revenus profondie. Même si une telle évaluation n’aboutit qu’à une faible
pour les ménages les plus pauvres, et avait accru l’employabilité amélioration des performances du programme – en termes d’ef-
de ses participants. Il avait aussi créé des projets de travaux pu- ficacité et d’effets — affecter 1,5 million de dollars à l’évaluation
blics qui profitaient aux communautés locales. Toutefois, le pro- d’un programme qui a coûté 182 millions de dollars (et pourrait en
gramme n’avait pas pu atteindre les objectifs relatifs au nombre dépenser davantage) serait largement avantageux. En cas d’in-
d’individus devant bénéficier du programme, ni au niveau de re- suffisance de fonds pour l’évaluation, ou de contraintes de temps,
cettes annuelles nettes reçues par les bénéficiaires. Un rapport d’autres types d’évaluation plus rapides pourraient s’avérer plus
de fin d’exécution du projet de la Banque a récemment conclu que appropriés. Une dernière leçon pour le SINERGIA est la nécessité
comparé à des programmes similaires de création d’emplois dans de réaliser régulièrement des revues approfondies de ses propres
d’autres pays et d’autres types d’appuis aux sans emplois, ce pro- activités de S&E, pour identifier les aspects les plus efficaces, ceux
gramme n’était pas économique dans l’ensemble. qui ne le sont pas, ainsi que les raisons de ces résultats.
Bien que cette étude d’impact n’ait pas été suivie d’effets, elle Il faudrait noter que l’étude d’impact d’Empleo en Acción a en-
fournit de nombreux enseignements pour la planification des éva- richi la « bibliothèque » de résultats d’évaluations à la disposition
luations, qui sont hautement pertinents pour la gestion de SINER- du gouvernement. Ces résultats peuvent être d’une utilité cer-
GIA. L’un de ces enseignements concerne la nécessité de procéder taine pour le gouvernement dans le débat en cours sur la néces-
avec un soin particulier à la planification d’une évaluation, no- sité de mettre en place un nouveau programme de travaux publics.

moins importante, puisqu’il est improbable que financement de l’enseignement supérieur sur la
ces rapports aient une quelconque influence sur base du nombre d’étudiants et du type et du
l’orientation budgétaire en l’absence d’un méca- thème de leurs diplômes, et celui de la santé sur
nisme explicite à cet effet ; par conséquent, ils se- la base de la méthode « casuistique »)17.
raient mieux perçus comme des documents de
reddition des comptes. Il faudrait noter que les Il ne semble pas y avoir un lien entre le domaine
autres types de budgets axés sur les résultats que d’intérêt du SINERGIA – les objectifs présidentiels
pourrait adopter un pays sont les budgets analy- — et le champ d’intervention, bien que faible, et
tiques, où les donnés de S&E sont utilisées pour axé sur les projets, des activités de la DNP relatives
l’orientation budgétaire (comme dans le cas du à l’élaboration du budget d’investissement an-
Chili et de la plupart des pays de l’OCDE), et les nuel. Au début de chaque nouveau mandat de
budgets fonctionnels, où les allocations budgé- quatre ans, la DNP soumet au Congrès un plan de
taires sont basées sur une formule ou une classi- développement national, avec l’imprimatur du
fication explicite (on peut citer par exemple le Président. Ce plan indique les investissements

132
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

proposés pendant la durée du mandat. Ces in- ment (et des ministères) quand au niveau de réa-
vestissements représentent la « Banque de pro- lisation de ces objectifs.
grammes et de projets » à partir de laquelle des
investissements spécifiques (et ceux-là unique- Les activités de S&E de SINERGIA semblent en
ment) peuvent être choisis pour être inclus dans grande partie distinctes de celles d’une autre di-
les budgets annuels subséquents. La Direction rection de la DNP, la Direction de l’aménagement
des investissements et des finances publiques durable du territoire (Dirección de Desarrollo
(Dirección de Inversiones y Finanzas Públicas, Territorial Sostenible, DDTS). La DDTS est char-
DIFP) de la DNP fixe les normes à atteindre par gée du suivi et évaluation18 des activités des col-
les projets. Les entités préparent des projets — lectivités décentralisées — les 1 100 municipalités
soit de manière autonome, soit en les confiant à et 32 départements qui les coiffent —financées par
des sous-traitants — et les envoient à la DIFP. des transferts du gouvernement central. Les in-
Celle-ci examine si les projets répondent aux formations fournies à la DDTS par les municipa-
normes prescrites et les classe en fonction des lités seraient de mauvaise qualité, avec de
priorités du gouvernement. nombreux manques de données. Il est à noter que
les municipalités fournissent des informations
Pendant la sélection annuelle, la DIFP procède à distinctes sur lesquelles se basent les ministères
une évaluation ex ante de chaque investissement, sectoriels et les organismes publics, et que ceux-
bien qu’en pratique cela représente plus une ci utilisent pour approvisionner le SIGOB. Les
« évaluation » technique que formelle ; une revue activités de la DDTS au niveau municipal et celles
de la méthodologie des évaluations de la DIFP de la DEPP — sur la budgétisation axée sur les ré-
vient d’être achevée. Les ministères et organismes sultats dans plusieurs municipalités — ne sont pas
publics doivent réaliser des autoévaluations à coordonnées19.
posteriori, mais la fiabilité, la crédibilité et la ri-
gueur de ces autoévaluations sont controver- Le budget fractionné en investissements et fonc-
sables, et ont été remises en question par la DIFP tionnement a aussi des implications pour l’utili-
elle-même. On ne sait pas avec certitude dans sation des données de S&E du SINERGIA pour la
quelle mesure la DIFP a pu utiliser les informations préparation du budget de fonctionnement ; il
du SIGOB ou les résultats des quelques évalua- soulève des questions d’échange d’informations
tions de SINERGIA réalisées à ce jour. Les comi- entre la DNP et le ministère des Finances, de co-
tés de Dépenses sectorielles créés récemment, qui ordination et de choix des évaluations priori-
rassemblent la DIFP, la DEPP et le ministère des taires. L’option d’unifier les aspects investissement
Finances, représentent des cadres potentielle- et fonctionnement du budget a récemment été
ment importants pour une future utilisation des examinée par le gouvernement, mais ce dernier
données de S&E du SINERGIA, surtout au regard n’est pas parvenu à un consensus. Actuellement,
de l’augmentation rapide des résultats des éva- la structure du budget national de Colombie
luations dans les années à venir, en raison de constitue une entrave à l’utilisation des données
l’ambitieux programme d’évaluations en cours. de S&E.

Une importante illustration de la pertinence des Quatre autres problèmes vont aussi influer sur la
données de S&E produites par le SINERGIA à ce capacité du gouvernement à passer à la budgéti-
jour sera leur niveau d’utilisation dans le nou- sation axée sur les résultats. Tout d’abord, la dé-
veau plan quadriennal de développement natio- cision prise en décembre 2005 de mettre en
nal préparé par la DNP et soumis au Congrès en œuvre un cadre de dépenses à moyen terme.
novembre 2006. La DEPP est convaincue que la L’un des points positifs d’un tel cadre est qu’il ga-
DNP et les ministères sectoriels ont utilisé à bon rantit mieux les financements pluriannuels pour
escient les informations du SINERGIA pour défi- les ministères et les activités de l’État. Il accorde
nir les objectifs inclus dans le plan national, et aussi aux ministères et services publics une plus
rendre compte des performances du gouverne- grande flexibilité et davantage de responsabilités

133
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

qui peuvent servir à l’amélioration des perfor- cution budgétaire de la DEPP comprennent une
mances du gouvernement, comme on l’observe comparaison manuelle des informations du
dans un certain nombre de pays de l’OCDE. SIGOB sur les performances avec les données
sur les coûts produites par le SIIF. Le Chili doit
Deuxièmement, le budget n’est pas présenté de aussi faire des exercices similaires — qui prennent
manière programmatique. Les « budgets fonc- beaucoup de temps — quand il procède à l’esti-
tionnels » de la DEPP pour les deux dernières an- mation des dépenses budgétaires des pro-
nées présentaient les dépenses budgétaires grammes évalués.
prévues sur une base programme, et cette clas-
sification des activités par programmes a été faite Un quatrième problème est lié au sujet précédent,
de manière ad hoc. Toutefois, les budgets d’in- notamment les informations limitées à la dispo-
vestissement et de fonctionnement continuent sition de la DIFP concernant les dépenses effec-
d’être présentés par poste ; les rapports de la tives de l’État au niveau infranational. Si les
DEPP sur les budgets axés sur les résultats sont informations sur les allocations budgétaires sont
joints en annexe aux rapports budgétaires disponibles, celles sur l’exécution du budget par
conventionnels. département et municipalité ne le sont pas. De
ce fait, il est impossible de comparer la produc-
L’approche du budget programme présente de tion de biens et services par le gouvernement
nombreux avantages potentiels20. Elle associe les aux montants dépensés pour ceux-ci, ce qui consti-
éléments de coût (à savoir les activités) qui ont tue une contrainte à une meilleure budgétisa-
des objectifs communs, et contribue à la hiérar- tion et planification, ainsi qu’à la budgétisation
chisation des programmes et des dépenses ; elle axée sur les résultats.
facilite aussi l’extension, la réduction ou même la
clôture des programmes et de leurs activités. Elle Cette analyse préliminaire des activités de la DIFP
facilite l’évaluation en regroupant des activités et la DDTS suggère que les initiatives de S&E de
connexes, et l’adoption de repères de perfor- la DEPP ne sont généralement pas étroitement in-
mances et d’objectifs de rendement. Elle aide à tégrées dans le travail du reste de la DNP. Une co-
clarifier les responsabilités pour ces performances. ordination bien plus étroite des activités de S&E
Toutefois, même si l’approche du budget pro- de la DNP peut être considérée comme une condi-
gramme facilite l’utilisation des données de S&E tion préalable à la budgétisation et la planification
pendant le processus budgétaire, elle n’est pas une axée sur les résultats. De même, le manque ap-
condition préalable au bon fonctionnement d’un parent de coordination du S&E avec les activités
système de S&E utilisé de manière intensive par de budgétisation du ministère des Finances pour-
le gouvernement, comme le montre amplement rait représenter un obstacle à une plus grande in-
le cas du Chili : le Chili possède le système de S&E sistance sur la budgétisation axée sur les résultats
le plus efficace d’Amérique latine, un système de dans chaque ministère clé.
S&E mature entièrement utilisé dans le processus
budgétaire ; pourtant, il continue d’appliquer Évaluations rapides pilotes. La récente réali-
une classification par poste. sation de deux évaluations rapides pilotes par la
DEPP, en consultation avec la DIFP, constitue une
Un troisième problème pour la Colombie est la avancée significative. Ces deux directions visent
faiblesse apparente des liens qui existent entre le à fournir une méthode d’évaluation rapide, à
système intégré de Gestion de l’Information fi- moindre coût, qui pourrait mieux suppléer les
nancière (Sistema Integral de Información Fi- études d’impact plus sophistiquées et générale-
nanciera, SIIF), qui est utilisé pour le budget, et ment onéreuses sur lesquelles le SINERGIA se
le SIGOB. Cela fait qu’il est plus difficile d’asso- basait largement jusqu’alors. Ces évaluations ra-
cier les dépenses publiques pour des activités pides vont clarifier les objectifs des deux pro-
particulières aux réalisations, résultats et impacts grammes évalués, la logique de la conception des
produits par ces activités. Ainsi, les rapports d’exé- programmes, et essayerons d’en évaluer les acti-

134
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

vités, la gestion, le coût et les performances. La et peuvent être utilisées pour évaluer un plus
méthodologie novatrice élaborée par la DEPP est large éventail d’activités du gouvernement que les
fondée sur une combinaison des méthodes d’éva- études d’impact vastes et ponctuelles. Malheu-
luation rapide utilisées par les gouvernements reusement, leurs résultats sont bien moins fiables
chilien et américain. Cette nouvelle méthodolo- que ceux des études d’impact sophistiquées.
gie est désignée Evaluación Ejecutiva (E2). Son but
est de faire que ces évaluations puissent être réa- Les divers outils de S&E examinés ici sont com-
lisées en 3 mois avec un budget de 15 000 à 20 000 plémentaires. Chacun a des forces et faiblesses,
dollars chacune. et chacun a un rôle à jouer dans le système co-
lombien de S&E. Le défi pour le gouvernement
Le ministère des Finances n’est directement im- est de choisir la combinaison qui permet d’utili-
pliqué ni dans le SIGOB, ni dans les évaluations, ser de la façon la plus économique les fonds dis-
et ne les utilise pas directement. Pourtant, une ponibles pour le S&E.
autre avancée significative est la récente décision
prise par le ministère des Finances de piloter Il faudrait noter que le Chili a réussi à employer
deux évaluations rapides supplémentaires — une diversité d’outils de S&E dans son cycle bud-
celles-ci comprendront des analyses documen- gétaire : le ministère des Finances utilise des in-
taires, fondées sur la méthodologie des « évalua- dicateurs de performance (quelque 1 560), des
tions des programmes publics » au Chili. Le revues rapides (14 sont réalisées pour chaque
ministère des Finances examine aussi la possibi- budget), des études d’impact complexes (4 sont
lité de systématiser la budgétisation axée sur les effectuées par budget), et des revues des dé-
résultats. penses globales d’un secteur entier (une par exer-
cice). Le Chili finance son système de S&E sur
Combinaison d’outils de S&E. L’exécution fonds propres, sans l’aide des bailleurs de fonds.
d’évaluations rapides va ajouter d’importantes
informations à la gamme de données de S&E dis- 6.3 Soutien à la gestion axée par les résultats
ponibles pour l’orientation budgétaire et la pla- au sein des ministères et des organismes
nification nationale. Un bon budget et une publics
planification réussie requièrent des analyses et la Plusieurs entités ont consacré des efforts consi-
fourniture de conseils sur l’exécution d’un grand dérables au renforcement de leur propre système
nombre d’activités de l’État — en cours et envi- de S&E pour leurs besoins internes. La DEPP ac-
sagées. Le SIGOB fournit déjà des informations corde divers types d’appuis à ces ministères, en
sur l’exécution des toutes les dépenses publiques, fonction des circonstances. Pour certains, il s’agit
avec un accent sur les objectifs présidentiels. Ces de conseils ou même de l’organisation d’études
informations peuvent être obtenues à un coût re- d’impact sophistiquées (telles que pour certaines
lativement modeste, et leur portée est assez im- composantes du programme Familias en Ac-
portante. Mais, elles donnent peu ou pas ción) ; pour d’autres, il s’agit d’une assistance pour
d’explications sur les raisons pour lesquelles les la création de systèmes de suivi de ministères
objectifs du gouvernement sont, ou ne sont pas, (comme pour le MPS).
réalisés. A contrario, les études d’impact du SI-
NERGIA ont l’avantage d’être profondes et menées Il serait utile d’enquêter sur la genèse et les rai-
avec rigueur – elles peuvent établir des rapports sons qui sous-tendent la création et l’institution-
de causalité et montrer avec certitude si les actions nalisation des systèmes de S&E dans ces entités,
de l’État produisent les résultats attendus ou non. pour en tirer des enseignements qui pourraient
Toutefois, les études d’impact sophistiquées sont servir à l’ensemble du gouvernement. Le MEN fait
généralement onéreuses et chronophages21. C’est partie de ces entités. Il dispose d’un système de
la raison pour laquelle les évaluations rapides gestion des informations qui tient compte des
sont une contribution utile aux mécanismes de buts, objectifs, indicateurs de performance, cibles,
S&E : elles sont assez rapides et peu coûteuses, références et rapports d’anomalies des pro-

135
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

grammes. Cette base de données est comparable comptabilisées par la DNP comme étant sous
au SIGOB, mais comprendrait bien plus d’indi- l’égide du SINERGIA.
cateurs de performance. Une difficulté rencontrée
par le MEN a été la production de données pour Les systèmes de S&E des ministères/organismes
le SIGOB. En dépit de la base de données détaillée publics peuvent aider ces derniers à satisfaire
dont il dispose, les informations produites par le plus facilement les besoins d’information du SI-
MEN ne peuvent être transmises directement au NERGIA, mais ils devraient être perçus comme
SIGOB ; plutôt, les données du MEN doivent être assez distincts de ce dernier, dont les objectifs sont
extraites manuellement et adaptées aux définitions principalement axés sur l’ensemble du gouver-
de SIGOB. Il est possible que cette difficulté dé- nement. Et les entités qui disposent de systèmes
coule en partie des différents domaines d’intérêt de S&E performants semblent toutefois faire ex-
des deux systèmes : le SIGOB est clairement axé ception. Comme il a été relevé plus haut, on n’a
sur les objectifs présidentiels, alors que le sys- pas observé une appropriation à grande échelle
tème du MEN vise à répondre aux exigences plus des pratiques de S&E dans les ministères et or-
spécifiques et détaillées de la planification et de ganismes publics sur toute l’étendue du terri-
la gestion des activités du ministère. Il semble rai- toire. Une étude approfondie serait nécessaire
sonnable de supposer que la plupart, sinon tous pour déterminer si les ministères sectoriels et les
les autres ministères et organismes publics ren- organismes publics utilisent collectivement les
contrent de plus grandes difficultés pour appro- deux principales composantes d’information du
visionner le SIGOB en données. On ne sait pas s’il SINERGIA : le SIGOB et les études d’impact et
est possible d’harmoniser davantage les indica- autres évaluations. En d’autres termes, est-ce que
teurs de performance — en termes de défini- la plupart des entités sont simplement des four-
tion, de périodicité, de couverture géographique nisseurs de données produites de manière ponc-
des données, etc. — entre le système SIGOB de tuelle au SINERGIA ?
l’ensemble du gouvernement et les systèmes des
ministères/organismes publics. 7. SINERGIA : Forces, défis et futures
orientations
Une autre entité qu’il est intéressant de men-
tionner ici est l’institut colombien pour le Bien- 7.1 Forces et défis
être de la Famille (ICBF), qui a créé son propre Le gouvernement colombien a eu un succès consi-
bureau d’évaluation pour aider à la gestion et la dérable en créant et en renforçant le SINERGIA. Ce
planification de l’Institut. Le bureau d’évaluation dernier est l’un des systèmes de S&E de l’ensemble
a élaboré des directives pour les évaluations, et du gouvernement les plus solides d’Amérique la-
supervise les études d’impact sophistiquées qu’il tine, au regard des types de S&E qu’il réalise, de
confie aux universitaires et consultants. (L’ICBF sa crédibilité dans l’ensemble, et de son degré
réalise aussi d’autres types d’évaluation.) Il cofi- d’utilisation ; une grande partie de ces résultats ont
nance les études d’impact avec la Banque mon- été obtenus depuis 2002. La création du système
diale (à travers des prêts au secteur social), la SIGOB pour le suivi des progrès dans la mise en
BID et la DEPP ; ces entités lui fournissent aussi œuvre des objectifs présidentiels a été une réali-
une assistance technique. Certaines évaluations sation remarquable, tout comme l’usage intensif
des programmes de l’ICBF ont été dirigées par des qu’en font le Président, la Présidence et la DNP. En
bailleurs de fonds multilatéraux. L’ICBF dispose effet, le rôle du Président en tant que principal
d’un budget global de quelques 500 millions de défenseur et utilisateur d’un tel système de suivi
dollars, et son budget affecté aux évaluations de- est inédit dans la région. L’ambitieux programme
vrait tourner autour de 2 millions de dollars en des études d’impact est aussi impressionnant.
2006 (par rapport à 3 millions de dollars en 2005,
alors qu’il finançait une grande étude sur la nu- Le document de politique du CONPES sur le SI-
trition). Toutes les études d’impact de l’ICBF sont NERGIA (#3294) énumère quatre défis auquel fait

136
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

face ce système de S&E : 1) absence d’un seul pour aider à la préparation du plan de dévelop-
cadre conceptuel clair ; 2) nécessité de clarifier les pement national de 2006-2010. Cette question
rôles et responsabilités des organisations qui sou- n’a toutefois pas fait l’objet d’un examen
tiennent le SINERGIA ; 3) absence de liens clairs approfondi.
entre la planification, la budgétisation et l’éva-
luation ; et 4) problèmes liés à la disponibilité et Il existe peu d’informations qui montrent que les
la fréquence des données, ainsi qu’au contrôle de quatre autres usages potentiels des données de
la qualité des données. S&E produites par le SINERGIA sont déjà effectifs,
à quelque niveau que ce soit : 1) pour soutenir l’al-
Ce diagnostic rapide montre que ces questions de location des ressources et l’orientation du budget
fond doivent absolument être solutionnées. Le national ; 2) pour assurer la cohésion de l’action
principal problème rencontré par tout système pu- gouvernementale autour de ces priorités de dé-
blic de S&E est sa totale institutionnalisation. Cela veloppement ; 3) pour aider les ministères sec-
suppose non seulement la création d’un système toriels dans l’élaboration des politiques et les
qui fournit des informations de bonne qualité, activités de planification ; et 4) pour soutenir la ges-
mais aussi d’un système dont les informations tion en cours des activités menées par les minis-
sont utilisées de manière intensive pour favoriser tères sectoriels et les organismes publics. Une
la bonne gouvernance, et d’un système entière- revue approfondie de l’utilisation des données
ment viable — en d’autres termes, un système ca- de S&E par les ministères sectoriels et les orga-
pable de survivre à un changement de nismes publics pourrait aussi bien révéler que
gouvernement et de continuer d’être utilisé par l’utilisation des informations du SIGOB par le Pré-
les administrations subséquentes. Cette défini- sident encourage certains d’entre eux à accorder
tion d’un système de S&E « efficace » fournit des de l’importance à ces informations dans leurs ac-
critères pour comparer le SINERGIA. Elle fournit tivités de planification et d’élaboration de poli-
aussi les objectifs vers lesquelles devraient tendre tiques. Et il est possible qu’avec la réalisation d’un
les futures options d’amélioration du système et nombre croissant d’études d’impact sophistiquées
le soutien de la Banque mondiale. et d’évaluations rapides dans les années à venir,
celles-ci soient de plus en plus utilisées pour l’éla-
Les données du SINERGIA ont été largement utili- boration du budget et la planification nationale –
sées pour des besoins de reddition des comptes : bien qu’il serait erroné de supposer que la dis-
reddition des comptes par le Président à la société ponibilité de résultats d’évaluation conduit auto-
civile et au Congrès, et reddition des comptes par matiquement à leur utilisation22.
les ministres (et de leurs ministères) au Président.
De prime abord, il semble improbable que cet ac- Une question récurrente concerne la qualité, la dis-
cent unique sur la responsabilité puisse être main- ponibilité et le coût des données utilisées par le
tenu à un niveau si élevé quand le Président quittera SINERGIA et par les ministères et organismes pu-
le pouvoir en 2010. Néanmoins, si entre-temps, les blics pour leurs propres activités. L’absence d’har-
procédures de reddition des comptes par le Prési- monisation des définitions de données constitue
dent et le soutien populaire pour cette initiative une difficulté. Une autre difficulté est l’absence
deviennent des faits établis, la demande du type d’in- d’audits formels de données. Et le coût des études
formations fournies par le SIGOB va continuer. La d’impact a été tiré à la hausse par le besoin d’in-
DEPP a récemment rédigé un document du CONPES formations plus détaillées que celles obtenues
visant à définir des directives politiques pour la res- soit à partir des enquêtes menées régulièrement
ponsabilité gouvernementale et le contrôle social. auprès des ménages par la Direction nationale de
statistique (Departamento Administrativo Nacio-
La DEPP est convaincue que les données du SI- nal de Estadística, DANE)23, soit à partir des don-
NERGIA ont aussi été utilisées par les services de nées administratives produites par les différentes
planification de la DNP et les ministères sectoriels entités publiques. De prime abord, la DANE et le

137
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

comité de haut niveau pour la Coordination des bilité du SINERGIA. Une autre option consiste à
Données (Comisión Intersectorial de Políticas y recruter de plus en plus de consultants locaux co-
Gestión de Información para la Administración lombiens en évaluations, plutôt que des consul-
Pública, COINFO, ou comité intersectoriel des po- tants internationaux bien plus chers. La DEPP
litiques et de la gestion des informations), créé en utilise le nombre en croissance rapide d’évalua-
2003, pourraient jouer un rôle important dans ce tions en cours comme un moyen d’accroître
domaine. Le gouvernement est conscient de ces l’offre locale d’évaluateurs qualifiés.
difficultés et a décidé d’accorder la première prio-
rité au renforcement des données administratives Le gouvernement poursuit une ambitieuse stra-
et autres informations par, par exemple : la pro- tégie à grande échelle de renforcement de SI-
motion d’un plus grande harmonisation des don- NERGIA. Les initiatives prévues à cet effet
nées ; la collecte régulière de données essentielles comprennent, entre autres :
sur les aspects socioéconomiques, sanitaires et
nutritionnels ; et la définition de normes minimales • Le SIGOB
de données. Il a aussi indiqué la nécessité d’amé- • Le soutien à la duplication de bases de données
liorer la coordination des données en soutenant de type SIGOB au niveau municipal (Medellín
la DANE et le COINFO. et Pasto)
• Le programme des études d’impact et autres
Le programme des évaluations est par ailleurs évaluations menées conjointement par la
coûteux. Le coût des études d’impact en cours ou DEPP/DNP, les ministères sectoriels/organismes
achevées récemment est de 7,42 millions de dol- publics, et les bailleurs de fonds
lars, avec un supplément de 2,46 millions de dol- • L’élaboration d’une méthodologie pour les
lars à dépenser pour les nouvelles évaluations évaluations rapides, et les évaluations pilotes
prévues pour les cinq prochaines années. Si ce planifiées par la DEPP/DIFP et le ministère des
programme d’évaluations semble, de prime abord, Finances
coûteux, son coût ne représente qu’un pour- • Les efforts visant à collaborer directement avec
centage insignifiant des dépenses publiques to- la société civile, pour promouvoir l’utilisation
tales pour les programmes évalués – ainsi, les des données de S&E
évaluations devraient seulement donner lieu à • L’élaboration de rapports sur les performances
une modeste amélioration de l’efficacité des dé- du gouvernement à l’intention du Président,
penses publiques pour être hautement rentables. du Congrès et de la société civile
• L’élaboration de rapports sur les budgets axés
Cela dit, il existe des moyens de réduire consi- sur les résultats associant les activités du plan
dérablement le coût des évaluations, bien que la de développement national aux coûts imputés,
mise en œuvre de certaines de ces options ne dure sur une base programmatique pilote
plusieurs années (Bamberger, 2006). Un certain • Le soutien aux efforts de budgétisation axée sur
nombre des vastes évaluations doivent collecter les résultats au niveau municipal (Medellín et
des données à partir de larges revues ponctuelles Pasto), en vue d’une intégration de ces pilotes
et coûteuses. Le besoin de ce type d’enquêtes • Les efforts visant à coordonner la production
ponctuelles pourrait être réduit par une extension des données qui alimentent le système de
de la collecte de données statistiques nationales, S&E, et à assurer la qualité des informations —
telles que les bases de données longitudinales avec un accent particulier sur l’enregistrement
qui suivent des échantillons de populations au fil de données sur les programmes de subvention
du temps ; des données disponibles plus rapide- • La disposition constitutionnelle relative à l’éva-
ment permettraient aussi de réduire la durée né- luation, et lois, règlements et décrets ; et dé-
cessaire pour mener des études d’impact. claration politique du CONPES sur le S&E
L’extension de la collecte de données statistiques • Le soutien au Comité intersectoriel pour l’éva-
nationales serait aussi onéreuse, et durerait plu- luation et la gestion axée sur les résultats
sieurs années, mais aiderait à accroître la renta- • Le soutien au COINFO.

138
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

Cette stratégie d’envergure est arrivée à point semble, de prime abord, avoir été largement bal-
nommé, et est globalement appropriée pour deux kanisé. En raison de la nécessité pour SINERGIA
raisons. Tout d’abord, il est important de tester un d’entrer désormais dans une période de conso-
certain nombre d’initiatives pour déterminer les- lidation (examinée ci-dessous), l’accent devrait
quelles sont les plus efficaces dans le contexte co- être mis sur la réalisation d’une meilleure coor-
lombien : construire un système de S&E pour dination entre bailleurs de fonds.
l’ensemble du gouvernement est un art, non une
science, et il est souvent difficile de déterminer Un aspect optimal de la gestion du SINERGIA par
quelles initiatives peuvent être couronnées de la DEPP est la volonté de cette dernière de sou-
succès. Aucun gouvernement ayant réussi à mettre les approches, méthodes et résultats du
construire un système de S&E pour l’ensemble du SINERGIA à l’examen du public dans le cadre de
gouvernement n’a utilisé un modèle linéaire, pré- conférences internationales qu’elle finance — en
visible, où le système tout entier était clairement 2004, 2006 et chaque année par la suite.24 Celles-
défini dès le départ et les progrès réalisés de ma- ci fournissent aussi un cadre dans lequel les plans
nière graduelle, étape par étape, pour traduire pour le renforcement futur du système national
cette vision en réalité. Plutôt, des cas de réussite de S&E peuvent être examinés. Une revue et un
comme le Chili, l’Australie et le Canada, ont com- ajustement continus des stratégies qui sous-
mencé avec une certaine idée de ce à quoi un sys- tendent le système national de S&E sont large-
tème « performant » pourrait ressembler. Mais, ils ment souhaitables.
ont également travaillé à la création, d’une manière
opportuniste, d’un système pour l’ensemble du Une seconde justification d’une stratégie d’en-
gouvernement, ajustant leurs plans au fur et à vergure est qu’on peut s’attendre à une plus forte
mesure que se présentaient de nouvelles oppor- institutionnalisation du SINERGIA, avec une re-
tunités et des difficultés particulières. Ces op- cherche accrue des résultats par de nombreux ac-
portunités et contraintes ne sont pas seulement teurs à l’intérieur et à l’extérieur du gouvernement
spécifiques aux pays, elles dépendent des gou- — notamment les ministères et organismes pu-
vernements, des forces et des faiblesses de chaque blics sectoriels, les collectivités décentralisées, le
ministère et autres organismes (tel que le bureau Contraloria, le Congrès et la société civile. La de-
national d’audit), et de l’engagement des princi- mande de données de S&E par ces acteurs pour-
paux acteurs du gouvernement à atteindre des ré- rait s’agréger et se renforcer mutuellement. Elle
sultats. L’arrivée, ou le départ d’un défenseur du pourrait aussi aboutir à des efforts visant à ren-
S&E tel que le président Uribe a un effet consi- forcer l’offre de données de S&E — notamment
dérable, mais est aussi fortuit. De même, l’éven- l’amélioration de la qualité des données fournies
tualité envisagée par le ministère des Finances de au SIGOB, et la disponibilité des données né-
poursuivre la budgétisation axée sur les résultats cessaires pour les évaluations. Ainsi, plus il existe
fournit une légère opportunité de continuer à de synergies entre toutes les initiatives de S&E
utiliser substantiellement les données du axées sur les performances, plus grande est la
SINERGIA. probabilité que le SINERGIA se développe. L’in-
convénient de ce mécanisme complexe est tou-
L’inconvénient de cette approche opportuniste est tefois une charge de travail plus lourde, en termes
l’absence apparente de liens étroits entre nombre de gestion et de coordination, pour la DEPP. Un
de ces diverses initiatives. De ce point de vue, on équilibre soigneux entre l’ampleur et la profon-
pourrait soutenir que le SINERGIA n’est pas vé- deur doit par conséquent être réalisé.
ritablement un système de S&E intégré, mais plu-
tôt une combinaison d’activités axées sur les Il existe de nombreuses activités axées sur les
performances avec deux principales composantes performances qui ne sont pas directement sous
(largement distinctes) : le SIGOB et le programme l’égide de SINERGIA — notamment les activités
d’études d’impact. Parallèlement à ces nom- d’évaluation des projets de la DIFP et des services
breuses initiatives, l’appui des bailleurs de fonds publics, l’évaluation des performances munici-

139
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

pales par la DDTS, et les systèmes de S&E créés profondi devrait être réalisé pour être fixé. En effet,
par les entités sociales pour leur propre utilisation. un constat est que les progrès réalisés pour l’ins-
Si ces autres activités axées sur les performances titutionnalisation du SINERGIA devraient faire
étaient renforcées, elles pourraient montrer l’in- l’objet d’un suivi permanent, sur la base d’indi-
térêt du S&E, renforcerait ainsi les leçons ex- cateurs et d’objectifs de performance convenus,
ploitées par d’autres ministères et organismes et d’une évaluation régulière ; ainsi, le gouver-
publics, et aiderait à en accroître la légitimité du nement devrait fixer des objectifs ambitieux pour
S&E (et de SINERGIA) au sein du gouvernement. le SINERGIA en termes de suivi et évaluation ré-
La DNP devra examiner soigneusement le niveau gulier et crédible de ce système. Il s’agit là d’un
d’implication de la DEPP dans ces efforts, dont un rôle potentiel important pour le Comité inter-
grand nombre ne sont pas directement liés au dé- sectoriel pour l’évaluation.
veloppement du SINERGIA. Les liens les plus ma-
nifestes entre le SINERGIA et ces autres activités Manifestement, les activités de démonstration ne
de S&E découlent de la nécessité d’harmoniser doivent être étendues qu’après avoir enregistré
les besoins, les normes et procédures des don- des succès substantiels. Et les activités de la phase
nées ; le niveau de chevauchement réel (ou po- d’expansion, telles que les rapports sur les bud-
tentiel) entre le SINERGIA et d’autre systèmes et gets (d’investissement) axés sur les résultats, peu-
activités de S&E n’est toutefois pas clairement vent être étendues, dans l’intérêt du système,
défini. Il s’agit là d’un autre aspect qui bénéficie- pour inclure le budget de fonctionnement. Les ac-
rait d’une revue approfondie. tivités de la phase finale de maturité, telles que
celles du comité intersectoriel pour l’Évaluation
Les activités de la DEPP visant à institutionnaliser — dont le rôle, les responsabilités et la compo-
le SINERGIA peuvent être classées en trois caté- sition restent à définir — doivent être rapide-
gories, dans un ordre séquentiel : démonstra- ment améliorées et consolidées.
tion ; expansion ; consolidation (tableau B.3).
Celles-ci peuvent en plus être classées selon 7.2 Options pour la consolidation du SINERGIA
qu’elles semblent avoir quelques succès, leur suc- Dans ce cadre, et en raison de la conjoncture fa-
cès est incertain ou elles rencontrent de réelles vorable des trois années et demi qui restent du
difficultés. Le degré d’efficacité ne peut toutefois second mandat du président Uribe, quelles me-
pas être clairement défini, et un diagnostic ap- sures pourraient offrir les meilleures chances

Tableau B.3. Phases de maturation des activités de SINERGIA

Démonstration Expansion Consolidation


Plus efficaces • Pilotes du SIGOB dans les • SIGOB
municipalités • Études d’impact

Incertaines • Évaluations rapides pilotes • Rapports sur les budgets axés • Cadre réglementaire, comprenant le
• Budget fonctionnels pilotes sur les résultats Comité intersectoriel pour
dans les municipalités • Rapports faciles à lire sur les l’évaluation
• « Incitations institutionnelles » données de S&E (pour la
impliquant une société civile et le Congrès)
reconnaissance publique des • Cadre institutionnel pour la
organisations et agents de reddition des comptes (projet
l’Etat les plus performants de document du CONPES)

Moins efficaces • Collaboration directe avec la


société civile

140
A N N E X E B : U N E É T U D E D I A G N O S T I Q U E D E PAY S – L’ E X E M P L E D E L A C O L O M B I E

d’atteindre un niveau élevé d’institutionnalisa- ministères et organismes publics par le comité


tion du SINERGIA ? Et de maximisation de ses intersectoriel pour l’évaluation.
perspectives de durabilité ? Les priorités pour la • Renforcer les municipalités pilotes qui élabo-
consolidation du SINERGIA semblent être les sui- rent des budgets axés sur les résultats, et
vantes : étendre le pool de pilotes à certaines munici-
palités plus faibles, en vue d’une consolidation
• Assurer une approche stratégique plus ciblée éventuelle de cette approche au niveau infra-
de la planification des évaluations, sous la national — avec des normes et modalités dé-
conduite du comité intersectoriel de l’évalua- finies au niveau central — si les pilotes sont
tion, pour veiller à ce que la gamme et la pro- jugés efficaces et reproductibles.
fondeur des évaluations du SINERGIA • Veiller à une plus grande assurance de la qua-
soutiennent au mieux l’orientation budgétaire lité des données que les ministères, organismes
et la planification nationale. publics et collectivités décentralisées fournis-
• Promouvoir une plus grande appropriation sent au SIGOB — des audits indépendants se-
des données de S&E de SINERGIA par les mi- ront requis pour assurer un niveau élevé de
nistères sectoriels et les organismes publics crédibilité des données du SIGOB.
par leur participation accrue au comité inter- • Revoir les divers systèmes de données entre-
sectoriel pour l’évaluation, et une définition tenus par les ministères centraux, en vue d’une
plus claire des rôles, responsabilités et fonctions harmonisation, d’une simplification et d’une co-
du Comité. ordination accrues, pour préparer un ensemble
• Donner au comité intersectoriel pour l’éva- de normes de base pour les données
luation la responsabilité d’étudier et d’adopter administratives.
les recommandations du grand nombre d’éva- • Veiller à ce que la DANE et le COINFO jouent
luations qui seront finalisées dans les années un rôle important pour garantir la qualité des
à venir, et veiller à la mise en œuvre de ces re- données utilisées par le SINERGIA — au sein
commandations par leur suivi étroit. du SIGOB et pour les évaluations — et d’en ré-
• Produire un effet par la démonstration, en- duire les coûts.
courager un plus grand nombre de ministères • Étudier les moyens de réduire davantage le
sectoriels et d’organismes publics à réaliser coût des études d’impact menées sous l’égide
des évaluations par la création d’un pool cen- du SINERGIA – notamment à travers l’exten-
tral pour le financement de certaines évalua- sion de la collecte de données statistiques na-
tions, en vue de soutenir les évaluations rapides tionales, et une utilisation accrue de consultants
et les études d’impact. Ce financement, qui locaux colombiens en évaluations.
serait idéalement supervisé par le comité in- • Créer les liens requis entre les objectifs de dé-
tersectoriel pour l’évaluation, aiderait à assu- veloppement du pays, les politiques (bien
rer la continuité du programme d’évaluation structurées), les programmes et les projets ;
du gouvernement. Il pourrait aussi attirer un c’est seulement quand ces liens seront établis
certain nombre de bailleurs de fonds. que les objectifs présidentiels pourront être
• Soutenir les évaluations rapides pilotes à tes- correctement évalués. Ce type d’évaluation de
ter par le ministère des Finances et la DNP, en politiques doit se faire sur une base pilote.
vue de leur consolidation et extension rapide
s’ils sont jugés efficaces. Chercher à instaurer 8. Conclusions
une collaboration étroite entre les deux dé- Le SINERGIA est un système de S&E performant
partements dans ces efforts. de l’ensemble du gouvernement. Le principal
• Identifier les approches optimales de S&E défi auquel il fait actuellement face est sa pleine
adoptées par les organismes sociaux (tels institutionnalisation, afin qu’il continue à se dé-
qu’éventuellement le MEN et l’ICBF) et les uti- velopper et à soutenir la bonne gouvernance
liser comme une base de définition des fonc- après le changement de régime. Pour que le SI-
tions spécifiques de S&E assignées aux NERGIA soit donc pleinement viable dans ce

141
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

sens, il faudrait renforcer tant la demande que relatives au budget et à la planification nationale,
l’offre de S&E ; les deux composantes sont étroi- ainsi que la responsabilité sociale.
tement liées. L’offre peut être renforcée en amé-
liorant la qualité et la crédibilité des informations Les ministères sectoriels et leurs départements
de suivi, en réduisant les coûts de l’approvi- ont aussi un rôle à jouer pour veiller à l’utilisation
sionnement en données, et en augmentant le des données de S&E dans l’élaboration et la pla-
volume et la couverture des types d’évaluation nification des politiques des ministères, et la ges-
réalisés. La demande peut être renforcée en pro- tion en cours des activités des ministères et des
mouvant une plus grande sensibilité et une services publics. L’utilisation de ces données par
confiance accrue aux données de suivi et résul- ces entités devrait intégrer tant les informations
tats d’évaluations produits par le système — sen- produites par le SINERGIA que les données de S&E
sibilisation des ministres, des agents de l’Etat et que doivent collecter leurs propres ministères.
de la société civile. Une utilisation accrue des
données de S&E nécessite que les principaux Ainsi, tant du côté de l’offre que de la demande,
ministres et leurs services – en particulier la Pré- il faudrait une plus grande clarification et défini-
sidence, la DNP et le ministère des Finances — tion des rôles et responsabilités en matière de
jouent un rôle de premier plan, et même obli- S&E. Notre hypothèse est que le CONPES et le co-
gatoire, pour promouvoir l’utilité des données de mité intersectoriel de l’évaluation et la Gestion
S&E produites par le SINERGIA. Ce soutien de- axée sur les Résultats doivent jouer un rôle si-
vrait aller bien au-delà d’un simple plaidoyer, et gnificatif dans la supervision du SINERGIA et pour
devrait inclure des actions en vue de l’utilisation veiller à sa pleine institutionnalisation en vue de
des données de S&E pour appuyer les décisions renforcer la bonne gouvernance.

142
ANNEXE C : TERMES DE RÉFÉRENCE POUR UN DIAGNOSTIC
APPROFONDI DU SYSTÈME COLOMBIEN DE S&E

Introduction • Utilisation du S&E par les ministères secto-


Le gouvernement colombien œuvre depuis 1990 riels/services publics
à la mise en place d’un système de S&E robuste • S&E et gestion axée sur les résultats
et viable. La Banque mondiale et d’autres bailleurs • Types et qualité du S&E réalisé sous l’égide
de fonds lui ont apporté un certain nombre d’ap- du SINERGIA
puis dans ce but, dont des prêts et une assistance • Autres activités de S&E effectuées sous l’égide
technique. du SINERGIA
• Stratégie colombienne globale de S&E
L’objectif de la présente mission est de procéder • Conclusions et résumé des recommandations.
à un diagnostic des forces et des défis liés à l’ins-
titutionnalisation du S&E en Colombie. Une at- 2. Le rapport diagnostic devrait comprendre une
tention particulière sera accordée au système revue des analyses et des rapports existants sur
public de S&E, le SINERGIA, mais pas exclusive- SINERGIA et sur les réformes connexes du
ment. La Banque mondiale a publié un guide qui secteur public. Il nécessitera aussi une connais-
donne un aperçu des concepts et des sujets abor- sance étroite des produits du SINERGIA et des
dés et va aider au diagnostic. activités de l’unité de la DNP (chargée de l’éva-
luation des politiques publiques) chargée de
Tâches la gestion du système. Le responsable actuel de
Les présents termes de référence (TdR) précisent cette unité, M/Mme [Insérer le nom], sera le
les tâches à effectuer dans le cadre de cette mission. principal point focal du gouvernement pour les
besoins de cette étude diagnostique. Des en-
1. Réaliser un diagnostic, de 60 à 80 pages envi- tretiens devront être menés avec des per-
ron, donnant un aperçu de l’approche du S&E sonnes ressources du gouvernement, du
du gouvernement colombien, avec un accent Congrès, de la société civile et de la commu-
particulier sur le SINERGIA. Les questions sui- nauté des bailleurs de fonds.
vantes devront être abordées dans ce rapport,
entre autres (une liste détaillée est fournie en 3. Ce rapport, qui doit être rédigé en anglais,
annexe aux présents TdR) : devra être achevé avant le [insérer la date]. Vous
recevrez par ailleurs des billets d’avion en
• Genèse de l’approche du gouvernement classe affaires pour vous rendre en Colombie,
• Cadre juridique et institutionnel et vos frais d’hôtel et dépenses imprévues se-
• Utilisation du S&E pour le contrôle politique ront remboursés aux taux standard d’indem-
et social nités journalières de la Banque mondiale. Vous
• Rôle du S&E dans le budget recevrez un paiement de [insérer le montant]
• Rôle du S&E dans la préparation du plan de dé- de dollars après achèvement du rapport dia-
veloppement national gnostic, à la satisfaction du client.

143
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

PIÈCE JOINTE

Diagnostic du système colombien de S&E - questions détaillées

Genèse de l’approche du gouvernement sident actuel au SINERGIA ? Quel usage le Prési-


Comment naît le S&E en Colombie ? Qui en a eu dent fait-il des informations fournies par le SI-
l’idée et pourquoi ? Comment le SINERGIA s’est- NERGIA ? Quel est le degré d’efficacité du S&E en
il développé au fil du temps et quels évènements termes d’amélioration de la qualité de mise en ap-
majeurs ont marqué son évolution ? Quels sont plication de la politique publique ? Quels en ont
les objectifs déclarés du SINERGIA (par exemple été les succès/échecs les plus importants jusqu’à
planification nationale ou sectorielle ; décisions présent ? Le Congrès requiert-il des informations
relatives au budget ; gestion de programmes en sur les performances du secteur public ? Utilise
cours ou gestion axée sur les résultats ; reddition t-il les données de S&E fournies à travers le SI-
de comptes à la DNP et au ministère des Finances, NERGIA ? Dispose t-il d’une structure d’incita-
à la Présidence, au Congrès, aux ministères sec- tions appropriée ? Quelles sont les informations
toriels, à la société civile – « contrôle social »), et mises à la disposition du public, et comment
ceux-ci ont-ils évolué au fil du temps ? Comment sont-elles utilisées ? Quelle crédibilité la société
les priorités de S&E ont-elles été définies, en civile accorde-t-elle au S&E du SINERGIA? Com-
termes de liens directs et indirects, dans le cadre ment mieux utiliser les données de S&E pour
des principales réformes du secteur public en promouvoir une responsabilité accrue ?
Colombie ? Quel type de S&E a été privilégié pen-
dant l’évolution du SINERGIA au cours des trois Rôle du S&E dans le budget
phases de cette période (donc depuis 1991) ? Quel est le niveau réel d’utilisation des données
de S&E du SINERGIA par la DNP (DIFP) et le mi-
Cadre juridique et institutionnel nistère des Finances pendant les diverses phases
Quelles lois, réglementations, etc. régissent le du (double) processus budgétaire – autrement dit
système de S&E en Colombie (par exemple, les pour soutenir l’orientation politique et la planifi-
prescriptions constitutionnelles, le document de cation, l’orientation budgétaire, la revue des per-
politique du CONPES, etc.) ? Qui est chargé du formances, et la préparation des rapports
suivi de leur application, et dans quelle mesure budgétaires ? Quelles sont les implications de la
sont-elles effectivement appliquées ? Quelles la- séparation du budget d’investissement/de fonc-
cunes et double emplois y constatent-on ? Quel tionnement et du niveau élevé de rigidité à court
est le cadre institutionnel qui régit le S&E ? Quels terme du budget ? En quoi l’initiative prise par la
sont les rôles de la DNP, du comité intersectoriel DNP de présenter un document supplémentaire
de l’évaluation et la Gestion axée sur les résultats, pour le budget d’investissement rendant compte
du CONPES, des ministères sectoriels, etc., en de l’exécution du budget de l’État sur une base
matière de demandes d’évaluations ? Quels sont programmatique est-elle utile ? Quel type de bud-
les autres rôles/responsabilités des principaux get axé sur les résultats peut être utilisé en Co-
protagonistes du SINERGIA — la DNP, le minis- lombie ? Y a-t-il une déconnexion entre les activités
tère des Finances, la Présidence, les ministères et de S&E des ministères sectoriels et l’utilisation de
organismes publics sectoriels, Contraloria, les ni- ces informations dans le processus budgétaire ?
veaux inférieurs de l’administration et le Congrès ? Quelles sont les opportunités de renforcement du
Quelles incitations existent pour que ces parties rôle du S&E dans le budget ?
prenantes accordent du sérieux au S&E ? Quelle
est l’ampleur de la demande de données de S&E ? Rôle du S&E dans la préparation du Plan
de développement national
Utilisation du S&E pour le contrôle Dans quelle mesure la DNP utilise t-il effectivement
politique et social les données de S&E du SINERGIA pour l’élabora-
Quel est le niveau de soutien accordé par le Pré- tion du Plan de développement national 2006–2010 ?

144
ANNEXE C : TERMES DE RÉFÉRENCE POUR UN DIAGNOSTIC APPROFONDI DU SYSTÈME COLOMBIEN DE S&E

Dans quelle mesure ce plan intègre t-il les don- Indicateurs de performance et systèmes de
nées de suivi et les résultats des évaluations ? données
Y a-t-il une déconnexion entre l’accent mis par le
Utilisation du S&E par les ministères SIGOB sur les objectifs du Président et les do-
sectoriels et les services publics maines d’intérêt des ministères sectoriels/orga-
Les ministères sectoriels utilisent-ils les données nismes publics – ces entités sont-elles plus
de S&E produites par le SINERGIA ? Si oui com- intéressées par les questions micro-économiques,
ment (par exemple, pour l’élaboration de poli- liées aux projets ? Y a-t-il plusieurs systèmes d’in-
tiques et la planification, les allocations budgétaires, dicateurs de performance au niveau des secteurs
la gestion des programmes, les exigences de red- ou des organismes publics ? Quel est le niveau
dition des comptes au sein du secteur ou en de- d’harmonisation du SINERGIA avec les systèmes
hors) ? Si ces données sont peu ou pas utilisées, de données des ministères/organismes publics ?
pourquoi ? Existe-t-il des « îlots de bonnes pra- Peuvent-ils s’harmoniser (en termes de défini-
tiques de S&E » au sein des ministères secto- tions, de périodicité, de couverture géographique
riels/services publics ? Étudier en détail au moins des données, etc.), et quelles sont les implications
deux systèmes de S&E efficaces de ministères sec- pour la coordination du S&E et la charge de tra-
toriels/services publics (par exemple l’ICBF ou le vail au niveau des installations ? Comment les be-
MEN). Quelle influence ont ces îlots sur d’autres soins de données sont-ils déterminés ? Que visent
ministères ? Dans quelle mesure le SINERGIA a-t- les indicateurs de performance du SIGOB en ma-
il contribué à leur développement ? tière de dépenses, de processus administratifs, de
résultats et de prestation de services, de réalisa-
S&E et gestion axée sur les résultats tions et d’impacts au niveau national ? Comment
La Colombie peut-elle raisonnablement s’attendre les données sont-elles collectées au niveau des ser-
à une évolution de sa fonction publique vers une vices ? Leurs qualité et contenu font-ils l’objet
gestion axée sur les résultats ? Quels change- d’un contrôle suffisant ? Ces données ont-elles déjà
ments doivent se produire au sein de l’adminis- été contrôlées par les ministères sectoriels/orga-
tration publique (élaboration du budget, gestion nismes publics, ou la DNP, ou d’autres entités ?
des ressources humaines, audit et contrôles, etc.) Quelles sont les options disponibles pour réduire
pour permettre cela ? Y a-t-il un réel intérêt et une le coût des évaluations en se basant davantage sur
véritable demande des principales parties pre- les statistiques nationales et moins sur les en-
nantes pour la gestion axée sur les résultats ? quêtes ad hoc ? Les données sont-elles analysées
de manière adéquate par le SINERGIA et pré-
Types et qualité du S&E réalisé sous sentées sous une forme utile ? Comment les don-
l’égide du SINERGIA nées sont-elles transmises à la DNP ? Sont-elles
trop, trop peu utilisées ou juste assez ? Que dire
Types de S&E de leur opportunité ? Comment peut-on amélio-
Quels types d’outils de S&E sont privilégiés dans le rer la gestion de l’information ? Comment les
cadre du SINERGIA – indicateurs de performance, rapports finaux sont-ils préparés et présentés au
revues ou évaluations rapides, études d’impact ri- Président, au Congrès, et à la société ?
goureuses, approfondies ? Quel est le coût de cha-
cun de ces types de S&E ? Rendre compte du coût Études d’impact
total de chaque étude d’impact et de tous les autres Qui commande et gère les études d’impact ? Qui
types d’évaluation réalisés jusqu’à présent, et four- participe à la sélection des programmes à évaluer
nir une ventilation des coûts par collecte, analyse, et des aspects à contrôler – cette sélection est-elle
gestion et diffusion des données. Quel a été le coût faite sur la base des « programmes à problèmes »,
annuel du SINERGIA au cours de ces dernières an- des programmes pilotes ou des programmes oné-
nées ? Quelles sont les implications d’une forte dé- reux ou hautement visibles, ou une recherche
pendance vis-à-vis des bailleurs de fonds pour le systématique en vue de répondre à des ques-
financement du SINERGIA ? tions sur l’efficacité des programmes ? Qui dirige

145
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

les études d’impact, et quels processus d’assu- pilotes du SIGOB dans les municipalités, les exer-
rance qualité sont utilisés ? Quels programmes pu- cices pilotes de budgétisation axée sur les résul-
blics ont fait l’objet d’une étude d’impact ? Des tats dans les municipalités, les « incitations
lacunes ont-elles été identifiées par les études institutionnelles », etc.
d’impact menées jusqu’à présent sous l’égide du
SINERGIA ? Ces études d’impact ont-elles eu un La stratégie colombienne globale de S&E
impact visible sur les décisions politiques ou la ges- Dans quelle mesure la stratégie de S&E proposée
tion des programmes ? Quels secteurs se prête- par le document de politique du CONPES est-elle
ront le mieux à ce type d’évaluation dans l’avenir ? intégrée et appropriée (CONPES 3294) ? Quelles
Quelles sont les forces et faiblesses de l’offre lo- en sont les forces et les faiblesses ? Quel est son
cale de S&E ? Quels sont les principaux besoins niveau actuel de mise en œuvre ? Quels sont les
de capacités et quelles sont les priorités en termes problèmes à résoudre pour la rendre plus efficace ?
de renforcement des capacités ? Est-elle suffisamment appropriée par les parties
prenantes ? Quelles sont les opportunités de mise
Autres types d’évaluation en œuvre de types de revues et d’évaluations
Evaluer l’utilité des évaluations pilotes rapides supplémentaires moins coûteux ? Quel est l’équi-
(basées sur l’approche d’évaluation des pro- libre approprié entre une évaluation indépen-
grammes publics au Chili) réalisées actuellement dante et une autoévaluation, ou peut-on s’assurer
par le ministère des Finances et la DNP. Quels types des avantages des deux méthodes en évitant leurs
de processus publics – planification nationale, inconvénients ? Quelles menaces pèsent sur la via-
orientation budgétaire, gestion des minis- bilité du SINERGIA ?
tères/organismes publics, contrôle social — peu-
vent être soutenus par une gamme plus variée Conclusions et résumé des
d’évaluations réalisées actuellement sous l’égide recommandations
du SINERGIA ? Quels problèmes et défis le gou- Quelles sont les principales forces et faiblesses du
vernement devra t-il relever s’il décide d’étendre SINERGIA et les défis qu’il lui reste à relever ?
la gamme des évaluations à réaliser ? Quels sont les principaux facteurs de réussite et
les options essentielles liées à l’institutionnalisa-
Autres activités de S&E effectuées sous tion du SINERGIA et du S&E à plus grande échelle,
l’égide du SINERGIA au sein du gouvernement ? Comment peut-on s’as-
Faire une estimation rapide de toutes les autres surer que le SINERGIA survive à un changement
activités de renforcement des capacités en S&E éventuel d’administration ? En résumé, quels sont
menées par la DNP/DEPP, y compris les exercices les principaux enseignements pour d’autres pays ?

146
ANNEXE D : ÉVALUATION DE L’APPUI DE L’IEG À
L’INSTITUTIONNALISATION DES SYSTÈMES DE S&E

Questions et méthodologie relatives à que l’échelle des activités, des extrants, des réa-
l’évaluation lisations et des impacts liés à un tel appui natio-
En 2004, l’IEG a mené à bien une autoévaluation nal soit considérablement plus grande ; il pourrait
du concours qu’il apporte aux gouvernements par ailleurs exister de solides synergies entre ces
pour les aider à institutionnaliser leur système de diverses activités prévues.
S&E (IEG 2004a). La méthode utilisée dans cette
évaluation et les types de problèmes rencontrés Contribution et attribution
sont susceptibles d’intéresser d’autres bailleurs de Lorsqu’on évalue le concours apporté par les
fonds qui s’emploient à évaluer des activités si- bailleurs de fonds à un gouvernement, il est rela-
milaires. De telles activités pourraient être réali- tivement facile de suivre les divers extrants (tels
sées par les bureaux d’évaluation des bailleurs les diagnostics du pays) et les réalisations inter-
de fonds ou par leurs secteurs opérationnels. Les médiaires (comme la création par le gouvernement
questions méthodologiques se rapportent à l’éva- d’un cadre officiel de S&E) auxquels a contribué
luabilité des efforts visant à institutionnaliser un un donateur (voir figure 13.1 pour une liste des
système de S&E. éventuels activités, extrants, réalisations intermé-
diaires, réalisations finales et impacts). Mais il est
Échelle souvent plus difficile d’attribuer ces résultats à un
Une importante caractéristique contextuelle de bailleur de fonds pris isolément, surtout lorsqu’un
l’évaluation de l’IEG était l’échelle relativement pe- certain nombre de bailleurs de fonds sont inter-
tite de l’appui au renforcement des capacités sur venus ou quand leur appui global est négligeable
lequel portait l’évaluation. En tant qu’organe in- par rapport aux propres efforts du gouvernement
dépendant d’évaluation de la Banque mondiale, — comme dans le cas du Chili. Des facteurs ex-
l’IEG dispose d’un programme d’aide de longue ternes, tel qu’un changement de gouvernement
date dans ce domaine1. Les ressources humaines ou le départ d’un défenseur influent de la cause
affectées à cette tâche ont été d’un niveau mo- du S&E peuvent avoir un effet considérable sur le
deste, consistant en deux employés à temps plein succès des efforts des bailleurs de fonds2.
et un budget total d’environ 1 million de dollars
au cours des dernières années. Ces ressources ont Absence d’une approche normalisée de
été utilisées pour aider un certain nombre de l’institutionnalisation du S&E
pays de par le monde. Comme on l’a souligné à maintes reprises dans le
présent volume, il n’existe pas de train de mesures
L’échelle de cet appui est petite par rapport au vo- normalisé pour renforcer un système de S&E. Au
lume des prêts et des dons accordés aux différents contraire, le train de mesures qui est approprié
pays par les bailleurs de fonds. Les prêts des pour un pays sera fonction du point de départ et
bailleurs de fonds ayant une composante insti- de la destination souhaitée du système dudit
tutionnalisation des systèmes de S&E pourraient pays, du point de vue des diverses utilisations
bien s’élever à plusieurs millions de dollars, et par- possibles des informations relatives au S&E. Étant
fois plus, selon les activités précises qui sont fi- donné qu’il n’existe pas de train de mesures nor-
nancées. Il s’ensuit qu’on pourrait s’attendre à ce malisé, il ne peut y avoir aucune approche nor-

147
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

malisée de leur évaluation. L’approche de l’éva- Diagnostics


luation doit être adaptée au train précis de me- Le type d’évaluation envisagé ici est similaire à
sures adoptées, à l’échelle de celles-ci et au maints égards au diagnostic du système de S&E
contexte du pays. d’un pays (chapitre 12). Évidemment, une éva-
luation est en général de nature quelque peu
Hétérogénéité des mesures plus formelle, et elle pourrait s’appuyer sur un dia-
Les efforts visant à institutionnaliser le S&E consis- gnostic de référence et un diagnostic de suivi
tent souvent en une longue liste de mesures, telles pour mesurer l’ampleur des changements au fil
que celles figurant au tableau 13.1. Chaque mesure du temps. Une évaluation peut également consis-
pourrait être évaluée de façon précise et souvent ter en un examen de questions précises (voir la
différente. Il se peut que les activités individuelles, liste des diagnostics approfondis qui sont prévus
telles qu’une conférence de haut niveau, contri- pour la Colombie au chapitre 13).
buent utilement à mieux faire connaître aux hauts
responsables les utilisations du S&E. Il est cepen- L’évaluation de l’IEG
dant difficile, dans le cadre d’une évaluation, de dé- L’autoévaluation de l’IEG a donné un outil per-
terminer séparément la contribution de ces activités mettant de préciser ses objectifs et sa stratégie en
relativement modestes (Perrin et Mackay 1999). Les huit volets pour aider les gouvernements (et leurs
activités de formation, qui sont une composante homologues au sein de la Banque) à renforcer leur
de base de la plupart des efforts pour institution- système de S&E (IEG 2004a). Elle a fourni des ren-
naliser le S&E, peuvent être plus faciles à évaluer, seignements sur les montants consacrés par l’IEG
surtout lorsque leur échelle est grande. En outre, à la réalisation de ces objectifs, classés selon les
il existe une méthode bien reconnue pour effec- divers types d’activités telles que les séminaires,
tuer de telles évaluations (Kirkpatrick et Kirkpatrick la fourniture d’une formation et l’octroi de bourses
2006)3,4. Les activités telles que les diagnostics et dans le domaine du S&E, et les interventions
les évaluations pilotes peuvent être évaluées du d’appui à l’intérieur du pays. Elle a par ailleurs éla-
point de vue de leur qualité et de leur ampleur. boré une chaîne de résultats de ces efforts et pré-
senté les indicateurs de performance concernant
Chaîne de résultats les extrants et les réalisations intermédiaires de
Une des approches de l’évaluation consiste à se ces interventions (la plupart de ces résultats
concentrer sur la chaîne de résultats pour mettre n’étaient bien sûr attribuables qu’en partie à l’IEG
en place ou renforcer un système public de S&E — voir l’analyse précédente). Ces indicateurs
(figure 13.1). Cette chaîne comprend un ensemble étaient notamment les suivants :
d’activités, d’extrants, de réalisations intermé-
diaires, de réalisations finales et d’impacts. À • Le nombre de pays pour lesquels un diagnos-
chaque stade, il est possible de recueillir des in- tic avait été effectué.
dicateurs de performance. Les questions néces- • L’intégration ou non de la priorité en matière
sitant une évaluation plus approfondie peuvent de S&E du gouvernement dans la stratégie de
être abordées par exemple dans le cadre d’en- la Banque relative à chaque pays ayant béné-
trevues ou d’enquêtes auprès des hauts respon- ficié du concours de l’IEG.
sables, d’études de cas détaillées, etc. • Le consentement ou non de la Banque à ac-
corder en outre au gouvernement un prêt à
Telle a été l’approche suivie dans l’autoévalua- cette fin.
tion de l’IEG. Bien entendu, une mesure de base • L’établissement ou non du cadre gouverne-
du succès de tous les efforts visant à mettre en mental de S&E.
place un système de S&E est l’ampleur de l’utili-
sation des informations relatives au S&E que pro- Des examens approfondis des efforts intensifs dé-
duit le système en question. De telles informations ployés par l’IEG dans deux pays —Ouganda et
peuvent être obtenues au moyen d’enquêtes au- Égypte — ont été effectués par un consultant ex-
près des responsables du budget, des députés, etc. terne. Ces examens comprenaient une étude de do-

148
A N N E X E D : É V A L U AT I O N D E L’A P P U I D E L’ I E G À L’ I N S T I T U T I O N N A L I S AT I O N D E S S Y S T È M E S D E S & E

cuments, des entrevues avec de hauts responsables La communauté du développement accorde


gouvernementaux et des cadres supérieurs de la une grande importance à la réalisation de ré-
Banque et d’autres bailleurs de fonds. Le consultant sultats et elle s’est engagée à aider les pays
a attribué une note au travail de l’IEG dans chaque emprunteurs à renforcer leur aptitude à me-
pays au regard des critères normalisés d’évalua- surer et à gérer les résultats. Une impor-
tion de tout projet de la Banque : pertinence, ef- tante partie de cet engagement fait appel à
fectivité (c’est-à-dire l’efficacité), efficience, des efforts visant à aider les pays à mettre en
réalisation, durabilité, et performance de l’IEG. place leur propre système de S&E. ...De so-
lides systèmes de S&E peuvent contribuer
Par ailleurs, dans son évaluation l’IEG a repris cer- de façon importante à une saine gouver-
tains éléments de diverses évaluations de son nance dans les pays. En outre, le renforce-
principal programme de formation externe (le ment des capacités des pays en matière de
Programme international de formation en éva- S&E pourrait également faciliter la tâche
luation du développement) effectuées antérieu- consistant à assurer la qualité du S&E propres
rement. L’évaluation contenait des renseignements à la Banque — aussi bien l’autoévaluation,
sur la performance relatifs au nombre de rapports par les opérations de la Banque, des inter-
de recherche élaborés par l’IEG sur ce sujet, et sur ventions en matière de développement
le niveau de la demande desdits rapports. qu’elles conçoivent et supervisent, que l’éva-
luation indépendante des mêmes interven-
Prenant appui sur l’ensemble de ces informa- tions par l’IEG.
tions relatives au S&E, l’évaluation s’est employée
à déterminer les extrants et réalisations précis L’IEG est, depuis sa création en 1973, un vi-
qui correspondent à chaque composante de la goureux champion de la cause de l’ECD, et
stratégie en huit volets de l’IEG. Elle s’est ache- ce dernier fait partie de son mandat officiel
vée sur une analyse de plusieurs options straté- depuis 1986. Dans le cadre de la mise en
giques à envisager par l’IEG lors de la définition œuvre de ce mandat, l’IEG dispose d’un
de ses interventions futures dans ce domaine. programme d’ECD auquel sont affectés deux
Cette évaluation a été officiellement présentée au cadres à temps plein et qui fournit des
Conseil de la Banque mondiale et elle est acces- conseils en matière d’ECD et d’autres types
sible au public (voir http://www.worldbank.org/ieg/ d’appui aux pays et aux secteurs opération-
edc/evaluating_institutionalization_efforts.html). nels au sein de la Banque. Le présent rapport
d’autoévaluation vise à évaluer le travail de
Évaluation de l’IEG : résumé analytique l’IEG dans le domaine de l’ECD et, partant,
Il convient de noter que dans le résumé ci-après, à déterminer la mesure dans laquelle l’IEG
le terme « renforcement des capacités d’évalua- remplit son mandat relatif à l’ECD.
tion » (ECD) renvoie aux efforts visant à mettre
en place ou à renforcer le système de S&E d’un Ce rapport décrit et explique la stratégie de
gouvernement. Ce terme ne décrit pas convena- l’IEG en matière d’ECD — la façon dont
blement la nature de ces efforts ; il met l’accent l’IEG a œuvré pour remplir son mandat.
sur l’évaluation, tandis que la plupart des sys- Dans la mise en œuvre de cette stratégie,
tèmes gouvernementaux s’appuient à la fois sur l’IEG a joué un rôle de catalyseur visant à en-
le suivi et sur l’évaluation. L’utilisation de l’ex- traîner une prise en compte systématique des
pression « renforcement des capacités » fait pen- travaux d’ECD à la fois au sein de la Banque
ser à une approche axée sur l’offre. En fait, la et dans les pays, et à établir de bonnes pra-
demande et les questions d’institutionnalisation tiques en matière d’ECD. Les trois compo-
sont peut-être plus importantes. Le terme ECD santes étroitement liées de cette stratégie
n’en continue pas moins d’être utilisé par l’IEG sont l’appui interne que l’IEG fournit à la
ainsi que par d’autres organismes bilatéraux et cer- Banque, son concours externe, et l’établis-
taines organisations d’aide bilatérales. sement de la base de l’ECD.

149
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

L’IEG a joué avec succès un rôle moteur en équipes nationales correspondantes au sein
maintenant le S&E et l’ECD au centre des de la Banque) depuis 1999 : un concours de
préoccupations de la Banque, avec le sou- haute intensité a été apporté à deux pays (Ou-
tien solide du Conseil de l’institution et de ganda et Égypte), un autre de moyenne in-
son Comité sur l’efficacité du développe- tensité à 15 pays, et une aide indirecte à 17
ment. À son tour, le plan d’action axé sur les autres pays. Une si grande « empreinte » de
résultats de la Banque, qui est en constante l’appui de l’IEG a aidé à faire mieux connaître
évolution, renforce l’accent mis par les opé- l’ECD au sein de la Banque, d’où la probabilité
rations de l’institution sur les résultats de que se produise un certain effet de dé-
leurs travaux, ce qui permet d’attirer une cer- monstration pour les autres équipes natio-
taine attention supplémentaire sur l’ECD. nales. La focalisation des travaux sur les pays
Depuis 1999, année où l’IEG a accru ses constitue un élément clé de la stratégie de
ressources consacrées à l’ECD, on assiste à l’IEG en matière d’ECD. Une importante
une croissance substantielle du nombre conclusion du présent rapport est que bon
d’équipes nationales de la Banque qui met- nombre des pays auxquels l’IEG a apporté un
tent en œuvre l’ECD en collaboration avec concours de haute intensité ou d’intensité in-
les emprunteurs ; le travail de sensibilisation termédiaire ont accompli des progrès sub-
de l’IEG et son appui à la quasi-totalité des stantiels dans le domaine de l’ECD — du
équipes nationales a été un facteur contri- point de vue des extrants de l’ECD tels que
butif. Au moins 31 de ces équipes — sur en- les diagnostics de l’ECD, la définition de
viron 150 équipes nationales de la Banque l’ECD comme une priorité dans les stratégies
— interviennent actuellement dans l’ECD. d’aide-pays de la Banque, et la création de
Cette croissance constitue un progrès consi- projets de la Banque ayant une composante
dérable en direction de l’intégration de ECD, et par rapport aux réalisations inter-
l’ECD au sein la Banque, même s’il est clair médiaires telles que le renforcement de la de-
que le chemin à parcourir reste long. mande nationale de S&E ainsi que celui de
la capacité nationale d’effectuer et d’utiliser
Le présent rapport fait état d’un certain le S&E. On ne saurait certes attribuer l’en-
nombre d’obstacles à l’évaluabilité des inter- semble de ces progrès à l’IEG, mais celui-ci
ventions de l’IEG en matière d’ECD, tels que a contribué de façon importante à ces ré-
les difficultés d’attribution ; le fait que les ac- sultats en matière d’ECD.
tivités d’ECD de l’IEG se déroulent par nature
« en amont » ; l’absence de toute approche Un examen approfondi des deux pays aux-
normalisée de l’ECD ; la petite échelle de quels l’IEG a apporté un concours de haute
nombreuses activités d’ECD de l’IEG ; et le fait intensité — Ouganda et Égypte — confirme
que quelques-uns de ces travaux se trouvent le rôle moteur joué par l’IEG dans le do-
à un stade précoce. Toutefois, ce rapport a maine de l’ECD au cours des dernières an-
également amélioré l’évaluabilité de ces tra- nées ; la performance de l’IEG dans les deux
vaux, en établissant les grandes lignes des pays a été jugée satisfaisante. En Ouganda,
chaînes de résultats de l’ECD ; en élaborant un point fort a été l’octroi au pays d’un
les indicateurs de performance en matière appui durable et de haute intensité, qui a per-
d’ECD ; et en préparant des critères détaillés mis de réaliser des synergies entre un éven-
de notation de l’ECD au niveau national. Le tail d’activités différentes d’ECD et a
rapport présente des données factuelles sur débouché sur certains résultats importants
un certain nombre d’extrants et de réalisations en matière d’ECD. L’examen approfondi a
des interventions de l’IEG relatives à l’ECD. conclu que les travaux d’ECD en Ouganda
constituent une bonne pratique en matière
L’IEG a fourni un appui en faveur de l’ECD d’ECD. Cela dit, la situation est quelque peu
au niveau national à 34 pays (et à leurs différente dans le cas de l’Égypte, les travaux

150
A N N E X E D : É V A L U AT I O N D E L’A P P U I D E L’ I E G À L’ I N S T I T U T I O N N A L I S AT I O N D E S S Y S T È M E S D E S & E

y ayant été freinés dans une certaine mesure Rien ne permet de penser que le moindre
par l’insuffisance de la demande émanant des conflit d’intérêts soit survenu dans le cadre
parties prenantes clés au sein de l’adminis- des activités d’ECD de l’IEG. Il existe à l’in-
tration. Cette expérience confirme un en- térieur et à l’extérieur de la Banque d’im-
seignement tiré par un certain nombre de portants précédents d’harmonisation des
pays caractérisés par la faiblesse de la de- responsabilités juridiques ou fiduciaires
mande, à savoir que cette situation peut avec l’octroi d’un appui au renforcement des
avoir pour effet de fragiliser les efforts en fa- capacités en faveur des travaux opération-
veur de l’ECD. Aussi l’IEG doit-il prêter une nels. Cette harmonisation est réalisée au
attention minutieuse à la demande dans ses moyen d’une simple approche de filtrage.
activités nationales d’ECD, à la fois au stade
de diagnostic initial et dans les travaux sub- Cette autoévaluation présente trois options
séquents de renforcement des capacités. majeures à envisager par la direction de
l’IEG lors de l’élaboration de sa future stra-
Les travaux réalisés par l’IEG pour jeter la tégie en matière d’ECD. Il s’agit : 1) d’une
base de l’ECD ont consisté notamment à option de sortie pour le transfert des activités
préparer des ressources documentaires sur de l’IEG relatives à l’ECD ; 2) d’une option
l’ECD pour diffuser les enseignements tirés d’intensification faisant appel à une colla-
de l’expérience en matière d’ECD, à assurer boration plus étroite entre l’IEG et les uni-
une formation en suivi, en évaluation et en tés centrales de la Banque, et à une approche
ECD, et à mettre en œuvre diverses initiatives plus ciblée des travaux d’ECD entrepris avec
concertées telles que les évaluations les équipes nationales de la Banque et les ser-
conjointes et l’harmonisation des interven- vices des vice-présidents régionaux de la
tions des bailleurs de fonds relatives au S&E. Banque ; et 3) d’un accroissement de l’at-
L’IEG a joué un rôle moteur en dégageant tention accordée à la pratique consistant à
et en diffusant les enseignements tirés de tirer des enseignements de l’ECD.
l’expérience de l’ECD — de la recherche
sur l’ECD en réalité — ce qui est reflété par La conclusion du présent rapport est que
le niveau très élevé de la demande de ses res- compte tenu du niveau modeste des res-
sources documentaires sur l’ECD. Il ressort sources consacrées à l’ECD, l’IEG a été très
d’une récente évaluation du Programme in- actif dans le domaine de l’ECD, et que sa
ternational de formation en évaluation du dé- stratégie d’ECD a contribué à un certain
veloppement — programme phare de S&E nombre de résultats — extrants et réalisa-
de l’IEG — effectuée par l’IEG que les par- tions — dans ce domaine au cours des cinq
ticipants étaient très satisfaits de la formation dernières années. La tâche dont l’IEG doit
et qu’ils avaient démontré des gains appré- s’acquitter à présent consiste à renforcer
ciables d’apprentissage. On a également re- davantage ses travaux d’ECD — pour at-
levé des conclusions d’évaluation très teindre les objectifs connexes qui sont d’in-
positives pour ce qui est des programmes de tégrer l’ECD et d’instituer, à une plus vaste
formation en suivi/évaluation/ECD auxquels échelle, un ECD de grande qualité. Il existe
a participé l’IEG. Les informations relatives un nombre croissant de possibilités d’as-
à l’évaluation de l’IEG présentent cepen- surer la gestion axée sur les résultats au
dant un certain nombre de lacunes au niveau sein de la Banque et dans les pays, et la
des résultats de ses travaux d’ECD, et il fau- priorité accordée à l’ECD n’a jamais été plus
dra les combler. haute.

151
ANNEXE E : GLOSSAIRE DES PRINCIPAUX TERMES DE S&E

Source : Comité d’aide au développement (CAD). Appréciation préalable


2002. Glossaire des principaux termes relatifs à Appréciation globale de la pertinence, de la fai-
l’évaluation et la gestion axée sur les résultats. sabilité et de la durabilité probable d’une action
de développement avant que la décision de fi-
Ce glossaire est disponible en anglais, chinois, nancement ne soit prise.
espagnol, français, italien, japonais, portugais et
russe. Remarque : dans les agences et banques de dé-
veloppement, le but de cette appréciation est de
Action de développement donner aux décideurs les éléments qui leur sont
Instrument d’aide utilisé par un partenaire nécessaires pour décider si l’action représente un
(bailleur de fonds ou non) en vue de promouvoir usage approprié des ressources de l’organisme.
le développement.
Terme connexe : évaluation ex ante.
Remarque : Par exemple, projets, programmes,
avis ou conseils en matière de politiques. Assurance qualité
L’assurance qualité couvre toute activité concer-
Activité nant l’appréciation et l’amélioration des mérites
Actions entreprises ou travaux menés en vue de et de la valeur d’une action de développement,
produire des réalisations spécifiques. L’activité ou le respect de normes préétablies.
mobilise des ressources telles que des fonds,
une assistance technique et d’autres types de Remarque : exemples d’activités d’assurance qua-
moyens. lité : appréciation préalable, gestion par les ré-
sultats, examens intermédiaires, évaluations, etc.
Terme connexe : action de développement. L’assurance qualité peut aussi concerner l’ap-
préciation de la qualité d’un portefeuille de pro-
Analyse des risques jets et son efficacité en termes de développement.
Analyse ou appréciation de facteurs (appelés hy-
pothèses dans le cadre logique) qui contribuent, Attribution (Imputation)
ou pourraient contribuer, à l’atteinte des objec- Confirmation d’une relation causale entre les
tifs d’une intervention donnée. Examen détaillé changements observés (ou que l’on s’attend à
des conséquences non voulues et négatives observer) et une action spécifique.
qu’une action de développement pourrait avoir
sur la vie humaine, la santé, la propriété ou l’en- Remarque : L’attribution met une partie du chan-
vironnement. Processus visant à identifier systé- gement observé au crédit de l’action évaluée.
matiquement les conséquences indésirables et Elle représente la part des effets observés qui est
les risques, avec quantification de leur probabilité attribuable à une intervention spécifique ou à
d’apparition et leur impact prévisible. l’action d’un ou plusieurs partenaires. Elle suppose

153
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

de prendre en compte les autres interventions, les sur le succès ou l’échec de l’action. Il facilite ainsi
facteurs exogènes (anticipés ou non) et les chocs la conception, l’exécution et l’évaluation d’une
externes. intervention de développement.

Audit (Contrôle) Terme connexe : gestion axée sur les résultats.


Activité de contrôle en matière de qualité, exer-
cée de façon objective et indépendante, et desti- Chaîne des résultats
née à améliorer les opérations d’une organisation Suite de relations de cause à effet qui mènent
et à en accroître la valeur. L’audit aide une orga- d’une action de développement à l’atteinte des ob-
nisation à atteindre ses objectifs grâce à une ap- jectifs. La chaîne des résultats commence par la
proche systématique et rigoureuse pour constater mise à disposition des ressources, se poursuit
et améliorer l’efficacité de la gestion des risques, par les activités et leurs extrants. Elle conduit aux
du contrôle et des processus de gouvernance. réalisations et aux impacts, et aboutit à une ré-
troaction. Dans quelques agences d’aide le public
Remarque : une distinction doit être effectuée concerné fait partie de la chaîne des résultats.
entre l’audit de régularité (de contrôle, exemple :
contrôle financier) qui porte surtout sur la confor- Termes connexes : hypothèse, cadre de résultats.
mité avec les procédures et règlements en vi-
gueur et l’audit de performance qui s’intéresse à Conclusions
la pertinence, à l’économie, à l’efficience et à l’ef- Les conclusions font ressortir les facteurs de suc-
ficacité. L’audit interne fournit une appréciation cès et d’échec de l’action évaluée, avec un intérêt
des contrôles internes exercés par une unité ren- particulier accordé aux résultats et aux impacts, es-
dant compte à la direction, tandis que l’audit ex- comptés ou non, et plus généralement aux autres
terne est exécuté par un organisme indépendant. points forts et points faibles. Une conclusion fait
appel à des données et des analyses élaborées à par-
Auto-évaluation tir d’un enchaînement transparent d’arguments.
Évaluation réalisée par ceux qui ont la responsa-
bilité de concevoir et de mettre en œuvre une ac- Constatations
tion de développement. Données avérées déduites d’une ou de plusieurs
évaluations permettant d’établir des faits.
Bénéficiaires
Individus, groupes ou organisations qui bénéfi- Économies
cient de l’action de développement, directement Non-gaspillage d’une ressource donnée.
ou non, intentionnellement ou non.
Remarque : Une activité est économique si le
Termes connexes : publics concernés, ciblés ou coût d’utilisation des ressources rares se rap-
atteints. proche du minimum requis pour atteindre les
objectifs prévus.
But
Objectif énoncé relatif au projet ou au programme Effet
de développement. Changement escompté ou non, attribuable di-
rectement ou indirectement à une action.
Cadre logique
Outil visant à améliorer la conception des actions, Termes connexes : résultats, réalisations.
le plus souvent au niveau des projets. Cela suppose
d’identifier les éléments stratégiques (ressources, Efficacité (Succès, réussite)
extrants, réalisations, impacts) et leurs relations Mesure selon laquelle les objectifs de l’action de
causales, les indicateurs, ainsi que les facteurs ex- développement ont été atteints, ou sont en train
térieurs (risques) qui peuvent avoir une influence de l’être, compte tenu de leur importance relative.

154
A N N E X E E : G L O S S A I R E D E S P R I N C I PA U X T E R M E S D E S & E

Remarque : terme également utilisé comme sys- devrait fournir des informations crédibles et utiles
tème de mesure globale (ou comme jugement) permettant d’intégrer les leçons de l’expérience
du mérite et de la valeur d’une activité ; mesure dans le processus de décision des bénéficiaires et
selon laquelle une intervention a atteint, ou est des bailleurs de fonds.
en train d’atteindre, ses principaux objectifs per-
tinents, de façon efficiente et durable, et avec un Le terme « évaluation » désigne également un
impact positif en terme de développement processus aussi systématique et objectif que pos-
institutionnel. sible par lequel on détermine la valeur et la por-
tée d’une action de développement projetée, en
Terme connexe : effectivité. cours ou achevée.

Efficience Remarque : dans certains cas l’évaluation suppose


Mesure selon laquelle les ressources (fonds, ex- la définition de normes appropriées, l’apprécia-
pertise, temps, etc.) sont converties en résultats tion des performances par rapport à celles-ci, et
de façon économe. en juger les résultats attendus et obtenus. Elle per-
met de dégager des leçons pertinentes.
Enseignements tirés
Généralisations, établies à partir de circonstances Terme connexe : examen.
spécifiques relatives à des évaluations de projets,
de programmes ou de politiques permettant de Évaluation à mi-parcours
tirer des enseignements plus larges. Souvent les Évaluation conduite à la moitié de la mise en
leçons soulignent les points forts et les points œuvre de l’action.
faibles dans la préparation, la conception et la
mise en œuvre, qui ont un effet sur la perfor- Terme connexe : évaluation formative.
mance, les résultats et l’impact.
Évaluation conjointe (partenariale)
État des lieux Évaluation à laquelle participent différents orga-
Analyse décrivant la situation avant le lancement nismes bailleurs et/ou leurs partenaires.
de l’action de développement, et par rapport à la-
quelle on pourra apprécier des améliorations ou Remarques : il peut y avoir plusieurs degrés de par-
faire des comparaisons. tenariat selon que les partenaires coopèrent plus
ou moins au processus d’évaluation, regroupent
Évaluabilité leurs ressources et restituent ensemble les ré-
Mesure selon laquelle une activité ou un pro- sultats. Les évaluations conjointes peuvent aider
gramme est évalué de façon fiable et crédible. à traiter les problèmes d’attribution en appré-
ciant l’efficacité des programmes et des stratégies,
Remarque : L’appréciation de l’évaluabilité sup- la complémentarité des efforts des différents par-
pose d’examiner à l’avance l’activité projetée afin tenaires ainsi que la qualité de la coordination de
de vérifier si ses objectifs sont définis de façon adé- l’aide, etc.
quate et si les résultats sont vérifiables.
Évaluation de processus
Évaluation Évaluation de la dynamique interne d’orga-
Appréciation systématique et objective d’un pro- nismes chargés de la mise en œuvre de l’ac-
jet, d’un programme ou d’une politique, en cours tion, de leurs instruments et politiques
ou terminé, de sa conception, de sa mise en d’intervention, de leurs mécanismes de presta-
œuvre et de ses résultats. Le but est de détermi- tion de services, de leurs pratiques de gestion,
ner la pertinence et l’accomplissement des ob- et des liens entre tous ces éléments.
jectifs, l’efficience en matière de développement,
l’efficacité, l’impact et la durabilité. Une évaluation Terme connexe : évaluation formative.

155
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

Évaluation de programme Termes connexes : appréciation préalable.


Évaluation d’un ensemble d’actions, structuré
pour atteindre des objectifs de développement Évaluation ex post
spécifiques à l’échelle d’un secteur, d’un pays, Évaluation d’une action de développement une
d’une région, ou global. fois celle-ci terminée.

Remarque : un programme de développement a Remarque : ce type d’évaluation peut être réalisé


une durée limitée et implique des activités mul- tout de suite après l’achèvement de l’intervention
tiples qui peuvent concerner plusieurs secteurs, ou longtemps après. Le but est d’identifier les
thèmes et/ou zones géographiques. facteurs de succès ou d’échec, d’apprécier la du-
rabilité des résultats et des impacts, et de tirer des
Terme connexe : évaluation-pays, de programme conclusions qui pourront être généralisées à
national, stratégique. d’autres actions.

Évaluation de programme national/Évaluation- Évaluation externe


pays Évaluation d’une action de développement
Évaluation de l’ensemble des actions de déve- conduite par des services et/ou des personnes ex-
loppement d’un (ou plusieurs) bailleur(s) ou or- térieures au bailleur de fonds et à l’organisation
ganisme(s) dans un pays partenaire, au regard de responsable de la mise en œuvre.
la stratégie d’aide sous-jacente.
Évaluation formative (endoformative)
Évaluation de programme sectoriel Évaluation visant à améliorer les performances, le
Évaluation d’une série d’actions de développe- plus souvent effectuée au cours de la phase de
ment dans un ou plusieurs pays, contribuant en- mise en œuvre d’un projet ou d’un programme.
semble à l’atteinte d’un objectif de développement
spécifique. Remarque : les évaluations formatives peuvent
également être menées pour d’autres raisons
Remarque : un secteur inclut des activités de dé- telles que la vérification de la conformité et du res-
veloppement habituellement regroupées dans la pect des obligations légales ou comme partie
perspective d’une action publique telle que la d’une évaluation plus large.
santé, l’éducation, l’agriculture, les transports,
etc. Terme connexe : évaluation du processus.

Évaluation de projet Évaluation groupée


Évaluation d’une action de développement indi- Évaluation d’un ensemble d’activités, de projets
viduelle conçue pour atteindre des objectifs spé- ou de programmes connexes.
cifiques avec des ressources et un plan de travail
déterminés, souvent dans le cadre d’un pro- Évaluation indépendante
gramme plus large. Évaluation d’une action de développement
conduite par des services ou des personnes non
Remarque : l’analyse coûts-avantages est un outil liés aux responsables de la conception et de la
important de l’évaluation pour les projets pré- mise en œuvre de l’action de développement.
sentant des bénéfices mesurables. Si les béné-
fices ne peuvent pas être quantifiés, l’analyse Remarque : la crédibilité d’une évaluation dé-
coût-efficacité est une approche appropriée. pend en partie de l’indépendance avec laquelle
elle a été conduite. L’indépendance implique une
Évaluation ex ante liberté par rapport aux influences politiques et aux
Évaluation qui est conduite avant la mise en œuvre pressions des organisations. Elle est caractérisée
d’une action de développement. par l’accès libre et complet à l’information et par

156
A N N E X E E : G L O S S A I R E D E S P R I N C I PA U X T E R M E S D E S & E

une autonomie totale pour mener des investiga- pliquer à des changements induits par l’action qui
tions et en rendre compte. peuvent conduire à des effets directs.

Évaluation interne Fiabilité


Évaluation conduite par un service et/ou des per- Cohérence et consistance des informations sur la
sonnes qui dépendent des responsables de l’ac- base desquelles se fondent l’évaluation et les ju-
tion de développement chez le bailleur de fonds, gements qui en découlent. La fiabilité fait référence
chez ses partenaires ou au sein des organisations à la qualité des techniques, procédures et analyses
chargées de la mise en œuvre. utilisées pour collecter et interpréter les don-
nées.
Terme connexe : auto-évaluation.
Remarque : l’information est fiable si des obser-
Évaluation participative vations répétées utilisant les mêmes outils dans
Méthode d’évaluation selon laquelle les repré- des conditions identiques produisent des données
sentants des agences d’aide et des autres parties similaires.
prenantes (y compris les bénéficiaires) collaborent
pour concevoir et conduire une évaluation et en Finalité
tirer les conclusions. Objectif global vers lequel l’action de dévelop-
pement doit contribuer.
Évaluation récapitulative
Étude conduite en fin d’action (ou à la fin d’une Terme connexe : objectif de développement
étape de cette action) pour déterminer dans quelle
mesure les réalisations escomptées ont été at- Groupe cible (Population cible)
teintes. L’évaluation récapitulative vise à fournir des Personnes ou organisations au bénéfice desquelles
informations sur la validité du programme. l’action de développement est entreprise.

Terme connexe : évaluation d’impact. Hypothèses


Suppositions déduites de facteurs ou de risques
Évaluation thématique pouvant avoir des répercussions sur le progrès ou
Évaluation d’un certain nombre d’actions de déve- le succès de l’action de développement
loppement, toutes orientées vers une priorité spé-
cifique de développement, qui s’applique de façon Remarque : le terme hypothèse peut aussi s’ap-
transversale aux pays, aux régions et aux secteurs. pliquer aux facteurs qui conditionnent la validité
de l’évaluation elle-même, par exemple les ca-
Examen ractéristiques de la population dont est tiré
Appréciation de la performance d’une action, pé- l’échantillon d’une enquête. Dans une « approche
riodiquement ou de façon ad hoc. théorique » de l’évaluation, les hypothèses émises
sont systématiquement vérifiées par rapport à
Remarque : le terme « évaluation » est souvent ap- l’enchaînement des résultats escomptés.
pliqué pour une appréciation plus globale et/ou plus
profonde que l’examen. L’examen tend à souligner Impact en termes de développement
les aspects opérationnels. Les termes « examen » et institutionnel
« évaluation » sont parfois utilisés comme synonymes. Effets d’une action affectant, plus ou moins, la ca-
pacité d’un pays ou d’une région d’utiliser ses res-
Terme connexe : évaluation. sources propres (humaines, financières et
naturelles), de façon plus efficiente, équitable et
Extrant (Produit) durable. Par exemple : (a) des mécanismes insti-
Biens, équipements ou services qui résultent de tutionnels mieux définis, plus stables, transpa-
l’action de développement. Le terme peut s’ap- rents et effectivement appliqués de façon

157
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

prévisible, et/ou (b) pour les organisations concer- nant compte des relations causales et des hypo-
nées par ces changements institutionnels, un thèses implicites.
meilleur ajustement entre leur mandat, leurs mis-
sions et leurs capacités. Termes connexes : chaîne des résultats, cadre
logique.
Ces impacts peuvent inclure les effets, escomp-
tés ou inattendus, d’une action. Objectif de développement
Impact attendu, en termes physiques, financiers,
Impacts institutionnels, sociaux, environnementaux ou
Effets à long terme, positifs et négatifs, primaires autres, par une ou plusieurs actions de dévelop-
et secondaires, induits par une action de déve- pement, au bénéfice d’une société, d’une com-
loppement, directement ou non, intentionnelle- munauté, d’un groupe de personnes.
ment ou non.
Objectif du programme ou du projet
Indicateur Résultats que le programme ou le projet est sup-
Facteur ou variable, de nature quantitatif ou qua- posé contribuer à générer en termes physiques,
litatif, qui constitue un moyen simple et fiable de financiers, institutionnels, sociaux, environne-
mesurer et d’informer des changements liés à mentaux ou autres.
l’intervention ou d’aider à apprécier la perfor-
mance d’un acteur du développement. Outils d’analyse
Techniques utilisées pour traiter et interpréter
Indicateur de performance l’information durant une évaluation.
Indicateur permettant de vérifier les changements
intervenus en cours d’action ou les résultats ob- Outils pour la collecte de données
tenus par rapport à ce qui était planifié. Méthodologies utilisées pour identifier des
sources d’information et les rassembler au cours
Termes connexes : suivi des performances, mesure de l’évaluation.
des performances.
Remarque : Par exemple, enquêtes formelles ou
Mesure des performances informelles, observation directe et participative,
Système permettant d’apprécier les performances interviews de communautés, groupes de contrôle,
des actions de développement par rapport aux ob- avis d’experts, études de cas et recherche de
jectifs affichés. documentation.

Termes connexes : suivi des performances, Partenaires


indicateurs. Personnes et/ou organisations qui collaborent
pour atteindre des objectifs convenus en
Meta évaluation commun.
Évaluation conçue comme une synthèse des
constatations tirées de plusieurs évaluations. Le Remarque : le concept de partenariat évoque des
terme est également utilisé pour désigner l’éva- objectifs conjoints, des responsabilités partagées
luation d’une évaluation en vue de juger de sa qua- en ce qui concerne les réalisations, des engage-
lité et/ou d’apprécier la performance des ments réciproques et une obligation de rendre
évaluateurs. compte de manière claire. Les partenaires peuvent
être des organisations gouvernementales, de la so-
Modèle des résultats (Cadre de résultats) ciété civile, des ONG, des universités, des asso-
Représentation logique expliquant comment l’ob- ciations professionnelles, des organisations
jectif de développement peut être atteint en pre- multilatérales, des entreprises privées, etc.

158
A N N E X E E : G L O S S A I R E D E S P R I N C I PA U X T E R M E S D E S & E

Parties prenantes (Protagonistes) Remarque : la référence se rapporte à des résul-


Agences, organisations, groupes ou individus qui tats obtenus dans le passé récent par d’autres or-
ont un intérêt direct ou indirect dans l’action de ganisations comparables, ou à ce qu’on pensait
développement ou dans son évaluation. pouvoir atteindre raisonnablement dans un
contexte donné.
Performance
Mesure selon laquelle l’action de développement, Responsabilité de rendre compte
ou un partenaire, opère selon des critères, des (Redevabilité)
normes, des orientations spécifiques, ou obtient Obligation de rendre compte du fait que le travail
des résultats conformes aux objectifs affichés ou a été conduit selon les règles et les normes conve-
planifiés. nues, ou obligation de rendre compte de façon
claire et impartiale sur les résultats et la perfor-
Pertinence mance, au regard du mandat et/ou des objectifs
Mesure selon laquelle les objectifs de l’action de fixés. Cela peut exiger une démonstration précise,
développement correspondent aux attentes des voire juridique, que le travail a été accompli selon
bénéficiaires, aux besoins du pays, aux priorités les termes du contrat.
globales, aux politiques des partenaires et des
bailleurs de fonds. Remarque : dans le contexte du développement,
le terme peut concerner l’obligation des parte-
Remarque : rétrospectivement, la question de la naires à agir selon des responsabilités clairement
pertinence consiste souvent à s’interroger sur le établies, un partage des rôles et des performances
fait de savoir si les objectifs de l’action ou sa attendues, souvent dans le respect d’une gestion
conception sont encore appropriés compte tenu prudente des ressources. En ce qui concerne les
de l’évolution du contexte. évaluateurs, le terme évoque la responsabilité de
fournir des appréciations de performance et des
Publics concernés (Publics atteints) rapports d’avancement précis, impartiaux et cré-
Bénéficiaires et autres parties prenantes concer- dibles. Pour les décideurs et les gestionnaires du
nés par une action de développement. secteur public le devoir de rendre compte s’ef-
fectue envers les contribuables et les citoyens.
Terme connexe : bénéficiaires.
Ressources (Moyens, intrants)
Réalisation (Effet direct) Moyens financiers, humains et matériels utilisés
Ce que l’action doit accomplir ou a accompli à pour l’action de développement.
court ou à moyen terme.
Résultats
Termes connexes : résultat, extrant, produit, im- Extrants (produits), réalisations ou impacts (es-
pact, effet. comptés ou non, positifs et/ou négatifs) d’une ac-
tion de développement.
Recommandations
Propositions qui ont pour but de promouvoir Termes connexes : réalisation, effet direct, impact.
l’efficacité, la qualité ou l’efficience d’une action
de développement, de réorienter les objectifs, Rétroaction
et/ou de réallouer les ressources. Les recom- Transmission des constatations résultant du pro-
mandations doivent être reliées aux conclusions. cessus d’évaluation à ceux qui peuvent en tirer des
leçons utiles et pertinentes afin de favoriser un
Référence (Etalon) meilleur apprentissage. Cela peut impliquer de ré-
Norme permettant d’apprécier la performance ou unir et de diffuser les constatations, les conclusions,
les résultats obtenus. les recommandations et les leçons de l’expérience.

159
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

Scénario en absence d’intervention (Situation tation des résultats. Une autre expression par-
contrefactuelle) fois utilisée avec la même signification est le
Situations ou conditions dans lesquelles se trou- « mandat ».
veraient les personnes, les organisations ou les
groupes concernés si l’action de développement Triangulation
n’existait pas. Utilisation d’au moins trois théories, sources ou
types d’informations, ou démarches d’analyse,
Suivi pour vérifier et soutenir une appréciation ou un
Processus continu de collecte systématique d’in- point de vue.
formations, selon des indicateurs choisis, pour
fournir aux gestionnaires et aux parties prenantes Remarque : en combinant plusieurs sources, mé-
d’une action de développement en cours, des thodes, analyses ou théories, les évaluateurs cher-
éléments sur les progrès réalisés, les objectifs at- chent à surmonter les biais qui apparaissent quand
teints et l’utilisation des fonds alloués. on se fonde sur une seule source d’information,
un seul observateur, une seule méthode ou une
Terme connexe : suivi de performance, indicateur. seule théorie.

Suivi des performances Validité


Processus continu de collecte et d’analyse de l’in- Disposition selon laquelle les stratégies et les ins-
formation, visant à apprécier la mise en œuvre truments de collecte d’information permettent de
d’un projet, d’un programme ou d’une politique mesurer ce qu’ils sont censés mesurer.
au regard des résultats escomptés.
Viabilité (Pérennité, durabilité)
Termes de référence (Cahier des charges) Continuation des bénéfices résultant d’une action
Document écrit présentant le but et le champ de de développement après la fin de l’intervention.
l’évaluation, les méthodes à utiliser, les références
permettant d’apprécier la performance ou de Probabilité d’obtenir des bénéfices sur le long
conduire les analyses, les ressources et le temps terme. Situation par laquelle les avantages nets
nécessaires, ainsi que les conditions de présen- sont susceptibles de résister aux risques.

160
NOTES DE FIN DE DOCUMENT

Chapitre 3 Chili et de la Colombie.


1. Un exemple de bonne pratique en matière de 2. http://www.mfdr.org/.
comparaison de la performance des administrations 3. http://www.adb.org/MfDR/CoP/about.asp.
fédérales et étatiques/territoriales en Australie est offert 4. http://www.afrea.org/; http://www.preval.org/mapa
par le Comité directeur pour l’examen de la prestation .php?idioma=8; http://www.ideas-int.org/; http://inter
des services publics (2007). nationalevaluation.com/index.shtml.
2. Aussi connue sous le nom de « nouvelle gestion
publique » (voir OCDE 1995 par exemple). Chapitre 5
3. Les concepts connexes de la participation de la so- 1. Pour les critères d’évaluation de la qualité des in-
ciété civile au suivi et à l’évaluation sont les suivants : dicateurs de performance, voir, par exemple, Hatry
suivi et évaluation participatifs, dans lesquels des ci- (2006) et Wholey (2006). Pour les normes d’évalua-
toyens ordinaires participent activement au suivi et à tion, voir, par exemple, Wholey, Hatry, et Newcomer
l’évaluation, et ne sont pas seulement des sources d’in- (2004).
formation, et responsabilité sociale, qui couvre un large
éventail de mécanismes, notamment divers types de suivi Chapitre 6
et d’évaluation par lesquels les citoyens peuvent tenir 1. Le ministère des finances analyse et s’attache à vé-
l’État comptable de ses actes. Ces autres types de suivi rifier les informations contenues dans ces rapports.
et d’évaluation comprennent les fiches de rendement Certaines bases de données portant sur l’information
de la communauté, les enquêtes de suivi des dépenses et certains systèmes d’information du ministère sont vé-
publiques, et les audits sociaux. Voir Banque mondiale rifiés par le comité général d’audit interne (voir Blon-
(2006b). dal et Curristine 2004).
4. http://www.bogotacomovamos.org/bogotacv/ 2. Ces objectifs portent sur les biens et services, leur
scripts/index.php. Voir aussi Sánchez (sans date) et qualité, et les niveaux de satisfaction des utilisateurs
Fiszbein (2005, p. 42). 3. Au nombre des raisons pour lesquelles les objec-
5. Le ministère chilien des Finances, qui gère le sys- tifs fixés ne sont pas réalisés figurent : des facteurs ex-
tème d’évaluation à l’échelle du gouvernement, affiche ternes échappant au contrôle de l’organisation
les appels d’offres en direct pour la réalisation des éva- concernée ; des objectifs irréalistes ; et la mauvaise qua-
luations qu’il commande. Les termes de référence de lité de gestion (Guzman 200).
l’évaluation, les soumissionnaires retenus (particuliers 4. Les ministères sectoriels utilisent notamment les
ou entreprises), et le rapport d’évaluation finale font l’ob- données tirées du S&E dans le processus budgétaire lors-
jet d’une divulgation sur le site web du ministère au mo- qu’ils sollicitent des ressources supplémentaires au
ment de la sélection des soumissionnaires. Une telle titre du « fonds spécial » mis en place par le ministère
démarche renforce la transparence des processus d’éva- des finances. Ce fonds a été utilisé dans certains bud-
luation et l’objectivité des évaluations elles-mêmes. gets récents - non dans tous - pour affecter les res-
sources supplémentaires disponibles à la fin du
Chapitre 4 processus budgétaire normal. Les ministères souhaitant
1. La plupart des systèmes publics de suivi et d’éva- bénéficier d’un financement au titre de ce fonds sou-
luation n’évaluent pas les projets des bailleurs de fonds. mettent des offres en utilisant la méthode du cadre lo-
Les deux exceptions à la règle sont les systèmes du gique, qui montre les objectifs souhaités de la dépense

161
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

proposée, les indicateurs de performance et les objec- % des 11,1 millions de dollars du programme d’éva-
tifs chiffrés, la population cible, les résultats attendus et luation.
la contribution éventuelle aux objectifs stratégiques. 4. Le coût estimatif pour la Colombie est approximatif.
Le ministère des finances examine les offres sur la base Les estimations pour la Colombie et le Chili n’intègrent
des critères techniques, notamment leur pertinence pas les coûts supportés par les ministères et organismes
par rapport aux priorités gouvernementales. Les déci- publics sectoriels pour la fourniture d’informations de
sions finales sur les allocations de fonds sont prises par suivi et autres au système de S&E.
le président (Blondal et Curristine 2004).
5. L’évaluation des programmes publics et les éva- Chapitre 8
luations d’impact au Chili ne rendent pas systémati- 1. Ces réformes ont porté par exemple sur la ré-
quement compte des méthodologies utilisées et duction du nombre de ministères et l’octroi d’une au-
n’accordent pas toujours une attention suffisante à la tonomie beaucoup plus grande aux ministères fusionnés
logique des programmes (cadre logique). Certaines ; le remplacement du budget par poste par un système
évaluations d’impact ne répondent pas aux normes de de dépenses de fonctionnement (avec un poste pour
qualité édictées par le ministère des finances, cela à cause les salaires et un autre pour les dépenses administratives)
des problèmes tels que l’absence d’un groupe témoin en plus des dépenses effectuées au titre des programmes
ou de données de référence. Ces évaluations tendent ; l’introduction du budget de programme et l’intro-
également à mettre l’accent sur la quantité et sous-uti- duction d’un cadre de dépenses à moyen terme avec
lisent les informations concernant la qualité tel que le des prévisions sur trois ans.
niveau de satisfaction des bénéficiaires. 2. Mackay (1998a) examine l’élaboration du système
6. Ce chiffre ne tient pas compte des coûts suppor- australien de S&E et en fait une comparaison avec le sys-
tés par les administrations sectorielles, qui comprennent tème de gestion des performances qui l’a remplacé
prioritairement les coûts liés à la collecte, au traite- (Mackay 2004) .
ment, et à la communication des informations sur la per- 3. Bien que les rapports de responsabilisation soient
formance au ministère des finances, et le coût de généralement définis sous l’angle de la responsabilité
préparation des rapports complets de gestion. des ministres et des départements ministériels vis-à-vis
du Parlement, un autre modèle de rapport s’est révélé
Chapitre 7 plus efficace dans le cas de l’Australie : il s’agit de la res-
1. Les systèmes SIGOB au Guatemala et au Hondu- ponsabilité des autres ministères vis-à-vis du ministère
ras et le système d’indicateurs de performances de l’É- des Finances.
tat de Ceará au Brésil servent à noter les performances 4. Le coût de ces évaluations en rythme annuel re-
du programme, en utilisant notamment une approche présentait, en moyenne, moins de 1 % des dépenses
de notation sur le modèle des feux de signalisation — totales consacrées par le gouvernement aux programmes
vert, orange ou rouge. Cette approche souligne claire- évalués.
ment les performances de chaque programme. Le gou- 5. Quelques fois, les ministères sectoriels élaboraient
vernement mexicain envisage d’adopter un système eux-mêmes les options d’épargne, en vue de contribuer
similaire. à la prise en charge des nouvelles propositions de dé-
2. La direction du Plan, qui gère SINERGIA, a mis au penses. Environ un tiers de toutes les options d’épargne
point une méthode d’évaluation rapide basée sur une ont été élaborées par les ministères sectoriels ; les autres
combinaison des programmes d’évaluation du gou- l’ont été par le ministère des Finances.
vernement chilien et de l’administration américaine. 6. Dans un certain nombre de cas, la validité des nou-
Pour plus d’informations, voir Mackay et al. (2007). Ces velles propositions de politiques émanant des ministres
évaluations des directions du Plan (désignées « éva- d’exécution n’était pas confirmée par les résultats des
luations de l’exécutif ») devraient coûter environ 25 évaluations, même si le ministère des Finances soute-
000 dollars chacune. Les évaluations rapides pilotes du nait qu’elle aurait pu l’être. Le gouvernement deman-
ministère des Finances sont fondées sur la méthodologie dait alors qu’une évaluation soit menée avant qu’il
des évaluations des programmes publics au Chili et n’examine les propositions. Chaque fois qu’il y avait un
coûtent environ 15 000 dollars chacun. désaccord entre le ministère des Finances et un minis-
3. Le gouvernement ne finance actuellement que 12 tère d’exécution concernant la qualité ou la fiabilité

162
N OT E S D E F I N D E D O C U M E N T

des conclusions d’une évaluation de grande envergure tistique de l’Ouganda est fourni par Kiryegyera, Nuwa-
— ce qui ne pouvait que susciter la colère du gouver- gaba et Ochen (2005).
nement — le problème était renvoyé aux responsables 2. Cette situation s’est produite par exemple avec les
pour être résolu au moyen d’une nouvelle évaluation. données sur les listes d’attente des hôpitaux au
Une telle évaluation prenait habituellement un certain Royaume-Uni (Schick 2001).
temps pour être achevée ; la proposition du ministre 3. Une analyse intéressante — quoique peut-être
d’exécution pourrait donc avoir à attendre encore un contestable — de la nature et de l’impact de l’applica-
an avant d’être réexaminée. La possibilité d’un tel retard tion du Code civil napoléonien dans les pays en déve-
constituait ainsi pour les ministères d’exécution une loppement est donnée par Beck, Demirguc-Kunt et
réelle incitation à éviter d’être en désaccord avec le mi- Levine (2002). En revanche, les pays dotés d’un régime
nistère des Finances au sujet de la qualité de leurs éva- parlementaire d’inspiration britannique ont tendance
luations. à interpréter les décisions gouvernementales — telles
7. Voir Mackay (2004) pour une analyse détaillée de que transparaissant par exemple dans les décisions du
ces réformes et de leur impact sur le S&E dans le gou- gouvernement — de façon plus pragmatique, en insis-
vernement fédéral. tant sur leur adaptation à mesure de l’évolution des cir-
8. À titre d’exemple, on peut citer les ministères de constances. Un des points forts des décisions du
la Famille, des Services communautaires et des affaires gouvernement est qu’elles sont prises de façon collec-
des populations autochtones, de l’Emploi et des Rela- tive par un grand nombre de ministres ; en Australie,
tions sur le lieu de travail, de l’Éducation, des Sciences l’appui collectif du gouvernement au système d’éva-
et de la Formation et de la Santé et du Vieillissement. luation fut un important facteur de succès dans le pays
9. En l’absence de fortes pressions sur les minis- (Mackay 1998a).
tères d’exécution pour les rendre comptables de leurs 4. L’adoption d’une loi régissant le S&E présente
actes, et dans un environnement où les processus d’éla- d’autres avantages. La loi peut garantir l’accès des mi-
boration des politiques et le processus budgétaire ont nistères centraux aux données recueillies et tenues par
été affaiblis, toute incitation qui aurait pour but d’ame- les ministères et les organismes publics sectoriels. La loi
ner ces ministères à prendre au sérieux le S&E de la per- peut aussi faire en sorte que les rapports d’évaluation
formance doit être induite de l’intérieure. Cela dépendra soient mis à la disposition du public, et garantir le ca-
des priorités et de l’engagement du secrétaire général ractère confidentiel des données personnelles.
de chaque ministère. 5. Les rapports d’évaluation sont accessibles sur le
site web du ministère, à l’adresse http://www.dipres.cl/
Chapitre 9 fr_control.html.
1. Environ 64 pays ont préparé un DSRP ou un DSRP 6. L’un des tout premiers a été publié par le Dépar-
intérimaire. Voir htt://ww.worldbank.org/prsp. tement de l’évaluation des opérations de la Banque
2. Cette section s’inspire abondamment des travaux mondiale (rebaptisé Groupe indépendant d’évaluation
des consultants commandités par IEG. Voir Haugue en 2005). Voir Mackay (1998b). Bedi et al. (2006) offrent
(2001, 2003), IEG (2004a, annexe D), et Schiavo-Campo un autre exemple remarquable.
(2005).
3. Il s’agit de la stratégie d’aide conjointe. Voir Banque Chapitre 11
mondiale et al (2006). 1. Cette trichotomie — la carotte, le bâton et le ser-
4. http://web.worldbank.org/external/projects/main? mon — a été énoncée au départ par Vedung (1991) en
pagePK=64283627&piPK=73230&theSitePK présentant une taxinomie des instruments de politique
(règlements, incitatifs économiques, et information). Elle
Chapitre 10 n’a pas été développée comme une taxinomie des me-
1. Il convient également de noter l’importance des sures incitant à effectuer le S&E. Toulemonde (1999) s’en
données recueillies par les bureaux nationaux de sta- est également servi pour mettre au point une taxinomie
tistique, telles que celles relatives aux recensements des incitations encourageant la réalisation du S&E.
démographiques et aux enquêtes auprès des ménages.
Un bon exemple d’examen de données existantes re- Chapitre 12
cueillies par les ministères et le bureau national de sta- 1. Compton, Baizerman et Stockdill (2002) ont jugé

163
C O M M E N T M ET T R E E N P L AC E D E S SYS T È M E S D E S & E

que le renforcement des capacités de S&E relève à la à-dire la réalisation des objectifs) et c) son efficacité ; 2)
fois de l’art, de l’artisanat et de la science. le risque pour les résultats de développement (c’est-à-
2. Un guide détaillé sur l’évaluation des systèmes de dire le risque de ne pas maintenir les résultats réels ou
suivi de la pauvreté a été élaboré par Bedi et autres probables) ; 3) la performance de la Banque ; 4) la
(2006). performance des emprunteurs ; 5) la conception, la
3. Ceci peut impliquer l’examen des indicateurs de mise en œuvre et l’utilisation du S&E ; et 6) d’autres
performance existants au regard des critères de bonnes questions comme l’observation des règles de sauve-
pratiques tels que SMART pour déterminer si les indi- garde, le respect des responsabilités fiduciaires et les im-
cateurs sont spécifiques, mesurables, attribuables, réa- pacts positifs ou négatifs imprévus.
listes et opportuns (voir Australian National Audit Office 2. À titre d’exemple, l’appui de la Banque mondiale
2001). Ou alors il peut inclure un examen des données aux initiatives du Gouvernement égyptien visant à ins-
existantes collectées par les ministères et le bureau na- taurer la budgétisation axée sur la performance. Le ré-
tional des statistiques pour déterminer quelles don- sultat de ces efforts a été a été jugé marginalement
nées relatives aux domaines prioritaires de insatisfaisant (IEG 2004a, annexe G). Ce rapport donne
l’administration (tels que la santé et l’enseignement la liste d’un certain nombre d’enseignements tirés de
primaire) sont disponibles et le degré d’harmonisation cette expérience.
ou de double emploi des données. En ce qui concerne 3. Voir par exemple les travaux de la Banque mon-
l’Ouganda, un bon exemple est fourni par Kiryegyera, diale sur le renforcement des capacités statistiques et
Nuwagaba et Ochen 2005. Il peut aussi comprendre une ceux du Partenariat statistique au service du dévelop-
série d’audits détaillés des données des systèmes d’in- pement à l’aube du XXIe siècle (PARIS21, l’un des prin-
formation des ministères sectoriels. Les normes d’éva- cipaux consortiums regroupant des bailleurs de fonds
luation de la qualité des données du Fonds monétaire internationaux, des gouvernements, des organismes
international fournissent un cadre diagnostique à titre professionnels et des universitaires. http://intranet.world
indicatif. http://dsbb.imf.org/Applications/web/dqrs/ bank.org/WBSITE/INTRANET/UNITS/DEC/DATA/
dqrsdqaf/. S CBINTRANET/0,,contentMDK:20100922~pa
4. L’Argentine, par exemple, dispose de trois systèmes gePK:229337~piPK:232609~theSitePK:239411,00.html
de S&E non coordonnés (Zaltsman, 2006a) dont deux http://www.paris21.org/
sont des systèmes nationaux et le troisième couvre 4. http://www.who.int/healthmetrics/en/ Les objectifs
toutes les dépenses sociales. de ce réseau sont pertinents pour d’autres secteurs et
aussi pour les systèmes nationaux d’information. En
Chapitre 13 effet, le système d’information sanitaire d’un pays
1. Ceci est un moyen d’harmoniser les multiples comprend une multitude de sous-systèmes et de sources
exigences souvent conflictuelles des différents bailleurs de données dont les bureaux de l’état civil, les recen-
de fonds en matière de S&E. Il peut également consti- sements et les enquêtes, la veille sanitaire et la lutte
tuer le point de départ, la « tête de pont », de l’exten- contre les maladies, les statistiques sur les services