REPUBLIQUE DE MADAGASCAR

PROGRAMME DES NATIONS UNIES POUR LE
DEVELOPPEMENT

MINISTERE DES FINANCES ET DE L’ECONOMIE
DIRECTION GENERALE DE L’ECONOMIE ET DU PLAN

PROGRAMME MAG/97/007 GOUVERNANCE ET POLITIQUES PUBLIQUES POUR
UN DEVELOPPEMENT HUMAIN DURABLE

Système de suivi et évaluation Des programmes et projets Dans le cadre du DSRP
Rapport de mission

Christian Bonifas Consultant PNUD
Novembre 2001

Sommaire
RESUME INTRODUCTION : CONTEXTE DE LA MISSION ET DEMARCHE ADOPTEE I. EVALUATION DE L’EXISTANT 1.1. Le cadre général de programmation-budgétisation 1.2. Le suivi des dépenses 1.3. Le suivi des activités et des résultats 1.4. L’évaluation des impacts 1 5 7 7 10 12 14

II. PROPOSITIONS SUR L’ORGANISATION DU SYSTEME DE SUIVI ET EVALUATION17 1. Les objectifs et les principes 2. La répartition des tâches du S&E (DSRP, programmes et projets) III. LES INSTRUMENTS POUR LE S&E 1. Documents de méthodologie et d’organisation des activités de S&E 2. Les tableaux de bord 3. Les questionnaires 4. Les rapports 5. Le Réseau national de suivi et d’évaluation IV. PLAN D’ACTION 1. Plan d’action 2002 2. Actions ultérieures ANNEXES 1. 2. 3. 4. 5. 6. 7. 8. Termes de référence Personnes rencontrées Documents consultés Cadre institutionnel pour le suivi et l’évaluation : diagnostic relatif au MFE et à six ministères techniques. Le système d’information statistique et le S&E : contraintes observées. Eléments sur le système d’indicateurs. Notes sur la révision des questionnaires de programmation et suivi. Sites internet sur l’évaluation des projets et programmes. 17 19 25 25 26 27 28 31 32 32 36

RESUME
Le Programme d’Investissement Public canalise une partie importante de l’aide extérieure et les projets qu’il contient représentent l’un des principaux leviers de la politique gouvernementale. Le suivi et l’évaluation des projets constituent ainsi des fonctions-clés dans l’analyse des politiques publiques, reliant le système d’information sur les projets au système de décision. L’engagement de Madagascar dans le processus DSRP renforce encore cette exigence. Les DSRP mettent un accent particulier sur la définition de mécanismes précis pour garantir le suivi de la mise en œuvre de la Stratégie de Réduction de la Pauvreté, en particulier des projets d’investissement qui conditionnent en grande partie l’atteinte des objectifs fixés dans les plans d’actions prioritaires. Le suivi doit aller au-delà du seul suivi des décaissements par secteur et source de financement pour renseigner sur l’affectation précise des dépenses - au regard des objectifs de réduction de la pauvreté et des populations ciblées – et sur les résultats « physiques » des projets. Ce suivi doit être complété nécessairement par une évaluation des impacts des programmes. Principaux constats Madagascar dispose de certains atouts dans le domaine de LA PROGRAMMATION, du SUIVI et de L’EVALUATION DES PROJETS : rodage des méthodologies et procédures du PIP, application logicielle pour la gestion du PIP, statut du PIP, nomenclature unifiée des dépenses, mise en place progressive de mécanismes de programmation décentralisée dans certains secteurs. Elle a également une expérience assez longue des Programmes de Dépenses Publiques qui visent une approche intégrée de la programmation des dépenses de fonctionnement et d’investissement. Le diagnostic met cependant en évidence des faiblesses importantes à divers niveaux : De manière générale, l’administration n’a pas une pratique axée sur le suivi des résultats et moins encore une culture de l’évaluation des politiques et programmes publics. En amont, les stratégies sont mal appropriées (comme en témoigne encore le processus DSRP en cours) et les politiques sectorielles apparaissent souvent comme le produit d’équipes mobilisées dans le cadre de projets particuliers, les services permanents des ministères techniques ne disposant pas des capacités nécessaires en matière d’analyse des politiques et programmes. Les mécanismes de suivi des politiques sectorielles se concrétisent difficilement et l’activité des services de planification, de suivi et d’information sectorielle est concentrée sur la collecte des données bien plus que sur leur analyse.

-

S’agissant de la PROGRAMMATION, on constate que le PDP est un exercice aboutissant à la production de documents sans statut et fondés sur des données dont il est difficile de contrôler la fiabilité. Les données d’indicateurs non financiers ne font l’objet d’aucune consolidation et utilisation. Le PIP, pour sa part, présente également des faiblesses, notamment : le document de PIP se limite à un simple listing de projets au lieu d’être un cadre de présentation de la politique d’investissement public ; les procédures d’inscription au PIP sont largement formelles ; le travail de synthèse et de mise en cohérence des différents programmes sectoriels reste insuffisant ; le dossier standard de projet ne met pas suffisamment l’accent sur certains points (cadre logique, indicateurs, budget et modalités de S&E). Concernant le SUIVI, les problèmes se situent d’abord au niveau de la capacité de recueil et de traitement des données. Les questionnaires utilisés sont détaillés mais une bonne partie de l’information n’est pas collectée ou elle ne donne lieu à aucune exploitation. La consolidation des données de suivi ne porte pratiquement que sur les dépenses globales par projet et source de financement. La diversité des modalités de comptabilisation des dépenses et de suivi propres à chaque bailleur, voir à chaque projet (système interne de S&E) complique fortement la tâche des 1

services administratifs chargés de centraliser et traiter les informations sur le suivi des projets, d’autant plus qu’il n’existe pas de circuit efficace permettant une transmission systématique des rapports d’avancement à ces services. En fait, les services sectoriels et centraux chargés du suivi des programmes fonctionnent comme des chambres d’enregistrement, peu en mesure de contrôler la véracité des informations transmises. De manière générale, ces services tendent à se polariser sur les données globales de décaissements. Dans ces conditions, les produits du système national de suivi des projets sont limités (absence de rapports sectoriels d’exécution et limitation des rapports de suivi publiés par le MFE) et peu efficaces (rétro-information peu développée). En d’autres termes, le système actuel n’apporte que peu d’information de synthèse sur les intrants mobilisés et leur affectation, sur les activités réalisées ainsi que sur les résultats obtenus et leur contribution aux objectifs sectoriels de réduction de la pauvreté. La faiblesse du système de suivi et la relation déficiente entre les systèmes d’information du S&E et le système de décision contribuent à la permanence des difficultés rencontrées dans la mise en œuvre des projets et dont témoignent les revues de programmes : lenteur dans la mise en place des ressources de contrepartie, dans le traitement des demandes de décaissement ou dans la passation des marchés ; inflation de structures de pilotage et déficit simultané de coordination entre les projets ; etc. Quant à L’EVALUATION, elle reste un exercice peu « internalisé », conduit le plus souvent par des équipes de consultants internationaux et réalisé de manière séparée au niveau de chaque projet et selon les procédures propres à chaque bailleur de fonds. Les rapports ne sont pas diffusés, pour certains partenaires, ou le sont de façon très restreinte, ce qui empêche de capitaliser sur ces exercices par ailleurs coûteux. La pratique de l’évaluation simultanée de plusieurs projets (correspondant à un même objectif, groupe cible ou zone d’intervention par exemple) reste marginale. Alors qu’un nombre élevé d’études sont réalisées chaque année dans le pays, peu d’entre elles traitent de façon détaillée de l’impact des projets de développement.

Certaines contraintes structurelles, qui touchent l’ensemble de l’administration malgache, influent fortement sur l’efficacité des fonctions de programmation suivi évaluation : tendance au cloisonnement dans le travail des services publics et absence consécutive de fluidité de l’information ; réticences aux changements institutionnels (par exemple au niveau des propositions de rationalisation du suivi des projets et du suivi unifié des dépenses de fonctionnement et d’investissement) ; démotivation des cadres ; limitation des moyens de fonctionnement ; dépendance des administrations vis-à-vis des projets qui se traduit par une difficulté majeure à pérenniser les résultats des projets de développement.

Recommandations Dans le contexte actuel, l’amélioration du suivi et de l’évaluation des programmes doit partir d’une démarche à la fois globale, pragmatique et dont les étapes sont liées à la mise en place elle-même du dispositif de S&E du DSRP. La première étape concerne ainsi la finalisation du DSRP complet qui doit constituer le nouveau cadre de référence programmatique et préciser les objectifs et indicateurs/cibles servant de base au suivi des résultats des projets de développement. Elle comporte également la mise au point d’un Cadre de suivi et d’évaluation, document qu’il conviendrait d’annexer au DSRP ou de finaliser dans la foulée de l’adoption du DSRP. Ce dernier apparaît indispensable au vu du déficit actuel du document DSRP sur ce sujet et des différences de perception que l’on observe. Le cadre de S&E déterminera ainsi les principes du S&E, les responsabilités propres à chaque institution et les outils nécessaires au renforcement des activités de suivi dans ces différents aspects (budgétaire, ressources humaines, projets, mesures institutionnelles,…). Le rapport comprend une proposition initiale dans

2

ce sens. Le cadre de S&E pourrait, à terme, devenir une loi regroupant les orientations et normes nationales en matière de suivi et d’évaluation. La seconde étape couvre l’ensemble de l’année 2002 et fait l’objet du plan d’action proposé dans le rapport. Elle vise deux objectifs principaux : (i) mettre en place le cadre institutionnel du S&E du DSRP (comprenant, entre autres, la réforme du cadre actuel de suivi des projets), (ii) opérationaliser de nouveaux outils et procédures pour le S&E (plan annuel d’évaluation et d’enquêtes, système d’indicateurs, suivi renforcé des projets,…) en s’attachant aux secteurs prioritaires du DSRP. Au titre du premier objectif, les mesures comportent : la mise en place effective d’une cellule d’analyse et de synthèse (Observatoire de la Pauvreté) au sein du Secrétariat Technique à l’Ajustement, appuyée par une expertise légère, mesure déjà envisagée par le gouvernement (cellule technique). Point focal pour le suivi de la pauvreté, l’Observatoire aura pour triple mission (i) de capitaliser l’information sur les programmes prioritaires et de l’évolution de l’état de pauvreté, (ii) de produire et diffuser une information de synthèse sur l’état d’avancement du DSRP, (iii) et de coordonner des travaux d’études plus approfondis. la mise en place de cellules de S&E rattachées aux Secrétaires Généraux au sein du Ministère des Finances et de l’Economie ainsi que des ministères-clés (dispositif testé au départ sur quatre secteurs : Santé, Education, Eau & assainissement, Agriculture). Les cellules sectorielles disposeront d’un mandat identique : (i) centraliser l’information de suivi (information financière, projets, mesures institutionnelles, résultats d’enquêtes,…) ; (ii) gérer les tableaux de bord sectoriels prédéfinis en accord avec le STA et l’INSTAT, (iii) rédiger les rapports périodiques de suivi propres aux actions sectorielles du DSRP. La cellule de S&E du MEF sera, pour sa part, spécialisée dans le suivi des projets et la centralisation/synthèse des rapports d’évaluation. La création de cellules régionales apparaît en revanche prématurée compte tenu des préalables nécessaires (définition des responsabilités, mise à disposition des ressources financières et humaines,…). En ce qui concerne le second objectif, il est d’abord proposé la mise au point d’un système de gestion des indicateurs de suivi. Celui-ci reposera d’une part sur un corps d’indicateurs de moyen-long terme (indicateurs d’impacts et principaux indicateurs de résultats assortis d’objectifs quantifiés – cibles – à horizon 2005-2010-2015), d’autre part sur des tableaux de bord sectoriels comportant les indicateurs intermédiaires faisant l’objet d’un suivi annuel. Les indicateurs d’activité et de résultats des projets s’intègreront dans ce second ensemble. Des propositions sont contenues dans le rapport. Les tableaux seront préparés par les cellules sectorielles de S&E et l’INSTAT, ce dernier devant être en charge de la centralisation de l’ensemble des données relatives aux indicateurs de S&E liées à la mise en œuvre du DSRP. Il est ensuite recommandé de renforcer le suivi des programmes en s’appuyant sur les processus PIP et PDP. Il s’agira, dans un premier temps, de rationaliser les outils et procédures de suivi des projets du PIP mais la perspective recherchée à terme devra s’inscrire clairement dans une logique d’intégration budgétaire (cadres de dépenses à moyen terme) et de décentralisation (budgets multiressources par activités et centres de responsabilité) qui conduira à revaloriser l’exercice PDP. Les mesures de court terme (plan d’action 2002) porteront principalement sur (i) la révision des modalités d’enquêtes de suivi des projets (simplification et place plus importante donnée au suivi des activités et des résultats), (ii) l’amélioration de la centralisation, de la synthèse et de la diffusion de l’information de S&E (opérationnalisation des cellules de S&E et production de rapports périodiques et notes de synthèse), (iii) le renforcement du « suivi administratif » (problèmes de mise en place et d’exécution des projets), (iv) la préparation d’un plan annuel d’évaluation et d’enquêtes à exécuter en 2003. 3

L’appui que le PNUD apporterait à ces actions – essentiellement expertise, organisation d’ateliers techniques et appui aux publications – devrait conduire aux principaux produits suivants au terme de ce premier plan d’action pour l’année 2002 : existence d’un cadre de référence définissant les orientations et mécanismes nationaux en matière de suivi et d’évaluation des politiques publiques ; consolidation du dispositif institutionnel (Observatoire de la Pauvreté, Cellules de S&E, meilleure collaboration entre les acteurs sur les questions de suivi des programmes) ; tableaux de bord en place pour les secteurs prioritaires ; publication (1er sem. 2002) d’un rapport détaillé sur les activités et résultats des projets exécutés en 2001 et rodage, à cette occasion, de questionnaires annuels axés sur les résultats (testés sur 3 secteurs) ; amélioration du traitement de l’information financière sur les projets ; production trimestrielle, pour soumission en Conseil des Ministres, d’un dossier d’information sur les principaux blocages et problèmes rencontrés dans la mise en place ou l’exécution des grands projets. Le dispositif de S&E fera l’objet d’une évaluation fin 2002, si possible appuyée par une assistance multi bailleurs (PNUD, Banque Mondiale, Union Européenne). Celle-ci permettra de tirer les premières leçons de cette année-test, de réviser certaines dispositions et surtout de définir un plan à moyen terme pour étendre/consolider le suivi des résultats et l’évaluation des impacts des politiques publiques. Le lancement de ce plan devrait coïncider avec le démarrage du PAIGEP II (Banque Mondiale) qui devrait représenter la principale contribution au développement du système de S&E des politiques publiques dans le cadre du DSRP.

4

INTRODUCTION :

CONTEXTE DE LA MISSION ET DEMARCHE ADOPTEE
Contexte et objectif de la mission La mission s’inscrit dans le cadre de l’appui que le PNUD apporte au gouvernement malgache pour mettre en place un système national intégré de suivi de la pauvreté et développer les fonctions de suivi et d’évaluation des politiques publiques1. Les activités engagées jusqu’à présent se sont situées à deux niveaux : renforcement du système d’information sociale : Le PNUD a financé divers travaux - diagnostic des sources d’information statistique, identification des principaux indicateurs de la santé, de l’éducation et de l’approvisionnement en eau - qui ont conduit à la production des deux premiers Tableaux de Bord Social (INSTAT, décembre 2000 et septembre 2001). Le Programme a également aidé à la mise à jour de l’étude réalisée en 1998 dans le cadre de l’Initiative 20-20 et proposé des indicateurs de suivi financier pour ces secteurs. Enfin, deux consultations (Charmes et Dubois) ont été réalisées en septembre, portant entre autres sur la faisabilité d’un Observatoire de la Pauvreté. développement des fonctions de suivi et d’évaluation (S&E) des programmes/projets : Les activités ont porté ici sur (i) la réalisation d’une première étude de diagnostic du système de suivi-évaluation (rapport WIMI, août 1999), (ii) la formation d’un noyau de formateurs en suivi et évaluation (octobre 1999), (iii) la préparation par la Direction du Développement Economique (Ministère des Finances et de l’Economie) d’un projet de manuel de S&E et l’organisation d’un atelier de formation destiné à une trentaine de cadres des ministères techniques (décembre 2000). Le processus devait se poursuivre avec la production par l’ensemble des départements ministériels de « Cadres Logiques » pour tous les programmes et projets et de « Cadres Sectoriels Consolidés ». La mission avait, suivant les TDR (annexe 1), pour mandat (i) d’évaluer la pertinence et l’efficacité des outils de S&E préparés par les ministères, (ii) d’appuyer les ministères dans l’amélioration des outils, (iii) de proposer des modalités d’opérationnalisation du système de S&E des programmes et projets. Au démarrage de la mission, deux constats ont conduit à ajuster certains points des TDR. Le premier concerne l’absence de propositions opérationnelles dans le projet de DSRP complet (version de septembre) relatives au cadre institutionnel et technique de suivi et évaluation. Or, il s’agit d’une composante importante de tout DRSP et c’est elle qui forme le cadre général dans lequel doivent s’inscrire les dispositions spécifiques régissant le S&E des projets. En d’autres termes, la définition du cadre général de S&E du DSRP doit logiquement précéder la mise au point détaillée d’un système de S&E des projets. Le second concerne le bilan des activités menées depuis 1999 dans ce dernier domaine. Aucune dynamique réelle n’a en fait été constatée à cet égard. La collaboration entre la DDE/MFE et les unités sectorielles de suivi est restée assez ténue et aucun secteur, hormis une initiative surtout d’origine interne (Ministère de l’Elevage), n’a travaillé durablement sur le chantier annoncé (cadres logiques et cadres sectoriels consolidés).

1

appui financé par le Programme « Gouvernance et Politiques publiques pour un Développement Humain Durable ».

5

Démarche adoptée Au vu du bilan des activités précédentes, la mission a proposé une démarche fondée sur les trois points suivants : inscrire le suivi et l’évaluation des projets dans une approche globale du S&E des politiques publiques. Une approche strictement cantonnée au suivi des programmes et projets n’a qu’un intérêt limité. Ainsi, il est difficile de proposer une grille d’indicateurs de suivi des projets sans prendre en compte les produits des différents systèmes d’information statistique sectorielle (données administratives « de routine » notamment). De même, le suivi des dépenses et des activités doit, dans la mesure du possible, être appréhendé de manière consolidée c’est-à-dire en prenant en compte à la fois les ressources mobilisées dans le cadre du Budget de fonctionnement et celles finançant le Programme d’Investissement Public. En fait, il convient de définir un système d’ensemble qui concerne les différentes dimensions du suivi des politiques publiques (ressources humaines, moyens de fonctionnement, investissements, mesures institutionnelles). Cette approche doit conduire également à sortir d’un axe DDE/MFE – unités sectorielles de suivi des projets pour associer également les autres directions du MFE concernées (DIP, DICS, DCAE, DPGE), l’INSTAT, le MBDPA,… articuler le dispositif de S&E des projets avec le DSRP. Les activités développées depuis 1999 n’ont pas encore pris en compte le DSRP. Or ce lien est indispensable. Le S&E des projets doit représenter un sous-système qui, à côté d’autres, doit viser en premier lieu à satisfaire les besoins d’information du processus DSRP. tester rapidement de nouveaux outils ou procédures. Les activités précédentes ont peu mis l’accent sur la révision des instruments, restant à un niveau assez général (formation sur les concepts, sur les différentes méthodes d’évaluation,…) et l’impact des ateliers réalisés est encore peu visible. Il est donc devenu nécessaire de passer à une approche plus instrumentale en travaillant d’abord sur l’ajustement des outils existants (PIP et PDP). Structure du rapport Le document se structure autour de quatre parties : l’évaluation de l’existant ; les propositions sur l’organisation institutionnelle du système de suivi et évaluation ; les propositions relatives aux outils de suivi et évaluation ; le plan d’actions pour la poursuite des activités (exercice 2002). On trouvera en annexes des éléments complémentaires sur : le diagnostic des principales institutions engagées dans le suivi et l’évaluation des projets; le système d’information statistique ; le tableau des indicateurs sectoriels de S&E ; les questionnaires destinés au suivi (adaptation des fiches PIP).

6

I. EVALUATION DE L’EXISTANT
Le diagnostic a été établi sur la base des entretiens tenus principalement avec l’ensemble des directions du Ministère des Finances et de l’Economie, le STA, l’INSTAT et six Ministères techniques2. Les éléments détaillés sur l’activité des institutions directement concernées par le S&E des programmes et projets ont été reportés en annexe (ANNEXE IV), de même que les observations relatives au système d’information statistique (ANNEXE V) ou au S&E du DSRP (ANNEXE VI). Ceci permet de se concentrer sur la synthèse des points forts et points faibles du dispositif de S&E des projets actuellement en vigueur. Le diagnostic aborde successivement (i) le cadre général de programmation-suivi-budgétisation des projets, (ii) le suivi des dépenses, (iii) le suivi des activités et des résultats, (iv) l’évaluation des impacts.

1.1. Le cadre général de programmation-budgétisation
La programmation, le suivi et la budgétisation des actions publiques repose principalement sur deux exercices complémentaires : le PIP (Programme d’Investissement Public) et le PDP (Programme de Dépenses Publiques). Fondés sur le principe d’une programmation triennale glissante des dépenses, le PIP (global) et les PDP (sectoriels) sont préparés annuellement suivant des procédures et un calendrier de préparation, sommairement rappelés dans les circulaires annuelles diffusées par la DIP. Les principales étapes sont résumées dans l’encadré suivant. La préparation du PIP précédée par l’élaboration des PDP constituent un exercice globalement rôdé et comportant des atouts incontestables : La préparation annuelle des PDP, en amont du processus d’élaboration du PIP, est un moyen de permettre aux différents ministères d’apprécier leurs besoins en ressources sur la base d’une approche intégrée (consolidation des dépenses d’investissement et de fonctionnement). Le PDP informe, pour chaque ministère, sur (i) les orientations, missions et priorités de la structure, (ii) l’organisation du ministère, au niveau central et déconcentré, (iii) la structuration des différents programmes et projets du secteur, (iv) le « cadre logique » de chacun des programmes (objectifs, résultats obtenus et attendus, indicateurs), (v) les tableaux de financement (dépenses réalisées pour les 3 années écoulées et dépenses programmées pour les 3 années suivantes, ventilées en ressources internes et externes). En résumé, les PDP sont une occasion pour revoir chaque année, les objectifs du secteur et de prévoir sur les trois années suivantes les moyens physiques et financiers - en investissement comme en fonctionnement - nécessaires pour les atteindre. Il s’agit en quelque sorte d’actualiser le « cadre logique » d’intervention du Ministère (objectifs, résultats obtenus et attendus, indicateurs) et les besoins en ressources correspondants. Le PIP a un statut officiel ; il est présenté dans le cadre de la Loi des Finances pour approbation par l’Assemblée Nationale.

2

Ces ministères concernent les secteurs de l’enseignement de base (MINESEB), la santé (MINSAN), l’eau et l’assainissement (DEA/MEM), l’agriculture (MINAGRI), l’élevage (MINELEV) et les infrastructures routières (MTP). Les propositions ont été étudiées uniquement avec les trois premiers secteurs.

7

Encadré : Principales étapes des processus PIP et PDP L’exercice de programmation démarre au cours du 1er trimestre avec la préparation de la « version zéro » du PDP de chaque ministère qui regroupe par programme les dépenses courantes et les dépenses d’investissement. La présence du projet dans le PDP a une implication financière indirecte puisqu’elle conditionne en principe son inscription dans le PIP. La DGEP/DIP organise des conférences budgétaires qui lui permettent de discuter en début d’exercice de la préparation du PIP avec les ministères techniques, de la situation comptable des crédits utilisés au niveau de chaque projet et de dégager ainsi l’esquisse du budget de reconduction. Cette dernière est alors communiquée aux ministères techniques et aux bailleurs de fonds. L’exercice de cadrage macro-économique du Budget de l’année suivante permet de déterminer l’enveloppe globale de financement de la 1ère tranche du PIP en préparation. Fin juin/début juillet, la DGEP/DIP transmet aux ministères techniques une Circulaire de Programmation Budgétaire qui contient les directives d’élaboration du PIP et un questionnaire standard de projets qui enregistrera les informations qui serviront de base de référence pour la sélection et le suivi futur des projets. Les questionnaires PIP (programmation financière et physique) sont adressés par les ministères techniques (unités de programmation) aux chefs de projets qui doivent les retourner dans un délai d’environ 1 mois (1ère quinzaine d’août). Des réunions sont organisées entre la DGEP/DIP et les secteurs pour analyser les propositions des ministères techniques et vérifier les données de programmation souvent gonflées dans les budgets présentés par les projets et les directions de tutelle. La disposition d’une information de suivi correct (exécution du planning des travaux, situation des marchés,…) est à cet égard essentielle. Plusieurs avant-projets de PIP sont alors préparés : une 1ère Version Provisoire du PIP est élaborée par la DGEP/ DIP pour soumission au Conseil du Gouvernement et présentation à la mission de revue FMI/Banque Mondiale. Sur la base des analyses et arbitrages réalisés, une 2e Version Provisoire du PIP est mise au point et soumise au Conseil du Gouvernement qui fait ses observations pour l’élaboration de la version finale du projet de PIP. Le PIP (autorisations de programmes et crédits de paiement) est finalement présenté et adopté par l’Assemblée Nationale dans le cadre de l’examen de la Loi des Finances. La circulaire d’exécution est produite début janvier. Fréquemment, le gouvernement propose un réaménagement des crédits de paiements en cours d’année (mai-juin) pour tenir compte des réalisations du 1er semestre. Celui-ci se traduit par le vote d’une Loi rectificative des Finances.

En termes d’outils, la gestion du PIP peut s’appuyer sur une application logicielle (sur Access) répondant aux besoins essentiels et fonctionnant en réseau au niveau de la Direction des Investissements Publics. Les questionnaires et la base de données permettent en principe de disposer de données détaillées sur la programmation (et le suivi) - tant physique que financier des projets. Les données de programmation sont consignées dans le document de PIP et il est prévu la production d’une information régulière sur les données de suivi à travers des états trimestriels (suivi financier) et semestriels (suivi financier et suivi physique). Il convient de noter que les dépenses sont désormais présentées suivant une nomenclature unifiée (investissement et fonctionnement) et révisée récemment (PCOP, novembre 1999). La DIP, par le biais surtout de réunions mensuelles de suivi avec l’ensemble des secteurs, cherche à assurer une fluidité de l’information relative aux problèmes rencontrés dans la mise en œuvre des différents projets pour intervenir à intervalles rapprochés en vue de lever les blocages indiqués (mobilisation des fonds de contrepartie, paiement de la TVA et des DTI,…). Toutefois, le système actuel comporte plusieurs faiblesses importantes.

8

Ainsi, concernant les Programmes de Dépenses Publiques, on peut noter des insuffisances au regard de la finalité initiale de l’exercice : L’exercice relève plus de la juxtaposition des données relatives respectivement au fonctionnement et à l’investissement du secteur que d’un véritable temps fort pour analyser et réviser les choix d’allocations budgétaires. De sérieuses réserves existent quant aux modalités de calcul des données, notamment sur les coûts récurrents (alors que l’intégration des coûts récurrents des investissements dans la programmation du budget de fonctionnement constitue l’un des intérêts principaux de l’exercice) ; les calculs ne sont pas explicites (sources et modalité d’obtention des données) et il est difficile de contrôler dans ces conditions leur véracité. Les divers indicateurs « physiques » proposés (moyens, impact) sont présentés par programme mais ils ne font pas l’objet d’une consolidation et d’une analyse au niveau du secteur. Le PDP reste un document de travail, sans réel statut. La plupart des informations contenues dans les PDP ne donnent lieu à aucun traitement (absence d’une base de données PDP) et utilisation. S’agissant du Programme d’Investissement Public, on peut déjà faire les constats suivants : Le document de PIP se limite pratiquement à un simple listing de projets alors qu’il devrait constituer un cadre pour définir la politique nationale d’investissement public, mettre l’accent sur le lien entre les objectifs de développement, les stratégies nationales et les différents projets qui constituent le PIP, préciser les inflexions proposées dans le cadre du nouvel exercice budgétaire et les principaux effets économiques et sociaux attendus du nouveau programme triennal. Le PIP n’est pas exhaustif dans la mesure où une partie des projets échappe au PIP. Il ne représente donc pas toute la ressource publique destinée à l’investissement. La dimension régionale est presque inexistante dans le processus et les documents de programmation, hormis la clef (souvent très indicative) de répartition des ressources programmées entre les provinces/régions. Le dossier de projets, qui sert de document de référence pour l’inscription du projet dans le PIP, comporte quelques faiblesses relatives notamment au cadre logique ou à la définition des indicateurs d’impact. Ceci ne facilite pas l’activité de suivi. En outre, la qualité du dossier semble varier sensiblement selon les projets (déficit d’informations constaté notamment pour les projets dits autonomes). Quant aux critères d’inscription au PIP, leur application est largement formelle. La grille de critères (17 critères3) est certes utilisée mais l’inscription des nouveaux projets ne donne pas lieu à de véritables analyses sur le fond des programmes. Par ailleurs, des doutes sérieux existent quant à l’application par les services de la DIP et/ou des ministères techniques des critères liés à l’impact économique et financier des projets (coûts récurrents, création d’emplois, taux de rentabilité économique, coût minimum pour les projets sociaux, effets sur la balance des paiements). Les questionnaires utilisés pour la programmation et pour le suivi ne tiennent pas suffisamment compte (i) des besoins d’un suivi orienté sur les résultats, (ii) des capacités à obtenir des données fiables dans les délais requis.(cf. infra).

3

Cf. Note sur la préparation du Programme d’Investissement Public 2002-2004, mai 2001.

9

Il n’existe pas de procédures d’échanges informatisées des données entre la DIP et les secteurs, moyen important d’éviter des re-saisies et de gagner du temps également sur la transmission des données. L’application logicielle de gestion du PIP n’est utilisée que par la DIP et elle ne s’appuie pas sur des importations/exportations de données en provenance-à destination des différentes unités sectorielles de programmation et de suivi. Au niveau des différents secteurs, on note de fait une absence ou une fragilité des bases de données4. Les faiblesses sont plus évidentes lorsque l’on aborde les conditions spécifiques du suivi du PIP et de ses projets comme on va le voir dans les paragraphes suivants.

1.2. Le suivi des dépenses
Hormis les visites de terrain et les réunions mensuelles DIP-secteurs, le suivi des projets repose essentiellement sur deux procédures : une procédure mensuelle : des fiches de centralisation comptable (FCC) sont centralisées chaque mois à la DIP, indiquant la situation des dépenses (crédits, engagements, liquidations, mandatements), en principe au niveau de l’article x paragraphe x sous-paragraphe. une procédure trimestrielle : Tous les trois mois, la DIP recueille les fiches de suivi relatives aux projets inscrits dans le Budget d’Investissement. Ces fiches, préparées par les chefs de projets et regroupées par les unités de programmation, recouvrent les aspects liés aux résultats attendus, à l’état d’exécution financière et physique et à l’impact des projets. Le suivi financier (trimestriel) et physique (semestriel) du PIP est réalisé sur la base d’un même questionnaire (7 pages minimum). a) Problèmes généraux rencontrés dans le suivi de l’exécution budgétaire De nombreux obstacles restent encore à surmonter pour disposer d’un suivi budgétaire performant, surtout dans une perspective de suivi de la SRP. En termes de système de gestion, les difficultés principales concernent: le retard dans le déblocage des budgets ; l’absence d’une centralisation efficace des données comptables ; une informatisation insuffisante des opérations budgétaires, surtout au niveau des structures déconcentrées ; l’inefficacité des systèmes de contrôle des opérations budgétaires (insuffisance des capacités de gestion, moyens matériels et humains) ; les problèmes de nomenclature (temps d’adaptation du cadre comptable adopté en 1999) ; la non-utilisation de la classification fonctionnelle des dépenses ; l’insuffisance des activités de contrôle (a priori et a posteriori) prévus par les textes ; la difficulté à obtenir les données sur l’ensemble de la chaîne de la dépense (prévisionengagement-liquidation-ordonnancement-paiement) et l’importance des retards dans la

4

Par exemple, le Ministère de l’Agriculture disposait de sa propre base de données sur les projets (installée dans le cadre d’une assistance de l’UE). Celle-ci est aujourd’hui inutilisable à la suite de l’introduction d’un virus dans le disque dur et les données de suivi sont désormais consignées sur une simple feuille de calcul.

10

communication d’informations agrégées alors qu’il existe des écarts importants entre les données relatives à ces différentes étapes5 ; l’impossibilité, dans ces conditions, de pouvoir suivre avec précision l’affectation effective des ressources publiques aux utilisateurs finaux. b) Problèmes spécifiques pour le suivi financier des projets et programmes : Les principales lacunes constatées concernent : la fiabilité générale des données : Les données résultent de « chambres d’enregistrement » successives (services de suivi des ministères puis DIP) qui souvent ne sont pas en mesure de contrôler leur véracité et leur cohérence (utilisation du même concept de dépense)6. En sortie, des divergences sont constatées entre les différentes sources (DIP, bailleur de fonds, cellule de gestion du projet) sans que soit proposée une procédure systématique permettant d’harmoniser les données7. De plus, le choix de retenir les tirages (et non les demandes de tirage) comme information de dépenses pour les emprunts risque d’entraîner des décalages importants entre les données de suivi et la réalisation de la dépense (droits constatés) compte tenu des délais importants pris par certains bailleurs de fonds pour traiter et exécuter les demandes de retrait de fonds puis informer les pays bénéficiaires. le caractère partiel des informations sur la nature économique des dépenses : Les problèmes de suivi financier sont encore plus évidents dès lors que l’on aborde la structure des dépenses par nature économique pour laquelle l’information est souvent déficitaire. Quand les données existent, les agents des services de programmation et suivi se heurtent aux difficultés de passage entre la classification des dépenses utilisée par les projets (nomenclature propre au bailleur de fonds) et la nomenclature PCOP. Ceci explique que, dans de nombreux cas, la décomposition par nature de dépense ne soit pas disponible pour le suivi, ou apparaisse d’une fiabilité douteuse. la nomenclature des dépenses : la nomenclature des dépenses actuelles conserve une lisibilité limitée au regard d’un objectif de suivi des dépenses ciblées sur la réduction de la pauvreté. Pour une bonne appréciation du rapport entre la dépense et son affectation effective à une action prioritaire de réduction de la pauvreté, il conviendrait de prendre en compte le centre de responsabilité et l’activité concernée. C’est d’ailleurs une telle programmation par activité/unité opérationnelle qui sert généralement de base au concept des PDP ou de méthodologies de programmation dans les secteurs de l’éducation ou de la santé. Celle-ci règle par ailleurs le problème de l’affectation géographique des dépenses (information produite a priori et non objet d’un traitement a posteriori). la pertinence de certaines informations demandées : On constate deux décalages majeurs, d’une part entre les données demandées et les données effectivement renseignées, d’autre part entre les
5

Par exemple, pour les dépenses courantes en biens et services, le ratio paiement/engagement a été de 93,4% en moyenne sur 1997-2000 et le ratio paiement/prévision de 95,2%. Pour les dépenses d’investissement, les décaissements ont représenté successivement 82,9%, 73,4%, 91,1% et 64,9% pour les quatre années 1997 à 2000. Ces écarts évoqués tiennent essentiellement (i) aux problèmes de programmation budgétaire, (ii) aux difficultés de mobilisation des ressources intérieures (problème de trésorerie, lui-même alimenté par la lenteur observée dans le recouvrement des recettes budgétaires), (iii) aux difficultés spécifiques des projets d’investissement pour mobiliser les crédits nécessaires au paiement des taxes (TVA et DTI).

En principe, l’information financière reprend les situations de tirages des emprunts (disponibles à la Direction de la Dette), les décaissements pour les subventions extérieures (états financiers fournis par les bailleurs de fonds) et les ordonnancements pour ce qui concerne le financement intérieur (données à la Paierie Générale de Tana). L’information sur les dons est adressée à la Direction du Trésor (consolidation des situations de paiements) et à la Banque Centrale (établissement de la balance des paiements). 7 Les modalités de mise en cohérence entre la source bailleur (enquêtes auprès des principaux bailleurs de fonds) et la source secteur (collecte des informations via le circuit projet->service sectoriel de suivi->DIP) ne sont pas clarifiées.

6

11

données renseignées et les données effectivement exploitées. Par exemple, on peut s’interroger, dans le cadre de la méthodologie actuelle de programmation-suivi, sur l’intérêt de disposer de données de suivi trimestriel par région (un état annuel est suffisant d’autant plus que ces données ne font pas, de toutes les manières, l’objet d’une exploitation par trimestre). le caractère limité du suivi budgétaire : le suivi concerne presque exclusivement les flux de décaissements. Or, d’autres volets du suivi financier mériteraient d’être développés comme le suivi du coût total des projets (mise en évidence des dépassements) ou le suivi économique des investissements (cf. infra). le dialogue Plan-secteurs-bailleurs de fonds : Un dialogue entre le Plan (DGEP) et les secteurs est assuré selon une périodicité rapprochée (tout le monde s’accorde sur le bien-fondé des réunions mensuelles de suivi). De manière générale, les échanges restent toutefois focalisés sur les décaissements et les blocages constatés à ce niveau. Les autres aspects sont peu considérés. Les bailleurs de fonds rencontrés font la même observation, en évoquant le déficit d’échanges sur le fond des stratégies et des projets. Les ministères techniques notent également que les méthodologies et instruments – par exemple le contenu des questionnaires de programmation et suivi mis en place par la DIP – ne font pas l’objet de discussion. Simultanément, il existe des initiatives parallèles de suivi (voir annexe 4 sur les secteurs de l’éducation, de la santé ou des transports) conduites au niveau des ministères sans concertation avec la DIP. Au niveau même de la DG de l’Economie et du Plan, on constate une insuffisance d’efforts de la part de la DIP et de la DDE pour définir une démarche commune visant à renforcer les activités de S&E des programmes et projets. la responsabilité du suivi : La consolidation des données budgétaires (pour le PDP) s’effectue selon les secteurs soit au niveau de la DAAF, soit au niveau de la direction chargée du suivi des projets. Dans le premier cas, il n’est pas certain que la DAAF soit la mieux indiquée pour une consolidation qui requiert une analyse de cohérence entre prévisions de mobilisation de ressources et priorités stratégiques du secteur. Dans le second cas, l’unité chargée du suivi peut fonctionner comme « chambre d’enregistrement » des données relatives au volet « fonctionnement » sans pouvoir discuter de l’articulation entre les actions opérationnelles financées dans le cadre des projets (qu’elle contrôle en principe) et celles financées sur le fonctionnement courant du Ministère (traitées au niveau de la DAAF). Dans tous les cas, on constate un déficit de dialogue entre DAAF et structures de programmation qui nuisent à la pertinence de l’exercice de programmation. un suivi « donor oriented » : L’organisation actuelle du suivi est largement orientée en fonction des bailleurs de fonds. La Direction de la Coordination des Aides Extérieures n’a plus vocation à servir de point focal pour les données de l’aide mais est concentrée sur la gestion des programmes de l’Union Européenne (bureau de l’ordonnateur national). La Direction du Développement Economique focalise la majorité de son activité sur le suivi du portefeuille de la Banque Mondiale. La Direction de la Coordination des Interventions Sociales est structurée en trois services correspondant aux trois donateurs respectifs avec lesquels elle entretient des relations pour le suivi de programmes sociaux (UNICEF, USAID). L’absence presque totale de rapports de suivi ou de bilans sur les projets au niveau du MFE comme des ministères techniques (hormis les éléments de suivi des projets contenus dans les rapports d’activité annuels des ministères) illustre la situation actuelle dans laquelle le suivi versus bailleurs de fonds prédomine largement.

1.3. Le suivi des activités et des résultats
De manière générale, le suivi des programmes réalisé tant au niveau sectoriel (services chargés du suivi des projets) que « central » (DIP) reste principalement focalisé sur les décaissements et sur la résolution des problèmes liés (mobilisation des fonds de contrepartie, etc). Un tel suivi n’apporte 12

guère d’information sur la nature et le rythme des différentes activités réalisées, les problèmes rencontrés, les résultats atteints au regard des objectifs et les impacts effectifs du projet sur les bénéficiaires. Les concertations périodiques entre les services gouvernementaux et les bailleurs de fonds restent également centrées sur la mobilisation des ressources au détriment des questions portant sur les stratégies sectorielles ou sur les résultats, l’impact et la durabilité des actions de développement. Les problèmes se situent à quatre niveaux : Disponibilité de l’information de base La plupart des projets bénéficiant d’un financement extérieur définissent, dans les documents de base des projets, des modalités pour le suivi (comme pour l’évaluation) de leurs activités et résultats. Des ressources spécifiques sont identifiées pour le S&E. Dans la pratique, on sait que des difficultés se posent pour plusieurs raisons : glissement des objectifs et des cibles retenues pour les indicateurs, indicateurs de résultats non quantifiés, mélange d’indicateurs à statuts différents (ressources, résultats intermédiaires, impacts, ... ). S’agissant des projets « autonomes » - qui représentent environ 5% du PIP en termes de montants -, la documentation de base n’a pas les mêmes exigences et il n’existe souvent aucune pratique effective de suivi pendant la vie du projet. Les rapports de suivi interne des projets ne sont pas toujours structurés de manière à informer rapidement sur les performances (sous la forme d’un tableau de bord construit autour de quelques indicateurs essentiels). En outre, le circuit administratif des rapports ne permet pas une centralisation de l’information. Ceux-ci sont généralement distribués aux structures de tutelle ou bénéficiaires du programme et beaucoup plus rarement aux services sectoriels chargés du suivi. Format et taux de renseignement des questionnaires utilisés pour le suivi du PIP L’information disponible au niveau des questionnaires de programmation peut être qualifiée de moyenne en ce qui concerne les rubriques relatives aux moyens et aux activités, et faible pour la partie consacrée aux impacts du projet. Par exemple, pour l’agriculture, seulement 1/3 des projets présentent des indicateurs d’impact quantifiés. La fiche de suivi utilisée au niveau du PIP ne paraît pas adaptée à une collecte uniformisée de données de « suivi physique » qu’il s’agisse des données sur les résultats et impacts (partie A du questionnaire) ou des données sur les activités prévues (partie B). Il apparaît en outre que bon nombre de fiches restent vierges sur les rubriques non strictement financières. Le traitement consolidé de l’information, préalable à l’analyse est dans la plupart des cas impossible et/ou non pertinent et ce pour deux raisons. D’abord, les taux de renseignement sont bas. D’autre part, le format de présentation des données (questionnaires) et l’absence de codification des activités, résultats et impacts par secteur rendent pratiquement inexploitables l’information collectée. Maîtrise du cadre de référence au niveau sectoriel : En l’absence d’une identification préalable des informations prioritaires qu’il convient de mettre en évidence à ce niveau, les services sectoriels ne savent pas généralement quelle valeur ajoutée il est possible de tirer d’un tel suivi des programmes. En amont, les services de suivi butent sur la difficulté à disposer d’un cadre sectoriel de référence clair. Le suivi n’a de sens en effet que si l’on dispose (i) d’une matrice précise des objectifs prioritaires et des résultats escomptés au niveau du secteur, (ii) d’un cadre

13

d’objectifs/résultats/activités cohérent avec cette première matrice, facilement lisible et homogène pour les différents projets.

Cadre institutionnel du suivi Le suivi s’effectue de manière relativement cloisonnée au niveau des projets individuels et l’information obtenue est dans l’ensemble peu partagée. Les informations de suivi des projets sont ainsi dispersées entre de multiples entités (gestionnaires des projets, structures de tutelle, structures chargées du suivi des programmes sectoriels, cabinets, « correspondants » ministériels nommés sans rapport avec la structure de rattachement hiérarchique, ... ), services du MFE ou du MAE en charge du suivi des programmes versus bailleurs, etc. Il n’existe aucun cadre permettant de clarifier et uniformiser les responsabilités et les circuits d’information. Les capacités de suivi des programmes/projets au niveau déconcentré sont marginales.

En conclusion, en dehors des états réguliers sur les décaissements globaux et des activités de suivi interne au niveau de chaque opération spécifique, les programmes et projets ne font pratiquement pas l’objet de suivi consolidé au niveau des ministères techniques et du MFE. L’activité de reporting sur le suivi des projets au niveau sectoriel et global est singulièrement limitée. En 2001, aucun rapport sur le suivi physique des projets n’a été préparé par la DIP. De même, les rapports sectoriels élaborés antérieurement par la DDE n’ont plus été publiés après 1999. Au niveau des ministères techniques, on note également une quasi-absence de rapports annuels détaillés sur l’exécution des projets, leurs résultats et leurs impacts. Le tableau de la page suivante précise les produits existants actuellement au sein des principales structures engagées dans le S&E des programmes et projets. Le suivi ne répond pas ainsi aux questions essentielles que doit se poser le décideur : quelle est l’affectation intra-sectorielle précise des dépenses ? quelle est la part de ces dépenses qui est respectivement allouée à l’investissement et au fonctionnement ? quelles sont les dépenses qui sont destinées et vont effectivement à des appuis directs aux populations pauvres ? existe-t-il des dépassements de coûts et/ou des glissements de calendrier important dans la mise en oeuvre du programme sectoriel ? quelles sont les performances atteintes par les projets en termes d’activités et quels sont les résultats attendus de la mise en oeuvre de tel programme d’investissement sectoriel dans tel ou tel domaine ? comment le suivi va influer sur les priorités et le contenu des prochains PIP, etc.

1.4. L’évaluation des impacts
L’évaluation des programmes et projets se distingue du suivi par de nombreux aspects (finalité, diversité des méthodes, périodicité, coûts,...). La situation actuelle se traduit par les principaux points suivants : Il n’existe pas de politique nationale d’évaluation (ce qui suppose un cadre institutionnel, des normes, des procédures codifiées, des compétences et responsabilités clairement identifiées, un plan annuel d’activités, etc). La pratique actuelle de l’évaluation est focalisée sur l’évaluation de projets individuels (à miparcours et/ou en fin de projet) réalisée par des experts indépendants et/ou par des représentants du siège des bailleur de fonds. 14

Les évaluations multi-projets sont marginales si l’on excepte les évaluations réalisées en cours d’exécution de programmes de coopération. L’évaluation est une activité dominée de fait par les bailleurs de fonds (initiative, orientation sur les résultats attendus, etc). Certains partenaires (USAID par exemple) ne prévoient pas de communiquer le résultat de leurs évaluations au gouvernement. De manière générale, la diffusion des rapports d’évaluation conserve un caractère semiconfidentiel. Il est donc difficile de capitaliser sur les conclusions et recommandations des évaluations successives, notamment celles concernant des projets présentant des points communs (secteur ou zone d’intervention, bénéficiaires ciblés, démarche adoptée, ... ). Paradoxalement, il n’existe aucune centralisation des rapports d’évaluation au niveau du pays alors que plusieurs bailleurs de fonds disposent de structures ayant cette fonction et donnent aujourd’hui la possibilité d’avoir accès sur le web aux rapports d’évaluation réalisés. En dépit des intitulés des directions ou services, sectoriels ou à vocation transversale, les activités d’évaluation au sein de l’administration malgache sont pratiquement inexistantes. Il n’existe pas de culture de l’évaluation, laquelle nécessite une pratique administrative fondée sur la transparence et une capacité d’assimiler la critique. Pour beaucoup, l’évaluation reste assimilée au contrôle des activités des administrations et des projets. Les capacités externes nationales d’analyse et d’évaluation (bureaux d’études, université, centres de recherches) restent enfin limitées.

15

Structure
MFE

Points focaux S&E
Direction de l’Investissement Public Direction du Développement Economique Direction de la Coordination des Interventions Sociales Direction de la Planification Globale et de l’Evaluation Direction de la Coordination des Aides Extérieures Direction des Etudes et de la Planification DAAF (RH, aide budgétaire,…)

Systèmes d’information
Système de gestion des projets PIP Base de données « Child Info » (DICS)

Produits de S&E
Rapport annuel du Ministère Rapport Economique et Financier (DDE) Revues économiques trimestrielles (DDE) PIP et Etats d’exécution financière du PIP (DIP) Rapports sur l’exécution des programmes de la Banque Mondiale (DDE) Rapports trimestriels et annuel sur l’exécution des programmes UE (DCAE) Rapport sur la coopération et le développement (DDE/PNUD) Inventaire annuel des fivondronana PDP et Rapport annuel du Ministère Plan de Développement des Ress. Humaines (en préparation) Plans de Développement et PTA de Districts Etats financiers (mensuels, trimestriels) Rapports trimestriels de suivi / Plan Directeur Carte Nationale Sanitaire (en voie de finalisation, réactualisée tous les 2 ans ?) Annuaire Statistique de la Santé Evaluations du Plan Directeur PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Annuaire Statistique de l’Education Recueil de fiches de projets (en cours de préparation) PDP et Rapport annuel du Ministère (préparé par la DAAF) Etats financiers (mensuels, trimestriels)

MINSAN

SISC (avec différents sous-systèmes : système routine/formations sanitaires, Carte Sanitaire,…) Base de données CNS

de

MINESEB

Direction de la Planification de l’Education

DEA/ MEM

Service de la Banque de Données (Direction de l’Eau et de l’Assainissement)

MINAGRI

Direction de la Programmation et du Budget

Système informatisé sur les données de routine (dossiers du personnel, effectifs, constructions, …) en cours de révision avec connexion prévue des 6 DIRESEB Bases de données partielles (FCC, tableaux de bord) Banque de données sur les forages obsolète (problème de logiciel) remplacée par une base sur feuille de calcul Diverses bases de données pour le suivi au niveau des projets PNUD, UNICEF Nouveau système proposé dans le cadre du PAEPAR (formulé mais non encore mis en œuvre) Base de données sur les projets hors service (gestion du suivi sur feuille Excel)

MINELEV

Service de la Programmation et du Financement

MTP

Direction de la Planification et de la Programmation Cellule de concentration des indicateurs d’activité (DGTP) FER (SG)

Absence de système de gestion Montage en cours d’un dispositif propre de suivi interne (Plan de Travail Annuel et Questionnaires de suivi trimestriel) Absence de système de gestion structuré Gestion de l’information sur feuilles de calcul

PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Dernier rapport de suivi annuel du PIP publié en 1998 (concerne l’exercice 1997) PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Rapports de synthèse semestriels ( ?) PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Rapports de synthèse semestriels Suivi des marchés Carte sur les zones d’intervention des bailleurs de fonds Données sur l’état des infrastructures

16

II. PROPOSITIONS SUR L’ORGANISATION DU SYSTEME DE SUIVI ET EVALUATION
L’organisation du S&E des programmes et projets doit s’inscrire dans le cadre du dispositif d’ensemble retenu pour le suivi de la mise en œuvre de la Stratégie de Réduction de la Pauvreté. Avant de détailler les propositions concernant l’organisation du S&E des projets, il est donc proposé de préciser le cadre général dans lequel il pourrait s’intégrer. L’ensemble du dispositif devrait être formalisé dans un « Cadre du Suivi et de l’Evaluation », document qu’il conviendrait d’annexer au DSRP ou de finaliser dans la foulée de l’adoption du DSRP.

1. Les objectifs et les principes
1.1. Les objectifs Le dispositif de S&E vise quatre objectifs essentiels : suivre la mise en œuvre des programmes de réduction de la pauvreté et mesurer les résultats obtenus au regard des objectifs inscrits dans les plans d’action ; apprécier l’évolution des situations de pauvreté dans le pays en identifiant les déterminants des changements observés et en évaluant l’impact spécifique des principales politiques publiques conduites ; mettre en évidence les ressources mobilisées, leurs sources, les modalités de leur utilisation ainsi que le respect et la pertinence des choix budgétaires ; développer de nouveaux mécanismes de production et de diffusion de l’information sur les politiques publiques fondés sur une rétro-information adaptée auprès des différents acteurs (décideurs, opérateurs, populations bénéficiaires,…). 1.2. Les principes Les principes qui doivent guider la mise en place du système de S&E sont les suivants : Le système de S&E repose sur un cadre de référence (Cadre de suivi et évaluation), annexé au DSRP. Le système de S&E doit évoluer en vue d’intégrer les différents mécanismes de suivi (DSRP, PIP/PDP, programmes de coopération, conférences et initiatives spécifiques,…) et de promouvoir une planification coordonnée des travaux de S&E. Les mesures à prendre dans ce sens concernent, entre autres, la rationalisation des structures de coordination, une meilleure articulation des systèmes d’information (harmonisation des questionnaires de suivi, interfaces entre bases de données,…) ou encore la promotion d’actions de S&E conjointes entre les bailleurs de fonds (missions d’évaluation notamment). Le cadre institutionnel comme les outils de S&E doivent être conçus en prenant en compte les synergies mais aussi les différences entre la fonction de suivi et la fonction d’évaluation. Elles ne relèvent pas des mêmes échéances, ne visent pas les mêmes objectifs, reposent sur des instruments et méthodologies distincts et ne font pas nécessairement appel aux mêmes structures.

17

PRINCIPES RETENUS POUR LE SUIVI ET L’EVALUATION

PRINCIPES POUR LE SUIVI ET L’EVALUATION S’appuyer sur un cadre de référence Intégrer les différents mécanismes de S&E ? ?

MESURES PRINCIPALES

Validation d’un « Cadre de suivi et évaluation » Rationalisation des multiples structures de pilotage Harmonisation et sécurisation de la production d’information prioritaire / DSRP Développement des interfaces entre les systèmes d’information Encouragement aux missions d’évaluation conjointes (multibailleurs, multi-projets) Plan annuel d’évaluation et d’enquêtes

Planification des activités de S&E

?

Renforcer les instruments de S&E en prenant en compte les différences entre la fonction de suivi et la fonction d’évaluation : Suivi ?

Evaluation ?

Renforcement des statistiques administratives Amélioration du suivi budgétaire (« suivi pas-à-pas des dépenses prioritaires »,…) Révision des outils de suivi des programmes et projets Renforcement institutionnel des unités de S&E (MFE, MBPA, Ministères Techniques, Provinces Autonomes) Développement des enquêtes ménages Systématisation des évaluations participatives auprès des bénéficiaires (grands programmes) Développement des évaluations « transversales » (soussecteur/thème, groupe bénéficiaire, région spécifiques) Mise en réseau des activités Site web pour la centralisation des principaux rapports d’évaluation Politique d’information publique (rétro-information, communication avec les medias,…) à mettre en œuvre dans le cadre d’une Stratégie de communication DSRP Décloisonnement des services chargés des fonctions d’orientation politique, d’évaluation, de programmation-suivi des projets, d’information statistique Cellules de S&E inter-services au MFE et dans 4 ministères (MINESEB, MINSAN, MINAGRI, MEM) Sous-traitance partielle aux centres de ressources extérieures (FOFIFA, CREAM,…) des activités d’analyse et d’évaluation de politiques Décentralisation de l’exécution et du suivi des dépenses prioritaires Cellules techniques de coordination et suivi des programmes dans les 6 Provinces Autonomes Poursuite des actions de promotion de la planification locale (Plans de Développement Communal) Promotion de contrats entre les Provinces et les ONG locales pour l’appuyer dans le S&E des programmes

Permettre à tous les acteurs d’accéder à ? l’information relative aux politiques publiques

Valoriser les structures administratives ? existantes en tenant compte des déficits structurels

S’inscrire dans décentralisation

le

processus

de ?

18

Encadré : distinguer les fonctions de suivi et d’évaluation Pour le suivi, il s’agit de gérer des mécanismes permanents qui permettent de suivre les engagements du gouvernement et programmes prioritaires (programmes d’investissement, allocations de crédits de fonctionnement, mesures institutionnelles) et d’en mesurer les progrès par un système d’indicateurs intermédiaires (intrants et extrants). Le suivi fait appel principalement aux statistiques d’activité administrative, aux données budgétaires et aux informations sur l’exécution des projets. L’existence de structures de pilotage - efficaces et en nombre limité - y joue un rôle important. Pour l’évaluation des impacts, il s’agit de mesurer l’évolution des principales variables caractérisant la pauvreté et d’étudier de manière approfondie l’efficacité des politiques publiques engagées, en particulier des choix d’allocations budgétaires et des opérations de développement réalisées. L’appréciation des populations bénéficiaires est également essentielle. L’évaluation s’appuie elle sur des enquêtes, des études thématiques, différentes méthodes possibles d’évaluation des politiques publiques.

Le système de S&E requiert une politique de l’information publique. A côté des actions d’amont (systématisation et organisation de la chaîne de collecte et de production d’information de S/E, optimisation des apports respectifs des différentes sources d’information, harmonisation des outils et méthodologie,…), le gouvernement doit mettre en place les moyens pour généraliser l’accès à l’information sur la gestion publique et assurer sa transparence. La rétro-information doit être systématisée. Le renforcement de la fonction de S&E doit reposer sur la valorisation des structures administratives existantes et non sur la constitution de nouvelles entités. Les priorités concernent (i) une meilleure articulation entre les ministères sectoriels et les ministères à vocation économique (MFE, MBDPA), (ii) un resserrement au niveau des ministères prioritaires des fonctions d’information statistique, de programmation-suivi (investissement et fonctionnement) et d’analyse de politique, (iii) une répartition précise pour les différentes tâches de collecte d’information, de traitement et d’analyse, de reporting. Dans le cas où des défaillances structurelles sont constatées (capacités d’analyse et d’évaluation), le recours à des ressources extérieures à l’administration doit s’effectuer sur une base contractuelle et durable. Le cadre d’organisation doit s’inscrire dans le processus de décentralisation en cours et favoriser le développement des fonctions de S&E au niveau décentralisé. La faible capacité des collectivités décentralisées et les incertitudes qui demeurent encore sur les modalités d’opérationalisation des transferts de compétences démontrent la nécessité d’une approche par étapes.

2. La répartition des tâches du S&E (DSRP, programmes et projets)
2.1. Cellule technique, STA, SNAD La responsabilité d’ensemble pour le suivi de la mise en œuvre du DSRP relève du Premier Ministre qui s’appuie pour cela sur la Cellule Technique8. La Cellule est relayée elle-même par un secrétariat permanent, assuré conjointement par le Secrétariat Technique pour l’Ajustement (STA) et le Secrétariat National à l’Auto-promotion et au Développement (SNAD).

8

La Cellule Technique, créée par décret (13/09/00), réunit une vingtaine de personnes nommés intuitu personae et de provenance diverse (hauts fonctionnaires, élus locaux, entrepreneurs privés, universitaires,…).

19

L’expérience acquise depuis la préparation du DSRP intérimaire et les exigences du processus DSRP (cohérence des politiques sectorielles avec les objectifs de réduction de la pauvreté, accent mis sur les résultats et les impacts des politiques publiques, transparence de l’information, participation des populations,…) montrent la nécessité de renforcer le dispositif à deux niveaux : (i) au niveau de la concertation avec les partenaires et surtout la société civile et les autres acteurs de développement ; (ii) au niveau du pilotage technique du processus. S’agissant du premier point, les mesures complémentaires devraient concerner : l’institutionnalisation et la pérennisation des structures « centrales » et régionales de dialogue ; l’adoption d’une stratégie de communication pour assurer une réelle rétro-information (diffusion adaptée de l’information sur les stratégies et les actions prioritaires, enquêtes auprès des bénéficiaires pour juger de l’impact des programmes ciblés, fora régionaux, appui aux actions de communication dans le cadre d’initiatives fédératrices de la société civile autour des thèmes de la SRP,…). Au niveau du pilotage technique du processus, le STA doit renforcer sa capacité d’intervention autour de diverses fonctions qui renvoient à deux volets d’activités : d’une part, l’animation générale du dispositif de mise en œuvre et de suivi du DSRP, d’autre, part, la collaboration technique et l’analyse nécessaires à la production de documents de synthèse de qualité. Interface entre les instances de concertation et de décision du DSRP et les équipes sectorielles, le STA doit, dans le cadre de la mise en œuvre du DSRP, consolider ses activités autour des principales missions suivantes : organisation générale des activités de suivi relatives à la mise en œuvre de différents plans d’action du DSRP, en liaison avec les différents départements ministériels et les provinces autonomes ; animation des processus participatifs et mise en œuvre d’une stratégie de communication autour des objectifs et résultats du DSRP ; planification en collaboration avec l’INSTAT et la DGEP, des activités de S&E relatives aux enquêtes et travaux statistiques d’une part, au suivi et à l’évaluation des programmes et projets d’investissement d’autre part (élaboration et suivi de la mise en œuvre du plan annuel d’évaluation et d’enquêtes); centralisation des différents rapports de suivi (IPPTE, PIP, plans d’actions sectoriels du DSRP,…) et tableaux de bord ; production, sur cette base, de rapports de synthèse périodiques (trimestriels et annuels) portant sur la mobilisation et l’affectation des ressources publiques dans le cadre de la SRP et sur l’état d’avancement des plans d’action ; conduite d’analyses techniques approfondies relatives aux principales stratégies macroéconomiques et sectorielles, nécessaires au S&E du DSRP et à la mise en cohérence des programmes prioritaires. Ces dernières missions seraient réalisées au sein du STA, par une cellule d’analyse et de synthèse (Observatoire de la Pauvreté), appuyée par une expertise légère (deux ou trois experts nationaux). S’appuyant sur la capacité importante de centralisation des rapports de suivi et d’évaluation au niveau du STA, l’Observatoire de la Pauvreté est à la fois en mesure de (i) capitaliser l’information sur les programmes prioritaires, (ii) de produire et diffuser une information de synthèse à périodicité rapprochée sur l’état d’avancement du DSRP, (iii) et de coordonner des travaux d’études plus approfondis.

20

L’Observatoire constitue ainsi le point focal pour le suivi de la pauvreté. Son activité est purement technique et se développe sur la base d’un double échange : échange avec les circuits institutionnels (MEF, MBPA, Ministères techniques, INSTAT,…) ; travail en réseau avec les différents centres de recherche (Université, ROR, CREAM,…). L’Observatoire s’appuie sur trois instruments : (i) son plan interne d’activités annuel approuvé par le Président du STA ; (ii) le plan annuel d’évaluations et d’enquêtes (cf. III) ; (iii) le réseau national de suivi et évaluation (cf. III). 2.2. L’INSTAT L’Institut joue un rôle clef dans le dispositif de S&E à travers une quadruple mission : la centralisation de l’ensemble des données relatives aux indicateurs ; la consolidation du système d’information statistique ; la planification des besoins en matière d’information (en particulier, programmation des enquêtes prioritaires, établissement des cahiers des charges et des budgets,…) ; la réalisation propre ou de la supervision de l’ensemble des enquêtes réalisées en appui au suivi de la pauvreté et à l’évaluation de l’impact de la SRP. Concernant la centralisation des données, l’INSTAT assure la gestion du Tableau centralisé d’indicateurs (TCI, cf. III). L’INSTAT gère ainsi l’actualisation permanente des indicateurs de suivi du DSRP. S’agissant de la consolidation du système d’information statistique, l’INSTAT établira avec les différents fournisseurs d’information des protocoles d’échanges d’information. Ceux-ci ne concerneront dans un premier temps que la fourniture des données d’indicateurs du TCI (test sur l’éducation et la santé en 2002 puis extension en 2003 pour les autres indicateurs). Ils seront par la suite étendus aux autres informations nécessaires en particulier pour le suivi de la conjoncture, l’établissement des comptes nationaux et la production du Tableau de Bord Social. L’établissement de ces protocoles doit être l’occasion de renforcer le dialogue avec les secteurs concernant le contrôle de fiabilité des données, l’harmonisation des informations statistiques utilisées. L’INSTAT s’appuiera sur l’établissement d’un recueil de fiches d’indicateurs présentant les méta-données propres à chaque indicateur (source, méthodes de calcul, fiabilité, degré de déglobalisation, etc). Le succès du système de S&E du DSRP dépend pour une bonne part de la disponibilité d’une information de qualité et dans des délais opportuns. Une planification des besoins est donc essentielle à la fois pour déterminer les priorités et sécuriser le financement des travaux statistiques prioritaires. Ce travail sera réalisé dans le cadre de la préparation du plan annuel d’enquêtes et d’évaluations. L’INSTAT préparera les fiches de projet relatives aux enquêtes qu’il juge prioritaires. Celles-ci serviront de base pour élaborer les requêtes de financement. Le CCISE constitue le point de validation naturel de ces dossiers avant établissement formel de la requête. Compte tenu de ces différentes missions et de la charge importante qui en découlera dans le cadre du suivi du DSRP, les activités d’évaluation des politiques, programmes et projets de la SRP devraient plutôt être confiées à d’autres opérateurs. 2.3. Le Ministère des Finances et de l’Economie Le Ministère des Finances et de l’Economie est un acteur majeur du système de S&E. Sa contribution principale doit partir des tâches prioritaires qu’il assure actuellement au niveau (i) du cadrage macroéconomique, (ii) de la programmation et du suivi des programmes et projets, (iii) de la coordination

21

des programmes d’aide extérieure. A côté du renforcement nécessaire des activités de cadrage macroéconomique en collaboration avec l’INSTAT et le MBPA, le MFE doit développer sa capacité en matière de S&E en rationalisant son organisation interne et en améliorant ses outils. Les axes sur lesquels l’effort doit être porté sont : le suivi renforcé des projets dans ses différents aspects ; le suivi consolidé des programmes d’aide et le renforcement des actions de S&E multi donateurs; le co-pilotage des activités d’évaluation des politiques publiques en liaison avec l’Observatoire de la Pauvreté et l’INSTAT ; l’accompagnement du processus de renforcement des capacités de S&E dans les ministères et les régions. Le renforcement de ces activités doit être réalisé par étapes, en mettant en avant les activités ayant l’impact le plus immédiat sur les besoins d’information du S&E du DSRP ainsi que sur le rythme d’exécution et l’efficacité des projets. Un ajustement de l’organisation interne du MFE serait souhaitable pour améliorer la circulation de l’information, clarifier la répartition des tâches et optimiser l’utilisation des ressources humaines actuelles du ministère. A court terme (maintien de l’organigramme existant), il convient de répondre rapidement aux besoins de centralisation et d’analyse de l’information gérée par le MFE dans la perspective du DSRP. Il est ainsi proposé de constituer un point focal technique pour le S&E des programmes et projets (mission actuellement éclatée entre cinq directions). Celui-ci se matérialisera par une cellule de S&E, rattachée au Secrétaire Général du Ministère et qui regroupera un petit noyau de cadres (un pour le cadrage macro-économique et la mise en cohérence des programmes sectoriels, deux pour le suivi des secteurs prioritaires, un pour le suivi des programmes d’aide extérieure, un pour la dimension régionale). L’objectif est triple : renforcer la collaboration inter-services afin de consolider l’information centralisée à différents niveaux (données de programmation et suivi macro-économique, données sur les projets, sur les programmes des bailleurs de fonds, sur les réformes sectorielles, sur les activités au niveau régional,…) ; enrichir le suivi des projets par rapport à l’information actuellement disponible (affectation des dépenses, échéanciers et activités, résultats) ; renforcer la centralisation des informations sur les projets et politiques sectorielles et consolider l’information obtenue avec les données collectées par ailleurs au niveau des bailleurs de fonds. Les tâches dévolues à la cellule S&E sont : coordonner les activités de S&E des programmes et projets et veiller à une transmission rapide de l’information prioritaire de suivi ; préparer, en collaboration avec le STA et l’INSTAT, le plan annuel d’évaluation et d’enquêtes (volet évaluations des politiques et programmes) ; produire un bilan annuel des activités de S&E des programmes et projets. 2.4. Le Ministère du Budget et du Développement des Provinces Autonomes Ce ministère intervient comme pôle pour le suivi des dépenses de l’Etat, surtout celles du Budget de fonctionnement. Des tableaux de bord mensuels et trimestriels sont produits. Son rôle devrait être accru dans la perspective d’un effort plus soutenu pour unifier l’exercice de programmation budgétaire (préparation de Cadres de dépenses à moyen terme) et son suivi.

22

Pour assurer cette intégration, il apparaît nécessaire de rapprocher les services de programmation et suivi financiers des dépenses de fonctionnement (DG de la Programmation Budgétaire et des Dépenses au MBDPA) et d’investissement (DG de l’Economie et du Plan au MFE). En attendant, il convient de redynamiser la Cellule de Synthèse Budgétaire, proposée dans le cadre du PAIGEP, et qui est pour l’instant en sommeil. Il est souhaitable également de mieux associer le MBDPA à la préparation des PDP. 2.5. Les Ministères techniques La valorisation des fonctions de suivi et d’analyse stratégique des Ministères techniques est à la base de l’efficacité du système de S&E. A côté du dispositif d’enquêtes, ils constituent le cœur de la production d’information de suivi et la qualité du travail de synthèse dépend de la qualité en amont des travaux menés au niveau de chaque secteur (collecte et traitement des données, appréciation des résultats des programmes, sélection des indicateurs les plus pertinents et définition des cibles,…). Les priorités de renforcement concernent : la formation et l’amélioration des dotations en moyens de fonctionnement des unités décentralisées engagées dans la collecte des données (EPP/CISCO, CSB,…) ; une meilleure fluidité et rationalité dans les circuits d’information sur les programmes et projets au sein des ministères (renforcement de l’axe projets-directions-unités de programmation, couverture exhaustive des projets) ; le resserrement de la collaboration entre les services chargés respectivement de la gestion de l’information statistique, de la programmation, du suivi, de l’évaluation et des études (évolution souhaitable vers des « directions des politiques et programmes ») ; la consolidation d’un système informatisé stable de gestion de l’information sur les projets dans les ministères-clés (réseau DGEP-Ministères) ; le développement des capacités de suivi au niveau déconcentré, en appui aux Provinces autonomes. A l’instar du MFE, il est suggéré la constitution d’une cellule de S&E au niveau de 5 ministères prioritaires. La cellule comporterait un maximum de 5 cadres provenant des principaux services susceptibles d’informer sur l’évolution de la capacité d’offre et des ressources du secteur, sur l’exécution des programmes d’action prioritaires du ministère et sur l’efficacité des principales actions engagées. Les membres sont nommés intuitu personae par arrêté du ministre. L’objectif est triple : développer la collaboration, au sein de chaque ministère, entre des services qui sont liés au S&E et fonctionnent souvent aujourd’hui de manière cloisonnée (différents services sectoriels disposant d’informations utiles pour le suivi, séparation entre les activités de programmation des investissements et du fonctionnement, séparation également entre les services d’information statistique, ceux chargés de la programmation et ceux affectés au suivi-évaluation); coordonner et renforcer la gestion des différentes bases de données sectorielles afin d’assurer la remontée régulière des données essentielles de S&E (suivi des dépenses, des ressources physiques, des activités et de résultats) dans le cadre du S&E du DSRP ; renforcer l’activité de reporting interne du Ministère sur les programmes publics mis en œuvre. Les tâches dévolues à la cellule S&E sont : proposer et mettre en œuvre des activités susceptibles de renforcer l’organisation du système d’information (enquêtes sur l’activité des services, suivi des programmes et projets, suivi budgétaire, suivi des ressources humaines et des équipements,…);

23

construire, gérer et diffuser un tableau de bord sectoriel regroupant les indicateurs essentiels du secteur, dont ceux relatifs aux activités et résultats des programmes/projets; produire les rapports sectoriels de suivi exigés dans le cadre du S&E du DSRP. 2.6. Le niveau local Les actions à proposer doivent partir de cinq constats : le processus de décentralisation est engagé mais les modalités précises de transfert de compétences et de ressources restent encore à préciser ; les capacités de planification et suivi au niveau déconcentré sont structurellement faibles (ressources humaines) et les activités dans ce domaine se heurtent en outre à une pénurie de moyens ainsi qu’à l’enclavement de nombreuses zones pour collecter l’information ; les ministères sont à des degrés très variables dans le processus de déconcentration/ décentralisation des activités de gestion ; les perspectives concernant ce processus varient aussi fortement selon les secteurs : suivi décentralisé des crédits et des activités pour la santé (schéma MINSAN-Districts sanitairesformations sanitaires) et l’enseignement primaire (schéma MINESEB-CISCO), désengagement de l’Etat pour l’eau (Autorité Nationale de l’Eau et Agences des Bassins Versants) ou l’agriculture,… l’appel aux ressources externes pour les activités d’évaluation, en privilégiant le recours à des ONG et associations de la zone d’intervention considérée. En parallèle des actions conduites en vue de décentraliser l’exécution et le suivi des dépenses prioritaires (éducation et santé), deux mesures principales sont proposées pour le S&E des programmes : la constitution de capacités de coordination et de suivi au niveau des six provinces autonomes : elle reposerait sur la mise en place de cellules de S&E régionales au niveau des six Provinces avec un appui extérieur (formation sur le suivi, cadre d’organisation du travail, équipements informatiques et autres moyens de fonctionnement, organisation du travail) ; la promotion de la planification communale sur une base participative : cette mission devrait être confiée à la DGEP. Il s’agirait non pas de diriger le processus mais de capitaliser sur les PDC déjà réalisés ou en cours afin de (i) favoriser les échanges d’expériences, (ii) unifier les démarches, (iii) et consolider les données disponibles.

24

III. LES INSTRUMENTS POUR LE S&E
L’opérationalisation du système de S&E doit s’appuyer sur des instruments clairement identifiés (objectif, contenu, institution responsable) et en nombre limité. L’enjeu est de définir des outils à la fois : pertinents (réponse aux besoins du processus DSRP) ; gérables (faisabilité par rapport à l’information existante et aux capacités institutionnelles) ; et susceptibles de rationaliser la production d’information (par exemple, en assurant une homogénéité de présentation des rapports, matrices, etc et en évitant la publication de rapports en partie redondants). Pour le suivi des programmes, les instruments suivants sont proposés :

1. Documents de méthodologie et d’organisation des activités de S&E
1.1. Le Cadre de suivi et d’évaluation Contenu Ce document détermine les principes du S&E ainsi que le schéma des responsabilités (mission et cahier des charges de chaque institution). Il est complété par les annexes techniques portant sur les matrices d’indicateurs avec un tableau des sources, la définition des concepts, la périodicité retenue pour les différents produits de S&E. Elaboration Il est mis au point et ajusté si nécessaire en fonction des pratiques et progrès observés par le STA en collaboration avec l’INSTAT, les ministères des finances (MFE) et du budget (MBDPA) et les principaux ministères sectoriels concernés. Le cadre, après avis de la Cellule Technique, donne lieu à une concertation élargie, si possible dans le cadre de la procédure d’approbation du DSRP afin d’être annexé au DSRP. 1.2. Le Plan annuel d’évaluation et d’enquêtes Contenu Le plan comprend (i) une liste hiérarchisée des programmes/thèmes d’évaluation ; (ii) une proposition de calendrier pour la réalisation des travaux prioritaires ; (iii) les « fiches d’activité ». La « fiche d’activité » présente de manière synthétique, pour chaque action envisagée (enquêtes, évaluations, études thématiques) : (a) la justification de l’évaluation/enquête, (b) les apports attendus pour le S&E du DSRP, (c) la méthodologie proposée, (d) la durée de l’opération et le calendrier indicatif, (v) les ressources nécessaires (RH et budget). Elaboration Ce plan est préparé avant la fin de chaque année. Les « fiches d’activité » sont préparées par la cellule de S&E du MFE, la cellule de S&E du ou des ministères concernés par le programme ou le thème, et par l’INSTAT. Les fiches sont compilées et le projet de plan annuel préparé par la Cellule du MFE. Après examen du projet de plan annuel avec l’INSTAT et le STA, ce dernier soumet le document à la Cellule Technique pour qu’il soit ensuite validé et incorporé en annexe du DSRP.

25

Le manuel de S&E des programmes et projets Contenu En partant des bases énoncées dans le Cadre de S&E, le manuel de S&E développe les éléments liés aux procédures et instruments utilisés pour le suivi et l’évaluation des programmes et projets. Il contient les définitions de l’ensemble des concepts utilisés, explicite les modalités de collecte de l’information et de remplissage des questionnaires, présente les maquettes des rapports de suivi, précise le calcul des indicateurs de suivi des projets. Son contenu est consacré essentiellement aux mécanismes de S&E effectivement en vigueur et non à la présentation d’une information générique sur les différentes méthodes de S&E (cas actuel du projet de manuel présenté au cours de l’atelier de décembre 2000). Il comporte des exemples pratiques et tient compte des procédures et nomenclatures des principaux bailleurs de fonds. Elaboration L’élaboration du manuel est de la responsabilité de la DG de l’Economie et du Plan mais fait l’objet d’une concertation et validation technique associant les différents ministères techniques. Sa production devrait intervenir après approbation et rodage des éléments de base du système. Des guides partiels de procédures devraient dans l’intervalle constituer les documents de référence, en commençant par (i) un document de codification des procédures ajustées de suivi des projets du PIP, (ii) et un second document regroupant et synthétisant les procédures de S&E des principaux bailleurs de fonds.

2. Les tableaux de bord
2.1. Les Tableaux de bord sectoriels Contenu Les ministères gèrent un tableau de bord selon un format standardisé. Il est constitué de : le tableau d’indicateurs d’impact et de résultats retenus pour le DSRP (avec indication de valeurs pour l’année de base et les cibles proposées par période quinquennale) ; le tableau d’indicateurs intermédiaires retenus pour le secteur dans le DSRP (avec indication de valeurs pour l’année de base, l’année de mise à jour du DSRP et les cinq années suivantes) ; un tableau d’indicateurs sectoriels « secondaires » (suivi des activités et des résultats pour le secteur). Elaboration La préparation des tableaux s’effectuera dans un premier temps au niveau de 2-3 puis 5 ministères prioritaires (cellules S&E). Pour les autres secteurs, l’INSTAT veillera à la centralisation des données pour la préparation de son Tableau consolidé (cf. infra). L’INSTAT a également la mission d’évaluer la méthodologie utilisée pour le calcul des indicateurs et de contrôler les données produites. 2.2. Le Tableau consolidé d’indicateurs Contenu Ce tableau centralise l’ensemble des données relatives aux indicateurs de S&E liés à la mise en œuvre du DSRP. Il est structuré autour de trois groupes d’indicateurs : Indicateurs d’impact et de résultats (indicateurs globaux pour le suivi des objectifs à moyen-long terme du DSRP) ;

26

Indicateurs intermédiaires (corps d’indicateurs essentiels pour les différents secteurs prioritaires mentionnés en annexe du DSRP) ; Indicateurs secondaires (autres indicateurs permettant de suivre les activités courantes et d’investissement réalisées dans le cadre des programmes prioritaires) : indicateurs de résultats ou de processus. Elaboration Le tableau est produit à l’aide d’une base de données économiques, financières et sociales qui regroupent les séries mensuelles (prix, finances publiques,…), trimestrielles et annuelles correspondantes ainsi que les cibles retenues dans le cadre du DSRP ou d’autres documents de référence (politiques sectorielles). Les tableaux d’indicateurs sectoriels sont préparés par les cellules de S&E des ministères. Afin de raccourcir les délais, les tableaux d’indicateurs, après visa du Ministre concerné, communiqués à l’INSTAT. L’INSTAT informera le Premier Ministre, à travers le STA, sur les blocages éventuels rencontrés dans la transmission des données.

3. Les questionnaires
3.1. Les questionnaires de programmation Les questionnaires actuels de programmation PIP et PDP doivent faire l’objet de réajustements pour tenir compte des capacités d’obtention des informations et des manques constatés sur certains points (cadres logiques des projets, indicateurs d’intrants et d’extrants, présentation des sources de vérification,…). Cf. annexe 6. Ultérieurement, la programmation devrait être fondée principalement sur le croisement activité x centre de responsabilité x source de financement. 3.2. Les questionnaires de suivi Contenu La révision proposée porte sur : un questionnaire de suivi trimestriel du PIP simplifié (collecte de l’information pour laquelle on dispose d’un taux de remplissage suffisant et qui donne lieu effectivement à une exploitation); un questionnaire annuel de suivi plus dense comportant trois volets : (i) décomposition des dépenses par nature et affectation (région, service, bénéficiaire,…), (ii) suivi des résultats (indicateurs standard et commentaires), (iii) évaluation des impacts (synthèse des évaluations réalisées, analyse du gestionnaire de projet,…). les supports de la DIP et les supports sectoriels de suivi sont uniformisés. Le Ministère adjoint un questionnaire complémentaire pour ses besoins spécifiques d’information. un questionnaire annuel simplifié au niveau des Provinces. Elaboration/traitement Les questionnaires sont préparés par la DGEP, en concertation avec les ministères techniques qui présentent, de leur côté, une proposition concernant le questionnaire annuel de suivi (fiche annexe pour la collecte des données spécifiquement sectorielles). Les questionnaires sont administrés suivant les procédures actuelles. Dans le cadre institutionnel actuel de la DGEP, il est proposé que la DIP assure, comme elle le fait déjà, la saisie de l’ensemble des informations ainsi que le traitement des données financières. La DDE serait en charge du traitement et de l’analyse des données de suivi relative aux activités et résultats.

27

4. Les rapports
4.1. Le rapport trimestriel de suivi (DSRP) Contenu Le rapport comprend (i) un résumé, (ii) un point de situation par secteur sur les activités réalisées au cours du trimestre écoulé (y compris contraintes rencontrées dans la réalisation des actions) ; (iii) l’analyse des données budgétaires disponibles, (iv) les matrices de suivi des mesures institutionnelles, (v) un tableau des principaux indicateurs trimestriels. Elaboration Le rapport est préparé par le STA (Observatoire de la Pauvreté). 4.2. Le rapport de mise en œuvre du DSRP (annuel) Contenu Le rapport comprend (i) un résumé, (ii) l’analyse du cadrage macro-économique, (iii) l’analyse des activités et performances par secteur et grands programmes (mobilisation, affectation et utilisation des ressources, mesures de politique, résultats des projets), (iii) les matrices de suivi des mesures institutionnelles, (v) le tableau annuel des indicateurs de S&E, (vi) une synthèse des conclusions des évaluations et enquêtes conduites au cours de l’exercice, comme par exemple la mise à jour de l’étude 20-20 et le rapport semestriel d’utilisation des ressources de l’IPPTE.. Elaboration Le rapport est préparé par le STA (Observatoire). 4.3. Le rapport sur la politique d’investissement public (annuel) Contenu Le rapport comprend (i) un résumé, (ii) l’analyse consolidée des données relatives au suivi financier ainsi qu’au suivi des activités et résultats (y compris analyse d’effets macro-économiques de court terme, (iii) une analyse détaillée au niveau des principaux secteurs/programmes (grille PDP), (iv) l’analyse régionale des investissements, (v) les tableaux détaillés sur l’exécution financière et sur les résultats physiques consolidés. Elaboration L’élaboration du rapport d’exécution du PIP relève de la DGEP/MFE sur la base des informations transmises par les ministères techniques (et les provinces).

28

4.4. Le dossier de synthèse pour le suivi administratif des projets Contenu Le document est un dossier de synthèse pour soumission au Conseil des Ministres. Il contient l’information périodique sur les principaux blocages et problèmes rencontrés dans la mise en place ou l’exécution des grands projets. Elaboration Le dossier est produit trimestriellement par la DGEP qui tiendra compte de ses différents canaux d’information (informatisations des bailleurs via la DDE, la DCIS, la DIP et la DCAE ; information des secteurs via la DIP). Les réunions mensuelles organisées sous l’égide de la DIP seront particulièrement mises à profit pour la constitution du dossier. Comme il s’agit plutôt de « suivi administratif », la Cellule de S&E du MFE n’aura pas de rôle particulier à jouer ici. Cette procédure paraît préférable à la constitution d’un nouveau comité de type Comité de suivi et de relance des investissements. D’autres rapports sont évidemment produits au niveau des plans d’action sectoriels, des programmes d’aide spécifique, des actions de communication autour du DSRP, etc. Le STA et la DGEP/MFE devront veiller à harmoniser les diverses exigences de reporting.

29

PRODUITS DE REPORTING

Cadre de suivi et d’évaluation

?

détermine les principes du S&E, le schéma de STA responsabilités INSTAT annexe le bilan des activités de S&E de l’exercice, les DGEP/MFE matrices d’indicateurs, la planification des activités nouvelles de S&E liste hiérarchisée des programmes/thèmes d’évaluation ; « fiches de projet » des travaux à réaliser/financer

Plan d’évaluation et d’enquêtes (annuel)

?

STA INSTAT MFE

Tableau consolidé d’indicateurs (annuel) Tableaux de bord sectoriels (annuel)

? ?

centralise l’ensemble des données relatives aux INSTAT indicateurs de S&E liés à la mise en œuvre du DSRP indicateurs intermédiaires (indicateurs sectoriels essentiels du DSRP) avec réalisations depuis l’année de base et cibles annuelles sur les 5 prochaines années indicateurs secondaires (réalisations)

Ministères techniques Opérateurs sectoriels, projets,… STA INSTAT MFE, MBPA Ministères techniques prioritaires

Rapports de suivi trimestriels sur la mise en œuvre du DSRP

?

point de situation par secteur des activités réalisées analyse des données budgétaires matrice de suivi des mesures institutionnelles tableau d’indicateurs trimestriels

Rapport annuel sur la mise en œuvre du DSRP

?

analyse du cadrage macro-économique analyse des performances par secteur et grands programmes matrices de suivi des mesures institutionnelles tableau annuel des indicateurs de S&E synthèse des conclusions des enquêtes et évaluations de conduites au cours de l’exercice synthèse des performances en termes d’exécution financière, d’activités réalisées, et de résultats analyse économique des investissements analyse détaillée par secteurs et grands programmes éléments d’analyse sur les résultats et impacts des programmes sur la réduction de la pauvreté analyse régionale des investissements tableaux détaillés d’exécution financière et physique

STA INSTAT Tous Ministères Provinces Opérateurs privés Société civile MFE Ministères techniques Provinces

Bilan annuel des programmes de développement

?

Rapports d’enquêtes

?

Rapports des enquêtes sur les ménages (ELM, INSTAT EDS/MICS,…), enquêtes sur l’ emploi, enquêtes sur le Autres opérateurs secteur informel, enquêtes qualitatives (perception de la pauvreté, impact des programmes publics,…), etc.

30

5. Le Réseau national de suivi et d’évaluation
L’évaluation est une fonction qui doit certes se développer au sein des administrations publiques mais elle requiert également « indépendance de jugement et recours à des ressources d’expertise extérieure ». Pour développer les pratiques et les échanges autour de l’évaluation des programmes de développement - et plus généralement des politiques publiques, il faut mettre divers acteurs en relation. La création d’un réseau national de suivi et évaluation peut représenter un instrument puissant pour diffuser les diverses analyses portant sur la pauvreté ainsi que l’efficacité des actions de développement et mesures publiques destinées à la combattre. Ce réseau pourrait être constitué sur une base associative (à l’instar du Réseau des Observatoires Ruraux) et regrouper, sur le principe d’une adhésion volontaire, les structures concernées de l’administration, l’Observatoire de la pauvreté (STA), l’INSTAT, l’Université, les centres de recherches, le CREAM, des ONG. Dans un premier temps, celui-ci pourrait s’appuyer sur trois objectifs immédiats : constituer autour d’un pôle Observatoire/STA-INSTAT-CREAM-CSE/MFE- une activité régulière de diffusion d’informations et d’analyse opérationnelle ; créer, sur la base de listes de diffusion, une circulation des rapports d’analyse et d’évaluation rendus publics et favoriser les échanges d’analyses ; constituer un site web (ou s’appuyer sur le site en cours de rodage au niveau du STA/SNAD9) sur lequel seraient rendus disponibles les différents rapports et enquêtes relatives à la pauvreté et à la mise en œuvre du DSRP. Les animateurs du réseau devraient tirer partie des principaux sites existants sur le suivi et l’évaluation (cf. annexe 8) pour densifier le contenu des produits du réseau national.

9

Initiative appuyée par le PNUD. La localisation et la gestion du site restaient encore à préciser au moment de la mission.

31

IV. PLAN D’ACTION
La mise en place du dispositif, dont les grandes lignes viennent d’être proposées, doit s’effectuer de manière progressive. A cet égard, pour ce qui concerne le S&E des programmes et projets, on distinguera : une première étape (2002 à mi-2003), au cours de laquelle on cherchera surtout à améliorer le cadre existant du suivi des investissements publics en renforçant les capacités techniques des services concernés (formation des cadres, informatisation), en ajustant les instruments de suivi des projets et en améliorant la qualité des produits (rapports d’exécution, analyses, tableaux de bord,…) et leur diffusion. Le développement de l’évaluation s’effectuera principalement à travers la réalisation d’études et le test de certaines initiatives (Réseau national S&E, missions multidonateurs, etc) ; une seconde étape (à partir de 2004) : Cette seconde étape devrait donner lieu à une refonte plus radicale des procédures de programmation et donc de suivi. Tout en conservant certains des outils du suivi des projets et en bénéficiant de l’amélioration espéré du circuit d’information, il est souhaitable d’adapter les instruments à la double logique de l’intégration budgétaire et de la décentralisation. Cette dernière nécessite à la fois de programmer les investissements comme le fonctionnement en référence à une triple nomenclature (nature économique, centre de responsabilité, fonction). On développera ici le plan d’action concernant la première étape.

1. Plan d’action 2002
Le plan d’action s’organise autour des points suivants : Finalisation du DSRP (cadre général de référence pour le S&E des programmes et projets) ; Mise en place de l’Observatoire de la pauvreté ; Mise au point du système de gestion des indicateurs ; Opérationalisation des Cellules de S&E ; Institution d’une nouvelle procédure d’enquête pour le suivi des projets du PIP ; Renforcement des autres mécanismes de suivi des projets ; Production du Rapport sur la politique d’investissement public – 2001 ; Audit informatique ; Autres mesures. Les quatre premiers jouent un rôle important dans le renforcement du S&E des projets mais relèvent du cadre général de S&E du DSRP. Les autres points concernent plus spécifiquement le S&E des projets. 1.1. Appui aux travaux de finalisation du DSRP La finalisation du DSRP conditionne le lancement d’une opération d’appui au S&E des programmes et projets. Les besoins principaux concernent : la production du cadrage macro-économique à moyen terme ; l’amélioration de la qualité des stratégies présentées dans le corps du document de DSRP complet (présence d’une véritable stratégie de croissance, priorisation des actions publiques, ciblage des programmes,…); 32

la budgétisation des plans d’action (programmation budgétaire consolidée et besoins de financement liés à la SRP). Outre la mise à disposition d’un cadre stratégique cohérent et de qualité, l’enjeu est l’appropriation du processus DSRP par les différents acteurs nationaux, à commencer par les institutions chargées de mettre en œuvre les politiques publiques. Tout en évitant toute forme d’assistance de substitution, un appui extérieur est justifié dès lors qu’il est centré sur des aspects de méthodologie, d’outils et d’organisation des travaux. Sur la base des propositions actuelles (ébauche d’un cadre institutionnel pour le S&E, observatoire de la pauvreté, système d’indicateurs, éléments spécifiques concernant le S&E des projets), le PNUD pourrait appuyer le gouvernement à trois niveaux : l’élaboration et la validation du cadre d’organisation du S&E du DSRP ; la mise au point du système d’indicateurs du DSRP (cf. 1.3) ; l’élaboration des matrices - harmonisées et reprenant l’ensemble des priorités de la Stratégie de Réduction de la Pauvreté – et la budgétisation des actions prioritaires. 1.2. Mise en place de l’Observatoire de la Pauvreté Compte tenu du rôle qu’il est amené à jouer dans le dispositif de S&E, la mise en place de l’Observatoire de la Pauvreté s’inscrit naturellement dans le plan d’action. Après remise des propositions initiales (rapports Charmes et Dubois), il convient de passer aux étapes suivantes avec : la formalisation d’un cahier des charges détaillé (mandat, organisation du travail, fiches de postes, budget) et sa validation ; le recrutement des experts nationaux ; la mise au point du plan de travail pour 2002 ; la réalisation d’un atelier de présentation. Dans la mesure où il ne s’agit pas de créer une structure nouvelle, l’opérationnalisation de l’Observatoire devrait être rapide, permettant ainsi au STA de disposer de capacités renforcées pour suivre la mise en œuvre du DSRP. L’équipe devrait inclure deux des experts déjà en poste (macro-économiste et consultante appuyant la préparation du DSRP) et s’enrichir de deux experts complémentaires (un économiste-statisticien et un expert en politiques sociales). L’équipe de l’Observatoire mettra dans un premier temps l’accent sur les activités suivantes : consolidation des supports méthodologiques (y compris maquette des rapports) et des circuits de remontée de l’information (MEF, MBPA, MT, INSTAT) ; planification des activités de suivi du DSRP ; préparation des rapports trimestriels de suivi ; coordination des travaux de collecte des données conduits par les cellules sectorielles de S&E, le MFE et le MBDPA ; collaboration avec l’INSTAT sur les activités liées à la production des tableaux d’indicateurs et à l’analyse des enquêtes ; organisation d’ateliers régionaux et nationaux autour des travaux sur le suivi de la pauvreté. Dans un second temps (à un horizon d’au moins trois ans), l’Observatoire de la Pauvreté pourrait être amené à étendre son champ d’activités en s’appuyant sur le Réseau national de S&E. Au mandat initial de suivi de la pauvreté viendrait s’ajouter un mandat plus tourné vers l’identification et la 33

diffusion des bonnes expériences conduites localement, en assurant un rôle essentiel aux initiateurs de ces projets dans l’information/formation des autres communautés. Un accent important serait alors mis sur les supports d’information (lettres d’information, supports pédagogiques, échanges d’expériences,…). 1.3. Mise au point du système de gestion des indicateurs Il est proposé la mise au point d’un système de gestion des indicateurs de suivi (cf. III). Celui-ci reposera d’une part sur un corps d’indicateurs de moyen-long terme (indicateurs d’impacts et principaux indicateurs de résultats assortis d’objectifs quantifiés – cibles – à horizon 2005-20102015), d’autre part sur des tableaux de bord sectoriels comportant les indicateurs intermédiaires faisant l’objet d’un suivi annuel. Les indicateurs d’activité et de résultats des projets s’intègreront dans ce second ensemble. Des propositions partielles sont contenues dans le rapport (annexe 5). Les tableaux seront préparés par les cellules sectorielles de S&E et l’INSTAT qui sera en charge de la centralisation de l’ensemble des données relatives aux indicateurs de S&E liées à la mise en œuvre du DSRP. Un premier choix des indicateurs devrait être retenu pour le DSRP complet. Les travaux devraient être poursuivis au cours de 2002 : introduction des indicateurs liés aux projets, explicitation des modalités de calcul, codification des protocoles d’échanges d’information, etc. 1.4. Mise en place des Cellules S&E Les textes seront préparés pour la création des cellules de S&E rattachées aux Secrétaires Généraux respectivement au sein du Ministère des Finances et de l’Economie et d’un nombre limité de ministères-clés (dispositif testé sur quatre secteurs : Santé, Education, Eau & assainissement, Agriculture). Les cellules sectorielles disposeront d’un mandat identique : (i) centraliser l’information de suivi (information financière, projets, mesures institutionnelles, résultats d’enquêtes,…) ; (ii) gérer les tableaux de bord sectoriels prédéfinis en accord avec le STA et l’INSTAT, (iii) rédiger les rapports périodiques de suivi propres aux actions sectorielles du DSRP. Les cellules sectorielles S&E devraient logiquement prendre en charge les activités liées à l’initiative 20-2010. La cellule de S&E du MEF sera, pour sa part, spécialisée dans le suivi des projets et la centralisation/synthèse des rapports d’évaluation. La création de cellules régionales apparaît en revanche prématurée compte tenu des préalables nécessaires (définition des responsabilités, mise à disposition des ressources financières et humaines,…).

1.5. Institution d’une nouvelle procédure d’enquête pour le suivi des projets du PIP Les activités à conduire comprennent : l’analyse « quantitative » de la base de données DIP et d’un échantillon de fiches de suivi (évaluation des taux de renseignement des informations demandées et de leur qualité) ;
10

Le dernier rapport concernant l’initiative propose la création de cellules techniques du 20-20, susceptibles de regrouper à peu près les mêmes personnes et dont le rôle serait « de sensibiliser les responsables sur la gestion de l’initiative 2020 et de produire un mémorandum faisant état annuellement de la situation du 20-20 (niveau des allocations budgétaires et leur incidence sur les pauvres».

34

l’adoption d’un nouveau questionnaire standard de suivi des projets, annuel, axé sur les résultats et assorti d’une annexe sectorielle ; l’adoption simultanée d’un questionnaire trimestriel simplifié centré, lui, sur le suivi financier (utilisé pour le suivi des trimestres 1 à 3) ; le test du questionnaire complet sur 2 secteurs (santé, éducation) assorti d’une grille d’entretien avec les chefs de projets, l’information sur les autres secteurs étant collectée sur questionnaire simplifié ; l’analyse et la préparation d’un rapport d’enquête, base pour la production du rapport sur le PIP (cf. 1.7). Ce dernier sera testé sur trois ministères début 2002 (MINESEB, MINSAN, MINAGRI) dans le cadre du bilan de l’exercice 2001. Après évaluation de l’opération, le questionnaire développé sera étendu en 2003 à d’autres Ministères (ministères chargés de l’eau & assainissement, de l’élevage, de l’environnement, de la protection sociale,…) avant d’être généralisé l’année suivante. Les questionnaires de programmation (annuels) devront également faire l’objet d’une altération sur trois points : (i) présentation des données de base sous forme d’un cadre logique homogène), (ii) introduction d’un nombre limité d’indicateurs de résultats et d’impacts prédéfinis, (iii) évaluations programmées. 1.6. Renforcement des autres mécanismes de suivi des projets Les activités connexes comprennent : l’amélioration du suivi financier par une meilleure utilisation des points de centralisation comptable (Dir. Dette Extérieure, DCAE, PGT,…) ; la production trimestrielle du dossier de synthèse (suivi « administratif » des projets) (voir : III); l’amélioration de la gestion des conventions : exhaustivité du fichier DIP (circuit des documents); suivi des échéanciers (exploitation des données de début/fin initiales et actuelles) ; consolidation des données sur les engagements et établissement des ratios de décaissements) ; étude de faisabilité d’un archivage électronique des accords pour faciliter la conservation et la diffusion des documents ; la relance des missions de suivi de terrain DGEP (plan de travail, budget) ; l’étude de mécanismes complémentaires susceptibles d’être mis en place à partir de 2003. S’agissant du dernier point, il est proposé de développer des propositions techniques et de les tester tant au niveau du gouvernement que des bailleurs de fonds : développement de l’utilisation des nomenclatures (grilles de passage nomenclature des dépenses par nature/PCOP et codifications bailleurs, test sur l’application des nomenclatures fonctionnelles et par centres de responsabilité,…) ; mécanisme de suivi des engagements initiaux sur les programmes et accords de financement ; circuit des études et rapports ; procédure accélérée de passation des marchés pour les projets prioritaires (proposition de l’étude 20-20) ; constitution de cellules de coordination et suivi des programmes dans les provinces en appui aux Comités Régionaux de Développement ; procédures de décentralisation des fonctions de suivi physique et financier pour les projets du PIP à fort ancrage régional (à tester sur une province) ; dispositif simplifié de suivi de l’assistance technique (expertise nationale et internationale) ; suivi des immobilisations des projets ; revues annuelles des programmes étendue à l’ensemble des bailleurs de fonds et synthèse des recommandations ; concertation annuelle gouvernement-bailleurs sur la gestion du cycle des projets et les problèmes principaux de mise en œuvre ; 35

conférence des chefs de projets (tous les 2 ans) ; missions d’évaluation conjointes de plusieurs bailleurs sur les programmes à objectifs identiques ; 1.7. Production du Rapport sur la politique d’investissement public - 2001 Ce bilan sera préparé au cours du 1er semestre 2002 et devra être publié au plus tard en mai. Il fera l’objet d’une communication en Conseil des Ministres et d’une présentation à l’Assemblée Nationale. Le travail reposera sur les étapes suivantes : définition de la maquette du rapport et mise en place d’un comité de rédaction ; inventaire et exploitation des rapports et états de suivi des projets disponibles (seront également recensés les rapports d’évaluation réalisés en 2001) ; utilisation des résultats de l’enquête sur les projets (cf. 1.4) ; rédaction du projet de rapport ; atelier de présentation du rapport pour validation technique ; validation politique (Ministre des Finances et de l’Economie). 1.8. Audit informatique A côté de l’exploration de la base de données, il est suggéré la réalisation d’un audit rapide du système informatisé pour la gestion du PIP avec deux objectifs essentiels : étudier les variantes possibles et les coûts d’une adaptation de l’application DIP aux nouveaux besoins de suivi (préparation préalable des spécifications nouvelles) ; étudier la faisabilité et le coût d’une application d’interface à implanter dans les principaux ministères techniques afin d’unifier/développer les bases de données DIP et sectorielles et supprimer les double saisies. 1.9. Autres mesures Les autres actions proposées pour 2002 comprennent : la production d’un manuel de procédure de S&E – version zéro (regroupement des informations relatives aux procédures révisées de programmation et suivi du PIP, au suivi des conventions, aux nomenclatures, définition des indicateurs de projets,…) ; la révision des supports de programmation ; la réalisation d’ateliers de formation sur des thèmes prioritaires ; la préparation d’un plan de formation pluri-annuel sur le S&E. A ce stade, cinq modules prioritaires pourraient faire l’objet d’ateliers dès 2002 : Concepts et méthodes de S&E et sensibilisation au rôle de l’évaluation dans la gestion publique (décideurs) ; Procédures de S&E des principaux bailleurs de fonds (cadres ministères) ; Suivi local des programmes (services déconcentrés / provinces) ; Indicateurs de suivi des activités et résultats (sectoriels) ; Méthodes d’évaluation et mise en œuvre (OA, CSE/MFE, CSE/MT).

2. Actions ultérieures
Le dispositif de S&E fera l’objet d’une évaluation fin 2002, si possible appuyée par une assistance multi-bailleurs (PNUD, Banque Mondiale, Union Européenne). Celle-ci permettra de tirer les

36

premières leçons de cette année-test, d’évaluer les révisions ou innovations apportées au S&E des projets et de faire le point sur les propositions techniques complémentaires (cf. 1.6). Elle devrait déboucher sur la formulation d’un plan à moyen terme pour étendre/consolider le suivi des résultats et l’évaluation des impacts des politiques publiques. Le lancement de ce plan devrait coïncider avec le démarrage du PAIGEP II (Banque Mondiale), principal contributeur potentiel pour le développement du système de S&E des politiques publiques dans le cadre du DSRP. Le PNUD pourrait financer, dans le cadre de son nouveau cycle de programmation, les volets suivants : consolidation du système de reporting pour le suivi du DSRP (rapports trimestriels et annuel) ; plan de formation sur le S&E (co-financement) ; développement du système de gestion des indicateurs ; production du Plan annuel d’évaluation et d’enquêtes (à partir de 2003) ; mise en place du Réseau National de Suivi et Evaluation ; « régionalisation » du PIP et institution des cellules de coordination et suivi des programmes dans les provinces ; concertation annuelle gouvernement-bailleurs sur la gestion du cycle des projets et les problèmes principaux de mise en œuvre ; évaluations thématiques « multi-projets ».

37

Calendrier estimatif

Activités 1. Appui aux travaux de finalisation du DSRP (y.c Cadre de S&E) 2. Mise en place de l’Observatoire de la Pauvreté : cahier des charges ; validation du dispositif ; recrutement des experts plan de travail 2002 atelier de présentation élaboration des rapports trimestriels de suivi 3. Système de gestion des indicateurs : sélection des indicateurs mise au point des tableaux de bord protocoles d’échanges d’information et documentation des indicateurs (méta-données) validation du système 4. Mise en place des Cellules de S&E élaboration des textes mise en place Cellule S&E – Ministère des Finances et de l’Economie mise en place Cellules S&E – 3-4 Ministères tec. 5. Nouvelle procédure d’enquête pour le suivi des projets : analyse « quantitative » de la BD/PIP test et adoption des nouveaux questionnaires standard rapport d’enquête 6. Renforcement des autres mécanismes de suivi des projets : appuis / suivi financier, dossier de suivi administratif, gestion des conventions, relance des missions de suivi physique études techniques 7. Rapport sur la politique d’investissement public – 2001 : maquette du rapport ; comité de rédaction inventaire et exploitation des rapports des projets utilisation des résultats de l’enquête atelier de présentation publication du rapport 8. Audit rapide du système informatisé des projets étude des variantes et budgétisation (faisabilité pour l’adaptation/extension de l’application actuelle) 9. Autres mesures : révision des supports de programmation PIP/PDP manuel de S&E (version 0) élaboration d’un plan de formation pour le S&E

Structures responsables STA/SNAD STA

Echéance Nov.01/ Janv.02

Appuis à voir

Janv.02 Fév.02 Mar.02 Avr.02 Avr, Juil., Sept. STA, INSTAT Janv.-Fév.02 Mar. 02 Avril-Juin.02 Juil. 02 STA, INSTAT, DGEP Avr. 02 1er sem.02 2e sem. 02 DGEP Janv. 02 Fév. 02 Mar. 02 DGEP Janv.-Déc.02

CI (0,5 hm) 2 experts nat. fonctionnement

CI (1,5 hm) CN (3,0 hm)

CN (1,0 hm)

cf. 7.

CI (1,0 hm) CN (3,0 hm)

Janv.-Déc.02 DGEP Fév. 02 Janv.Mar. 02 Mar.Avr.02 Avr. 02 Mai.02 DGEP Aout. 02 DGEP/STA Avr. 02 Déc. 02 Oct.02 CI (0,5 hm) CN (2,0 hm) CN (1,0 hm) (activités 5 et 7) CI (1,5 hm) CN (6,0 h/m)

38

ANNEXES

ANNEXE 1 : Termes de référence
I - Contexte L'importance de la pauvreté à Madagascar a conduit le gouvernement et les partenaires internationaux à retenir comme objectif principal la réduction de la pauvreté. Dans la situation actuelle, outre la définition de programmes/projets cohérents, il importe de mettre en place un système de suivi et d'évaluation pour permettre d'apprécier leur contribution à la réduction de la pauvreté. Pour la mise en place du système de suivi et d'évaluation, à l'issue d'un diagnostic de la situation du suivi et de l'évaluation, il a été retenu (i) de s'appuyer sur les départements ministériels, lesquels sont dotés soit d'une direction soit d'un service en charge des programmes/projets au niveau de leur secteur respectif, et (ii) de confier l'organisation des travaux pour la mise en place du système à la Direction du Développement Economique (DDE) du Ministère des Finances et de l'Economie. La fonction de suivi et d'évaluation étant une fonction nouvelle au niveau des administrations ministérielles et régionales, dans un premier temps un noyau de formateurs composé de cadres issus de la (DDE), des principaux ministères techniques (santé, éducation, agriculture, élevage, pêche, environnement, travaux publics…), des ONGs et des Institutions de formation, a été constitué. Ce noyau de formateurs a suivi une formation dispensée par le Washington International Management Institute. Le programme de la formation a été divisé en une partie théorique sur les concepts, méthodes et techniques et une partie pratique portant sur des applications sur des projets en cours ou achevés. A l'issue de cette formation, la DDE a élaboré un projet de manuel de suivi et d'évaluation. Pour une vision sectorielle, outre les outils liés au suivi et à l'évaluation des projets/programmes et permettant d'apprécier leurs performances, une proposition d'instruments pour une appréciation de la contribution de l'ensemble des projets/programmes et actions menées à la réalisation des objectifs sectoriels a été intégrée dans le manuel. Le souci d'une vision sectorielle répond à la nécessité d'analyser la complémentarité des actions menées en partenariat ou réalisées par les propres moyens des institutions nationales. En effet, à un niveau sectoriel, l'atteinte d'un objectif peut être la conjugaison des résultats de divers programmes/projets. Il en est de même au niveau national. Sur la base du projet de manuel, un atelier a été organisé à l'endroit des cadres des ministères techniques. L'encadrement de la formation a été assuré par la DDE. L'atelier visait deux objectifs, d'une part la connaissance des concepts, techniques et méthodes de suivi et d'évaluation des projets/programmes par les participants et d'autre part, l'examen des différents instruments pour le suivi et l'évaluation au niveau sectoriel. Les instruments qui sont présentés dans le manuel sont : Au niveau des programmes/projets : le cadre logique ; le rapport de suivi ; le rapport d'évaluation Au niveau sectoriel : le cadre sectoriel consolidé ; le rapport annuel Au niveau national : le rapport national A l'issue de cet atelier, il a été demandé aux départements ministériels d'élaborer les cadres logiques de tous les projets/programmes ainsi que le cadre sectoriel consolidé. La conception de ces deux outils constitue des préalables aux activités de suivi et d'évaluation. Actuellement, les départements sont en train d'élaboration de ces deux outils. Les actions menées jusqu'à présent ont porté sur une initiation aux différentes tâches requises par le suivi et l'évaluation. Par ailleurs, les activités en cours visent à tester différents les deux outils (cadre logique et cadre sectoriel consolidé) proposés dans le manuel. II - Objectif et résultats attendus de l'intervention Dans la réalisation de l'exercice, les difficultés rencontrées par les départements techniques sont : Au niveau conceptuel : (i) la définition et l'analyse des différents objectifs et indicateurs au niveau sectoriel et des programmes/projets; (ii) la consolidation et coordination des différents programmes/projets et particulièrement l'analyse de l'articulation des objectifs des programmes/projets aux objectifs sectoriels et nationaux; (iii) la confection des cadres logiques pour certains projets/programmes; (iv) l'exploitation du cadre sectoriel consolidé.

Au niveau des informations : (i) la collecte et la production des indicateurs compte tenu des faiblesses des systèmes d'informations ; (ii) la production des différentes informations par les projets/programmes; Au niveau organisationnel et opérationnel : (i) l'harmonisation des outils de suivi au niveau des programmes/projets ; (ii) les modalités du suivi et de l'évaluation en considération des différentes procédures des bailleurs de fonds. Deux autres aspects méritent d'être approfondis et améliorés. Il s'agit (i) de l'organisation du suivi et de l'évaluation et (ii) des différents outils. Les aspects institutionnels et les mécanismes restent à préciser. L'organisation du système (rôle des intervenants, tenue des réunions, retro information, etc.…) de l'identification et la production des différents indicateurs à l'élaboration et la production des différents rapports aux différents niveaux (projets/programmes, secteurs, national) ne sont pas clairement définis. En ce qui concerne les outils, les difficultés rencontrées par les ministères techniques dans leur exploitation justifient leur amélioration ou la proposition d'outils plus appropriés. Les objectifs de l'intervention du Consultant International sont : d'évaluer la pertinence et l'efficacité des outils préparés par les ministères (faisabilité technique, capacité des ressources humaines, coûts de la mise en œuvre, cohérence avec les autres outils de suivi…) d'appuyer les ministères dans l'amélioration des outils, de proposer des modalités d'opérationalisation du système de suivi et d'évaluation. Les résultats attendus sont : Compréhension du rôle et responsabilité des différents intervenants au niveau du système de suivi et d'évaluation Disposition d'un cadre organisationnel du système de suivi et d'évaluation Disposition d'un mécanisme de suivi à tous les niveaux (projets/programmes, sectoriels, national) Disposition d'outils et d'instruments de suivi appropriés. III - Mandat du consultant Compte-tenu des objectifs et des résultats attendus de l'intervention du consultant international, il aura à travailler au niveau des principaux secteurs et de la DDE. Ses tâches porteront sur le développement et l'harmonisation des outils de suivi et d'évaluation et la définition de l'organisation du système. Par ailleurs, il aura à évaluer les capacités aux différents niveaux pour assurer le bon fonctionnement du système de suivi et d'évaluation. Il aura entre autres à : définir le cadre organisationnel du suivi et de l'évaluation. Ce cadre précisera entre autres : (i) l'organisation institutionnelle ; (ii) les relations entre les différents intervenants du système ; (iii) les missions, attributions et tâches des différents intervenants ; (iv) les différents mécanismes pour assurer le suivi et l'évaluation à tous les niveaux ; (v) l'organisation du système d'informations requis pour appuyer les activités de suivi et d'évaluation. élaborer et harmoniser les différents outils/instruments pour le suivi et l'évaluation Au niveau des secteurs analyser les différents outils/instruments utilisés pour le suivi et l'évaluation et proposer des outils/instruments appropriés analyser les différents indicateurs sectoriels et catégoriser les indicateurs selon les activités de suivi et d'évaluation

ii

analyser les différents systèmes d'information et formuler des recommandations pour une meilleure performance et harmonisation des travaux de collecte, d'analyse et de production des indicateurs de suivi et d'évaluation Au niveau national définir la nature et le contenu des différents outils/instruments requis pour le suivi et l'évaluation. analyser les différents systèmes d'information et formuler des recommandations pour une meilleure performance et harmonisation des travaux de collecte, d'analyse et de production des indicateurs de suivi et d'évaluation. A l'issue de son intervention, le consultant produira un rapport qui comprendra quatre parties : Une première partie qui portera sur l'évaluation de l'existant Une deuxième partie qui portera sur une proposition d'organisation du système de suivi et d'évaluation Une troisième partie qui portera sur une proposition d'outils améliorés de suivi et d'évaluation Une quatrième partie qui comprendra un plan d'actions pour la suite des activités. IV - Organisation Le consultant travaillera sous la supervision de l'Unité Economique du PNUD et du Coordonnateur National. Son rapport sera soumis pour validation au MFE, à l'Unité économique du PNUD et au Bureau de Coordination du Programme. La mission du consultant sera complémentaire à la mission de deux statisticiens pour la mise en place de l'Observatoire de la pauvreté et qui se tiendra au cours de la même période.

iii

ANNEXE 2 : Personnes rencontrées
Primature M. Samimiadana Daniel Ramarokoto, Président du STA (Secrétariat Technique à l’Ajustement) Mme Fanja Rakotondrainibe, Consultante, STA, Cellule technique chargée de l’élaboration de la SRP Ministère des Finances et de l’Economie M. Guy Gabriel Razafinony, Directeur Général de l’Economie et du Plan Mme Arlette Rakotondrazafy, Directeur du Développement Economique Mme Colette Rajaorison, Chef du Service du Suivi et Evaluation des Programmes et Réformes Economiques, DDE Mme Sahondra Rambolanomenahosolo, Chef du Service du Suivi de la Coopération Technique, DDE M. Andriantsoa Rajaoberison, Chef du Service des Relations Economiques Internationales et Régionales, DDE M. Eugène Razakanaivo, Chef du Service de Suivi de la Gestion et de la Capacité d’Absorption Economique, DDE M. Modeste Raveloson, Directeur de la Planification Globale et Evaluation M. Ranoromambasoa Bodoxafy Lalao, Directeur de la Coordination des Aides Extérieures Mme Jeanne Rasoavololona, Directeur des Investissements Publics M. Hery, DIP M. Christian Raharinesy, Responsable informatique, DIP Mme Safara, Directrice de la Coordination des Interventions Sociales Ministère du Budget et du Développement des Provinces Autonomes M. Hery Randrianasolo, Chef du Service de l’Administration Générale, DG de la Programmation Budgétaire et des Dépenses. Institut National de la Statistique (INSTAT) M.Philippe Rajaobelina, Directeur Général de l’INSTAT M. Jean Razafindravonona, Directeur des Statistiques des Ménages (032.07.81075) Ministère du Tourisme M. Blandin, Ministre du Tourisme, Président de la Cellule Technique DSRP Ministère de la Santé M. Dieudonné Rabeson, Directeur des Etudes et de la Planification M. Rémi Rakotomalala, Chef du Service des Informations Sanitaires pour la Gestion, DEP Mme Viviane, DEP M. Josué Lala Andriamanantsoa, Chef du Service des Etudes, de la Planification et de l’Evaluation (SEPE), DEP Ministère de l’Enseignement Secondaire et de l’Education de Base M. Dominique Fofa, Directeur des Services Financiers M. Albert Rafalimanana, Directeur de la Planification de l’Education M. Rolland Rabeson, Chef du Service de la Programmation et de l’Evaluation Ministère de l’Energie et des Mines M. Rakotoarimanana, Directeur de l’Eau Mme Razanami Haja, Direction de l’Eau M. Jean Herivelo Rakotondrainibe, Conseiller technique Projet M. Claude Sauveplane, Conseiller interrégional, Ressources en eau, UN/DESA

Ministère de l’Agriculture Mme Félicie Ravaoarisoa, DPB, Chef du Service de la Programmation et des Investissements Ministère de l’Elevage M. Rabenoro Ramaherison, Chef de Service de la Programmation et du Financement Mme_, SPF M. _, conseiller technique Ministre de l’Elevage Ministère des Travaux Publics M. , Chef du Service de la Planification et de la Programmation M. Bruno Rakotondraiaka, Chef du Service de Suivi des Projets Programme de Gouvernance et Politiques pour un Développement Humain Durable M. Narisoa Rajaonarivony, Coordonnateur National M. Patrick Ramanantoanina, Expert en Gestion Economique Mlle Ialy Rasoamanana, Economiste PNUD M. Adama Guindo, Représentant Résident Mme Ruby Sandhu-Rojon, Représentant Résident Adjoint M. Gilbert Aho, Economiste principal Mlle Salohy Irodia, Economiste national Banque Mondiale M. Jesko Hentschel, Senior Economist M. Dieudonné Randriamanampisoa Mlle Emanuela Galasso M. Borge Fwietzke Fonds Monétaire International Mlle Noro Aina Andriamihaja, Economiste Union Européenne Mlle Anja Nagel, Economiste USAID M. Steve Haykin, Directeur adjoint USAID M. Georges Ranaivomanana, Chargé du suivi et de l’évaluation France M. Gilbert Wernert, Conseiller économique SCAC, Ambassade de France

ii

ANNEXE 3 : Documents consultés
Document intérimaire de Stratégie de Réduction de la Pauvreté. République Malgache. Octobre 2000. Document complet de Stratégie de Réduction de la Pauvreté. République Malgache (1er draft). Octobre 2001. Diagnostic et organisation du système de suivi et évaluation des programmes et projets, WIMI, Bruno Mukendi. Septembre 1999. Management du suivi et de l’évaluation des programmes et projets de développement, WIMI, Bruno Mukendi, Octobre 1999. Atelier de réflexion sur le suivi et évaluation (11-15/12/00). Manuel et Rapport final. MFE/SG/DGEP/DDE, PNUD. Décembre 2000. Les sources des statistiques sociales à Madagascar et l’élaboration d’un Tableau de Bord Social. Document n°6. Cellule technique/SNAD/ STA, INSTAT, PNUD Octobre 2000. Tableau de Bord Social. Ministère des Finances et de l’Economie, INSTAT, PNUD. Décembre 2000. Inventaire des enquêtes et études sur la pauvreté à Madagascar. Document n°10. Cellule technique/SNAD/ STA, PNUD. Décembre 2000. Madagascar : Coopération au développement – Rapport 1999. Ministère des Finances et de l’Economie, PNUD. Edition 2000. Initiative 20-20 : mise à jour de l’étude de 1998 pour Madagascar. Rapport final. République de Madagascar, PNUD. Juin 2001. Note sur la préparation du Programme d’Investissement Public 2002-2004. MFE/DGEP/DIP.Mai 2001. Appui à la mise en place d’un système national intégré de suivi de la pauvreté – secteur Education. Cellule technique/SNAD/ STA, Ministère de l’Enseignement Secondaire et de l’Education de base, PNUD. Décembre 2000. Suivi et évaluation : secteur Education. Ambatondrazaka, Toamasina, Fianarantsoa, Mahajanga, Antsiranana, Toliara. Rapport n°24. Ministère des Finances et de l’Economie, DGEP. Mai 1998. Annuaire des statistiques du secteur Santé de Madagascar- 1999. Ministère de la Santé, Direction des Etudes et de la Planification. Mai 1999. Carte Sanitaire de Madagascar – Année 2000 (6 Provinces). Ministère de la Santé. Rapport biennum de synthèse des activités réalisées 1997-1998. Ministère de la Santé. Mai 1999. Appui à la mise en place d’un système national intégré de suivi de la pauvreté – secteur Santé. Cellule technique/SNAD/ STA, Ministère de l’Enseignement Secondaire et de l’Education de base, PNUD. Décembre 2000. Code de l’Eau. Réunion de réflexion sur le partage des responsabilités entre les parties prenantes et l’implication effective des communautés dans la mise en œuvre du programme AEPSPE. MEM/DEA, Août 2001 Appui à la mise en place d’un système national intégré de suivi de la pauvreté – secteur Eau et assainissement. Cellule technique/SNAD/ STA, Ministère de l’Energie et des Mines, PNUD. Décembre 2000. Atelier d’uniformisation des indicateurs du secteur de l’eau et de l’assainissement. MEM/DEA, CNEA, UNICEF. Octobre 1998. Programme de Dépenses Publiques 2001-2003. Ministère de l’Agriculture. Juillet 2000. Suivi financier du PIP 1997-1999 – Tranche 1997. Situation au 31/12/97. Ministère de l’Agriculture. 1998. Structure opérationnelle des projets du Ministère de l’Agriculture. Ministère de l’Agriculture/DPB/SPI. Mai 1997. Programme de Dépenses Publiques 2002-2004. Ministère de l’Elevage. Revue de portefeuille des projets financés par la Banque Mondiale. Ministère des Finances et de l’Economie, SG/DGEP. Juillet 2001.

ANNEXE 4 : Cadre institutionnel pour le suivi et l’évaluation des projets
Cette note détaille les responsabilités et activités actuelles des principaux services de l’administration engagés dans le suivi et l’évaluation des programmes et projets. On distinguera ici les différentes directions du Ministère des Finances et de l’Economie et les services chargés du suivi et de l’évaluation au sein des principaux ministères techniques (santé, éducation, eau et assainissement, agriculture, élevage, travaux publics). 1. SUIVI & EVALUATION AU NIVEAU DU MINISTERE DES FINANCES ET DE L’ECONOMIE Le Ministère des Finances et de l’Economie a, suivant le décret portant attribution et organisation de ce département (décret n° 97-716), une mission générale de suivi, de coordination et d’évaluation de l’ensemble des actions de développement, réalisées avec ou sans participation de partenaires extérieurs. En son sein, la Direction Générale de l’Economie et du Plan est principalement attributaire des fonctions de suivi et d’évaluation des projets et programmes de développement. 1.1. La Direction du Développement Economique La Direction du Développement Economique (DDE) a pour mission d’évaluer la cohérence et l’efficacité de la mise en œuvre des politiques économiques. Elle a un effectif de l’ordre de 25 agents dont 15 cadres (économistes, planificateurs, juristes). Elle est structurée en principe autour de cinq services :
− − − − −

le Service du Suivi des Programmes et Evaluation des Réformes Economiques (suivi des réformes économiques et de l’évaluation ex post des programmes/projets de développement) ; le Service du Suivi de la Gestion et de la Capacité d’Absorption (évaluation de la capacité d’absorption des ressources des programmes) ; le Service du Suivi de la Coopération Technique (gestion de l’information financière et physique sur les programmes de coopérations technique) ; le Service des Relations Economiques Internationales et Régionales (suivi de la mise en œuvre des accords et engagements signés par Madagascar dans le cadre de l’intégration régionale) ; le Service des Etudes et Traitement des Informations (appui technique et informatique aux autres services).

En fait, à l’exception du service chargé du suivi de l’intégration régionale qui développe une activité autonome de suivi en relation avec les deux initiatives principales que sont la COI et le COMESA) en collaboration avec le Ministère des Affaires Etrangères et le Ministère du Commerce, les cadres des autres services se sont réorganisés autour d’un « pôle macro-économie » et de « pôles sectoriels ». Une part importante de l’activité de la direction est consacrée au suivi du portefeuille de projets de la Banque Mondiale. La DDE suit ainsi les différentes étapes de leur cycle : préparation des projets, mise en vigueur des accords, exécution (passation des marchés, mobilisation des contreparties gouvernementales,…), suivi, évaluation. Des réunions hebdomadaires permettent de traiter alternativement de l’un des quatre grands secteurs considérés (social, infrastructures, développement rural, réformes institutionnelles). La DDE participe également aux différentes revues11. Des rapports périodiques de suivi sont établis et des visites de terrain sont effectuées à l’occasion des missions de suivi de la Banque Mondiale. La DDE assure le pilotage du Comité de Suivi d’Exécution des Projets (voir encadré) mis en place pour effectuer le suivi du portefeuille des projets de la Banque Mondiale. A côté de cette activité d’accompagnement du portefeuille de la BM, la DDE a une mission générale d’études qui comprend entre autres le suivi et l’évaluation des programmes publics. En pratique, celle-ci se traduit essentiellement par l’édition trimestrielle d’une Revue d’Information Economique et la production annuelle d’un Rapport Economique et Financier. Ce dernier a été réalisé depuis 1997 avec un appui financier du PNUD (édition 1997) puis de la Banque Mondiale. La DDE prévoit également de prendre en charge la préparation du Rapport Coopération et Développement12.

La dernière revue de portefeuille(qui comporte actuellement 19 programmes) a été réalisée en juillet 2001. Le RCD est préparé depuis 1996 par le PNUD (Unité économique et programme DAP1). L’édition en cours d’élaboration fait l’objet d’une première collaboration entre le PNUD et certains cadres de la DDE.
12

11

Avec l’appui du PNUD, la DDE a proposé la mise en place d’un système national de suivi-évaluation dont elle assurerait le pilotage. Deux missions d’appui ont aidé à la confection d’un projet de manuel de S&E et deux sessions de formation ont été réalisées dans ce cadre (session de formation d’un noyau de formateurs en 1999 ; atelier de formation d’une trentaine de cadres de l’administration en décembre 2000).
Le Comité de Suivi d’Exécution des Projets (CSP) et le projet de création d’un Comité Technique de Suivi et d’Evaluation des programmes et projets Le CSP a été créé en 1994 (recommandation d’une revue annuelle de la Banque Mondiale) afin de pallier le faible niveau des taux d’exécution des projets. Dirigé par le Secrétaire Général du Ministère des Finances et de l’Economie, le comité est chargé du suivi de l’exécution physique et financière des projets et de l’application des recommandations émises dans le cadre des différents exercices de suivi. Les travaux du CSP sont coordonnés par le Directeur de la Direction du Développement Economique. Le comité associe les quatre directions de la Direction Générale de l’Economie et du Plan (DDE, DIP, DPGE et DCIS) ainsi que la DCAE, rattachée directement au Secrétaire Général du Ministère des Finances et de l’Economie. Le Comité fonctionne selon un calendrier annuel de suivi. Les visites de terrain sont organisées par la DDE et réalisées conjointement avec les autres départements concernés. Un projet de texte visant à étendre les activités du CSP à l’ensemble des projets (tous bailleurs confondus) a été préparé en 2000 mais non retenu. L’architecture générale proposée est pertinente : un Comité Technique de Suivi et d’Evaluation au niveau du Ministère des Finances et de l’Economie, des Cellules Sectorielles au niveau des ministères techniques et des Cellules Régionales au niveau des faritany. Par contre, le projet pêche à plusieurs niveaux :
− − − −

la composition du Comité risque d’être contre-productive ; le projet ne tient pas compte du DSRP ; il risque également de renforcer le cloisonnement préexistant entre le pôle programmation-suivi des projets et les autres dimensions du suivi (statistique, analyse des politiques,… ) ; les activités proposées paraissent bien trop ambitieuses ( « évaluations de l’ensemble des rapports techniques reçus des ministères sectoriels et des collectivités locales », « suivi de l’application des recommandations des rapports de S&E »,.. ) ou en porte-à-faux avec des activités qui relèvent des directions et services existants (« constitution d’une banque de données des programmes et projets », « établissement de rapports sur les programmes », « réalisation de visites de terrain »,…) ; certaines dispositions (ex : « tous les projets inscrits au PIP peuvent faire l’objet d’une évaluation à la demande du Ministère de Tutelle ou du Gouvernement ») risquent de générer des coûts importants.

Une analyse rapide des activités et produits de la DDE conduit aux observations suivantes :

La fonction d’analyse des politiques et programmes reste limitée. Ainsi, le Rapport Economique et Financier est essentiellement descriptif et ne constitue pas à proprement dit un document d’analyse des politiques économiques conduites dans l’année. Quant à la production de rapports sectoriels annuels13, celle-ci a été abandonnée depuis 1999. Le suivi de l’aide extérieure continue à connaître des difficultés. Certains partenaires disent ne pas se retrouver dans les informations présentées dans le rapport. D’autres collaborent avec difficulté (informations non disponibles au niveau des représentations locales des bailleurs et, parfois, rétention volontaire de l’information). En outre, la publication du rapport s’effectue encore avec un décalage important. Enfin, d’importants écarts sont constatés entre la source RCD et la source PIP en ce qui concerne les dépenses d’investissement public sur financement extérieur. Les fonctions de suivi de la coopération technique ont été mises en veilleuse depuis plusieurs années (abandon du projet NaTCAP qui servait de cadre à celles-ci). S’agissant du processus engagé depuis 1999 pour la mise en place d’un système national de S&E, les acquis se situent principalement au niveau de la sensibilisation (partielle) des cadres aux concepts et méthodes du S/E. En revanche, les objectifs proposés en termes d’instruments (production, sous la coordination de la DDE et par les ministères sectoriels, de cadres logiques pour l’ensemble des projets et de « cadres sectoriels consolidés ») n’ont pas été atteints en l’absence d’une réelle dynamique associant la DDE et les principales unités sectorielles de suivi des projets. La DDE elle-même a des difficultés à

13

Ainsi, en 1998, la DDE a publié cinq rapports sectoriels (Santé, Environnement, Développement rural, Infrastructures, Education).

ii

présenter un bilan de cette opération qui n’a débouché sur aucun résultat opérationnel jusqu’à présent. En tout état de cause, il convient de relancer la collaboration entre le MFE et les ministères sectoriels et de créer les conditions d’un processus dynamique alliant formation, travaux méthodologiques (indicateurs harmonisés, bases opérationnelles pour une évaluation consolidée de l’impact des programmes), amélioration des produits de la fonction de S/E (enrichissement des données de S/E, reporting mieux adapté aux besoins des utilisateurs) et amélioration du cadre institutionnel (définition des responsabilités et des articulations entre les différents acteurs du S/E). 1.2. La Direction des Investissements Publics (DIP) La Direction des Investissements Publics (DIP) constitue le pôle principal pour les activités de programmation et de suivi – physique et financier - des projets de développement. Elle comprend 36 agents dont une vingtaine de cadres répartis sur cinq services : quatre correspondant à des regroupements de secteurs (Appui aux activités productives, Secteur des infrastructures et de l’Aménagement du territoire, Secteur social, Secteur administratif) et un Service des Ressources Extérieures. Cette organisation traduit un double suivi des données d’exécution financière : les services sectoriels collectent les questionnaires – trimestriels et/ou annuels – de programmation et de suivi auprès des différents ministères techniques ; le service des ressources extérieures assure de son côté une collecte trimestrielle des données d’exécution financière auprès des bailleurs de fonds. La DIP assure le pilotage de la préparation du PIP (Programme d’Investissement Public) ainsi que du PDP (Programme de Dépenses Publiques). Les deux exercices font l’objet de procédures et d’un calendrier de préparation qui sont sommairement rappelés dans les circulaires annuelles diffusés par la DIP. L’information est collectée essentiellement par le biais de questionnaires annuels (programmation) et trimestriels (suivi financier) ou semestriels (suivi physique). Les données des 250 à 300 projets du PIP sont gérées en réseau au niveau central par une application logicielle construite à partir d’Access. Il n’existe pas en revanche de lien informatisé entre la DIP et les secteurs. La préparation du PIP (Programme d’Investissement Public) - précédée par l’élaboration d’un PDP (Programme de Dépenses Publiques) - ainsi que son suivi constituent un exercice globalement rôdé et comportant des atouts incontestables. D’importantes faiblesses persistent (cf. chapitre I) cependant qui ont trait plus particulièrement :
− − − − − − − − −

à la fiabilité des données du PDP et du PIP et à la difficulté d’en assurer le contrôle ; à la faiblesse des informations de suivi disponibles (dépenses par nature économique et fonction, données sur les intrants, les produits et les indicateurs de résultats, indicateurs d’impact,…) ; au déficit de consolidation et d’analyse des données ; à la polarisation du suivi sur les indicateurs d’exécution financière ; à l’absence de statut du PDP et de contenu programmatique du document de PIP (simple listing de projets) ; au caractère largement formel des procédures d’inscription des projets au PIP ;. aux questionnaires utilisés (d’un côté trop lourds, de l’autre insuffisamment orientés vers les résultats) ; à la faiblesse de l’activité de suivi physique (visites de terrain) et de reporting consécutif (aucun rapport de suivi en 2001, exception faite des situations financières) ; à l’insuffisance de dialogue entre la DIP et la DDE au niveau interne, la DIP et les unités sectorielles de programmation et suivi au niveau externe.

1.3. La Direction de la Planification Globale et Evaluation (DPGE) La DPGE, qui comprend environ 25 agents dont 5 cadres supérieurs, concentre, en fait de planification globale, l’essentiel de son activité sur l’élaboration et le suivi des politiques et programmes de développement régional. Elle s’appuie, pour ce faire, sur les antennes régionales du MFE (Services Régionaux de l’Economie et du Plan SREP) qui regroupent globalement une soixantaine d’agents et sont chargés de suivre les actions conduites dans les différentes provinces du pays. La DPGE publie depuis une dizaine d’années un Inventaire des Fivondronana de Madagascar (la dernière édition date d’octobre 2000). La publication d’un tel document représente une initiative louable. Elle se heurte toutefois à plusieurs problèmes : décalage temporel de l’information (les informations publiées en octobre 2000 concernent par exemple l’année 1999) ; taux de renseignement faibles pour une partie des rubriques et des fivondronana ; absence d’une base de données historiques (fiches établies à partir d’un traitement de texte).

iii

La DPGE cherche également à développer une activité d’appui aux communautés de base. Elle a ainsi publié en 2000 un Guide de planification et de gestion des projets centré sur l’approche participative. Enfin, la DPGE a dans ses attributions l’assistance à l’évaluation ex-ante des projets. Cette mission ne semble pas donner lieu à une activité particulière. 1.4. La Direction de la Coordination des Aides Extérieures (DCAE) La Direction de la Coordination des Aides Extérieures est rattachée organiquement au Secrétariat Général du Ministère des Finances et de l' Economie. Elle comprend une dizaine de cadres. Si, à l’origine, cette direction a joué le rôle de pôle de centralisation de l’information sur l’aide extérieure, ce n’est plus le cas aujourd’hui. Ainsi, contrairement à ce que suggère son appellation, la DCAE se cantonne à fonctionner comme l’interface de l’Administration (Bureau d’appui à l’Ordonnateur National) pour les programmes de l’Union Européenne. A ce titre, elle assure un suivi de l’ensemble des projets de l’UE, prépare les ordres de paiement, suit les marchés, participe aux visites de chantier et de réception provisoire et définitive des travaux. Elle tient également une comptabilité des engagements, ordonnancements et décaissements par projet/programme. L’activité de suivi reste centrée sur le suivi financier en s’appuyant sur des fiches de suivi (trimestrielles, semestrielles et annuelles) et une base de données spécifique. Des rapports trimestriels (BON) sont préparés et des réunions de suivi et de coordination sont réalisées suivant la même périodicité entre la Délégation et le Bureau de l’Ordonnateur National pour faire le point sur l’exécution de l’ensemble des programmes. Un rapport annuel trace le bilan complet pour les différents FED, types d’aide et programmes/projets. Sur la base des changements introduits ces dernières années (généralisation des cadres logiques comme outil de gestion des projets, réalisation de missions périodiques de monitoring pour suivre le programme,…), la DCAE et l’UE cherchent aujourd’hui à renforcer le système de S&E dont les principales faiblesses sont :
− − − − −

la non-systématisation de la production des rapports des projets ; une utilisation limitée des indicateurs de suivi ; l’hétérogénéité des rapports et indicateurs utilisés ; la remontée insuffisante de l’information depuis le projet jusqu’aux décideurs ; l’insuffisance des activités et supports pour le suivi des résultats.

S’agissant de l’évaluation, on notera que (i) les rapports d’évaluation (évaluation à mi-parcours et évaluation en fin de projet) sont à diffusion restreinte, (ii) l’évaluation ex-post est peu pratiquée. Enfin, la collaboration entre la DCAE et les autres directions du MFE semble limitée. Celle-ci répond aux demandes d’information (par ex. données de suivi financier pour la DIP) mais il n’existe pas de collaboration fonctionnelle régulière. 1.5. La Direction de la Coordination des Interventions Sociales (DCIS) La DCIS assume une mission de suivi et d’évaluation des programmes et projets sociaux. Elle a vocation, sur la base d’une veille permanente des actions sociales de développement, à appuyer les décideurs dans la définition des priorités de politiques sociales. En pratique, les activités de la DCIS se concentrent sur le suivi des programmes sociaux financés par les trois bailleurs de fonds suivants : UNICEF, FNUAP et USAID. La direction, qui compte une vingtaine de cadres, est structurée autour de quatre services - Eau et assainissement ; Conditions de vie ; Suivi des projets sociaux ; Population et développement – mais la spécialisation des tâches est surtout effectuée en fonction des bailleurs de fonds (pilotage du programme de coopération UNICEF pour le SCV, du programme FNUAP pour le SPS, du programme JSI de l’USAID pour le SPD). Le suivi ne repose pas sur des supports (tableaux de bord, rapports) consolidés mais sur la participation à divers structures de pilotage ou de concertation dont les principales sont :

iv

− − − − − − − −

le Comité National sur l’Eau et l’Assainissement ; le Comité de pilotage et les Commissions Interrégionales de Population (CIRP) mis en place dans les six faritany dans le cadre du Programme National de Population (FNUAP) ; les réunions annuelles de coordination sur la Santé Reproductive organisées par le MINSAN (USAID, FNUAP, GTZ); le Groupe d’Action Intersectorielle pour la Nutrition (USAID, UNICEF, SEECALINE/IDA, ONG) ; la Cellule de coordination / Programme VIH-SIDA ; le Comité National de Secours / Gestion des catastrophes ; le Comité Technique de Coordination / Programme APS-Activités de Promotion de la Santé (USAID) ; le Comité de Pilotage du Programme de l’UNICEF.

Les principaux problèmes constatés concernent : l’absence d’une activité soutenue de mise en cohérence et d’analyse des principaux programmes dans le secteur social ; l’éparpillement des tâches qui se diluent dans la participation à de multiples comités répondant chacun aux différentes logiques et procédures des bailleurs de fonds ; la difficulté à travailler dans l’inter-sectorialité ; l’activité limitée de reportage propre à la DICS ; l’absence d’une collaboration avec les autres directions de la DGEP sur les questions de contenu des programmes (les contacts avec la DIP par exemple se limitent aux questions de dédouanement des biens acquis dans le cadre des programmes USAID, FNUAP et UNICEF).

− − − − − Ressources humaines − Système d’information − − − Produits de S&E − − − − − − −

Points focaux S&E

Direction de l’Investissement Public Direction du Développement Economique Direction de la Coordination des Interventions Sociales Direction de la Planification Globale et de l’Evaluation Direction de la Coordination des Aides Extérieures environ 140 agents (niveau central) dont plus de 70 cadres Système de gestion des projets PIP Base de données « Child Info » (DICS) Rapport annuel du Ministère Rapport Economique et Financier (DDE) Revues économiques trimestrielles (DDE) PIP et Etats d’exécution financière du PIP (DIP) Rapports sur l’exécution des programmes de la Banque Mondiale (DDE) Rapports trimestriels et annuel sur l’exécution des programmes UE (DCAE) Rapport sur la coopération et le développement (DDE/PNUD) Inventaire annuel des fivondronana

2. SUIVI/EVALUATION AU NIVEAU SECTORIEL
2.1. Santé Le point focal pour le suivi des programmes de la santé est la Direction des Etudes et de la Planification. Celle-ci est structurée autour de deux services : (i) Service de l’Information Sanitaire (SISC), (ii) Service des Etudes, de la Planification et de l’Evaluation (SEPE) Le système d’information sanitaire est organisé autour de plusieurs sous-systèmes gérés de manière plus ou moins indépendantes. Le « système de routine » a été réactivité depuis 1998. Il est alimenté par le système de reportage en vigueur auprès de l’ensemble des formations sanitaires et donne lieu à la publication de l’annuaire statistique de la santé. La dernière édition concerne les données de 1999 (publiée en juin 2000). L’édition relative aux données 2000 doit être publiée d’ici fin octobre 2001. Il convient de noter que le MINSAN ne souhaite pas diffuser ses données avant la publication de son annuaire, ce qui pose un problème si l’on veut produire rapidement des tableaux de bord consolidés14.

C’est ainsi que l’INSTAT n’a pu obtenir les données relatives au secteur santé pour l’élaboration de la seconde édition du Tableau de Bord Social (données 2000).

14

v

La Carte Sanitaire se distingue du système de routine. Elle comporte une information détaillée sur les ressources humaines et les équipements et autres moyens de fonctionnement des formations sanitaires. C’est un instrument de planification qu’il est prévu de réactualiser tous les deux ans. L’approche retenue part d’un inventaire qui a été réalisé en 1999 au niveau de chaque district puis mis à jour en 2000. Celui-ci est lui-même basé sur une situation exhaustive des ressources au niveau de chaque formation sanitaire. Le programme pour l’établissement de la CNS est en voie de finalisation et la CNS devrait être publiée d’ici fin 2001. Le système de gestion des ressources (humaines, logistiques, financières,…) relève de la DAAF. Un inventaire des effectifs a été réalisé assez récemment. Le Service de Perfectionnement du Personnel prépare un système d’information sur les besoins de formation du personnel. Une base de données a également été constituée à la DAAF pour gérer l’ensemble des données budgétaires. D’autres sous-systèmes existent en parallèle tels que le système de surveillance épidémiologique qui est fondé sur une circulation de l’information permettant une réponse rapide de l’offre sanitaire. L’information sectorielle « administrative » évoquée ci-dessus est complétée par les enquêtes EPM, EDS et MICS qui donnent l’information sur l’impact des activités sur l’état sanitaire et les comportements des populations. La programmation des activités du secteur repose sur le Plan Directeur de la Santé. Depuis 2001, la programmation a changé d’approche dans un souci de décentraliser la planification sectorielle. C’est à chaque formation sanitaire d’établir la priorisation de ses besoins annuels sur la base d’une enveloppe globale au niveau de chaque district et d’enveloppes par formation sanitaire. Le dispositif repose entre autres sur l’élaboration de Plans de Développement de Districts et de Plans Annuels de Travail également par District sanitaire. Cette planification ne concerne pour l’instant que les besoins en matériel (et non les bâtiments). L’exercice bénéficie d’un appui du projet CRESAN qui a pour objectif de doter, d’ici 2003, 70% des districts sanitaires d’un système d’information pour la gestion sanitaire performant et de PDD et PAT. Pour l’instant, le Ministère assure un suivi global des activités (suivi de processus) dans le cadre de la mise en œuvre du Plan Directeur. Celui-ci donne lieu à la diffusion de rapports trimestriels (performances des services,…). Le Plan Directeur est révisé chaque année. Cette révision fait l’objet d’une concertation annuelle avec les bailleurs de fonds et d’un nouvel appel de fonds. En parallèle, il existe un suivi par partenaire. Ainsi, le suivi de l’aide budgétaire de l’Union Européenne pour lequel des indicateurs précis ont été établis pour les cibles à atteindre et des réunions périodiques sont organisées entre le bailleur de fonds et le ministère de la Santé. Il en est de même avec la Banque Mondiale (CRESAN) et les principaux partenaires. Dans ce cadre, le Ministère de la Santé rencontre cependant une difficulté majeure à identifier par exemple la part de l’aide qui est effectivement affectée au financement des activités opérationnelles du ministère ou encore celle qui est effectivement décaissée au niveau de la périphérie. C’est la raison pour laquelle le MINSAN a décidé d’arrêter en 2000 la publication du bilan de l’aide extérieure à la santé 15. Le SEPE est actuellement en train de relancer le suivi des aides extérieures. L’information serait collectée (un questionnaire par convention) cette fois auprès de chaque service/direction et devrait permettre d’apprécier les informations de base relatives à chaque activité (montant de financement de l’activité, montant de la requête, date de la requête, montant débloqué et taux d’exécution). On peut s’interroger sur certains points de la méthodologie actuellement proposée : périodicité du suivi, absence de couplage avec le questionnaire de suivi du PIP, focalisation du questionnaire sur les décaissements. De manière générale, on constate une multiplication des procédures et formes de suivi au niveau du MINSAN en l’absence d’un cadre global pour en assurer la mise en cohérence. Il en résulte, en ce qui concerne le S&E des programmes et projets, une duplication des suivis financiers (DEPE pour le suivi de l’aide extérieure, Service de l’Investissement de la DAAF pour le suivi du PIP) alors qu’un déficit important demeure pour ce qui est du suivi des activités et des résultats, et plus encore de l’évaluation des impacts des projets.

Ce bilan de l’aide extérieure, fondé sur l’exploitation d’un questionnaire adressé annuellement aux bailleurs de fonds a été préparé pendant trois années consécutives avec l’assistance de l’OMS. Le dernier annuaire a été publié en octobre 1999 (données de l’aide reçue en 1998). Les données pour 1999 ont été collectées mais non publiées.

15

vi

La multiplication des groupes d’indicateurs de référence – projets individuels, aide budgétaire UE, IPPTE, Plan Directeur, système de suivi de la performance du système de santé proposé par l’OMS16, etc – est l’une des conséquences de ce manque d’un cadre général pour l’organisation du S&E.
− − Ressources humaines − Système d’information −

Points focaux S&E

Produits de S&E

− − − − − − − − − −

Direction des Etudes et de la Planification DAAF (RH, aide budgétaire,…) nd SISC (avec différents sous-systèmes : système de routine/formations sanitaires, Carte Sanitaire,…) Base de données CNS PDP Plan de développement des ressources humaines (en préparation) Plans de Développement et PTA de Districts Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Rapports trimestriels de suivi / Plan Directeur Carte Nationale Sanitaire (en voie de finalisation, réactualisée tous les 2 ans ?) Annuaire Statistique de la Santé Evaluations du Plan Directeur

2.2. Education Pour l’enseignement primaire et secondaire, la préparation des PDP et PIP ainsi que le suivi des programmes inscrits au PIP relève de la Direction de la Planification de l’Education. Parmi les trois services que compte la DPE (Service des Statistiques, Service des Etudes et de la Planification, Service de la Programmation et de l’Evaluation), c’est ce dernier qui assure la programmation et le S&E des projets (12 projets inscrits au PIP actuellement). Le SPE compte une quinzaine d’agents dont 4 cadres. S’agissant de la programmation, le MINESEB a cherché, au-delà de la procédure PDP/PIP à mettre en place un outil destinée à décentraliser la programmation des investissements. Le principe est de bâtir des Plans de Travail Annuels au niveau des six provinces en partant des données des CISCO et d’une procédure de priorisation des requêtes adressées par celles-ci aux Directions régionales (DIRESEB). Dans ce cadre, les DIRESEB ont bénéficié d’un appui spécifique (informatisation depuis trois ans et formation de leurs agents). La nouvelle procédure de programmation a été testée sur un seul exercice (logiciel installé dans les six DIRESEB en 1999) puis abandonné compte tenu des difficultés rencontrées : retards de saisie des données, incapacité de certaines DIRESEB à produire les profils régionaux, manque de financement. Un nouvel outil est en cours d’installation (cf. infra). Pour ce qui concerne le suivi proprement dit, le SPE met en avant les problèmes suivants : difficultés d’obtention des informations sur les réalisations ; « court-circuitage » de la DPE par certains projets, notamment pour la communication des FCC (ce qui contraint le SPE à rechercher parfois l’information sur les projets du secteur auprès de la DIP) ; absence de moyens pour contrôler l’information en dehors des données génériques du projet ; non disposition de l’ensemble des conventions de financement ; manque de clarté dans la répartition interne des tâches. Le SPE cherche à renforcer son système d’information. Il prévoit ainsi la publication d’ici fin 2001 d’un document de base comprenant des fiches synthétiques pour tous les projets. Une base de données a par ailleurs été constituée sur Access pour faciliter la gestion des FCC ; elle en facilite l’édition et permet la sortie d’états de synthèse (par exemple, un tableau de bord sur les taux de rentrée des FCC). Le MINESEB dispose par ailleurs d’un système d’information de routine (données individuelles sur le personnel, gestion des effectifs, constructions scolaires, fonctionnement pédagogique,…) qui sert de base à la publication de son Annuaire statistique, rendu disponible généralement en février-mars. Avec l’appui de l’Union Européenne, le logiciel est en cours de révision pour évoluer vers un système « multidimensionnel » qui assure en temps réel une consolidation des données brutes collectées et la production des principaux indicateurs. Dans
16 Le système est basé sur le suivi de trois indicateurs agrégés : (i) espérance de vie en bonne santé, (ii) réactivité du système (satisfaction des usagers), (iii) équité dans le financement. Celui-ci est jugé pertinent mais il demeure un problème de maîtrise des techniques de calcul.

vii

ce cadre, il est également prévu de connecter les six DIRESEB au niveau central par connexions internet pour assurer les échanges de données par courrier électronique. Enfin, pour ce qui est de l’évaluation des programmes et projets, la DPE reconnaît que cette fonction n’est pas pour l’instant opérationnelle.
− Points focaux S&E Ressources humaines − Système d’information − − − − − − −

Produits de S&E

Direction de la Planification de l’Education 15 agents dont 4 cadres (SPE seulement) Système informatisé sur les données de routine (dossiers du personnel, effectifs, constructions, …) en cours de révision avec connexion prévue des 6 DIRESEB Bases de données partielles (FCC, tableaux de bord) PDP Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Annuaire Statistique de l’Education Recueil de fiches de projets (en cours de préparation)

2.3. Eau et assainissement La gestion du secteur de l’eau et de l’assainissement relève de la Direction de l’Exploitation de l’Eau qui dépend du Ministère de l’Energie et des Mines. La DEA comprend 13 cadres ou techniciens supérieurs, chefs de services compris. Elle se structure en trois services : (i) Service de la Banque de Données, (ii) Service des Ressources en Eau (centré sur l’hydraulique villageoise), (iii) Service de l’Adduction d’eau et de l’assainissement (centré sur l’hydraulique urbaine). Le Service de la Banque de Données constitue l’interlocuteur pour les activités de programmation et suivi des projets. Le système d’information pour le secteur comporte plusieurs bases non reliées entre elles : • une banque de données qui a été constituée sur l’ensemble des forages réalisés depuis 1990 (avec utilisation du logiciel de saisie ACTIF et logiciel de gestion PATS). L’équipement informatique (IBM-386) n’a pas été renouvelé depuis 1990. Le logiciel étant devenu obsolète, la banque de données n’est plus actualisée depuis 1999. Pour continuer à gérer les données, une base a été constituée sur Excel en attendant un financement extérieur éventuel (FAC) ; un logiciel de suivi du secteur Eau & assainissement, installé avec l’appui de l’UNICEF ; une base de données « Child Info » qui tente de rassembler toute l’information disponible sur les femmes et les enfants (celle-ci est gérée en fait au niveau de la DCIS) ; une base de données mise en place dans le cadre du projet PNUD et qui entend stocker toutes les données d’inventaire pour le sud du pays.

• • •

Les données restent encore insuffisantes et les indicateurs officiels sur les taux de desserte, émanant de l’INSTAT, sont contestés par la DEA car ils sont établis sur la base d’échantillons et sont fortement biaisés du fait de la sous-évaluation des populations appréhendées au niveau de chaque ménage. De fait, les données réelles disponibles ne semblent pas correspondre à celles tirées des enquêtes auprès des ménages (voir enquête réalisée en 2000 sur financement UNICEF sur des quartiers d’Antanarivo). Le SBD est le correspondant de la DIP pour la programmation et le suivi des différents programmes en cours (Banque Mondiale, UNICEF, PNUD, Japon). La collaboration inter-services semble soutenue ce qui facilite la fluidité de l’information. Le PDP est consolidé au niveau de la DEA après fourniture des données sur le fonctionnement par la DAAF du ministère. Les arbitrages internes sont réalisés au niveau des directions techniques. Tous les rapports d’évaluation sont également capitalisés au niveau de la DEA. La Direction ne maîtrise cependant pas tous les projets : • • les projets AES (qui a un statut d’EPIC) sont discutés directement entre l’AES et la DIP/MFE, la DEA ne recevant pas les rapports périodiques ; les activités des ONG, nombreuses dans le secteur de l’E&A, sont également difficiles à coordonner. Certaines collaborent avec la DEA, d’autres ne transmettent jamais d’information (plan d’action, rapport d’activité,…).

viii

Le SBD a mentionné l’existence d’un service de banque de données et projets, rattaché directement à la Direction Générale du Ministère, et avec laquelle aucune collaboration ne semble exister. La DEA cherche aujourd’hui à renforcer le suivi des activités. Une proposition a été élaborée dans ce sens, visant à un établir un système de suivi pérenne à travers les six Directions Interrégionales. Le système devrait, une fois l’Autorité Nationale de l’Eau et les Agences de bassins versants opérationnels, reposer sur ces nouvelles structures. Pour l’instant, l’activité de reportage reste limitée (rapport annuel préparé par la DAAF).
− Points focaux S&E Ressources humaines − Système d’information − − −

Produits de S&E

− − −

Service de la Banque de Données (Direction de l’Eau et de l’Assainissement) 13 cadres (DEA) Banque de données sur les forages obsolète (problème de logiciel) remplacée par une base sur feuille de calcul Diverses bases de données pour le suivi au niveau des projets PNUD, UNICEF Nouveau système proposé dans le cadre du PAEPAR (formulé mais non encore mis en œuvre) PDP Rapport annuel du Ministère (préparé par la DAAF) Etats financiers (mensuels, trimestriels)

2.4. Agriculture L’organisation du Ministère de l’agriculture (MINAGRI) a été récemment revue pour mieux tenir compte en particulier du processus de désengagement de l’Etat même si le ministère continue à regrouper fonctions pérennes (orientation, encadrement du secteur,…) et transitoires (appui à la production agricole). Suivant le décret n°2001-069 (24/01/01), le niveau central se structure autour d’une Direction Générale de l’Agriculture (avec trois directions : Agriculture, Génie rural, Appui à la professionnalisation des producteurs) et du Secrétariat Général qui, outre la Direction de la Gestion des Ressources Humaines et du Patrimoine, coiffe les deux directions engagées dans les activités de planification-programmation-suivi-évaluation : • • la Direction de la Programmation et du Budget (trois services : Budget ; Programmation des Investissements ; Suivi Financier) ; la Direction de la Planification et de l’Information Agricole (trois services : Statistique agricole ; Etudes et Planification ; Information et Communication Agricoles).

Les services de suivi rattachés auparavant aux directions techniques (Suivi des ONG, Suivi-évaluation interne, Banque des Données et Suivi des Activités) ont été supprimés. A l’échelon régional, on trouve douze Directions Inter-régionales ou Régionales de l’Agriculture (6 DIRA et 6 DRA) structurées autour de quatre services dont un Service de Planification Régionale et de Suivi-Evaluation. Le Ministère de l’Agriculture a inscrit la décentralisation de la gestion des projets comme l’une de ses priorités depuis 1999. Le cadre pour son opérationalisation reste toutefois encore à clarifier. L’insuffisance des moyens humains qualifiés est une contrainte importante qui pénalise surtout les Directions Régionales. Le personnel est composé en majorité d’ « administratifs » (55% de l’effectif total dont 75% appartenant aux catégories I et II avec un niveau de qualification très faible) qui ne correspond pas à la vocation technique du Ministère. Le logiciel de gestion utilisé pour la programmation et la budgétisation a posé des problèmes au moment du changement de nomenclature (1999) et n’est désormais plus utilisé pour cause de virus. Le suivi s’effectue aujourd’hui sur une simple feuille Excel. Le MINAGRI ne produit plus de rapports périodiques sur le suivi des projets hormis les états sur l’exécution financière. Par ailleurs, la constitution de fiches de cadres logiques pour chaque projet du secteur (travail réalisé en 1996 avec une assistance technique de l’Union Européenne), qui permet de disposer d’une bonne base de départ pour le suivi, n’a donné lieu à aucune actualisation.

ix

Points focaux S&E Ressources humaines Système d’information Produits de S&E

− − − − − − −

Direction de la Programmation et du Budget nd Base de données sur les projets hors service (gestion du suivi sur feuille Excel) PDP Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Dernier rapport de suivi annuel du PIP publié en 1998 (concerne l’exercice 1997)

2.5. Elevage Au sein du Ministère de l’Elevage, le suivi des projets relève du Service de la Programmation et du Financement. Divers problèmes sont évoqués par le service : difficultés à collecter des informations détaillées et régulières auprès des projets, surtout pour ceux à financement interne exclusif ; éparpillement de la fonction de suivi des activités et résultats, exercée essentiellement au sein de chaque projet ; faible « internalisation » de la réflexion stratégique ; caractère routinier et peu valorisé des activités de suivi réalisées au sein du SPF ; absence de pratiques pérennes ; absence d’analyse critique vis-à-vis des indicateurs de résultats. Les supports actuels utilisés pour le PIP étant jugés insuffisants, le SPF a fait des propositions pour la mise en place d’un système de gestion interne de programmation et suivi des activités et des résultats au Ministère de l’Elevage. Celui-ci repose sur deux supports : un questionnaire sur le programme de travail annuel et une fiche de suivi trimestriel. Cette dernière exige une information détaillée structurée autour de trois volets : (i) réalisations physiques (suivi des activités, avec chronogramme des activités et réalisations, et suivi des moyens humains et matériels), (ii) réalisations financières (réalisations par activité par nature de financement), (iii) indicateurs de résultats. L’enjeu est de développer une pratique de planification et suivi des activités au niveau des différentes directions, surtout pour les projets qui ne bénéficient pas de financements extérieurs et ne sont donc pas encadrés par les procédures des bailleurs de fonds. Même si l’on tient compte du nombre réduit de projets du Ministère (7 projets inscrits au PIP), les supports proposés paraissent très exigeants en informations surtout si celles-ci sont collectées trimestriellement. Là encore, il apparaît souhaitable d’éviter une duplication des demandes d’information (par rapport aux questionnaires DIP), de différencier les données de suivi en fonction de la périodicité, et d’inscrire le renforcement du S&E dans une démarche progressive.
− Points focaux S&E Ressources humaines − Système d’information − −

Produits de S&E

− − − −

Service de la Programmation et du Financement 3 cadres Absence de système de gestion Montage en cours d’un dispositif propre de suivi interne (Plan de Travail Annuel et Questionnaires de suivi trimestriel) PDP Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Rapports de synthèse semestriels ( ?)

2.6. Travaux publics L’activité de suivi (et de programmation) pour le secteur des transports relève de la Direction de la Planification et de la Programmation du Ministère des Travaux Publics. Celle-ci comprend 7 cadres (ingénieurs ou techniciens supérieurs) et se structure autour de quatre services : (i) Service de la Planification et de la Programmation, (ii) Service de Suivi des Projets, (iii) Service des Normes de l’Environnement et Techniques, (iv) Service de la Tutelle et du Développement Sectoriel. Le SPP prépare la programmation des activités du Ministère (établissement du PIP et du PDP), en particulier la programmation des dépenses. Le cadre de référence actuel de la politique sectorielle est constitué de la Déclaration de politique routière (2000) et de la Déclaration de politiques et stratégies des pistes rurales (2001). Le Service de Suivi des Projets assure un suivi quasi-exclusivement financier des programmes d’investissement (21 projets inscrits actuellement dans le PIP). Il n’effectue pas de visites de terrain mais travaille sur la base des rapports d’avancement des projets et des informations en provenance de la Direction de la Dette Extérieure (suivi des accords de prêts).

x

Le SSP gère l’information de suivi sur la base de différentes feuilles de calcul Excel. Il établit ainsi (i) des situations financières mensuelles (tous financements confondus avec informations sur les taux de consommation des crédits pour chaque projet), (ii) des situations trimestrielles de suivi par ligne budgétaire sur les montants engagés, mandatés, payés et disponibles) ; (iii) un « bulletin de liaison » (situation récapitulative par bailleur de fonds) ; (iv) un suivi des marchés (date, demandes et avis de tirage,…). Le « bulletin de liaison » est actualisé mais n’est plus diffusé en l’absence de réaction des destinataires (bailleurs, décideurs). Le SSP a également établi deux cartes, l’une sur les zones d’intervention des bailleurs de fonds, l’autre sur la localisation des travaux d’entretien périodique réalisés dans le cadre des projets en cours. Le SSP transmet à la DIP les FCC et les questionnaires trimestriels PIP. On notera que les données d’exécution financière relatives au Fonds d’Entretien Routier ne sont pas communiquées à la DPP. Il diffuse par ailleurs un rapport semestriel (d’environ 5 pages) qui s’appuie sur ses propres données de suivi financier ainsi que sur les rapports en provenance des Directions régionales (dont l’exploitation, faute de normalisation des présentations, n’est pas aisée). La base de données existant au Service des Normes et Techniques (sans responsable actuellement) ne semble pas mise à jour. Il existe par ailleurs une « cellule de concentration des indicateurs d’activité », rattachée à la Direction Générale des Travaux Publics qui actualise en principe les informations relatives à l’état des infrastructures (logiciel Vigiroad). De manière générale, la DPP reconnaît un déficit en termes d’analyse et de synthèse des informations.
− − − Ressources humaines − Système d’information − − − Produits de S&E − − − − − −

Points focaux S&E

Direction de la Planification et de la Programmation Cellule de concentration des indicateurs d’activité (DGTP) FER (SG) 7 cadres ou assimilés Absence de système de gestion structuré Gestion de l’information sur feuilles de calcul PDP Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Rapports de synthèse semestriels Suivi des marchés Carte sur les zones d’intervention des bailleurs de fonds Données sur l’état des infrastructures

xi

ANNEXE 5 : Le système d’information statistique et le S&E – contraintes observées
La production statistique a connu un net regain depuis une dizaine d’années qui s’est notamment traduit par la multiplication des enquêtes (EPM, ENDS, NOCS, Enquête Emploi, ESI, ... ) et d’initiatives visant à consolider des systèmes permanents d’observation (Réseau des Observatoires Ruraux, ... ). Plusieurs contraintes continuent cependant à handicaper le système national d’information statistique, avec des effets importants sur les capacités des différents sous-systèmes (1) à mesurer et expliquer la pauvreté et l’évolution du comportement des pauvres, (ii) à suivre les actions publiques de développement destinées à réduire la pauvreté et évaluer l’impact de cellesci sur les populations. Les contraintes suivantes ont été notées : a) Insuffisances des bases d’information pour les indicateurs à caractère structurel Le premier problème concerne les données démographiques, évidemment essentielles pour la détermination des bases de sondage et la construction de nombreux indicateurs (taux de scolarisation, taux d’alphabétisation, taux de mortalité, ratios de couverture des services, ... ). Le dernier recensement date de 1993 et les projections disponibles sont remises en cause, ce qui a notamment pour effet d’entraîner une hétérogénéité de données. Par exemple, le Ministère de la Santé utilise ses propres estimations pour calculer certains ratios de couverture et programmer ses besoins en infrastructures (cf Carte Sanitaire - 2001) car les projections de l’INSTAT ne sont pas utilisables au niveau des districts sanitaires. Un autre déficit majeur concerne les données de base du secteur agricole. Alors que la grande majorité de la population vit en milieu rural et travaille dans l’agriculture, les données sur les activités agricoles (au sens large) sont très limitées et fragiles. Le dernier recensement de l’agriculture date de 1984, les enquêtes actuelles (EPM,...) n’appréhendent qu’une fraction limitée des questions et les observatoires ruraux ne sont pas en mesure de fournir des données représentatives de l’ensemble de l’activité/population agricole. Les données utilisées sont donc largement contestables. Des problèmes importants sont également constatés dans l’appréhension du secteur formel (données de la fonction publique contestées, absence d’exploitation des données de la CnAPS,…). b) Des capacités de production et d’organisation très variables selon les secteurs Des progrès très sensibles ont été enregistrés dans le suivi statistique des secteurs de la santé et de l’éducation, compte tenu de la priorité accordée par le gouvernement et les bailleurs de fonds à ces derniers : amélioration des statistiques administratives, renforcement spécifique des données de suivi budgétaire, réalisation d’enquêtes régulières (EPM, ENDS/MICS). Par exemple, l’information statistique sanitaire s’appuie désormais sur plusieurs sous-systèmes (enquêtes de « routine », carte sanitaire, ... ) qui vont parfois très loin dans le détail des données collectées. Pour les autres secteurs ou domaines d’action prioritaires de la stratégie de réduction de la pauvreté (agriculture, élevage, transports en particulier), la situation est en revanche plus critique. Par ailleurs, les collectes de données s’effectuent fréquemment dans un cadre limité (une ou plusieurs régions d’intervention d’un projet) sans que les services de statistiques sectoriels soient nécessairement en mesure d’assurer la consolidation des données. Compte tenu des budgets de fonctionnement disponibles, la capacité des systèmes d’information sectorielle est d’autre part largement déterminée par l’assistance extérieure. La clôture des projets engendre souvent (i) une obsolescence du matériel ou du logiciel utilisé, (ii) une réduction des capacités de collecter l’information demandée, (iii) une éventuelle perte des fichiers de bases de données (détérioration du disque dur, perte des disquettes de sauvegarde, ... ). L’annexe 4 donne sur ce point quelques illustrations sur les secteurs rencontrés. L’effectif et la compétence des ressources humaines mobilisées dans les services statistiques varient aussi très sensiblement d’un secteur à l’autre. Enfin, la limitation des ressources financières fait que certains départements n’ont pas les moyens d’assurer un contrôle sur les données administratives qui leur parviennent de services déconcentrés, de directions techniques, d’établissements sous tutelle ou de projets.

c) Une coordination insuffisante du système national d’information statistique Bien que l’INSTAT constitue un pôle incontestable de référence, on note un déficit de coordination du système national d’information statistique, lequel s’exprime de différentes façons : Au niveau de la coordination d’ensemble, le CCISE, malgré sa revitalisation récente, tarde à produire des impacts tangibles. Les travaux inter-institutionnels destinés à croiser et harmoniser les données provenant de diverses sources sont limités, même au niveau d’un même secteur (par exemple entre les DAAF, les directions techniques et les services de statistiques et/ou de suivi des projets). Il n’existe pas pour l’instant de cadre de référence pour la programmation prioritaire des activités statistiques (de type Schéma Directeur des Statistiques, même simplifié). Une telle programmation semble aujourd’hui indispensable dans le cadre de la mise en oeuvre du DSRP afin de mettre à jour périodiquement les besoins prioritaires d’information et de sécuriser le financement des activités (enquêtes, bases de données, formations, équipements) correspondantes. S’il a des effets positifs en particulier sur le plan de l’autonomie de la gestion des ressources humaines et financières, le statut de l’INSTAT (EPIC) comporte des contraintes et peut poser des problèmes de fluidité de la circulation de l’information entre l’institut et les services de statistiques sectoriels (ces derniers répondent gratuitement aux demandes d’information de l’INSTAT laquelle est susceptible ensuite de valoriser, en tant que prestataire marchand, l’information ainsi collectée). L’institutionnalisation des échanges d’information par l’établissement de protocoles entre producteurs et utilisateurs de l’information fait encore largement défaut. De tels protocoles sont essentiels pour pérenniser les flux d’information destinés à alimenter les principaux supports d’information (annuaires statistiques, comptes nationaux, tableaux de bord, ...) et sont l’occasion de clarifier les sources, méthodes utilisées, périodicité, etc (méta-données). La diffusion de l’information est un domaine qu’il convient de mieux réglementer dans un triple souci de rapidité de publication des données17, de transparence et d’accès du plus grand nombre aux informations économiques et sociales. d) Des priorités à clarifier (indicateurs essentiels) Peu de ministères ont la capacité de définir des indicateurs fédérateurs pour leurs secteurs. Ainsi, le MINESEB ou le MINSAN disposent d’une masse conséquente d’informations mais il leur est difficile d’arrêter une liste d’indicateurs prioritaires en distinguant entre indicateurs d’impact, indicateurs de résultats, indicateurs intermédiaires,... Autre exemple. Le Ministère de l’Energie et des Mines a organisé en 1998 un atelier dont le principal objectif était d’aboutir à une harmonisation des indicateurs relatifs au sous-secteur eau et assainissement (type d’indicateur, source, méthode de calcul). Rien ne montre que les 8 indicateurs de base qui ont été recommandés constituent aujourd’hui la référence pour les différents opérateurs. Ce problème recoupe celui plus large de la capacité à définir en amont des opérations de collecte d’information une évaluation approfondie des besoins prioritaires. Ce point, que l’on développera au niveau du suivi des projets, se traduit par une demande d’information parfois très détaillée, génératrice de coûts, sans que les données exigées soient prioritaires ou même susceptibles de générer une quelconque information de décision au niveau agrégé (voir, par exemple, le détail des items consignés dans la Carte Sanitaire).

17

La publication du Tableau de Bord Social n’a, par exemple, pas pu bénéficier des données 2000 du Ministère de la Santé, celui-ci conditionnant l’utilisation de ses propres données à la publication préalable de son Annuaire Statistique.

ii

Ce manque de clarté dans l’articulation entre production et utilisation effective de l’information est également alimenté par le relatif cloisonnement des services de statistiques et un dialogue insuffisant entre les utilisateurs de l’information (notamment les décideurs du ministère concerné) et les producteurs. Enfin, il importe de souligner que les partenaires extérieurs ont contribué à brouiller le paysage en multipliant les cadres de référence: indicateurs essentiels du Tableau de Bord Social; indicateurs de suivi de l’IPPTE ; indicateurs composites (Rapport sur le Développement Humain, 3 indicateurs de l’OMS), indicateurs de suivi des programmes d’aide budgétaire; indicateurs de suivi pour l’initiative 20-20; indicateurs pour le suivi de conférences ou de programmes nationaux; indicateurs utilisés dans le cadre de chaque programme ou projet de développement, etc. Bref, il se pose un triple problème (i) de priorisation des besoins d’information, (ii) de transparence des méthodes de calcul et sources utilisées, (ili) et d’harmonisation des données pour le même indicateur. La finalisation du DSRP et la rédaction du volet relatif au suivi-évaluation devrait être l’occasion pour harmoniser (et simplifier) ces cadres de référence. e) Le besoin de renforcer les systèmes d’information décentralisés D’une manière générale, la capacité des systèmes d’information statistique est très limitée dès que l’on descend au niveau des provinces. En outre, les systèmes locaux ne disposent pas, le plus souvent, de capacités propres de traitement et, moins encore, d’analyse des données. Même pour la santé, qui dispose de ce point de vue d’un système plus fluide d’information entre le niveau central et le niveau le plus fin (Centre de Santé de Base), les échelons intermédiaires ne fonctionnent que comme des points d’enregistrement (manuel) et de transmission des informations. Si les districts disposent d’équipements informatiques, il n’en existe pas pour autant des bases de données régionalisées. Le processus de décentralisation en cours oblige à revoir l’organisation des différents systèmes d’information en fonction des nouvelles prérogatives des Provinces.

iii

ANNEXE 6 : Eléments sur le système d’indicateurs

I. ANALYSE SOMMAIRE DES INDICATEURS ET MATRICES DU PROJET DE DSRP L’analyse du projet de DSRP conduit aux observations suivantes : Un déficit général d’indicateurs macro-économiques : ils se limitent pratiquement au taux de croissance (2001-2003) ; l’objectif n’est en outre pas cohérent avec les prévisions de l’annexe. [p.28 et annexe] Le document mélange des indicateurs de nature différente [p.29; matrices en annexes] : indicateurs d’impact et de résultats qui concernent les cibles de moyen-long terme, indicateurs intermédiaires destinés au suivi annuel des performances de la SRP,… Le document ne présente pas le corps d’indicateurs d’impact essentiels de la SRP et les cibles correspondantes. Ainsi, on ne dispose pas de cibles de long terme (par exemple par périodes quinquennales) sur la croissance ou l’incidence de la pauvreté. Les indicateurs retenus pour les « objectifs de qualité de la vie » ne sont que partiellement quantifiés (sans précision des cibles intermédiaires d’ici 2015) et varient (cf. resp. pp. 29 et 31). Par exemple, la maîtrise de la croissance démographique, supposé être un objectif (p.31) n’est repris nulle part ailleurs dans le corps du document et ne renvoie à aucun programme. L’absence de référentiel sur le moyen-long terme (2005-2010-2015) se double d’une période d’appréhension (2001-2003) pour les indicateurs intermédiaires (suivi annuel) contestable puisque l’on est déjà à la fin 2001... Le DSRP ne présente pratiquement aucun indicateur pour les axes 1 (sauf agriculture) et 3 de la SRP et les indicateurs pour l’axe 2 ne couvrent que partiellement les secteurs/politiques considérés : aucun indicateur sur les filets de sécurité (sauf nutrition), le logement ou l’électricité en milieu rural; absence d’indicateurs objectivement vérifiables pour certains des secteurs/sous-secteurs faisant l’objet de matrices en annexe. Les indicateurs proposés sont focalisés sur les réalisations physiques mais appréhendent difficilement le suivi des mesures institutionnelles ou de programmes soft (IEC,…), exception faite du développement rural. De manière générale, on ne précise pas la source de l’indicateur (en particulier s’il s’agit d’une donnée issue des statistiques administratives ou d’une information tirée d’enquêtes ou recensements). La détermination des valeurs-objectifs retenus n’est pas explicitée : méthode de calcul; actions principales de la SRP susceptibles d’expliquer l’évolution de l’indicateur,… Les « indicateurs minima » présentés dans l’annexe 2 mélangent les différentes catégories d’indicateurs et ne sont pas nécessairement pertinents (effectif de la population, taux d’urbanisation, taux de mortalité, salaire par secteur, taux de salarisation, taux d’enregistrement des salariés à la CnaPS,…). La présentation des matrices en annexe n’est pas homogène, ne permettant pas une consolidation aisée des éléments sectoriels. Leur lisibilité est dans l’ensemble limitée. Les horizons retenus par les secteurs pour fixer les cibles d’ici 2015 ne sont pas homogènes. Education de base/enseignement secondaire (valeur annuelle jusqu’en 2003, cible 2007/2008 ; cible 2014/2015) ; Santé (cibles par période quinquennale 2001-2005, 2006-2010, 2011-2015) ; Eau & assainissement (2000, 2005, 2010, 2015). Hors les trois secteurs de l’enseignement de base, de la santé et de l’eau & assainissement, les observations suivantes sont à faire en ce qui concerne les indicateurs : Enseignement technique et professionnelle, Education & formation des filles, Persones âgées : aucun IOV ; Enseignement supérieur : un seul IOV (ratio enseignant/étudiants)… ; Alphabétisation : un seul IOV qui concerne le nombre de personnes à alphabétiser durant le 2e semestre 2001… : Plan de mise en œuvre de la lutte multisectorielle contre le SIDA : un seul objectif quantifié qui porte sur la réduction de la prévalence des IST autres que le SIDA… ; Développement rural : catalogue détaillée de mesures institutionnelles mais absence d’indicateurs quantifiés ;

i

Justice : présentation du bilan 2000 et de perspectives 2001… On note des problèmes de cohérence entre les indicateurs de secteurs différents (cf. taux d’accès à l’eau potable et à l’assainissement au niveau des matrices respectives de la Santé et de l’Eau & assainissement). On observera, par ailleurs, que le chapitre consacré au suivi-évaluation ne présente ni le cadre organisationnel, ni les instruments de S&E du DSRP (seul, le secteur du développement rural fait l’objet d’une présentation consistante). Le paragraphe sur le processus participatif se limite à une description des actions de concertation réalisées récemment. II. STRUCTURE DU SYSTEME D’INDICATEURS Le système pourrait être structuré suivant une typologie à trois niveaux : un corps d’indicateurs d’impact portant sur les objectifs à long terme du DSRP. Ces indicateurs, en nombre très réduit (une dizaine maximum) permettent de mesurer les principaux changements sur un horizon de long terme (2015). Un ciblage (valeur affectée à un indicateur d’objectif) homogène par périodes quinquennales permet de baliser le « chemin critique » depuis l’année de référence et l’année 2015. un nombre également limité d’indicateurs d’impact et de résultats intermédiaires essentiels pour le suivi des secteurs prioritaires. Ceux-ci saisissent l’évolution annuelle des principales variables caractérisant la situation de pauvreté. Ils sont présentés en annexe du DSRP, avec indication de valeurs pour l’année de base, l’année de mise à jour du DSRP et les 3-5 années suivantes. un groupe plus détaillé d’indicateurs de suivi, qui constitue la base du Tableau d’indicateurs sectoriels annuel. Il regroupe les indicateurs de résultats ou de processus portant sur les intrants, extrants et résultats des activités courantes et d’investissement réalisées dans le secteur. Le schéma de la page suivante précise les liens entre les indicateurs. Le premier groupe représente le « noyau dur » des indicateurs qu’il conviendrait de faire figurer dans la partie du DSRP consacrée aux objectifs. Il renvoie aux principales variables caractérisant la situation de la pauvreté. Les cibles retenues sont fixés par période quinquennale et résument les changements attendus sur le moyen et le long terme. L’atteinte des cibles ne dépend pas seulement des performances obtenues par les plans d’action de la stratégie mais est également conditionnée par des facteurs exogènes. A titre d’illustration, on pourrait constituer le premier groupe d’indicateurs suivant :
Indicateur Incidence de la pauvreté (%) Déglob. An 99 99 99 97 00 00 00 00 99 99 00 00 99 99 Base Valeur 71,3 76,7 52,1 32 164 88 488 50 12 83 25 62 48,7 71,3 37 92 45 68 56 95 60 80 Cibles 2010

2005

2015

national rural urbain Pourcentage de la population dont l’espérance de vie national ne dépasse pas 40 ans (%) Taux de mortalité infanto-juvénile (%o) national Taux de mortalité infantile (%o) national Taux de mortalité maternelle (p/100.000) national Taux d’accessibilité de la population aux soins de national qualité (%) Taux d’accès à l’eau potable (%) rural urbain Taux d’accès à l’assainissement (%) rural urbain Taux d’analphabétisme (%) national Taux net de scolarisation (%) national
Source: ELM 1999 pour l’incidence de la pauvreté, l’analphabétisme EDS 1997 pour l’espérance de vie MICS 2000 pour les taux de mortalité MINESEB pour taux de scolarçisation estimée sur l’année scolaire 1999/2000. MEM/DEA pour les taux d’accès à l’eau potable et l’assainissement.

10 45 35 165 90 80 100 80 100 20,0 97,0

ii

S&E « central » DSRP
Objectifs de MLT du DSRP Indicateurs d’impact

DSRP

Matrice sectorielle DSRP Principaux indicateurs de résultats (MLT)

S&E « ministère» DSRP

Tableau de bord sectoriel des indicateurs intermédiaires (CT)
Objectifs stratégiques (quantification partielle cible n+3)

Indicateurs d’impact (cible n+3)

Indicateurs intermédiaires (suivi annuel)

Indicateurs de résultats et d’activités (questionnaire de suivi annuel des projets inscrits au PIP)

Indicateurs d’exécution et d’affectation des dépenses de fonctionnement

Indicateurs relatifs aux mesures d’appui institutionnel

iii

NB : • Il s’agit de se donner ici des objectifs volontaristes mais fondés sur des projections assorties d’une explicitation quantitative des hypothèses. • La croissance du PIB réel et du revenu par habitant sont appréhendés indirectement par l’évolution de l’incidence de la pauvreté (mesure de la pauvreté monétaire). La proposition d’un objectif volontariste en matière de croissance n’a qu’un intérêt limité sur longue période. • Les taux de mortalité peuvent être considérés commes des indicateurs de résultats au regard de l’espérance de vie (impact). • Pour l’éducation, et compte tenu de l’horizon (2015), on peut également considérer un indicateur portant sur l’extension de la durée de la scolarité (par ex : % d’enfants ayant terminé le niveau ESG-1er cycle (BEPC ou passage en FTP). S’agissant du Tableau de bord sectoriel, on peut, en prenant l’exemple de la santé, proposer une structure telle que présentée dans les tableaux suivants. Une proposition détaillée sur le choix des indicateurs de suivi du DSRP est à présenter dans le cadre du rapport Dubois. Exemple de tableau de bord sectoriel / indicateurs intermédiaires
Objectifs stratégiques assurer la fourniture des services de santé de base aux pauvres atteindre un taux de couverte vaccinale des enfants de 0-1 an (y zones enclavées et groupes défavorisés) maîtriser la croissance démographique améliorer les campagnes de sensibilisation contre les MST pour garder les faibles taux de prévalence actuels réduire la mortalité infanto-juvénile à 111%o (03) réduire la mortalité maternelle à 285 p. 100.000 (03) réduire le taux de morbidité du paludisme à 13,8% (03) réduire le taux de létalité par paludisme à 6,5% (03) augmenter le nombre des nouveaux cas de tuberculose détectés diminuer la létalité par la peste à 10% (03) réduire la prévalence de la bilharziose dans les zones hyperendémiques à moins de 20% (03) poursuivre la décentralisation du système sanitaire et renforcer les capacités de gestion du secteur, notamment en matière de gestion budgétaire Indicateurs d’impact Services médicaux primaire taux d’accès de la population aux infrastructures sanitaires taux d’utilisation des CSB par les consultants externes (contact par an) taux moyen d’utilisation des lits d’Hôpitaux de Districts taux de couverture vaccinale des 0-1 an en DTCP3 considération de la satisfaction des bénéficiaires obtenus par une enquête en 2002 et une autre en 2005 Lutte contre le paludisme taux de morbidité palustre chez les enfants de 0-5 ans vus en CE dans les CSB (4,5%) taux d’infection placentaire parmi les accouchements dans les maternités taux de létalité par paludisme chez les malades hospitalisés aux CHD, CHR et CHU (5%) taux de mortalité hospitalière par accès pernicieux chez l’enfant de 0-5 ans (3%) Lutte contre la tuberculose nombre de nouveaux cas détectés TPM (+2% par an) taux de guérison des malades (+5% par an) taux de perdus de vue (-3% par an) Lutte contre la peste nombre de nouveaux cas déclarés proportion des cas de peste pulmonaire parmi les nouveaux cas déclarés taux de létalité par peste Lutte contre la bilharziose nombre de villages hyperendémiques identifiés et traités proportion de personnes traitées parmi les cas recensés Surveillance épidémiologique proportion des situations d’alerte investiguées par le système de santé par rapport aux alertes déclarées Cible 2003
75% 0,4 65% 60%

4,5% 5% 3%

85% 80-90%

iv

Programme de Santé de la Reproduction / PF et Lutte contre les IST/SIDA 12% taux de prévalence contraceptive (% de femmes en union qui utilisent une méthode contraceptive moderne) 5,8 Indice synthétique de fécondité (nombre moyen d’enfant qu’aurait une femme durant sa vie féconde) 72,5% taux d’utilisation des consultations prénatales dans les Formations sanitaires (priv., para-publ. et publiques) 50% taux d’accouchement assisté par un personnel soignant formé taux de prévalence des IST classiques dans la population générale (- 50% d’ici 2006) taux de prévalence syndromique des IST en CE des CSB (- 50% d’ici 2006) taux de prévalence de la syphilis chez les femmes enceintes vues en CPN dans les CSB (4% en 2006) taux de prévalence du VIH chez les femmes enceintes vues en CPN dans les CSB des sites sentinelles (maintien à <0,25% <0,25% en 2006) <1% taux de prévalence du CIH chez les consultants des CSB sites sentinelles (<1% en 2006) Lutte contre la malnutrition 15% taux de mortalité des enfants de 0-5 ans mal nourris recevant en hôpital un traitement de réhabilitation nutritionnelle Proportion d’enfants sortant des CRENI guéris Gestion sectorielle 70% proportion de Districts Sanitaires possédant un système d’information pour la gestion sanitaire efficace 70% proportion de Districts Sanitaires disposant d’un Plan de Développement de District (PDD) 70% proportion de Districts Sanitaires ayant élaboré leur PTA à partir de leur PDD 2e Plan Directeur 2001-2003 (diffusion en avril 2001…) Carte Sanitaire avec mise à jour annuelle au plus tard en juin Plan de Développement des Ressources Humaines Indicateurs intermédiaires Indicateurs Activités Nombre de consultations médicales/habitant dans les formations sanitaires Nombre de consultations pré- et post-natales dans les formations sanitaires Nombre de jours d’hospitalisation dans les CHD Nombre d’accouchements dans les CHD Nombre de césariennes réalisées dans les formations sanitaires en % du total d’accouchements Taux d’ordonnances servies dans les CSB Rapports du Système d’Info. Sanitaire (taux de recouvrement des rapports) Infrastructures Nombre de Centres de Santé de Base Nombre de CHD (cat.1 et 2) Service de Santé de District possédant au moins une antenne chirurgicale Nombre de CREN Nombre de lits par faritany et par type d’établissement dans les CHD Couverture sanitaire (5 et 10 km) Dotation en équipements Nombre de CSB équipés aux normes Nombre de CHD équipés aux normes Taux de disponibilité des vaccins Ressources en personnel Nombre de médecins par habitant Nombre d’infirmiers par habitant Nombre de sages femmes par habitant Ressources financières Budget de fonctionnement MINSAN/ PIB Budget du MINSAN/ Budget Général de l’Etat Budget de fonctionnement hors solde MINSAN/ Total budget MINSAN Part du budget de fonctionnement hors solde du MINSAN allouée aux services de santé de district (SSD) et hôpitaux de districts Taux d’exécution budgétaire du Budget de fonctionnement hors solde MINSAN Taux d’exécution du Budget d’Investissement (ext+int) du MINSAN Taux d’exécution des crédits de fonctionnement hors solde au profit de la périphérie – Santé (SSD + CHD2 hors médicaments Ecart entre prix BGE MINSAN/ secteur privé Chiffre d’affaires SALAMA Recettes sur recouvrement des coûts (par type de structure)

v

Indicateurs généralement disponibles sur base des sources administratives. Déglobalisation par faritany. Non compris indicateurs de suivi des projets

III. INDICATEURS SPECIFIQUES POUR LE SUIVI DES PROJETS Une première esquisse de système d’indicateurs pour le suivi des projets est présentée ci-dessous. Elle regroupe (i) des indicateurs – financiers et physiques – communs à tous les secteurs, (ii) et des indicateurs spécifiques aux activités sectorielles. L’objectif est de disposer d’une liste à la fois restreinte et homogène de variables qui permettent d’informer sur les principaux moyens et résultats des projets. L’utilisation d’indicateurs homogènes est évidemment une condition pour disposer d’une information agrégée sur les performances des projets. Toutefois, le système d’indicateurs donne des tendances chiffrées – qui peuvent être confrontées aux données obtenues par ailleurs par les enquêtes et les données de routine – mais ne constitue qu’un volet du suivi. La qualité du suivi dépendra surtout d’une bonne exploitation des rapports d’avancement disponibles et de la mise à disposition de notes de synthèses sur les grands projets pour améliorer la prise de décision. Par ailleurs, le volet « qualitatif » du questionnaire de suivi annuel devrait faciliter l’interprétation des données et enrichir le suivi. Indicateurs communs aux différents secteurs Utilisation des ressources financières : Taux de décaissement global (% disponible sur convention) Taux d’exécution sur l’exercice % financement extérieur % prêts % FBCF (% total dépenses de l’exercice et réalisation/prévision annuelle) % assistance technique (id) % formation (id) % fonctionnement des projets dont personnel, carburant, entretien des équipements/installations (id) % dépenses affectées au niveau périphérique (à préciser par niveau) % dépenses géré au niveau périphérique coût moyen de l’assistance technique Intrants physiques : Personnel national employé (cadres/non cadres) par le projet Personnel de contrepartie sur budget national Expertise permanente (nationale/internationale ; h/m) Consultants (h/m yc BE) Véhicules fournis Equipements informatiques et bureautiques Réalisation physique : Retard sur l’échéancier initial (année) Indice synthétique des quantités (base : activité caractéristique du projet, ) o Indicateurs sectoriels

La valeur des indicateurs est demandée sur (i) prévu projet, (ii) prévu exercice, (iii) réalisé exercice, (iv) réalisé cumulé depuis début du projet. Santé : Construction de CSB Réhabilitation de CSB Réhabilitation de CHD Autres infrastructures Equipement/matériel de CSB

vi

Equipement/matériel de CHD Equipement/matériel de Centres nutritionnels Autres équipements Consommables (nb de kits médicaments, vaccins fournis) Formation perfectionnement (ventilés par principaux postes occupés : médecins, infirmiers, sages-femmes, responsables CRENI, autres agents sanitaires, directeurs centraux/serv. déconcentrés, cadres d’inspection et contrôle) Education: Salles de classe EPP construites Salles de classe EPP réhabilitées Autres constructions/réhabilitation de salles de classes Cantines scolaires créées Nb livres scolaires fournis Nb guides pédagogiques fournis Autres fournitures/matériel Nb enseignants formés (par cycle) Total journées de formation (par cycle et thèmes) Nb Inspecteurs et encadreurs pédagogiques formés (idem) Nb autres personnels formés Nb familles touchées par des actions IEC Production matériel IEC Nb de FRAM assistées Nb de communes touchées Nb d’établissements bénéficiaires Nb de ménages bénéficiaires Nb d’élèves bénéficiaires Alphabétisation: Nombre de personnes alphabétisées Centres de Ressources Polyvalentes créés Centres de formation des éducateurs spécialisés créés Nombre de formateurs pris en charge Nombre de formateurs formés/recyclés Eau & assainissement : Nb nouvelles bornes-fontaines (urbain) Nb nouvelles AEPG (gravitaires) ou AEPP (pompage) Nb nouveaux puits et forages Nb / % nouveaux ménages ayant accès à l’eau potable dans la zone du projet Nb / % nouveaux ménages dotés d’installations d’assainissement (par type d’équipement) % installations suivies en état de marche Accès à l’électricité : Nouveaux abonnés (urbain/ rural, province) Variation du taux de couverture dans la zone du projet Infrastructures routières : Km Routes bitumées (province) Km Routes en terre (id) Km Pistes rurales (id) Nb Ponts et ouvrages d’art (id) Nb communes touchées

vii

ANNEXE 7 : Note sur la révision des questionnaires de programmation et suivi (propositions préliminaires)
Questionnaires de programmation Les questionnaires actuels de programmation PIP et PDP doivent faire l’objet de réajustements pour tenir compte des capacités d’obtention des informations et des manques constatés sur certains points (cadres logiques des projets, indicateurs d’intrants et d’extrants, présentation des sources de vérification,…). Dans une première étape, le questionnaire PIP devrait être revu notamment sur les points suivants : rubriques B1 : substitution par un cadre logique de projet normalisé avec référence aux axes stratégiques du DSRP, identification des ressources (intrants), quantification des résultats (indicateurs objectivement vérifiables) ; rubriques B3 : recentrer sur l’articulation entre les activités programmées de la 1ère tranche annuelle du PIP et indicateurs physiques d’intrants et d’extrants ; rubriques B4 : présentation à revoir (suppression des références trimestrielles au moins pour les années n+2 et n+3 du PIP) ; rubriques B5 : information a priori peu susceptible de mise à jour annuelle (-> dossier du projet) ; disposer d’informations quantitatives (estimations sur % dépenses central et différentes provinces). rubriques C3 : à supprimer sous sa forme actuelle (données difficiles à obtenir). rubrique C5 : information à obtenir via une autre procédure (fichier de suivi des principaux marchés), en liaison avec les bailleurs de fonds. demande systématique sur les moyens de vérification des informations produites. Ultérieurement, la programmation devrait être fondée principalement sur le croisement activité x centre de responsabilité x source de financement. Questionnaire de suivi trimestriel « simplifié » Justification au niveau des fonctions: Le suivi infra-annuel détaillé des projets doit s’effectuer au niveau des directions techniques. Le suivi au niveau de la Cellule de S&E sectorielle a surtout pour objet (i) de gérer un tableau de bord périodique pour informer le Ministre de l’exécution d’ensemble du PIP sectoriel, (ii) d’informer le MFE sur les données d’exécution financière globale de chaque projet et les problèmes rencontrés dans l’exécution. au niveau des besoins d’information et de la capacité de traitement: Le remplissage du questionnaire (7 pages) représente une tâche fastidieuse pour les gestionnaires de projet ; ce travail est souvent confié à différentes personnes qui n’utiliseront pas nécessairement la même méthodologie dans le choix ou l’estimation des données; les chefs de projets reconnaissent eux-mêmes qu’ils ne considèrent pas l’information comme fiable car ils n’ont souvent pas les moyens de disposer d’une information détaillée et fiable à intervalles si rapprochées. En « sortie » du système, la DIP ne diffuse que l’information sur les décaissements globaux par projets et leur décomposition par source de financement. Le reste des données ne fait pas l’objet d’un traitement et d’une analyse spécifique, et moins encore d’un reportage systématisé. Un questionnaire de suivi trimestriel ou semestriel détaillant la ventilation des dépenses par nature économique de la dépense n’a qu’un intérêt marginal. La même remarque vaut pour la ventilation par région. Les impacts ne sont pas à appréhender dans le cadre d’un questionnaire de cette nature. L’utilité du tableau sur l’état d’avancement du projet (% de réalisation physique mois par mois et ventilé par nature de dépenses) est difficilement perceptible.

i

Format révisé Il est proposé un questionnaire de 1-2 pages structuré autour des rubriques suivantes Informations d’identification (reprendre le questionnaire) Réalisation financière de l’ensemble du projet : information sur les réalisations pour le(s) trimestre(s) écoulé(s) et cumul sur l’année. La reprise de l’information trimestrielle est importante car elle permet de tenir compte des ajustements apportés par les projets/bailleurs de fonds dans les tableaux de décaissements. Les données de programmation ne devraient pas être reprises : elles sont en principe déterminées dans la Loi des Finances et stockés dans la base de données. Taux d’exécution : (i) financière, (ii) physique. Cette information permet de tenir compte des décalages liés aux délais de paiement et de réception des avis de paiement par les responsables de projets. Source d’information et fiabilité : Cette rubrique permet de renseigner sur les états financiers utilisés (comptes du projet ou situations des bailleur de fonds ; dépenses ordonnancées (DRF), décaissements ou estimations). Contraintes rencontrées (moyen de vérification auprès du projet par rapport aux réunions mensuelles DIPSecteurs). Questionnaire de suivi annuel Justification Le questionnaire (trimestriel/semestriel) actuel n’est pas adapté car il mélange les besoins d’information de très court terme (cf. fiche sur l’état d’avancement du projet) et les besoins de « bilan ». Son format ne se prête pas à la consolidation de l’information (absence de questions fermées, indicateurs prédéfinis, ... ). Il ne prend pas en compte le cadre logique du projet ni le cadre sectoriel consolidé (qui devrait être, en principe, la matrice sectorielle annexée au DSRP). L’information financière produite reste d’un intérêt limité. Format révisé 1. Données d’identification du projet Reprendre les rubriques du questionnaire actuel (ajouter adresse e-mail) 2. Tableau de synthèse Coût total % Financement extérieur Taux d’exécution de l’année Taux de décaissement cumulé Dates initiales de démarrage / fin - dates actualisées de démarrage / fin Provinces concernées Impacts attendus sur la pauvreté (codification des réponses) 3. Réalisations financières Réalisations financières par sources de financement: montants programmation, montants décaissement, taux d’exéc.) Réalisations financières par nature de dépenses (article) : montants programmation, montants décaissement, taux d’exéc. Responsabilité dans l’affectation des dépenses (en % du total) : national, provinces, communes, communauté (village ou quartier), autre. Contribution des populations : en nature (estimé), financière. NB : questionnaire-test : suivi des dépenses par centre de responsabilité x fonction x nature de dépense

ii

4. Intrants mobilisés Tableau à 4 colonnes : input programmé (quantifié et classé par type : ressources humaines, équipement, input réalisé (idem), sources de vérification, explication des écarts. 5. Résultats Tableau à 5 colonnes : objectifs du projet, résultats attendus sur l’exercice (quantification), réalisations de l’exercice, sources de vérification, explication des écarts. Le tableau porte sur les principaux IOV du projet : indicateurs pré-définis (investissements physiques par type, entretien d’équipements collectifs, formation, IEC,...) dans les tableaux d’indicateurs intermédiaires sectoriels; autres indicateurs quantifiables (réponse ouverte) ; mesures institutionnelles. 6. Jugements sur l’impact obtenu/prévisible du projet Pauvreté monétaire (génération de revenus) Conditions de vie (santé, nutrition & alimentation, éducation, eau & assainissement, transport, environnement) Potentialités (accès au crédit, formation technique, participation,... 7. Documentation

NB : L’impact macroéconomique peut difficilement être appréhendé dans le cadre d’un suivi par projet. On peut introduire une grille simplifiée de passage entre les catégories de dépenses (nomenclature PCOP) et les principales variables (production, FBCF, importation, charges récurrentes, etc) avec utilisation d’un coefficient propre à chaque secteurltype de projet. En fait, il est plutôt recommandé une étude périodique sur l’analyse macroéconomique du PIP réalisée selon une double approche : approche globale du PIP et approche sur échantillon de grands projets.

iii

ANNEXE 8 : Sites internet sur l’évaluation des programmes et projets

American Evaluation Association Australian Evaluation Society Canadian Evaluation Society

<www.eval.org> <www.parklane.com.au/aes/>

<www.evaluationcanada.ca>

Development Assistance Committee (DAC) Expert Group <http://minweb.idrc.ca/cida/dacloge.htm> on Evaluation Danida's Evaluation Unit <www.ing.dk/danida/danida.html>

Association Allemande d'Evaluation Gesellschaft für Evaluation e.V.)

(Deutsche <http://www.fal.de/~tissen/geproval.htm>

ERIC Clearinghouse on Assessment and Evaluation European Evaluation Society (EES) Evaluation Center of the Western Michigan University Evaluator's Institute IFAD Office of Evaluation and Studies Inter-American d'Evaluation Development Bank (IDB),

<http://ericae.net>
<www.europeanevaluation.org>

<www.wmich.edu/evalctr/> <www.erols.com/cwisler/> <www.ifad.org/ifadeval/>

Bureau <www.iadb.org/evo/>

International and cross-cultural Evaluations

<www.wmich.edu/evalctr/ICCE/>

Association Italienne d'Evaluation (Associazione italiana <www.valutazione.it> di Valutazione) Jossey-Bass Publishers MandE News Preval Sage Publications

<www.josseybass.com>
<www.mande.co.uk/news.htm> <www.fidamerica.cl/preval.htm >

<www.sagepub.com>

SIDA (Swedish International Development Cooperation <www.sida.se./eng/infotek/eval/evaluation.html> Agency UK Evaluation Society PNUD, Bureau d'Evaluation UN, Office of Internal Oversight UNICEF, Recherche et Evaluation USAID, Evaluation Publications World Bank, Operations Evaluation Department

<www.evaluation.org.uk> <www.undp.org/eo> <www.un.org/depts/oios/> <www.unicef.org/reseval> <www.info.usaid.gov/pubs/usaid_eval> <www.worldbank.org/html/oed/index.html>