Vous êtes sur la page 1sur 72
REPUBLIQUE DE MADAGASCAR P ROGRAMME DES NATIONS UNIES POUR LE DEVELOPPEMENT M INISTERE DES FINANCES

REPUBLIQUE DE MADAGASCAR

PROGRAMME DES NATIONS UNIES POUR LE DEVELOPPEMENT

MINISTERE DES FINANCES ET DE LECONOMIE

PROGRAMME MAG/97/007

GOUVERNANCE ET POLITIQUES PUBLIQUES POUR

DIRECTION GENERALE DE LECONOMIE ET DU PLAN

UN DEVELOPPEMENT HUMAIN DURABLE

Système de suivi et évaluation Des programmes et projets Dans le cadre du DSRP

Rapport de mission

Christian Bonifas Consultant PNUD

Novembre 2001

Sommaire

RESUME

1

INTRODUCTION : CONTEXTE DE LA MISSION ET DEMARCHE ADOPTEE

5

I. EVALUATION DE L’EXISTANT

7

1.1. Le cadre général de programmation-budgétisation

7

1.2. Le suivi des dépenses

10

1.3. Le suivi des activités et des résultats

12

1.4. L’évaluation des impacts

14

II. PROPOSITIONS SUR L’ORGANISATION DU SYSTEME DE SUIVI ET EVALUATION17

1. Les objectifs et les principes

17

2. La répartition des tâches du S&E (DSRP, programmes et projets)

19

III. LES INSTRUMENTS POUR LE S&E

25

1. Documents de méthodologie et d’organisation des activités de S&E

25

2. Les tableaux de bord

26

3. Les questionnaires

27

4. Les rapports

28

5. Le Réseau national de suivi et d’évaluation

31

IV. PLAN D’ACTION

32

1. Plan d’action 2002

32

2. Actions ultérieures

36

ANNEXES

1. Termes de référence

2. Personnes rencontrées

3. Documents consultés

4. Cadre institutionnel pour le suivi et l’évaluation : diagnostic relatif au MFE et à six ministères techniques.

5. Le système d’information statistique et le S&E : contraintes observées.

6. Eléments sur le système d’indicateurs.

7. Notes sur la révision des questionnaires de programmation et suivi.

RESUME

Le Programme d’Investissement Public canalise une partie importante de l’aide extérieure et les projets qu’il contient représentent l’un des principaux leviers de la politique gouvernementale. Le suivi et l’évaluation des projets constituent ainsi des fonctions-clés dans l’analyse des politiques publiques, reliant le système d’information sur les projets au système de décision.

L’engagement de Madagascar dans le processus DSRP renforce encore cette exigence. Les DSRP mettent un accent particulier sur la définition de mécanismes précis pour garantir le suivi de la mise en œuvre de la Stratégie de Réduction de la Pauvreté, en particulier des projets d’investissement qui conditionnent en grande partie l’atteinte des objectifs fixés dans les plans d’actions prioritaires. Le suivi doit aller au-delà du seul suivi des décaissements par secteur et source de financement pour renseigner sur l’affectation précise des dépenses - au regard des objectifs de réduction de la pauvreté et des populations ciblées – et sur les résultats « physiques » des projets. Ce suivi doit être complété nécessairement par une évaluation des impacts des programmes.

Principaux constats

Madagascar dispose de certains atouts dans le domaine de LA PROGRAMMATION, du SUIVI et de L’EVALUATION DES PROJETS : rodage des méthodologies et procédures du PIP, application logicielle pour la gestion du PIP, statut du PIP, nomenclature unifiée des dépenses, mise en place progressive de mécanismes de programmation décentralisée dans certains secteurs. Elle a également une expérience assez longue des Programmes de Dépenses Publiques qui visent une approche intégrée de la programmation des dépenses de fonctionnement et d’investissement. Le diagnostic met cependant en évidence des faiblesses importantes à divers niveaux :

- De manière générale, l’administration n’a pas une pratique axée sur le suivi des résultats et moins encore une culture de l’évaluation des politiques et programmes publics.

- En amont, les stratégies sont mal appropriées (comme en témoigne encore le processus DSRP en cours) et les politiques sectorielles apparaissent souvent comme le produit d’équipes mobilisées dans le cadre de projets particuliers, les services permanents des ministères techniques ne disposant pas des capacités nécessaires en matière d’analyse des politiques et programmes. Les mécanismes de suivi des politiques sectorielles se concrétisent difficilement et l’activité des services de planification, de suivi et d’information sectorielle est concentrée sur la collecte des données bien plus que sur leur analyse.

S’agissant de la PROGRAMMATION, on constate que le PDP est un exercice aboutissant à la production de documents sans statut et fondés sur des données dont il est difficile de contrôler la fiabilité. Les données d’indicateurs non financiers ne font l’objet d’aucune consolidation et utilisation. Le PIP, pour sa part, présente également des faiblesses, notamment : le document de PIP se limite à un simple listing de projets au lieu d’être un cadre de présentation de la politique d’investissement public ; les procédures d’inscription au PIP sont largement formelles ; le travail de synthèse et de mise en cohérence des différents programmes sectoriels reste insuffisant ; le dossier standard de projet ne met pas suffisamment l’accent sur certains points (cadre logique, indicateurs, budget et modalités de S&E).

Concernant le SUIVI, les problèmes se situent d’abord au niveau de la capacité de recueil et de traitement des données. Les questionnaires utilisés sont détaillés mais une bonne partie de l’information n’est pas collectée ou elle ne donne lieu à aucune exploitation. La consolidation des données de suivi ne porte pratiquement que sur les dépenses globales par projet et source de financement. La diversité des modalités de comptabilisation des dépenses et de suivi propres à chaque bailleur, voir à chaque projet (système interne de S&E) complique fortement la tâche des

1

services administratifs chargés de centraliser et traiter les informations sur le suivi des projets, d’autant plus qu’il n’existe pas de circuit efficace permettant une transmission systématique des rapports d’avancement à ces services. En fait, les services sectoriels et centraux chargés du suivi des programmes fonctionnent comme des chambres d’enregistrement, peu en mesure de contrôler la véracité des informations transmises. De manière générale, ces services tendent à se polariser sur les données globales de décaissements.

Dans ces conditions, les produits du système national de suivi des projets sont limités (absence de rapports sectoriels d’exécution et limitation des rapports de suivi publiés par le MFE) et peu efficaces (rétro-information peu développée). En d’autres termes, le système actuel n’apporte que peu d’information de synthèse sur les intrants mobilisés et leur affectation, sur les activités réalisées ainsi que sur les résultats obtenus et leur contribution aux objectifs sectoriels de réduction de la pauvreté.

La faiblesse du système de suivi et la relation déficiente entre les systèmes d’information du S&E et le système de décision contribuent à la permanence des difficultés rencontrées dans la mise en œuvre des projets et dont témoignent les revues de programmes : lenteur dans la mise en place des ressources de contrepartie, dans le traitement des demandes de décaissement ou dans la passation des marchés ; inflation de structures de pilotage et déficit simultané de coordination entre les projets ; etc.

Quant à L’EVALUATION, elle reste un exercice peu « internalisé », conduit le plus souvent par des équipes de consultants internationaux et réalisé de manière séparée au niveau de chaque projet et selon les procédures propres à chaque bailleur de fonds. Les rapports ne sont pas diffusés, pour certains partenaires, ou le sont de façon très restreinte, ce qui empêche de capitaliser sur ces exercices par ailleurs coûteux. La pratique de l’évaluation simultanée de plusieurs projets (correspondant à un même objectif, groupe cible ou zone d’intervention par exemple) reste marginale. Alors qu’un nombre élevé d’études sont réalisées chaque année dans le pays, peu d’entre elles traitent de façon détaillée de l’impact des projets de développement.

Certaines contraintes structurelles, qui touchent l’ensemble de l’administration malgache, influent fortement sur l’efficacité des fonctions de programmation suivi évaluation : tendance au cloisonnement dans le travail des services publics et absence consécutive de fluidité de l’information ; réticences aux changements institutionnels (par exemple au niveau des propositions de rationalisation du suivi des projets et du suivi unifié des dépenses de fonctionnement et d’investissement) ; démotivation des cadres ; limitation des moyens de fonctionnement ; dépendance des administrations vis-à-vis des projets qui se traduit par une difficulté majeure à pérenniser les résultats des projets de développement.

Recommandations

Dans le contexte actuel, l’amélioration du suivi et de l’évaluation des programmes doit partir d’une démarche à la fois globale, pragmatique et dont les étapes sont liées à la mise en place elle-même du dispositif de S&E du DSRP.

La première étape concerne ainsi la finalisation du DSRP complet qui doit constituer le nouveau cadre de référence programmatique et préciser les objectifs et indicateurs/cibles servant de base au suivi des résultats des projets de développement. Elle comporte également la mise au point d’un Cadre de suivi et d’évaluation, document qu’il conviendrait d’annexer au DSRP ou de finaliser dans la foulée de l’adoption du DSRP. Ce dernier apparaît indispensable au vu du déficit actuel du document DSRP sur ce sujet et des différences de perception que l’on observe. Le cadre de S&E déterminera ainsi les principes du S&E, les responsabilités propres à chaque institution et les outils nécessaires au renforcement des activités de suivi dans ces différents aspects (budgétaire, ressources humaines, projets, mesures institutionnelles,…). Le rapport comprend une proposition initiale dans

2

ce sens. Le cadre de S&E pourrait, à terme, devenir une loi regroupant les orientations et normes nationales en matière de suivi et d’évaluation.

La seconde étape couvre l’ensemble de l’année 2002 et fait l’objet du plan d’action proposé dans le rapport. Elle vise deux objectifs principaux : (i) mettre en place le cadre institutionnel du S&E du DSRP (comprenant, entre autres, la réforme du cadre actuel de suivi des projets), (ii) opérationaliser de nouveaux outils et procédures pour le S&E (plan annuel d’évaluation et d’enquêtes, système d’indicateurs, suivi renforcé des projets,…) en s’attachant aux secteurs prioritaires du DSRP.

Au titre du premier objectif, les mesures comportent :

la mise en place effective d’une cellule d’analyse et de synthèse (Observatoire de la Pauvreté) au sein du Secrétariat Technique à l’Ajustement, appuyée par une expertise légère, mesure déjà envisagée par le gouvernement (cellule technique). Point focal pour le suivi de la pauvreté, l’Observatoire aura pour triple mission (i) de capitaliser l’information sur les programmes prioritaires et de l’évolution de l’état de pauvreté, (ii) de produire et diffuser une information de synthèse sur l’état d’avancement du DSRP, (iii) et de coordonner des travaux d’études plus approfondis.

la mise en place de cellules de S&E rattachées aux Secrétaires Généraux au sein du Ministère des Finances et de l’Economie ainsi que des ministères-clés (dispositif testé au départ sur quatre secteurs : Santé, Education, Eau & assainissement, Agriculture). Les cellules sectorielles disposeront d’un mandat identique : (i) centraliser l’information de suivi (information financière, projets, mesures institutionnelles, résultats d’enquêtes,…) ; (ii) gérer les tableaux de bord sectoriels prédéfinis en accord avec le STA et l’INSTAT, (iii) rédiger les rapports périodiques de suivi propres aux actions sectorielles du DSRP. La cellule de S&E du MEF sera, pour sa part, spécialisée dans le suivi des projets et la centralisation/synthèse des rapports d’évaluation. La création de cellules régionales apparaît en revanche prématurée compte tenu des préalables nécessaires (définition des responsabilités, mise à disposition des ressources financières et humaines,…).

En ce qui concerne le second objectif, il est d’abord proposé la mise au point d’un système de gestion des indicateurs de suivi. Celui-ci reposera d’une part sur un corps d’indicateurs de moyen-long terme (indicateurs d’impacts et principaux indicateurs de résultats assortis d’objectifs quantifiés – cibles – à horizon 2005-2010-2015), d’autre part sur des tableaux de bord sectoriels comportant les indicateurs intermédiaires faisant l’objet d’un suivi annuel. Les indicateurs d’activité et de résultats des projets s’intègreront dans ce second ensemble.

Des propositions sont contenues dans le rapport. Les tableaux seront préparés par les cellules sectorielles de S&E et l’INSTAT, ce dernier devant être en charge de la centralisation de l’ensemble des données relatives aux indicateurs de S&E liées à la mise en œuvre du DSRP.

Il est ensuite recommandé de renforcer le suivi des programmes en s’appuyant sur les processus PIP et PDP. Il s’agira, dans un premier temps, de rationaliser les outils et procédures de suivi des projets du PIP mais la perspective recherchée à terme devra s’inscrire clairement dans une logique d’intégration budgétaire (cadres de dépenses à moyen terme) et de décentralisation (budgets multi- ressources par activités et centres de responsabilité) qui conduira à revaloriser l’exercice PDP.

Les mesures de court terme (plan d’action 2002) porteront principalement sur (i) la révision des modalités d’enquêtes de suivi des projets (simplification et place plus importante donnée au suivi des activités et des résultats), (ii) l’amélioration de la centralisation, de la synthèse et de la diffusion de l’information de S&E (opérationnalisation des cellules de S&E et production de rapports périodiques et notes de synthèse), (iii) le renforcement du « suivi administratif » (problèmes de mise en place et d’exécution des projets), (iv) la préparation d’un plan annuel d’évaluation et d’enquêtes à exécuter en

2003.

3

L’appui que le PNUD apporterait à ces actions – essentiellement expertise, organisation d’ateliers techniques et appui aux publications – devrait conduire aux principaux produits suivants au terme de ce premier plan d’action pour l’année 2002 :

existence d’un cadre de référence définissant les orientations et mécanismes nationaux en matière de suivi et d’évaluation des politiques publiques ;

consolidation du dispositif institutionnel (Observatoire de la Pauvreté, Cellules de S&E, meilleure collaboration entre les acteurs sur les questions de suivi des programmes) ;

tableaux de bord en place pour les secteurs prioritaires ;

publication (1 er sem. 2002) d’un rapport détaillé sur les activités et résultats des projets exécutés en 2001 et rodage, à cette occasion, de questionnaires annuels axés sur les résultats (testés sur 3 secteurs) ;

amélioration du traitement de l’information financière sur les projets ;

production trimestrielle, pour soumission en Conseil des Ministres, d’un dossier d’information sur les principaux blocages et problèmes rencontrés dans la mise en place ou l’exécution des grands projets.

Le dispositif de S&E fera l’objet d’une évaluation fin 2002, si possible appuyée par une assistance multi bailleurs (PNUD, Banque Mondiale, Union Européenne). Celle-ci permettra de tirer les premières leçons de cette année-test, de réviser certaines dispositions et surtout de définir un plan à moyen terme pour étendre/consolider le suivi des résultats et l’évaluation des impacts des politiques publiques. Le lancement de ce plan devrait coïncider avec le démarrage du PAIGEP II (Banque Mondiale) qui devrait représenter la principale contribution au développement du système de S&E des politiques publiques dans le cadre du DSRP.

4

INTRODUCTION :

CONTEXTE DE LA MISSION ET DEMARCHE ADOPTEE

Contexte et objectif de la mission

La mission s’inscrit dans le cadre de l’appui que le PNUD apporte au gouvernement malgache pour mettre en place un système national intégré de suivi de la pauvreté et développer les fonctions de suivi et d’évaluation des politiques publiques 1 . Les activités engagées jusqu’à présent se sont situées à deux niveaux :

renforcement du système d’information sociale : Le PNUD a financé divers travaux - diagnostic des sources d’information statistique, identification des principaux indicateurs de la santé, de l’éducation et de l’approvisionnement en eau - qui ont conduit à la production des deux premiers Tableaux de Bord Social (INSTAT, décembre 2000 et septembre 2001). Le Programme a également aidé à la mise à jour de l’étude réalisée en 1998 dans le cadre de l’Initiative 20-20 et proposé des indicateurs de suivi financier pour ces secteurs. Enfin, deux consultations (Charmes et Dubois) ont été réalisées en septembre, portant entre autres sur la faisabilité d’un Observatoire de la Pauvreté.

développement des fonctions de suivi et d’évaluation (S&E) des programmes/projets : Les activités ont porté ici sur (i) la réalisation d’une première étude de diagnostic du système de suivi-évaluation (rapport WIMI, août 1999), (ii) la formation d’un noyau de formateurs en suivi et évaluation (octobre 1999), (iii) la préparation par la Direction du Développement Economique (Ministère des Finances et de l’Economie) d’un projet de manuel de S&E et l’organisation d’un atelier de formation destiné à une trentaine de cadres des ministères techniques (décembre 2000). Le processus devait se poursuivre avec la production par l’ensemble des départements ministériels de « Cadres Logiques » pour tous les programmes et projets et de « Cadres Sectoriels Consolidés ».

La mission avait, suivant les TDR (annexe 1), pour mandat (i) d’évaluer la pertinence et l’efficacité des outils de S&E préparés par les ministères, (ii) d’appuyer les ministères dans l’amélioration des outils, (iii) de proposer des modalités d’opérationnalisation du système de S&E des programmes et projets.

Au démarrage de la mission, deux constats ont conduit à ajuster certains points des TDR. Le premier concerne l’absence de propositions opérationnelles dans le projet de DSRP complet (version de septembre) relatives au cadre institutionnel et technique de suivi et évaluation. Or, il s’agit d’une composante importante de tout DRSP et c’est elle qui forme le cadre général dans lequel doivent s’inscrire les dispositions spécifiques régissant le S&E des projets. En d’autres termes, la définition du cadre général de S&E du DSRP doit logiquement précéder la mise au point détaillée d’un système de S&E des projets.

Le second concerne le bilan des activités menées depuis 1999 dans ce dernier domaine. Aucune dynamique réelle n’a en fait été constatée à cet égard. La collaboration entre la DDE/MFE et les unités sectorielles de suivi est restée assez ténue et aucun secteur, hormis une initiative surtout d’origine interne (Ministère de l’Elevage), n’a travaillé durablement sur le chantier annoncé (cadres logiques et cadres sectoriels consolidés).

1 appui financé par le Programme « Gouvernance et Politiques publiques pour un Développement Humain Durable ».

5

Démarche adoptée

Au vu du bilan des activités précédentes, la mission a proposé une démarche fondée sur les trois points suivants :

inscrire le suivi et l’évaluation des projets dans une approche globale du S&E des politiques publiques. Une approche strictement cantonnée au suivi des programmes et projets n’a qu’un intérêt limité. Ainsi, il est difficile de proposer une grille d’indicateurs de suivi des projets sans prendre en compte les produits des différents systèmes d’information statistique sectorielle (données administratives « de routine » notamment). De même, le suivi des dépenses et des activités doit, dans la mesure du possible, être appréhendé de manière consolidée c’est-à-dire en prenant en compte à la fois les ressources mobilisées dans le cadre du Budget de fonctionnement et celles finançant le Programme d’Investissement Public. En fait, il convient de définir un système d’ensemble qui concerne les différentes dimensions du suivi des politiques publiques (ressources humaines, moyens de fonctionnement, investissements, mesures institutionnelles). Cette approche doit conduire également à sortir d’un axe DDE/MFE – unités sectorielles de suivi des projets pour associer également les autres directions du MFE concernées (DIP, DICS, DCAE, DPGE), l’INSTAT, le MBDPA,…

articuler le dispositif de S&E des projets avec le DSRP. Les activités développées depuis 1999 n’ont pas encore pris en compte le DSRP. Or ce lien est indispensable. Le S&E des projets doit représenter un sous-système qui, à côté d’autres, doit viser en premier lieu à satisfaire les besoins d’information du processus DSRP.

tester rapidement de nouveaux outils ou procédures. Les activités précédentes ont peu mis l’accent sur la révision des instruments, restant à un niveau assez général (formation sur les concepts, sur les différentes méthodes d’évaluation,…) et l’impact des ateliers réalisés est encore peu visible. Il est donc devenu nécessaire de passer à une approche plus instrumentale en travaillant d’abord sur l’ajustement des outils existants (PIP et PDP).

Structure du rapport

Le document se structure autour de quatre parties :

l’évaluation de l’existant ;

les propositions sur l’organisation institutionnelle du système de suivi et évaluation ;

les propositions relatives aux outils de suivi et évaluation ;

le plan d’actions pour la poursuite des activités (exercice 2002).

On trouvera en annexes des éléments complémentaires sur :

le diagnostic des principales institutions engagées dans le suivi et l’évaluation des projets;

le système d’information statistique ;

le tableau des indicateurs sectoriels de S&E ;

les questionnaires destinés au suivi (adaptation des fiches PIP).

6

I. EVALUATION DE L’EXISTANT

Le diagnostic a été établi sur la base des entretiens tenus principalement avec l’ensemble des directions du Ministère des Finances et de l’Economie, le STA, l’INSTAT et six Ministères techniques 2 .

Les éléments détaillés sur l’activité des institutions directement concernées par le S&E des programmes et projets ont été reportés en annexe (ANNEXE IV), de même que les observations relatives au système d’information statistique (ANNEXE V) ou au S&E du DSRP (ANNEXE VI). Ceci permet de se concentrer sur la synthèse des points forts et points faibles du dispositif de S&E des projets actuellement en vigueur.

Le diagnostic aborde successivement (i) le cadre général de programmation-suivi-budgétisation des projets, (ii) le suivi des dépenses, (iii) le suivi des activités et des résultats, (iv) l’évaluation des impacts.

1.1. Le cadre général de programmation-budgétisation

La programmation, le suivi et la budgétisation des actions publiques repose principalement sur deux exercices complémentaires : le PIP (Programme d’Investissement Public) et le PDP (Programme de Dépenses Publiques).

Fondés sur le principe d’une programmation triennale glissante des dépenses, le PIP (global) et les PDP (sectoriels) sont préparés annuellement suivant des procédures et un calendrier de préparation, sommairement rappelés dans les circulaires annuelles diffusées par la DIP. Les principales étapes sont résumées dans l’encadré suivant.

La préparation du PIP précédée par l’élaboration des PDP constituent un exercice globalement rôdé et comportant des atouts incontestables :

La préparation annuelle des PDP, en amont du processus d’élaboration du PIP, est un moyen de permettre aux différents ministères d’apprécier leurs besoins en ressources sur la base d’une approche intégrée (consolidation des dépenses d’investissement et de fonctionnement). Le PDP informe, pour chaque ministère, sur (i) les orientations, missions et priorités de la structure, (ii) l’organisation du ministère, au niveau central et déconcentré, (iii) la structuration des différents programmes et projets du secteur, (iv) le « cadre logique » de chacun des programmes (objectifs, résultats obtenus et attendus, indicateurs), (v) les tableaux de financement (dépenses réalisées pour les 3 années écoulées et dépenses programmées pour les 3 années suivantes, ventilées en ressources internes et externes). En résumé, les PDP sont une occasion pour revoir chaque année, les objectifs du secteur et de prévoir sur les trois années suivantes les moyens physiques et financiers - en investissement comme en fonctionnement - nécessaires pour les atteindre. Il s’agit en quelque sorte d’actualiser le « cadre logique » d’intervention du Ministère (objectifs, résultats obtenus et attendus, indicateurs) et les besoins en ressources correspondants.

Le PIP a un statut officiel ; il est présenté dans le cadre de la Loi des Finances pour approbation par l’Assemblée Nationale.

2 Ces ministères concernent les secteurs de l’enseignement de base (MINESEB), la santé (MINSAN), l’eau et l’assainissement (DEA/MEM), l’agriculture (MINAGRI), l’élevage (MINELEV) et les infrastructures routières (MTP). Les propositions ont été étudiées uniquement avec les trois premiers secteurs.

7

Encadré : Principales étapes des processus PIP et PDP

L’exercice de programmation démarre au cours du 1 er trimestre avec la préparation de la « version zéro » du PDP de chaque ministère qui regroupe par programme les dépenses courantes et les dépenses d’investissement. La présence du projet dans le PDP a une implication financière indirecte puisqu’elle conditionne en principe son inscription dans le PIP. La DGEP/DIP organise des conférences budgétaires qui lui permettent de discuter en début d’exercice de la préparation du PIP avec les ministères techniques, de la situation comptable des crédits utilisés au niveau de chaque projet et de dégager ainsi l’esquisse du budget de reconduction. Cette dernière est alors communiquée aux ministères techniques et aux bailleurs de fonds. L’exercice de cadrage macro-économique du Budget de l’année suivante permet de déterminer l’enveloppe globale de financement de la 1 ère tranche du PIP en préparation. Fin juin/début juillet, la DGEP/DIP transmet aux ministères techniques une Circulaire de Programmation Budgétaire qui contient les directives d’élaboration du PIP et un questionnaire standard de projets qui enregistrera les informations qui serviront de base de référence pour la sélection et le suivi futur des projets. Les questionnaires PIP (programmation financière et physique) sont adressés par les ministères techniques (unités de programmation) aux chefs de projets qui doivent les retourner dans un délai d’environ 1 mois (1 ère quinzaine d’août). Des réunions sont organisées entre la DGEP/DIP et les secteurs pour analyser les propositions des ministères techniques et vérifier les données de programmation souvent gonflées dans les budgets présentés par les projets et les directions de tutelle. La disposition d’une information de suivi correct (exécution du planning des travaux, situation des marchés,…) est à cet égard essentielle. Plusieurs avant-projets de PIP sont alors préparés : une 1 ère Version Provisoire du PIP est élaborée par la DGEP/ DIP pour soumission au Conseil du Gouvernement et présentation à la mission de revue FMI/Banque Mondiale. Sur la base des analyses et arbitrages réalisés, une 2e Version Provisoire du PIP est mise au point et soumise au Conseil du Gouvernement qui fait ses observations pour l’élaboration de la version finale du projet de PIP. Le PIP (autorisations de programmes et crédits de paiement) est finalement présenté et adopté par l’Assemblée Nationale dans le cadre de l’examen de la Loi des Finances. La circulaire d’exécution est produite début janvier. Fréquemment, le gouvernement propose un réaménagement des crédits de paiements en cours d’année (mai-juin) pour tenir compte des réalisations du 1 er semestre. Celui-ci se traduit par le vote d’une Loi rectificative des Finances.

En termes d’outils, la gestion du PIP peut s’appuyer sur une application logicielle (sur Access) répondant aux besoins essentiels et fonctionnant en réseau au niveau de la Direction des Investissements Publics. Les questionnaires et la base de données permettent en principe de disposer de données détaillées sur la programmation (et le suivi) - tant physique que financier - des projets. Les données de programmation sont consignées dans le document de PIP et il est prévu la production d’une information régulière sur les données de suivi à travers des états trimestriels (suivi financier) et semestriels (suivi financier et suivi physique). Il convient de noter que les dépenses sont désormais présentées suivant une nomenclature unifiée (investissement et fonctionnement) et révisée récemment (PCOP, novembre 1999).

La DIP, par le biais surtout de réunions mensuelles de suivi avec l’ensemble des secteurs, cherche à assurer une fluidité de l’information relative aux problèmes rencontrés dans la mise en œuvre des différents projets pour intervenir à intervalles rapprochés en vue de lever les blocages indiqués (mobilisation des fonds de contrepartie, paiement de la TVA et des DTI,…).

Toutefois, le système actuel comporte plusieurs faiblesses importantes.

8

Ainsi, concernant les Programmes de Dépenses Publiques, on peut noter des insuffisances au regard de la finalité initiale de l’exercice :

L’exercice relève plus de la juxtaposition des données relatives respectivement au fonctionnement et à l’investissement du secteur que d’un véritable temps fort pour analyser et réviser les choix d’allocations budgétaires.

De sérieuses réserves existent quant aux modalités de calcul des données, notamment sur les coûts récurrents (alors que l’intégration des coûts récurrents des investissements dans la programmation du budget de fonctionnement constitue l’un des intérêts principaux de l’exercice) ; les calculs ne sont pas explicites (sources et modalité d’obtention des données) et il est difficile de contrôler dans ces conditions leur véracité.

Les divers indicateurs « physiques » proposés (moyens, impact) sont présentés par programme mais ils ne font pas l’objet d’une consolidation et d’une analyse au niveau du secteur.

Le PDP reste un document de travail, sans réel statut.

La plupart des informations contenues dans les PDP ne donnent lieu à aucun traitement (absence d’une base de données PDP) et utilisation.

S’agissant du Programme d’Investissement Public, on peut déjà faire les constats suivants :

Le document de PIP se limite pratiquement à un simple listing de projets alors qu’il devrait constituer un cadre pour définir la politique nationale d’investissement public, mettre l’accent sur le lien entre les objectifs de développement, les stratégies nationales et les différents projets qui constituent le PIP, préciser les inflexions proposées dans le cadre du nouvel exercice budgétaire et les principaux effets économiques et sociaux attendus du nouveau programme triennal.

Le PIP n’est pas exhaustif dans la mesure où une partie des projets échappe au PIP. Il ne représente donc pas toute la ressource publique destinée à l’investissement.

La dimension régionale est presque inexistante dans le processus et les documents de programmation, hormis la clef (souvent très indicative) de répartition des ressources programmées entre les provinces/régions.

Le dossier de projets, qui sert de document de référence pour l’inscription du projet dans le PIP, comporte quelques faiblesses relatives notamment au cadre logique ou à la définition des indicateurs d’impact. Ceci ne facilite pas l’activité de suivi. En outre, la qualité du dossier semble varier sensiblement selon les projets (déficit d’informations constaté notamment pour les projets dits autonomes). Quant aux critères d’inscription au PIP, leur application est largement formelle. La grille de critères (17 critères 3 ) est certes utilisée mais l’inscription des nouveaux projets ne donne pas lieu à de véritables analyses sur le fond des programmes. Par ailleurs, des doutes sérieux existent quant à l’application par les services de la DIP et/ou des ministères techniques des critères liés à l’impact économique et financier des projets (coûts récurrents, création d’emplois, taux de rentabilité économique, coût minimum pour les projets sociaux, effets sur la balance des paiements).

Les questionnaires utilisés pour la programmation et pour le suivi ne tiennent pas suffisamment compte (i) des besoins d’un suivi orienté sur les résultats, (ii) des capacités à obtenir des données fiables dans les délais requis.(cf. infra).

3 Cf. Note sur la préparation du Programme d’Investissement Public 2002-2004, mai 2001.

9

Il n’existe pas de procédures d’échanges informatisées des données entre la DIP et les secteurs, moyen important d’éviter des re-saisies et de gagner du temps également sur la transmission des données. L’application logicielle de gestion du PIP n’est utilisée que par la DIP et elle ne s’appuie pas sur des importations/exportations de données en provenance-à destination des différentes unités sectorielles de programmation et de suivi. Au niveau des différents secteurs, on note de fait une absence ou une fragilité des bases de données 4 .

Les faiblesses sont plus évidentes lorsque l’on aborde les conditions spécifiques du suivi du PIP et de ses projets comme on va le voir dans les paragraphes suivants.

1.2. Le suivi des dépenses

Hormis les visites de terrain et les réunions mensuelles DIP-secteurs, le suivi des projets repose essentiellement sur deux procédures :

une procédure mensuelle : des fiches de centralisation comptable (FCC) sont centralisées chaque mois à la DIP, indiquant la situation des dépenses (crédits, engagements, liquidations, mandatements), en principe au niveau de l’article x paragraphe x sous-paragraphe.

une procédure trimestrielle : Tous les trois mois, la DIP recueille les fiches de suivi relatives aux projets inscrits dans le Budget d’Investissement. Ces fiches, préparées par les chefs de projets et regroupées par les unités de programmation, recouvrent les aspects liés aux résultats attendus, à l’état d’exécution financière et physique et à l’impact des projets. Le suivi financier (trimestriel) et physique (semestriel) du PIP est réalisé sur la base d’un même questionnaire (7 pages minimum).

a) Problèmes généraux rencontrés dans le suivi de l’exécution budgétaire

De nombreux obstacles restent encore à surmonter pour disposer d’un suivi budgétaire performant, surtout dans une perspective de suivi de la SRP. En termes de système de gestion, les difficultés principales concernent:

le retard dans le déblocage des budgets ;

l’absence d’une centralisation efficace des données comptables ;

une informatisation insuffisante des opérations budgétaires, surtout au niveau des structures déconcentrées ;

l’inefficacité des systèmes de contrôle des opérations budgétaires (insuffisance des capacités de gestion, moyens matériels et humains) ;

les problèmes de nomenclature (temps d’adaptation du cadre comptable adopté en 1999) ;

la non-utilisation de la classification fonctionnelle des dépenses ;

l’insuffisance des activités de contrôle (a priori et a posteriori) prévus par les textes ;

la difficulté à obtenir les données sur l’ensemble de la chaîne de la dépense (prévision- engagement-liquidation-ordonnancement-paiement) et l’importance des retards dans la

4 Par exemple, le Ministère de l’Agriculture disposait de sa propre base de données sur les projets (installée dans le cadre d’une assistance de l’UE). Celle-ci est aujourd’hui inutilisable à la suite de l’introduction d’un virus dans le disque dur et les données de suivi sont désormais consignées sur une simple feuille de calcul.

10

communication d’informations agrégées alors qu’il existe des écarts importants entre les données relatives à ces différentes étapes 5 ;

l’impossibilité, dans ces conditions, de pouvoir suivre avec précision l’affectation effective des ressources publiques aux utilisateurs finaux.

b) Problèmes spécifiques pour le suivi financier des projets et programmes :

Les principales lacunes constatées concernent :

la fiabilité générale des données : Les données résultent de « chambres d’enregistrement » successives (services de suivi des ministères puis DIP) qui souvent ne sont pas en mesure de contrôler leur véracité et leur cohérence (utilisation du même concept de dépense) 6 . En sortie, des divergences sont constatées entre les différentes sources (DIP, bailleur de fonds, cellule de gestion du projet) sans que soit proposée une procédure systématique permettant d’harmoniser les données 7 . De plus, le choix de retenir les tirages (et non les demandes de tirage) comme information de dépenses pour les emprunts risque d’entraîner des décalages importants entre les données de suivi et la réalisation de la dépense (droits constatés) compte tenu des délais importants pris par certains bailleurs de fonds pour traiter et exécuter les demandes de retrait de fonds puis informer les pays bénéficiaires.

le caractère partiel des informations sur la nature économique des dépenses : Les problèmes de suivi financier sont encore plus évidents dès lors que l’on aborde la structure des dépenses par nature économique pour laquelle l’information est souvent déficitaire. Quand les données existent, les agents des services de programmation et suivi se heurtent aux difficultés de passage entre la classification des dépenses utilisée par les projets (nomenclature propre au bailleur de fonds) et la nomenclature PCOP. Ceci explique que, dans de nombreux cas, la décomposition par nature de dépense ne soit pas disponible pour le suivi, ou apparaisse d’une fiabilité douteuse.

la nomenclature des dépenses : la nomenclature des dépenses actuelles conserve une lisibilité limitée au regard d’un objectif de suivi des dépenses ciblées sur la réduction de la pauvreté. Pour une bonne appréciation du rapport entre la dépense et son affectation effective à une action prioritaire de réduction de la pauvreté, il conviendrait de prendre en compte le centre de responsabilité et l’activité concernée. C’est d’ailleurs une telle programmation par activité/unité opérationnelle qui sert généralement de base au concept des PDP ou de méthodologies de programmation dans les secteurs de l’éducation ou de la santé. Celle-ci règle par ailleurs le problème de l’affectation géographique des dépenses (information produite a priori et non objet d’un traitement a posteriori).

la pertinence de certaines informations demandées : On constate deux décalages majeurs, d’une part entre les données demandées et les données effectivement renseignées, d’autre part entre les

5 Par exemple, pour les dépenses courantes en biens et services, le ratio paiement/engagement a été de 93,4% en moyenne sur 1997-2000 et le ratio paiement/prévision de 95,2%. Pour les dépenses d’investissement, les décaissements ont représenté successivement 82,9%, 73,4%, 91,1% et 64,9% pour les quatre années 1997 à 2000. Ces écarts évoqués tiennent essentiellement (i) aux problèmes de programmation budgétaire, (ii) aux difficultés de mobilisation des ressources intérieures (problème de trésorerie, lui-même alimenté par la lenteur observée dans le recouvrement des recettes budgétaires), (iii) aux difficultés spécifiques des projets d’investissement pour mobiliser les crédits nécessaires au paiement des taxes (TVA et DTI).

6 En principe, l’information financière reprend les situations de tirages des emprunts (disponibles à la Direction de la Dette), les décaissements pour les subventions extérieures (états financiers fournis par les bailleurs de fonds) et les ordonnancements pour ce qui concerne le financement intérieur (données à la Paierie Générale de Tana). L’information sur les dons est adressée à la Direction du Trésor (consolidation des situations de paiements) et à la Banque Centrale (établissement de la balance des paiements).

7 Les modalités de mise en cohérence entre la source bailleur (enquêtes auprès des principaux bailleurs de fonds) et la source secteur (collecte des informations via le circuit projet->service sectoriel de suivi->DIP) ne sont pas clarifiées.

11

données renseignées et les données effectivement exploitées. Par exemple, on peut s’interroger, dans le cadre de la méthodologie actuelle de programmation-suivi, sur l’intérêt de disposer de données de suivi trimestriel par région (un état annuel est suffisant d’autant plus que ces données ne font pas, de toutes les manières, l’objet d’une exploitation par trimestre).

le caractère limité du suivi budgétaire : le suivi concerne presque exclusivement les flux de décaissements. Or, d’autres volets du suivi financier mériteraient d’être développés comme le suivi du coût total des projets (mise en évidence des dépassements) ou le suivi économique des investissements (cf. infra).

le dialogue Plan-secteurs-bailleurs de fonds : Un dialogue entre le Plan (DGEP) et les secteurs est assuré selon une périodicité rapprochée (tout le monde s’accorde sur le bien-fondé des réunions mensuelles de suivi). De manière générale, les échanges restent toutefois focalisés sur les décaissements et les blocages constatés à ce niveau. Les autres aspects sont peu considérés. Les bailleurs de fonds rencontrés font la même observation, en évoquant le déficit d’échanges sur le fond des stratégies et des projets. Les ministères techniques notent également que les méthodologies et instruments – par exemple le contenu des questionnaires de programmation et suivi mis en place par la DIP – ne font pas l’objet de discussion. Simultanément, il existe des initiatives parallèles de suivi (voir annexe 4 sur les secteurs de l’éducation, de la santé ou des transports) conduites au niveau des ministères sans concertation avec la DIP. Au niveau même de la DG de l’Economie et du Plan, on constate une insuffisance d’efforts de la part de la DIP et de la DDE pour définir une démarche commune visant à renforcer les activités de S&E des programmes et projets.

la responsabilité du suivi : La consolidation des données budgétaires (pour le PDP) s’effectue selon les secteurs soit au niveau de la DAAF, soit au niveau de la direction chargée du suivi des projets. Dans le premier cas, il n’est pas certain que la DAAF soit la mieux indiquée pour une consolidation qui requiert une analyse de cohérence entre prévisions de mobilisation de ressources et priorités stratégiques du secteur. Dans le second cas, l’unité chargée du suivi peut fonctionner comme « chambre d’enregistrement » des données relatives au volet « fonctionnement » sans pouvoir discuter de l’articulation entre les actions opérationnelles financées dans le cadre des projets (qu’elle contrôle en principe) et celles financées sur le fonctionnement courant du Ministère (traitées au niveau de la DAAF). Dans tous les cas, on constate un déficit de dialogue entre DAAF et structures de programmation qui nuisent à la pertinence de l’exercice de programmation.

un suivi « donor oriented » : L’organisation actuelle du suivi est largement orientée en fonction des bailleurs de fonds. La Direction de la Coordination des Aides Extérieures n’a plus vocation à servir de point focal pour les données de l’aide mais est concentrée sur la gestion des programmes de l’Union Européenne (bureau de l’ordonnateur national). La Direction du Développement Economique focalise la majorité de son activité sur le suivi du portefeuille de la Banque Mondiale. La Direction de la Coordination des Interventions Sociales est structurée en trois services correspondant aux trois donateurs respectifs avec lesquels elle entretient des relations pour le suivi de programmes sociaux (UNICEF, USAID). L’absence presque totale de rapports de suivi ou de bilans sur les projets au niveau du MFE comme des ministères techniques (hormis les éléments de suivi des projets contenus dans les rapports d’activité annuels des ministères) illustre la situation actuelle dans laquelle le suivi versus bailleurs de fonds prédomine largement.

1.3. Le suivi des activités et des résultats

De manière générale, le suivi des programmes réalisé tant au niveau sectoriel (services chargés du suivi des projets) que « central » (DIP) reste principalement focalisé sur les décaissements et sur la résolution des problèmes liés (mobilisation des fonds de contrepartie, etc). Un tel suivi n’apporte

12

guère d’information sur la nature et le rythme des différentes activités réalisées, les problèmes rencontrés, les résultats atteints au regard des objectifs et les impacts effectifs du projet sur les bénéficiaires. Les concertations périodiques entre les services gouvernementaux et les bailleurs de fonds restent également centrées sur la mobilisation des ressources au détriment des questions portant sur les stratégies sectorielles ou sur les résultats, l’impact et la durabilité des actions de développement.

Les problèmes se situent à quatre niveaux :

Disponibilité de l’information de base

La plupart des projets bénéficiant d’un financement extérieur définissent, dans les documents de

base des projets, des modalités pour le suivi (comme pour l’évaluation) de leurs activités et résultats. Des ressources spécifiques sont identifiées pour le S&E. Dans la pratique, on sait que des difficultés se posent pour plusieurs raisons : glissement des objectifs et des cibles retenues pour les indicateurs, indicateurs de résultats non quantifiés, mélange d’indicateurs à statuts

différents (ressources, résultats intermédiaires, impacts,

).

S’agissant des projets « autonomes » - qui représentent environ 5% du PIP en termes de montants -, la documentation de base n’a pas les mêmes exigences et il n’existe souvent aucune pratique effective de suivi pendant la vie du projet.

Les rapports de suivi interne des projets ne sont pas toujours structurés de manière à informer rapidement sur les performances (sous la forme d’un tableau de bord construit autour de quelques indicateurs essentiels). En outre, le circuit administratif des rapports ne permet pas une centralisation de l’information. Ceux-ci sont généralement distribués aux structures de tutelle ou bénéficiaires du programme et beaucoup plus rarement aux services sectoriels chargés du suivi.

Format et taux de renseignement des questionnaires utilisés pour le suivi du PIP

L’information disponible au niveau des questionnaires de programmation peut être qualifiée de moyenne en ce qui concerne les rubriques relatives aux moyens et aux activités, et faible pour la partie consacrée aux impacts du projet. Par exemple, pour l’agriculture, seulement 1/3 des projets présentent des indicateurs d’impact quantifiés.

La fiche de suivi utilisée au niveau du PIP ne paraît pas adaptée à une collecte uniformisée de données de « suivi physique » qu’il s’agisse des données sur les résultats et impacts (partie A du questionnaire) ou des données sur les activités prévues (partie B). Il apparaît en outre que bon nombre de fiches restent vierges sur les rubriques non strictement financières.

Le traitement consolidé de l’information, préalable à l’analyse est dans la plupart des cas impossible et/ou non pertinent et ce pour deux raisons. D’abord, les taux de renseignement sont bas. D’autre part, le format de présentation des données (questionnaires) et l’absence de codification des activités, résultats et impacts par secteur rendent pratiquement inexploitables l’information collectée.

Maîtrise du cadre de référence au niveau sectoriel :

En l’absence d’une identification préalable des informations prioritaires qu’il convient de mettre en évidence à ce niveau, les services sectoriels ne savent pas généralement quelle valeur ajoutée il est possible de tirer d’un tel suivi des programmes.

En amont, les services de suivi butent sur la difficulté à disposer d’un cadre sectoriel de référence clair. Le suivi n’a de sens en effet que si l’on dispose (i) d’une matrice précise des objectifs prioritaires et des résultats escomptés au niveau du secteur, (ii) d’un cadre

13

d’objectifs/résultats/activités cohérent avec cette première matrice, facilement lisible et homogène pour les différents projets.

Cadre institutionnel du suivi

Le suivi s’effectue de manière relativement cloisonnée au niveau des projets individuels et l’information obtenue est dans l’ensemble peu partagée. Les informations de suivi des projets sont ainsi dispersées entre de multiples entités (gestionnaires des projets, structures de tutelle, structures chargées du suivi des programmes sectoriels, cabinets, « correspondants » ministériels

), services du MFE ou du

nommés sans rapport avec la structure de rattachement hiérarchique, MAE en charge du suivi des programmes versus bailleurs, etc.

Il n’existe aucun cadre permettant de clarifier et uniformiser les responsabilités et les circuits d’information.

Les capacités de suivi des programmes/projets au niveau déconcentré sont marginales.

En conclusion, en dehors des états réguliers sur les décaissements globaux et des activités de suivi interne au niveau de chaque opération spécifique, les programmes et projets ne font pratiquement pas l’objet de suivi consolidé au niveau des ministères techniques et du MFE. L’activité de reporting sur le suivi des projets au niveau sectoriel et global est singulièrement limitée. En 2001, aucun rapport sur le suivi physique des projets n’a été préparé par la DIP. De même, les rapports sectoriels élaborés antérieurement par la DDE n’ont plus été publiés après 1999. Au niveau des ministères techniques, on note également une quasi-absence de rapports annuels détaillés sur l’exécution des projets, leurs résultats et leurs impacts.

Le tableau de la page suivante précise les produits existants actuellement au sein des principales structures engagées dans le S&E des programmes et projets.

Le suivi ne répond pas ainsi aux questions essentielles que doit se poser le décideur : quelle est l’affectation intra-sectorielle précise des dépenses ? quelle est la part de ces dépenses qui est respectivement allouée à l’investissement et au fonctionnement ? quelles sont les dépenses qui sont destinées et vont effectivement à des appuis directs aux populations pauvres ? existe-t-il des dépassements de coûts et/ou des glissements de calendrier important dans la mise en oeuvre du programme sectoriel ? quelles sont les performances atteintes par les projets en termes d’activités et quels sont les résultats attendus de la mise en oeuvre de tel programme d’investissement sectoriel dans tel ou tel domaine ? comment le suivi va influer sur les priorités et le contenu des prochains PIP, etc.

1.4. L’évaluation des impacts

L’évaluation des programmes et projets se distingue du suivi par de nombreux aspects (finalité,

diversité des méthodes, périodicité, coûts, suivants :

La situation actuelle se traduit par les principaux points

).

Il n’existe pas de politique nationale d’évaluation (ce qui suppose un cadre institutionnel, des normes, des procédures codifiées, des compétences et responsabilités clairement identifiées, un plan annuel d’activités, etc).

La pratique actuelle de l’évaluation est focalisée sur l’évaluation de projets individuels (à mi- parcours et/ou en fin de projet) réalisée par des experts indépendants et/ou par des représentants du siège des bailleur de fonds.

14

Les évaluations multi-projets sont marginales si l’on excepte les évaluations réalisées en cours d’exécution de programmes de coopération.

L’évaluation est une activité dominée de fait par les bailleurs de fonds (initiative, orientation sur les résultats attendus, etc). Certains partenaires (USAID par exemple) ne prévoient pas de communiquer le résultat de leurs évaluations au gouvernement.

De manière générale, la diffusion des rapports d’évaluation conserve un caractère semi- confidentiel. Il est donc difficile de capitaliser sur les conclusions et recommandations des

évaluations successives, notamment celles concernant des projets présentant des points communs

(secteur ou zone d’intervention, bénéficiaires ciblés, démarche adoptée,

).

Paradoxalement, il n’existe aucune centralisation des rapports d’évaluation au niveau du pays alors que plusieurs bailleurs de fonds disposent de structures ayant cette fonction et donnent aujourd’hui la possibilité d’avoir accès sur le web aux rapports d’évaluation réalisés.

En dépit des intitulés des directions ou services, sectoriels ou à vocation transversale, les activités d’évaluation au sein de l’administration malgache sont pratiquement inexistantes.

Il n’existe pas de culture de l’évaluation, laquelle nécessite une pratique administrative fondée sur la transparence et une capacité d’assimiler la critique. Pour beaucoup, l’évaluation reste assimilée au contrôle des activités des administrations et des projets.

Les capacités externes nationales d’analyse et d’évaluation (bureaux d’études, université, centres de recherches) restent enfin limitées.

15

Structure

Points focaux S&E

 

Systèmes d’information

 

Produits de S&E

MFE

Direction de l’Investissement Public Direction du Développement

Système de gestion des projets PIP Base de données « Child Info » (DICS)

 

Rapport annuel du Ministère Rapport Economique et Financier (DDE) Revues économiques trimestrielles (DDE) PIP et Etats d’exécution financière du PIP (DIP) Rapports sur l’exécution des programmes de la Banque Mondiale (DDE) Rapports trimestriels et annuel sur l’exécution des programmes UE (DCAE) Rapport sur la coopération et le développement (DDE/PNUD) Inventaire annuel des fivondronana

 

Economique Direction de la Coordination des Interventions Sociales Direction de la Planification Globale et de l’Evaluation Direction de la Coordination des Aides Extérieures

MINSAN

Direction des Etudes et de la

SISC (avec différents sous-systèmes : système de

PDP et Rapport annuel du Ministère Plan de Développement des Ress. Humaines (en préparation) Plans de Développement et PTA de Districts Etats financiers (mensuels, trimestriels) Rapports trimestriels de suivi / Plan Directeur Carte Nationale Sanitaire (en voie de finalisation, réactualisée tous les 2 ans ?) Annuaire Statistique de la Santé Evaluations du Plan Directeur

     

routine/formations sanitaires, Carte Sanitaire,…) Base de données CNS

 

Planification DAAF (RH, aide budgétaire,…)

   

MINESEB

Direction de la Planification de l’Education

Système informatisé sur les données de routine (dossiers du personnel, effectifs, constructions, …) en cours de révision avec connexion prévue des 6 DIRESEB Bases de données partielles (FCC, tableaux de bord)

PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Annuaire Statistique de l’Education Recueil de fiches de projets (en cours de préparation)

   

DEA/

Service de

la

Banque de

Banque de données sur les forages obsolète (problème de logiciel) remplacée par une base sur feuille de calcul Diverses bases de données pour le suivi au niveau des projets PNUD, UNICEF Nouveau système proposé dans le cadre du PAEPAR (formulé mais non encore mis en œuvre)

PDP et Rapport annuel du Ministère (préparé par la DAAF) Etats financiers (mensuels, trimestriels)

MEM

Données (Direction de l’Eau et

de l’Assainissement)

 

MINAGRI

Direction de la Programmation et du Budget

Base de données sur les projets hors service (gestion du suivi sur feuille Excel)

PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Dernier rapport de suivi annuel du PIP publié en 1998 (concerne l’exercice 1997)

     

MINELEV

Service de la Programmation et du Financement

Absence de système de gestion

 

PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Rapports de synthèse semestriels ( ?)

Montage en cours d’un dispositif propre de suivi interne

 

(Plan

de

Travail Annuel et

Questionnaires

de

suivi

trimestriel)

   

MTP

Direction de la Planification et de la Programmation Cellule de concentration des

Absence de système de gestion structuré Gestion de l’information sur feuilles de calcul

 

PDP et Rapport annuel du Ministère Etats financiers (mensuels, trimestriels) Rapports de synthèse semestriels Suivi des marchés Carte sur les zones d’intervention des bailleurs de fonds Données sur l’état des infrastructures

 

 

 

indicateurs d’activité (DGTP) FER (SG)

16

II. PROPOSITIONS SUR L’ORGANISATION DU SYSTEME DE SUIVI ET EVALUATION

L’organisation du S&E des programmes et projets doit s’inscrire dans le cadre du dispositif d’ensemble retenu pour le suivi de la mise en œuvre de la Stratégie de Réduction de la Pauvreté. Avant de détailler les propositions concernant l’organisation du S&E des projets, il est donc proposé de préciser le cadre général dans lequel il pourrait s’intégrer. L’ensemble du dispositif devrait être formalisé dans un « Cadre du Suivi et de l’Evaluation », document qu’il conviendrait d’annexer au DSRP ou de finaliser dans la foulée de l’adoption du DSRP.

1. Les objectifs et les principes

1.1. Les objectifs

Le dispositif de S&E vise quatre objectifs essentiels :

suivre la mise en œuvre des programmes de réduction de la pauvreté et mesurer les résultats obtenus au regard des objectifs inscrits dans les plans d’action ;

apprécier l’évolution des situations de pauvreté dans le pays en identifiant les déterminants des changements observés et en évaluant l’impact spécifique des principales politiques publiques conduites ;

mettre en évidence les ressources mobilisées, leurs sources, les modalités de leur utilisation ainsi que le respect et la pertinence des choix budgétaires ;

développer de nouveaux mécanismes de production et de diffusion de l’information sur les politiques publiques fondés sur une rétro-information adaptée auprès des différents acteurs (décideurs, opérateurs, populations bénéficiaires,…).

1.2.

Les principes

Les principes qui doivent guider la mise en place du système de S&E sont les suivants :

Le système de S&E repose sur un cadre de référence (Cadre de suivi et évaluation), annexé au DSRP.

Le système de S&E doit évoluer en vue d’intégrer les différents mécanismes de suivi (DSRP, PIP/PDP, programmes de coopération, conférences et initiatives spécifiques,…) et de promouvoir une planification coordonnée des travaux de S&E. Les mesures à prendre dans ce sens concernent, entre autres, la rationalisation des structures de coordination, une meilleure articulation des systèmes d’information (harmonisation des questionnaires de suivi, interfaces entre bases de données,…) ou encore la promotion d’actions de S&E conjointes entre les bailleurs de fonds (missions d’évaluation notamment).

Le cadre institutionnel comme les outils de S&E doivent être conçus en prenant en compte les

synergies mais aussi les différences entre la fonction de suivi et la fonction d’évaluation. Elles ne relèvent pas des mêmes échéances, ne visent pas les mêmes objectifs, reposent sur des instruments et méthodologies distincts et ne font pas nécessairement appel aux mêmes structures.

17

PRINCIPES RETENUS POUR LE SUIVI ET L’EVALUATION

PRINCIPES POUR LE SUIVI ET L’EVALUATION

MESURES PRINCIPALES

S’appuyer sur un cadre de référence

 

?

Validation d’un « Cadre de suivi et évaluation »

Intégrer les différents mécanismes de S&E

 

?

Rationalisation des multiples structures de pilotage Harmonisation et sécurisation de la production d’information prioritaire / DSRP Développement des interfaces entre les systèmes d’information Encouragement aux missions d’évaluation conjointes (multi- bailleurs, multi-projets)

 

Planification des activités de S&E

 

?

Plan annuel d’évaluation et d’enquêtes

Renforcer les instruments de S&E en prenant en compte les différences entre la fonction de suivi et la fonction d’évaluation :

 

Suivi

 

?

Renforcement des statistiques administratives Amélioration du suivi budgétaire (« suivi pas-à-pas des dépenses prioritaires »,…) Révision des outils de suivi des programmes et projets

 
 
   
    Renforcement inst itutionnel des unités de S&E (MFE, MBPA, Ministères Techniques, Provinces Autonomes)

Renforcement institutionnel des unités de S&E (MFE, MBPA, Ministères Techniques, Provinces Autonomes)

Développement des enquêtes ménages

Evaluation

Systématisation des évaluations participatives auprès des

 

?

bénéficiaires (grands programmes) Développement des évaluations « transversales » (sous- secteur/thème, groupe bénéficiaire, région spécifiques) Mise en réseau des activités Site web pour la centralisation des principaux rapports d’évaluation

 

Permettre à tous les acteurs d’accéder à l’information relative aux politiques publiques

?

Politique d’information publique (rétro-information, communication avec les medias,…) à mettre en œuvre dans le cadre d’une Stratégie de communication DSRP

Valoriser les structures administratives existantes en tenant compte des déficits structurels

?

Décloisonnement des services chargés des fonctions d’orientation politique, d’évaluation, de programmation-suivi des projets, d’information statistique Cellules de S&E inter-services au MFE et dans 4 ministères (MINESEB, MINSAN, MINAGRI, MEM) Sous-traitance partielle aux centres de ressources extérieures (FOFIFA, CREAM,…) des activités d’analyse et d’évaluation de politiques

 

S’inscrire

dans

le

processus

de

?

Décentralisation de l’exécution et du suivi des dépenses prioritaires Cellules techniques de coordination et suivi des programmes dans les 6 Provinces Autonomes Poursuite des actions de promotion de la planification locale (Plans de Développement Communal) Promotion de contrats entre les Provinces et les ONG locales pour l’appuyer dans le S&E des programmes

décentralisation

 

18

Encadré : distinguer les fonctions de suivi et d’évaluation

Pour le suivi, il s’agit de gérer des mécanismes permanents qui permettent de suivre les engagements du gouvernement et programmes prioritaires (programmes d’investissement, allocations de crédits de fonctionnement, mesures institutionnelles) et d’en mesurer les progrès par un système d’indicateurs intermédiaires (intrants et extrants). Le suivi fait appel principalement aux statistiques d’activité administrative, aux données budgétaires et aux informations sur l’exécution des projets. L’existence de structures de pilotage - efficaces et en nombre limité - y joue un rôle important.

Pour l’évaluation des impacts, il s’agit de mesurer l’évolution des principales variables caractérisant la pauvreté et d’étudier de manière approfondie l’efficacité des politiques publiques engagées, en particulier des choix d’allocations budgétaires et des opérations de développement réalisées. L’appréciation des populations bénéficiaires est également essentielle. L’évaluation s’appuie elle sur des enquêtes, des études thématiques, différentes méthodes possibles d’évaluation des politiques publiques.

Le système de S&E requiert une politique de l’information publique. A côté des actions d’amont (systématisation et organisation de la chaîne de collecte et de production d’information de S/E, optimisation des apports respectifs des différentes sources d’information, harmonisation des outils et méthodologie,…), le gouvernement doit mettre en place les moyens pour généraliser l’accès à l’information sur la gestion publique et assurer sa transparence. La rétro-information doit être systématisée.

Le renforcement de la fonction de S&E doit reposer sur la valorisation des structures administratives existantes et non sur la constitution de nouvelles entités. Les priorités concernent (i) une meilleure articulation entre les ministères sectoriels et les ministères à vocation économique (MFE, MBDPA), (ii) un resserrement au niveau des ministères prioritaires des fonctions d’information statistique, de programmation-suivi (investissement et fonctionnement) et d’analyse de politique, (iii) une répartition précise pour les différentes tâches de collecte d’information, de traitement et d’analyse, de reporting. Dans le cas où des défaillances structurelles sont constatées (capacités d’analyse et d’évaluation), le recours à des ressources extérieures à l’administration doit s’effectuer sur une base contractuelle et durable.

Le cadre d’organisation doit s’inscrire dans le processus de décentralisation en cours et favoriser le développement des fonctions de S&E au niveau décentralisé. La faible capacité des collectivités décentralisées et les incertitudes qui demeurent encore sur les modalités d’opérationalisation des transferts de compétences démontrent la nécessité d’une approche par étapes.

2. La répartition des tâches du S&E (DSRP, programmes et projets)

2.1. Cellule technique, STA, SNAD

La responsabilité d’ensemble pour le suivi de la mise en œuvre du DSRP relève du Premier Ministre qui s’appuie pour cela sur la Cellule Technique 8 . La Cellule est relayée elle-même par un secrétariat permanent, assuré conjointement par le Secrétariat Technique pour l’Ajustement (STA) et le Secrétariat National à l’Auto-promotion et au Développement (SNAD).

8 La Cellule Technique, créée par décret (13/09/00), réunit une vingtaine de personnes nommés intuitu personae et de provenance diverse (hauts fonctionnaires, élus locaux, entrepreneurs privés, universitaires,…).

19

L’expérience acquise depuis la préparation du DSRP intérimaire et les exigences du processus DSRP (cohérence des politiques sectorielles avec les objectifs de réduction de la pauvreté, accent mis sur les résultats et les impacts des politiques publiques, transparence de l’information, participation des populations,…) montrent la nécessité de renforcer le dispositif à deux niveaux : (i) au niveau de la concertation avec les partenaires et surtout la société civile et les autres acteurs de développement ; (ii) au niveau du pilotage technique du processus.

S’agissant du premier point, les mesures complémentaires devraient concerner :

l’institutionnalisation et la pérennisation des structures « centrales » et régionales de dialogue ;

l’adoption d’une stratégie de communication pour assurer une réelle rétro-information (diffusion adaptée de l’information sur les stratégies et les actions prioritaires, enquêtes auprès des bénéficiaires pour juger de l’impact des programmes ciblés, fora régionaux, appui aux actions de communication dans le cadre d’initiatives fédératrices de la société civile autour des thèmes de la SRP,…).

Au niveau du pilotage technique du processus, le STA doit renforcer sa capacité d’intervention autour de diverses fonctions qui renvoient à deux volets d’activités : d’une part, l’animation générale du dispositif de mise en œuvre et de suivi du DSRP, d’autre, part, la collaboration technique et l’analyse nécessaires à la production de documents de synthèse de qualité. Interface entre les instances de concertation et de décision du DSRP et les équipes sectorielles, le STA doit, dans le cadre de la mise en œuvre du DSRP, consolider ses activités autour des principales missions suivantes :

organisation générale des activités de suivi relatives à la mise en œuvre de différents plans d’action du DSRP, en liaison avec les différents départements ministériels et les provinces autonomes ;

animation des processus participatifs et mise en œuvre d’une stratégie de communication autour des objectifs et résultats du DSRP ;

planification en collaboration avec l’INSTAT et la DGEP, des activités de S&E relatives aux enquêtes et travaux statistiques d’une part, au suivi et à l’évaluation des programmes et projets d’investissement d’autre part (élaboration et suivi de la mise en œuvre du plan annuel d’évaluation et d’enquêtes);

centralisation des différents rapports de suivi (IPPTE, PIP, plans d’actions sectoriels du DSRP,…) et tableaux de bord ;

production, sur cette base, de rapports de synthèse périodiques (trimestriels et annuels) portant sur la mobilisation et l’affectation des ressources publiques dans le cadre de la SRP et sur l’état d’avancement des plans d’action ;

conduite d’analyses techniques approfondies relatives aux principales stratégies macro- économiques et sectorielles, nécessaires au S&E du DSRP et à la mise en cohérence des programmes prioritaires.

Ces dernières missions seraient réalisées au sein du STA, par une cellule d’analyse et de synthèse (Observatoire de la Pauvreté), appuyée par une expertise légère (deux ou trois experts nationaux). S’appuyant sur la capacité importante de centralisation des rapports de suivi et d’évaluation au niveau du STA, l’Observatoire de la Pauvreté est à la fois en mesure de (i) capitaliser l’information sur les programmes prioritaires, (ii) de produire et diffuser une information de synthèse à périodicité rapprochée sur l’état d’avancement du DSRP, (iii) et de coordonner des travaux d’études plus approfondis.

20

L’Observatoire constitue ainsi le point focal pour le suivi de la pauvreté. Son activité est purement technique et se développe sur la base d’un double échange :

échange avec les circuits institutionnels (MEF, MBPA, Ministères techniques, INSTAT,…) ;

travail en réseau avec les différents centres de recherche (Université, ROR, CREAM,…).

L’Observatoire s’appuie sur trois instruments : (i) son plan interne d’activités annuel approuvé par le Président du STA ; (ii) le plan annuel d’évaluations et d’enquêtes (cf. III) ; (iii) le réseau national de suivi et évaluation (cf. III).

2.2. L’INSTAT

L’Institut joue un rôle clef dans le dispositif de S&E à travers une quadruple mission :

la centralisation de l’ensemble des données relatives aux indicateurs ;

la consolidation du système d’information statistique ;

la planification des besoins en matière d’information (en particulier, programmation des enquêtes prioritaires, établissement des cahiers des charges et des budgets,…) ; la réalisation propre ou de la supervision de l’ensemble des enquêtes réalisées en appui au suivi de la pauvreté et à l’évaluation de l’impact de la SRP.

Concernant la centralisation des données, l’INSTAT assure la gestion du Tableau centralisé d’indicateurs (TCI, cf. III). L’INSTAT gère ainsi l’actualisation permanente des indicateurs de suivi du DSRP.

S’agissant de la consolidation du système d’information statistique, l’INSTAT établira avec les différents fournisseurs d’information des protocoles d’échanges d’information. Ceux-ci ne concerneront dans un premier temps que la fourniture des données d’indicateurs du TCI (test sur l’éducation et la santé en 2002 puis extension en 2003 pour les autres indicateurs). Ils seront par la suite étendus aux autres informations nécessaires en particulier pour le suivi de la conjoncture, l’établissement des comptes nationaux et la production du Tableau de Bord Social. L’établissement de ces protocoles doit être l’occasion de renforcer le dialogue avec les secteurs concernant le contrôle de fiabilité des données, l’harmonisation des informations statistiques utilisées. L’INSTAT s’appuiera sur l’établissement d’un recueil de fiches d’indicateurs présentant les méta-données propres à chaque indicateur (source, méthodes de calcul, fiabilité, degré de déglobalisation, etc).

Le succès du système de S&E du DSRP dépend pour une bonne part de la disponibilité d’une information de qualité et dans des délais opportuns. Une planification des besoins est donc essentielle à la fois pour déterminer les priorités et sécuriser le financement des travaux statistiques prioritaires. Ce travail sera réalisé dans le cadre de la préparation du plan annuel d’enquêtes et d’évaluations.

L’INSTAT préparera les fiches de projet relatives aux enquêtes qu’il juge prioritaires. Celles-ci serviront de base pour élaborer les requêtes de financement. Le CCISE constitue le point de validation naturel de ces dossiers avant établissement formel de la requête.

Compte tenu de ces différentes missions et de la charge importante qui en découlera dans le cadre du suivi du DSRP, les activités d’évaluation des politiques, programmes et projets de la SRP devraient plutôt être confiées à d’autres opérateurs.

2.3. Le Ministère des Finances et de l’Economie

Le Ministère des Finances et de l’Economie est un acteur majeur du système de S&E. Sa contribution principale doit partir des tâches prioritaires qu’il assure actuellement au niveau (i) du cadrage macro- économique, (ii) de la programmation et du suivi des programmes et projets, (iii) de la coordination

21

des programmes d’aide extérieure. A côté du renforcement nécessaire des activités de cadrage macro- économique en collaboration avec l’INSTAT et le MBPA, le MFE doit développer sa capacité en matière de S&E en rationalisant son organisation interne et en améliorant ses outils.

Les axes sur lesquels l’effort doit être porté sont :

le suivi renforcé des projets dans ses différents aspects ; le suivi consolidé des programmes d’aide et le renforcement des actions de S&E multi donateurs; le co-pilotage des activités d’évaluation des politiques publiques en liaison avec l’Observatoire de la Pauvreté et l’INSTAT ; l’accompagnement du processus de renforcement des capacités de S&E dans les ministères et les régions.

Le renforcement de ces activités doit être réalisé par étapes, en mettant en avant les activités ayant l’impact le plus immédiat sur les besoins d’information du S&E du DSRP ainsi que sur le rythme d’exécution et l’efficacité des projets.

Un ajustement de l’organisation interne du MFE serait souhaitable pour améliorer la circulation de l’information, clarifier la répartition des tâches et optimiser l’utilisation des ressources humaines actuelles du ministère. A court terme (maintien de l’organigramme existant), il convient de répondre rapidement aux besoins de centralisation et d’analyse de l’information gérée par le MFE dans la perspective du DSRP. Il est ainsi proposé de constituer un point focal technique pour le S&E des programmes et projets (mission actuellement éclatée entre cinq directions). Celui-ci se matérialisera par une cellule de S&E, rattachée au Secrétaire Général du Ministère et qui regroupera un petit noyau de cadres (un pour le cadrage macro-économique et la mise en cohérence des programmes sectoriels, deux pour le suivi des secteurs prioritaires, un pour le suivi des programmes d’aide extérieure, un pour la dimension régionale).

L’objectif est triple :

renforcer la collaboration inter-services afin de consolider l’information centralisée à différents niveaux (données de programmation et suivi macro-économique, données sur les projets, sur les programmes des bailleurs de fonds, sur les réformes sectorielles, sur les activités au niveau régional,…) ; enrichir le suivi des projets par rapport à l’information actuellement disponible (affectation des dépenses, échéanciers et activités, résultats) ; renforcer la centralisation des informations sur les projets et politiques sectorielles et consolider l’information obtenue avec les données collectées par ailleurs au niveau des bailleurs de fonds.

Les tâches dévolues à la cellule S&E sont :

coordonner les activités de S&E des programmes et projets et veiller à une transmission rapide

de l’information prioritaire de suivi ; préparer, en collaboration avec le STA et l’INSTAT, le plan annuel d’évaluation et d’enquêtes

(volet évaluations des politiques et programmes) ; produire un bilan annuel des activités de S&E des programmes et projets.

2.4. Le Ministère du Budget et du Développement des Provinces Autonomes

Ce ministère intervient comme pôle pour le suivi des dépenses de l’Etat, surtout celles du Budget de fonctionnement. Des tableaux de bord mensuels et trimestriels sont produits.

Son rôle devrait être accru dans la perspective d’un effort plus soutenu pour unifier l’exercice de programmation budgétaire (préparation de Cadres de dépenses à moyen terme) et son suivi.

22

Pour assurer cette intégration, il apparaît nécessaire de rapprocher les services de programmation et suivi financiers des dépenses de fonctionnement (DG de la Programmation Budgétaire et des Dépenses au MBDPA) et d’investissement (DG de l’Economie et du Plan au MFE). En attendant, il convient de redynamiser la Cellule de Synthèse Budgétaire, proposée dans le cadre du PAIGEP, et qui est pour l’instant en sommeil. Il est souhaitable également de mieux associer le MBDPA à la préparation des PDP.

2.5. Les Ministères techniques

La valorisation des fonctions de suivi et d’analyse stratégique des Ministères techniques est à la base de l’efficacité du système de S&E. A côté du dispositif d’enquêtes, ils constituent le cœur de la production d’information de suivi et la qualité du travail de synthèse dépend de la qualité en amont des travaux menés au niveau de chaque secteur (collecte et traitement des données, appréciation des résultats des programmes, sélection des indicateurs les plus pertinents et définition des cibles,…).

Les priorités de renforcement concernent :

la formation et l’amélioration des dotations en moyens de fonctionnement des unités décentralisées engagées dans la collecte des données (EPP/CISCO, CSB,…) ; une meilleure fluidité et rationalité dans les circuits d’information sur les programmes et projets au sein des ministères (renforcement de l’axe projets-directions-unités de programmation, couverture exhaustive des projets) ; le resserrement de la collaboration entre les services chargés respectivement de la gestion de l’information statistique, de la programmation, du suivi, de l’évaluation et des études (évolution souhaitable vers des « directions des politiques et programmes ») ; la consolidation d’un système informatisé stable de gestion de l’information sur les projets dans les ministères-clés (réseau DGEP-Ministères) ; le développement des capacités de suivi au niveau déconcentré, en appui aux Provinces autonomes.

A l’instar du MFE, il est suggéré la constitution d’une cellule de S&E au niveau de 5 ministères prioritaires. La cellule comporterait un maximum de 5 cadres provenant des principaux services susceptibles d’informer sur l’évolution de la capacité d’offre et des ressources du secteur, sur l’exécution des programmes d’action prioritaires du ministère et sur l’efficacité des principales actions engagées. Les membres sont nommés intuitu personae par arrêté du ministre.

L’objectif est triple :

développer la collaboration, au sein de chaque ministère, entre des services qui sont liés au S&E

et fonctionnent souvent aujourd’hui de manière cloisonnée (différents services sectoriels disposant d’informations utiles pour le suivi, séparation entre les activités de programmation des investissements et du fonctionnement, séparation également entre les services d’information statistique, ceux chargés de la programmation et ceux affectés au suivi-évaluation); coordonner et renforcer la gestion des différentes bases de données sectorielles afin d’assurer la

remontée régulière des données essentielles de S&E (suivi des dépenses, des ressources physiques, des activités et de résultats) dans le cadre du S&E du DSRP ; renforcer l’activité de reporting interne du Ministère sur les programmes publics mis en œuvre.

Les tâches dévolues à la cellule S&E sont :

proposer et mettre en œuvre des activités susceptibles de renforcer l’organisation du système d’information (enquêtes sur l’activité des services, suivi des programmes et projets, suivi budgétaire, suivi des ressources humaines et des équipements,…);

23

construire, gérer et diffuser un tableau de bord sectoriel regroupant les indicateurs essentiels du

secteur, dont ceux relatifs aux activités et résultats des programmes/projets; produire les rapports sectoriels de suivi exigés dans le cadre du S&E du DSRP.

2.6. Le niveau local

Les actions à proposer doivent partir de cinq constats :

le processus de décentralisation est engagé mais les modalités précises de transfert de compétences et de ressources restent encore à préciser ; les capacités de planification et suivi au niveau déconcentré sont structurellement faibles (ressources humaines) et les activités dans ce domaine se heurtent en outre à une pénurie de moyens ainsi qu’à l’enclavement de nombreuses zones pour collecter l’information ; les ministères sont à des degrés très variables dans le processus de déconcentration/ décentralisation des activités de gestion ; les perspectives concernant ce processus varient aussi fortement selon les secteurs : suivi décentralisé des crédits et des activités pour la santé (schéma MINSAN-Districts sanitaires- formations sanitaires) et l’enseignement primaire (schéma MINESEB-CISCO), désengagement de l’Etat pour l’eau (Autorité Nationale de l’Eau et Agences des Bassins Versants) ou l’agriculture,… l’appel aux ressources externes pour les activités d’évaluation, en privilégiant le recours à des ONG et associations de la zone d’intervention considérée.

En parallèle des actions conduites en vue de décentraliser l’exécution et le suivi des dépenses prioritaires (éducation et santé), deux mesures principales sont proposées pour le S&E des programmes :

la constitution de capacités de coordination et de suivi au niveau des six provinces autonomes :

elle reposerait sur la mise en place de cellules de S&E régionales au niveau des six Provinces avec un appui extérieur (formation sur le suivi, cadre d’organisation du travail, équipements informatiques et autres moyens de fonctionnement, organisation du travail) ;

la promotion de la planification communale sur une base participative : cette mission devrait être confiée à la DGEP. Il s’agirait non pas de diriger le processus mais de capitaliser sur les PDC déjà réalisés ou en cours afin de (i) favoriser les échanges d’expériences, (ii) unifier les démarches, (iii) et consolider les données disponibles.

24

III. LES INSTRUMENTS POUR LE S&E

L’opérationalisation du système de S&E doit s’appuyer sur des instruments clairement identifiés (objectif, contenu, institution responsable) et en nombre limité. L’enjeu est de définir des outils à la fois :

pertinents (réponse aux besoins du processus DSRP) ;

gérables (faisabilité par rapport à l’information existante et aux capacités institutionnelles) ;

et susceptibles de rationaliser la production d’information (par exemple, en assurant une homogénéité de présentation des rapports, matrices, etc et en évitant la publication de rapports en partie redondants).

Pour le suivi des programmes, les instruments suivants sont proposés :

1. Documents de méthodologie et d’organisation des activités de S&E

1.1. Le Cadre de suivi et d’évaluation

Contenu

Ce document détermine les principes du S&E ainsi que le schéma des responsabilités (mission et cahier des charges de chaque institution). Il est complété par les annexes techniques portant sur les matrices d’indicateurs avec un tableau des sources, la définition des concepts, la périodicité retenue pour les différents produits de S&E.

Elaboration

Il est mis au point et ajusté si nécessaire en fonction des pratiques et progrès observés par le STA en collaboration avec l’INSTAT, les ministères des finances (MFE) et du budget (MBDPA) et les principaux ministères sectoriels concernés. Le cadre, après avis de la Cellule Technique, donne lieu à une concertation élargie, si possible dans le cadre de la procédure d’approbation du DSRP afin d’être annexé au DSRP.

1.2. Le Plan annuel d’évaluation et d’enquêtes

Contenu

Le plan comprend (i) une liste hiérarchisée des programmes/thèmes d’évaluation ; (ii) une proposition de calendrier pour la réalisation des travaux prioritaires ; (iii) les « fiches d’activité ». La « fiche d’activité » présente de manière synthétique, pour chaque action envisagée (enquêtes, évaluations, études thématiques) : (a) la justification de l’évaluation/enquête, (b) les apports attendus pour le S&E du DSRP, (c) la méthodologie proposée, (d) la durée de l’opération et le calendrier indicatif, (v) les ressources nécessaires (RH et budget).

Elaboration

Ce plan est préparé avant la fin de chaque année. Les « fiches d’activité » sont préparées par la cellule de S&E du MFE, la cellule de S&E du ou des ministères concernés par le programme ou le thème, et par l’INSTAT. Les fiches sont compilées et le projet de plan annuel préparé par la Cellule du MFE. Après examen du projet de plan annuel avec l’INSTAT et le STA, ce dernier soumet le document à la Cellule Technique pour qu’il soit ensuite validé et incorporé en annexe du DSRP.

25

Le manuel de S&E des programmes et projets

Contenu

En partant des bases énoncées dans le Cadre de S&E, le manuel de S&E développe les éléments liés aux procédures et instruments utilisés pour le suivi et l’évaluation des programmes et projets. Il contient les définitions de l’ensemble des concepts utilisés, explicite les modalités de collecte de l’information et de remplissage des questionnaires, présente les maquettes des rapports de suivi, précise le calcul des indicateurs de suivi des projets. Son contenu est consacré essentiellement aux mécanismes de S&E effectivement en vigueur et non à la présentation d’une information générique sur les différentes méthodes de S&E (cas actuel du projet de manuel présenté au cours de l’atelier de décembre 2000). Il comporte des exemples pratiques et tient compte des procédures et nomenclatures des principaux bailleurs de fonds.

Elaboration

L’élaboration du manuel est de la responsabilité de la DG de l’Economie et du Plan mais fait l’objet d’une concertation et validation technique associant les différents ministères techniques. Sa production devrait intervenir après approbation et rodage des éléments de base du système. Des guides partiels de procédures devraient dans l’intervalle constituer les documents de référence, en commençant par (i) un document de codification des procédures ajustées de suivi des projets du PIP, (ii) et un second document regroupant et synthétisant les procédures de S&E des principaux bailleurs de fonds.

2. Les tableaux de bord

2.1. Les Tableaux de bord sectoriels

Contenu

Les ministères gèrent un tableau de bord selon un format standardisé. Il est constitué de :

le tableau d’indicateurs d’impact et de résultats retenus pour le DSRP (avec indication de valeurs pour l’année de base et les cibles proposées par période quinquennale) ; le tableau d’indicateurs intermédiaires retenus pour le secteur dans le DSRP (avec indication de valeurs pour l’année de base, l’année de mise à jour du DSRP et les cinq années suivantes) ; un tableau d’indicateurs sectoriels « secondaires » (suivi des activités et des résultats pour le secteur).

Elaboration

La préparation des tableaux s’effectuera dans un premier temps au niveau de 2-3 puis 5 ministères prioritaires (cellules S&E). Pour les autres secteurs, l’INSTAT veillera à la centralisation des données pour la préparation de son Tableau consolidé (cf. infra). L’INSTAT a également la mission d’évaluer la méthodologie utilisée pour le calcul des indicateurs et de contrôler les données produites.

2.2. Le Tableau consolidé d’indicateurs

Contenu

Ce tableau centralise l’ensemble des données relatives aux indicateurs de S&E liés à la mise en œuvre du DSRP. Il est structuré autour de trois groupes d’indicateurs :

Indicateurs d’impact et de résultats (indicateurs globaux pour le suivi des objectifs à moyen-long terme du DSRP) ;

26

Indicateurs intermédiaires (corps d’indicateurs essentiels pour les différents secteurs prioritaires mentionnés en annexe du DSRP) ; Indicateurs secondaires (autres indicateurs permettant de suivre les activités courantes et d’investissement réalisées dans le cadre des programmes prioritaires) : indicateurs de résultats ou de processus.

Elaboration

Le tableau est produit à l’aide d’une base de données économiques, financières et sociales qui regroupent les séries mensuelles (prix, finances publiques,…), trimestrielles et annuelles correspondantes ainsi que les cibles retenues dans le cadre du DSRP ou d’autres documents de référence (politiques sectorielles). Les tableaux d’indicateurs sectoriels sont préparés par les cellules de S&E des ministères. Afin de raccourcir les délais, les tableaux d’indicateurs, après visa du Ministre concerné, communiqués à l’INSTAT. L’INSTAT informera le Premier Ministre, à travers le STA, sur les blocages éventuels rencontrés dans la transmission des données.

3. Les questionnaires

3.1. Les questionnaires de programmation

Les questionnaires actuels de programmation PIP et PDP doivent faire l’objet de réajustements pour tenir compte des capacités d’obtention des informations et des manques constatés sur certains points (cadres logiques des projets, indicateurs d’intrants et d’extrants, présentation des sources de vérification,…). Cf. annexe 6.

Ultérieurement, la programmation devrait être fondée principalement sur le croisement activité x centre de responsabilité x source de financement.

3.2. Les questionnaires de suivi

Contenu

La révision proposée porte sur :

un questionnaire de suivi trimestriel du PIP simplifié (collecte de l’information pour laquelle on dispose d’un taux de remplissage suffisant et qui donne lieu effectivement à une exploitation); un questionnaire annuel de suivi plus dense comportant trois volets : (i) décomposition des dépenses par nature et affectation (région, service, bénéficiaire,…), (ii) suivi des résultats (indicateurs standard et commentaires), (iii) évaluation des impacts (synthèse des évaluations réalisées, analyse du gestionnaire de projet,…). les supports de la DIP et les supports sectoriels de suivi sont uniformisés. Le Ministère adjoint un questionnaire complémentaire pour ses besoins spécifiques d’information. un questionnaire annuel simplifié au niveau des Provinces.

Elaboration/traitement

Les questionnaires sont préparés par la DGEP, en concertation avec les ministères techniques qui présentent, de leur côté, une proposition concernant le questionnaire annuel de suivi (fiche annexe pour la collecte des données spécifiquement sectorielles). Les questionnaires sont administrés suivant les procédures actuelles. Dans le cadre institutionnel actuel de la DGEP, il est proposé que la DIP assure, comme elle le fait déjà, la saisie de l’ensemble des informations ainsi que le traitement des données financières. La DDE serait en charge du traitement et de l’analyse des données de suivi relative aux activités et résultats.

27

4. Les rapports

4.1. Le rapport trimestriel de suivi (DSRP)

Contenu

Le rapport comprend (i) un résumé, (ii) un point de situation par secteur sur les activités réalisées au cours du trimestre écoulé (y compris contraintes rencontrées dans la réalisation des actions) ; (iii) l’analyse des données budgétaires disponibles, (iv) les matrices de suivi des mesures institutionnelles, (v) un tableau des principaux indicateurs trimestriels.

Elaboration

Le rapport est préparé par le STA (Observatoire de la Pauvreté).

4.2. Le rapport de mise en œuvre du DSRP (annuel)

Contenu

Le rapport comprend (i) un résumé, (ii) l’analyse du cadrage macro-économique, (iii) l’analyse des activités et performances par secteur et grands programmes (mobilisation, affectation et utilisation des ressources, mesures de politique, résultats des projets), (iii) les matrices de suivi des mesures institutionnelles, (v) le tableau annuel des indicateurs de S&E, (vi) une synthèse des conclusions des évaluations et enquêtes conduites au cours de l’exercice, comme par exemple la mise à jour de l’étude 20-20 et le rapport semestriel d’utilisation des ressources de l’IPPTE

Elaboration

Le rapport est préparé par le STA (Observatoire).

4.3. Le rapport sur la politique d’investissement public (annuel)

Contenu

Le rapport comprend (i) un résumé, (ii) l’analyse consolidée des données relatives au suivi financier ainsi qu’au suivi des activités et résultats (y compris analyse d’effets macro-économiques de court terme, (iii) une analyse détaillée au niveau des principaux secteurs/programmes (grille PDP), (iv) l’analyse régionale des investissements, (v) les tableaux détaillés sur l’exécution financière et sur les résultats physiques consolidés.

Elaboration

L’élaboration du rapport d’exécution du PIP relève de la DGEP/MFE sur la base des informations transmises par les ministères techniques (et les provinces).

28

4.4. Le dossier de synthèse pour le suivi administratif des projets

Contenu

Le document est un dossier de synthèse pour soumission au Conseil des Ministres. Il contient l’information périodique sur les principaux blocages et problèmes rencontrés dans la mise en place ou l’exécution des grands projets.

Elaboration

Le dossier est produit trimestriellement par la DGEP qui tiendra compte de ses différents canaux d’information (informatisations des bailleurs via la DDE, la DCIS, la DIP et la DCAE ; information des secteurs via la DIP). Les réunions mensuelles organisées sous l’égide de la DIP seront particulièrement mises à profit pour la constitution du dossier. Comme il s’agit plutôt de « suivi administratif », la Cellule de S&E du MFE n’aura pas de rôle particulier à jouer ici. Cette procédure paraît préférable à la constitution d’un nouveau comité de type Comité de suivi et de relance des investissements.

D’autres rapports sont évidemment produits au niveau des plans d’action sectoriels, des programmes d’aide spécifique, des actions de communication autour du DSRP, etc. Le STA et la DGEP/MFE devront veiller à harmoniser les diverses exigences de reporting.

29

PRODUITS DE REPORTING

Cadre de suivi et d’évaluation

?

détermine les principes du S&E, le schéma de responsabilités annexe le bilan des activités de S&E de l’exercice, les matrices d’indicateurs, la planification des activités nouvelles de S&E

STA

INSTAT

 

DGEP/MFE

Plan d’évaluation et d’enquêtes (annuel)

?

liste hiérarchisée des programmes/thèmes d’évaluation ; « fiches de projet » des travaux à réaliser/financer

STA

INSTAT

   

MFE

Tableau consolidé d’indicateurs (annuel)

?

centralise l’ensemble des données relatives aux indicateurs de S&E liés à la mise en œuvre du DSRP

INSTAT

Tableaux de bord sectoriels (annuel)

?

indicateurs intermédiaires (indicateurs sectoriels essentiels du DSRP) avec réalisations depuis l’année de base et cibles annuelles sur les 5 prochaines années indicateurs secondaires (réalisations)

Ministères

techniques

 

Opérateurs

sectoriels,

 

projets,…

Rapports de suivi trimestriels sur la mise en œuvre du DSRP

?

point de situation par secteur des activités réalisées analyse des données budgétaires matrice de suivi des mesures institutionnelles tableau d’indicateurs trimestriels

STA

INSTAT

MFE, MBPA

 

Ministères

 

techniques

prioritaires

Rapport annuel sur la mise en œuvre du DSRP

?

analyse du cadrage macro-économique analyse des performances par secteur et grands programmes matrices de suivi des mesures institutionnelles tableau annuel des indicateurs de S&E

STA

INSTAT

 

Tous Ministères

Provinces

Opérateurs privés

Société civile

synthèse des conclusions des enquêtes et évaluations de conduites au cours de l’exercice

Bilan annuel des programmes de développement

?

synthèse des performances en termes d’exécution financière, d’activités réalisées, et de résultats analyse économique des investissements analyse détaillée par secteurs et grands programmes éléments d’analyse sur les résultats et impacts des programmes sur la réduction de la pauvreté analyse régionale des investissements

tableaux détaillés d’exécution financière et physique

MFE

Ministères

techniques

 

Provinces

Rapports d’enquêtes

?

Rapports des enquêtes sur les ménages (ELM, EDS/MICS,…), enquêtes sur l’ emploi, enquêtes sur le secteur informel, enquêtes qualitatives (perception de la pauvreté, impact des programmes publics,…), etc.

INSTAT

Autres opérateurs

30

5. Le Réseau national de suivi et d’évaluation

L’évaluation est une fonction qui doit certes se développer au sein des administrations publiques mais elle requiert également « indépendance de jugement et recours à des ressources d’expertise extérieure ». Pour développer les pratiques et les échanges autour de l’évaluation des programmes de développement - et plus généralement des politiques publiques, il faut mettre divers acteurs en relation. La création d’un réseau national de suivi et évaluation peut représenter un instrument puissant pour diffuser les diverses analyses portant sur la pauvreté ainsi que l’efficacité des actions de développement et mesures publiques destinées à la combattre.

Ce réseau pourrait être constitué sur une base associative (à l’instar du Réseau des Observatoires Ruraux) et regrouper, sur le principe d’une adhésion volontaire, les structures concernées de l’administration, l’Observatoire de la pauvreté (STA), l’INSTAT, l’Université, les centres de recherches, le CREAM, des ONG.

Dans un premier temps, celui-ci pourrait s’appuyer sur trois objectifs immédiats :

constituer autour d’un pôle Observatoire/STA-INSTAT-CREAM-CSE/MFE- une activité régulière de diffusion d’informations et d’analyse opérationnelle ; créer, sur la base de listes de diffusion, une circulation des rapports d’analyse et d’évaluation rendus publics et favoriser les échanges d’analyses ; constituer un site web (ou s’appuyer sur le site en cours de rodage au niveau du STA/SNAD 9 ) sur lequel seraient rendus disponibles les différents rapports et enquêtes relatives à la pauvreté et à la mise en œuvre du DSRP.

Les animateurs du réseau devraient tirer partie des principaux sites existants sur le suivi et l’évaluation (cf. annexe 8) pour densifier le contenu des produits du réseau national.

9 Initiative appuyée par le PNUD. La localisation et la gestion du site restaient encore à préciser au moment de la mission.

31

IV. PLAN D’ACTION

La mise en place du dispositif, dont les grandes lignes viennent d’être proposées, doit s’effectuer de manière progressive. A cet égard, pour ce qui concerne le S&E des programmes et projets, on distinguera :

une première étape (2002 à mi-2003), au cours de laquelle on cherchera surtout à améliorer le cadre existant du suivi des investissements publics en renforçant les capacités techniques des services concernés (formation des cadres, informatisation), en ajustant les instruments de suivi des projets et en améliorant la qualité des produits (rapports d’exécution, analyses, tableaux de bord,…) et leur diffusion. Le développement de l’évaluation s’effectuera principalement à travers la réalisation d’études et le test de certaines initiatives (Réseau national S&E, missions multidonateurs, etc) ;

une seconde étape (à partir de 2004) : Cette seconde étape devrait donner lieu à une refonte plus radicale des procédures de programmation et donc de suivi. Tout en conservant certains des outils du suivi des projets et en bénéficiant de l’amélioration espéré du circuit d’information, il est souhaitable d’adapter les instruments à la double logique de l’intégration budgétaire et de la décentralisation. Cette dernière nécessite à la fois de programmer les investissements comme le fonctionnement en référence à une triple nomenclature (nature économique, centre de responsabilité, fonction).

On développera ici le plan d’action concernant la première étape.

1. Plan d’action 2002

Le plan d’action s’organise autour des points suivants :

Finalisation du DSRP (cadre général de référence pour le S&E des programmes et projets) ;

Mise en place de l’Observatoire de la pauvreté ;

Mise au point du système de gestion des indicateurs ;

Opérationalisation des Cellules de S&E ;

Institution d’une nouvelle procédure d’enquête pour le suivi des projets du PIP ;

Renforcement des autres mécanismes de suivi des projets ;

Production du Rapport sur la politique d’investissement public – 2001 ;

Audit informatique ;

Autres mesures.

Les quatre premiers jouent un rôle important dans le renforcement du S&E des projets mais relèvent du cadre général de S&E du DSRP. Les autres points concernent plus spécifiquement le S&E des projets.

1.1. Appui aux travaux de finalisation du DSRP

La finalisation du DSRP conditionne le lancement d’une opération d’appui au S&E des programmes et projets. Les besoins principaux concernent :

l’amélioration de la qualité des stratégies présentées dans le corps du document de DSRP complet (présence d’une véritable stratégie de croissance, priorisation des actions publiques, ciblage des programmes,…);

la production du cadrage macro-économique à moyen terme ;

32

la budgétisation des plans d’action (programmation budgétaire consolidée et besoins de financement liés à la SRP).

Outre la mise à disposition d’un cadre stratégique cohérent et de qualité, l’enjeu est l’appropriation du processus DSRP par les différents acteurs nationaux, à commencer par les institutions chargées de mettre en œuvre les politiques publiques. Tout en évitant toute forme d’assistance de substitution, un appui extérieur est justifié dès lors qu’il est centré sur des aspects de méthodologie, d’outils et d’organisation des travaux.

Sur la base des propositions actuelles (ébauche d’un cadre institutionnel pour le S&E, observatoire de la pauvreté, système d’indicateurs, éléments spécifiques concernant le S&E des projets), le PNUD pourrait appuyer le gouvernement à trois niveaux :

l’élaboration et la validation du cadre d’organisation du S&E du DSRP ;

la mise au point du système d’indicateurs du DSRP (cf. 1.3) ;

l’élaboration des matrices - harmonisées et reprenant l’ensemble des priorités de la Stratégie de Réduction de la Pauvreté – et la budgétisation des actions prioritaires.

1.2. Mise en place de l’Observatoire de la Pauvreté

Compte tenu du rôle qu’il est amené à jouer dans le dispositif de S&E, la mise en place de l’Observatoire de la Pauvreté s’inscrit naturellement dans le plan d’action.

Après remise des propositions initiales (rapports Charmes et Dubois), il convient de passer aux étapes suivantes avec :

la formalisation d’un cahier des charges détaillé (mandat, organisation du travail, fiches de

postes, budget) et sa validation ; le recrutement des experts nationaux ;

la mise au point du plan de travail pour 2002 ;

la réalisation d’un atelier de présentation.

Dans la mesure où il ne s’agit pas de créer une structure nouvelle, l’opérationnalisation de l’Observatoire devrait être rapide, permettant ainsi au STA de disposer de capacités renforcées pour suivre la mise en œuvre du DSRP.

L’équipe devrait inclure deux des experts déjà en poste (macro-économiste et consultante appuyant la préparation du DSRP) et s’enrichir de deux experts complémentaires (un économiste-statisticien et un expert en politiques sociales).

L’équipe de l’Observatoire mettra dans un premier temps l’accent sur les activités suivantes :

consolidation des supports méthodologiques (y compris maquette des rapports) et des circuits de

remontée de l’information (MEF, MBPA, MT, INSTAT) ; planification des activités de suivi du DSRP ;

préparation des rapports trimestriels de suivi ;

coordination des travaux de collecte des données conduits par les cellules sectorielles de S&E, le

MFE et le MBDPA ; collaboration avec l’INSTAT sur les activités liées à la production des tableaux d’indicateurs et à

l’analyse des enquêtes ; organisation d’ateliers régionaux et nationaux autour des travaux sur le suivi de la pauvreté.

Dans un second temps (à un horizon d’au moins trois ans), l’Observatoire de la Pauvreté pourrait être amené à étendre son champ d’activités en s’appuyant sur le Réseau national de S&E. Au mandat initial de suivi de la pauvreté viendrait s’ajouter un mandat plus tourné vers l’identification et la

33

diffusion des bonnes expériences conduites localement, en assurant un rôle essentiel aux initiateurs de ces projets dans l’information/formation des autres communautés. Un accent important serait alors mis sur les supports d’information (lettres d’information, supports pédagogiques, échanges d’expériences,…).

1.3. Mise au point du système de gestion des indicateurs

Il est proposé la mise au point d’un système de gestion des indicateurs de suivi (cf. III). Celui-ci reposera d’une part sur un corps d’indicateurs de moyen-long terme (indicateurs d’impacts et principaux indicateurs de résultats assortis d’objectifs quantifiés – cibles – à horizon 2005-2010- 2015), d’autre part sur des tableaux de bord sectoriels comportant les indicateurs intermédiaires faisant l’objet d’un suivi annuel. Les indicateurs d’activité et de résultats des projets s’intègreront dans ce second ensemble. Des propositions partielles sont contenues dans le rapport (annexe 5). Les tableaux seront préparés par les cellules sectorielles de S&E et l’INSTAT qui sera en charge de la centralisation de l’ensemble des données relatives aux indicateurs de S&E liées à la mise en œuvre du DSRP.

Un premier choix des indicateurs devrait être retenu pour le DSRP complet. Les travaux devraient être poursuivis au cours de 2002 : introduction des indicateurs liés aux projets, explicitation des modalités de calcul, codification des protocoles d’échanges d’information, etc.

1.4. Mise en place des Cellules S&E

Les textes seront préparés pour la création des cellules de S&E rattachées aux Secrétaires Généraux respectivement au sein du Ministère des Finances et de l’Economie et d’un nombre limité de ministères-clés (dispositif testé sur quatre secteurs : Santé, Education, Eau & assainissement, Agriculture). Les cellules sectorielles disposeront d’un mandat identique : (i) centraliser l’information de suivi (information financière, projets, mesures institutionnelles, résultats d’enquêtes,…) ; (ii) gérer les tableaux de bord sectoriels prédéfinis en accord avec le STA et l’INSTAT, (iii) rédiger les rapports périodiques de suivi propres aux actions sectorielles du DSRP. Les cellules sectorielles S&E devraient logiquement prendre en charge les activités liées à l’initiative 20-20 10 .

La cellule de S&E du MEF sera, pour sa part, spécialisée dans le suivi des projets et la centralisation/synthèse des rapports d’évaluation.

La création de cellules régionales apparaît en revanche prématurée compte tenu des préalables nécessaires (définition des responsabilités, mise à disposition des ressources financières et humaines,…).

1.5. Institution d’une nouvelle procédure d’enquête pour le suivi des projets du PIP

Les activités à conduire comprennent :

l’analyse « quantitative » de la base de données DIP et d’un échantillon de fiches de suivi (évaluation des taux de renseignement des informations demandées et de leur qualité) ;

10 Le dernier rapport concernant l’initiative propose la création de cellules techniques du 20-20, susceptibles de regrouper à peu près les mêmes personnes et dont le rôle serait « de sensibiliser les responsables sur la gestion de l’initiative 20- 20 et de produire un mémorandum faisant état annuellement de la situation du 20-20 (niveau des allocations budgétaires et leur incidence sur les pauvres».

34

l’adoption d’un nouveau questionnaire standard de suivi des projets, annuel, axé sur les résultats et assorti d’une annexe sectorielle ; l’adoption simultanée d’un questionnaire trimestriel simplifié centré, lui, sur le suivi financier (utilisé pour le suivi des trimestres 1 à 3) ; le test du questionnaire complet sur 2 secteurs (santé, éducation) assorti d’une grille d’entretien avec les chefs de projets, l’information sur les autres secteurs étant collectée sur questionnaire simplifié ; l’analyse et la préparation d’un rapport d’enquête, base pour la production du rapport sur le PIP (cf. 1.7).

Ce dernier sera testé sur trois ministères début 2002 (MINESEB, MINSAN, MINAGRI) dans le cadre du bilan de l’exercice 2001. Après évaluation de l’opération, le questionnaire développé sera étendu en 2003 à d’autres Ministères (ministères chargés de l’eau & assainissement, de l’élevage, de l’environnement, de la protection sociale,…) avant d’être généralisé l’année suivante.

Les questionnaires de programmation (annuels) devront également faire l’objet d’une altération sur trois points : (i) présentation des données de base sous forme d’un cadre logique homogène), (ii) introduction d’un nombre limité d’indicateurs de résultats et d’impacts prédéfinis, (iii) évaluations programmées.

1.6. Renforcement des autres mécanismes de suivi des projets

Les activités connexes comprennent :

l’amélioration du suivi financier par une meilleure utilisation des points de centralisation comptable (Dir. Dette Extérieure, DCAE, PGT,…) ; la production trimestrielle du dossier de synthèse (suivi « administratif » des projets) (voir : III); l’amélioration de la gestion des conventions : exhaustivité du fichier DIP (circuit des documents); suivi des échéanciers (exploitation des données de début/fin initiales et actuelles) ; consolidation des données sur les engagements et établissement des ratios de décaissements) ; étude de faisabilité d’un archivage électronique des accords pour faciliter la conservation et la diffusion des documents ; la relance des missions de suivi de terrain DGEP (plan de travail, budget) ; l’étude de mécanismes complémentaires susceptibles d’être mis en place à partir de 2003.

S’agissant du dernier point, il est proposé de développer des propositions techniques et de les tester tant au niveau du gouvernement que des bailleurs de fonds :

développement de l’utilisation des nomenclatures (grilles de passage nomenclature des dépenses par nature/PCOP et codifications bailleurs, test sur l’application des nomenclatures fonctionnelles et par centres de responsabilité,…) ; mécanisme de suivi des engagements initiaux sur les programmes et accords de financement ; circuit des études et rapports ; procédure accélérée de passation des marchés pour les projets prioritaires (proposition de l’étude 20-20) ; constitution de cellules de coordination et suivi des programmes dans les provinces en appui aux Comités Régionaux de Développement ; procédures de décentralisation des fonctions de suivi physique et financier pour les projets du PIP à fort ancrage régional (à tester sur une province) ; dispositif simplifié de suivi de l’assistance technique (expertise nationale et internationale) ; suivi des immobilisations des projets ; revues annuelles des programmes étendue à l’ensemble des bailleurs de fonds et synthèse des recommandations ; concertation annuelle gouvernement-bailleurs sur la gestion du cycle des projets et les problèmes principaux de mise en œuvre ;

35

missions d’évaluation conjointes de plusieurs bailleurs sur les programmes à objectifs

conférence des chefs de projets (tous les 2 ans) ;

identiques ;

1.7. Production du Rapport sur la politique d’investissement public - 2001

Ce bilan sera préparé au cours du 1 er semestre 2002 et devra être publié au plus tard en mai. Il fera l’objet d’une communication en Conseil des Ministres et d’une présentation à l’Assemblée Nationale.

Le

travail reposera sur les étapes suivantes :

définition de la maquette du rapport et mise en place d’un comité de rédaction ; inventaire et exploitation des rapports et états de suivi des projets disponibles (seront également recensés les rapports d’évaluation réalisés en 2001) ; utilisation des résultats de l’enquête sur les projets (cf. 1.4) ; rédaction du projet de rapport ; atelier de présentation du rapport pour validation technique ; validation politique (Ministre des Finances et de l’Economie).

1.8.

Audit informatique

A côté de l’exploration de la base de données, il est suggéré la réalisation d’un audit rapide du

système informatisé pour la gestion du PIP avec deux objectifs essentiels :

étudier les variantes possibles et les coûts d’une adaptation de l’application DIP aux nouveaux besoins de suivi (préparation préalable des spécifications nouvelles) ; étudier la faisabilité et le coût d’une application d’interface à implanter dans les principaux ministères techniques afin d’unifier/développer les bases de données DIP et sectorielles et supprimer les double saisies.

1.9. Autres mesures

Les autres actions proposées pour 2002 comprennent :

la production d’un manuel de procédure de S&E – version zéro (regroupement des informations

relatives aux procédures révisées de programmation et suivi du PIP, au suivi des conventions, aux nomenclatures, définition des indicateurs de projets,…) ; la révision des supports de programmation ;

la réalisation d’ateliers de formation sur des thèmes prioritaires ;

la préparation d’un plan de formation pluri-annuel sur le S&E.

A

ce stade, cinq modules prioritaires pourraient faire l’objet d’ateliers dès 2002 :

Concepts et méthodes de S&E et sensibilisation au rôle de l’évaluation dans la gestion publique

(décideurs) ; Procédures de S&E des principaux bailleurs de fonds (cadres ministères) ;

Suivi local des programmes (services déconcentrés / provinces) ;

Indicateurs de suivi des activités et résultats (sectoriels) ;

Méthodes d’évaluation et mise en œuvre (OA, CSE/MFE, CSE/MT).

2. Actions ultérieures

Le dispositif de S&E fera l’objet d’une évaluation fin 2002, si possible appuyée par une assistance multi-bailleurs (PNUD, Banque Mondiale, Union Européenne). Celle-ci permettra de tirer les

36

premières leçons de cette année-test, d’évaluer les révisions ou innovations apportées au S&E des projets et de faire le point sur les propositions techniques complémentaires (cf. 1.6).

Elle devrait déboucher sur la formulation d’un plan à moyen terme pour étendre/consolider le suivi des résultats et l’évaluation des impacts des politiques publiques. Le lancement de ce plan devrait coïncider avec le démarrage du PAIGEP II (Banque Mondiale), principal contributeur potentiel pour le développement du système de S&E des politiques publiques dans le cadre du DSRP.

Le PNUD pourrait financer, dans le cadre de son nouveau cycle de programmation, les volets suivants :

consolidation du système de reporting pour le suivi du DSRP (rapports trimestriels et annuel) ;

plan de formation sur le S&E (co-financement) ;

développement du système de gestion des indicateurs ;

production du Plan annuel d’évaluation et d’enquêtes (à partir de 2003) ;

mise en place du Réseau National de Suivi et Evaluation ;

« régionalisation » du PIP et institution des cellules de coordination et suivi des programmes

dans les provinces ; concertation annuelle gouvernement-bailleurs sur la gestion du cycle des projets et les problèmes

principaux de mise en œuvre ; évaluations thématiques « multi-projets ».

37

Calendrier estimatif

Activités Structures Echéance Appuis responsables 1. Appui aux travaux de finalisation du DSRP (y.c STA/SNAD
Activités
Structures
Echéance
Appuis
responsables
1.
Appui aux travaux de finalisation du DSRP (y.c
STA/SNAD
Nov.01/ Janv.02
à voir
Cadre de S&E)
2.
Mise en place de l’Observatoire de la Pauvreté :
STA
cahier des charges ; validation du dispositif ;
recrutement des experts
plan de travail 2002
atelier de présentation
élaboration des rapports trimestriels de suivi
Janv.02
CI (0,5 hm)
Fév.02
Mar.02
Avr.02
2 experts nat.
fonctionnement
Avr, Juil., Sept.
3.
Système de gestion des indicateurs :
STA, INSTAT
sélection des indicateurs
mise au point des tableaux de bord
protocoles d’échanges d’information et documentation
des indicateurs (méta-données)
validation du système
Janv.-Fév.02
Mar. 02
CI (1,5 hm)
CN (3,0 hm)
Avril-Juin.02
Juil. 02
4.
Mise en place des Cellules de S&E
STA, INSTAT,
DGEP
élaboration des textes
mise en place Cellule S&E – Ministère des Finances et
de l’Economie
mise en place Cellules S&E – 3-4 Ministères tec.
Avr. 02
1 er sem.02
CN (1,0 hm)
2 e sem. 02
5.
Nouvelle procédure d’enquête pour le suivi des
DGEP
projets :
analyse « quantitative » de la BD/PIP
test et adoption des nouveaux questionnaires standard
rapport d’enquête
Janv. 02
cf. 7.
Fév. 02
Mar. 02
6.
Renforcement des autres mécanismes de suivi des
DGEP
projets :
appuis / suivi financier, dossier de suivi administratif,
gestion des conventions, relance des missions de
suivi physique
études techniques
Janv.-Déc.02
CI (1,0 hm)
CN (3,0 hm)
Janv.-Déc.02
7.
Rapport sur la politique d’investissement public –
DGEP
(activités 5 et 7)
2001 :
maquette du rapport ; comité de rédaction
inventaire et exploitation des rapports des projets
utilisation des résultats de l’enquête
atelier de présentation
publication du rapport
Fév. 02
Janv.Mar. 02
CI (1,5 hm)
CN (6,0 h/m)
Mar.Avr.02
Avr. 02
Mai.02
8.
Audit rapide du système informatisé des projets
DGEP
étude des variantes et budgétisation (faisabilité pour
l’adaptation/extension de l’application actuelle)
Aout. 02
CN (1,0 hm)
9.
Autres mesures :
DGEP/STA
révision des supports de programmation PIP/PDP
manuel de S&E (version 0)
élaboration d’un plan de formation pour le S&E
Avr. 02
Déc. 02
CI (0,5 hm)
CN (2,0 hm)
Oct.02

38

ANNEXES

ANNEXE 1 : Termes de référence

I - Contexte

L'importance de la pauvreté à Madagascar a conduit le gouvernement et les partenaires internationaux à retenir comme objectif principal la réduction de la pauvreté. Dans la situation actuelle, outre la définition de programmes/projets cohérents, il importe de mettre en place un système de suivi et d'évaluation pour permettre d'apprécier leur contribution à la réduction de la pauvreté.

Pour la mise en place du système de suivi et d'évaluation, à l'issue d'un diagnostic de la situation du suivi et de l'évaluation, il a été retenu (i) de s'appuyer sur les départements ministériels, lesquels sont dotés soit d'une direction soit d'un service en charge des programmes/projets au niveau de leur secteur respectif, et (ii) de confier l'organisation des travaux pour la mise en place du système à la Direction du Développement Economique (DDE) du Ministère des Finances et de l'Economie.

La fonction de suivi et d'évaluation étant une fonction nouvelle au niveau des administrations ministérielles et régionales, dans un premier temps un noyau de formateurs composé de cadres issus de la (DDE), des principaux ministères techniques (santé, éducation, agriculture, élevage, pêche, environnement, travaux publics…), des ONGs et des Institutions de formation, a été constitué. Ce noyau de formateurs a suivi une formation dispensée par le Washington International Management Institute. Le programme de la formation a été divisé en une partie théorique sur les concepts, méthodes et techniques et une partie pratique portant sur des applications sur des projets en cours ou achevés.

A l'issue de cette formation, la DDE a élaboré un projet de manuel de suivi et d'évaluation. Pour une vision

sectorielle, outre les outils liés au suivi et à l'évaluation des projets/programmes et permettant d'apprécier leurs performances, une proposition d'instruments pour une appréciation de la contribution de l'ensemble des projets/programmes et actions menées à la réalisation des objectifs sectoriels a été intégrée dans le manuel. Le souci d'une vision sectorielle répond à la nécessité d'analyser la complémentarité des actions menées en partenariat ou réalisées par les propres moyens des institutions nationales. En effet, à un niveau sectoriel, l'atteinte d'un objectif peut être la conjugaison des résultats de divers programmes/projets. Il en est de même au niveau national.

Sur la base du projet de manuel, un atelier a été organisé à l'endroit des cadres des ministères techniques. L'encadrement de la formation a été assuré par la DDE. L'atelier visait deux objectifs, d'une part la connaissance des concepts, techniques et méthodes de suivi et d'évaluation des projets/programmes par les participants et d'autre part, l'examen des différents instruments pour le suivi et l'évaluation au niveau sectoriel.

Les instruments qui sont présentés dans le manuel sont :

Au niveau des programmes/projets : le cadre logique ; le rapport de suivi ; le rapport d'évaluation

Au niveau sectoriel : le cadre sectoriel consolidé ; le rapport annuel

Au niveau national : le rapport national

A

l'issue de cet atelier, il a été demandé aux départements ministériels d'élaborer les cadres logiques de tous les

projets/programmes ainsi que le cadre sectoriel consolidé. La conception de ces deux outils constitue des préalables aux activités de suivi et d'évaluation. Actuellement, les départements sont en train d'élaboration de ces deux outils. Les actions menées jusqu'à présent ont porté sur une initiation aux différentes tâches requises par le suivi et l'évaluation. Par ailleurs, les activités en cours visent à tester différents les deux outils (cadre logique et cadre sectoriel consolidé) proposés dans le manuel.

II - Objectif et résultats attendus de l'intervention

Dans la réalisation de l'exercice, les difficultés rencontrées par les départements techniques sont :

Au niveau conceptuel : (i) la définition et l'analyse des différents objectifs et indicateurs au niveau sectoriel et des programmes/projets; (ii) la consolidation et coordination des différents programmes/projets et particulièrement l'analyse de l'articulation des objectifs des programmes/projets aux objectifs sectoriels et nationaux; (iii) la confection des cadres logiques pour certains projets/programmes; (iv) l'exploitation du cadre sectoriel consolidé.

Au niveau des informations : (i) la collecte et la production des indicateurs compte tenu des faiblesses des systèmes d'informations ; (ii) la production des différentes informations par les projets/programmes;

Au niveau organisationnel et opérationnel : (i) l'harmonisation des outils de suivi au niveau des programmes/projets ; (ii) les modalités du suivi et de l'évaluation en considération des différentes procédures des bailleurs de fonds.

Deux autres aspects méritent d'être approfondis et améliorés. Il s'agit (i) de l'organisation du suivi et de l'évaluation et (ii) des différents outils.

Les aspects institutionnels et les mécanismes restent à préciser. L'organisation du système (rôle des intervenants, tenue des réunions, retro information, etc.…) de l'identification et la production des différents indicateurs à l'élaboration et la production des différents rapports aux différents niveaux (projets/programmes, secteurs, national) ne sont pas clairement définis.

En ce qui concerne les outils, les difficultés rencontrées par les ministères techniques dans leur exploitation justifient leur amélioration ou la proposition d'outils plus appropriés.

Les objectifs de l'intervention du Consultant International sont :

d'évaluer la pertinence et l'efficacité des outils préparés par les ministères (faisabilité technique, capacité

des ressources humaines, coûts de la mise en œuvre, cohérence avec les autres outils de suivi…) d'appuyer les ministères dans l'amélioration des outils,

de proposer des modalités d'opérationalisation du système de suivi et d'évaluation.

Les résultats attendus sont :

Compréhension du rôle et responsabilité des différents intervenants au niveau du système de suivi et

d'évaluation Disposition d'un cadre organisationnel du système de suivi et d'évaluation

Disposition d'un mécanisme de suivi à tous les niveaux (projets/programmes, sectoriels, national)

Disposition d'outils et d'instruments de suivi appropriés.

III - Mandat du consultant

Compte-tenu des objectifs et des résultats attendus de l'intervention du consultant international, il aura à travailler au niveau des principaux secteurs et de la DDE. Ses tâches porteront sur le développement et l'harmonisation des outils de suivi et d'évaluation et la définition de l'organisation du système. Par ailleurs, il aura à évaluer les capacités aux différents niveaux pour assurer le bon fonctionnement du système de suivi et d'évaluation.

Il aura entre autres à :

définir le cadre organisationnel du suivi et de l'évaluation. Ce cadre précisera entre autres : (i) l'organisation institutionnelle ; (ii) les relations entre les différents intervenants du système ; (iii) les missions, attributions et tâches des différents intervenants ; (iv) les différents mécanismes pour assurer le suivi et l'évaluation à tous les niveaux ; (v) l'organisation du système d'informations requis pour appuyer les activités de suivi et d'évaluation.

élaborer et harmoniser les différents outils/instruments pour le suivi et l'évaluation

Au niveau des secteurs

analyser les différents outils/instruments utilisés pour le suivi et l'évaluation et proposer des outils/instruments appropriés analyser les différents indicateurs sectoriels et catégoriser les indicateurs selon les activités de suivi et d'évaluation

ii

analyser les différents systèmes d'information et formuler des recommandations pour une meilleure performance et harmonisation des travaux de collecte, d'analyse et de production des indicateurs de suivi et d'évaluation

Au niveau national

analyser les différents systèmes d'information et formuler des recommandations pour une meilleure performance et harmonisation des travaux de collecte, d'analyse et de production des indicateurs de suivi et d'évaluation.

définir la nature et le contenu des différents outils/instruments requis pour le suivi et l'évaluation.

A l'issue de son intervention, le consultant produira un rapport qui comprendra quatre parties :

Une première partie qui portera sur l'évaluation de l'existant

Une deuxième partie qui portera sur une proposition d'organisation du système de suivi et d'évaluation

Une troisième partie qui portera sur une proposition d'outils améliorés de suivi et d'évaluation

Une quatrième partie qui comprendra un plan d'actions pour la suite des activités.

IV - Organisation

Le consultant travaillera sous la supervision de l'Unité Economique du PNUD et du Coordonnateur National. Son rapport sera soumis pour validation au MFE, à l'Unité économique du PNUD et au Bureau de Coordination du Programme.

La mission du consultant sera complémentaire à la mission de deux statisticiens pour la mise en place de l'Observatoire de la pauvreté et qui se tiendra au cours de la même période.

iii

ANNEXE 2 : Personnes rencontrées

Primature

M. Samimiadana Daniel Ramarokoto, Président du STA (Secrétariat Technique à l’Ajustement)

Mme Fanja Rakotondrainibe, Consultante, STA, Cellule technique chargée de l’élaboration de la SRP

Ministère des Finances et de l’Economie

M. Guy Gabriel Razafinony, Directeur Général de l’Economie et du Plan Mme Arlette Rakotondrazafy, Directeur du Développement Economique Mme Colette Rajaorison, Chef du Service du Suivi et Evaluation des Programmes et Réformes Economiques, DDE Mme Sahondra Rambolanomenahosolo, Chef du Service du Suivi de la Coopération Technique, DDE M. Andriantsoa Rajaoberison, Chef du Service des Relations Economiques Internationales et Régionales, DDE M. Eugène Razakanaivo, Chef du Service de Suivi de la Gestion et de la Capacité d’Absorption Economique, DDE M. Modeste Raveloson, Directeur de la Planification Globale et Evaluation M. Ranoromambasoa Bodoxafy Lalao, Directeur de la Coordination des Aides Extérieures Mme Jeanne Rasoavololona, Directeur des Investissements Publics M. Hery, DIP M. Christian Raharinesy, Responsable informatique, DIP Mme Safara, Directrice de la Coordination des Interventions Sociales

Ministère du Budget et du Développement des Provinces Autonomes

M. Hery Randrianasolo, Chef du Service de l’Administration Générale, DG de la Programmation Budgétaire et des Dépenses.

Institut National de la Statistique (INSTAT)

M.Philippe Rajaobelina, Directeur Général de l’INSTAT

M. Jean Razafindravonona, Directeur des Statistiques des Ménages (032.07.81075)

Ministère du Tourisme

M. Blandin, Ministre du Tourisme, Président de la Cellule Technique DSRP

Ministère de la Santé

M. Dieudonné Rabeson, Directeur des Etudes et de la Planification

M. Rémi Rakotomalala, Chef du Service des Informations Sanitaires pour la Gestion, DEP