Vous êtes sur la page 1sur 85

GOUVERNANCE ET POLITIQUES PUBLIQUES POUR UN DEVELOPPEMENT HUMAIN DURABLE PROGRAMME PNUD MAG/97/007 –

DAP1

WASHINGTON INTERNATIONAL MANAGEMENT INSTITUTE

MMMAAANNNAAAGGGEEEMMMEEENNNTTT DDDUUU SSSUUUIIIVVVIII EEETTT DDDEEE LLL’’’EEEVVVAAALLLUUUAAATTTIIIOOONNN DDDEEESSS
MMMAAANNNAAAGGGEEEMMMEEENNNTTT DDDUUU SSSUUUIIIVVVIII EEETTT DDDEEE
LLL’’’EEEVVVAAALLLUUUAAATTTIIIOOONNN DDDEEESSS
PPPRRROOOGGGRRRAAAMMMMMMEEESSSEEETTT PPPRRROOOJJJEEETTTSSSDDDEEE
DDDEEEVVVEEELLLOOOPPPPPPEEEMMMEEENNNTTT

T. Bruno Mukendi Madagascar, Octobre 1999

PRÉFACE

INTRODUCTION

SOMMAIRE

PREMIÈRE PARTIE: LA MÉTHODOLOGIE DE SUIVI

CHAPITRE I: LES ÉLÉMENTS CONSTITUTIFS DE SUIVI

Section 1: Le concept de suivi Section 2: La finalité du suivi Section 3: Les formes de suivi Section 4: La distinction entre suivi et évaluation Section 5: Le champ d’application du suivi

CHAPITRE II: LA FONCTION SUIVI-ÉVALUATION DANS LE CYCLE DES PROJETS

CHAPITRE III: LA PLANIFICATION ET LA CONDUITE DU SUIVI

Tâches préparatoires Section 1: Identification des objectifs du programme/projet Section 2: Identification des bénéficiaires Section 3: Identification de la stratégie du projet Section 4: Détermination de la structure organisationnelle et de gestion Section 5: Détermination des besoins en information

A. Le suivi des inputs/ressources

Le suivi du personnel

Le suivi financier

Le suivi physique

B. Le suivi des outputs/résultats

Section 6: Les indicateurs de suivi

CHAPITRE IV: LES MÉTHODES DE COLLECTE ET DANALYSE DES DONNÉES

Section 1: Les méthodes de collecte des données

Les interviews

L’observation sur terrain

L’analyse documentaire

Les réunions

Section 2: L’approche à l’analyse des données du suivi

CHAPITRE V: LA STRUCTURE DE PRÉSENTATION DES RÉSULTATS DE SUIVI

3 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Section 1: Les critères de présentation du rapport de suivi Section 2: Les éléments principaux d’un rapport de suivi

CHAPITRE VI: LA DISSÉMINATION ET LUTILISATION DES RÉSULTATS DE SUIVI: LA PROBLÉMATIQUE DE LA RÉTRO-INFORMATION

Section 1: Les approches de dissémination des informations Section 2: L’utilisation des informations de suivi

CHAPITRE VII: LES INSTRUMENTS DE SUIVI

Section 1: Les expériences dans l’implantation des systèmes de suivi Section 2: Les fiches et banques informatisées des données Section 3: Les autres instruments de suivi: le cadre logique, le chronogramme, les tableaux indicatifs

ANNEXES

1. Revue des tâches principales de suivi

2. Exemple d’un questionnaire général de suivi

3. Exercice de suivi

DEUXIÈME PARTIE: LA FONCTION D’EVALUATION

CHAPITRE I: LES ÉLÉMENTS ESSENTIELS DE LÉVALUATION

Section 1: L’évaluation et sa finalité Section 2: Les formes d’évaluation Section 3: Les conditions d’efficacité de l’évaluation Section 4: Le champ d’application de l’évaluation Section 5: Les parties prenantes à l’évaluation

CHAPITRE II: LES OUTILS DE LÉVALUATION

Section 1: Le cadre logique Section 2: Les indicateurs de performance

Le concept d’indicateur

Les types d’indicateurs

Le processus de sélection des indicateurs

Les caractéristiques de bons indicateurs

Les critères principaux de succès d’un projet

CHAPITRE III: LES MÉTHODES DE LÉVALUATION

Section 1: La méthode de comparaison avant et après le projet Section 2: La méthode avec et sans projet Section 3: Le questionnaire fermé et ouvert Section 4: Le tableau du bilan global du programme/projet Section 5: L’analyse des coûts et bénéfices

4 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Section 6: L’analyse économique et financière Section 7: L’évaluation participative

CHAPITRE IV: LA PLANIFICATION ET GESTION DE LÉVALUATION

Section 1: Le processus de mise en oeuvre de l’évaluation Section 2: La préparation des termes de référence Section 3: L’établissement des rapports et la rétro information

BIBLIOGRAPHIE SÉLECTIVE

ANNEXES

1. 1.Programme de travail de suivi-évaluation

2. 2.Dispositions à prendre pour mettre en place un système de suivi-évaluation

3. 3.L’évaluation participative

5 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

PREFACE

La préoccupation principale du planificateur et gestionnaire du développement est d’assurer une allocation et utilisation des ressources qui optimise le développement économique et social. Cela est d’autant vrai aujourd’hui à Madagascar où les ressources financières disponibles sont largement insuffisantes par rapport aux besoins à satisfaire. Dans ce contexte, la question fondamentale est de savoir comment rentabiliser au maximum les investissements réalisés de manière à atteindre les objectifs prévus de développement? C’est là que le suivi et l’évaluation prennent leur importance en tant qu’instruments de gestion essentiels à l’exécution efficiente et efficace des politiques et programmes de développement.

L’objectif de ce module est de proposer aux participants des concepts, des méthodes et des techniques pour mieux assumer les fonctions de suivi et évaluation des programmes et projets. Il considère le suivi et l’évaluation comme un système intégré d’information afin de fournir des bases de justification dans l’utilisation et l’allocation des ressources et des éléments d’appréciation des impacts des efforts de développement.

Après avoir terminé ce Module, les participants devraient être en mesure de mieux planifier et conduire les activités de suivi et évaluation, élaborer des indicateurs pertinents de performance, mener des évaluations participatives et d’impact et préparer des rapports qui incitent à l’action. La formation devrait également permettre aux participants d’élaborer et de mettre en place des politiques cohérentes de suivi et évaluation au sein de leurs institutions respectives.

Etant donné la diversité des niveaux de formation des participants, nous avons essayé dans la mesure du possible de simplifier le langage.

Nous osons croire que les données de ce Module, les discussions qu’elles vont susciter, les études de cas en groupe ainsi que la documentation d’appui vous fourniront des éléments et outils nécessaires pour organiser, exécuter et gérer efficacement le suivi et l’évaluation des interventions de développement.

I NTRODUCTION
I
I
I NTRODUCTION
I NTRODUCTION

NTRODUCTION

I NTRODUCTION
J
J

USTIFICATION DE LA FONCTION

SUIVI EVALUATION A MADAGASCAR

J USTIFICATION DE LA FONCTION SUIVI EVALUATION A MADAGASCAR 7 MANAGEMENT DU SUIVI ET DE L’EVALUATION

7 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Quatre raisons principales militent en faveur de la consolidation de la fonction suivi-évaluation et de son institutionnalisation à Madagascar:

I- Le gouvernement de Madagascar s’est engagé à mettre en oeuvre depuis 1994 une stratégie globale d’ajustement structurel et de stabilisation financière visant à créer un environnement favorable à la reprise de la croissance économique et la réduction de la pauvreté. Cette stratégie a été concrétisée par un ensemble de mesures des réformes économiques, financières et institutionnelles que le gouvernement a arrêté avec l’appui de la communauté internationale, notamment la Banque Mondiale et le Fonds Monétaire International. La réalisation des objectifs économiques et sociaux du gouvernement, tels que définis dans le Document-cadre de politique économique conclu avec les institutions de Bretton Woods dépend ainsi de la mise en oeuvre effective de ces mesures macroéconomiques et sectorielles conformément au calendrier d’exécution pré-établi. L’application de ces mesures peut avoir des effets importants, non seulement sur les secteurs public, para étatique, privé, mais également sur les populations pour lesquelles l’Etat assure des prestations.

Dans ce contexte, une politique efficace de suivi et évaluation permettrait au gouvernement de se doter d’un système d’information pour documenter l’état d’avancement dans l’exécution des réformes auxquelles il a souscrit, de détecter les dérapages éventuels et les difficultés non prévues, d’identifier des mesures correctives, de déterminer les impacts des projets sur les populations et d’en tirer des enseignements afin d’éclairer des décisions futures.

II- Plus de 80 % des ressources d’investissements publics proviennent de la coopération externe. Les perspectives de développement de Madagascar pour les dix prochaines années seront vraisemblablement influencées par le niveau de mobilisation et d’utilisation des ressources externes. Or, les bailleurs de fonds, tant multilatéraux que bilatéraux insistent que leurs programmes et projets de coopération doivent désormais se justifier par des résultats concrets en termes de renforcement réel des capacités et d’amélioration des conditions d’existence des populations. Cette nouvelle philosophie de la coopération centrée sur les résultats implique au niveau du gouvernement des mécanismes efficaces de suivi et évaluation capables de fournir des preuves tangibles des progrès accomplis dans la réalisation des objectifs de développement.

III- Le contexte de développement à Madagascar a connu des profondes mutations depuis ces dix dernières années. L’Etat s’est lancé dans un processus irréversible de libéralisation politique et économique. De nouveaux acteurs sociaux et économiques ont émergé sur la scène politique: les organisations de la société civile, le secteur privé veulent être considérés comme des partenaires effectifs de l’Etat. Ils exigent tous que la gestion de la chose publique soit désormais transparente, efficace et participative et que les gouvernants puissent rendre compte de leur gestion à ceux dont ils sont censés servir les intérêts. Dans la mesure où le suivi et l’évaluation prétendent instaurer des mécanismes d’identification et de détermination des résultats, ils contribueront certainement à cette obligation de reddition de compte, la transparence et la responsabilisation que le gouvernement et ses nouveaux partenaires cherchent à développer.

8 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Dans l’optique de la modernisation administrative décrétée par le gouvernement malgache, un accent particulier a été mis sur une nouvelle administration publique orientée vers des résultats. S’il est vrai que la finalité première de la nouvelle administration est de satisfaire les besoins des populations, il devient alors évident qu’un programme de modernisation de celle-ci digne de son nom ne peut être envisagée sans tenir compte des voies et moyens qui lui permettraient de s’assurer de la qualité des services rendus aux citoyens et de leur pertinence par rapports aux besoins exprimés. Cette nouvelle gouvernance administrative au service des administrés implique en effet une nouvelle conception des objectifs, des tâches et des mesures de performance que le suivi et l’évaluation en tant que système d’information aux fins de la bonne gestion peuvent contribuer à mettre en place.

IV- Enfin, l’efficacité à répondre aux événements imprévus, tout comme l’amélioration dans l’affectation et l’utilisation des ressources financières et humaines présupposent une capacité technique adéquate pour maîtriser ce qui se passe dans l’économie, identifier et anticiper les sources potentielles des problèmes afin de les résoudre avant qu’ils n’entravent la bonne marche des activités. Un meilleur système de suivi- évaluation peut en effet contribuer à accroître la capacité de contrôle du développement.

La fonction suivi-évaluation s’insère dès lors dans une logique rationnelle qui relie les choix stratégiques du pays aux programmes et projets sectoriels. Elle permet d’une part de s’assurer de la réalisation des objectifs particuliers des projets mis en oeuvre par les différents partenaires et de leur cohérence avec les objectifs globaux du développement, et d’autre part de l’utilisation efficiente et de l’incidence des ressources investies en terme de développement. Sous ce rapport, une politique cohérente de suivi et évaluation peut en réalité renforcer la capacité d’un pays à gérer son propre développement.

9 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

P REMIERE PARTIE
P
P
P REMIERE PARTIE
P REMIERE PARTIE

REMIERE PARTIE

P REMIERE PARTIE
L
L

A METHODOLOGIE DU SUIVI

P REMIERE PARTIE L A METHODOLOGIE DU SUIVI 10 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES

10 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE I: LES ELEMENTS CONSTITUTIFS DE SUIVI

Les termes suivi et évaluation sont souvent utilisés de manière interchangeable sans considération des nuances importantes à faire et des implications de ces nuances sur la méthodologie à utiliser. Ce premier chapitre explicite le concept et la finalité du suivi, ses formes, la distinction entre le suivi et l'évaluation et le champ d’application du suivi.

Section 1: Le concept de suivi

Le suivi permet de s'assurer de l'emploi approprié des ressources, d'alerter les niveaux appropriés des décisions des dysfonctionnements et des déviations par rapport aux plans afin que des décisions nécessaires soient prises en temps opportun.

Le suivi est un processus qui consiste à collecter, analyser et faire des rapports sur des informations spécifiques concernant les activités d'un projet ou programme. Un système de suivi permet de:

a) Documenter les inputs et les outputs d'une activité b) Conduire des analyses pour déterminer si les activités et les résultats obtenus sont conformes aux prévisions c)Analyser les écarts éventuels entre les prévisions et les niveaux de réalisation atteints en termes de leurs causes d) Déterminer des actions nécessaires à entreprendre pour corriger les écarts constatés e)Faire un rapport des actions retenues à transmettre aux niveaux appropriés de décision où les informations ont été demandées. f) Surveiller l’application des recommandations proposées.

Notez déjà que le système de suivi fournit des informations aussi bien sur le projet que sur son environnement.

Un bon suivi doit être léger (en termes de temps et de l’argent) et participatif (intéresser toutes les parties prenantes au programme ou projet dans la collecte et le traitement des données afin de garantir la compréhension et l’application des recommandations). Il doit permettre une connaissance exhaustive et continue des performances et des difficultés d’exécution d’un programme et projet.

Section 2: La finalité du suivi

Le suivi n'est pas une fin en soi. Le but de l'exercice est de fournir des données pertinentes permettant de prendre des décisions informées et de réagir rapidement aux problèmes susceptibles d'entraver l'exécution harmonieuse des objectifs. Le suivi d’un programme ou projet peut avoir au moins quatre finalités:la réduction des incertitudes, le réajustement et l’adaptation des activités, la mise en évidence des performances atteintes, et la mise en place d’une gestion proactive du développement.

11 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

1.

La réduction des incertitudes

L’exécution d’un programme se heurte à certains aléas (climatiques, socio-économiques, financiers, etc.) qui peuvent freiner le rythme de son exécution ou remettre en cause sa mise en oeuvre efficace. De ce point de vue, les informations issues du suivi permettront de mettre en évidence les contraintes ou facteurs de blocages à l’exécution effective du programme et de prendre des mesures correctives.

2. Le réajustement et l’adaptation des activités

Le suivi permet de vérifier les prévisions et peut conduire à un redimensionnement des activités du programme ou projet pour qu’il puisse mieux répondre aux besoins de fonctionnement et les exigences de l’environnement du projet.

3. La mise en évidence des performances réalisées

Le suivi sert d’outil de gestion au manager, bénéficiaires et autres parties prenantes au programme parce qu’il fait ressortir ses performances de réalisation par rapport aux prévisions chronologiques, financières et physiques.

4. La mise en place d’une gestion proactive

Le suivi permet également d'éviter une gestion réactive ou le management par crise. Certains projets échouent d'atteindre leurs objectifs tout simplement parce qu'ils ont été obnubilés par des problèmes d'exécution qui n'ont pas pu être identifiés et résolus à temps. Un système organisé de suivi aidera à remédier à cette situation en disposant régulièrement et à temps des données critiques sur le déroulement des activités et à agir avant que le problème ne surgisse ou ne devienne insurmontable.

Il découle de cette discussion que le suivi vise deux buts principaux à savoir :

la recherche de l'efficacité : assurer la réalisation des objectifs particuliers du projet et leur cohérence

avec les objectifs sectoriels et généraux du développement et (2) la recherche de l'efficience : assurer l'utilisation optimale des ressources mobilisées. Les données de suivi devraient dès lors constituer les supports d'informations pour la planification et la programmation des ressources.

(1)

Section 3: Les formes de suivi

On distingue généralement deux types de suivi:

a) Le suivi interne: qui est assuré par une cellule permanente de suivi et évaluation et qui joue le rôle d’état-major auprès du manager du projet. Sa mission principale est de faire un rapport régulier de données et informations pertinentes, qualitatives et quantitatives sur le projet, et d’analyser tous les renseignements utiles réunis pour vérifier si le projet s’exécute comme prévu, s’il n’ y a pas de retards

12 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

ou contraintes à éliminer d’urgence.

b) Le suivi externe: est assuré par une unité or organisation extérieure au projet, se trouvant au niveau du ministère ou de la direction centrale ou régionale du projet, ou même du bureau de l’organisme de financement ou d’exécution du projet qui est chargée de la coordination de ses activités. Les missions de revue des projets organisées par certains donateurs font partie des mécanismes de suivi externe.

Section 4: La distinction entre suivi et évaluation

Il y a souvent tendance à confondre le suivi et l'évaluation si bien qu'il s'agit de deux outils de management ayant une même finalité, c.à.d. l'amélioration de la performance organisationnelle, mais avec des objectifs spécifiques, des orientations et méthodologies pas toujours similaires.

Le suivi est principalement concerné par l'amélioration de l'efficience technique des opérations d'un programme ou projet (relation entre les inputs et les outputs). Il s'agit d'une documentation régulière des progrès réalisés afin de s'assurer que les activités sont exécutées dans les contraintes prévues de temps et de coûts. Voici à titre d'exemple quelques questions à soulever au cours d'un exercice de suivi :

1. Dans quelle mesure les objectifs du projet ont-ils été atteints ?

2. Qui tire les bénéfices du projet ?

3. Les inputs du projet sont-ils utilisés rationnellement ?

4. Les activités du projet et la production des outputs sont- elles en avance, en retard ou conformes aux

prévisions?

5. Les coûts du projet sont-ils en-déça, au-délà des prévisions, ou comme prévus ?

6. Est-ce-que les résultats obtenus justifient les moyens mis en oeuvre ?

7. Quelles sont les causes d'écarts (internes et externes) entre les prévisions et les réalisations ?

8. Quelles actions alternatives peuvent être entreprises pour corriger la déviation éventuelle entre les prévisions et les performances actuelles.

Le suivi focalise l'attention sur l'utilisation optimale des ressources. Cela ne veut pas dire que les questions d'efficacité sont négligées, car la référence principale reste l'atteinte des objectifs fixés au moyen des ressources prévues. Quand on dit par exemple que les dépenses sont bien effectuées, c'est par rapport :

a) Au secteur d'affectation prévu (par exemple l'achat des équipements, les salaires du personnel).

b) A l'impact de la dépense : la réalisation des résultats attendus, c.à.d. l'atteinte des objectifs fixés.

De ce point de vue, la mission de suivi doit s'intéresser non seulement aux questions de gestion financière (suivi financier), mais aussi à l'impact des dépenses réalisées (suivi physique et d’impact). Ceci revêt une importance cruciale dans la mesure où les informations issues du suivi servent souvent dans la prise de décision concernant les aspects importants du projet (par exemple: réorienter les objectifs du projet, étendre la portée du projet). En l’absence des données d’évaluation, les décideurs s’appuient sur le suivi pour faire des arbitrages nécessaires.

13 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Alors que le suivi se consacre principalement aux questions d'efficience, l'évaluation quant à elle, met l'accent sur l'efficacité de l'activité du développement, c.à.d. la relation entre les outputs produits, leurs effets et leur impact sur la communauté. Dans une évaluation, le planificateur ou le manager cherche à déterminer le pourquoi des choses, pourquoi les objectifs sont ou ne sont pas accomplis en examinant systématiquement tous les aspects du projet et de son environnement.

Les résultats de suivi peuvent donner lieu à des ajustements dans la conception du projet ou apporter des informations utiles pour la re-programmation des ressources. Par contre, les résultats de l'évaluation entraînent souvent des changements de fond dans la conception et voire-même dans la politique générale du projet. Généralement, les données de suivi servent de support à l'évaluation en profondeur des opérations.

Le suivi n'est pas à confondre avec l'audit financier qui revêt un caractère contraignant, l'intention étant en principe de repérer les déficiences de gestion en vue de blâmer la personne qui en est responsable. L'opposition camouflée contre un suivi organisé des opérations de développement provient d'une conception erronée du rôle de cet instrument de management et de l'idée que les résultats négatifs qui pourraient en découler risquent de remettre en question l'intégrité et la réputation présumées de certaines institutions et de leurs dirigeants. Du point de vue du management, le suivi est un outil d'information au service du planificateur et manager pour les aider à prendre des décisions rationnelles, basées non sur des intentions, mais sur les faits. L'objectif poursuivi n'est pas de punir, mais d'apprendre et d'agir promptement sur le problème.

Le suivi n'est pas non plus à confondre avec le contrôle dans le sens classique et juridique de ce terme. Le contrôle vise à:

Vérifier le respect des procédures légales.

Etablir la sincérité des opérations comptables et financières.

Attester la légalité des actes de gestion. (A. Giscard D'Estaing, 1991).

Ce type de contrôle est généralement exercé par des corps particuliers comme l'Inspection Générale des Finances, la Cour des comptes et des inspections ministérielles spécialisées. Il reste entendu que dans le sens plus large, le contrôle se confond avec le suivi.

Le contrôle est une forme d'évaluation, mais qui se fait sur un champ très limité, c'est le cas du contrôle budgétaire qui consiste à vérifier si les dépenses dans le budget ont été exécutées conformément aux prévisions et instructions en la matière. Il s'agit d'une évaluation au niveau des opérations. Par contre, le suivi porte sur un domaine beaucoup plus large, à savoir: un projet, un programme ou un plan. Il se sert des informations fournies par le contrôle pour déterminer leur impact sur le fonctionnement et la production du projet.

Toutefois, l'évaluation, le suivi et le contrôle partagent des préalables communes au bon fonctionnement de tout système d'information aux fins de management, à savoir:

la détermination des objectifs

l'identification des points d'information et de décision

la sélection des indicateurs de performance

la détermination des zones de variation des performances (des limites tolérables

la détermination des mécanismes de communication et de reporting.

14 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Section 5. Le champ d’application du suivi

Le suivi est un processus continu de gestion qui vise à améliorer l’efficience dans les programmes et projets de développement. Il permet de surveiller continuellement le projet pour détecter les problèmes éventuels et identifier les actions correctives nécessaires pour résoudre ces problèmes avant qu’ils n’affectent la bonne réalisation des objectifs des programmes et projets. Le suivi concourt donc à une gestion proactive (et non par crise) du développement.

Ainsi, tous les programmes et projets, quels que soient leur montant et leur durée doivent faire l’objet d’un suivi conformément aux instructions contenues dans ce module.

15 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE II: LA FONCTION SUIVI-EVALUATION DANS LE CYCLE DES PROJETS

Un projet est un ensemble d'activités organisées, qui par une combinaison optimale des ressources, vise à atteindre des objectifs déterminés dans le temps et dans l'espace. Une fois ses objectifs atteints, le projet cesse sa raison d'être et ses activités, structures et ressources peuvent être récupérées par l'administration régulière.

En tant que système organisé, un projet possède une logique interne propre dont les éléments constitutifs sont repérables. Nous pouvons distinguer 6 phases au cours desquelles des dispositions et des actions sont prises concernant le suivi et l’évaluation.

1.

La phase d'identification du programme/projet correspondant à l’identification des leçons d’expériences passées et en cours

Il s’agit comme le terme l’indique, d’identifier les idées du projet en définissant les problèmes qui nécessitent sa mise en oeuvre, leur envergure, les groupes sociaux concernés et leurs caractéristiques. L’expérience acquise dans le développement ( suivi et évaluation passés) peut servir des sources d’information pour les idées des projets.

Ainsi, au cours de cette étape, le manager peut chercher à obtenir le plus d’information possible sur les leçons tirées des actions passées et en cours susceptibles de fournir des idées des projets. Souvent des rapports résumés de suivi et évaluation(archivés dans les centres d’information des certains ministères ou des agences de coopération) et des banques de données facilitent la recherche des informations pertinentes de suivi et évaluation. Les leçons identifiées sont analysées et intégrées dans la formulation du projet dans la phase suivante.

2. La phase de préparation de projet ou d’intégration des expériences passées et de formulation des cadres de référence du suivi et évaluation

Cette phase est cruciale pour le suivi et l’évaluation ultérieurs dans la mesure où elle met en place tous les éléments clés qui vont servir de cadre de référence pour le suivi et l’évaluation. En effet, la préparation proprement dite du projet consiste à définir avec précision le problème auquel le projet va s'attaquer, ses objectifs précis et ses résultats, les indicateurs de performance, les activités à entreprendre, les moyens à mettre en oeuvre et leurs sources et de préparer les différents dossiers qui vont aider à évaluer sa viabilité économique et sociale.

C’est à l'appui de ces informations qu’il sera possible de préparer le cadre logique du projet ( résumant les intrants et activités principaux, les résultats attendus, les objectifs et but du projet ainsi que les indicateurs vérifiable de succès pour chaque composante du projet). Un plan de suivi et évaluation devrait se dégager de ce cadre logique.

Le Plan définit avec précision les éléments suivants:

les données de base sur les problèmes à résoudre

16 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

les objectifs précis du projet

les groupes cibles

les principaux résultats attendus

les principaux indicateurs de succès

les responsabilités organisationnelles

le budget de suivi et évaluation

le calendrier des activités

3. La phase d' évaluation ex-ante ou de vérification de la cohérence et pertinence des cadres de référence de suivi et évaluation

Cette phase permet aux institutions compétentes de se rassurer que le projet a bel et bien intégré les enseignements passés et est conçu de façon à faciliter son suivi régulier et son évaluation. L’évaluation ex- ante ou l’appréciation permet de déterminer la cohérence et la pertinence du plan d’évaluation et des indicateurs de succès du projet .

4. La phase de décision ou approbation du plan de suivi-évaluation

L’autorité décisionnelle entérine le plan de suivi et évaluation ainsi que le budget y afférant.

5. La phase d'exécution du projet ou la mise en oeuvre du plan de suivi et évaluation

Durant cette phase, le système de suivi et évaluation fournit périodiquement des informations sur le projet et les problèmes liés à son exécution. Ces derniers sont examinés et des actions correctives rapidement introduites avant que ces problèmes ne prennent de gravité. Des évaluations formatives peuvent également intervenir pour déterminer les signes précoces d’impact du projet ou pour adapter le projet aux nouvelles exigences et besoins de son environnement.

6. La phase d'évaluation ou d’appréciation de l’efficacité du projet et d’identification des leçons pour l’avenir

L'évaluation finale intervient quelques temps après la fin des activités. Selon la nature du projet, elle peut se faire immédiatement ou plusieurs mois après la fin des travaux.

Il s’agira en effet de rapprocher et comparer les informations fournies au niveau d’identification (besoins et aspirations) et qui ont été filtré dans le processus de préparation du projet (indicateurs de succès et de vérification de sa réussite tel qu’ils apparaissent sur le cadre logique) aux résultats atteints et à leurs effets sur les bénéficiaires.

L’évaluation peut avoir plusieurs buts:

a) déterminer le degré de réalisation des objectifs du projet;

b) déterminer l’impact du projet sur les bénéficiaires; identifier les besoins à considérer dans les

projets ou phases futures;

d) tirer des enseignements pour l’amélioration de la planification, la budgétisation et la gestion des

17 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

projets futurs.

L’évaluation cherche à documenter ou ressortir ce qui a marché et ce qui ne l’a pas et à expliquer pourquoi (la recherche des causes). L’objectif principal de cette étape est de faire un inventaire de l’expérience acquise en termes des points forts et points faibles dans l’exécution du projet (voir Tableau de Bilan Global dans la Partie II) de manière à améliorer les interventions futures. Les leçons d’évaluation permettent d’éclairer la planification, l’exécution et l’évaluation des projets futurs.

Il ressort de cette présentation que les activités de suivi et évaluation ne s’improvisent pas dans l’exécution d’un programme ou projet. Au contraire, elles sont planifiées, organisées et exécutées à chaque étape du cycle de projet ou programme.

18 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE III. PLANIFICATION ET CONDUITE DU SUIVI

Un système efficace de suivi doit être capable de fournir des données et analyses systématiques et régulières sur des indicateurs techniques et d’avancement des activités afin de permettre aux responsables d’identifier les domaines dans lesquels des décisions doivent être prises.

Le succès d’un système de suivi dépend de l’exécution performante d’un certain nombre des tâches représentant des catégories spécifiques de données dont il faut disposer et des exigences des procédures qui doivent être satisfaites. Le processus du suivi implique des tâches suivantes:

déterminer les composantes principales du projet (objectifs, stratégie, activités, produits, bénéficiaires, structure de gestion);

identifier les besoins en information(justification de la mission de suivi);

identifier les indicateurs de performance

développer des procédures de collecte et d’analyse des données;

déterminer la manière dont les informations seront présentées au management et la périodicité du reportage; distribuer le rapport de suivi et surveiller l’application de ses recommandations.

Les trois premiers points sont d’une importante cruciale dans la mesure où ils se réfèrent à la maîtrise des composantes essentielles du projet et de sa stratégie d’intervention. Dans ce contexte, il y a des éléments d’informations que le système de suivi doit impérativement disposer pour mener à bien sa mission. Ces éléments d’informations figurent au Tableau suivant.

Tableau 4 Eléments d'informations pour le suivi

- les objectifs du projet/programme.

- les tâches nécessaires pour les atteindre.

- les dates auxquelles elles doivent commencer et se terminer.

- les montants approuvés et autorisés, le budget de chaque activité et le calendrier des décaissements.

- les compétences et le niveau d'expérience requis à chaque poste prévu.

- le système de gestion, d'information et de motivation du personnel.

- les équipements et technologies à utiliser et leurs spécifications techniques.

- les procédures d'acquisition des biens et services, de justification des ressources, des arrangements contractuels.

- les documents d'autorisation des travaux.

- les plans et horaires de travail.

- les produits à réaliser et le calendrier de réalisation.

- les indicateurs de performance.

Les tâches ci-dessus décrites sont présentées séparément pour des raisons pédagogiques. En réalité, elles sont interdépendantes, c.à.d. la réalisation d'une tâche affecte l'autre et toutes doivent être accomplies d'une

19 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

manière systématique et complémentaire. Nous examinerons en détail chaque tâche dans les sections et chapitres qui suivent.

Section 1: Identification des objectifs du projet

Il faut d'abord noter qu'avant d'effectuer une visite de suivi, vous devez vous familiariser avec les aspects techniques du projet en question. Ces aspects couvrent les caractéristiques sectorielles et sous-sectorielles (p. ex. agriculture, pêche). Les informations peuvent être obtenues grâce à une lecture attentive des documents du projet, des rapports d'évaluation (s'il y en a) ou à partir des discussions avec les superviseurs du projet.

Il est souhaitable de consulter des manuels introductifs en la matière si l'agent ne dispose pas de connaissances de base dans le domaine du projet.

Ce processus de familiarisation avec les caractéristiques essentielles du secteur du projet revêt une importance particulière pour au moins trois raisons. Il vous permettra de :

a) communiquer effectivement avec le personnel technique et si possible de remettre en question

leurs avis.

b) faire une évaluation exacte des capacités du projet.

c) proposer des recommandations solides.

Le domaine le plus important de suivi porte sur l'utilisation efficiente des moyens en vue d'atteindre les objectifs donnés. La référence principale demeure donc les objectifs à réaliser. Qu'est-ce-que le projet entend réaliser, en quelle quantité, quelle qualité, où et dans combien de temps?

Du point de vue du management, il existe une différence entre un but et un objectif. Un but est un énoncé général d'intention sur le problème de développement auquel le projet contribue à satisfaire. Par exemple : fournir l'éducation de base à tous les enfants d'ici l'an 2000. Le but se réfère à un programme ou plan plus vaste auquel le projet se rattache (Voir le Cadre Logique, Partie II).

Par contre, un objectif est concret et précis. Il contient des références de quantité, de qualité, de lieu et de délais d'exécution. Par exemple : dans le but susmentionné, l'objectif serait de construire dix salles de classes de type moderne à Kota entre 1999 et 2000. Un objectif bien formulé possède des indicateurs qui permettent de suivre son évolution.

Malheureusement, la plupart des documents de projet font état des objectifs mal définis et vagues. Les objectifs sont parfois formulés sans indicateurs quantitatifs et qualitatifs pouvant faciliter le suivi de leur exécution. Dans ce contexte, l'agent chargé de suivi devra se mettre d'accord avec le management sur ce que le projet est sensé réaliser et de déterminer ensemble les mesures nécessaires pour évaluer sa performance.

Section 2: Identification des bénéficiaires du projet

Un projet de développement est mis en oeuvre pour répondre aux besoins d'un groupe ou d'une catégorie

20 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

de gens. Son succès ou son échec dépend de la manière dont ce groupe a été affecté par ses résultats ou la manière dont cette population réagit aux activités du projet. Dans beaucoup de projets, le niveau de participation de la population cible constitue la mesure de la vitalité et de l'efficacité du projet.

La population cible varie selon le projet. Il peut s'agir des petits fermiers, des femmes enceintes, des enfants scolarisables âgés de 10 à 12 ans, des fonctionnaires de l'Etat, ect. Renseignez-vous sur les caractéristiques des bénéficiaires présumés de votre projet (p. ex. leurs perceptions et valeurs culturelles, la distribution saisonnière de travail et emploi, le mode d'utilisation des terres) dans la mesure où ces dernières peuvent avoir un impact décisif sur la performance du projet. Il est important de préciser avec les benéficiaires si les services prévus ont été oui ou non fournis et s'ils sont utilisés comme prévus.

Section 3: Identification de la stratégie du projet

Comment le projet envisage-t-il d'apporter le changement désiré ? Par exemple, un projet d'éducation peut viser la création d'une capacité institutionnelle auto-entretenue (développement institutionnel) au lieu de fournir un support direct et continu au Ministère de l'Education. Un projet de santé peut envisager d'améliorer la santé d'un groupe de paysans à travers une stratégie de prévention qui est opposée au développement des services hospitaliers. Un projet d'agriculture - animation rurale - peut chercher à améliorer les pratiques des prévisions en s'inspirant des connaissances et pratiques locales plutôt qu'en imposant des formulations sophistiquées avec les agents extérieurs d'animation.

L'expérience dans la planification et l'exécution des projets de développement démontre que beaucoup de projets échouent d'atteindre les objectifs qui leur sont assignés à cause, notamment d'une mauvaise stratégie ou de l’inefficacité dans l’application de la stratégie arrêtée. Par conséquent, l'examen de la stratégie du projet requiert une attention particulière au cours de la mission de suivi. L'agent chargé du suivi devra spécialement examiner les mécanismes utilisés pour se conformer à la stratégie d'exécution et documenter les déficiences éventuelles.

Section 4: Identification de la structure organisationnelle et de gestion

La plupart des problèmes qui paralysent l'exécution des projets sont d'ordre organisationnel et de management. Il peut s'agir des conflits accentués par une mauvaise allocation des tâches et responsabilités, l'incompétence des agents, un style de direction autoritaire et inapproprié, le manque de communication entre le personnel, ou entre le projet et les organes de supervision ou entre le projet et son environnement. Le manque de motivation pour des raisons financières et organisationnelles peut être aussi une source potentielle de démobilisation du personnel.

L'agent de suivi doit être sensibilisé sur les comportements et attributs organisationnels susceptibles d'entraver la bonne exécution du projet.

Section 5: Détermination des besoins en information

Pour le besoin de suivi d'un projet, les informations peuvent être demandées sur les composantes

21 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

suivantes :

les inputs ou les intrants (leur disponibilité, coûts, qualité, utilisation, compétence du personnel)

les activités (date de démarrage, date d'achèvement, coûts,

les outputs ou résultats (coûts, qualité, quantité, impact)

pertinence, nombre)

l'utilisation des résultats (degré d'accessibilité, taux d'utilisation) les conditions externes (les prix, le climat, l'engagement des autorités) affectant les opérations du projet.

Les types des données varient selon les exigences en information du management et la nature de chaque projet. Voyons rapidement chacun de ces éléments informationnels.

A. LE SUIVI DES INPUTS

Les inputs sont des ressources qui sont déployées dans l'exécution d'une activité. La combinaison inputs et activités donne lieu à un produit appelé output ou résultat. Il y a 3 types essentiels d'inputs: le personnel, les finances et les matériels/équipements.

A.1. Le suivi du personnel

Il est admis que la qualité de la gestion du personnel est un facteur déterminant dans la performance des organisations. La qualité des hommes, leur niveau d'engagement et de disponibilité au service d'une institution conditionnent la mesure de succès en termes d'achèvement des objectifs et missions essentiels.

Le suivi du personnel exige de porter l'attention sur les aspects suivants :

a) Productivité de service

volume d'outputs produits par rapport aux moyens fournis (nombre d'hectares du riz ou des rapports techniques produits, nombre de constructions nouvelles réalisées ou dossiers brûlants traités).

activités accomplies par rapport aux missions et moyens disponibles.

b)

Satisfaction individuelle : peut être mesurée par :

le taux de rotation des effectifs par service (études détaillées des causes des départs).

l'adéquation entre les fonctions réelles exercées et l'emploi sensé être occupé.

les perspectives de promotion.

les opportunités de formation

c) Climat de travail : une atmosphère de dialogue et d'entente sociale pouvant être déterminée grâce :

aux rencontres avec les agents ou leurs représentants.

à la lecture des procès-verbaux des réunions.

à l'observation sur terrain.

d) Conditions matérielles de travail

22 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

e) Les horaires et les plans de travail et de gestion

L'incompatibilité des horaires et plans de travail peut être une source de conflits entre le personnel. De même que les tâches non clairement délimitées peuvent donner lieu à des confusions et engendrer des conflits. Enfin, le directeur du projet doit être le seul point de responsabilité pour le contrôle et la coordination de ses activités. La dualité de commandement est une source potentielle de conflits.

A.2. Le suivi financier

Le but du suivi financier est de s'assurer qu'il existe une transparence dans la gestion comptable et financière et que les règles et procédures d'allocation et d'utilisation des ressources sont scrupuleusement respectées.

Les inspecteurs des finances (auditeurs) sont souvent intéressés à déterminer si le projet ou l'institution respecte les principes élémentaires de gestion financière et budgétaire, à savoir:

a) L'engagement et l'autorisation préalable de toute dépense par l'autorité compétente;

b) Le non-dépassement des montants engagés et autorisés;

c) L'utilisation des crédits seulement prévus pour l'exercice en cours (le principe d'annualité budgétaire) notamment en cas des dépenses d'investissement;

d) Le contrôle des disponibilités des fonds et l'imputation exacte des dépenses (le respect des lignes budgétaires).

La gestion des dépenses d'investissement devra également suivre le circuit de la dépense publique:

1. L'engagement des dépenses: les ministères sectoriels ou les services dépensiers préparent leur état des besoins et les transmettent au Ministère du Plan;

2. L'ordonnancement des dépenses: les besoins sont examinés par le Plan qui ordonne la réalisation de la dépense conformément au budget;

3. La liquidation des dépenses: est faite par le Ministère des Finances ( souvent la Direction Générale de la Comptabilité Publique) après vérification de la légalité de la dépense;

4. Le paiement: est effectué par le Ministère des Finances (la Direction Générale du Trésor).

Le contrôle des ressources financières constitue un domaine crucial en raison des limitations budgétaires et de la nécessité de réaliser au mieux les objectifs fixés avec les ressources disponibles. Il porte sur l'utilisation du budget conformément aux plans des dépenses, instructions et normes financières en la matière. Il convient de s'interroger par exemple si les coûts sont au-délà ou en-déça des prévisions ou comme prévu; s'ils sont oui ou non en adéquation avec les résultats atteints; si les livres comptables sont proprement tenus. Le suivi financier porte aussi bien sur les coûts que sur les recettes réalisées, si cela est applicable.

Les opérations relatives au contrôle budgétaire peuvent être réalisées sous forme:

1. Des tableaux comparatifs des opérations prévues et celles qui ont été réalisées.

2. Des tableaux d’analyse des écarts en quantités, en évaluer et en coût unitaire.

3. Des tableaux de mesure des responsabilités de chaque centre et dans chacun des origines

23 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

particulières des différences entre les prévisions et les réalisations.

Le contrôle budgétaire porte généralement sur les engagements et les dépenses effectives.

Le contrôle des engagements

Il permet de vérifier la date d’engagement des dépenses et le montant qui a été autorisé à cette date. La date réelle peut être différente de la date prévue par décision de la direction en vue d’un ordre d’urgence ou par un retard dans l’exécution de la tranche précédente des travaux. Le montant réel peut être différent des montants prévus par suite:

des modifications apportées au programme ou projet

des variations des prix

Tableau 5 Tableau de contrôle d’engagements

Nature de l’investissement

Prévisions

Réalisations

 

---------------

--------------

Ecarts

 

-------------

Date

Montant

Date

Montant

Date

Montant

Transformation du magasin

15-3

6500

5-4

6 700

+ 16j

+ 200

Le contrôle des dépenses

Il permet de déceler les écarts et de réajuster les prévisions. Les résultats du contrôle permettent de:

décider d’avancer l’achèvement de certains travaux urgents ou d’en retarder d’autres qui sont devenus moins utiles ou moins prioritaires;

de situer les responsabilités: architecte, entrepreneur, chef de service;

de prendre des mesures relatives au paiement des dépenses faites et restant à faire, c’est-à- dire s’assurer que les ressources de trésorerie sont suffisantes et disponibles aux dates voulues.

Tableau 6 Le contrôle des dépenses

Date de fin des travaux

 

Dépenses

Prévues

Prévue

Actuelle

 

15-4

30-4

9850

10200

350

24 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

La mesure couramment utilisée dans le contrôle et le suivi des projets est le taux d'exécution financière qui n'est qu'une mesure d'utilisation des fonds (et pas d'efficacité).

En l'absence des critères préalables d'appréciation et d'avancement des projets ou face à des difficultés d'application de tels critères quand ils existent, les gouvernements et les bailleurs de fonds ont tendance à rechercher à maximiser le flux des dépenses avec un souci insuffisant de l'impact économique et social. Cette approche est déconseillée parce qu'elle considère les dépenses comme la finalité du développement alors qu'elles n'en sont qu'un moyen. Les éléments quantitatifs doivent être complétés avec une appréciation qualitative des investissements afin de se faire une idée globale sur leur efficacité.

Retenez les remarques suivantes dans l'exercice de suivi financier :

1. Toutes les modifications au budget doivent être argumentées. Par exemple, une augmentation sur la ligne budgétaire "Formation" doit justifier les activités de formation à entreprendre.

2. Examinez attentivement l'authenticité des pièces justificatives et factures.

3. Déterminez si les lignes budgétaires ont été mieux définies et évaluées en tenant compte des besoins prioritaires du projet.

4. Dans le cas d'un projet qui réalise des recettes, déterminez dans quelle mesure les revenus du projet lui permettent d'assurer son autonomie financière.

Le suivi financier ne doit pas se limiter à l'audit des chiffres ou à l'analyse de mouvements de fonds. Il faudrait aussi procéder à un inventaire des réalisations : le comptage physique et la constatation de l'état des biens et faire des observations sur la qualité de l'investissement et sur son impact. Ainsi pour déterminer la qualité de gestion d'un hôpital par exemple, on peut aller au-délà des indicateurs financiers comme les résultats d'exploitation et la capacité d'auto-financement pour mesurer le degré de satisfaction de la clientèle (taux d'occupation des salles, nombres d'entrées, etc.).

A.3. Le suivi physique

Le suivi physique comprend l'inventaire physique des réalisations, matériaux et équipements; l'examen de leur état et leur adéquation par rapport aux besoins. La meilleure façon de se rendre compte des réalisations et de l'état des ressources physiques consiste à effectuer un déplacement sur le site du projet afin de visiter ses installations.

La visite sur terrain peut comporter plusieurs types de contrôle :

- le contrôle des constructions.

- des acquisitions sur pièces justificatives

- du respect des termes de référence du projet dans l'utilisation des biens

- le contrôle de la structure et des moyens mis en place pour le fonctionnement du projet.

Ce qui justifie en dernière analyse la valeur d'un projet, ce n'est pas l'équipement qu'il permet à l'administration d'obtenir, mais ses réalisations, c.à.d. les produits qui contribuent à améliorer l'état ancien des

25 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

choses: l'achèvement des objectifs du développement. Le suivi physique permet de s'assurer que ces objectifs sont effectivement en passe d'être accomplis au moyen des ressources disponibles.

Des visites de terrain organisées constituent une garantie contre l'exagération des performances sur papier et la mauvaise allocation des ressources qui peut en découler. Les techniques de l'interview, l'analyse des documents et rapports techniques et d'observation qui sont décrits au chapitre s'appliquent au suivi physique. Un exemple du suivi des inputs figure au Tableau 7.

Tableau 7 Exemple du suivi des inputs/ activités

Type d'inputs et activités

Eléments de suivi

Sources de données (méthodes)

Personnel

-productivité -profil/compétences -satisfaction -disponibilité -climat de travail -coûts -horaires et plans

rapports techniques Archives interviews, actes du personnel observation, interviews réunions taux d'absentéisme taux de rotation budget archives

 

-allocation

 

-autorisation

budget

Finances

-décaissement

comptes-archives

-recettes

-dépenses

Equipement et matériels

-date d'arrivée -état opérationnel -coût -fréquence d'entre- tien -stock en dépôt -adéquation

archives contrôle technique observations interviews comptes rapports observation

 

-dates d'exécution -nombre des gens formés -aptitudes apprises -pertinence du programme -qualification des animateurs -coûts de la formation

rapports

archives

Formation (activité)

interviews

budgets

B. SUIVI DES OUTPUTS

Les outputs (les extrants) sont des résultats atteints grâce à la combinaison des inputs et activités. Le

26 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

contrôle des résultats constitue une phase critique du suivi dans la mesure où il se rapporte directement à ce qui est attendu du projet.

Le suivi des outputs comporte deux aspects distincts :

1. Les réalisations sont identifiées et comparées aux prévisions (voir illustration au Tableau 8 ).

Tableau 8 Les outputs du projet jusqu'à la période de suivi

Résultats prévus

Résultats atteints

Remarques

15 centres de santé construits

8 centres de santé construits

les travaux ont débuté avec 9 mois de retard.

10 assistants médicaux formés

5 assistants médicaux formés

Plus de gens à former.

Par exemple, dans le cas d'une activité de formation en cours d'emploi, l'agent de suivi peut chercher à connaître le nombre du personnel formé, la qualité de la documentation produite par rapport aux problèmes réels de travail. Il peut aussi chercher à savoir si les agents formés sont capables de s'attaquer aux problèmes autrefois difficiles en interviewant un échantillon de participants.

2. L'agent de suivi doit également déterminer comment les outputs sont utilisés par les présumés bénéficiaires (Tableau 9). A quoi bon construire un dispensaire ou une école dans un village si ces derniers ne seront pas utilisés par les villageois ? Les fermiers exploitent-ils réellement les conseils et recommandations du personnel d'animation rurale ? A quoi utilisent-ils leurs crédits agricoles ? Tout en soulevant ces questions, vous devez en même temps chercher à savoir pourquoi un output donné est ou n'est pas utilisé comme prévu. Utilisez la colonne des remarques (Tableau 8) pour des explications appropriées. Des signes précoces d’impacts sont relevés et discutés.

27 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Tableau 9 Utilisation des outputs

TYPE D’OUTPUTS

 

L’OUTPUT EST UTILISE

REMARQUES

 

PLEINEMENT

PARTIELLEMENT

PAS DU TOUT

 

1.

CENTRE DE

 

X

   

SANTE

GRANDE PARTIE DE POPULATION RECOURT A LA MEDECINE TRADITIONNELLE NECESSITE D'UNE GRANDE SENSIBILISATION

1.SCHEMA

DIRECTEUR DU DEVELOPPEMENT AGRICOLE

X

BEAUCOUP D’ETUDES MAIS PAS DE MOYENS NECESSAIRES POUR LEUR APPLICATION

Section 6. Les indicateurs clés de performance

Un projet de développement déploie généralement beaucoup d'activités. Compte tenu des limitations des ressources et du temps, vous ne pouvez pas être en mesure d'examiner toutes les activités. Vous devriez dès lors décider sur les activités dont il faut contrôler l'exécution.

Pour ce faire, vous devriez consulter le cadre logique du projet (les pré - suppositions reliant le

déploiement des ressources, les activités et les résultats), le

information ayant nécessité l'envoi d'une mission de suivi. Tous les éléments référés vont permettre d'isoler les activités critiques pour une réalisation satisfaisante des objectifs du projet (la méthode de chemin critique est utilisée sur le terrain pour identifier et suivre l'évolution des activités critiques).

programme de travail du projet et les besoins en

Une fois que les activités critiques ont été définies, il faudra spécifier les mesures ou les indicateurs pouvant démontrer la réalisation ou l'avancement de chaque activité. Les indicateurs montrent les résultats. Ils définissent les conditions devant signaler la réussite dans l'achèvement de la mission du projet (Voir Partie II sur les Indicateurs).

Après avoir identifié les principaux types d'informations pour le suivi y compris les inputs, les outputs et les indicateurs de contrôle, vous devriez à présent déterminer où et comment obtenir les données sur chaque catégorie d'informations et analyser les informations collectées en vue d'évaluer le statut des inputs, activités, outputs et le niveau de performance atteint par le projet. Nous allons dans le chapitre suivant examiner les sources et les méthodes de collecte et d'analyse des données.

28 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE IV: LES METHODES DE COLLECTE ET D'ANALYSE DES DONNEES DE SUIVI

Nous examinons dans les deux sections de ce chapitre les méthodes de collecte et d'analyse des données de suivi. Une attention particulière sera accordée à la technique de l'interview qui devra être combinée avec les autres techniques discutées.

Section 1: Les méthodes de collecte des données

Il y a plusieurs manières d'obtenir des données pour se rendre compte de l'état d'avancement des travaux et du statut des objectifs du projet. Les quatre méthodes les plus utilisées sont décrites ci-dessous : l'interview, l'analyse des documents, l'observation/inspection sur le site du projet et les réunions.

a) La méthode de l'interview

Les interviews, surtout quand elles sont ouvertes - permettent aux gens de s'exprimer librement sur les opérations et réalisations du projet. Elles donnent lieu à une masse d'informations susceptibles de faire de la lumière sur la mise en oeuvre du projet, les problèmes rencontrés dans la fourniture/production des biens et services, leurs causes et des actions à initier pour les corriger.

Dans le suivi des projets, les interviews sont menées auprès des informateurs clés (des gens qui participent directement au projet et ceux qui sont principalement affectés par ses résultats) au lieu de s'appuyer sur un échantillon représentatif des répondants comme c'est le cas dans des enquêtes statistiques.

Interviewer ne consiste pas seulement à poser des questions au personnel du projet ou à ses bénéficiaires. C'est un processus de collecte d'informations qui doit être minutieusement préparé et conduit avec beaucoup de tact. Voici quelques atouts pour améliorer l'efficacité de l'interview.

1. Préparez la liste des questions à poser, de préférence par ordre d'importance. Soyez bref et clair. La liste des questions peut être discutée avec les collègues de service avant sa finalisation.

2. Commencez l'interview par une introduction (par exemple avec une information d'ordre général). N'abordez pas directement les questions de fond. Il faut créer le temps d'ajustement et de familiarité. Soyez progressif.

3. Posez les questions de manière à encourager votre interlocuteur à vous dire ce qu'il connaît de la situation ou du problème plutôt qu'à étaler vos propres connaissances.

4. Eviter des questions fermées (oui ou non ) qui appauvrissent les échanges en laissant peu de choix à votre interlocuteur.

29 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

5. Eviter la forme interro-négative où la réponse est induite: “ne pensez-vous pas qu’il faudrait un comité de gestion”? Vous aurez certainement la réponse “oui”. En plus, dans certaines société, il n’est pas poli de répondre “ non” aux personnes étrangères.

6. Eviter des questions trop personnelles ou indiscrètes (surtout dès le début de l’interview).

7. Soyez simple et compréhensible. Evitez d'être perçu comme omniscient et autocrate. En faisant semblant d'ignorer des choses parfois banales, vous pouvez acquérir des informations jusque là inconnues.

8. N'écoutez pas seulement un groupe au détriment des autres (par exemple le management versus les travailleurs, les hommes versus les femmes). Encouragez toutes les personnes concernées à émettre librement leurs avis.

9. Soyez prêt à répondre aux questions éventuelles de votre interlocuteur de manière à susciter d'autres réactions. Chercher à vous adapter à la logique de votre interlocuteur. Ce n’est pas à lui de s’adapter à vous. S’il commence par exemple à répondre à la question 3 au lieu de 1, il vaut mieux le laisser continuer.

10. Prenez note de toutes les réponses pertinentes. Ne comptez pas sur votre mémoire. Toutefois, l’interlocuteur peut devenir suspicieux et réservé dès l’instant qu’il vous voit prendre des notes. Utilisez votre jugement à ce sujet.

b) L'observation sur terrain

Il est parfois préférable de voir comment les gens agissent dans des situations concrètes au lieu de se limiter à lire leurs rapports ou à les écouter. Il y a souvent une marge entre l'impression qu'on essaye de projeter et le comportement réel.

L'observation implique passer quelques temps sur le site du projet pour observer le comportement dans l'exécution des tâches, les relations interpersonnelles ou les réalisations physiques. Les gens ont tendance à agir différemment lorsqu'ils sont conscients d'être observés ou suivis dans leur mouvement surtout par une personne étrangère au groupe. Il pourrait être utile pour l'observateur de s'impliquer dans la réalité qu'il observe. Dans tous les cas, il est important de préparer un plan pour noter systématiquement toutes les observations (par exemple, noter les faits comme ils se faufilent, ou noter des éléments qui vous paraissent importants sur base d'un guide de données).Faites attention à la remarque concernant la suspicion des gens face à quelqu’un qui enregistre ou prend note de leur réponses!

c) L'analyse des documents

L'analyse des comptes, des documents financiers et administratifs est fréquemment utilisée dans le suivi. Les documents budgétaires (qui donnent des informations sur les prévisions des dépenses et recettes en général et par secteur d'activité), les documents comptables et financiers (fichier de la paie qui permettra de connaître le nombre du personnel effectivement payé), les états de service du personnel (ventilation des agents par service, taux d'absentéisme, évaluations) peuvent permettre de formuler un jugement argumenté sur le niveau de

30 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

disponibilité des agents et leur efficacité face aux tâches qui leur sont confiés. Des bons rapports techniques sont un exemple marquant de la qualité de l'assistance technique.

Examinez les documents écrits avec un esprit ouvert et critique. N'acceptez pas les choses à première vue, tout simplement parce que le texte est bien imprimé, ou à cause du statut ou l’origine de son auteur. Lisez attentivement les documents et là où vous entretenez des doutes, n'hésitez pas de poser des questions et d'insister pour avoir des réponses appropriées. La confrontation des documents peut élucider des informations nouvelles plus fiables. Les techniques d'audit financier peuvent aider dans l'analyse des états financiers.

d) Les réunions

Pour que les réunions aboutissent à des informations utiles, elles doivent être organisées. L'ordre du jour et les personnes devant participer à la réunion doivent être minutieusement étudiés. Il est préférable que les participants soient informés de l'ordre du jour de la réunion au moins une semaine avant sa tenue et qu'ils soient avisés de la contribution attendue d'un chacun. Canalisez la discussion autour des points sur lesquels vous désirez avoir le plus d'informations.

La combinaison des méthodes

La question de savoir laquelle des méthodes ci-dessus décrites utiliser dépend de la nature du projet, des ressources et du temps disponibles et des besoins en information du management. Dans tous les cas, il est souhaitable de combiner plusieurs approches pour réunir le plus d'informations possibles et pour augmenter le niveau de fiabilité des résultats.

Les interviews des informants clés peuvent être conduites pour élucider les obstacles à l'exécution, les sources potentielles des problèmes et les alternatives des solutions. L'observation sur le site du projet pourrait dégager si les outputs (par exemple les centres de santé, les écoles, les agents formés) sont effectivement utilisés et pour se rendre compte de l'état opérationnel des inputs. L'analyse des transactions financières peut donner des indications sur la situation financière du projet en même temps qu'elle permet de se rendre compte du niveau de régularité et conformité des livres comptables.

Dans la collecte des données, la distinction doit toujours être faite entre ce que les gens racontent (vue subjective de l'individu) et la situation réelle (réalité objective). La combinaison des méthodes permet d'accèder aux informations sur les deux revers de la médaille.

Section 2. L'analyse des données de suivi

Les données collectées doivent être analysées pour tirer des conclusions sur l'état d'avancement du projet. L'analyse des données de suivi requiert des tâches ci-après:

examiner le déroulement des activités critiques et déterminer leur état opérationnel.

déterminer la manière dont les ressources sont utilisées et le statut opérationnel des inputs.

comparer les prévisions aux résultats.

déterminer si les résultats se situent dans des limites tolérables.

31 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

chercher à identifier et expliquer les sources réelles et potentielles de déviation des performances.

Il est important de se demander si le projet tel qu'exécuté ressemble dans les détails critiques ce qui a été prévu. Pour ce faire, il est nécessaire d'examiner soigneusement le plan de travail et les activités déployées.

Un autre aspect important de l'analyse concerne la comparaison des performances. En général, l'analyse implique une simple comparaison arithmétique entre les performances prévues et les mesures actuelles de réalisation afin de déterminer si le niveau prévu de résultat a été atteint dans des limites tolérables, s'il a été dépassé, ou s'il n'a pas été atteint du tout.

Deux remarques s'imposent ici. Primo, l'analyste doit déterminer si les performances réalisées se situent dans des limites acceptables. Ceci suppose une connaissance préalable des zones de variation des performances et des limites acceptables. Secundo, toute déviation des performances par rapport aux standards pré-établis doit être suffisamment justifiée. La recherche des causes est essentielle à ce niveau. L'analyse des données requiert non seulement la maîtrise des méthodes et techniques dans un domaine donné du savoir, mais aussi la capacité à visualiser et expliquer les relations et les interrelations sous-tendant les phénomènes économiques et sociaux.

L'agent de suivi doit être capable d'identifier le problème en question, dissocier ses symptômes (ses manifestations ou situation problématique) des causes profondes. Evitez de confondre les causes d'un problème avec ses conséquences. Une compréhension claire et logique de ces éléments : le problème, ses manifestations, ses causes et ses conséquences devra permettre d'articuler des stratégies d'action conséquentes et réalistes. Nous échouons souvent parce que nous avons tendance à recommander des bonnes solutions aux problèmes mal définis!

32 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE V: LA STRUCTURE DE PRESENTATION DES RESULTATS DU SUIVI

De manière générale, chaque institution possède sa propre formule quant à la façon de présenter les résultats de suivi. Par exemple, le système des Nations unies recours à la méthode des examens tripartites des projets dont le rapport est préparé selon un schéma standardisé. La Banque Mondiale organise des missions de supervision de ses activités dont les résultats sont moulus dans une forme agrée par la Banque. Il n'y a pas donc un modèle unique de présentation qui soit d'application universelle. Toutefois, la structure de présentation des résultats de suivi ayant une influence déterminante sur la prise de décision, certains conseils pratiques méritent d'être rappelés. Nous parlerons successivement des critères de présentation et des éléments constitutifs du rapport de suivi.

Section 1: Les critères de présentation du rapport de suivi

Exposer brièvement les faits sur le déroulement des activités de manière à attirer l'attention sur les performances atteintes, les sources potentielles de conflit, les arbitrages à rendre et la nécessité des actions correctives immédiates requièrent des qualités de synthèse et de rédaction hors commun. Un bon rapport doit répondre aux critères ci-après:

1. Pertinence:

le rapport doit fournir des informations essentielles par rapport aux objectifs poursuivis. Evitez le superflu en centrant le rapport sur les éléments d'information qui permettent de démontrer de manière convaincante que les activités en cours d'exécution concurrent effectivement à la réalisation des missions du projet et que les ressources mobilisées sont utilisées au mieux.

2. Concision:

soyez le plus bref que possible. Limitez-vous aux aspects essentiels. Un rapport long et compliqué risque de dérouter vos lecteurs et de détourner leur attention à d'autres occupations. Le management est souvent effrayé par des rapports volumineux. Renvoyez le cas échéant à des annexes des tableaux, des graphiques et des analyses économiques et financières nécessaires.

3. Simplicité:

le rapport doit être rédigé dans un langage simple et compréhensible. Evitez des tournures floues et le jargon technique. Ayez à l'esprit les lecteurs potentiels du document.

4. Praticabilité:

l'exercice de suivi est une tâche assez compliquée qui exige de la flexibilité et du jugement personnel. Les conclusions et les recommandations doivent tenir compte des intérêts en présence, des réalités et contraintes politiques, financières et organisationnelles. Un rapport qui commence par remettre en question le cadre juridique ou politique externe a peu de chance d'être suivi.

33 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

5. Objectivité:

les conclusions et les recommandations ainsi que les informations appuyant le rapport doivent être présentées tant que possible sans biais. Justifiez les options recommandées par des arguments techniques dûment validés en recourant si possible à une démonstration quantitative et qualitative des faits. Séparez toujours l'évidence du jugement personnel.

6. Fiabilité:

les conclusions et les recommandations ne doivent pas être principalement basées sur une appréciation subjective de l'auteur, mais sur la base d'une application rigoureuse des méthodes et procédures acceptables de collecte et d'analyse des données.

7. Validité:

le rapport doit fournir une description convaincante et équilibrée des résultats exacts du projet.

8. Promptitude:

le rapport doit être disponible au bon moment quand des décisions doivent être prises.

Section 2: Les éléments du rapport

Le contenu du rapport doit ressortir les 3 préoccupations suivantes: les mesures de progression vers la réalisation des objectifs, les sources potentielles et réelles des conflits et problèmes, des actions recommandées pour remédier aux problèmes potentiels ou réels. De ce fait, le rapport doit comprendre au moins 3 parties essentielles.

I. Introduction

* rappel du contexte historique du projet

* ses objectifs

* les coûts et sources de financement

* les décisions antérieures prises

II. La description de l'état d'avancement des travaux

recenser les principales réalisations par rapport au plan de travail et à l'égard des objectifs principaux.

Identifier les effets éventuels directs et indirects des réalisations.

identifier les problèmes réels et potentiels en indiquant chaque fois la convergence/la divergence d'opinion sur l'ampleur de chaque problème.

III. Recommandations

identifier et développer les actions à entreprendre pour remédier à la situation tout en précisant chaque fois

qui doit prendre l'action et dans quels délais.

• •présenter les propositions dans une optique coût- avantage de façon à ressortir les implications financières, économiques, organisationnelles et sociales des choix arrêtés.

Etant donné que le rapport de suivi peut servir dans certains cas de base de jugement pour continuer, interrompre ou réorienter le support financier et technique à un projet, il est utile de mettre en évidence les

34 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

résultats réalisés par rapport aux moyens disponibles et les impacts découlant des activités en cours. Un exemple des éléments principaux du rapport de synthèse figure au Tableau 10.

Tableau 10 Rapport de synthèse de la performance du projet

- Titre du Projet -------------------------------------------

- Numéro de codification ------------------------------------

- Lieu du projet --------------------------------------------

- Nom de l'agent de suivi -----------------------------------

- Date de suivi ---------------------------------------------

- Donateur (s) ----------------------------------------------

- Agence d'exécution ----------------------------------------

- Statut du projet ------------------------------------------

- Statut financier ------------------------------------------

-

montants approuvés ------------------------------------- Gouvernement ------------------------------------------- Donateur -----------------------------------------------

.

montants autorisés ------------------------------------- Gouvernement ------------------------------------------- Donateur -----------------------------------------------

.

montants décaissés ------------------------------------- Gouvernement ------------------------------------------- Donateur ----------------------------------------------- . montant décaissés (au cours de l'année de révision) ---- Gouvernement ------------------------------------------- Donateur -----------------------------------------------

1.

Résumé du Projet (objectifs, résultats attendus, bénéficiaires, décisions antérieures)

2.

Performances du Projet

- Statut des inputs (équipement, matériaux, personnel)

- Statut financier (comparer les décaissements avec les dépenses effectives, comparer dépenses et réalisations, vérifier la régularité et conformité dans la tenue des livres comptables.

- Statut des activités

- Statut des produits (lister les produits)

- Niveau d'utilisation des produits.

- Signes éventuels d’impact

3. Problèmes saillants d'exécution (lister les problèmes et expliquer leurs sources éventuelles)

4. Conclusions et recommandations Spécifier qui doit faire quoi et quand?

35 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE VI: LA DISSEMINATION ET L'UTILISATION DES RESULTATS DE SUIVI- LA RETRO-ACTION

Les rapports de suivi ne sont pas destinés aux tiroirs ou archives et rayons des centres d'information et bibliothèques. La production des rapports implique des coûts en termes de temps et énergie du personnel ainsi que des ressources financières de l'institution. Un rapport de suivi doit avoir une valeur utilitaire c'est-à-dire, les coûts de sa production sont estimés inférieurs par rapport aux avantages et bénéfices qui découlent de l'application de ses résultats.

Comme nous l'avons déjà souligné, le suivi permet au management de prendre des décisions basées sur des informations fiables et exactes et non sur des opinions afin d'optimiser les moyens mis à la disposition des projets et de satisfaire aux objectifs du développement. Cela exige qu'une fois le rapport de suivi terminé, il doit être transmis aux autorités compétentes ou groupes d'intérêt concernés pour action.

Ce chapitre résume les approches de dissémination des informations et des voies et moyens pour améliorer l'utilisation des rapports.

Section 1: Approches de dissémination des informations

Il y a 4 façons de disséminer les informations :

1. Vous distribuez le rapport complet contenant toutes les données collectées.

2. Vous distribuez seulement un rapport résumé focalisé sur les faits essentiels et recommandations.

3. Vous distribuez une partie d'informations en fonction des besoins spécifiques de chaque utilisateur.

4. Vous gardez les informations dans le dossier pour distribuer sur demande.

Il y a tendance dans certaines administrations à privilégier l'approche n1, c'est-à-dire à produire des rapports détaillés sur l'avancement des travaux. Tout dépend de l'importance financière et socio-économique du projet et des besoins en information du management. Toutefois, il faut reconnaître que des rapports complexes où l'information est traitée d'une façon non discriminatoire laissant à chaque lecteur le choix de ce qui lui plaît risquent de ne pas susciter une prise de décision rapide.

L'information devra être présentée en tenant compte des attentes des personnalités influentes sur la vie du projet. Adressez clairement les questions sur lesquelles les décisions doivent être prises avec des justifications nécessaires fondées sur les données du terrain. Tout en combinant les mérites des approches 1 et 2, restez ouvert à d'autres approches auxquelles vous pouvez recourir en cas de besoin.

Section 2: L'utilisation des données de suivi

L'utilisation se réfère à l'aspect instrumental du suivi, c'est-à-dire à la mise en application des recommandations de la mission de suivi. Le test ultime de l'efficacité d'un système de suivi demeure sa capacité de contribuer à la solution des problèmes. Beaucoup de frustrations autour des exercices de suivi et évaluation

36 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

des projets ont pour toile de fond l'utilisation limitée ou nulle des résultats de ces exercices. Un certain nombre de facteurs contribuent à cette situation, à savoir:

a) Les données sont à caractère général

Les informations présentées doivent répondre aux besoins spécifiques des utilisateurs potentiels. Sinon, les résultats vont manquer de support nécessaire et pourront être négligés.

b) Le rapport est mal présenté

Le rapport est très long, très technique ou est présenté dans une forme qui ne le rend pas accessible aux décideurs.

c) Le rapport est déposé en retard

Les informations peuvent être pertinentes, mais si elles ne sont pas disponibles quand les décisions doivent être prises, elles ne pourront pas aider au processus décisionnel.

d) Les services d'exécution manquent des moyens

Le système de suivi peut détecter les problèmes et identifier des remèdes, mais si les services d'exécution manque des ressources financières et humaines pour mettre en oeuvre les recommandations prescrites, on ne pourrait s'attendre qu'à la passivité.

e) Les utilisateurs des données ne sont pas engagés

Les utilisateurs doivent s'identifier avec les recommandations proposées. Ils doivent être convaincus de l'utilité pratique de l'exercice par la mise en application effective de ces recommandations.

Tous les éléments de blocages précités justifient la nécessité de suivre les instructions données dans ce manuel dans la recherche d'une plus grande efficience et efficacité.

37 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE VII: LES INSTRUMENTS DE SUIVI

Dans les chapitres précédents, nous avons présenté les concepts de base et l'approche méthodologique pour conduire le suivi. Ces concepts généraux et le raisonnement qui les sous-tend restent d'application dans toute opération de contrôle de gestion des actions du développement. Nous nous tournons maintenant à l'analyse de quelques instruments en usage dans le suivi. Nous parlerons d'abord des quelques expériences dans l'implantation des systèmes de suivi.

Section 1: Expériences dans l'implantation des systèmes de suivi

Les expériences de vingt dernières années dans le renforcement du contrôle et suivi des actions du développement révèlent des tendances suivantes :

la création des unités de suivi et évaluation des projets au niveau central (généralement au Plan) et des unités à base sectorielle; la création des unités de suivi sur des questions spécialisées (dette extérieure); sur le plan des modalités, on remarque deux approches dominantes. D'une part, le suivi est basé sur des fiches des projets - généralement deux - l'un portant des informations sur les caractéristiques financières (coûts, flux des fonds selon les sources de financement), et l'autre sur les résultats physiques. En principe, les données sont générées par les ministères sectoriels avant d'être transmises à l'organisme central chargé de la planification. En pratique, le Plan organise son propre suivi en fonction des manquements des ministères sectoriels. Cette approche a été d'application au Sénégal, République Démocratique du Congo et Libéria.

d'un inventaire national des projets au moyen

des fiches de contrôle par lesquelles ils essayent de mettre ensemble les données (souvent à caractère financier) de certains projets en vue d'améliorer le processus de programmation des investissements publics. C'est le cas du Bénin.

D'autre part, certains pays ont procédé à la mise en place

Dans tous les deux cas, l'attention reste marquée sur les aspects financiers avec moins d'efforts pour organiser le suivi des effets économiques et sociaux des actions du développement ou le suivi physique. Le suivi apparaît comme un phénomène extérieur, étant lié aux projets financés sur les aides extérieures (le PIP) sous l'impulsion des donateurs. On enregistre également des faiblesses d'intégration des informations générées par les diverses unités sectorielles de suivi. En conséquence, les systèmes de suivi mis en place fournissent des inputs négligeables au processus budgétaire et de la planification économique.

Toutefois, les fiches et banques informatisées des données constituent encore des moyens privilégiés pour organiser les données sur l'évolution des programmes et projets.

38 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Section 2: Les fiches et banques informatisées des données

Comme souligné plus haut, il y a des systèmes de contrôle et suivi des projets qui dépendent entièrement de la production manuelle des fiches standardisées au moyen desquelles sont captées les informations essentielles sur un projet. Ces fiches sont conçues en fonction des besoins spécifiques en information de chaque organisation. C'est pourquoi, avant de préparer une fiche, il convient de se poser des questions suivantes :

1. Quels types d'information avons-nous besoin (p.ex. données sur les dépenses totales du programme alimentaire)?

2. Quel est le niveau recherché de précision dans chaque type d'informations (p.ex. les dépenses par secteur, par donateur et par an)?

3. Quelle est la fréquence ou la périodicité de l'information (2 fois par an)?

La réponse à ces questions déterminera le contenu et la forme de la fiche.

Par ailleurs, un dossier de suivi devra contenir :

1. des fiches d'identification du projet qui présente en détail l'identité du projet (titre, code, secteur, lieu,

sa nature (investissement, renforcement

ses caractéristiques financières, techniques et administratives et les impacts attendus

etc.); son statut (phase de faisabilité, en cours d'exécution

institutionnel

)

)

(économiques, sociaux et financiers).

2. des fiches d'exécution ou de suivi élaborées sur base des fiches d'identification, elles mettent en évidence les sources de financement, les flux des fonds au projet par source et secteur d'affectation et les résultats accomplis y compris les difficultés d'exécution et les mesures correctives proposées.

3. des fiches d'évaluation: basées sur les fiches d'identification, elles mettent l'accent sur les indicateurs des effets et impacts, causes des problèmes et recommandations.

Ces fiches sont actualisées au fur et à mesure que des changements interviennent dans la vie du projet.

Dans un système informatisé, toutes les fiches sont automatiquement générées par l'ordinateur sur la base des instructions données. En effet, l'ordinateur reste d'une grande utilité compte tenu de la masse importante des informations qu'il peut manier et des facilités qu'il offre pour le traitement, la standardisation, l'actualisation et l'accessibilité des données. C'est l'outil le plus couramment utilisé aujourd'hui dans le contrôle et suivi des projets.

Une banque informatisée des données capte toutes les informations pertinentes sur un projet sur un dossier contenant les caractéristiques essentielles de ce projet. Les informations sont enregistrées régulièrement durant toute la vie du projet, chaque nouvel événement faisant l'objet d'inscription sur une fiche appropriée. Un dossier complet et actualisé de chaque projet est alors maintenu. Ce qui permet de suivre le projet durant son cycle de vie et d'initier des mesures correctives nécessaires en cas d'observation d'écarts entre les prévisions et l'exécution.

La valeur d'une banque de données se mesure par la fiabilité de ses données et la manière dont celles-ci

39 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

sont organisées. Si les informations sont de mauvaise qualité, il va de soi que les décisions qui en résulteront seront médiocres. Cela exige de la rigueur dans les opérations de collecte et la validation des données, le maintien d'une base solide et mieux structurée de pré-investissement (identification et études de factibilité) et l'actualisation permanente de la base des données.

Section 3: Les autres instruments de suivi

De manière générale, les outils suivants peuvent faciliter le suivi:

le cadre logique du programme ou projet (voir Partie II) un planning général d’activités, avec entrée par rubrique thématique (la décomposition des activités en les répartissant dans le temps- ) un chronogramme (Tableau de Gantt, calendrier d’exécution des activités avec le temps de leur déroulement) un budget prévisionnel( dépenses prévues: fonctionnement, investissements, diverses)et réalisé un compte d’exploitation établi par nature des charges (fixes et variables) un tableau de suivi des activités prévues et réalisées par semaine et par mois un plan de financement faisant apparaître les différentes participations une fiche de suivi des contributions financières, en main d’oeuvre ou en nature.

40 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

ANNEXE 1

Revue des tâches principales du suivi

A. Avant la visite sur le terrain

Obtenir toutes les informations pertinentes: document du projet, programme des travaux, rapports d’avancement. Identifier les objectifs, les résultats attendus, les bénéficiaires, les indicateurs de performance, la stratégie et la structure organisationnelle du projet. Cette information peut être obtenue auprès des agences d’exécution, les donateurs ou dans vos dossiers. Déterminer les types d’informations qui sont nécessaires pour vote visite et comment vous comptez les obtenir (observation directe, réunions, questions)? Obtenir les données financières sur le projet par catégories de dépenses. Ces données seront comparées avec les données du terrain. Informer le ministère sectoriel, le donateur concerné, le directeur du projet et les autorités locales de votre visite en indiquant l’objectif et le calendrier de la mission.

B. Sur le terrain

• Expliquer la raison d’être de votre mission aux structures concernées.

• Préparer l’agenda avec le staff du projet et d’autres parties prenantes au projet.

• Collecter les données ( réunions, interviews, analyse documentaire, observation directe, etc. ).

• Discuter vos conclusions préliminaires avec les parties prenantes sur le terrain pour avoir leurs commentaires et suggestions. Cette consultation avec les parties prenantes est essentielle pour obtenir leur support nécessaire pour l’application effective de vos recommandations.

C. Après le travail du terrain

Analyser les données. Ecrire un rapport préliminaire. Discuter le rapport avec les supérieurs hiérarchiques et collègues. Finaliser le rapport en tenant compte des suggestions faites. Transmettre le rapport aux structures compétentes. Surveiller l’application de ses recommandations.

faites. Transmettre le rapport aux structures compétentes. Surveiller l’application de ses recommandations.
faites. Transmettre le rapport aux structures compétentes. Surveiller l’application de ses recommandations.
faites. Transmettre le rapport aux structures compétentes. Surveiller l’application de ses recommandations.
faites. Transmettre le rapport aux structures compétentes. Surveiller l’application de ses recommandations.
faites. Transmettre le rapport aux structures compétentes. Surveiller l’application de ses recommandations.

41 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

ANNEXE 2

Un exemple de questionnaire de suivi

1. Les objectifs du projet

Déterminez le progrès accompli dans la réalisation des objectifs du projet. Donnez des indications quantitatives dans la mesure du possible. Le plan de travail est-il réaliste? Quelles sont des révisions éventuelles à introduire? Quelles sont des raisons possibles de déviation entre les performances projetées et les réalisations. Quelles sont les mesures envisagées pour remédier à la situation.

Les aspects techniques

2.

Le projet a-t-il connu des difficultés techniques? Veuillez spécifier. Les équipements, matériels et fournitures sont-ils délivrés dans les délais requis? Si non, pourquoi? Les équipements fournis sont-ils différents de ceux qui ont été prévus? L'assistance technique extérieure a-t-elle été nécessaire? Si oui, spécifiez les domaines.

ont été prévus? L'assistance technique extérieure a-t-elle ét é nécessaire? Si oui, spécifiez les domaines.
ont été prévus? L'assistance technique extérieure a-t-elle ét é nécessaire? Si oui, spécifiez les domaines.
ont été prévus? L'assistance technique extérieure a-t-elle ét é nécessaire? Si oui, spécifiez les domaines.

Les aspects administratifs et de gestion

3.

Les activités du projet avancent-elles selon le calendrier ou plan de travail? Si non, quels sont les aménagements à faire pour se conformer aux horaires et programme de travail? Le gestionnaire du projet est-il à la hauteur de tâches lui confiées? Est-il en mesure de créer un climat de travail favorable à la poursuite et l'achèvement des objectifs du projet? Le personnel technique du projet a-t-il des compétences requises (compétences techniques, qualités humaines, pédagogiques et communicatives)? Déterminez la nature des relations entre le projet et son environnement. Dans quelle mesure le flux des informations du projet a-t-il un impact positif sur le public visé? Les politiques du personnel sont-elles incitatives (promotion, formation, recrutement des gens capables)?

4. Les aspects budgétaires et financiers

Quelles sont les sources de financement du projet? Décrivez par donateur les décaissements ou projet par année et par catégorie de dépenses si possible. Comparez les décaissements aux dépenses actuellement encourues sur base des factures et autres documents comptables dûment validés. Comparez les coûts financiers aux performances en terme d'avancement vers la réalisation des objectifs. L'argent est-il décaissé à temps ? Si non, pourquoi ? Les montants prévus au budget sont-ils sous-utilisés (p.ex. formation)? Toutes les dépenses sont-elles dûment justifiées et conformes à la mission du projet? Le projet a-t-il une comptabilité organisée et fiable des dépenses et procède-t-il au bon classement des documents financiers et comptables? Si le projet génère des revenus, combien de profits ont été déjà réalisés ? Comparez le niveau moyen atteint

42 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

au niveau anticipé. Justifiez toute déviation.

5. Les aspects économiques

Identifiez les bénéfices ou coûts tangibles du projet sur le plan économique. Quels sont les groupes ou individus qui bénéficient des produits du Projet ? Sont-ils différents des cibles prévues? Pourquoi? Les populations bénéficiaires contribuent-elles au Projet? Déterminez la nature des contributions, p.ex. argent, participation bénévole aux travaux, etc. Le projet peut-il continuer à fonctionner normalement sans contributions extérieures? Dans quelle mesure les profits générés par le projet peuvent-ils supporter ses charges récurrentes ?

6. Les aspects environnementaux et sociaux

Y-a-t-il un problème écologique ou physique qui affecte les activités du projet (p.ex. érosion, sécheresse, composition du sol, climat) ? Le projet utilise-t-il des produits chimiques ou des fertilisants ? Ont-ils un impact nocif sur la vie animale végétale ou humaine ? Quelles sont les solutions envisagées, s'il y en a? Quel est l'impact direct et indirect du projet sur la communauté ou l'institution (p.ex. amélioration des conditions de santé et nutrition, changement notable dans les attitudes et comportement)? Le projet jouit-il d'un vaste soutien de la population et des autorités compétentes? La réalisation des objectifs pourrait-elle contribuer à accroître la participation de la population et son intérêt aux activités prescrites? Le projet a-t-il des effets non-prévus. Expliquez.

43 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

ANNEXE 3

Exercice de suivi

Instruction: Ne cochez qu'une seule réponse qui convient le mieux.

1. Le suivi a pour but principal de:

1. détecter les déficiences de gestion

2. attester la légalité des actes de gestion

3. déterminer l'impact du projet

4. favoriser l'utilisation optimale des ressources mobilisées

5. punir ceux qui sont responsables des retards dans l'exécution des tâches.

2. Le suivi porte sur:

1. le programme d'investissement public

2. les dossiers sous votre responsabilité

3. l'évolution des variables économiques et financières

4. les programmes et projets d'assistance

5. toutes les activités du développement, y compris celles

mentionnées ci-dessus

3. Au niveau central, le suivi des projets de développement relève de la responsabilité de:

1. la Présidence de la République

2. le Ministère des Affaires Etrangères

3. le Ministère des Affaires Sociales

4. l'institution nationale chargée de la Planification du Développement

5. toutes les institutions de l'Etat

4. Le contrôle de gestion permet de :

1. mieux coordonner les activités

2. maintenir la cohérence entre objectifs nationaux et activités sectorielles

3. assurer la meilleure utilisation des ressources

4. déterminer ce qui marche et ce qui ne marche pas

5. toutes les réponses sont correctes

5. Pour faciliter le suivi, les objectifs doivent être:

1. pertinents

2. réalistes

3. ambitieux

44 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

4.

mesurables

5. simples

6. Le suivi ne peut pas être mieux assuré sans:

1. la collaboration des bailleurs de fonds

2. la maîtrise du flux des données et informations sur les

3. la participation de la population

4. la compréhension de la structure de gestion du projet

5. l'application de la méthode des réseaux

programmes et projets

7. Pour le suivi d'un projet, vous avez besoin des informations sur:

1. les décaissements

2. les résultats prévus

3. les activités prescrites

4. les objectifs

5. toutes les réponses sont correctes

8. Dans le suivi des projets, les informations sont exigées sur:

1. la qualité des résultats

2. la pertinence des activités

3. l'adéquation entre la formation et les besoins

4. l'utilisation des ressources financières, humaines et matérielles

5. toutes les réponses sont correctes

9. Un système viable d'information doit répondre aux conditions suivantes:

1. identifier les objectifs

2. identifier les besoins en information

3. identifier les indicateurs de performance

4. déterminer les zones de variation de performance

5. toutes les réponses sont correctes

10. Le suivi préssupose:

1. des capacités techniques

2. connaissance des conditions initiales

3. connaissance des conditions souhaitées

4. connaissance du milieu

5. les réponses 1,2 et 3 sont correctes

45 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

11.

Le suivi financier a pour but principal de:

1. faire un inventaire des réalisation physiques

2. assurer la transparence dans la gestion comptable et financière

3. s'interroger sur l'utilisation des résultats du projet

4. déterminer les besoins financiers du projet

5. fournir les données pour les bailleurs de fonds

12. Le suivi financier porte sur:

1. les sources de financement

2. les besoins du personnel

3. les mouvements de fonds

4. les réponses 2 et 3 sont correctes

5. les activités pertinentes

13. L'inspection sur le site du projet comporte le contrôle:

1. des réalisations

2. des acquisitions sur pièces justificatives

3. des ressources du projet

4. des équipements et matériaux

5. toutes les réponses sont correctes

14. Le contrôle de gestion diffère de l'audit financier parce que:

1. il audite les chiffres

2. il atteste la légalité des actes de gestion

3. il assure la cohérence entre les stratégies, priorités et actions du développement

4. il vérifie l'utilisation des fonds

5. il détermine la conformité des documents comptables

15. L'évaluation en profondeur d'un programme ou projet porte sur:

1. les ressources et activités

2. les résultats accomplis

3. l'utilisation et l'impact des résultats

4. les causes profondes des problèmes

5. tous les éléments cités ci-hauts

16. La programmation des aides s'appuie sur:

1. les engagements pris avec les donateurs

2. les priorités du gouvernement

3. les données d'exécution financière

46 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

4.

l'impact économique et social du projet

5. toutes les réponses sont correctes

17. Avant une réunion de suivi, le responsable du dossier doit:

1. connaître l'état d'avancement des activités et les progrès accomplis

2. les difficultés du projet

3. les décisions des réunions antérieures

4. l'état financier du projet

5. toutes les réponses ci-dessus sont exactes

18. L'analyse des données de suivi implique:

1. l'examen du déroulement et de l'état des activités critiques

2. la détermination de la manière dont les ressources sont utilisées et du statut opérationnel des inputs

3. la comparaison entre les prévisions et les résultats

4. la détermination de la variation des performances dans les limites tolérables

5. toutes les réponses ci-dessus sont correctes

19. Après une rencontre avec un donateur, les informations

1. enregistrées sur une fiche appropriée, et classées

2. gardées au tiroir

3. transmises au Directeur Général pour archives

4. discutées avec les collègues de service

5. réponses 2 et 4 sont correctes

20. Le suivi est réalisé au moyen de:

1. réunions de travail avec les parties concernées

2. inspection sur le site du projet

3. fiches ou banque des données actualisées

4. rapports techniques, administratifs et financiers

5. toutes les réponses sont exactes

importantes issues de la réunion sont:

proprement ou informatisées

21. Un bon cadre logique du projet facilite son suivi et évaluation

parce que il fournit:

1. des preuves de réalisation des objectifs

2. les objectifs du projet

3. les moyens de vérification

4. les éléments externes susceptibles d'affecter la

5. toutes les réponses sont correctes

performance du projet et qu'il faut surveiller

47 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

22.

Dans le processus de collecte des informations, il faut:

1. interviewer seulement les groupes qui contrôlent le projet

2. improviser les questions importantes

3. montrer que vous connaissez tout ce qui se passe dans le projet

4. entrer directement dans le vif de la matière pour épargner le temps

5. Aucune réponse n'est correcte

23. Un bon rapport de suivi doit:

1. être long pour montrer que vous avez beaucoup travaillé

2. être rédigé dans un langage hautement technique pour exhiber vos qualifications

3. s'attaquer violemment aux intérêts en présence dans le projet

4. être basé sur votre opinion personnelle sur le projet

5. Aucune réponse donnée n'est correcte

24. Une fois l'exercice de suivi conclu, le rapport y afférant doit

1. envoyé à la bibliothèque

être immédiatement:

2. distribué aux collègues de service

3. gardé soigneusement sur votre bureau

4. transmis aux autorités et services compétents pour décision

5. envoyé à la presse locale

25. Pour être en mesure de prendre des décisions adaptées aux réalités, il est nécessaire de disposer:

1. de beaucoup de cadres techniques pour contrôler les opérations

2. des véhicules tout terrain

3. d'un système fiable d'informations

4. des économistes nationaux

5. des ordinateurs.

48 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

D EUXIEME PARTIE
D
D
D EUXIEME PARTIE
D EUXIEME PARTIE

EUXIEME PARTIE

D EUXIEME PARTIE
L
L

A FONCTION D’EVALUATION

D EUXIEME PARTIE L A FONCTION D’EVALUATION 49 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES

49 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE I: LES ELEMENTS ESSENTIELS DE L’EVALUATION

Ce chapitre résume les concepts de base de l’évaluation. Nous parlerons successivement de la notion de l’évaluation et de sa finalité, ses différentes formes, les conditions d’efficacité de l’évaluation, son champ d’application ainsi que les parties prenantes à l’évaluation.

Section 1. Le concept d’évaluation et sa finalité

Alors que le suivi est une opération continue, l’évaluation, quant à elle, intervient de manière ponctuelle dans la vie d’un projet pour juger de sa pertinence, son efficacité, son efficience et son succès dans la réalisation de ses objectifs.

L’évaluation se place dans le contexte de l’appréciation des résultats et des impacts en vue de justifier les actions menées auprès des fournisseurs des ressources, des décideurs et du public. Les résultats de l’évaluation visent principalement à améliorer les interventions futures à partir des enseignements tirés des actions en cours ou passées.

L’évaluation attire aussi l’attention des décideurs sur les contraintes réelles et potentielles au développement et des voies et moyens pour les contourner.

Section 2. Les formes d’évaluation

(i) Evaluation ex-ante

Elle intervient avant la mise en oeuvre du programme ou projet et permet d’apprécier sa cohérence par rapport aux objectifs et politiques de développement sur le plan global, sectoriel ou régional et d’en déterminer les contributions en termes économique, financier, social, institutionnel et autres.

ii) Evaluation à mi- parcours (formative)

Elle intervient en cours d’exécution des activités du projet pour en déterminer les contraintes majeures et le niveau de réalisation des objectifs sur le plan de résultats et de leurs impacts sur les bénéficiaires. Elle peut entraîner des changements importants dans les objectifs, activités, résultats ainsi que dans la dimension du programme ou projet.

iii)Evaluation finale

Elle intervient à la fin du projet pour en déterminer à la fois le niveau d’efficience et d’efficacité et tirer des leçons initiales pour les projets futurs. Il peut aussi s’agir de la détermination des résultats du projet en termes de leur impact potentiel.

50 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

iv) Evaluation à posteriori

Elle intervient deux ans au moins après la fermeture du projet pour apprécier son impact et la durabilité de ses résultats. L’évaluation d’impact concerne essentiellement la détermination des effets directs et indirects des interventions et leurs conséquences sur les bénéficiaires. Bien que ce type d’évaluation présente beaucoup de difficultés sur le plan méthodologique (voir chapitre sur les méthodes d’évaluation), il offre aussi beaucoup d’avantages:

fournit des preuves tangibles de changement sur le plan social, économique, financier, institutionnel, politique et autres découlant d’un programme ou projet en montrant dans quelle mesure ces interventions ont contribué à résoudre les problèmes qu’elles se sont proposées d’ attaquer et l’étendue du changement apporté en termes d’amélioration de la qualité de vie.

fournit une base solide de prise de décision.

améliore la compréhension des facteurs positifs et négatifs résultant d’une intervention donnée.

Section 3: les conditions d’efficacité de l’évaluation

a) L’impartialité et l’indépendance

Le processus d’évaluation doit être indépendant des mécanismes d’élaboration des politiques et de la gestion des aides. L’impartialité et l’indépendance s’imposent à toutes les étapes du processus de planification et programmation de l’évaluation, y compris la sélection des évaluateurs. L’indépendance donne la crédibilité et confère la légitimité à l’évaluation.

b) La crédibilité

Elle est fonction de:

la compétence et l’indépendance des évaluateurs.

l’examen aussi bien des cas d’échec que de réussite.

la participation de toutes les parties prenantes (bénéficiaires, promoteurs, bailleurs de fonds, etc.).

la transparence du processus et communication des résultats.

l’objectivité dans les résultats (voir critères de présentation des rapports de suivi-évaluation)

c) L’utilité

L’évaluation doit refléter les intérêts des parties prenantes principales au projet et ses résultats être disponibles lorsque les décisions doivent être prises.

doivent

4. LE CHAMP D’APPLICATION DE L’EVALUATION

L’évaluation est une fonction de gestion qui permet de déterminer le degré d’efficacité d’un projet en termes d’utilisation des ressources, de réalisation des objectifs et d’impacts sur les bénéficiaires dans la

51 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

perspective d’apprendre à mieux faire dans les interventions à venir. En tant que telle, l’évaluation est un instrument d’apprentissage et d’aide à l’obligation de reddition de comptes.

L’évaluation entraîne généralement plus des coûts que le suivi. Elle doit être ainsi menée d’une façon sélective en tenant compte d’un certain nombre de critères, à savoir : le volume des ressources engagées, la nature et le caractère stratégique du programme ou projet. Il peut être établi que l’évaluation soit obligatoire pour tous les projets d’un montant égal ou supérieur à un million des dollars. Il peut l’être aussi sur des projets pour lesquels le gouvernement veut tirer des leçons en vue d’une généralisation éventuelle de l’expérience dans d’autres parties du pays. Le gouvernement peut également décider de conduire l’évaluation sur des programmes et projets stratégiques susceptibles d’avoir des répercussions sur les politiques et stratégies de développement. C’est le cas par exemple du programme de privatisation, programme de réforme du secteur public, etc.

5. LES PARTIES PRENANTES A L’EVALUATION

Les parties prenantes concernent tous les acteurs qui ont un intérêt dans la réalisation d’un programme ou projet. Comme pour le suivi, le succès ou l’échec d’un projet dépend de la manière dont ses parties prenantes ont été impliqué dans toutes les étapes du projet (pas seulement le suivi et l’évaluation ) et ont été affecté par ses résultats ou la manière dont elles réagissent face à ses résultats. En ce qui concerne l’évaluation, il est préférable que les parties prenantes principales participent non seulement à l’exécution de l’évaluation, mais aussi à la définition des indicateurs qui vont servir d’apprécier le succès des interventions (Evaluation Participative).

Dans l’optique d’un programme ou projet de coopération internationale, les parties prenantes principales sont constituées des populations qui tirent en dernier ressort profit des résultats du programme ou projet, le gouvernement (récipiendaire direct de la coopération), l’ agence d’exécution (qui veille à la réalisation des activités et résultats), l’organisme de financement (qui fournit des ressources et autres institutions susceptibles d’être affectées par les résultats du projet ou de profiter de ses effets. Encore une fois, toutes les parties prenantes principales doivent être associées à l’évaluation pour augmenter la probabilité d’application de ses recommandations. Il est important que toutes les tâches de suivi et de l’évaluation qui sont discutées dans ce module soient réalisées en collaboration étroite avec les utilisateurs de l’information et bénéficiaires. La dimension “participation” devrait être intégrée à toutes les étapes du processus d’évaluation.

52 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE II. LES OUTILS DE L’EVALUATION

Nous traiterons dans ce chapitre du cadre logique et des indicateurs d’évaluation.

Section 1: Le cadre logique

Le cadre logique est l’outil le plus utilisé dans la planification, gestion, suivi et évaluation des projets. Cet instrument oblige le planificateur ou manager des projets à raisonner de manière stratégique en opérant des choix sur les objectifs, les priorités, les domaines clés d’activité, les ressources et les compétences distinctives sur la base d’une étude de l’environnement ou du marché.

Le cadre logique permet d’organiser sur un tableau les informations pertinentes relatives au but, objectifs, résultats attendus, activités et ressources du projet ainsi que ses critères et les moyens de vérification du succès et des hypothèses de base sur l’environnement du projet. En tant que tel, le cadre logique explicite les éléments critiques du projet et fournit des indicateurs vérifiables pour son suivi et évaluation.

Le cadre logique possède une logique verticale et une logique horizontale. La structure verticale du cadre logique comporte 5 éléments:

a) Le but ou l’objectif supérieur de développement

C’est l’objectif général de développement auquel les résultats du projet vont contribuer en fin de réalisation. Il peut s’agir de l’objectif (ou des objectifs) du programme du secteur ou sous-secteur dont l’achèvement dépend d’une série de projets, y compris le projet en question. Donc, le but relie le projet au programme sectoriel ou sous-sectoriel dont il fait partie, et par conséquent connecte les résultats du projet à l’accomplissement des objectifs plus larges de la société.

b) L’objectif immédiat du projet ( ou objectifs immédiats)

C’est le motif pour lequel le projet a été conçu; ce que le projet entend réaliser en fin d’exécution. Un projet peut avoir un ou plusieurs objectifs immédiats.

c) Les résultats ou extrants du projet

Ce sont les produits à réaliser ou les services à fournir par le projet à travers la combinaison d’inputs et activités. Les extrants du projet vont concourir à la réalisation de ses objectifs immédiats. Si un projet contient plusieurs objectifs immédiats, chacun d’eux devra montrer des extrants à produire et des activités à mener dans la poursuite de chaque objectif.

53 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

d)

Les activités

Les activités sont des actions spécifiques qu’il faut entreprendre avec des moyens disponibles pour produire des extrants en vue d’atteindre les objectifs immédiats du projet et contribuer à la réalisation de son but. Toutes les activités essentielles au déroulement du projet doivent être précisées avec des indications sur le calendrier d’exécution.

e) Les intrants, ressources ou apports

Ce sont les ressources dont le manager a besoin pour mener à bien les activités du projet. Tous les apports nécessaires pour conduire à bon terme les activités doivent être listés avec des références de quantité, qualité et prix pour permettre de faire un jugement sur leur adéquation, pertinence et coût. Dans les apports, on distingue:

le budget (contribution nationale, contribution extérieure)

le personnel (local et international)

les matériels (locaux et équipements)

Le cadre logique a aussi une structure horizontale qui consiste à indiquer en relation avec chaque rubrique verticale, les preuves de réalisation (ou indicateurs de performance ou de succès), les sources ou moyens de vérification et les facteurs extérieurs au projet pouvant empêcher l’exécution normale des activités et dont il faut surveiller l’évolution (hypothèses, risques).

Alors que la structure verticale identifie les composantes fondamentales du projet, la structure horizontale fournit des instruments pour vérifier ou surveiller l’évolution dans l’avancement et la réalisation de chaque composante verticale. Ces instruments sont critiques pour le suivi et l’évaluation.

Dans l’exemple du cadre logique du projet d’assistance à la gestion des aides extérieures au Tableau 12, vous noterez que l’objectif immédiat du projet (renforcement de la capacité technique du Ministère de la Coopération dans la gestion, mobilisation et programmation des aides extérieures) est suivi des critères de réalisation de l’objectif, des moyens pour vérifier cette réalisation et enfin des facteurs de l’environnement politique et économique (politique nationale d’utilisation et motivation des cadres, disponibilité des fonds) qui peuvent influer sur la capacité du gouvernement à renforcer son dispositif d’aides et de coopération

Un cadre logique bien préparé permet d’assurer la cohérence entre les inputs, activités, résultats, objectifs immédiats et l’objectif du développement auquel le projet contribue. Ce qui accroît l’efficacité du projet et diminue les risques de gaspillage dans sa gestion. Le suivi et l’évaluation sont amplement facilités par la clarté et précision dans les composantes du projet et la mise à disposition des indicateurs de performance.

Section 2: Les indicateurs

54 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

L’efficacité d’un système de suivi-évaluation du développement dépend de l’existence d’un ensemble d’indicateurs fiables qui fournissent des preuves de progrès. Un tel système repose avant tout sur l’énoncé des grands objectifs de développement économique et social du pays et sur la disponibilité des indicateurs de la situation à l’origine, d’abord au niveau national, mais également au niveau régional et sectoriel. Ces objectifs et ces indicateurs de base de développement servent ensuite à définir les objectifs spécifiques des projets et programmes.

Le suivi-évaluation des programmes et projets dépend alors de l’existence d’un appareil statistique mesurant l’évolution des indicateurs au niveau national ou de la mise en place d’un système de collecte d’information complémentaire au niveau des projets. Afin de mobiliser la population, la société civile, le secteur privé, les administrations décentralisées, les ministères techniques, les bailleurs de fonds et tous les partenaires au développement, le gouvernement devra chercher un consensus autour de grands objectifs de développement, mesurés de façon précise par les indicateurs de base, qui permettront de suivre à tous les niveaux les progrès de développement (Latraverse, 1998).

A. La définition d’un indicateur

Un indicateur est une preuve de résultat. C’est un signe qui montre q’un changement est intervenu dans une situation donnée. Sans indicateurs de contrôle, il n'y a pas moyen de savoir si le progrès est en train d'être réalisé et si les objectifs sont en voie d'être atteints conformément aux plans. Les indicateurs constituent le point focal dans le contrôle et le suivi des plans, programmes et projets de développement.

B. Les types d’indicateurs

On distingue des indicateurs qualitatifs des indicateurs quantifiables.

Exemples des indicateurs qualitatifs

Catégorie : Déterminer votre degré de satisfaction par rapport à l’animation du Séminaire (Très Satisfait, Satisfait, Moyennement Satisfait)

Existence (oui/non) : La loi sur la privatisation a été voté oui/non

Exemples des indicateurs quantifiables

Nombre : nombre d’unités produites par service Pourcentage : pourcentage de la population sans l’eau potable Ratio : 1 médecin pour 1000 habitants

Nota Bene:

L'utilisation des indicateurs indirects. Les indicateurs indirects (ou proxies en anglais) peuvent être utilisés là où des mesures directes ne sont pas possibles pour des raisons techniques ou des coûts. Par exemple : le niveau d'habitat et les dépenses de consommation peuvent être utilisés à la place de niveau de revenu pour lequel les

55 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

données peuvent être difficilement accessibles. Il en est de même pour la mesure de l'état de santé de la population qui peut être déterminée avec des indicateurs indirects comme le taux médecin/habitant, hôpital ou centre de santé/habitant à la place de l'indicateur de taux de mortalité infantile qui n'est pas souvent disponible à l'échelle provinciale ou locale. Il faut des références tangibles pour servir des preuves d'avancement des opérations.

C. La sélection des indicateurs

Le indicateurs sont établis dans la phase de formulation du programme ou projet en concertation avec toutes les parties prenantes. Ils ne peuvent être arrêtés qu’à partir du moment où les éléments suivants ont été définis :

- les objectifs du programme/projet sont précisés ;

- les groupes cibles ou les bénéficiaires

- les types de changement attendu dans l’environnement du programme

- les critères d’appréciation du succès du programme

Mais le choix des indicateurs pose de multiples problèmes aux managers. Il faut d'une part identifier les indicateurs qui soient désirables et d'autre part ceux qui sont utilisables compte tenu des contraintes organisationnelles et financières. Il n'y a pas des recettes magiques à recommander. Tout dépend de l'expérience et de l'expertise des personnes impliquées dans l'exercice d’évaluation et des objectifs spécifiques de chaque projets.

56 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Tableau 12 Processus d’élaboration des indicateurs dans un programme d’appui à la coordination des aides extérieures

Objectif du Programme

 

Renforcer les mécanismes internes de coordination de l’aide extérieure

Groupes cibles/bénéficiaires directs (qui doivent participer à cet exercice)

Ministère des Finances et de l’Economie

 

Direction Générale du Plan Direction Générale du Trésor

 

Ministères sectoriels Banque Centrale de Madagascar

Attentes/Besoins des groupes cibles

Mettre en place un système d’information sur le flux des aides extérieures réparties selon le secteur, l’origine, la nature et le type de l’aide (aide remboursable et non-remboursable) Améliorer les compétences techniques dans le suivi des projets et la négociation avec les partenaires au développement. Développer une politique de négociation internationale.

Résultats attendus et changements escomptés dans l’environnement du Programme

Le

Ministère des Finances et de l’Economie sera doté:

d’un système cohérent d’information sur les aides extérieures des cadres formés en suivi des projets et négociation d’une politique de négociation.

 

A

la fin du Programme, le Ministère devrait être capable de rendre

périodiquement compte au gouvernement de toutes les aides qui entrent dans

le pays

 

et de négocier efficacement avec les partenaires pour obtenir le financement

du

programme social du gouvernement. Les institutions macroéconomiques et

les ministères techniques seront en mesure de fournir des informations nécessaires sur les ressources externes sous leur gestion.

 

Existence d’une banque de données sur les aides extérieures Existence d’une politique de négociation 50 cadres formés en suivi et négociation

Indicateurs des résultats

Indicateurs d’impact

Pourcentage de nouveaux financements Nombre des projets réalisant leurs objectifs

57 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

D. Les caractéristiques de bons indicateurs

1. La pertinence

l'objectif du projet. Si l'objectif du projet est

d'augmenter les revenus de petits fermiers, l'indicateur devra refléter l'intérêt dans ce groupe et ne devra pas

mesurer le revenu en général.

Les indicateurs doivent mesurer ce qui est crucial dans

2.La plausibilité

Les indicateurs doivent être intimement liés à ce qu'on cherche à mesurer de façon que les résultats observés soient attribués de manière significative au projet. Par exemple, prétendre que le fait que les fermiers enregistrent beaucoup de profits démontre que le système de crédit installé par le projet fonctionne bien n'est pas plausible. Il y a beaucoup d'autres facteurs qui peuvent expliquer pourquoi les fermiers sont en train de réaliser de grands profits: l'augmentation des superficies cultivables, des bonnes conditions agro - météorologiques, l'évacuation des produits sur le marché noir, etc. Pour démontrer qu'un système fonctionnel de crédit existe, vous devriez examiner les indicateurs qui sont étroitement liés à ce que signifie un système fonctionnel de crédit; par exemple, le nombre de prêts actuellement accordés aux fermiers, la rapidité et l'efficacité dans la gestion et l'octroi des prêts.

3.La mesurabilité

Les indicateurs doivent être formulés de manière que même une personne sceptique acceptera que le résultat prévu a été en effet atteint. Ainsi, les indicateurs doivent être objectivement vérifiables. Si un projet vise à accroître la production du riz, l'indicateur mesurable de ce but serait 10.000 petits fermiers augmentent la récolte du riz de 60% entre 1992 et 1993, 89% des fermiers achètent de bonnes semences pour la saison agricole 1993.

4. La praticabilité

Les indicateurs doivent répondre au critère de coût-efficacité:les résultats doivent correspondre au temps et à l'argent investis dans leur développement et application.

E. Critères principaux de succès d’un programme/projet

Le succès d’un programme/projet peut être apprécié en combinant divers critères/indicateurs :

1- La pertinence: mesure la corrélation entre les objectifs du programme ou projet et les objectifs et priorités de développement sur le plan global et sectoriel ou le bien-fondé du concept du programme par rapport aux besoins réels des groupes cibles.

- Les objectifs du programme sont-ils pertinents par rapport aux besoins et attentes des bénéficiaires ?

58 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

2- L’efficience : se réfère au coût et rythme auquel les interventions sont transformées en résultats. Elle se mesure par la comparaison des coûts et des résultats. Elle se réfère à l’ utilisation optimale des ressources dans la production des outputs. C’est l’économie dans la poursuite des objectifs. Voici quelques questions qui relèvent de l’efficience :

-

Comment le projet utilise-t-il les ressources mises à sa disposition ?

-

Les intrants du projet sont-ils adéquats sur le plan de la qualité, quantité et au vu des résultats produits ?

-

Dans quelle mesure le projet recourt-il aux ressources disponibles localement (compétences, équipements) ?

-

Les intrants et les extrants sont-ils disponibles dans les délais requis?

3-

L’ efficacité: s’apprécie par la comparaison des objectifs et des résultats (différence entre ce qui était prévu et les réalisations). C’est le degré de réalisation des objectifs ou des résultats. Voici quelques questions d’efficacité :

-

Quel est le degré de réalisation des objectifs du programme/projet (qualité, quantité, respect des délais d’exécution)

-

Ces produits contribuent-ils à la réalisation des objectifs du projet ?

4-

L’impact : analyse des effets directs et indirects du programme et projet.

-

Quels sont les effets du programme/projet sur les bénéficiaires ?

-

Quels sont les effets inattendus du programme/projet (sur les bénéficiaires et au-delà d’eux) ?

5-

L durabilité ou viabilité : vise à évaluer la capacité de l’action ou des résultats à se poursuivre de façon autonome après le retrait de l’assistance extérieure (nationale ou étrangère). Il s’agira de la viabilité organisationnelle, technique, économique, financière, politique et culturelle.

Dans quelle mesure les bénéficiaires peuvent-ils gérer et faire fonctionner le programme sans l’assistance

extérieure? Dans quelle mesure le programme s’intègre dans le fonctionnement normal de l’institution?

Les bénéficiaires peuvent-ils supporter les charges de fonctionnement du programme après l’aide extérieure?

Quelle est la capacité d’autofinancement et d’autogestion du programme?

N.B. Dans certains programmes ou projets, on met un accent particulier dans l’évaluation sur le critère de portée de l’intervention. Par exemple, le nombre d’individus, d’entreprises et d’organisations touchés par une intervention.

59 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Tableau 13 Que faut-il mesurer dans un projet d’appui à la Création d’emploi?

Critères

Signification

Indicateur possible

Pertinence

Rapport programme/projet et besoins/attentes

Indice du développement humain

Efficience

Coût par unité d’output produit Rapport coût-efficacité en comparaison avec d’autres programmes similaires

coût par emploi crée

Efficacité

Nombre d’unités produites

Nombre d’emplois crées

Impact

Contribution d’unités produites à la réalisation des objectifs du développement Degré de satisfaction des besoins/attentes par les résultats

Augmentation en % des revenus dûs aux emplois crées

Durabilité

Degré de viabilité et profitabilité continues des résultats

Augmentation en % du nombre de micro-entreprises qui sont viables et profitables

Degré d’autonomie des groupes cibles

60 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

CHAPITRE III : LES METHODES D’EVALUATION

Des méthodes diverses ont été développées pour faciliter l’évaluation des programmes et projets de développement. Mais en dépit de cette diversité, il existe seulement quelques méthodes qui sont couramment utilisées dans les évaluations d’impact. Nous parlerons de la méthode de comparaison de la situation avant et après le projet, la méthode de questionnaire, l’analyse des coûts et bénéfices et l’analyse économique et financière. Nous avons également intégré dans ce chapitre le tableau de bilan global qui utilise la logique de l’analyse stratégique et qui est de plus en plus utilisé dans les évaluations.

Section 1 : La méthode de comparaison de la situation avant et après le projet

Cette méthode consiste à comparer la situation avant le projet avec les résultats issus des activités du projet. Le changement positif par rapport à la situation initiale sera attribuée au projet. Cette méthode suppose que le responsable du projet ait des informations sur la situation avant le déploiement des activités du projet (les données de base), lesquelles devront être comparées par la suite à la situation avec le projet.

Par exemple :

A. Situation avant le projet 60 % des crimes enregistrés par an dans la commune B.

B. Un projet de recrutement et formation de 150 policiers est initié avec l’objectif de réduire la criminalité au

point 0 dans la commune B d’ici l’an 2005. 150 policiers ont été en effet recrutés et formés.

C. En 2002, la criminalité passe à 40%. Cette diminution peut être attribuée au Projet.

Pour une meilleure présentation, on peut accompagner l’analyse par un tableau d’impact comme indiqué ci-dessous. La situation avant le projet peut être saisie en recourant aux données de base ou indicateurs de base de développement lorsqu’ils existent.

Tableau 14 Tableau d’impact

 

Situation Avant

Situation Après

Changement (%)

Taux de criminalité

60%

40%

20%

Impact économique

Manque à gagner par les commerçants ne pouvant pas vendre au-delà de certaines heures

Augmentation des profits

Plus grande sécurité des biens et des personnes favorisant la croissance économique

61 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Toutefois, nous ne pouvons pas être à 100/100 sûrs que la baisse de la criminalité est due seulement aux activités du Projet. Il est possible que pendant la même période le pays a enregistré une croissance économique sensible qui a eu des répercutions sur la création d’emplois et la réduction du chômage, qui était l’un des facteurs responsables de la criminalité. Ou encore les habitants de la commune se sont organisés pour identifier les malfaiteurs et les traduire en justice. En outre, un projet d’une Organisation Non- Gouvernementale pour la promotion de la Démocratie était en train d’éduquer et sensibiliser la population sur les conséquences néfastes de la criminalité sur le développement. Ses campagnes ont été reconnues comme positives dans toutes les communes.

En d’autres termes, la baisse des crimes peut résulter d’une conjonction de plusieurs facteurs, y compris le projet. Dans ce cas, le responsable de l’évaluation devra déterminer que l’impact en présence provient essentiellement du projet et non d’autres variables intervenantes. Des analyses multifactorielles complexes nécessitant des données quantitatives considérables sont souvent conduites à cet effet.

En ce qui nous concerne, nous avons besoin d’établir que les actions initiées ne sont pas seulement consommatrices des crédits, mais se concrétisent par des résultats qui ont des

effets significatifs sur l’environnement du projet. La logique de l’analyse selon la méthode avant et après le projet permet d’identifier la contribution du projet, tout en essayant de contrôler dans la mesure du possible d’autres explications alternatives.

Section 2: La méthode avec et sans projet

Cette méthode est similaire à la première. Elle implique la comparaison de la situation sans projet à la situation avec le projet. On peut par exemple comparer dans le cadre d’un projet de vulgarisation agricole, le groupe des fermiers qui a reçu des semences améliorées du groupe de fermiers qui n’a pas bénéficié de cette intervention. La différence de productivité entre les deux groupes pourra être attribuée au projet.

Cette méthode présuppose que l’initiation du projet apporte nécessairement des bénéfices à la communauté qui ne seraient pas disponibles sans les activités du projet. Comme dans le premier cas, il se pose encore ici la question d’explications concurrentes. Il peut se faire que les fermiers qui ont reçu les semences améliorées soient en même temps des fermiers bien formés et riches dotés d’équipements modernes. Ce n’est pas seulement les semences améliorées introduites par le projet qui influe sur la productivité, mais également d’autres attributs du groupe qui n’ont pas pu être contrôlés au moment de la planification de l’évaluation et du choix des groupes. Dans ce cas, on peut parler d’un biais dans la sélection des membres de groupes qui affecte par conséquent la validité des conclusions de l’évaluation.

Dans la littérature sur l’évaluation d’impact, on rencontre aussi d’autres facteurs qui constituent des menaces à la validité des conclusions des évaluations. C’est le cas par exemple de l’occurrence d’un événement historique important, la maturation du groupe et le changement dans les méthodes ou instruments d’évaluation. Il est conseillé de répéter les mesures à des intervalles différentes dans le temps et d’utiliser les mêmes méthodes d’évaluation.

62 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Section 3 : La méthode de questionnaire

Cette méthode consiste à préparer et administrer un questionnaire aux bénéficiaires et autres parties prenantes au programme ou projet afin d’obtenir leur opinion sur le degré de succès des interventions du programme. Le questionnaire peut être une combinaison des questions sous forme d’un système de notation (à choix multiples) et des questions ouvertes.

Pour que le questionnaire puisse valablement servir dans l’évaluation, les questions posées doivent refléter les critères spécifiques de succès du projet. Elles doivent chercher à obtenir des informations sur la pertinence, l’efficacité, l’efficience, l’impact et la durabilité du programme. Dans le cas d’un système de notation, il faudra que le système de notation reflète ce qu’on veut réellement apprécier et que des valeurs soient attribuées à chaque catégorie du système.

Exemples (utilisant des questions fermées)

Question pour mesurer la pertinence d’un projet

Quel est le degré de pertinence du programme ou projet par rapport aux besoins du groupe cible ?

- Très pertinent

- Pertinent

- Moins pertinent

- Pas du tout pertinent

Questions pour mesurer l’efficience du projet

1.

Les ressources du programme sont-elles utilisées efficacement pour produire les résultats prévus ?

-

Très bien utilisées

-

Mieux utilisées

-

Passablement utilisées

-

Pas bien utilisées du tout

2.

Les ressources financières du programme sont-elles adéquates à l’égard des tâches à exécuter ?

-

Très adéquates

-

Adéquates

-

Moyennement adéquates

-

Pas du tout adéquates

3.

La fourniture des intrants et la production des extrants se font-elles dans les délais prescrits par le plan de travail ?

-

Très ponctuelles

-

Ponctuelles

-

Passable

-

Pas du tout ponctuelles

63 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Questions pour mesurer l’efficacité d’un projet

1.

Faites une appréciation de la contribution des produits du programme à la réalisation de ses objectifs

-

Très satisfaisante

-

Satisfaisante

-

Moyennement satisfaisante

-

Pas du tout satisfaisante

2.

Quelle est votre appréciation de l’impact du programme ou projet sur ses bénéficiaires directs ?

-

Très satisfaisant

-

Satisfaisant

-

Moyennement satisfaisant

-

Pas du tout satisfaisant

La première catégorie des réponses reflètent des performances excellentes (très satisfaisant 80%+), la deuxième catégorie présente une performance satisfaisante ( 65%+), la troisième catégorie correspond à des performances acceptables ou passables(55%+), tandis que la dernière catégorie réflète des performances médiocres. Il faudra que les critères et les catégories soient bien compris par les personnes répondant aux questionnaires.

A côté des questions fermées, il convient de prévoir des questions ouvertes qui permettent aux gens de fournir le plus de détails sur leurs jugement vis-à-vis des résultats et impacts du programme et projet. Votre but est d’avoir une idée sur le degré de succès ou d’échec du programme et les raisons justifiant cette situation. Les questions portent sur les réalisations principales du programme, l’opinion des groupes cibles sur ces réalisations, leurs effets directs et indirects, les facteurs ayant affecté la réalisation du programme, les domaines où le programme semble avoir connaître le succès et/ou l’échec, et les leçons qui peuvent être tirées de l’exécution du programme.

Section 4: le tableau de bilan global

La confection du tableau de bilan global part de la logique de la démarche de l’analyse stratégique qui examine l’environnement du projet en termes des forces, des faiblesses, des potentiels et risques. Cette approche a l’avantage de faire ressortir d’une façon schématique les atouts sur lesquels on peut capitaliser dans le futur et les contraintes majeures sur lesquelles le management devrait porter attention pour une mise en oeuvre satisfaisante du projet.

64 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

Tableau 15 Tableau de bilan global

   

POINTS FORTS

 

POINTS FAIBLES

P

   

R

E

Technologie simple et appropriée

Personnel technique compétent insuffisant Moyens matériels et financiers inadéquats Démotivation du personnel

S

Un bon esprit d’équipe

E

Un leadership engagé

N

 

T

 
   

POTENTIELS

 

RISQUES

A

   

V

Cadres de direction bien formés

Changement brusque des responsables du projet Saturation des marchés Enclavement de la zone

E

Autorités avec une large expérience des affaires

N

I

Stabilité des agents

R

   

Section 5: l’analyse des coûts et bénéfices

De nombreuses méthodes ont été développées pour faciliter l’étude des impacts économiques des investissements dans les pays en développement. On peut distinguer dans la littérature deux grandes familles de méthodes qui servent d’appui dans l’évaluation de la viabilité des projets. Il s’agit de la méthode des effets et des méthodes qui utilisent des prix de référence (ou prix fictifs ).

La méthode des effets a été développée en France par les Experts du Ministère Français de la Coopération dans les années 1970. Elle permet d’évaluer la viabilité et l’impact des investissements en tenant compte de la valeur ajoutée sur la croissance économique et la répartition des revenus. L’analyste commence d’abord par identifier et évaluer les effets qu’entraînent la mise en oeuvre d’un projet sur l’économie et autres objectifs socio-économiques du Gouvernement. Les effets directs et secondaires qui dérivent de l’implantation du projet sont analysés et comparés par rapport aux objectifs poursuivis.

La mise en application de cette méthode s’est avérée très ardue dans la programmation des investissements en Afrique suite à l’insuffisance des données comptables et des coefficients techniques permettant de déterminer les divers secteurs de l’économie.

Par contre, les méthodes des prix de référence essayent d’intégrer les paramètres macro-économiques définissant les objectifs de la collectivité nationale dans l’évaluation des projets et permettent ainsi de lier l’analyse des projets à la planification macro-économique. Parmi les auteurs qui ont fait une contribution décisive aux méthodes des prix de référence, on peut retenir les Experts de l’Organisation pour la coopération et le développement économique (OCDE): Little et Mirrrlees (1974); les Experts de l’Organisation des Nations unies pour le développement industriel (ONUDI): Dasgupta, Sen et Marglin (1975) et les Experts de la Banque Mondiale: Squire et Van der Tak (1975).

65 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

L’utilisation de ces méthodes exige la maîtrise des techniques avancées des coûts-avantages et la manipulation d’une masse importante des données quantitatives, pas souvent accessibles. C’est ainsi qu’en partant des concepts et de la logique de ces méthodes , certaines institutions ont réussi à retenir et développer une série de principes et procédures pour guider le processus d’analyse d’impact des investissements. Nous allons présenter ci-dessous quelques éléments liés à l’évaluation d’impact économique des projets.

A. L’EVALUATION DES COUTS

L’exécution d’un projet entraîne des coûts ou des dépenses qui peuvent être, soit des coûts d’investissement, des coûts de fonctionnement, ou des coûts récurrents (coûts engagés dans la phase d’exploitation après la réalisation de l’investissement). Les coûts peuvent être constitués des coûts physiques (bâtiments, équipements, fournitures, véhicules, etc.); la main d’oeuvre (spécialisée et non spécialisée) et la terre.

Les coûts doivent être estimés avec exactitude pour que l’agrégation annuelle des coûts réels des projets s’approche le plus que possible des enveloppes globales. Les estimations initiales des coûts doivent être aussi suffisamment détaillées pour faciliter le contrôle et le suivi: les causes des déviations ultérieures entre les coûts réels et le budget peuvent être facilement documentées et des corrections nécessaires introduites.

Plus la présentation des coûts d’un projet est détaillée, plus il est facile de l’analyser et contrôler et plus le projet lui-même est crédible. La transparence des hypothèses adoptées sur les quantités et les coûts unitaires peut par exemple faciliter des comparaisons avec d’autres projets. L’analyse des coûts doit être accompagnée par des tableaux de synthèse qui en facilite la compréhension. Dans le cadre du programme d’investissement, il est mieux d’avoir un tableau principal des coûts d’investissement, ventilés par postes principaux ou par secteur et projetés annuellement sur la durée du projet, avec le détail des hypothèses et des calculs renvoyés en annexe.

Le dossier doit également contenir des indications sur les coûts récurrents, c’est-à-dire ceux qu’il sera nécessaire d’engager en phase d’exploitation du projet pour le maintenir en état de marche, une fois la phase de réalisation terminée. Ces coûts seront présentés sur une base annuelle, ventilés par postes principaux, avec si possible des indications claires sur les hypothèses qui sous-tendent leurs estimations. Les dispositions prévues pour assurer le financement de ces coûts seront également indiquées.

Il convient d’opérer la distinction entre les coûts en monnaie locale et les coûts en devises. L’analyse des coûts devra tenir compte de l’inflation et indiquer clairement les hypothèses qui sont faites à ce sujet.

Les coûts non-quantifiables doivent être identifiés et évalués. Par exemple, une usine de fabrication des pneus peut avoir comme coûts:la pollution avec des effets néfastes sur les espèces humaines, végétales et aquatiques; la perte des espèces médicinales rares suite à l’aménagement du lieu; le risque d’abandon des activités agricoles et la prolétarisation des populations environnantes.

66 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

B. L’EVALUATON DES BENEFICES

Les bénéfices sont des recettes, produits ou avantages tangibles ou non du projet. Il peut s’agir de l’accroissement de la production, la création des emplois, la prévention des maladies, l’amélioration dans la qualité des produits ou services, la réduction des coûts, etc.

Il est théoriquement facile de déterminer les bénéfices des projets à caractère productif comme ceux du secteur agricole, énergétique, industriel ou d’infrastructure. Les bénéfices ou les recettes sont facilement quantifiables et discernables. Dans le cas des projets à caractère social et administratif, on se contente souvent des mesures qualitatives des avantages, soulignant de quelle façon le projet correspond à des besoins réels et montrant comment il s’insère dans les politiques et programmes de développement sur le plan sectoriel, régional ou national.

On peut recourir aussi aux indicateurs indirects là où des mesures directes ne sont pas possibles pour des raisons techniques ou des coûts. Par exemple, l’amélioration dans l’état de santé est déterminée avec des indicateurs indirects comme le nombre des médecins ou lits par habitant à la place de l’indicateur de taux de mortalité qui n’est pas souvent accessible à l’échelle provinciale ou locale. Il faut trouver des références précises et tangibles pour servir des preuves de réalisation des objectifs.

Dans le cas des projets donnant lieu aux recettes, on distinguera des bénéfices financiers des bénéfices économiques. Les bénéfices financiers sont des recettes qui bénéficient directement à l’opérateur du projet: propriétaire de l’usine qui sera construite, paysan dont la production augmentera suite au projet, etc. Ce sont des recettes nettes de taxes et impôts. Ces recettes seront calculées sur la base d’un compte d’exploitation prévisionnel du projet développé à partir de l’étude du marché, des prévisions de production et des hypothèses sur les prix de vente.

Les bénéfices économiques sont calculés du point de vue de la collectivité publique plutôt que des intérêts individuels qui bénéficient du projet. Ils ne tiennent pas compte des paiements de transfert tels que impôts et taxes et sont basés sur des prix de référence. Etant donné les distorsions des prix existants sur le marché, on recourt aux prix fictifs (de référence) reflétant la rareté relative des biens et des services du projet.

Dans le cas où les bénéfices du projet ne sont pas quantifiables, les coûts des différentes alternatives pour réaliser ces bénéfices peuvent être identifiés et comparés. Il s’agit de l’application de la méthode de coût-efficacité. L’utilisation de cette méthode est conseillée s’il existe d’autres alternatives pour réaliser les objectifs du projet et leurs coûts peuvent être déterminés en vue de faciliter la comparaison. Dans un projet de construction d’une école pour accroître les possibilités de formation de base, on peut comparer les coûts de construction du projet proposé aux coûts des constructions similaires dans le même village ou des villages voisins, considération faite de l’inflation.

Après avoir procédé aux analyses quantitatives là où l’état des données le permet, il convient de recenser les bénéfices qui n’ont pas été captés par l’évaluation quantitative et de les lister selon l’importance que chacun dénote pour l’analyste. Dans un projet d’implantation d’une usine de fabrication des pneus, les effets positifs non quantifiables peuvent être: la monétarisation de l’économie, l’implantation d’une école

67 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

primaire et mécanique et d’une clinique pour le personnel devant aussi être accessibles aux populations, l’ouverture et l’urbanisation de la zone d’implantation.

Section 6: l’analyse économique et financière

L’analyse économique permet de déterminer la contribution ou l’impact du projet du point de vue de la collectivité publique tandis que l’analyse financière essaye de dégager la rentabilité financière du projet pour ses opérateurs. L’analyse consiste à identifier et évaluer les coûts et les bénéfices du projet, et à les exprimer en des termes comparables (valeurs monétaires). Si les bénéfices sont plus élevés que les coûts, le projet a un impact positif. Dans le cas contraire, il doit être rejeté (évaluation ex-ante). Les principales étapes de l’analyse sont:

La projection des coûts et des bénéfices du projet sur un horizon adéquat, correspondant à la vie utile de ses installations;

Le calcul du taux de rentabilité du projet, taux d’actualisation auquel les valeurs actualisées des flux des bénéfices et des coûts sont égales;

L’analyse de sensibilité qui explore les variations du taux interne de rentabilité en réponse à des

variations dans les principaux paramètres du projet: coûts d’investissement, coûts de production, coûts

d’exploitation, recettes, etc.

Dans l’analyse économique, on évalue le flux des coûts et des bénéfices du projet sur la base des prix de référence, en faisant abstraction des paiements de transfert qui ne constituent ni des coûts, ni des bénéfices pour l’économie nationale. Cette analyse donne lieu au taux de rentabilité interne du projet, ou taux de rentabilité économique. Si ce taux de rentabilité est inférieur au coût d’opportunité du capital dans le pays, le projet doit être rejeté. Le taux d’opportunité du capital est le rendement du capital investi dans le projet qui constitue la meilleure alternative à celui qui est étudié. En pratique, et sauf exception, aucun projet dont le taux de rentabilité économique est inférieur à 10-12 % ne devrait pas être accepté.

Quant à l’analyse financière, elle est basée sur les flux des coûts et des bénéfices financiers, c’est-à- dire correspondant aux valeurs comptables telles qu’elles apparaissent dans les livres des opérateurs bénéficiant du projet. Elles sont calculées grâce au compte d’exploitation prévisionnel. Le taux de rentabilité financière mesure l’intérêt du projet du point de vue de l’investisseur. Il arrive souvent que le taux de rentabilité financière soit inférieur au taux de rentabilité économique: la collectivité nationale bénéficie de retombées plus importantes que le retour financier sur le capital obtenu par des opérateurs du projet. Les projets dont le taux de rentabilité financière est trop faible pour intéresser un opérateur privé, mais dont le taux de rentabilité économique est satisfaisant, sont ceux qui doivent faire l’objet d’un investissement public.

68 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

QUELQUES MESURES D’EVALUATION ECONOMIQUE ET FINANCIERE

A. LE CASH FLOW

Le concept de l’analyse du cash flow

L’estimation du cash flow (CF) est dérivée de la soustraction des coûts annuels prévus des bénéfices annuels prévus. Dans l’exemple du Tableau 16, la valeur du cash flow est de 2.810.000 dollars, soit

$5.360.000-$2.550.000.

Le calcul du cash flow permettra de calculer la valeur actuelle nette ainsi que du ratio bénéfices-coûts une fois que les flux des coûts et des bénéfices auront été escomptés séparément. L’analyse du CF suppose que les coûts et les bénéfices sont identifiables et susceptibles d’être quantifiés en termes monétaires.

Le cash flow est utilisé dans l’analyse financière des projets d’investissement si le flux des bénéfices revient à une entreprise ou un particulier. Par contre, si le projet est évalué pour déterminer son bénéfice par rapport à l’économie nationale, le CF est alors vu comme un investissement des bénéfices pour l’entière société et comme faisant partie d’une analyse économique du projet. Dans l’analyse économique, les intérêts, la dépréciation, les impôts et les droits sont exclus en tant que coûts car ils sont considérés comme des paiements de transfert au sein de la société.

Les étapes de l’analyse du cash flow

1.

Identifier les composantes coûts et bénéfices du projet en cataloguant les coûts associés au après avoir déterminer s’il s’agit d’une analyse économique ou d’une analyse financière. Cataloguer ensuite les bénéfices du projet.

2.

Déterminer la vie du projet ou la durée temporelle de d’analyse. Estimer la durée de vie de l’équipement principal, c’est-à-dire machines, immeubles, équipement mobile. Estimer le temps nécessaire pour complètement réaliser les bénéfices du projet. Sélectionner une durée de vie pour le projet. Les coûts et les bénéfices qui auront lieu dans 20 ans ou plus auront peu d’effet sur les critères de la valeur du projet, c’est-à-dire sur le valeur actuelle nette. Estimer les coûts et les bénéfices bruts pour chaque année du projet.

3.

Calculer le cash flow annuel en soustrayant les coûts annuels bruts estimés des bénéfices annuels bruts estimés. Les sommes négatives sont indiquées entre parenthèses.

4.

Calculer le cash flow global pour la vie du projet en effectuant la somme des cash flow annuels. Le calcul des étapes 4 et 5 seront illustrés par des tableaux.

5.

Exprimer les coûts et les bénéfices annuels sous forme de tableau.

Une illustration de l’application de l’analyse de cash flow figure au Tableau 16.

69 MANAGEMENT DU SUIVI ET DE L’EVALUATION DES PROGRAMMES ET PROJETS DE DEVELOPPEMENT

B. LA VALEUR ACTUELLE NETTE

Le concept de la valeur actuelle nette

La valeur actuelle nette d’un projet est la valeur actuelle du flux de cash flow d’un projet. Elle est dégagée des cash flows escomptés d’un projet. La valeur actuelle nette est calculée en déterminant la différence entre les bénéfices annuels escomptés et coûts annuels escomptés. Dans l’exemple au Tableau 16, la VAN est de 1.032.000 dollars, soit $2.602.000-$1.570.000.

La valeur actuelle nette permet de mesurer la viabilité économique et financière d’un projet en considérant les bénéfices estimés et la préférence temporelle de l’argent.

L’analyse de la valeur actuelle nette peut être utilisée pour déterminer si un seul projet doit être financé; pour choisir parmi les projets qui s’excluent mutuellement (les projets qui proposent des alternatives pour leur exécution qui s’avèrent incompatibles, c’est-à-dire, si une alternative est poursuivie, elle empêche l’exécution d’une autre alternative, parce que les ressources ne sont pas disponibles pour les deux); fournir des calculs intermédiaires qui s’imposent pour calculer le taux de rentabilité interne du projet.

Les étapes de l’analyse de la valeur actuelle nette

1. Estimer les revenus et les coûts annuels bruts du projet.

2. Déterminer le taux d’escompte. Le taux d’escompte est exprimé en pourcentage et indique le taux de profit si les fonds du projet étaient investis dans le meilleur investissement alternatif.

3. Déterminer le facteur d’escompte devant être utilisés pour chaque année de la durée de vie du projet. Ceci est effectué en recourant aux tables d’escompte. Appliquer le facteur d’escompte de chaque année aux coûts bruts de la même année afin d’arriver à la valeur actuelle des coûts bruts. Appliquer le facteur d’escompte de chaque année aux recettes brutes de la même année pour arriver à la valeur actuelle nette des recettes brutes.

4. Faire la somme de tous les coûts et recettes escomptés et soustraire la somme de ces coûts de la somme des recettes. Le résultat est la valeur actuelle nette. Si la VAN est supérieure à 0, le projet est financièrement acceptable. Si elle est inférieure à 0, il ne l’est pas. Lorsque la VAN est égale à 0, le taux