REPUBLIQUE DE COTE D’IVOIRE

Unité-Discipline-Travail
--------
MINISTÈRE DE L’ECONOMIE ET DES FINANCES
---------
Projet d’Appui à la Gestion Économique et Finan-
cière (PAGEF)
--------
Cellule Technique de Coordination

GUIDE D’EVALUATION DES POLITIQUES PUBLIQUES

JUIN 2022
 SOMMAIRE

LISTE DES SIGLES ET ABREVIATIONS...................................................................................................3

PRESENTATION DU GUIDE.......................................................................................................................4
I. GENERALITES....................................................................................................................................5
1.1. Présentation des ISCA en République de Côte d’Ivoire...........................................................................5
1.2. Généralités sur le concept des évaluations..............................................................................................5
1.2.1. Définition du concept de l’évaluation....................................................................................................................... 5
1.2.2. Fonctions et finalités de l’évaluation....................................................................................................................... 6
1.2.3. Typologie des évaluations...................................................................................................................................... 7
1.2.4. L’évaluation et les autres outils d’aide à la décision................................................................................................9
1.2.5. Temporalité de l’évaluation..................................................................................................................................... 9

II. PREREQUIS NECESSAIRES A L'EVALUATION DES POLITIQUES PUBLIQUES............................12

2.1. Connaissance des besoins initiaux...............................................................................................................12
2.1.1. Connaissance de la situation initiale..................................................................................................................... 12
2.1.2. Recueil des besoins des publics........................................................................................................................... 13

2.2. Identification des objectifs............................................................................................................................14

2.2.1. Définition des objectifs, préalable à la réalisation de l’évaluation..........................................................................14
2.2.2. L’utilisation de l’arbre des objectifs....................................................................................................................... 15

2.3. Identification des parties prenantes..............................................................................................................16

2.3.1. Identification des parties prenantes, enjeu de conception et d'évaluation de l'action publique.............................16
2.3.2. Représentation des acteurs via un sociogramme................................................................................................. 17

2.4. Mise en place des indicateurs d'évaluation..................................................................................................17

2.4.1. Définition des indicateurs...................................................................................................................................... 17
2.4.2. Méthodologie de mise en place d’indicateurs....................................................................................................... 19

III. DEMARCHE D’EVALUATION DES POLITIQUES PUBLIQUES.........................................................21

3.1. Choix de la démarche d'évaluation...............................................................................................................21
3.1.1. Suivi-évaluation..................................................................................................................................................... 21
3.1.2. Missions d'évaluation ponctuelles de politiques publiques....................................................................................21

3.2. Pilotage de la démarche...............................................................................................................................22

3.2.1. Acteurs participant à la démarche d'évaluation..................................................................................................... 23
3.2.2. Instances de pilotage d'une démarche d'évaluation.............................................................................................. 24
3.2.3. Étapes de la démarche évaluative........................................................................................................................ 24

3.3. La préparation de l'évaluation.......................................................................................................................25

3.3.1. L’importance de la phase d’évaluation.................................................................................................................. 25
3.3.2. Les outils de la préparation d'une évaluation........................................................................................................ 26

3.4. La réalisation de l’évaluation........................................................................................................................27

3.4.1. Définition des questions évaluatives..................................................................................................................... 27
3.4.2. Recueil des données............................................................................................................................................ 29
3.4.3. Élaboration des constats et des préconisations.................................................................................................... 32

3.5. Utilisation des travaux d’évaluation..............................................................................................................33

3.5.1. Définition et mise en œuvre du plan d’action........................................................................................................ 33
3.5.2. Communication des résultats................................................................................................................................ 35
1
IV. ANNEXES.............................................................................................................................................37
Annexe 1 : Comment formuler des questions évaluatives en fonction de critères..............................................38
Annexe 2 : Comment construire un arbre d'objectifs étape par étape.................................................................41
Annexe 3 : comment construire un sociogramme...............................................................................................46
Annexe 4 : Modèle de plan de rapport d’évaluation............................................................................................48
Annexe 5 : Modèle de questionnaire d’entretien.................................................................................................49

2
LISTE DES SIGLES ET ABREVIATIONS

AFOM Atouts Forces Opportunités Menaces

CAD Comité d’Aide au développement
CEDEAO Communauté Économique des États de l’Afrique de l’Ouest
IGE Inspection Générale d’État
ISCA Institution Supérieure de Contrôle de l’ordre Administratif
OCDE Organisation de coopération et de développement économiques
PPP Politique, Programme ou Projet
SFE Société Française de l’Evaluation
UEMOA Union Économique et Monétaire Ouest Africaine

3
PRESENTATION DU GUIDE

Le présent guide a été élaboré en vue d'aider les auditeurs des ISCA à réaliser des évaluations
des politiques publiques de qualité élevée. Il définit les principes sous-tendant l'approche des
ISCA en matière d'évaluation des politiques publiques ainsi que les procédures à appliquer.

Il vise à aider les auditeurs à effectuer des évaluations des politiques publiques de manière
économique, efficiente et efficace.

L’évaluation des politiques publiques étant une discipline non normée au plan international, la
démarche proposée dans le présent guide s’inspire largement de celle proposée par la société
française de l’évaluation (SFE) ; une association qui a pour vocation de contribuer au
développement de l’évaluation et de promouvoir son utilisation dans les organisations publiques
et privées.

Selon les bonnes pratiques dans le domaine, en plus du présent guide, les ISCA devraient
disposer d’une charte de l’évaluation des politiques publiques laquelle, s'adresse aux personnes
participant au processus d'évaluation à titre professionnel, qu'ils soient commanditaires,
évaluateurs ou membres d'instances de pilotage. Elle constitue un guide de principes généraux,
largement reconnus dans le milieu professionnel.

Le guide contient trois chapitres, couvrant les thématiques suivantes : les généralités sur les
concepts des évaluations de politiques publiques, les prérequis nécessaires à l’évaluation des
politiques publiques et en fin, la démarche d’évaluation des politiques publiques.

4
I. GENERALITES

1.1.Présentation des ISCA en République de Côte d’Ivoire

Les ISCA sont généralement investies de l’une, de certaines ou de l’ensemble des missions
suivantes : inspection, contrôle, audit, investigation, études et conseil des services publics et
parapublics en vue de garantir le respect des textes législatifs et règlementaires, de même que
l’optimisation des performances de ces services.

Au terme de l’Article 3 du Décret N° 2018-653 du 1er août 2018, l’Inspection Générale d’État
(IGE), assure la coordination des activités de tous les autres organes d’inspection, d’audit et de
contrôle internes administratifs en République de Côte d’Ivoire.

Les ISCA concernées par le présent manuel sont :

 l‘Inspection Générale d’État ;

 les Inspections Générales Ministérielles ;
 les inspections des structures spécialisées.

1.2. Généralités sur le concept des évaluations

1.2.1. Définition du concept de l’évaluation

Selon le Comité d’aide au développement (CAD) de l’OCDE « l’évaluation du développement

est l’appréciation systématique et objective d’une action d’aide au développement en cours ou
terminée, de sa conception, de sa mise en œuvre et de ses résultats. Dans le contexte du
développement, l’évaluation se réfère au processus visant à déterminer la valeur ou
l’importance d’une intervention en matière de développement ».

Le Bureau de l’Evaluation (BE) de la Direction générale de la coopération internationale et du

développement, rattachée au Ministère des Affaires étrangères de la France, retient la définition
suivante : « l'évaluation rétrospective, menée dans un cadre méthodologique et institutionnel
formalisé, a pour but de porter un jugement, empiriquement et normativement, sur la valeur
d'une action, d’un projet, d’un programme, d’une politique ».

Toujours selon le BE, l'évaluation vise à :

 vérifier la pertinence et la cohérence des objectifs de départ ;

 mesurer l'efficacité de l'action, c'est à dire le degré d'atteinte des objectifs ;
 apprécier la mise en œuvre des moyens ainsi que leur adéquation au contexte et aux
objectifs ;
 examiner la durabilité des effets observés.

L’évaluation apparaît comme une appréciation périodique et objective des PPP prévus, en cours
de réalisation ou achevés. L’évaluation permet de répondre à des questions précises liées à la
conception, la mise en œuvre ou aux résultats des PPP.

5
Contrairement au suivi qui est continu, l’évaluation est périodique et effectuée à un moment
donné, généralement par des spécialistes extérieurs au PPP. La conception, la méthodologie et
le coût des évaluations varient fortement en fonction du type de question à laquelle elles
répondent. D’une manière générale, l’évaluation s’attèle à trois types de questions :

 Les questions descriptives : à ce niveau, l’évaluation vise à montrer ce qui se passe, à

décrire les processus, les conditions qui prévalent, les relations organisationnelles et les
points de vue des diverses parties prenantes au PPP ;

 Les questions normatives : l’évaluation compare ce qui se passe à ce qui devrait se

passer ; elle consiste à étudier les activités et à estimer si les objectifs ont été atteints ou
non. Les questions normatives peuvent concerner les intrants, les activités et les
extrants (résultats intermédiaires) ;
 Les questions de cause à effet : l’évaluation se concentre sur les résultats et cherche à
déterminer dans quelle mesure l’intervention entraîne des changements.

1.2.2. Fonctions et finalités de l’évaluation

Les différentes typologies proposées conduisent à distinguer notamment (i) les évaluations «
récapitulatives » (visant à aboutir à une appréciation globale et distanciée), (ii) les évaluations «
formatives » (visant à éclairer les acteurs impliqués dans la mise en œuvre d'une politique sur le
contexte et les conséquences de leurs pratiques), (iii) les évaluations « managériales » (visant à
rendre plus efficiente la gestion publique), (iv) les évaluations "démocratiques" (ayant pour
ambition d'accroître la qualité et la transparence du débat public).

L’évaluation permet de répondre à différents besoins des acteurs publics :

o le besoin de s’interroger sur le sens et les effets de l’action menée ;

o le besoin de s’interroger sur les marges de progression ou opportunités d’évolution
notamment concernant des actions ou politiques expérimentales ;
o le besoin d’un échange de points de vue pour converger sur des objectifs communs ;
o le besoin d’un accompagnement au changement.

L’évaluation poursuit, ainsi, quatre finalités :

Tableau 2 : les finalités de l’évaluation

L’évaluation permet, tout d’abord, la production de connaissance sur

l’intervention publique (finalité cognitive) pour mieux en comprendre le sens et
les apports. Elle apporte ainsi de la lisibilité sur les publics concernés, les
Produire des réalisations, l’organisation ou encore les mécanismes de mise en œuvre d’une
connaissances politique publique.
L’évaluateur fonde ainsi ses travaux sur des informations fiables qu’il récolte au
moyen de différentes méthodes issues des sciences sociales (analyse
documentaire, analyse des données d’activité, enquête quantitative, enquête
qualitative…
Apprécier la valeur de L’évaluation des politiques publiques a vocation à apprécier les effets et donc à
l’intervention publique porter un jugement sur la valeur de l’intervention publique (finalité normative).

6
 Les données collectées au cours de l’évaluation sont analysées afin de
produire une appréciation sur la conduite et les impacts de l’intervention
publique. La formulation d’un jugement sur la valeur de l’intervention publique
implique une prise de position des évaluateurs sur la base de faits objectivés et
le croisement des données récoltées notamment auprès des différents acteurs
aux intérêts parfois divergents, d’où l’importance du principe de pluralité des
points de vue dans la conduite de l’évaluation. La transparence quant aux
sources des données et leurs limites est indispensable à ce travail
d’objectivation. En outre, l’autonomie de l’évaluateur par rapport au processus
de gestion (principe de distanciation) garantit l’impartialité des constats posés.
L’évaluation des politiques publiques est destinée à éclairer la décision politique
ou administrative (finalité décisionnelle). Sur la base des constats posés, les
préconisations concluent la démarche d’évaluation et alimentent la décision
publique. Ces préconisations peuvent ainsi déboucher sur des décisions
d’amélioration, de prolongation, de réorientation ou d’arrêt de l’intervention
publique. L’évaluation répond ainsi aux questionnements d’un commanditaire
qui est en capacité de décider des évolutions sur la base des constats et
Aider à la décision préconisations proposés par l’évaluation.
Enfin, l’évaluation des politiques publiques permet d’améliorer l’action publique
et son pilotage (finalité démocratique). Elle permet, d’une part, une optimisation
de l’utilisation des ressources publiques en améliorant la pertinence et
l’efficience des politiques publiques menées. D’autre part, la consultation voire
Améliorer la gestion l’association des bénéficiaires et/ou citoyens aux travaux évaluatifs est
publique indissociable du processus évaluatif et permet une analyse de l’adéquation de
l’intervention publique aux besoins des publics. Par ailleurs, la fonction
démocratique de l’évaluation des politiques peut s’incarner également dans la
diffusion aux partenaires ou aux citoyens des résultats de l’évaluation afin de
contribuer au débat public sur le sujet traité.

Source : http://www.sfe-asso.fr/content/recensement-des-outils-pratiques-devaluation

1.2.3. Typologie des évaluations

 Type d’évaluations selon le moment de réalisation

o L’évaluation ex ante est utilisée pour désigner l’étude de faisabilité d’une

action publique. Elle est conduite avant la mise en œuvre de l’action publique
(politique, programme, etc.). Elle est une "appréciation globale de la
pertinence, de la faisabilité et de la durabilité probable d’une action de
développement avant que la décision de financement ne soit prise"
(CAD/OCDE).

o L’évaluation à mi-parcours permet de suivre et, éventuellement, de réorienter

l’action. Elle est aussi connue sous le nom d’évaluation intermédiaire,
concurrente, concomitante ou "on-going". Elle se réalise pendant la mise en
œuvre du programme et vise à connaître entre autres : (i) si les objectifs
prévus seront atteints, et s’il existe ou non des effets collatéraux, indésirables
ou non prévus ; (ii) si les hypothèses utilisées lors de la formulation et la
logique d’intervention sont toujours valides au fur et à mesure que le
programme avance.
7
 o L’évaluation ex post (ou rétrospective) se situe nettement après la clôture de
l’action, et s’intéresse aux effets et aux impacts à moyen ou long terme.
L’objectif est d’identifier les facteurs de succès ou d’échec, d’apprécier la
durabilité des effets et des impacts, et de tirer des conclusions qui pourront
être généralisées à d’autres actions de développement. Elle vise à tirer des
enseignements rétrospectifs sur une politique parvenue à maturité et
"routinière". L’évaluation ex-post doit inclure une analyse de la soutenabilité
avérée de l’action politique et de sa capacité à consolider les transformations
obtenues. Elle doit être à l’origine de nouveaux espoirs d’amélioration à
capitaliser dans les politiques futures. Le moment opportun pour réaliser ce
type d’évaluation dépend essentiellement des caractéristiques de l’action
politique.

 Type d’évaluations selon les protagonistes

o L’évaluation interne (ou auto-évaluation) est "conduite par un service et/ou

des personnes qui dépendent des responsables de l’action de
développement au sein des organisations chargées de la mise en œuvre ou
chez le bailleur de fonds, chez ses partenaires » (CAD/OCDE). Elle est
réalisée par les propres responsables de la gestion de l’action de
développement. Les évaluations internes s’effectuent, habituellement,
pendant la phase d’exécution de l’intervention. Généralement moins
coûteuses que les évaluations externes, elles ont également l’avantage de
favoriser plus aisément les processus d’apprentissage.

o L’évaluation externe d’une action de développement est conduite par des

services et/ou des experts extérieurs à l’organisation responsable de la mise
en œuvre directe de l’intervention. Ce modèle est le plus communément
utilisé. Ses principaux avantages sont sa présumable objectivité, dérivée de
son caractère indépendant, et la possibilité de reposer sur des compétences
d’expertise de haut niveau. Les principaux inconvénients proviennent du
temps limité sur le terrain de ses missions, qui rend difficile la connaissance
approfondie de l’environnement qui doit être évalué. Ceci peut conduire à
des recommandations d’experts difficilement applicables. Le coût élevé de
l’évaluation est également un facteur à prendre en compte.
o L’évaluation mixte est menée conjointement par les responsables de
l’intervention (équipe interne) et une équipe externe sur la base de termes de
référence communs pour obtenir une évaluation globale qui intègre les deux
perspectives. L’idée est de combiner les points de vue internes au projet
avec ceux, plus objectifs et peut être plus larges, d’évaluateurs extérieurs.
Cette approche contribue également au renforcement des capacités
institutionnelles.
o L’évaluation participative est une méthode d’évaluation selon laquelle les
représentants des agences d’aide et des autres parties prenantes (y compris

8
 les bénéficiaires) collaborent pour concevoir et conduire une évaluation et en
tirer les conclusions.

1.2.4. L’évaluation et les autres outils d’aide à la décision

L’évaluation de l’action publique s’inscrit dans un ensemble d’activités d’aide à la décision au

sein de la collectivité : le contrôle de gestion, l’audit, le conseil en organisation, les démarches
qualité, management des risques etc. Il s’agit néanmoins d’un exercice spécifique du fait de
l’objet étudié et du point de vue adopté.

Tableau 3 : l’évaluation et les autres outils d’aide à la décision

Evaluation Contrôle de Contrôle Audit Conseil en Démarche

des politiques gestion interne organisation qualité
publiques

Objet Intervention Activités de l’organisation Fonctionnement de l’organisation Processus de

publique production du
service

Pertinence et Optimisation de Maîtrise des Sécurisation de Adaptation ou Amélioration de

Enjeu impact de l’allocation des risques l’organisation transformation de la qualité de
l’action ressources l’organisation service rendu
publique aux
bénéficiaires

Source : http://www.sfe-asso.fr/content/recensement-des-outils-pratiques-devaluation

1.2.5. Temporalité de l’évaluation

La décision d’évaluer peut, ainsi se produire à différents moments de l’intervention publique

mais toujours dans un contexte garantissant son utilité.

 Le temps de l’évaluation dans l’action publique

L’évaluation peut être réalisée à différents moments d’une intervention publique (avant, pendant
et après).
L’évaluation lors de la phase de conception de l’intervention publique (évaluation ex ante ou a
priori). En phase de conception, l’évaluation est mobilisée pour définir le cadre d’intervention
pertinent au regard des besoins du territoire et de la population, identifier les effets et les
impacts attendus de l’intervention publique envisagés notamment en fonction des différents
scénarios de mise en œuvre possible et optimiser les ressources à mobiliser. Elle peut
notamment s’appuyer sur des expériences comparatives dans d’autres collectivités
(benchmark).
L'évaluation lors de la mise en œuvre de l'intervention publique (évaluation in itinere). Lors de la
mise en œuvre de l'intervention, l'évaluation in itinere permet de réaliser un bilan des
réalisations achevées et d'apprécier les premiers résultats. Elle porte essentiellement sur la
pertinence, sur la cohérence et l'efficacité d'une politique, l'analyse des impacts à long terme
9
nécessitant plusieurs années de recul. Elle permet si nécessaire d'ajuster le contenu de
l'intervention au regard des réalités de terrain et/ou de l'évolution du contexte.

Figure 1 : les différents types d’évaluation

Source : http://www.sfe-asso.fr/content/recensement-des-outils-pratiques-devaluation

L'évaluation en fin d'intervention publique (évaluation ex-post ou a posteriori). Une fois

l'intervention terminée, l'évaluation ex-post permet d'apprécier les effets obtenus à long terme
(critère de l'utilité), et de questionner la pertinence des objectifs face aux évolutions du contexte
d'intervention. Elle est alors utilisée pour décider du renouvellement ou non d'une intervention
ou pour définir les améliorations à y apporter.
Outre ces évaluations réalisées de manière ponctuelle, il est également possible de mettre en
place des démarches d'évaluation en continu, qui se déroulent tout au long de la phase de mise
en œuvre et qui appuient le pilotage. C'est en particulier le cas des démarches de suivi-
évaluation

 Le déclenchement de l’évaluation

Le déclenchement d'une évaluation relève de différentes raisons : motivations réglementaires,

managériales ou politiques. Ces raisons influent sur le moment de l'évaluation et sa temporalité.

Les évaluations s'inscrivant dans un cadre juridique externe ou interne à la structure publique.
L'évaluation est parfois rendue obligatoire par les textes législatifs et règlementaires nationaux
ou sous-régionaux. À titre exemple, l'UEMOA ou la CEDEAO peut demander une évaluation
des actions financées par des fonds communautaires. En interne à la structure publique,
l'évaluation peut être prévue dans des documents à la portée juridique plus ou moins forte tels
que :

 Les conventions de financement (avec les associations notamment) ;

 Les conventions de partenariat ;
 Les schémas et documents de programmation pluriannuelle.

10
Les évaluations résultant d'une décision politique ou managériale. Lorsque le déclenchement
d'une évaluation n'est pas lié à un cadre juridique spécifique, elle peut être décidée pour :

 apporter de la visibilité sur une intervention publique mise en œuvre depuis de

nombreuses années ;
 questionner la valeur ajoutée de l'intervention de la collectivité dans un domaine
particulier ;
 répondre à des dysfonctionnements préalablement identifiés ;
 définir les possibilités d'intervention de la collectivité dans un contexte en évolution
(modifications législatives et réglementaires, changements de l'intervention des
partenaires etc.).

Quelles que soient les motivations, le déclenchement d'une évaluation doit s'effectuer au
moment opportun. La démarche évaluative enclenche, en effet, un processus de changement
dans l'intervention publique. Le contexte politique, financier, juridique ou encore organisationnel
doit ainsi être favorable à de tels changements sans quoi l'évaluation restera inutile.

11
II. PREREQUIS NECESSAIRES A L'EVALUATION DES POLITIQUES PUBLIQUES

2.1. Connaissance des besoins initiaux

Le contexte initial et les enjeux de l’action publique constituent une référence de base en
évaluation. Ils forment un point de comparaison pour mesurer la pertinence des objectifs définis,
l'évolution éventuelle des besoins et l'amélioration de la situation des publics visés sur le
territoire.

2.1.1. Connaissance de la situation initiale

Au moment de la conception de l'intervention publique, la connaissance des besoins du territoire

et de la population est indispensable. Elle permettra d'apporter des solutions adaptées et
pérennes aux enjeux identifiés. La réalisation d'un diagnostic initial sert, ainsi, plusieurs objectifs
:

 Comprendre le contexte d’intervention ;

 Quantifier et qualifier les problématiques actuelles et les besoins sur le territoire ;
 Déterminer l'opportunité pour le Département à intervenir ;
 Identifier les actions pertinentes en réponse aux problèmes identifiés, en fonction des
ressources disponibles.

En fonction de l'envergure du projet envisagé, la démarche de diagnostic est plus ou moins

ambitieuse. A minima, un travail « en chambre » peut être envisagé afin de réaliser un premier
niveau de diagnostic. On peut, à cet effet, utilement s'appuyer sur la grille d'analyse AFOM, ou
SWOT en anglais.

Ce premier niveau de contextualisation de l'intervention publique peut être approfondi par un

diagnostic plus précis construit à partir :

 des indicateurs de contexte permettant de dresser un profil du territoire et des

populations ;
 des études existantes sur le sujet (instituts d'études, services de l'Etat.) ;
 de l'identification des acteurs ;
 d'une cartographie et d'un bilan des actions existantes.

Le diagnostic met ainsi en lumière l'offre existante au regard des besoins du territoire et de la
population.

Pour certaines politiques publiques, la mise en place d'une démarche d'évaluation ex-ante peut
s'avérer pertinente. En effet, une évaluation ex-ante permet d'éclairer les choix effectués par les
décideurs en analysant le contexte à l'origine de l'intervention publique (éléments de contexte,
motivations de l'action, parties prenantes), le contenu des interventions prévues, les conditions
de mise en œuvre (adaptation des moyens prévus aux objectifs) ainsi que les résultats attendus
(liens de causalité entre les objectifs énoncés, les actions prévues et les effets attendus).
Dans l'optique de définition d'une action publique plus durable, les démarches de prospective
permettent, par ailleurs, d'établir un diagnostic et d'explorer les futurs possibles à moyen et long
terme.
12
À partir de la situation actuelle, la prospective dégage les forces et faiblesses pour l'avenir et
détermine les dynamiques de changement et les ruptures possibles. Le diagnostic prospectif est
généralement établi de manière participative avec les acteurs. Ce diagnostic permet ensuite la
construction de scénarios constitutifs de projets d'avenir différents.

2.1.2. Recueil des besoins des publics

Lors d'un diagnostic de la situation initiale, le recueil des besoins des publics doit constituer un
point d'attention particulier afin de construire une action publique adaptée et pertinente. De
nombreuses techniques de recueil des besoins, quantitatives ou qualitatives, auprès de la
population sont envisageables.

La réalisation d'une enquête par questionnaire auprès du public requiert la mise en œuvre d'une
méthodologie assez précise dont les principales étapes sont les suivantes :

 Préparer l'enquête : définition des objectifs précis de l'étude et identification des cibles ;
 Choisir les modalités de recueil : choix des modalités les plus adaptées en fonction de la
population cible (internet, téléphone, courrier, face-à-face...) et structuration de
l'échantillon (échantillon ouvert ou échantillon représentatif par quotas) ;
 Construire le questionnaire : formulation de questions neutres et compréhensibles pour
la population cible (mixage des questions fermées et des questions ouvertes) et
détermination du profil des répondants (recueil des données sociodémographiques
constituant des variables pertinentes pour l‘étude) ;
 Administrer le questionnaire : respect de règles déontologiques (principes de
l'anonymat) et maximisation de la participation (précision des enjeux de l'étude et de
l'intérêt à participer, attractivité de la présentation de l'enquête, relances etc.) ;
 Analyser les résultats ;
 Informer les participants des résultats de l'enquête (les modalités de diffusion des
résultats s'apprécient au cas par cas : réunion de restitution, envoi d'une lettre
d’information).

Lorsque la population cible est réduite ou en complément d'une enquête par questionnaire, des
techniques plus qualitatives peuvent être mobilisées.

Les entretiens individuels ou collectifs permettent, à partir d'un guide d'entretien plus ou moins
directif, d'aborder l'ensemble des points recherchés. Ils apportent des éléments plus qualitatifs
et compréhensifs fondés sur le ressenti et la perception de la personne interrogée.

Les parcours bénéficiaires permettent de retracer l'ensemble de l'expérience du bénéficiaire sur

une thématique précise, dans toutes ses composantes. Ils permettent d'identifier les obstacles
et les difficultés vécues par les bénéficiaires afin d'y apporter des solutions. Ces parcours
peuvent se construire via des observations de terrains et/ou en rencontrant individuellement ou
collectivement les bénéficiaires (au cours de ces entretiens la parole du bénéficiaire est laissé
libre pour ne recueillir que son expérience).

13
2.2. Identification des objectifs

La démarche d'évaluation place au centre de son analyse les objectifs de l'intervention publique.
L'évaluation permet notamment d'apprécier la pertinence des objectifs et d'en mesurer l'atteinte.
L'évaluation est, ainsi, d'autant plus facile que les objectifs sont définis de manière précise et
hiérarchisée.

2.2.1. Définition des objectifs, préalable à la réalisation de l’évaluation

Un objectif est la formulation, généralement sous forme de verbe, de l'action qui doit être menée
afin d'atteindre un résultat souhaité ou une situation cible. On distingue :

♦ Les finalités
Les finalités sont les grands enjeux politiques qui répondent aux problématiques économiques
et sociales d'une population et d'un territoire. Elles correspondent généralement aux grandes
missions de la collectivité.

♦ Les objectifs stratégiques

Ce sont des objectifs d'ordre général traduisant les orientations politiques de la collectivité et
permettant de répondre aux besoins de la population et du territoire.

♦ Les objectifs opérationnels

Ils constituent une déclinaison des objectifs stratégiques de l’entité publique et sont directement
liés à la mise en œuvre d'actions concrètes pour un public bénéficiaire, sur un territoire donné et
à une échéance connue.

Les objectifs sont à distinguer de la notion de résultats attendus.

 Les résultats attendus correspondent à la situation souhaitée finale (la destination) ;

 Les objectifs correspondent aux orientations et aux actions qui doivent être mises en
œuvre pour aboutir aux résultats attendus (le chemin).

Différentes méthodes de formulation d'objectifs peuvent être mobilisées, la plus connue étant la
méthode SMART (SMARTER dans une version améliorée). Cet acronyme présente les
éléments indispensables à la définition d'objectifs opérationnels de qualité.

Exemples :

 Augmenter de 10 % le nombre de bénéficiaire de l'aide X en 2017 comparativement à

2016 (résultat attendu : une aide accessible à tous les potentiels bénéficiaires) ;

 Formaliser, en 2017, sous forme d'un logigramme, le processus d'exécution des

marchés publics et le diffuser à l'ensemble des agents (résultat attendu : un processus
lisible et connu de tous).

14
 Tableau 4 : méthode SMARTER

Simple et Mesurable Ambitieux Réaliste Temporel Evaluable Révisable

spécifique

L’objectif est L’objectif est L’objectif donne un L’objectif tient L’objectif est délimité L’atteinte de L’objectif est
clairement énoncé quantifié et cap et est une compte de la dans le temps et fixe l’objectif peut être adaptable si le
et précis. mesurable. source de réalité et est une échéance. évaluée. contexte
motivation. atteignable. change.

Source : http://www.sfe-asso.fr/content/ressources-sur-levaluation

2.2.2. L’utilisation de l’arbre des objectifs

L'arbre des objectifs est un outil permettant de formaliser les objectifs stratégiques et
opérationnels de l'intervention publique. Il permet ainsi de structurer l'intervention publique selon
une arborescence à plusieurs niveaux. Chaque objectif répond, ainsi, à un ou plusieurs objectifs
du niveau supérieur. L'arbre fait généralement apparaître à minima les objectifs stratégiques et
opérationnels. En fonction de l'envergure de l'intervention publique ou de sa complexité, il peut
être nécessaire d'ajouter d'autres niveaux d'objectifs ou également les actions répondant aux
objectifs afin de clarifier la structure globale de l'intervention.

L'arbre des objectifs doit ainsi permettre de faire ressortir le chemin logique partant des finalités
de la politique publique aux actions envisagées.

Pour les services, la formalisation des objectifs permet le partage des enjeux et objectifs de
l'intervention publique au sein des équipes et facilite l'adhésion des acteurs internes et externes.
On les retrouve dans l'ensemble des documents structurant l'intervention publique : rapports en
assemblée, conventions, schémas, fiches projet etc...

L'existence d'un arbre des objectifs facilite le travail de l'évaluateur, qui dispose d'un référentiel
pour questionner la pertinence des actions menées par rapport aux besoins observés sur le
territoire et leur efficacité par rapport aux objectifs définis. A défaut d'une formalisation précise
au moment de la conception de la politique, l'évaluateur procède à la construction de l'arbre des
objectifs afin de construire le référentiel d'évaluation.

Figure 2 : exemple d’arbre des objectifs

Source : Evaluation de la plateforme téléphonique Info Alzheimer Hauts-de-Seine, 2012

15
2.3. Identification des parties prenantes

L'enjeu de définition du périmètre des acteurs concernés répond principalement au souci

d'assurer la pluralité des points de vue à travers la confrontation des conceptions et des attentes
des différentes parties prenantes.

2.3.1. Identification des parties prenantes, enjeu de conception et d'évaluation de l'action pu-
blique

S'interroger collectivement sur le sens de l'intervention publique permet, dès sa conception,

d'intégrer les objectifs et les attentes variés des différents acteurs et d'assurer une certaine
cohérence à l'action publique.

Peuvent être identifiés comme parties prenantes de l'intervention publique :

 les utilisateurs ou bénéficiaires (directs et indirects) de la prestation ou du service

concerné,
 les décideurs et financeurs définissant les orientations de l'intervention publique,
 les opérateurs assurant sa mise en œuvre (au sein des services centraux ou sur les
territoires mais aussi au sein des structures privées : entreprises prestataires,
associations...),
 les partenaires institutionnels (État, collectivités.) ou privés (entreprises, associations.)
agissant dans le même domaine.

Au moment de la conception de l'intervention, plusieurs questions peuvent se poser :

 Comment faire pour mobiliser les acteurs ?

 Comment les motiver en leur donnant une place et assurer une convergence d'intérêt
(les informer, les consulter, concerter avec eux, construire des partenariats, co-décider,
voire leur déléguer un pouvoir) ?
 Comment élargir notre réseau d'acteurs (benchmark d'acteurs, comités des publics,
mutualisation des réseaux personnels et professionnels) ?

Ces différents acteurs sont ensuite interrogés au moment de l'évaluation. Cette confrontation
des points de vue des personnes concernées par la politique peut être complétée par les
regards de personnes extérieures, d'experts du domaine, d'acteurs sociaux concernés en tant
que partenaires ou bénéficiaires.

Assurer la participation d'acteurs divers renvoie par ailleurs à la dimension démocratique de

l'évaluation qui permet d'éviter le point de vue univoque. Elle suppose toutefois de savoir choisir
la méthode de participation adaptée en fonction du temps et des ressources du projet ou de la
politique à conduire. On peut se poser différentes questions :

 Pour qui et avec qui faire l’évaluation ?

 Quelles sont les relations entre ces différents acteurs ? quelles sont les relations des
acteurs avec le Département ?

16
  Quelle est la place du Département (sous l'angle de ses compétences) vis-à-vis de ces
partenaires ? (exemple : quelle est sa place en tant que chef de file de l'action sociale ou
en tant que gestionnaire des collèges ?)
 Quelle place laisse-t-on à ces différents acteurs dans la démarche d'évaluation ?

2.3.2. Représentation des acteurs via un sociogramme

Le sociogramme des acteurs est un outil de l'évaluation. Il permet d'identifier et de représenter

sous forme cartographique, les acteurs directs et indirects intervenants au niveau d'une
politique, d'un programme ou d'une action publique.

La construction d'un sociogramme repose sur trois questions-clés :

 Qui ? : quels sont les acteurs et types d'acteurs qui participent ou bénéficient de la
politique publique ?
 Pourquoi ? : quel est le rôle de chaque acteur ? Quelles sont ses interactions avec les
autres acteurs / types d'acteurs identifiés
 Comment ? : dans quelle mesure les acteurs agissent ou bénéficient de la politique ?

Parmi les différents types d'acteurs identifiés, certains sont aisément identifiables tels que les
décideurs (élus, directeurs...), les bénéficiaires (directs et indirects), les partenaires (internes et
externes), les experts. D'autres seront identifiés au « cas par cas » en fonction de la politique.

Il n'existe pas de modèle unique de sociogramme. De même, un sociogramme n'est pas figé, il
évolue dans le temps en fonction de la place qui est prise par les acteurs à un instant T. Plus le
rôle d'un acteur sera fort, plus il sera placé au cœur du sociogramme. De même, plus
l'interaction entre les acteurs sera forte, plus ils seront proches dans le modèle de
représentation.

Un sociogramme n'est pas un organigramme, les acteurs apparaissent tous sur un même
niveau de représentation. Il s'agit de représenter les interactions entre chacun, sans présager
d'une hiérarchie qui pourrait exister par ailleurs.

Au moment de l'évaluation, l'utilisation du sociogramme des acteurs permet de positionner le

rôle de chacun dans la politique publique, et de cibler les acteurs à rencontrer et solliciter en
fonction des différentes phases et des besoins de l'évaluation.

2.4. Mise en place des indicateurs d'évaluation

Une fois les objectifs clairement définis, il est nécessaire d'y associer des indicateurs pour le
suivi régulier des actions mises en œuvre en vue d'atteindre la référence souhaitée.

2.4.1. Définition des indicateurs

Outils d'évaluation de la performance, les indicateurs permettent de mesurer le niveau d'activité,

d'efficacité, d'efficience, d'économie, de qualité, de délai et ainsi de rendre compte de l'impact
d'une action sur l'aspect financier, qualitatif, quantitatif, etc.

17
C'est une représentation, généralement chiffrée, de l'objectif défini à différents niveaux et mise à
jour à intervalles déterminés.

L'élaboration d'indicateurs présente plusieurs avantages. Cela permet ainsi de :

 Disposer d'un suivi régulier des actions mises en œuvre ;

 Objectiver une situation ou des évolutions empiriquement constatées ;
 Prendre des actions correctives si les résultats constatés sont différents de ceux
attendus ;
 Constituer un support de dialogue commun aux services et une base de communication
vers l'extérieur.

Différents types d'indicateurs peuvent être mobilisés :

 Indicateur de contexte : élément de diagnostic concernant un territoire ou une population

;
 Indicateur de réalisation : mesure de l'effectivité de la mise en œuvre de l'action ;
 Indicateur de moyen : mesure de la disponibilité, de l'affectation, du niveau de
consommation des moyens humains, matériels, financiers affectés aux actions évaluées
;
 Indicateur de résultats : mesure de l'atteinte des objectifs opérationnels ;
 Indicateur d'impacts : mesure de l'atteinte des objectifs stratégiques ou des finalités ;
 Indicateur de qualité : mesure des conditions dans lesquelles le service a été rendu,
c'est-à-dire le respect des procédures préalablement déterminées, ou la satisfaction des
bénéficiaires.

Si les indicateurs apportent un éclairage quantitatif indispensable à l'évaluation des actions, il

est nécessaire de les compléter d'éléments de compréhension qualitatifs qui permettent de
recontextualiser, d'illustrer et de mettre en perspective les indicateurs produits. Cette
complémentarité du quantitatif et du qualitatif permet d'enrichir les analyses produites et de
mieux cibler, les actions correctives mises en œuvre.

Exemples

Indicateurs relatifs à la mise en place d'un service expérimental d'aide et de soins à domicile en
direction des personnes âgées dépendantes :
o Indicateur de contexte : part des personnes âgées de plus de 65 ans sur le
territoire de l'expérimentation ;
o Indicateur de réalisation : taux de remplissage des places disponibles au sein du
dispositif ;
o Indicateur de moyen : taux d'utilisation de l'enveloppe financière dédiée à
l'introduction de nouvelles technologies au domicile des bénéficiaires ;
o Indicateur de résultats (lié à l'objectif opérationnel suivant : assurer une prise en
charge complète et sécurisée au domicile) : évolution de la répartition des
interventions réalisées par type (soins, aides à domicile, vie sociale...) ;
o Indicateur d'impacts (lié à l'objectif stratégique suivant : favoriser le maintien des
personnes âgées en perte d'autonomie à leur domicile) : taux de sorties
définitives du dispositif pour cause d'entrée en établissement ;
18
 o Indicateur de qualité : taux de satisfaction globale des bénéficiaires du service.

2.4.2. Méthodologie de mise en place d’indicateurs

La mise en place d'indicateurs répond aux étapes suivantes :

1. Identifier les objectifs nécessitant un suivi régulier, interne aux services et ceux qui
feront l'objet d'une évaluation ponctuelle.

2. Définir les indicateurs en lien avec les objectifs de l'intervention publique et en

concertation avec les acteurs de terrain et les services chargés de la mise en œuvre. La
périodicité retenue pour le recueil des indicateurs doit être réaliste et adaptée à chaque
type d'indicateur.

3. Vérifier la pertinence des indicateurs retenus en les testant sur un échantillon pour éviter
les biais ;

4. Définir des normes et des valeurs cibles par rapport à des données internes (historiques
ou prévisionnelles) ou par comparaison externe qui seront constitutifs d'un point zéro.

5. Mettre en place les modalités de recueil en s'appuyant notamment sur les systèmes
d'information existants au sein de la collectivité (cela implique de vérifier que les
données sont bien renseignées et que les indicateurs obtenus sont solides et
exploitables).

6. Outiller les personnes chargées de suivre les indicateurs en s'appuyant notamment sur
une fiche indicatrice détaillée servant de référence commune à l'ensemble des acteurs
concernés.

7. Sensibiliser les agents au recueil et à l'utilisation des données afin de garantir la fiabilité
des indicateurs et la précision des analyses tirées de ces indicateurs.

Trois critères permettent de définir des indicateurs pertinents :

o Disponibilité des données : l'indicateur doit être enseignable. Les données

servant au calcul de l'indicateur doivent être disponibles ou aisément
mobilisables.
o Précision : l'indicateur doit permettre une analyse précise de la situation.
o Utilité : le nombre d'indicateurs choisis doit être restreint. Les indicateurs les plus
pertinents sont ceux correspondant à des objectifs et résultats attendus.

19
 Tableau 5 : bonnes pratiques pour la mise en place des critères

Bonnes pratiques

 Veiller à instaurer une cohérence d'ensemble pour que les indicateurs des différents services ne
soient pas en contradiction les uns avec les autres.

 Être attentifs aux indicateurs de réalisation : s'ils sont les plus simples à établir, ils ne permettent
pas à eux seuls d'apporter une information pertinente pour la mesure de la performance ; ils sont
uniquement descriptifs.

 Éviter de se focaliser sur l'atteinte du seul indicateur en oubliant la qualité de la mise en œuvre.

 Opérer avec prudence lors de la comparaison avec des valeurs externes, au regard des
politiques et objectifs particuliers définis par chaque collectivité et des situations propres
contextuelles.

Source : http://www.sfe-asso.fr/content/recensement-des-outils-pratiques-devaluation

20
III. DEMARCHE D’EVALUATION DES POLITIQUES PUBLIQUES

Le choix de la démarche d'évaluation dépend de l'envergure de l'intervention publique et des

objectifs de l'évaluation. On distingue principalement deux démarches d'évaluation : le suivi
évaluation et les missions d'évaluation ponctuelles.

3.1. Choix de la démarche d'évaluation

Dans le cas de dispositifs innovants ou importants (budget, ressources humaines,

stratégique...), les techniques de l'évaluation peuvent appuyer le pilotage par la mise en place
d'un système de suivi-évaluation. Il vient ainsi compléter une évaluation ponctuelle. Dans tous
les cas, il apparaît nécessaire de proportionner la démarche d'évaluation au dispositif évalué.

3.1.1. Suivi-évaluation

Le suivi-évaluation permet d'apprécier en continu, au cours de la mise en œuvre de l'interven-

tion publique, l'effectivité des réalisations envisagées et les effets à court terme au regard des
objectifs définis. Ainsi, le plan d'action peut rapidement être réorienté et amélioré, si nécessaire,
sans attendre une évaluation finale ou à mi-parcours. Il est réalisé par le service responsable de
l'action ou de la politique publique évaluée.

3.1.2. Missions d'évaluation ponctuelles de politiques publiques

Les démarches d'évaluation ponctuelles (évaluation ex-ante, in itinere ou ex-post) permettent

une prise de recul sur les objectifs de l'intervention publique et ses effets y compris à long
terme. Conformément au principe de distanciation, la constitution d'une équipe d'évaluation ex-
terne à l'intervention publique est préférable pour ces démarches dont l'enjeu est de pouvoir ap-
porter de nouvelles perspectives à l'action publique.

Ces deux démarches ne sont pas exclusives l'une de l'autre mais, au contraire, complémen-
taires (cf. tableau ci-dessous). La mise en place d'un suivi-évaluation dès la conception de la
politique publique facilite les démarches d'évaluations ponctuelles. Le suivi- évaluation enrichit
l'évaluation de politique publique par l'ensemble des données recueillies et permet de centrer
l'évaluation sur les besoins, les impacts et le cadre coopératif, l'effectivité des actions et leurs ef-
fets à court terme étant déjà connus.

21
 Tableau 6 : suivi évaluation et mission d’évaluation des politiques publiques

Suivi évaluation Mission d'évaluation des

politiques publiques

Adapter « en temps réel » l'intervention Prendre du recul par rapport à la gestion

publique menée sur la base d'éléments
objectivés.
Objectifs
Eclairer le pilotage d'une politique publique
par des éléments d'analyse qualitative
associant l'ensemble des parties prenantes.
quotidienne et adopter une vision transversale
de l'action ou de la politique publique évaluée.
Apporter des éléments d'aide à la décision
pour faire évoluer, sur le long terme,
l'intervention publique.

Associer des outils de pilotage issus des Mobiliser un panel large de méthodes de
unités en charge de l'observation, du suivi, de
Modalités de mise recueil des données issues des sciences
en œuvre l'analyse de l'activité et du contrôle de gestion sociales afin de croiser les points de vue de
(construction d'indicateurs et de tableau de l'ensemble des parties prenantes à l'action
oeuvreObjectifs
bord) et des méthodes évaluatives plus publique évaluée.
qualitatives (entretiens individuels ou
collectifs, suivi de cohorte).

Anticipation
Organiser la démarche et les moyens de
suivi-évaluation au moment de la conception
de l'intervention publique afin d'être en
capacité de l'initier dès le début de la mise en
œuvre des dispositifs.
Points de vigilance
Proportionnalité
Proportionner le dispositif de suivi- évaluation
à l'action ou à la politique publique
concernée. Le suivi-évaluation constitue un
appui au pilotage et ne doit pas peser de
manière disproportionnée sur la gestion
quotidienne (temps dédié, moyens affectés).
Opportunité
Veiller à l'opportunité de la démarche.
L'évaluation des politiques publiques est un
outil d'aide à la décision qui a vocation à
améliorer, changer l'intervention publique. Le
contexte doit ainsi être favorable à ces
potentiels changements.
Portage politique et hiérarchique
S'assurer d'un portage politique et/ou
hiérarchique fort. Une évaluation est une
démarche longue qui nécessite la coopération
de chacun dans la préparation et la conduite
de l'évaluation. Elle induit également des
changements potentiellement importants qui ne
peuvent être mis en œuvre sans décision
politique ou stratégique.

Source : http://www.sfe-asso.fr/content/recensement-des-outils-pratiques-devaluation

3.2. Pilotage de la démarche

A l’instar de tout projet, une démarche d’évaluation est pilotée par un système de gouvernance
spécifique positionnant chacun des acteurs dans un rôle précis. En application du principe de
responsabilité de la charte de l’évaluation, les rôles de chacun sont définis dès la préparation de
l’évaluation afin d’assurer le bon déroulement de la mission d’évaluation.

3.2.1. Acteurs participant à la démarche d'évaluation

22
  Les décideurs

Les décideurs sont les élus et/ou les membres du comité de direction qui sont décisionnaires
dans le pilotage et la mise en œuvre de la politique ou de l'action évaluée. En tant que comman-
ditaires de l'évaluation, ils ont la responsabilité de définir les objectifs et le périmètre de l'évalua-
tion, d'acter les conclusions de l'évaluation et de définir le plan d'action sur la base des préconi-
sations.

 Les évaluateurs

Les évaluateurs sont chargés de proposer la méthodologie d'évaluation et de la mettre en

œuvre.
Dans le cadre d'un suivi évaluation, les services opérationnels peuvent être évaluateurs du dis-
positif ou de l'action qu'ils mettent en œuvre. La différenciation des rôles entre décideurs et opé-
rationnels est, dès lors, importante afin de se conformer au principe de distanciation posé par la
charte de l'évaluation. En outre, la fiabilité de l'évaluation est garantie par le respect du cadre
méthodologique posé en début d'évaluation ainsi que par le temps spécifique donné à l'évalua-
teur pour assurer cette mission.

Dans le cadre d'une mission ponctuelle d'évaluation réalisée par l’ISCA, une équipe de chargés
d'évaluation est missionnée pour la réalisation de l'évaluation.

Dans tous les cas, l'évaluation peut être externalisée à un prestataire extérieur en particulier
lorsque le périmètre ou les méthodes évaluatives envisagées requièrent des connaissances ou
une technicité particulière.

 Les services opérationnels

Dans une logique de co-construction, l'équipe d'évaluation travaille toujours en collaboration

avec les services opérationnels. Outre le fait qu'ils disposent des connaissances et des sources
de données indispensables à la conduite de l'évaluation, leur participation active permet d'assu-
rer des travaux de qualité et faciliter leur appropriation des constats posés par l'évaluation et, in
fine, la mise en œuvre du plan d'actions.

Cette participation s'incarne notamment par la désignation d'un référent, interlocuteur privilégié
de l'équipe d'évaluation.

 Les partenaires, les bénéficiaires et les citoyens

En réponse à la dimension pluraliste de l'évaluation, les partenaires et les bénéficiaires de la po-

litique évaluée sont, a minima, consultés lors de la phase de récolte de donnée. Dans une dé-
marche plus participative, ils peuvent également être associés à la construction des préconisa-
tions et à la définition du plan d'action voire aux instances de pilotage. Dans la cadre de la finali-
té démocratique de l'évaluation, les citoyens peuvent également être associés à l'évaluation afin
de faire valoir leur point de vue sur les objectifs et les modalités de mise en œuvre de la poli-
tique publique.

23
3.2.2. Instances de pilotage d'une démarche d'évaluation

Une démarche d'évaluation est pilotée par différentes instances qui regroupent les acteurs
précédemment identifiés.

 Le comité technique

Le comité technique associe l'équipe d'évaluation et le référent des services opérationnels. Il

suit l'avancée des travaux, facilite leur mise en œuvre (mise à disposition de la documentation,
orientation vers les interlocuteurs pertinents...) et prépare les décisions prises par le comité de
pilotage.

 Le comité de pilotage

Le comité de pilotage est composé, a minima :

 de l’élu et/ou du Responsable en charge de la politique évaluée,

 des services opérationnels
 de l’équipe d’évaluation

Il se réunit aux étapes clés de la mission d'évaluation afin d'acter la démarche d'évaluation
proposée par les évaluateurs (validation du plan d'intervention) et de décider des suites
données sur la base des constats et des préconisations du rapport d'évaluation.

Dans le cadre d'une démarche d'évaluation participative, le comité technique et le comité de

pilotage peuvent être élargis à des experts de la thématique évaluée, des partenaires, des
bénéficiaires voire des citoyens. Dans ce cadre, l'enjeu n'est pas seulement de recueillir leurs
points de vue mais de les associer à la conception de la démarche évaluative, à sa mise en
œuvre, à l'élaboration des constats et/ou des préconisations voire à la définition du plan
d'action. On se place ici dans une logique de co-construction voire de co-production de
l'évaluation.

3.2.3. Étapes de la démarche évaluative

Si le suivi-évaluation et l'évaluation ponctuelle répondent à des enjeux différents, les deux

démarches se structurent selon les trois étapes suivantes :

 La préparation de l'évaluation permet d'organiser le projet d'évaluation, d'en définir les

objectifs et le périmètre et de construire le questionnement évaluatif ;

 La réalisation de l'évaluation renvoie à la phase de recueil des données de l'évaluation

via des méthodes quantitatives ou qualitatives qui permettent ensuite d'élaborer les
constats et les préconisations constitutifs du rapport d'évaluation ;

 L'utilisation de l'évaluation renvoie aux phases suivant la remise des conclusions de

l'évaluation à savoir la mise en œuvre du plan d'action et la communication des résultats
de l'évaluation.

24
Ces étapes peuvent être schématisées comme suit :

Figure 3 : démarche de l’évaluation

Source : http://www.sfe-asso.fr/content/recensement-des-outils-pratiques-devaluation

3.3. La préparation de l'évaluation

La qualité de l’évaluation est assez directement dépendante de cette phase de préparation. Le

travail préparatoire permet ainsi de garantir l’utilité de l’évaluation pour le commanditaire ainsi
que l’adéquation de la méthode avec les objectifs initiaux de l’évaluation.

3.3.1. L’importance de la phase d’évaluation

La période de préparation de l'évaluation est une étape charnière des démarches d'évaluation.
Elle se décompose en deux sous- étapes que sont la définition de la commande et la
construction de la méthode d'évaluation qui ont pour objectifs de :

 préciser les attentes du commanditaire et le contexte ;

 structurer l'intervention des évaluateurs.

Le commanditaire est chargé de définir la commande d'évaluation. Il doit ainsi :

 déterminer les objectifs de l'évaluation (quels sont les problèmes identifiés ? quel doit
être l'apport de l'évaluation par rapport à ces problèmes ?) ;
 arrêter le périmètre de l'évaluation (quels sont les volets de la politique publique ou les
actions concernés ? un approfondissement thématique ou territorial est-il nécessaire ?) ;
 s'assurer de l'opportunité de l'évaluation (dans quel contexte s'inscrit l'évaluation ?
quelles sont les évolutions possibles suite à l'évaluation ?).

L'évaluateur construit la méthode d'évaluation à partir de la commande ce qui lui permet de :

 définir les questions évaluatives ;

 élaborer le référentiel d'évaluation ;
 proposer les méthodes de recueil de données ;
25
  identifier les sources de données disponibles.

Si le rôle du commanditaire et de l'évaluateur sont distincts, le dialogue entre les deux acteurs
doit être permanent pendant la phase de préparation. En effet, la construction de la méthode
d'évaluation nécessite une réinterprétation de la commande d'évaluation et donc une bonne
compréhension de celle-ci. L'évaluateur doit assez rapidement saisir les enjeux de l'évaluation
afin de proposer une méthode permettant de répondre aux questions posées par le
commanditaire. A l'inverse, la méthode d'évaluation doit être comprise et acceptée par le
commanditaire. De cette compréhension mutuelle dépend la qualité de l'évaluation ainsi que
l'utilisation des résultats et la mise en œuvre des préconisations de l'évaluation. Une lettre de
mission signée du commanditaire à l'attention de l'évaluateur permet d'acter officiellement le
cadre et les attendus de l'évaluation, et en particulier le calendrier et les livrables définis.

3.3.2. Les outils de la préparation d'une évaluation

Afin de formaliser la commande et la méthodologie d'évaluation, deux outils sont utilisés :

 le cahier des charges et
 le plan d'intervention.

A. La formalisation d'une commande d'évaluation : le cahier des charges.

Le cahier des charges est rempli par le commanditaire à l'attention de l'évaluateur. Il s'articule
autour de trois points à remplir.

1. Le contexte

Après un descriptif de la politique à évaluer (historique, données clés, budget), le commanditaire

présente les objectifs de la politique, les acteurs concernés (services du Département,
partenaires extérieurs, bénéficiaires), les éléments déclencheurs (constats ou
dysfonctionnements qui ont conduit à demander l'évaluation) et l'opportunité de l'évaluation
(contexte, évolutions législatives, enjeux départementaux qui permettent d'envisager une
évolution de la politique ou du dispositif).

2. Le champ de l'évaluation

Le commanditaire renseigne les objectifs de l'évaluation (principales questions auxquelles devra

répondre l'évaluation) et le périmètre de l'évaluation (actions, dispositifs concernés, périodes,
territoires et/ou populations sur lesquels l'évaluation devra se concentrer).

3. Les attentes du commanditaire

Le commanditaire précise ses éventuelles attentes méthodologiques en termes d'investigation

(souhait spécifique : rencontre avec les partenaires, avec les bénéficiaires, mise en place d'une
enquête quantitative, analyse de dossiers, observation...) et de contraintes calendaires.

26
B. La formalisation d'une méthodologie d'évaluation : le plan d’intervention

Rédigé par l'évaluateur, le plan d'intervention reprend le contexte de l'évaluation, l'opportunité

de l'évaluation ainsi que le périmètre en réinterprétant les éléments présentés dans le cahier
des charges. L'intérêt est notamment de prendre de la distance par rapport au contexte posé
par le commanditaire afin éventuellement d'y apporter des éléments nouveaux (lecture
transversale du sujet, évolutions nationales, enjeux territoriaux.)

L'évaluateur s'appuie en particulier sur l'arbre des objectifs et le sociogramme des acteurs pour
définir la méthodologie de l'évaluation. En leur absence préalable, ces outils sont construits par
l'évaluateur durant la phase de préparation.

Le plan d'intervention détaille :

 les questions évaluatives : présentation des critères d'évaluation retenus et formulation

des questions évaluatives ;

 la méthodologie d'intervention : présentation des méthodes d'investigations mobilisées

au cours de l'évaluation (entretiens individuels et/ou collectifs, enquête, analyse
statistique, benchmark) ;

 les instances de suivi : composition des instances de pilotage et de suivi ;

 le calendrier et les livrables : délais de réalisation des différentes étapes, échéances et

livrables finaux.

3.4. La réalisation de l’évaluation

3.4.1. Définition des questions évaluatives

Afin d’apprécier la valeur d’une politique publique ou d’une action, six critères sont retenus. Ils
permettent d’analyser l’ensemble des dimensions de l’intervention publique.

A partir de besoins identifiés sur un territoire ou pour une population, les objectifs d'une
intervention publique sont définis. Ces objectifs sont mis en œuvre par des actions et des
moyens associés. La mise en œuvre des actions permet la production de résultats à moyen et
long terme, ces résultats ont un impact sur le territoire et la population, ils produisent un
changement qui fait évoluer les besoins.

Les six critères de l'évaluation des politiques publiques permettent de mettre en lien l'ensemble
de ces éléments afin d'analyser la politique publique dans sa globalité.

Pertinence : l’intervention répond-elle au problème ?

Dans quelle mesure les objectifs répondent-ils aux besoins de la population et du territoire ?

27
Le critère de la pertinence permet d'évaluer l'adéquation des objectifs de l'intervention aux be-
soins du territoire et de la population. Dès lors, les objectifs assignés à l'intervention doivent
préalablement être connus. Les besoins sociaux, les problèmes visés par l'intervention publique
doivent également pouvoir être identifiés au cours de l'évaluation. Ce critère questionne le fon-
dement même de l'intervention publique évaluée. Il peut ainsi impliquer une remise en cause
forte de l'intervention publique et des préconisations pouvant réorienter le dispositif (renouvelle-
ment des objectifs par exemple en termes de population cible) ou arrêter un dispositif. Il sup-
pose donc l'existence de marges de manœuvre ainsi que l'acception du commanditaire pour
changer en profondeur l'action publique.
Cohérence : l’intervention s’accorde-t-elle avec les autres interventions menées ?
Dans quelle mesure les actions et les moyens mis en œuvre permettent-ils d'atteindre les objec-
tifs ?
On distingue :
 un critère de cohérence interne qui permet d'évaluer si les actions et les moyens mis à
disposition sont en mesure de permettre l'atteinte des objectifs. Il permet en particulier
d'étudier la complémentarité des actions évaluées avec les autres actions menées au
sein de la collectivité.

 un critère de cohérence externe qui permet d'évaluer la complémentarité de l'interven-

tion publique évaluée avec celle d'autres acteurs, publics et privés portant sur la même
thématique (clarté des périmètres d'actions, modalités de coordination...).
Ce critère d'évaluation apparaît ainsi particulièrement intéressant pour évaluer les interventions
publiques transversales, qui couvrent plusieurs directions ainsi que des politiques publiques im-
pliquant de nombreux partenaires.

Efficacité : l’intervention atteint-elle ses objectifs ?

Dans quelle mesure les objectifs ont-ils été atteints au regard des résultats produits ?
Ce critère d'évaluation s'intéresse aux résultats produits par l'intervention publique en les com-
parant aux objectifs initiaux. Il permet ainsi d'évaluer l'effectivité des actions envisagées (les ac-
tions ont-t-elles été mises en œuvre ?) et les résultats produits (positifs ou négatifs) pour la po-
pulation cible. L'efficacité d'une intervention publique s'analyse toujours au regard des objectifs
fixés et des résultats attendus. Une intervention peut avoir des effets positifs mais si ceux-ci ne
correspondent pas aux objectifs initiaux, cela démontre un défaut de conception de la politique
publique

Efficience : les ressources sont-elles utilisées de manière optimale ?

Dans quelle mesure les résultats produits ont- ils été atteints avec une utilisation optimale des
moyens ?

28
Ce critère d'évaluation compare les résultats obtenus aux moyens humains, financiers et maté-
riels utilisés pour la mise en œuvre des actions. Il permet ainsi d'évaluer si :
 une utilisation différente des moyens permettrait d'améliorer les résultats ;
 une augmentation des moyens permettrait d'améliorer les résultats ;
 une diminution des moyens permettrait d'atteindre des résultats équivalents voire de les
améliorer.
Le critère de l'efficience est souvent associé au critère de l'efficacité, les deux critères permet-
tant en effet de qualifier la performance de l'intervention publique (relation entre les objectifs, les
moyens et les résultats), en particulier dans un contexte financier de plus en plus contraint qui li-
mite les moyens mis à disposition de l'action publique.

Impact : quelle différence l’intervention fait-elle ?

Mesure dans laquelle l’intervention a produit, ou devrait produire, des effets importants et de
vaste portée, positifs ou négatifs, intentionnels ou non.

Le critère d’impact porte sur l’importance ultime et les effets potentiellement transformateurs de
l’intervention. Il vise à déterminer quels sont ses effets sociaux, environnementaux et
économiques à plus long terme ou à plus vaste échelle que ceux déjà évalués au titre du critère
d’efficacité. Au-delà des résultats immédiats, le critère d’impact vise à évaluer les conséquences
indirectes, secondaires et potentielles de l’intervention, à travers l’examen des évolutions
globales et durables des systèmes ou des normes, ainsi que des effets potentiels sur le bien-
être des populations, les droits humains, l’égalité des sexes et l’environnement.

Viabilité/durabilité : les bénéfices sont-ils durables ?

Mesure selon laquelle les bénéfices nets de l’intervention perdureront ou sont susceptibles de
perdurer.
Sont englobés l’examen des capacités financières, économiques, sociales, environnementales
et institutionnelles des systèmes nécessaires à la continuité des bénéfices nets dans le temps.
Cela comprend les analyses de la résilience, des risques et des arbitrages potentiels entre
priorités. Selon le moment où l’évaluation est effectuée, ce processus permettrait d’analyser le
flux réel de bénéfices nets ou à estimer la probabilité que les bénéfices nets perdurent à moyen
et long terme.

3.4.2. Recueil des données

Suite à la validation du plan d’intervention, l’équipe d’évaluation lance la phase de réalisation de

l’évaluation qui permet le recueil de l’ensemble des données nécessaires à l’élaboration des
constats et des préconisations. Les données recueillies doivent en effet permettre de répondre
aux questions évaluatives définies dans le plan d’intervention.

29
L’évaluation s’appuie sur de nombreuses méthodes de recueil des données qui mêlent des
techniques dites quantitatives (qui s’appuient sur des chiffres) à des techniques qualitatives (qui
s’appuient sur des mots).

La combinaison de plusieurs méthodes d’enquête est nécessaire pour assurer la fiabilité des
conclusions de l’évaluation ainsi que le respect du principe de pluralité de l’évaluation.

 Objectiver la situation par des données quantitatives

L'exploitation de données d'activité et des indicateurs d'évaluation donne de la visibilité sur les
réalisations et les résultats de l'action publique. Cela suppose la mise en place au moment de la
définition de l'action publique d'un système de pilotage et d'évaluation en capacité de produire
de tels indicateurs. Elle pose un diagnostic objectif, complété par les autres éléments recueillis
lors de l'évaluation.

L'enquête par questionnaire est mobilisée afin d'identifier les caractéristiques d'une large popu-
lation et de recueillir leurs avis sur la politique évaluée. Elle permet de dégager de grandes ten-
dances, à partir de résultats chiffrés, autour des pratiques et de perception des personnes inter-
rogées Le questionnaire comprend en majorité des questions fermées (le répondant a le choix
entre plusieurs réponses), complétées par quelques questions ouvertes (le répondant est libre
de sa réponse). Le questionnaire peut être rempli par le répondant lui-même ou bien par un en-
quêteur.

 Expliquer la situation grâce aux données qualitatives

L'analyse documentaire de l'ensemble des documents stratégiques, opérationnels, budgétaires

permet de comprendre le cadre stratégique et les modalités de mises en œuvre de l'intervention
publique évaluée. Elle permet également de collecter et d'étudier les données dites secondaires
à savoir l'ensemble des données produites par un autre acteur sur le sujet étudié et qui consti-
tuent une source d'information souvent importante. La phase d'analyse documentaire est incon-
tournable et peut être initiée dès la phase de préparation de l'évaluation afin de se familiariser
avec la thématique évaluée.

L'entretien individuel est utilisé pour recueillir les analyses et les points de vue des personnes
concernées (sur le contexte et l'historique, les modalités et les difficultés de mise en œuvre, les
effets perceptibles, les modes de coopération entre acteurs...). L'entretien permet un approfon-
dissement des éléments mis en avant lors de l'analyse documentaire et l'exploitation des don-
nées, d'élargir le champ d'analyse et de faire émerger le positionnement et les propositions des
acteurs. L'entretien se construit autour d'un guide plus ou moins contraignant (questions plus ou
moins fermées, place donnée à l'échange libre avec la personne plus ou moins forte).

L'entretien collectif (ou focus group) peut être mobilisé pour analyser un sujet complexe auprès
d'un groupe d'acteurs homogène (exemple : acteurs ayant des missions similaires mais interve-
nant auprès de populations différentes ou dans des territoires différents) ou afin de confronter
les points de vue de différents acteurs autour d'un sujet controversé. En phase d'élaboration des
préconisations, l'entretien collectif peut également être utilisé en temps de travail collectif pour
faire émerger un consensus autour de propositions innovantes. L'animation des entretiens col-

30
 lectifs doit être de qualité et veiller aux effets de groupe pouvant limiter la liberté de parole des
participants.

L'étude de cas permet une analyse approfondie, à partir de données chiffrées et issus d'entre-
tiens, de certaines situations spécifiques (territoire, groupes de personnes, projets,...) afin d'illus-
trer concrètement les modalités de mise en œuvre de l'intervention publique.

Le parangonnage (ou benchmark) consiste en une analyse comparative de l'intervention pu-

blique évaluée avec son équivalent dans d'autres territoires. Il offre une mise en perspective de
la politique évaluée et permet d'identifier des pratiques différentes pouvant inspirer des proposi-
tions d'évolutions par exemple.

Tableau 7 : méthodes de recueil du point de vue du bénéficiaire

Recueillir le point de vue du bénéficiaire : quelles méthodes choisir ?

Conformément au principe de pluralité, le recueil du point de vue des bénéficiaires de l'action publique
est essentiel à la qualité de l'évaluation et à la pertinence des conclusions quant à l'efficacité et l'utilité de
l'action publique. Selon les bénéficiaires ciblés et les objectifs de l'évaluation, diverses méthodes peuvent
être mobilisées.

Enquête par Entretien Entretien

questionnaire individuel collectif

Interroger un nombre important Recueillir des analyses plus Confronter les points de vue et aboutir à
Objectifs de bénéficiaire pour dégager riches auprès d'un nombre des consensus au sein d'un groupe des
des tendances générales. réduit des bénéficiaires. bénéficiaires.

Échantillon large et représentatif Échanges permettant d'aborder Recueil d'éléments qualitatifs auprès de
de bénéficiaires le ressenti des bénéficiaires et plusieurs bénéficiaires simultanément.
des questions complexes.
Avantages Coût réduit par rapport aux Appropriation par le groupe des constats
entretiens. Recueil d'éléments qualitatifs conjointement élaborés.
ne nécessitant pas une
forte représentativité du panel
de bénéficiaires interrogés.

Nécessité d'un nombre Disponibilité importante de Composition du groupe devant

suffisamment important de
Points de personnes interrogées pour des
vigilance données chiffrées significatives
et une fiable exploitation des
résultats.
l'équipe d'évaluation. permettre l'expression de chacun
Qualité de l'animation devant canaliser
la discussion afin d'aboutir à des
éléments exploitables

Source : http://www.sfe-asso.fr/content/ressources-sur-levaluation

31
3.4.3. Élaboration des constats et des préconisations

À partir des données collectées, l’évaluateur pose des constats qui doivent répondre aux
questions évaluatives posées lors de la phase de préparation de l’évaluation. Les constats
permettent ensuite à l’évaluateur de formuler des préconisations qui ont vocation à remédier
aux difficultés identifiées et à améliorer l’action publique.

Formulation des conclusions de l’évaluation…

À partir des données collectées, l'évaluateur pose des constats basés sur :

 le croisement des données quantitatives et des éléments qualitatifs qui permet de faire
ressortir des faits objectivés, contextualisés et analysés ;

 le croisement des points de vue des différents acteurs qui permet en particulier de
mettre en évidence les points de convergence et de divergence des acteurs ainsi que
les perceptions sur une politique ou une action publique.

Cela donne lieu à un rapport d'évaluation (pouvant prendre des formes variées : rapport écrit,
présentation synthétique, schématisations, vidéo...) qui est remis au commanditaire.

pour éclairer la décision du commanditaire.

La construction des préconisations répond à la finalité décisionnelle de l'évaluation.

Les constats permettent de produire de la connaissance (finalité cognitive de l'évaluation) et
d'apprécier la politique ou le dispositif évalué (finalité normative). Les préconisations vont au-
delà et permettent de conseiller, d'éclairer le commanditaire sur des actions futures à mettre en
œuvre afin d'améliorer le dispositif évalué par des ajustements, le prolonger, le réorienter, le
transformer, le réinventer voire l'arrêter.

En fonction des moments de l'évaluation, les préconisations seront de nature différente.

Lors d'une évaluation ex-ante (en amont de la politique publique, au moment de sa conception),
les préconisations de l'évaluation portent sur la faisabilité de l'intervention et les modalités
possibles de sa mise en œuvre afin de répondre aux objectifs envisagés (exemple : proposition
de ciblage d'un certain type de public en fonction des besoins identifiés).

En évaluation in itinere (en cours de mise en œuvre de la politique évaluée), les préconisations
porteront sur des améliorations à apporter dans une visée d'efficacité, d'efficience ou de
cohérence du dispositif (exemple : propositions de modalités de coordination entre services ou
avec des partenaires).

En évaluation ex post (en fin d'intervention), les préconisations porteront sur la reconduction ou
non et le cas échéant sur les améliorations à envisager dans la perspective d'une poursuite.
Les préconisations sont directement liées aux objectifs de l'évaluation, aux questions
évaluatives, et aux constats de l'évaluation. La question de leur élaboration est assez délicate
en raison du caractère ambivalent du positionnement de l'évaluateur. L'évaluation doit, en effet,
32
répondre à un principe de distanciation, de neutralité par rapport au processus d'élaboration et
de gestion de la politique publique mais elle doit aussi aider à la décision et être utile au
commanditaire. L'évaluateur doit ainsi garder dans cet exercice une vision assez neutre et
extérieure.

Les préconisations peuvent être de deux ordres :

 des préconisations opérationnelles qui sont liées aux conditions de mise en œuvre du
dispositif ou des actions proposées et peuvent être mis en œuvre à court terme par la
direction commanditaire [Exemple : Faciliter le suivi et le contrôle de l'activité en
choisissant des indicateurs utiles et contrôlables (nombre d'ouvertures de droits, nombre
de bénéficiaires accompagnés, nombre de sorties du dispositif] ;

 des propositions d'ordre stratégique, des orientations face à des problèmes constatés et
qui demandent un travail de réflexion et d'approfondissement par la direction
commanditaire [Exemple : Revoir le périmètre des publics nécessitant un
accompagnement spécifique].

Il est intéressant de présenter les préconisations sous forme de différents scénarii, de présenter
l'éventail des solutions envisageables ainsi que leurs avantages et inconvénients.

Afin de s'assurer du caractère réaliste des préconisations et de leur utilité, il est nécessaire de
s'appuyer sur des échanges réguliers avec la direction commanditaire tout au long de la mission
d'évaluation et de prévoir des temps d'échanges spécifiques sur la construction des
recommandations. Cela garantit une meilleure appropriation des propositions et facilite la mise
en œuvre du plan d'action décidé.

Co- construction des préconisations

La co-construction des préconisations renvoie à l'association des parties prenantes de la

politique ou du dispositif à l'élaboration des préconisations de l'évaluation.
Elle n'est pas toujours adaptée mais elle peut s'avérer nécessaire pour tenir compte de la réalité
des usages, tester la recevabilité et la faisabilité des recommandations ou encore imaginer des
solutions innovantes.
Concrètement, la co-construction peut prendre des formes variées : constitution d'ateliers de
travail permettant d'enrichir les préconisations proposées par l'équipe d'évaluateurs, ateliers
collaboratifs pour mettre en débat les résultats de l'évaluation et imaginer les actions à mettre
en œuvre.

3.5. Utilisation des travaux d’évaluation

3.5.1. Définition et mise en œuvre du plan d’action

L'évaluation ne prend pas fin au moment du rendu du rapport d'évaluation. Afin de s'assurer de
l'utilisation des travaux d'évaluation, l'accompagnement de l'évaluateur se poursuit au moment
de la définition du plan d'action par le commanditaire puis de sa mise en œuvre.

33
  La définition d’un plan d’action

L'échange sur les constats et les préconisations.

Suite au rendu du rapport d'évaluation, l'organisation d‘un temps d'échange entre l'évaluateur et
le commanditaire, par exemple dans le cadre d'un comité de pilotage, apparaît primordial pour
l'appropriation des résultats de l'évaluation.

Il permet de :

 Corriger les éventuelles erreurs factuelles que peut avoir commis l'évaluateur au sein du
rapport ;
 Expliciter les constats établis et en échanger librement avec le commanditaire ;
 Partager les préconisations élaborées par l'évaluateur et échanger sur leur faisabilité.

Cet échange assure une meilleure compréhension et appropriation des constats et

préconisations par le commanditaire.

Néanmoins, l'appropriation des résultats d'une évaluation ne se jouent pas seulement au

moment de ce temps d'échange spécifique. Elle est garantie par un système de pilotage
intégrant le commanditaire et les services opérationnels tout au long du processus d'évaluation.

L'élaboration du plan d'action

L'élaboration du plan d'action résultant de l'évaluation est de la responsabilité du
commanditaire. Pour établir ce plan d'action, le commanditaire reprend tout ou partie des
préconisations ou choisit parmi les scénarios proposés par l'évaluateur et en définit les
modalités opérationnelles.

L'évaluateur n'a pas de rôle décisionnaire dans l'élaboration du plan d'action mais constitue une
aide à la décision. A ce titre, il est garant du respect de l'intégrité des constats qu'il a formulé et
des préconisations émises. Il a notamment un rôle d'alerte si le plan d'action omet des
préconisations importantes, si des points de dysfonctionnements ne sont pas traités par le plan
d'action ou si les actions envisagées risquent de déstabiliser les conditions de mises en œuvre
de la politique évaluée.

 La mise en œuvre et le suivi du plan d'action

La responsabilité de la mise en œuvre du plan d'action revient au commanditaire et aux services

opérationnels désignés. Le commanditaire fixe ainsi, dans le plan d'action, des échéances et un
pilote responsable de la mise en œuvre de chaque action.
L'appropriation des résultats de l'évaluation par le commanditaire prend tout son sens durant
cette phase de mise en œuvre. Plus le commanditaire s'approprie les constats posés, plus il
sera en mesure de porter les changements décidés au travers du plan d'action auprès de
l'ensemble des acteurs concernés (services opérationnels, partenaires, bénéficiaires...). La mise
en œuvre du plan d'action est d'ailleurs facilitée par une communication des résultats de
l'évaluation auprès des acteurs concernés.

Dans le cadre de son activité, l'évaluateur peut assurer un suivi de ce plan d'action.

34
 Le suivi des recommandations dure un à deux ans après la finalisation de la mission
d'évaluation en fonction de l'avancée du plan d'action.

Tableau 8 : Exemple de tableau de suivi des recommandations

Acteurs
Point d'avancement Etat de
Actions à mettre en œuvre responsables de la Délais de mise en Commentaires
Selon l'évalué réalisation
mise en œuvre œuvre
AXE 1 : Stratégie

Source : http://www.sfe-asso.fr/content/ressources-sur-levaluation

3.5.2. Communication des résultats

La diffusion des résultats revêt un caractère particulièrement nécessaire dans la démarche

d'évaluation. C'est en effet, une condition de l'utilisation et de l'utilité de l'évaluation qui néces-
site de développer une stratégie adaptée.

 Les objectifs de la communication de l'évaluation

La communication des résultats de l'évaluation a plusieurs objectifs. Elle permet de :

Rendre compte au commanditaire de l'évaluation.

Le commanditaire est le premier destinataire des résultats de l'évaluation. La communication
écrite des conclusions et recommandations ainsi que les temps de restitutions doivent permettre
au commanditaire de comprendre et de s'approprier les résultats en vue de décider des suites à
donner. La communication au commanditaire se concrétise, en règle générale, par la remise
d'un rapport écrit et par l'organisation d'un comité de pilotage de restitution.

Rendre compte à l'ensemble des parties prenantes à l'évaluation.

Les différentes phases de l'évaluation mobilisent de nombreux acteurs. Revenir vers les partici-
pants (personnes ayant répondu à un questionnaire ou rencontrées en entretien par exemple)
de l'évaluation pour leur présenter les conclusions renvoie au principe de transparence posé par
la charte de l’évaluation. Cela favorise la constitution d'un diagnostic partagé entre les diffé-
rentes parties prenantes de l'intervention publique évaluée et favorise également la participation
à des évaluations futures.

Rendre l'évaluation utile.

La communication en direction du commanditaire et des parties prenantes à l'évaluation (déci-

deurs, services opérationnels, partenaires, bénéficiaires de la politique publique évaluée) a pour
finalité de donner de la visibilité aux conclusions de l'évaluation. Elle doit conduire à un partage
des constats et à une appropriation des recommandations permettant leur mise en œuvre effec-
tive. La communication sert ainsi l'évaluation et permet de répondre à ces objectifs initiaux : va-
lorisation, amélioration de la politique évaluée, changements stratégiques etc...

35
L'importance de la communication doit conduire à définir, le plus en amont possible, la stratégie
de communication adaptée. Le plan d'intervention peut, par exemple, inclure un plan de commu-
nication définissant les différents publics cibles et les modalités de restitution adéquates.

 Le rapport d'évaluation

Une évaluation donne lieu à un ou plusieurs rapports écrits. En fonction des objectifs et de la
temporalité de l'évaluation, le commanditaire et l'équipe d'évaluation peuvent s'accorder sur la
transmission d'un rapport intermédiaire, d'un rapport final, d'une synthèse. Les livrables et les
échéances de ceux-ci sont définis dès la phase de préparation de l'évaluation et sont mention-
nés dans le plan d'intervention.

Le rapport final d'évaluation présente toute l'évaluation. Il comprend une présentation des objec-
tifs, des principales questions évaluatives et des méthodes de l'évaluation. Les constats doivent
être précisément argumentés et les préconisations détaillées.

Le rapport utilise un langage clair et des éléments visuels, comme des graphiques, des tableaux
ou des illustrations permettant de comprendre rapidement les informations et les constatations.
Il sert de base à la synthèse, aux présentations orales et autres formes de comptes rendus.

La synthèse est une brève présentation du rapport final. Elle met en lumière les principaux ré-
sultats et les recommandations de l'évaluation. Rédigée dans un souci d'optimisation de la lec-
ture, elle doit faire ressortir les principales informations sans devoir lire l'ensemble du rapport.
Elle doit pouvoir être comprise en tant que document indépendant.

 Les modalités de restitution de l'évaluation

Pour accompagner la diffusion du rapport d'évaluation, la communication peut prendre des

formes variées : réunions de restitution, conférence, ateliers, articles de presse, sur le site web,
diffusion de la synthèse voire du rapport d'évaluation... Le choix des modalités de restitution re-
vient au comité de pilotage.

Les temps de restitutions orales avec le commanditaire et les services opérationnels sont parti-
culièrement importants. Ils permettent d'apporter des précisions aux éléments développés dans
le rapport et garantissent une compréhension commune des conclusions de l'évaluation entre
l'équipe d'évaluation et la direction commanditaire.

Selon la thématique abordée et les objectifs de l'évaluation, la communication peut également

être étendue aux partenaires et aux bénéficiaires de l'action publique évaluée voire aux ci-
toyens, en lien avec la fonction démocratique de l'évaluation des politiques publiques.

36
IV. ANNEXES

37
Annexe 1 : Comment formuler des questions évaluatives en fonction de critères

Il s’agit de détailler et préciser vos interrogations en fonction d’une sélection de critères. Pour
chaque critère préfigure certains facteurs qui vont vous permettre d’expliciter et de détailler vos
questions. Les critères, comme les facteurs, ne sont évoqués ici qu’à titre d’exemples et en au-
cun cas exhaustifs.

1. Pertinence : quelle adéquation entre le besoin identifié et la réponse à ce besoin ?

Facteurs de pertinence :

– connaissance fine du contexte

– participation et concertation des usagers
– représentativité des usagers
– validité de l’analyse et actualisation des données
…

2. Cohérence

Cohérence externe : la politique est-t-elle complémentaire avec d’autres types d’intervention sur
le territoire ?
Facteurs de cohérence externe :

– mise en place de cadre spécifique ou mécanismes de concertation

– coordination entre les acteurs :
               – multilatérale et bilatérale
               – étatique et collectivités locales
– ONG et société civile
…

Cohérence interne : le fonctionnement de la structure est-il en adéquation avec les principes et

valeurs affichées ? 

Facteurs de cohérence interne :

– existence d’un comité de pilotage

– existence d’une charte
– indépendance de la fonction évaluation
– satisfaction des équipes en interne

38
3. Efficacité : les résultats sont-ils conformes aux objectifs ?
Facteurs d’efficacité :

– clarté des procédures

– cohésion d’équipe
– fonctionnalité des outils
– opérationnalité des fonctions supports
– management et gestion des compétences
– adéquation des ressources/facilité de décaissement
…

4. Efficience : le rapport entre résultats et moyens est-il satisfaisant ?

Facteurs d’efficience :

– capacité à intégrer des variations

– adéquation entre les ressources et l’exigence en terme de qualité
…

5. Impact : quels seront les effets à long terme, positifs et négatifs, directs ou indirects, induits
par l’action ?
Facteurs d’impact :

– fiabilité et solidité de la chaine de résultats

– lien entre l’intervention et les changements observés
– les dynamiques en cours, tendances et modifications de l’environnement

6. Pérennité : quelle continuation des bénéfices après la fin de l’intervention ?

Facteurs de pérennité :

– degré d’implication du partenaire

– choix technologique (logiciel, matériel, facilité de maintenance, niveau de compétence requis,
…)
– capacités organisationnelles et matérielles
– viabilité économique
– facteurs extérieurs : stabilité politique

39
Répartition des critères sur le tableau de bord prospectif

Pour rappel, pour obtenir un d’équilibre entre les différents points de focus, ce type de tableau
de bord prospectif pourra être utilisé.

Tableau de bord prospectif : un outil stratégique pour une vision globale.

Source : https://www.eval.fr/en-fonction-de-criteres/

40
Annexe 2 : Comment construire un arbre d'objectifs étape par étape

 Maj le 23/01/2022 par  Laurent GRANGER

Fruit d'un travail collectif, l'arbre d'objectifs est un outil très important à mettre en œuvre en
début de projet. Cette fiche pratique revient sur les finalités, les conditions d'utilisation et décrit
son élaboration étape par étape.

Qu'est-ce qu'un arbre d'objectifs ?

Il s'agit d'une représentation graphique qui a pour vocation de décrire l'imbrication et l'architec-
ture des objectifs. Elle fixe un cadre précis pour l’exécution du projet. L'objectif général est divi-
sé en objectifs secondaires (appelés aussi spécifiques, intermédiaires ou encore sous-objectifs)
plusieurs fois jusqu'à atteindre un niveau opérationnel. Ces objectifs peuvent être quantitatifs
comme qualitatifs.
La navigation dans la hiérarchie de l'arbre est riche de sens. En descendant dans l'arbre, les
sous-objectifs montrent comment l’objectif supérieur va être atteint. En naviguant dans le sens
inverse - c'est-à-dire en remontant dans l'arbre - il est aisé de comprendre la finalité de chaque
sous-objectif.
Intérêt de cet outil

Les avantages d'un arbre d'objectifs sont nombreux :

  Il facilite la compréhension et la coordination du projet et de ses implications.

  Il permet de valider le réalisme du projet avec les moyens impartis en s'assurant que
tous les objectifs soient atteignables.

  Il lève tous malentendus, ambiguïtés et incompréhensions grâce à la conception collec-

tive de l'arbre. Il assure la cohésion de l'équipe et pose les bases de la communica-
tion avec les autres parties prenantes.

  La hiérarchie des objectifs est ainsi plus claire , avec des liens identifiables. Il est aisé
d'identifier comment les sous-objectifs contribuent à la réussite de l'objectif principal.

  Il donne du sens au travail à mener . Grâce à cet outil, l'équipe projet sait où elle doit al-
ler, quels sont ses buts.

  Il simplifie le suivi du projet tout au long de la conduite des tâches et de la sortie des li-
vrables.

41
Ses limites

Il peut être difficile pour une équipe de se mettre d'accord sur une hiérarchie partagée : confu-
sion entre buts et moyens, niveaux de priorité différents selon les sensibilités, etc.

À noter : d'un point de vue méthodologique, l'arbre d'objectifs vient fréquemment après l'arbre à
problèmes. Il fixe le cap pour résoudre les dysfonctionnements et opportunités analysés.

Mise en œuvre de la méthode

Plusieurs approches sont possibles. Nous vous proposons une démarche simple à suivre. Nous
vous conseillons d' utiliser une mind-map pour conduire la réalisation. Il s'inscrit dans le principe
MECE (Mutually Exclusive, Collectively Exhaustive).
En voici les étapes pour bâtir un arbre d'objectifs :

1. Définir l'équipe de travail

Choisir les personnes qui doivent participer à l'atelier. Il s'agit généralement des membres de
l'équipe projet, mais aussi d'autres parties prenantes comme le commanditaire, un membre de
la direction, etc. La structure de l'équipe doit représenter l'ensemble des intérêts et buts liés au
projet.

Lister les objectifs du projet

Reprendre les objectifs déterminés, ou les définir précisément si ce n'est pas le cas  (Voir le dia-
gramme "bête à cornes" pour définir les besoins). S'assurer qu'il s'agit bien de buts et non d'ac-
tions : ils sont exprimés en termes de résultat, d'amélioration, d’augmentation, de diminution, de
suppression de quelque chose, etc. 

Déterminer l'objectif principal

Parmi l'ensemble des objectifs listés, identifiez l'objectif principal que vous placez au centre de
la map.
Exemple :

42
Décliner l'objectif principal en objectifs intermédiaires

Partant de l'objectif principal, définissez les objectifs intermédiaires à l'aide d'un travail collectif.
Utilisez des questions telles que : "Comment atteindre cet objectif ?" et formulez les axes sous-
objectifs.

Le brainstorming est l'outil de prédilection pour réaliser ce travail => voir la fiche pratique

Exemple :

Construire les autres niveaux

Le travail précédent vous a donné le début de la structure de votre arbre avec un objectif de tête
répondant généralement à la question "pourquoi ?", les objectifs intermédiaires se focalisant sur
le "comment ?".
Ainsi, il convient maintenant d'élaborer les autres niveaux. Pour tous les objectifs intermédiaires,
utilisez les mêmes questions que pour l'étape 2 afin de définir les objectifs du niveau inférieur.
Placez-les sur la carte.
Recommencez l’opération si nécessaire en élaborant un niveau supplémentaire : le plus bas ni-
veau doit être constitué d'objectifs opérationnels généralement quantitatifs. Si ce n'est pas le
cas, ajoutez une nouvelle branche.
Exemple :

43
  
Dans le cas d'un grand nombre d'objectifs ou bien lorsque la hiérarchie n'est pas évidente à
constituer, le diagramme d'affinités est tout indiqué  pour construire l'arbre. Il permet de trier, as-
socier et ordonner vos objectifs.
Cette méthode consiste à regrouper les objectifs par affinité à l'aide de l'intuition. Il en résulte de
petits groupes qu'il convient de nommer pour générer un objectif supérieur. Traditionnellement,
l'exercice se conduit en groupe à l'aide de post-it.
Nous vous invitons à consulter la fiche méthode afin de savoir comment bâtir un diagramme
d'affinités.

Finaliser l'arbre

Pour présenter le diagramme obtenu, vous pouvez conserver la forme graphique conçue avec
votre outil de mind-mapping ou bien utiliser un tableau. L’intérêt de ce dernier est de pouvoir
ajouter des informations complémentaires très utiles pour le management du projet comme les
responsables, les ressources, etc.
Exemple d'arbre d'objectifs sous forme de tableau

Objectif Objectifs  Objectifs Responsable  Budget Date Mesures

principal intermédiaires opérationnels de fin de
succès

Améliorer la Améliorer le trai- Prendre en

satisfaction tement charge
client des réclamations toute demande
sous 1 heure

44
 Apporter
une réponse
sous 24 heures

Fiabiliser  ...
les livraisons

Améliorer l'ac-  ...

cueil
téléphonique

45
Annexe 3 : comment construire un sociogramme

Qu’est-ce que le sociogramme ?

Par définition, le sociogramme désigne une technique sociométrique, dans le domaine des
sciences humaines, plus précisément de la sociologie. Il étudie les relations entre les membres
d’un groupe. Il se présente sous forme de diagramme pour tirer des théories à partir de l’obser-
vation et de de la contextualisation. Hormis les relations personnelles, le sociogramme permet
d’avoir des informations intéressantes sur les relations professionnelles et les canaux de com-
munication.
Il a pour objectif de comprendre la structure de chaque communauté, puis, si nécessaire, ré-
soudre les conflits fréquents ou occasionnels. Tous les individus peuvent essayer la technique
afin d’avoir une idée sur sa position dans son groupe. Il pourrait même découvrir les préjugés de
ses collaborateurs.
Comment établir un sociogramme ?
Relisez les notes prises au cours des entretiens que vous avez réalisés. Dessinez sur un sché-
ma les personnes et leurs relations entre elles, celles dont elles vous ont parlé. Une relation
donne une flèche. Donnez une épaisseur au trait de la flèche : celle-ci est plus épaisse lorsque
la relation est plus intense. Donnez également un signe, suivant les émotions évoquées par la
personne quant à sa relation : « + » pour une bonne relation, « - » pour une mauvaise.
En parallèle, poursuivez les entretiens de découverte (les trois questions : qu'est-ce que vous
faites, qu'est-ce qui est difficile, avec qui vous travaillez). Rencontrez les personnes dont vos in-
terlocuteurs jusqu’à présent ont parlé, celles avec lesquelles ils sont en relation. Rencontrez en
priorité les personnes les plus proches du terrain, en bas de l’organigramme.
Au début, votre sociogramme évoluera au fil des entretiens. Et au bout d’un certain temps, il se
stabilisera. Dès lors, mettez-vous à la recherche de l’incertitude-clé de l’organisation et, en
conséquence, des acteurs au pouvoir réel.
Exemple de sociogramme
Les acteurs au pouvoir réduisent leurs incertitudes en tissant des alliances qu’un sociogramme
rend visible. Le sociogramme se superpose à l’organigramme de l’organisation. Grâce au socio-
gramme, vous anticipez les réactions de l’organisation à votre initiative.

46
Source : https://projet-initiative101.com/sociogramme/

Pourquoi un sociogramme ?
Les personnages, leurs conflits, leurs alliances, je vais les représenter dans un sociogramme.
Pourquoi ? Parce que, grâce à ma connaissance des relations entre acteurs, je vais anticiper
les résistances à l’initiative que je suis en train de lancer. Moins de stress pour moi, moins de
temps consacré à lutter contre les « fake news », un progrès plus rapide, des relations plus
fluides.

47
Annexe 4 : Modèle de plan de rapport d’évaluation

 un sommaire ;
 une liste des sigles utilisés ;
 une carte géographique du lieu d’intervention de l’action ;
 une synthèse du rapport : 2 à 3 pages pour les évaluations de projets et de pro-
grammes,10 pages pour les évaluations sectorielles et géographiques. Cette synthèse
doit comprendre :
- un bref rappel des objectifs poursuivis par la Coopération française, le contexte et
les enjeux des actions menées ;
- les montants et la décomposition des différentes catégories de dépenses engagées
(par instrument, par acteurs et par secteur) ;
- une description des grandes étapes de l’action ;
- un résumé des résultats obtenus, de l’impact des actions, des bénéfices obtenus
pour le Gouvernement et pour les bénéficiaires ;
- un rappel des appréciations de l’action à l’aune des critères définis par le cahier des
charges techniques, et des principales causes des écarts éventuellement constatés
par rapport aux effets attendus ;
- un rappel des principales recommandations ;
 une présentation de l’opération évaluée

L’action à évaluer est certes bien connue du commanditaire de l’étude, mais le rapport étant ap-
pelé à demeurer et à circuler, il est nécessaire de disposer d’indications sur le projet qui peuvent
être fournies sous forme d’une fiche résumé en annexe.

 un rappel méthodologique : rappel des choix opérés, des techniques utilisées et des
étapes du travail d'évaluation ;
 une analyse : celle-ci doit être organisée à partir des données recueillies et des observa-
tions effectuées. L'analyse est effectuée selon les critères communément retenus dans
le domaine de l'évaluation des politiques publiques ;
 des conclusions : celles-ci doivent être explicitées de façon claire (par type d'actions et
d'acteurs) ;
 des recommandations opérationnelles.

Les annexes peuvent comporter, dans l'ordre :

 les cahiers de charge de l'évaluation ;

 la liste des personnes rencontrées ;
 le compte-rendu des études de terrain ;
 les instruments de collecte de l'information (questionnaires, guides d'entretiens) ;
 les données générales et chiffrées complémentaires pour la compréhension des travaux;
 le glossaire des termes techniques ;
 une présentation des experts ;
 les grandes lignes de la méthodologie mise en œuvre ;
 la liste des membres du comité de pilotage et les dates des réunions ;
 une bibliographie (y compris sites Internet).

48
Annexe 5 : Modèle de questionnaire d’entretien

Guide d'entretien QUALI en secteur industriel

Cette société industrielle est spécialisée dans le traitement de surfaces par ultrasons et utilise
une technologie de pointe, brevetée. La société a décidé de considérer l'innovation comme un
axe stratégique prioritaire pour se développer économiquement et fidéliser ses clients. Dans
cette optique, une étude qualitative est menée par un chef de produit.

Nombre et profil des interviewés

Il a été décidé d'interviewer dix personnes, tous des responsables techniques, d'entreprises va-
riées : PME, laboratoires et groupes industriels internationaux.

49