Master Economie et Evaluation des Politiques Publiques

Introduction aux Politiques Publiques

« PLACE-BASED CHANGE »
L’ÉVALUATION DES PROGRAMMES DE
CHANGEMENT

Préparé et présenté par: Encadré par:

• Mohammed FAKHRI; • Pr. A. DAIF
• Fatima BOUIZ
 PLAN
 I. Evaluation des programmes de changement basé sur le lieu, revue de la littérature :
 1.1. « Place-based change» comme concept clé;
1.2. Pourquoi évaluer un programme de changement basé sur le lieu?
1.3. Quelle évaluation efficace pour un programme fondé sur la place?
1.4.. Types d’évaluation
1.5. Principes de l’évaluation
1.6. Méthodologie de mise en œuvre de l’évaluation
1.7.. Difficultés rencontrées dans l’évaluation des programmes de changement basés sur le lieu

 II. Cas pratique d’évaluation d’un programme de changement basé sur le lieu
 Programme américain FAIMI sur la mortalité infantile chez les afro-américains du comté de Genesee (à New
York).
 PARTIE 1:
LES PROGRAMMES DE
CHANGEMENT BASES SUR LE
LIEU .. REVUE DE LA
LITTERATURE
1.1. « Place-based change» comme concept clé;
1.2. Pourquoi évaluer un programme de changement basé sur le lieu?
1.3. Quelle évaluation efficace pour un programme fondé sur la place?
1.4.. Types d’évaluation
1.5. Principes de l’évaluation
1.6. Méthodologie de mise en œuvre de l’évaluation
1.7.. Difficultés rencontrées dans l’évaluation des programmes de changement basés sur le lieu
 1.1. « PLACE-BASED CHANGE», COMME
CONCEPT CLE
 Le quartier, la ville, la région et la communauté sont devenus des lieux appropriés pour
concevoir des interventions.
 Il n'existe pas de définition commune pour ce concept. Pour cette présentation, nous
utilisons la définition et les caractéristiques suivantes pour définir les programmes fondés
sur le lieu :
 Il s’agit d’une approche collaborative et à long terme visant à construire des communautés
prospères dans un lieu géographique défini. Cette approche est idéalement caractérisée par
un partenariat, une conception partagée, et une responsabilité commune pour les résultats
et les impacts.
 Les caractéristiques communes de ces programmes sont les suivantes :
- répondre à des questions complexes, interdépendantes ou difficiles, y
compris des questions sociales ayant un impact sur ceux qui sont désavantagés
ou risquent de l'être, ou pour les catastrophes naturelles

- une approche fondée sur les points forts mettant l'accent sur la prévention
et non pas seulement sur l'intervention

- identifier et travailler sur les priorités de la communauté, valoriser les

connaissances locales et s'appuyer sur les relations sociales et culturelles

- un engagement en faveur de l'apprentissage stratégique et l'utilisation de

données et de preuves pour s'adapter collectivement en temps réel

- le renforcement continu des capacités et des compétences de tous les

acteurs impliqués dans les projets
1.2. POURQUOI L’ÉVALUATION DES
PROGRAMMES DE CHANGEMENT LOCAL?

Développer le
management public

Construire le
Gérer par la
changement dans les
performance
territoires

Concevoir des
Optimiser les stratégies adaptées
ressources aux besoins de la
communauté
  L’EPC présente plusieurs avantages pour les programmes de changement local:

- Grâce à la définition d’une vision et d’une mission de changement, l’EPC permet dès le début d’une planification, de
replacer les élus locaux et les communautés au centre de la problématique de développement (empowerment). Elle ne se
réduit plus à une simple projection d'activités que ces derniers doivent réaliser pour des résultats escomptés.

- En cherchant à identifier de façon claire et précise les agents potentiels de changement (partenaires limitrophes) qui gravitent
dans les sphères où évolue les groupes d'individus ou la communauté, et en cherchant explicitement à influencer directement
ou indirectement ces agents, l’EPC donne à l'environnement institutionnel le rôle indiscutable qu’il est censé jouer dans
l’efficacité d'un programme de développement local.

- En se dotant d’outils permettant d’identifier, de suivre des transformations qu’un programme doit opérer en son sein pour
demeurer performant et rester en phase avec les réalités de son environnement, l’EPC reconnaît de façon implicite qu’on ne
peut accompagner une transformation sans être transformé soi-même.

- Enfin, au niveau des bénéficiaires, les outils de suivi des processus de changement notamment, offrent au programme la
possibilité de décrire les transformations entre l’individu, le groupe, la communauté et son milieu.
1.3. QUELLE ÉVALUATION EFFICACE POUR UN
PROGRAMME LOCAL?
 Les fondamentaux d’une évaluation efficace d’un programme local peuvent être résumés comme suit:

Utiliser des méthodes Avoir des programmes bien

Agir sur la théorie et la
logique, évaluer et étudier;
d'évaluation participatives
Assurer une surveillance
pour responsabiliser et
approfondie;
impliquer la communauté et
les acteurs et professionnels;
définis avec des résultats pour
répondre aux approches
averses au risque favorisé par
le gouvernement;

Envisageant un financement
Aavoir la flexibilité de
avoir une grande visibilité - S’assurant que les programmes commun de différents secteurs
répondre rapidement aux
André l'invisible visible en: réussis peuvent continuer; pour atteindre des résultats
constatations;
partagés;

Concevoir des stratégies

durables.
 1.4. TYPES DE L’ÉVALUATION LOCALE

• Analyse des politiques/programmes

• Dialogue entre les parties impliquées sur la représentation des objectifs de l’évaluation
Evaluation • Expliquer la théorie des actions des différentes mesures du programme à évaluer et les leviers de ces actions
Ex-ante:

• Evaluation de l’action du programme / Evaluation du processus

• Comment les acteurs locaux travaillent ensemble?
Evaluation • Rédiger les raisons qui poussent ces agents à agir
mi-parcours

• Evaluation des effets

• Quelles sont les conséquences des projets réalisés et des actions organises?
Evaluation • Analyse de l’impact attendu et non attendu.
Ex-post:
 1.4. TYPES DE L’ÉVALUATION LOCALE

Evaluation
Evaluation des
Evaluation de la d’une stratégie Evaluation des Evaluation du Evaluation de Evaluation du
activités
politique de la sociale d’une programmes transport en l’emploi sur un dispositif de
génératrices de
ville collectivité de l’habitat commun territoire santé
revenus
locale
 1.5. PRINCIPES DE L’ÉVALUATION
 L'évaluation des programmes de changement basés sur le lieu doit:
 - reconnaître la nature progressive et émergente des approches-programmes
 être suffisamment flexible pour être appliqué dans différents contextes
 - adopter une approche proportionnelle fondée sur les ressources disponibles et les besoins
 - être culturellement inclusive, appropriée et éthique
 - être conviviale, claire et pratique
 - renforcer les capacités locales et permettre un apprentissage stratégique - avoir suffisamment de
cohérence pour aider à constituer une base de preuves
 - utiliser un mélange de méthodes qualitatives et quantitatives crédibles
 - être accessible aux personnes de tous âges et de toutes capacités
 - aider les communautés et les autres parties prenantes à comprendre ce qui change et pourquoi, et
aussi ce qui ne change pas et pourquoi.
 1.6. MÉTHODOLOGIE DE MISE EN ŒUVRE

Evaluation des effets

• Action sociale, Faire de l’évaluation un effectifs de la politique
Diversité des transport, outil d’appropriation de la sur l’évolution de la
domaines de chômage, politique par les acteurs situation de l’objet de
l’évaluation: services publics, l’évaluation4
etc.

2 OBJECTIFS
Diversité des • Elle est due à DISTINSTS
objectifs des la diversité
commanditaires des acteurs.
 Etapes de planification d’une EPC:
 Nous vous présentons ci-dessous comment élaborer un plan ou une étude d'évaluation.

• Clarifier l’objet de l’évaluation, son audience et leurs

1/ Cadrer le champ besoins, les objectifs, les ressources et le niveau
d’application de d’investissement dans l’étude, les parties à engager et
l’évaluation les aspects du contexte à prendre en considération.

2/ Clarifier la • Préciser le niveau de changement à

théorie de chercher, les résultats, les pratiques
changement et du développement local et les freins
les principes du changement

• Sélectionner les questions clés de l’évaluation,

3/ Planifier le
suivi et développer les sous-questions et les indicateurs
l’évaluation clés et définir les méthodes appropriées.

• Etablir les mécanismes de

consolidation des données,
4/ Planifier le
rapport
considérer le besoin des études
stratégique d’évaluation, les rapports
demandés et les considérations
opérationnelles.
 LES CINQ NIVEAUX DU CHANGEMENT À
ÉVALUER DANS UN PROGRAMME LOCAL
4: Instances de
3: Changements
5: Niveau des l’impact pour les 2: Catalyseurs du
systématiques dans 1: Fondations
impacts positifs individus et les changement
la communauté
familles

Communauté,
Direction de la partenaires
De la communauté, facilitateurs,
Niveau des communauté gouvernance, décideurs
Cohortes
impacts positifs pour la capacité, politiques,
spécifiques et/ou
et durables sur la communauté, collaboration concepteurs de
micro-espaces
population ressources, multifonction, programmes et
actions, pratiques apprentissage bailleurs de
intégré fonds
QUESTIONS CLÉS DE L’ÉVALUATION

Questions
explicites de
l’évaluation:
interprétation
et jugement

Questions sur les

données: collecte,
synthèse
QUESTIONS CLÉS POUR ORIENTER L’ÉVALUATION DES PROGRAMMES DE CHANGEMENT
Quel est le stade de préparation du lieu et quelles sont les implications pour la conception ?
Dans quelle mesure le partenaire facilitateur/les responsables de l'approche-programme/les bailleurs de fonds apprennent-ils et
gèrent-ils bien le processus ?
Dans quelle mesure les bailleurs de fonds sont-ils flexibles et adaptables et aident-ils à créer un environnement favorable ?
Dans quelle mesure le partenaire facilitateur/les responsables de l'approche-programme ont-ils contribué efficacement à créer les
conditions favorables à un changement systémique au sein de la communauté et au-delà ?
Dans quelle mesure les aspirations et les priorités des communautés ont-elles suffisamment orienté les activités et les
investissements ?
²
Dans quelle mesure la gouvernance est-elle transparente et suffisamment représentative de ceux qui ont un intérêt dans le système ?
Dans quelle mesure les données ont-elles été utilisées pour l'apprentissage stratégique - pour comprendre et s'adapter aux problèmes,
aux opportunités et aux progrès ?
Dans quelle mesure la collaboration multisectorielle a-t-elle lieu et contribue-t-elle à la mise en commun des services ?
Dans quelle mesure les principes de pratique spécifiques au contexte ont-ils été suivis
Quels sont les résultats attendus et inattendus des projets ?
Qu'est-ce qui change dans le système à cause du travail en collaboration ?
Quels sont les cas d'impacts pour les individus, les familles (micro-communautés et cohortes spécifiques) ?
Quels sont les impacts au niveau de la population pour les individus, les familles et les communautés à travers le pays?
Comment ce travail a-t-il influencé les choses au-delà du lieu ?
Qu'avons-nous appris au travers des PBA sur les conditions et les approches nécessaires pour créer un changement systémique ?
 1.7. DIFFICULTÉS RENCONTRÉES DANS
L’ÉVALUATION LOCALE

Différence dans Disponibilité et

Multitude des Spécificités le niveau Niveau de fiabilité des
Mobilité des Taille de la
interactions culturelles et d’éducation et développement informations
populations collectivité
entre les acteurs traditions de maturité des économique financières et
populations des statistiques
PARTIE 2: CAS PRATIQUE DE
L’EVALUATION D’UN
PROGRAMME DE CHANGEMENT
BASE SUR LE LIEU:

Programme américain FAIMI sur la mortalité infantile chez

les afro-américains du comté de Genesee (à New York).
 CAS PRATIQUE DE L’EVALUATION D’UN PROGRAMME DE CHANGEMENT BASE SUR LE LIEU:
Programme américain FAIMI sur la mortalité infantile chez les afro-américains du comté de Genesee (à New York).

1. Planifier l’étude de l’évaluation

2. Evaluer le contexte
2.1. Comprendre l’environnement organisationnel et 2.2. Définir la relation entre l’évaluateur et le sponsor
2.3. Déterminer le niveau de l’évaluation
politique (le commanditaire du changement)

3. Engager les parties prenantes

3.2. Définir les rôles des parties prenantes et obtenir 3.3. Etablir des processus de groupes pour la
3.1. Identifier et inviter les parties prenantes
leur contribution participation continue des parties prenantes

4. Cibler l’évaluation
 1. Planifier l’étude de l’évaluation

 Le groupe évaluateur a participé aux premières réunions visant à développer un plan d’évaluation
réalisable.

 Le budget du programme comprenait un contrat de sous-traitance pour les services d’évaluation (fourni
par l’Université de Michigan) d’une valeur approximative de 43000 Dollars par an, soit environ 10 % des
coûts totaux de fonctionnement du programme.

 Le groupe évaluateur a participé à toutes les activités de planification du programme et a été membre
votant du comité des opérations et au groupe de travail AFRICA.

 Nous résumons dans les prochains slides l'élaboration et la mise en œuvre de la conception de l'étude
d'évaluation pour ce programme, selon le modèle EPIC (Evaluation Planning Incorporating Context).
 2. Evaluer le contexte

2.1. Comprendre l’environnement

organisationnel et politique

Les niveaux de Les effets de la perte

l'environnement Le taux de mortalité d'emplois dans le
organisationnel et infantile aux États-Unis secteur manufacturier
politique. sur la santé

Les disparités raciales

et ethniques dans les
problèmes de santé, en
particulier la mortalité
infantile.
 2. Evaluer le contexte

2.2. Définir la relation entre

l’évaluateur et le sponsor (le
commanditaire du changement)

Une relation établie par le biais de partenariats sur des projets précédents.

Invitation des évaluateurs à effectuer une évaluation des besoins et des services d'évaluation dans le cadre d'un
projet antérieur, le projet Flint

Deux enquêtes de base ont été menées et qui consistaient à interroger des femmes (n = 358) qui venaient d'accoucher
sur leurs expériences avec le centre de santé périnatale qui les a reçues et d'interroger les parents ou les tuteurs (n = 377)
sur les services pédiatriques.

Rédaction des rapports d'évaluation des besoins en matière de services de santé périnatale et pédiatrique et rapports comparant
les expériences des patients.

Ces ensembles de données de base ont été utiles pour planifier le développement et l'évaluation du service d'information et
d'orientation. Le porteur du programme, constatant la continuité entre le Friendly Access Project et le programme actuel, a nomm
le nouveau programme Friendly Access Infant Mortality Initiative (FAIM).
 2. Evaluer le contexte

2.3. Déterminer le niveau de l’évaluation

• La mise en œuvre du programme, y compris la façon

Niveau du programme
dont le programme a atteint la population visée par ces
services, a résolu les problèmes pertinents des clients du
programme et a fourni des informations et des références
à une variété de fournisseurs de services de santé et de
services sociaux de la communauté.

• Les expériences rapportées par les clients avec les

Niveau des clients services du programme et avec les services saniataires et
sociaux qu'ils ont reçus dans la communauté.
 3. Engager les parties prenantes

3.1. Identifier et inviter les parties

prenantes

 Le porteur du programme a identifié et réuni les principales parties prenantes en raison de leur rôle de coordination plus
important dans le comté de Genesee

 Il a également été chargé d'impliquer les principales parties prenantes au cours du programme. La première année du
programme a été consacrée à la planification avec les organisations communautaires et d'autres parties prenantes clés.

 La réunion du comité s’est faite deux fois par mois pendant la première année du programme et une fois par mois par la suite.

 Lorsque le programme a lancé les services d'information et d'orientation au cours de la deuxième année, un groupe de travail
plus restreint a été créé appelé le groupe de travail AFRICAN Tas

 Le groupe de travail s'est également réuni deux fois par mois au début, puis une fois par mois pendant la durée du programme.
 3. Engager les parties prenantes

3.2. Déterminer les rôles des parties

prenantes pour obtenir leurs
contributions

Le groupe évaluateur a joué un double rôle, en siégeant aux comités

consultatifs et en évaluant le programme.

Il a siégé à tous les comités de planification, de commenter le développement

des opérations du programme, et de voter sur les décisions clés.

Il devait également diriger une étude d'évaluation qui fournirait des

rapports précis, utiles et impartiaux sur les progrès et les résultats du
programme.
 3. Engager les parties prenantes

3.3. Etablir des processus de groupes pour la

participation continue des parties prenantes

Rencontres du groupe évaluateur pour discuter du développement et de la mise en œuvre des activités
de l'étude d'évaluation et des rapports d'évaluation.

Présentation des propositions de plans et de procédures d'évaluation. Les participants à la réunion ont fait des
suggestions pour affiner les procédures. Les rapports d'évaluation ont été distribués par courrier et discutés lors
de réunions trois à quatre fois par an.

Maintien d’un contact régulier par téléphone et par e-mail avec le promoteur du programme pour s’assurer que les
attentes étaient satisfaites en ce qui concerne l'élaboration et la mise en œuvre des plans d'évaluation.
 3. Cibler l’évaluation

Faibles
Exemple Limites des Réunions pour Budgétisation
ressources Une matrice de Examen du plan
d'études ensembles de déterminer d’une analyse
financières: Exemple des récentes sur des données disponibles: planification de comment le
De nombreuses d'évaluation pour
secondaire des
tirer profit des l'évaluation illustre questions de s’assurer que les
enregistremen échantillons examiner quelles l'éventail des programme recherche questions de dossiers du
sources de
ts de données importants et questions questions pouvait être mis énumérées dans la l'évaluation centre d'appels
données d'évaluation, des
existantes et se du centre démographique d'évaluation en œuvre et matrice de pouvaient être d'AFRICAN et
ment similaires pouvaient être mesures et des comment l’évaluation répondues en des entretiens
concentreraient d'appel sources de données pourraient être utilisant les
d'AFRICAN. de clients du traitées de manière envisagées pour quantifier les avec un
sur les questions résolues méthodologies
comté de adéquate dans cette cette étude. questions de proposées, échantillon de
clés de
Genesee étude. recherche. clients.
l'évaluation.
3 GRANDES QUESTIONS DE
L’EVALUATION
QUESTIONS 1. Dans quelle mesure AFRICAN a-t-elle atteint la population ciblée par les services? Quelle
population desservons-nous ? Le programme a-t-il atteint la population visée ? Combien d'appels
sont reçus en un mois ? En un an ? Combien de références sont données en un mois ? En un an ?

2. Dans quelle mesure le programme AFRICAN a-t-il répondu aux problèmes pertinents des clients
du programme ? Quelles sont les variétés de problèmes auxquels sont confrontées les femmes
enceintes ? Quel type de problème est le plus souvent signalé ? Les références sont-elles utiles aux
clients ? Certains prestataires de services sont-ils peu réactifs ?

3. Dans quelle mesure AFRICAN a-t-elle fourni des références aux fournisseurs de services de
santé et de services humains de la communauté ? Les aiguillages appropriés sont-ils fournis ? Vers
quels prestataires de services les références ont-elles été faites ? Les clients ont-ils contacté les
prestataires de services ? Les clients sont-ils satisfaits de la façon dont les membres du personnel
d'AFRICAN les ont traités ? Nous avons également inclus des méthodes pour répondre à deux
questions de recherche liées aux résultats souhaités du programme : les clients sont-ils satisfaits de
leur pédiatre et de leur médecin prénatal ?
LEÇONS TIREES DU CAS
PRATIQUE
• Nécessité d’être ouvert sur les conflits de rôles potentiels entre les différentes parties prenantes;
L1

• Importance de la participation des parties prenantes au processus de planification et de conception

L2 de l’évaluation;

• Utilité de revoir les objectifs du programme et de l’évaluation dans toute la durée du programme;
L3

• Apport du partenariat dans les solutions créatives;

L4

• Être ouvert sur les plans de contingence potentiels car l’un des moyens les plus faciles de bloquer
L5 une évaluation est de s'enfermer dans une mentalité, un produit ou un fournisseur.
RÉFÉRENCES BIBLIOGRAPHIQUES ET
WEBOGRAPHIQUES
 POUR LA PARTIE THEORIQUE:
 A. KCHIRD HAJJI, Institut Méditéranéen du Leadership, « Evaluation des politiques territoriales »;
 Amy L Powers, « An Evaluation of Four Place-Based Education Programs », 2004

 Centre for Community Child Health, « Place-Based Initiatives Transforming Communities », Mars 2012
 Groupe des Nations Unies pour le Développement, « Théorie du changement: note complémentaire relative au PNUAD »,
2017
 Jess DART, « Place-based evaluation framework: a guide for evaluation of place-based approaches in Australia”, 2019
 James M,FERNS , University of Southem California, « Place-Based Initiatives in the Context of Public Policy and
Markets: Moving to Higher Ground », Mars 2015
 Meyer Burstein and Erin Tolley, « Exploring the Effectiveness of Place-Based Program Evaluations », Avril 2011
 Pauline BAYLAC, Université Toulouse 2 Le Mirail, « Evaluation d’une politique de développement local », 2014;
 PD&R Expert Convenings, « Systems Evaluations for Place-Based Initiatives », Octobre 2015

 POUR LE CAS PRATIQUE:

 Debra J, HOLDEN & Marc ZIMMERMAN « A Pratical Guide to Program Evaluation Planning: Theory and Case
Examples»,
MERCI POUR
VOTRE
ATTENTION