Lvaluation de politiques publiques dans les champs sanitaire et mdico-social

Enseignement 1er semestre 2012 Sance 2 : gense, dveloppement et acteurs clefs

Galle de Carmantrand William Bottaro

Sommaire sance 2
1. 2. 3.
1.

Gense et diffusion de lvaluation Dveloppement et limites en France Panorama des principaux acteurs et pratiques
Principaux acteurs et pratiques au sein de lEtat => intervention de M. de Loisy, Dlgu lvaluation Ministre des finances Principaux acteurs et pratiques au niveau des collectivits

2.

2
2
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

1. Gense et diffusion
Une pratique dorigine anglo-saxonne ne dans les annes 60

Gense de lvaluation aux Etats-Unis ds les annes 20, puis aprs guerre

Evaluation des programmes sociaux engags par Johnson (programmes scolaires notamment)
Puis dans les annes 60 : volution vers outil de contrle et optimisation de la dpense (PPBS Planning Programing Budgeting System, anctre de la RCB en France) Mthode dite de lexprimentation analyses contrefactuelles et comparaison chantillon bnficiaires / non bnficiaire, protocole et suivi de cohorte valuation quasi-exclusivement quantitative Mthode rigoureuse mais couteuse et longue => incompatible avec le temps politique et pas toujours optimale pour lanalyse de la pertinence, la mise en uvre et lefficacit dune politique Diversit des techniques et importance de la recherche en valuation Vitalit du milieu professionnel Influence de lvaluation dans la dcision publique
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

Promotion dune dmarche scientifique et formelle

Une avance qui perdure

3
3
EQR Conseil

1. Gense et diffusion
Un dveloppement en Europe dans les annes 60

Dveloppement en Europe, notamment au Royaume Uni et dans les pays scandinaves

1ere vague dans les 60s favorise par des gouvernements de social-dmocratie et le dveloppement des sciences sociales
2me vague dans les 80s autour du New Public Management et larrive de gouvernements plus conservateurs (Reagan, Thatcher)
-

Nouvelle pratique lie la rationalisation de laction publique et au principe dapplication des mthodes du priv au public Agencisation, externalisation, contractualisation entre lEtat et les tablissements publics / sous tutelle Mesure de la performance : quantification des objectifs, indicateurs de performance, Dveloppement des obligations de rendre compte, tentative de rmunration au mrite Evaluation rgulire sous forme de comptes rendus aux autorits centrales

4
4

Diffusion dans les autres pays notamment sous limpulsion de la Commission europenne
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

1. Gense et diffusion
Des pratiques impulses et / ou imposes par la Commission Europenne

Dveloppement prcoce la Commission ds les 60s, puis diffusion :

via les fonds structurels dans les annes 90 Puis sur tous les programmes communautaires dans les annes 2000

Une obligation depuis 1994

La Commission rend obligatoire lvaluation des programmes et projets bnficiant dun financement europen. Laction communautaire devra faire lobjet dune valuation ex-ante et ex-post destin apprcier son impact Lensemble des fonds structurels europens grs par les rgions europennes est soumis lvaluation.

2010 (Commission Barroso) : volont de soumettre systmatiquement les lois europennes des valuations

5
5
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

1. Gense et diffusion
Des pratiques impulses et / ou imposes par la Commission Europenne

Des moyens budgtaires consquents :

Unit valuation dans chaque DG, Unit transversale DG Budget Budgets ddis lvaluation dans chaque programme (budget moyen de 45 M)

Des mthodes et des outils : dveloppement fin des annes 90 dun corpus pdagogique participant la professionnalisation des approches Types dvaluation :

tudes impact Evaluation ex ante Evaluation in itinere Evaluation ex post

6
6
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

1. Gense et diffusion
Le rle de la Banque mondiale

Rle clef de la Banque mondiale dans lvaluation de laide au dveloppement ds les 70s avec la cration dune fonction valuation
Diffrents types dvaluation

Evaluation de projets Etudes transversales (ex. gender impact) Evaluation des programmes- pays Evaluations de politiques daide au niveau transnational

Influence sur de nombreux bailleurs de fonds internationaux

Mise en place de cellules valuation au PNUD, Unesco, FMI En France : aide au dveloppement est un des domaines les plus avanc en matire dvaluation
-

Pratique dvaluations impulses par la Direction du Trsor, lAFD, le MAE

Mthode large englobant approches sociales, environnementales, humaines du dveloppement

7
7
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Un dmarrage tardif

Origines historique et culturelle

Hritage monarchique: lintrt gnral nest pas une construction collective. LEtat ne saurait faillir, il na pas tre valuer Importance des producteurs de connaissance au sein de lEtat => peu de contre pouvoir par les sciences sociales

Usage extensif et non contrl du mot valuation contribue une mauvaise image
Lvaluation individuelle vcue comme une notation/sanction, issue du monde scolaire, persiste. Manque dintrt des contribuables / citoyens pour le contrle des dpenses publiques

8
8
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

De la rationalisation des choix budgtaires lvaluation

Quelques dates clefs du dveloppement de lvaluation en France

1989 Rapport Viveret 2009 : inscription de lvaluation dans la constitution

1990 dcret Rocard

2000 circulaire Jospin

2007 RGPP 2007 Cration dun secrtariat Etat

RCB

Institutionnalisation

LOLF et RGPP

1970

1980

1990

2000

2010

9
9
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

De la rationalisation des choix budgtaires lvaluation

Rationalisation des choix budgtaires (RCB) en 1970

Vise dvelopper la planification budgtaire et lvaluation ex-ante Restructurer le budget sous forme dun ensemble de programmes daction Fonder les dcisions de dpense sur une prvision de leurs impacts socioconomiques

Echec de la RCB en 1984 d au dcalage entre une volont de planification des dpenses et une gestion conjoncturelle du budget de lEtat

Fin des annes 1980 : impulsion forte sous le gouvernement Rocard

1986 : Rle du Club Cambon et de l'association Service Public, dont le prsident est Patrick Viveret, pour une reconnaissance de la ncessit de l'valuation relative au secteur public Influence du Rapport Viveret en 1989 (Lvaluation des politiques publiques, propositions en vue de lvaluation du RMI) Promotion des valuations ex-post Introduction des principes de base : indpendance, rigueur, pluralisme et transparence
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

10
10

EQR Conseil

2. Dveloppement et limites en France

Tentatives dinstitutionnalisation et balbutiements

Annes 90 : cration dinstances interministrielles

Dcret Rocard en 1990 : texte fondateur

-

dfinit l'valuation sur un plan institutionnel et organise un dispositif national

Cration du Conseil Scientifique de l'Evaluation (CSE), du Fonds national de dveloppement de l'valuation (FNDE) et du Comit Interministriel de l'valuation (CIME) Animation par le Commissariat gnral au Plan

1990-1998: une quinzaine dvaluations de grande ampleur sont menes bien, mais leurs suites dcisionnelles directes sont faibles Enlisement administratif de la procdure : dure excessive et dsintrt des politiques 1998 : face lchec de la CIME, lvaluation est confie une structure indpendante: le Conseil National de lEvaluation (CNE), charg de mettre en place une procdure interministrielle d'valuation des politiques publiques plus simple, plus efficace et plus rapide. Production dune vingtaine de rapports jusquen 2003. A permis une meilleure information des citoyens mais a, en pratique, eu peu dimpact sur la dcision politique CNE abrog en 2002

11
11
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Tentatives dinstitutionnalisation et balbutiements

Annes 90s : Renforcement du rle du Parlement

Loi du 14 juin 1996 : largit les pouvoirs d'information du Parlement et cre loffice parlementaire d'valuation des politiques publiques Cration de la MEC mission dvaluation et de contrle en 1999.

Politiques contractuelles et dcentralisation

Circulaire de 1993 : Comit interministriel amnagement du territoire instaure lobligation dvaluation des politiques contractuelles Circulaire Jospin de 2000 : impose lvaluation dans les procdures contractuelles (contrats de pays, dagglomrations, Parcs naturels rgionaux, etc. )

12
12
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Evaluation et rforme de lEtat

La Loi organique relative aux lois de finances (LOLF) en 2001

Instaure une nouvelle culture dvaluation de lefficience de la dpense travers des procdures de reporting Dfinition de cibles et indicateurs quantifis partir de 2006, capables de mesurer les rsultats des politiques publiques

Passage d'une logique de moyens une logique d'objectifs et de rsultats

3 innovations majeures:
La transparence de la dpense budgtaire et la sincrit des comptes, Lefficacit de la dpense et le contrle de la performance de laction publique, La culture du rsultat et la responsabilit des acteurs publics face aux consquences de leurs actions.

Des documents de programmation

PAP : programme annuel de performance => engagement sur des objectifs chiffrs en dbut danne RAP : rapport annuel de performance => obligation de rendre des comptes en fin danne

13
13
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Evaluation et rforme de lEtat

La rvision gnrale des politiques publiques 2007 : une dmarche de macro-valuation ?

Objectifs : Combien a cote ? quoi a sert ? Est-ce que a peut tre mieux fait avec moins de moyens ? Examen des politiques publiques dans 14 domaines de lEtat

3 axes danalyse
-

Amliorer les services lusager et lefficacit des politiques Chercher des modes de fonctionnement plus productifs pour rationaliser et rduire les cots Identifier les conditions pour mettre en uvre les rformes De nombreuses missions de rorganisation => revue des organigrammes, rduction du nombre de directions, regroupement de corps dinspection, diminution des RH (non remplacement dun fonctionnaire sur deux) Ex : fusion DGI / DGCP pour un guichet fiscal unique Ex : transfert de la gendarmerie au Ministre de lIntrieur

Dans les faits

-

14
14
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Evaluation et rforme de lEtat

Les grandes questions de la RGPP

Que faisons nous ? Quels sont les besoins et les attentes collectives ? Faut-il continuer faire de la sorte ?

Qui doit le faire?

Qui doit payer ?

Comment faire mieux et moins cher?

15
15

Quel scnario de transformation ?

Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Evaluation et rforme de lEtat

Dbat : LOLF et RGPP / diffrences et complmentarits avec lvaluation des politiques publiques ?
Complmentarits Diffrences Logique de performance fonde sur les rsultats plus que sur la pertinence, la cohrence et les effets Faible prise en compte des bnficiaires / usagers

Dfinition dindicateurs de performance Objectifs apriori (PAP) Rendu compte (RAP)

Analyse possible de lefficacit, de lefficience et de la qualit de service

16
16
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Avances rcentes

Rvision constitutionnelle de juillet 2008 :

Article 24 : Le Parlement value les politiques publiques Article 47-2 : la Cour des comptes assiste le Parlement dans le contrle de laction du Gouvernement () dans le contrle de lexcution des lois de finances, de lapplication des lois de financement de la scurit sociale mais aussi dans lvaluation des politiques publiques. Par ses rapports publics, elle contribue linformation des citoyens.

Loi organique 2009 : instauration dtude dimpact ex ante chaque nouvelle loi

17
17
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

2. Dveloppement et limites en France

Professionnalisation et standardisation depuis 2000

Professionnalisation et qualification

mergence diplmes spcialiss

Intgration de lvaluation dans les formations du CNFPT

Amlioration de la qualification des valuateurs Renforcement du march de lvaluation et de la concurrence Cration de la SFE Socit franaise dvaluation en 99 Auj. 300 adhrents collectivits, administrations, conseils, valuateurs indpendants, universitaires, chercheurs Rle : sensibilisation, promotion, lobbying, formation, recherche Charte qualit de la SFE Outils et mthodes Mais pas de structure comparable lOrdre des mdecins ou experts-comptables, ni labellisation

Rseau professionnel

Standardisation des pratiques et des mthodes

18
18
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

3. Panorama des principaux acteurs et pratiques

Introduction

Eclatement et complexit du jeu dacteurs

Au sein des acteurs publics : absence dhomognit Professionnels de lvaluation Chercheurs en sciences sociales

Diversit et foisonnement des pratiques

Selon les acteurs Selon les politiques et champs sectoriels Selon la culture de gestion du commanditaire

19
19
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

3. Panorama des principaux acteurs et pratiques

Au niveau de lEtat

Intervention de M. de Loisy, dlgu lvaluation. Ministre des finances

20
20
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

3. Panorama des principaux acteurs et pratiques

Au niveau des collectivits territoriales

Essor et limites de lvaluation

Dveloppement li au processus de dcentralisation Contraintes dvaluation imposes notamment par les politiques contractuelles Limites selon :
taille de la collectivit
-

politiques dintervention
culture des lus et volont politique

Des pratiques varies selon les collectivits

Rle leader des Rgions dans la pratique de lvaluation, li aux fonds structurels europens
-

Mise en uvre des fonds europens FEDER, FSE, FEADER et FEP Obligation rglementaire dvaluer et budget ddi

Application des directives et documents de travail de la Commission europenne

21
21
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

3. Panorama des principaux acteurs et pratiques

Au niveau des collectivits territoriales

Au niveau des autres collectivits (niveau dpartemental, intercommunal et communal) : des pratiques varies
Conseils gnraux : de plus en plus dunits dvaluation mais une pratique encore faible et irrgulire, trs disparate selon les dpartements / les politiques Intercommunalit et grandes communes : des pratiques en dveloppement dans les intercommunalits importantes (Communaut urbaine, communaut dagglomration, principales communes Paris Lyon Nantes Lille Marseille ) Villes et petites intercommunalits (communauts de communes de faible dimension):
-

Pratiques ponctuelles Problmes budgtaires, pratiques coteuses et longues Mais priode de contraintes budgtaires importantes et ncessit de rallouer les ressources sur les politiques les plus efficaces

22
22
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

3. Panorama des principaux acteurs et pratiques

Au niveau des collectivits territoriales

Ex : Nantes Mtropole / communaut urbaine

Mission valuation en 2008, pas encore dlu rfrent Volont dvaluer lensemble des politiques de la CU avec focus sur le point de vue des habitants Mise en place dun conseil de dveloppement avec lus, professionnels, associations et citoyens
-

Rle dans llaboration des questionnaires dinterrogation des habitants Avis du conseil sur les analyses menes sur les retours des questionnaires

23
23
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

3. Panorama des principaux acteurs et pratiques

Au niveau des collectivits territoriales

Ex : Conseil gnral du Gard

Volont politique forte du Prsident du CG Mise en place dune direction de lvaluation avec 2,5 ETP Rattachement direct la Direction des services => poids important Environ 3 valuations / an : 1 interne / 2 externes Bonne pratique : constitution dun rseau avec les collectivits du dpartement et voisines => rseau RevMed : 8 collectivits (5 CG, 2 Cagglo, 1 Ccommunes)
-

Apport mutuel de techniques et expertises Mise en commun de moyens humains

24
24
Lvaluation des politiques publiques dans les champs sanitaire et social Enseignement Galle de Carmantrand & William Bottaro

EQR Conseil

25