Vous êtes sur la page 1sur 162

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

CONTRIBUTION A L'ELABORATION D'UN

GUIDE
DE L'EVALUATION
DES POLITIQUES PUBLIQUES
Laurent DJEZZAR Cline GATEAU-LEBLANC
lves administrateurs territoriaux Promotion Lucie Aubrac

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

LADF,
AU CUR DE LACTION DURABLE
Avec cette contribution, rsultat du travail passionn de Laurent DJEZZAR et Cline GATEAU-LEBLANC, lves administrateurs territoriaux, lAssemble des Dpartements de France dmontre une nouvelle fois que son ambition se dcline partir de ses initiales : Animer, Diffuser, Former. Animer le rseau des acteurs, experts ou praticiens de lvaluation : telle a t la mission confie Laurent et Cline, qui depuis le dbut de novembre 2007, nont eu de cesse de rencontrer partenaires, universitaires et chercheurs. La liste en est impressionnante. Ce rapport souvre, du reste, sur une triple prface que signent Hlne COMBE et Patrick VIVERET, respectivement Dlgue gnrale et Prsident de lObservatoire de la dcision publique, Eric PORTAL, Prsident de lAFIGESE et Guy CAUQUIL, Prsident de la SFE. Diffuser un document complet et concret : tel est lobjectif poursuivi par lenvoi et la mise en ligne de ce volumineux travail. Mesure de la performance, enjeu dmocratique et dveloppement durable y sont abords, illustration du PDCA trois vitesses imagin par lADF, dans son Micro-guide de la gestion durable auquel a succd le Guide de laction durable dont la version 2, dvoile aux administrateurs territoriaux de la promotion Lucie Aubrac le 26 fvrier 2007, est diffuse, ce jour, lors de la semaine du dveloppement durable. Former la pratique de lvaluation des politiques publiques : tel est le rle qui dsormais nous incombe et nous mobilise. En effet, ceux qui jusqu prsent doutaient de la pertinence de lvaluation, de son intrt ou simplement de la ralit de cette Arlsienne, comprendront, avec ce guide, quelle reprsente un levier en faveur de laction durable, ce quillustrent plus particulirement trois universitaires : Nicolas BERLAND (Paris Dauphine), Nicolas MATYJASIK (Lille 2) et Adrien PONROUCH (Ecole des Mines de Saint-Etienne). Merci eux et tous ceux qui nont pas hsit se joindre la dmarche initie par lADF et lINET, Institut national des tudes territoriales. Mais laventure nest pas finie pour autant, et, preuve que lvaluation constitue bien un atout dans le jeu des collectivits, la prochaine tape sera loccasion de prsenter la CARTE de lvaluation. Rendez-vous en septembre prochain.

2 avril 2008, Christian RIQUELME

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

REMERCIEMENTS
Nous tenons remercier Monsieur Michel ROUZEAU, Directeur gnral de l'Assemble des Dpartements de France (ADF) pour son accueil chaleureux et sa disponibilit. Nous remercions Monsieur Christian RIQUELME, Directeur gnral adjoint de l'ADF, de nous avoir permis de raliser ce projet collectif dans les meilleures conditions. Nous lui devons beaucoup et lui sommes reconnaissants de nous avoir guids et de nous avoir fait bnficier de sa comptence, de son ouverture d'esprit et de sa confiance. Nous tenons galement remercier spcialement Monsieur Nicolas BERLAND, Professeur des Universits l'Universit Paris Dauphine pour son expertise, sa grande disponibilit et son soutien sans faille. Notre contribution doit galement beaucoup l'appui et la gnrosit de Monsieur Adrien PONROUCH, Doctorant l'cole des Mines de Sainttienne, pendant toute la dure de ce projet. Merci galement Nicolas MATYJASIK, enseignant - chercheur lUniversit de Lille 2 (CERAPS), pour son regard sans concession et sa contribution nos travaux. Nos remerciements vont galement aux fonctionnaires des collectivits que nous avons pu rencontrer ou contacter pour la qualit de leur accueil et la richesse de leurs tmoignages. Merci galement l'ensemble des personnes qui ont particip par leur rflexion et leurs conseils ce travail. La liste des personnes rencontres et auditionnes figure en annexe. Ce projet collectif de l'Institut National des tudes Territoriales (INET) a enfin t men dans le cadre d'un partenariat avec la Socit Franaise de l'valuation (SFE) et l'Association FInances Gestion Evaluation des collectivits territoriales (AFIGESE). Nous remercions trs sincrement Guy CAUQUIL, Prsident de la SFE, et Eric PORTAL, Prsident de l'AFIGESE, pour leur contribution.

2 avril 2008,
Laurent DJEZZAR et Cline GATEAU-LEBLANC

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

SOMMAIRE
LADF, AU CUR DE LACTION DURABLE REMERCIEMENTS
2 3 4 6 11 13 15 26

SOMMAIRE
PREFACE DHELENE COMBE ET PATRICK VIVERET PREFACE DERIC PORTAL, PRESIDENT DE LAFIGESE PREFACE DE GUY CAUQUIL, PRESIDENT DE LA SFE

INTRODUCTION
AVANT-PROPOS METHODOLOGIQUE : COMMENT METTRE EN UVRE UNE DEMARCHE EVALUATIVE ?
PDCA 1 :

Procdure Documentaire : Comparaison, Apprciation LA MESURE DE LA PERFORMANCE


32 33 33 38 43 43 53

1. EVALUATION DES POLITIQUES ET MESURE DE LA PERFORMANCE DE LACTION PUBLIQUE


1.1. Evaluation et mesure de la performance, de quoi parle-t-on ?
1.1.1. Quest ce que lvaluation de la performance ? 1.1.2. Les dmarches de type LOLF, opportunit ou menace pour lvaluation des politiques publiques ?

1.2. Comment consolider lvaluation des politiques publiques dans les pratiques de modernisation de ladministration
1.2.1. Intgrer lvaluation aux pratiques de gestion 1.2.2. Elargir le champ de la performance pour mieux valuer les politiques
PDCA 2 :

Processus Dmocratique : Confrontation, Adaptation LENJEU DEMOCRATIQUE


61 61 61 62 68 70 81 81 81 dinitiatives 84 88

2. LEVALUATION PARTICIPATIVE : UN ENJEU DEMOCRATIQUE FONDAMENTAL


2.1. Lvaluation participative, gadget ou avenir de lvaluation ?
2.1.1. 2.1.2. 2.1.3. 2.1.4. De lmergence du principe de la participation des citoyens la question de lvaluation participative Quelques bonnes raisons de recourir lvaluation pluraliste Les diffrents dispositifs de participation

2.2. Pourquoi les collectivits locales sont-elles rticentes faire participer les citoyens dans leurs valuations
2.2.1. Les freins au dveloppement de lvaluation participative 2.2.2. Les risques lis la conduite dune valuation pluraliste 2.2.3. Les bienfaits de lvaluation participative incitent lmergence innovantes et reconnues

2.3. En quoi les dmarches qualit peuvent faciliter la diffusion dune culture de la participation dans les collectivits territoriales ?

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

PDCA 3 :

Politique Durable : Consolidation, Anticipation LE DEVELOPPEMENT DURABLE


92 92 92 97 102 102 106 115 125 130

3. EVALUER LACTION PUBLIQUE SOUS LANGLE DU DEVELOPPEMENT DURABLE


3.1. Evaluation, dveloppement durable et territoire : de quoi parle-t-on ?
3.1.1. Quest ce que le dveloppement durable et quels sont ses bnfices pour laction publique ? 3.1.2. Que recouvre lvaluation de laction publique sous langle du dveloppement durable ?

3.2. La diversit des modes dvaluation de laction publique sous langle du dveloppement durable
3.2.1. Lvaluation des actions, politiques et projets sous langle du dveloppement durable 3.2.2. Llargissement du cadre de laction et de lvaluation : des politiques au projet stratgique 3.2.3. Lvaluation du dveloppement durable lchelle du territoire 3.2.4. La notation extra financire des collectivits, nouvelle forme dvaluation des politiques publiques sous langle du dveloppement durable ?

3.3. Comment consolider lvaluation des politiques sous langle du dveloppement durable lchelle du territoire ?

CONCLUSION
ANNEXES
Annexe 1 : Bibliographie Annexe 2 : Dmarches dvaluation illustrant lavant-propos mthodologique partir de lexprience de quatre dpartements Annexe 3 : Charte de lvaluation de la SFE Annexe 4 : Liste des personnes rencontres et auditionnes Annexe 5 : Description de la mthodologie SD21000 adapte aux collectivits
139 145 150 152 155

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

PREFACE
Hlne COMBE1 & Patrick VIVERET2
Nantes et Nanterre, le 17 mars 2008

L'valuation des politiques publiques en France ressemble un peu ces "marronniers", ces thmes rcurrents que les journaux nous remettent en mmoire chaque anne date fixe, tels l'urgence des rgimes, l'heure des soldes, les mfaits du soleil, Car, dfaut d'tre notre "Madeleine de Proust", tant la culture franaise de la notation et de la "mise en case" nous la dessine sous les traits austres du jugement et du contrle, l'valuation est rgulirement invoque, mais joue en fait souvent "l'Arlsienne" Ainsi, si les annes 80 ont t marques par l'mergence d'une prise de conscience institutionnelle sur la ncessit "d'entrer en valuation", qu'en est-il vraiment vingt ans plus tard ?! O en sommes-nous de l'valuation des politiques publiques, alors que la socit s'est considrablement transforme et que notre rapport au monde s'est intrinsquement modifi ? L'exploration approfondie ralise par les lves administrateurs de l'INET, en lien avec l'Assemble des Dpartements de France, la Socit Franaise de l'valuation et l'AFIGESE, tmoigne de nombre d'expriences, et permet de constater, qu'en France comme ailleurs, les directives et les outils ont fleuri. Dmarches qualit, calcul de la performance, notation extra-financire applique, les exprimentations ont t diverses, et les experts (parfois autoproclams) se sont multiplis. Le prsent guide, explicitement factuel, n'a pas pour vocation tirer les enseignements de telle ou telle dmarche plutt que de telle autre. Ce qu'il ne nous dit donc pas, c'est si et comment le foisonnement des expriences a permis l'acquisition d'une culture commune, si la question de l'valuation s'est rellement diffuse en profondeur en dpassant le regard seul autocentr des dispositifs sur eux-mmes, si elle est devenue ou non un objet de dbats publics entre les lus et les autres citoyens ou encore un support de ngociation entre les dcideurs publics
1 2

Dlgue gnrale de l'Observatoire de la Dcision Publique Conseiller matre la Cour des Comptes, Prsident de l'Observatoire de la Dcision Publique

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Nos pratiques professionnelles et militantes, au sein des institutions, des collectifs d'acteurs et/ou des territoires, nous amnent penser que la culture du "rendu compte en politiques publiques" a progress. Mais l'apprentissage reste malheureusement encore limit, trs en retrait des directives europennes et des initiatives dveloppes dans d'autres pays3, et en complet dcalage avec le niveau d'exigence dmocratique dont nous aurions d collectivement nous doter. Envisage comme la narration de diverses histoires d'valuation des politiques publiques, la "contribution l'laboration d'un guide d'valuation des politiques publiques" intervient un moment charnire de l'interrogation de la pertinence des politiques publiques, et elle nous offre, dans ce contexte et via cette prface, l'opportunit de partager avec tous ses lecteurs futurs quelques-unes de nos interrogations et quelques suggestions. Que les auteurs de cet ouvrage, et leurs correspondants institutionnels, en soient trs sincrement remercis. Alors que les lanceurs d'alerte avaient, ds les annes 70, multipli les appels sur le fait que les modles de dveloppement adopts par les pays occidentaux aprs la 2me guerre mondiale conduisaient l'impasse socitale, nous avons longtemps ignor l'avertissement. Et nous n'avons, par voie de consquence, pas entendu en quoi les recommandations pouvaient permettre d'interpeller et de revisiter les orientations des politiques publiques, du niveau local au niveau global. Changement climatique, augmentation des situations d'extrme pauvret - y compris dans les pays comme la France qui avaient pu se considrer un temps pargns, catastrophes dmographique dans certains pays du monde4, crise financire des "subprimes" qui produit des ractions en chane sur l'conomie mondiale, disparition vitesse grand V de la diversit culturelle et de la biodiversit, rarfaction des biens collectifs naturels5, dmesure des programmes de gestion des ressources alimentaires6 , nous avons collectivement jou aux "apprentis sorciers", et les signaux de dtresse sont dsormais trop aveuglants (et proches de nous !), pour que nous puissions encore viter de les prendre en considration. Notre responsabilit individuelle et collective nous impose aujourd'hui de changer de cap ; et la question du choix des tableaux de bord et des instruments de guidage revt donc, plus que jamais, toute son acuit.
Notamment anglo-saxons Ex. L'esprance de vie de 750 millions d'habitants de l'Afrique subsaharienne chut de 61 48 ans au cours des dernires annes, en raison de la pandmie de SIDA., voir "le Plan B : pour un pacte cologique mondial", Lester R. BROWN, ditions Calmann-Lvy, 2007 5 La demande mondiale en eau douce a tripl en cinquante ans. Si un habitant des pays occidentaux consomme environ 4 litre d'eau par jour sous une forme ou une autre, l'eau ncessaire pour produire sa nourriture journalire s'lve au moins 2.000 litres, soit 500 fois plus ! Voir "le Plan B : pour un pacte cologique mondial", Lester R. BROWN, ditions Calmann-Lvy, 2007 6 Les effets destructeurs des quotas de pche signs entre le Sngal et l'Union europenne ont accru la pauvret dans ce pays. On compte cinq fois plus de moutons (95 millions) que d'habitants en Australie !
4 3

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Ds lors, il nous semble capital, pour poser correctement la question de l'valuation des politiques publiques en France (et ailleurs), de prendre imprativement en compte deux dimensions complmentaires. Premirement, si nous retenons que les politiques publiques7 correspondent effectivement la traduction oprationnelle de la politique : "art infiniment compliqu de faire vivre ensemble et concourir au bien commun des citoyens divers qui ne sont pas ncessairement d'accord entre eux8", alors l'valuation doit incontestablement se rfrer : 9 o un outil de gestion de projet , permettant l'ajustement continu et la capitalisation ; o une logique dmocratique, c'est--dire construite par et pour le plus grand nombre, l'expertise du vcu et des savoirs tant reconnue valeur gale, et la question de la transparence devenant un objet incontournable ; o une approche pluraliste, la diversit des points de vue permettant, d'une part d'avoir un meilleur accs la comprhension de la complexit du monde dans lequel nous voluons dsormais, d'autre part de garantir l'exigence puisque l'valuation devra concourir trouver des solutions, y compris en situation de besoins et/ou d'intrts divergents ; o un processus, c'est--dire une dynamique inscrite dans la dure, qui intgre l'volution de l'tat des connaissances et la transformation des besoins, et conduit ds lors privilgier l'valuation dans le temps d'une politique publique donne (ou d'une organisation, ou d'un territoire), plutt que sa comparaison oblige avec d'autres politiques. Deuximement, si nous adhrons l'ide que les politiques publiques doivent tre le reflet de nouvelles faons d'aborder le dveloppement10, c'est--dire notamment de passer d'une socit de l'avoir une civilisation de l'tre, et du faire socit ensemble, alors nous devons tre en mesure de : o "changer notre faon de compter", et "accepter de ne pas tout compter" ; o intgrer dans nos systmes d'valuation le fait qu'il n'y a de richesses que de la combinaison entre l'humain et la nature. En effet, c'est la somme entre les fondamentaux anthropologiques et cologiques, et plus encore le respect de l'quilibre entre eux, qui crent la "valeur" au sens tymologique de "la force de vie". Dans ce contexte, valuer - c'est--dire ici "dterminer la valeur des politiques publiques11" relve de la contribution la dfinition d'un vritable projet de socit, et pose la question de la responsabilit par rapport aux actes poss (impacts immdiats, et par effets induits).
7 "Intervention d'une autorit investie de puissance publique et de lgitimit gouvernementale dans un domaine spcifique de la socit ou d'un territoire." "Dictionnaire des politiques publiques", sous la direction de Laurie BOUSSAGUET, Sophie JACQUOT, Pauline RAVINET, les Presses de Sciences Po collection Rfrences, 2 dition revue et corrige, 2006 page 328 8 Voir Jean GUITTON, dans "Petit vocabulaire politique", Albert SAMUEL, ditions L'essentiel Chroniques sociales 1978, page 109 9 cf. "l'valuation managriale" dans les prconisations europennes 10 Dvelopper = grandir. Il s'agit de "grandir en ducation, en solidarits, en biodiversit, ", mais bien de stopper le "consommer toujours plus", "aller toujours plus vite", "accumuler toujours plus de biens", 11 Cf. "valuer les politiques et les actions publiques", Rapport au Premier Ministre, Patrick VIVERET, ditions Documentation Franaise 1989

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Ds lors, il nous semble primordial de bien diffrencier ce qui relve de l'valuation de contexte (photographie/diagnostic d'une situation) ou de ralisation (tat d'avancement d'un programme), et ce qui relve des rsultats et des impacts de la politique publique sur le terrain (ce qu'elle gnre concrtement en termes sociaux, environnementaux, dmocratiques, conomiques, ). Si dans les deux premiers cas, l'valuation peut tre, notre avis, conduite indiffremment par des auditeurs extrieurs ou par les acteurs eux-mmes, nous considrons, par contre, que l'enjeu des urgences socitales traiter, et la complexit des choix oprer, imposent le dbat dmocratique dans les deux autres situations. Que ce soit au niveau local ou au niveau global, la question de la dfinition des nouveaux indicateurs illustre trs bien cette exigence12. Ainsi, et titre d'exemple, revisiter le Produit Intrieur Brut sujet qui paraissait encore anachronique voire "blasphmatoire" en France voici encore quelques mois, et qui est enfin abord comme un objet d'intrt par les institutions de notre pays ne correspond rien de moins que de redfinir notre conception collective de la "richesse" ! Laisser de seuls "experts", seraient-ils chacun(e) des personnalits reconnues pour leurs comptences dans une discipline donne, quivaudrait leur donner un blanc seing pour laborer les contours d'un nouveau contrat social. Une telle posture serait incompatible avec les rgles de la dmocratie reprsentative qui est la ntre, dans laquelle les dcideurs sont lgitims par le vote des citoyens, et incohrente avec l'exigence selon laquelle les personnes directement impactes par les mesures adoptes doivent pouvoir tre entendues13. C'est, notamment, au nom de cette vigilance que nous avons ralis en 2007, en partenariat avec l'association 4D, un sminaire sur le thme "Loi Organique des Lois de Finances & dveloppement durable" visant raffirmer le rle du Parlement dans la dfinition des indicateurs de suivi des politiques de l'tat, et que nous contribuons actuellement la mobilisation des rseaux d'acteurs pour l'organisation d'un dbat public autour des travaux de la Commission STIGLITZ14. De la mme faon, et alors que les propositions d'intervention se multiplient auprs des responsables politiques, nous considrons qu'il est dmocratiquement illgitime, et politiquement dangereux, de donner carte blanche des techniciens de la notation ou de la certification pour l'analyse et l'aide la conduite de politiques publiques l'chelle des territoires.

12 Voir "les nouveaux indicateurs de richesse", Jean GADREY & Florence JANY-CATRICE, ditions La Dcouverte, collection repres 2005 13 Voir le rapport "notre avenir tous", dit rapport Brundtland 1987 : la place des parties prenantes (stakeholders) 14 Commission rcemment mise en place, sous la prsidence de Joseph STIGLITZ, prix Nobel d'conomie, la demande de Nicolas SARKOZY, Prsident de la Rpublique franaise, et qui est mandate pour proposer de nouveaux repres (indicateurs ?) de suivi de la croissance.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Car, en acceptant l'utilisation de matrices trs complexes - parfois volontairement "verrouilles" au nom de la proprit industrielle de leurs concepteurs -, en confiant des auditeurs extrieurs (supposs porteurs d'une neutralit objective !15) la matrise de l'valuation, nous actons en fait rien de moins que le principe de reconnatre certaines personnes une lgitimit supracitoyenne pour contrler l'action publique. La Constitution franaise est pourtant claire en la matire ; et l'urgence du dveloppement durable qui nous interpelle sur notre responsabilit en termes de dfense et prservation des biens collectifs et d'usage des finances publiques, nous rappelle paralllement qu'il est grand temps de nous nous en rapproprier collectivement les termes.
Dclaration des Droits de l'Homme et du citoyen de 178916. Article 14 "Les citoyens ont le droit de constater, par eux-mmes ou par leurs reprsentants, la ncessit de la contribution publique, de la consentir librement, den suivre lemploi, et den dterminer la quotit, lassiette, le recouvrement et la dure." Article 15 "La socit a le droit de demander compte tout agent public de son administration."

Il va sans dire que la double posture de l'valuation dmocratique et de la transformation de nos repres de pilotage n'est pas anodine en termes de jeux d'acteurs, et ncessite de la part des responsables politiques l'acceptation d'un renouvellement, en profondeur, des modalits du dbat public en France. Dans la mesure o elle repose sur le principe de la construction d'une intelligence collective, il nous semble non seulement qu'elle constitue l'une des conditions sine qua non d'une valuation rpondant aux enjeux du 21 sicle, mais aussi qu'elle correspond une opportunit sans quivalent pour permettre aux lus de disposer d'outils d'aide la dcision la hauteur de la complexit laquelle ils doivent aujourd'hui faire face. Alors que se dessine une rforme des Institutions, la veille de la prise en charge de la prsidence de l'Union europenne, l'heure o les lus des 36.000 Communes et des intercommunalits entament juste un mandat de six ans, de multiples occasions vont nous tre donnes de nous saisir collectivement de la question de l'valuation, et d'laborer des mthodes renouveles de pilotage des politiques publiques. Les dispositions venir seront dmocratiques, ou ne le seront pas. Il nous revient chacun(e), citoyen, professionnel, lu de prendre position. Pour notre part, le choix est fait. Hlne COMBE et Patrick VIVERET
15 Sans faire de procs d'intention aux experts intuitu personae, nous devons avoir conscience que les supports avec lesquels ils travaillent ne sont pas exempts de prsupposs. Ex. : la notation extra-financire dont l'un des prsupposs centraux consiste considrer que l'conomie produit de la richesse avant tout quand elle gnre du capital financier pour les actionnaires. On peut imaginer sans difficult l'impact de cette clef d'entre pour la lecture d'une politique de l'eau ou la dfinition des critres d'analyse d'une politique de services aux personnes, forcment considrs dans ce contexte comme tant avant tout des "biens et des services marchands lucratifs". 16 Cf. en rfrence dans le prambule de la Constitution franaise

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

10

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

PREFACE
Eric PORTAL,
Prsident de l'Association FInance, contrle de GEstion Evaluation des politiques publiques

AFIGESE, 18 mars 2008

Au nom de lAFIGESE (Association FInance, contrle de GEstion Evaluation des politiques publiques), je suis particulirement fier de prfacer cet ouvrage. Pour trois raisons, sans quaucune hirarchie ne les distingue. En premier lieu, il sinscrit dans la continuit des travaux de lAFIGESE. Je rappellerai pour mmoire la parution du Glossaire de lvaluation des politiques publiques (2001) et du Guide pratique de lvaluation des politiques publiques (2006) qui ont tous deux permis de rendre didactique et peut tre mme consensuel, le corpus conceptuel de cette discipline. Le prsent guide se veut tre une dclinaison du prcdent et en constitue en quelque sorte laboutissement. En second lieu, cet ouvrage sinscrit dans un partenariat indit entre lADF, lINET et les deux associations qui font beaucoup pour le dveloppement de lvaluation, savoir la SFE (Socit franaise dvaluation) et lAFIGESE. Il constitue ce titre une premire, puisquil est la convergence dune initiative dune association dlus (lADF), dune cole de hauts fonctionnaires (lINET) et des deux associations qui ont su crer un terroir de rflexion sur une technique protiforme et pluridisciplinaire. En dernier lieu, les deux auteurs dont un est administrateur de l'AFIGESE, bien que satisfaisant avant tout, par la rdaction de cet ouvrage, leur cursus denseignement professionnel, ont montr leur intrt pour une technique dont selon leurs mots lassise est loin dtre acquise . Gageons que ce guide participera la lgitimation en cours de lvaluation. On ne va pas revenir dans cette prface sur les concepts de lvaluation et sur la ncessit de son dveloppement. Bien dautres lont fait avant. Les auteurs du prsent ouvrage se sont aussi plis cet exercice impos.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

11

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Au-del de dveloppements somme toute classiques, ils ont su aborder le sujet avec deux approches originales que lon souhaite ici pointer. Sur le plan thorique, il sagit de lapproche globalisante qui cherche apprhender lvaluation dans toute sa dimension territoriale en transcendant les champs de comptences, forcement limitatifs, de chaque niveau de collectivit. Il privilgie ce titre lapproche participative de lvaluation, qui en visant le citoyen, dpasse les frontires institutionnelles. De plus, dans la mesure o cet ouvrage est une composante du Guide de laction durable pilot par lADF, il sinscrit largement dans une finalit qui nest pas jusqu prsent la plus dveloppe. Il dpasse ainsi lanalyse des effets des politiques publiques sur la population daujourdhui pour tendre prserver et dvelopper lenvironnement naturel et socital de celle de demain. Il couvre ainsi toutes les dimensions de lespace et du temps. Sur le plan pratique, cet ouvrage prsente lintrt de proposer des zooms sur un certain nombre dexprimentations locales qui peuvent inspirer les lus et gestionnaires. A ce titre, le rfrencement des contacts (nom et adresse des personnes qui peuvent expliciter lexprimentation dans chaque collectivit cite) reprsente cet gard un outil fort utile pour le praticien qui pourra concrtiser la dmarche au travers de ces exemples, sen inspirer et in fine participer la lgitimation tant souhaite de lvaluation des politiques publiques. Eric PORTAL, Prsident de lAFIGESE

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

12

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

PREFACE
GUY CAUQUIL,
Prsident de la Socit Franaise de l'valuation

SFE, 31 mars 2008

Le Guide de lvaluation que nous administrateurs de lINET, dans le cadre professionnelle et de leur contribution aux pour la Socit Franaise de lEvaluation un

proposent ici deux lves de leur cursus de formation travaux de lADF, reprsente triple signe positif :

o La confirmation de la pertinence de son engagement institutionnel en faveur de la diffusion de la culture et des pratiques dvaluation dans le champ des collectivits territoriales, qui sont dailleurs de plus en plus nombreuses rejoindre ses rangs. o La concrtisation dune premire tape de coopration entre deux socits professionnelles -lAFIGESE et la SFE- et les associations fdrant les grandes collectivits territoriales (ADF, ARF, ACUF), coopration qui sest traduite par plusieurs initiatives conjointes ces vingt derniers mois et qui est appele se dvelopper dans les annes venir. o Le signe de lappropriation par les professionnels de terrain de lessentiel des outils, mthodes et processus dvaluation, ceci au service de la cohrence et de la performance des politiques publiques territorialises quils sont chargs de conduire. Le Bureau de la SFE minvite fliciter les auteurs de cet ouvrage pour la somme de travail et la rigueur dont il atteste. Cet ouvrage prsente en effet de nombreuses qualits que nous voudrions ici souligner : clairement structur et rdig, il offre lensemble des acteurs des politiques publiques une prsentation somme toute assez exhaustive des pratiques dvaluation dans les collectivits territoriales franaises et amorce un processus de mutualisation de bonnes pratiques, processus quil serait intressant de prenniser.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

13

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Les chargs de mission valuation des politiques publiques de plus en plus nombreux dans les collectivits territoriales mais aussi dans dautres secteurs dactivit publique- y trouveront la fois une richesse dexpriences et une bibliographie bien documente qui leur permettra de progresser dans une fonction qui se rvle de plus en plus indispensable la structuration des politiques locales, mme si elle est encore parfois insuffisamment reconnue ou valorise. Les puristes regretteront peut-tre quelques imprcisions ou absences. On aurait gagn par exemple mettre davantage en parallle la monte en puissance de la dcentralisation et celle de lvaluation et en dcrypter les effets croiss, prsenter plus en dtail les conditions pratiques de mise en uvre dune valuation ou encore contrebalancer linsistance mise ici sur la mesure par une rflexion sur la place de lvaluation dans les stratgies de conduite des politiques publiques et dans laide la dcision. Mais au final, il convient de chaleureusement remercier et fliciter les auteurs de cet ouvrage pour le courage et l propos dont ils ont fait preuve en nhsitant pas sattaquer dans le cadre de leurs tudes suprieures un objet aussi complexe que lvaluation qui voici dix ans encore tait quasiment inconnu dans leur milieu professionnel. Mme sil sagit moins stricto sensu dun guide mthodologique que dune somme dexpriences et de suggestions concrtes intelligemment mises en perspective, cet ouvrage propose au lecteur les principaux points de repres lui permettant de conduire ou dapprcier une valuation de politique territoriale, ceci sans en mconnatre ni en sous-estimer les enjeux.

Guy CAUQUIL, Prsident de la SFE

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

14

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

INTRODUCTION
valuation des ministres ou des professeurs17, valuation de la performance compare des services publics18 , instauration d'un Secrtariat dtat auprs du Premier ministre, charg de la Prospective et de lvaluation des politiques publiques en mai 2007 : l'valuation a rarement fait l'objet d'une telle attention par les Pouvoirs publics et les mdias. Mais si le mot "valuation" est commun ces diffrentes acceptations, les pratiques valuatives sont radicalement diffrentes et obissent en cela des mthodes et des finalits trs diverses. La thmatique de l'valuation des programmes et des politiques n'est pas nouvelle en France et revient sur le devant de la scne intervalles rguliers. Les premiers soubresauts de l'valuation datent de la mise en place de la rationalisation des choix budgtaires (RCB) la fin des annes 70. Aprs l'chec de cette tentative, la fin des annes 80 a pu sembler dcisive pour l'valuation avec la politique de "renouveau du service public" dcide par le gouvernement de Michel Rocard, suite la rdaction du rapport de Patrick Viveret, "L'valuation des politiques et des actions publiques". En 1990, Michel Rocard lance un dispositif d'valuation interministriel par le dcret du 22 janvier 1990, en instituant un Conseil Scientifique de l'valuation (CSE). A la mme priode, ont t crs le Comit national d'valuation de la recherche, la Commission d'valuation du RMI et le Comit national d'valuation de la politique de la ville. Le dispositif de 1990 a selon un rapport du Snat19 "connu un chec, relatif si l'on se rfre aux progrs culturels qu'a connus l'valuation des politiques publiques, en particulier grce au CSE, mais patent sous un angle plus pratique et finalement, trs dcevant". D'o, une relance de l'valuation la fin des annes 90 avec la cration du Conseil National de l'valuation (dcret de 1998) supprimant le Conseil Scientifique de l'valuation. La fin des annes 90 est marque par la cration en 1999 de la Mission d'valuation et de Contrle institue par la Commission des Finances et la cration de la Socit Franaise d'valuation (SFE) afin de promouvoir l'activit d'valuation et la profession d'valuateur.
Cf. la Dcision n 5 (valuer les professeurs sur leur capacit faire progresser tous les lves) du rapport de la Commission pour la libration de la croissance franaise (www.liberationdelacroissance.fr). 18 L'Institut DELOUVRIER : Baromtre BVA / L'INSTITUT PAUL DELOUVRIER, Le baromtre des services publics, Les services publics vus par leurs usagers, Dcembre 2007. http://www.delouvrier.org/themes/delouvrier/pdf/Nov07RapportDelouvrier.pdf 19 BOURDIN, Jol et ANDRE, Pierre et PLANCADE, Jean-Pierre : Placer l'valuation des politiques publiques au coeur de la rforme de l'tat, Rapport d'information fait au nom de la Dlgation du Snat pour la planification sur l'valuation des politiques publiques en France, Snat, dlgation pour la planification, Paris; Snat; 2004; 428 pages, (Les Rapports du Snat, n 392). http://www.senat.fr/rap/r03-392/r03-392.html
17

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

15

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Plus rcemment, l'valuation s'est inscrite dans le mouvement de fond guid par la recherche de la performance dans le secteur public impuls par la loi organique sur les lois de finances adopte le 1er aot 2001 (LOLF). L'valuation irrigue dsormais l'ensemble des champs de l'action publique que ce soit la sant, l'action sociale et mdico-sociale, le dveloppement durable, les engagements contractuels des collectivits (contrats de projet Etat-Rgion, contrats territoriaux), etc. Face la ncessit de rendre compte au citoyens et de dgager des marges de manuvre financires, les collectivits locales ont dvelopp concomitamment depuis une vingtaine d'anne des dmarches de modernisation et d'amlioration de la performance en matire de contrle de gestion, d'audit, de management par les processus ou d'valuation des politiques publiques, comme en attestent les rcents travaux de l'AFIGESE CT20 et les rflexions de l'ACUF21. Mais force est de constater que si le recours l'valuation des politiques publiques progresse dans les collectivits, son assise est loin d'tre acquise. De rcentes enqutes montrent ainsi que sa pratique est loin d'tre gnralise. Une enqute mene en 2006 par des lves-administrateurs territoriaux auprs de collectivits de diffrents niveaux a ainsi mis en exergue que moins de 61,1 % des collectivits n'ont pas encore entrepris de dmarches d'valuation et si elles l'ont fait, c'est 75% l'aide de prestataires extrieurs. Une autre enqute rendue publique l'occasion d'une journe d'tude de la SFE le 9 novembre 2007 a confirm cet tat de fait : seules 57 % des collectivits (Rgions, Dpartements, Communauts urbaines ou dagglomration) ayant rpondu affirment raliser des valuations de politiques publiques22. Cette situation demeure paradoxale dans la mesure o l'valuation se situe au cur des enjeux de la gestion publique locale. Les collectivits vont en effet tre amenes valuer leurs politiques, leur organisation, leurs personnels ou encore leurs partenaires dans la mesure o la rarfaction des ressources financires du fait des transferts de comptence oblige disposer d'une connaissance fine des marges de manuvre financire et dune lisibilit accrue des dispositifs. En outre, de moins en moins d'lus envisagent de lancer de nouveaux projets sans solliciter la participation des citoyens ce qui implique ncessairement leur intgration ( divers niveaux en fonction de la culture locale et de la politique en question) dans l'valuation des politiques et des programmes.
GRAIL, Cdric et LESCAILLEZ, Vincent et MENUT, Philippe : Guide sur la performance dans les collectivits locales, avec lappui de lAFIGESE, lACUF et lINET, 2006 http://www.communautes-urbaines.com/Download/Guide%20AFICUF%20def7%20novembre%202006.pdf Voir galement les travaux mens depuis 2007 dans le cadre de l'OPPALE (Observatoire des dmarches locales de performance) mis en place par l'AFIGESE et l'INET (http://www.afigese.fr) 21 ACUF : (Association des Communauts urbaines de France) et Groupe Caisse d'pargne : Journe d'tude du 30 mai 2007, Dmarches locales de performance : pratiques et enjeux, principes consacrs par la LOLF, le rle prcurseur des collectivits locales. http://www.communautes-urbaines.com/Download/CNCE.pdf) 22 Enqute SFE/SPIRIT sur lvaluation des politiques publiques lchelle des territoires, octobre 2007 http://www.sfe.asso.fr/fr/journees/l-evaluation-a-l-echelle-territoires.html
20

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

16

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La complexit de l'action publique en raison de l'enchevtrement des comptences et la multiplication des dispositifs partenariaux imposent dsormais une valuation consolide au niveau d'un territoire. En effet, quoi bon valuer une intervention publique partenariale sous le prisme des politiques d'une seule collectivit ? L'valuation de la globalit de l'action publique l'chelle d'un territoire ne peut pas de fait s'apprhender l'aune du (certes ncessaire mais nanmoins rducteur) prisme de la performance de la dpense publique. L'valuation de l'action publique sur un territoire doit s'adosser sur un paradigme permettant d'englober l'ensemble des interventions publiques et s'inscrivant dans le long terme. Le dveloppement durable offre cette perspective. C'est pourquoi de multiples acteurs publics (MEDAD, collectivits, universits) et privs (agences de notation, organismes de certification) cherchent btir de nouveaux rfrentiels d'valuation sous l'angle du dveloppement durable. Toutes ces volutions touchant l'valuation de l'action publique ont pouss l'Assemble des Dpartements de France laborer un guide de l'action durable dont l'valuation constitue un pilier essentiel. Le guide de l'action durable de l'Assemble des Dpartements de France dveloppe une approche indite de l'valuation Le guide de l'action durable prsent par l'Assemble des Dpartements de France (ADF) le 5 dcembre 200723 l'occasion des Entretiens Territoriaux de Strasbourg (ETS) place l'valuation au cur de l'amlioration de la gestion publique et la rend d'autant plus cruciale que les collectivits publiques vont devoir ragir face aux contraintes financires. Ce guide se dcline en 5 guides offrant aux collectivits des repres leur permettant d'apprhender les nouveaux enjeux auxquels est confronte l'action publique et de se doter, partir d'expriences locales innovantes, des outils et des mthodes adaptes la gestion locale et s'inscrivant dans une perspective durable. La gestion publique a plus que jamais vocation apporter des rponses la hauteur des exigences des citoyens en matire de qualit du service rendu et, au-del des effets de mode, d'intgrer non seulement les principes du dveloppement durable, dsormais constitutionnaliss, dans les politiques publiques mais galement de s'inspirer des apports mthodologiques des dmarches qualit tels que le principe d'amlioration continue par exemple. Dans cette optique, le guide de l'action durable de l'ADF aborde l'valuation suivant trois approches squentielles s'inscrivant dans l'acronyme PDCA (Plan, Do, Check, Act) invent par William Edwards DEMING. A travers cette ide, l'valuation se dcline en premier lieu en une Procdure Documentaire visant Comparer et Apprcier.
23

Guide disponible sur le site de l'Assemble des Dpartements de France : www.departement.org

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

17

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

C'est tout le sens que certains textes fondateurs donnent l'valuation : la circulaire du 28 dcembre 1998 relative lvaluation des politiques publiques voque ainsi que " lvaluation dune politique publique consiste comparer ses rsultats aux moyens quelle met en uvre quils soient juridiques, administratifs ou financiers et aux objectifs initialement fixs". Un autre texte, le dcret du 18 novembre 1998, est encore plus explicite : lvaluation dune politique publique a pour objet dapprcier () lefficacit de cette politique en comparant ses rsultats aux objectifs assigns et aux moyens mis en uvre . Cette forme d'valuation encore appele valuation managriale s'intgre dans la gestion de l'administration et vise essentiellement optimiser les moyens budgtaires. On constate nanmoins que sans l'intgration des parties prenantes, le changement parvient difficilement s'oprer dans les organisations d'o le recours de plus en plus frquent l'valuation participative. Trs pratique l'tranger, cette forme d'valuation s'est rarement concrtise en France mme si des expriences rcentes ont merg travers les confrences citoyennes notamment. Vritable Processus Dmocratique visant Confronter l'action publique avec les parties prenantes dans une dmarche d'Adaptation des politiques publiques, cette forme d'valuation apparat incontournable dans les pratiques modernes de gestion publique. Visant accrotre la qualit du dbat dmocratique, lvaluation dmocratique n'entre pas en contradiction avec l'valuation managriale mais intervient de faon complmentaire. Mais partant du principe qu'valuer les politiques publiques selon un processus dmocratique n'est pas une fin en soi pour tre certain de leur efficience, de leur impact au niveau dun territoire, le guide de l'action durable identifie un troisime niveau d'valuation. A partir du constat que les valuations ponctuelles au niveau d'un territoire sont la plupart du temps parses et non capitalises, cette forme d'valuation se conoit partir de lenclenchement dune Politique Durable dont le but est de Consolider, sur un territoire donn, les rsultats enregistrs, levier indispensable pour ensuite tre en capacit dAnticiper et donc douvrir la voie dune vritable prospective. A ce sujet, l'largissement du champ de l'valuation de l'action publique l'chelle d'un territoire peut s'apprhender au regard des principes du dveloppement durable. Encore un guide de l'valuation des politiques publiques ? Cette contribution ne constitue donc pas un guide pratique et mthodologique de l'valuation des politiques publiques. Pourquoi refaire en moins bien ce qui a dj t fait, qui est reconnu et qui continue d'apporter aux acteurs publics l'ingnierie ncessaire pour laborer et conduire une dmarche valuative24 ?
24

On se rfrera cet effet au guide pratique de l'valuation de l'AFIGESE, prcit, et la rfrence suivante :

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

18

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

De plus, l'valuation continue de faire l'objet d'ouvrages de synthse reconnus25, de glossaires26 et de guides pratiques donnant l'ensemble des cls et des mthodes permettant de s'orienter dans la conduite d'une dmarche valuative2728. Notre objectif est plutt d'apporter une contribution au guide de l'valuation de l'ADF qui a vocation s'enrichir rgulirement d'autres apports et d'autres expriences. Notre ambition non dnue d'humilit est avant toute chose de donner quelques repres aux lus et aux dirigeants territoriaux dsireux de se lancer dans une valuation de leurs politiques publiques ainsi qu' tous les citoyens passionns par l'action publique. Cette contribution s'appuie sur des expriences concrtes de collectivits de diffrents niveaux et des outils mthodologiques innovants issus de la pratique de cabinets, d'initiatives d'associations et de recherches universitaires rcentes. On ne peut nanmoins pas faire l'conomie d'voquer ce stade de faon succincte les principaux enjeux auxquels est actuellement confronte l'valuation des politiques publiques. L'valuation des politiques publiques, une discipline la croise des chemins Plusieurs textes rglementaires et rapports ont particip l'laboration d'une dfinition de l'valuation. Selon le dcret du 22 janvier 1990, valuer une politique, cest rechercher si les moyens juridiques, administratifs ou financiers mis en uvre permettent de produire les effets attendus de cette politique et datteindre les objectifs qui lui sont fixs . La circulaire du 28 dcembre 1998 relative lvaluation des politiques publiques apporte des prcisions importantes permettant de distinguer l'valuation d'autres disciplines en insistant sur la notion de jugement : lvaluation dune politique publique consiste comparer ses rsultats aux moyens quelle met en uvre quils soient juridiques, administratifs ou financiers et aux objectifs initialement fixs. Elle se distingue du contrle et du travail dinspection en ce quelle doit aboutir un jugement partag sur lefficacit de cette politique et non la simple vrification du respect des normes administratives ou techniques.
RUPRICH-ROBERT, Christophe et BENCIVENGA, Magali : valuation des politiques publiques : nouveau guide pratique - Voiron : La lettre du cadre territorial, 2002, 181 p. ; 30 cm. - (Dossiers d'experts) 25 BUF, Jean-Luc : L'valuation des politiques publiques, La Documentation Franaise, 2001, 80 p. 26 AFIGESE (Association Finances Gestion et valuation) : Glossaire de l'valuation, 2001. 27 CONSEIL SCIENTIFIQUE DE L'VALUATION : Petit guide de l'valuation des politiques publiques, La Documentation Franaise, mai 1996, 123 p ; http://www.evaluation.gouv.fr/cgp/fr/interministere/doc/petit_guide_cse.pdf) 28 AFIGESE (Association Finances Gestion et valuation): Guide pratique de l'valuation des politiques publiques, 2006

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

19

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La dfinition du rapport Viveret29 met l'accent sur la dimension normative de l'valuation : "valuer une politique, c'est former un jugement sur sa valeur". Le dcret du 18 novembre 1998 revient sur les notions d'efficacit et d'efficience, en affirmant que lvaluation dune politique publique a pour objet dapprcier () lefficacit de cette politique en comparant ses rsultats aux objectifs assigns et aux moyens mis en uvre . La distinction entre l'valuation des politiques publiques et les autres approches de gestion telles que le suivi, le contrle administratif (ou de conformit), le contrle de gestion ou l'audit fait l'objet de dbats rcurrents. En tmoigne encore rcemment la journe d'tude de la Socit Franaise de l'valuation en partenariat avec France Qualit Publique et l'AFIGESE qui s'est tenue le 11 dcembre 2007 avec pour thme : "L'valuation et les activits voisines : de la concurrence la complmentarit". O finit le contrle de gestion et o commence lvaluation ? Comment distinguer clairement l'valuation du suivi ? Les diffrences sont relles mais parfois les frontires floues et les ralits administratives moins caricaturales. Surtout les disciplines telles que l'audit, l'inspection, le contrle de gestion, la recherche, la dmarche qualit et le suivi participent toutes l'valuation "au sens large" des activits administratives et en ce sens peuvent se superposer ou se complter. Pour dpasser ce dbat, il est essentiel de se rapprocher des dfinitions donnes plus haut et de rappeler que lvaluation est spcifique en ce quelle sinterroge non seulement sur lefficacit et lefficience de laction mene comme le contrle de gestion ou laudit le ferait, mais quelle sinterroge aussi sur la pertinence de laction mene. L'valuation porte son attention sur le "pourquoi" de l'action publique et cherche mieux comprendre ce qui a prsid aux choix publics. Ainsi, alors que le contrle et l'audit se rfrent des normes internes au systme analys (rgles comptables, juridiques, ou normes fonctionnelles), l'valuation essaye d'apprhender d'un point de vue principalement externe les effets et la valeur de l'action considre. La plupart des experts oprent des distinctions sur les diffrents types d'valuation des politiques publiques selon qu'elle est obligatoire ou volontaire, suivant sa temporalit, selon son mode de ralisation et enfin en fonction de la nature de l'exercice. Le Guide pratique de lvaluation des politiques publiques de lAFIGESE rappelle que la dmarche dvaluation sest beaucoup diffuse en France sous limpulsion de lUnion europenne soucieuse dvaluer ses politiques agricoles, industrielles, de recherche et de dveloppement rgional partir des annes 1990. Certaines de ces politiques tant partenariales et multi fonds, de nombreuses collectivits locales se sont trouves associes ces dmarches.
29 VIVERET (Patrick) : L'valuation des politiques et des actions publiques, Rapport au Premier ministre, Paris, La Documentation franaise, 1989.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

20

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Progressivement, les rgions se sont ainsi dotes de dispositifs d'valuation, comme le prvoyait la circulaire du 9 dcembre 1993, prcise dans les circulaires du 31 juillet 1998 et du 25 aot 2000. Les difficults gnres par la complexit des politiques partenariales ont galement jou un rle essentiel dans la diffusion dune culture de lvaluation. Eric MONNIER et Fabrice HENARD30 ont dvelopp l'ide qu'au cours de la dernire dcennie, l'tat a progressivement largi le champ des procdures contractuelles avec les collectivits territoriales et associ les collectivits la mise en uvre de politiques nationales (comme la Politique de la Ville avec un volet valuatif obligatoire ou la gestion du Revenu Minimum dInsertion). Les pratiques valuatives ont ainsi t progressivement adoptes de manire volontaire par un nombre croissant de collectivits territoriales pour valuer leurs propres politiques. Toutefois, ce dveloppement reste encore ingalement rparti entre les diffrents niveaux de collectivits territoriales. Le guide de lvaluation de lAFIGESE note en outre que les motifs de recours lvaluation peuvent tre trs divers : remplir une obligation, servir laction publique, constituer une aide la dcision, optimiser laffectation des ressources, rendre compte et donner du sens laction publique, ou encore apporter des connaissances objectives. Globalement, plus les collectivits sont loignes des citoyens et plus elles jugent ncessaire le recours des dispositifs dvaluation afin davoir un retour sur leurs actions. Ainsi les rgions et les intercommunalits sont les niveaux de collectivits o la culture de lvaluation est la plus prsente. Concernant les dpartements, lvaluation des politiques publiques commence peine se dvelopper, souvent en raison de la rarfaction des ressources budgtaires. Une valuation peut tre ralise plusieurs stades de la vie dune politique. On distingue traditionnellement trois types dvaluation en fonction de leur temporalit : L'valuation ex ante : entendue comme ltude prospective de la faisabilit et de limpact dune politique envisage ;
30

Le nombre important d'objectifs concomitants et souvent flous des politiques partenariales, dont une majorit est adosse aux CPER, ainsi que l'imbrication des responsabilits des diffrents niveaux de collectivits ont alors entran un dficit de lisibilit pour les citoyens, mais aussi pour les dirigeants territoriaux. Les collectivits, sollicites financirement, ont compris l'intrt stratgique de s'impliquer dans les valuations des contrats, dont les rsultats peuvent nourrir, influer ou contrecarrer leurs propres politiques. Les villes moyennes et les dpartements se sont par exemple investi dans les valuations du Plan Universit 2000, et ont cherch en tirer les rsultats les plus riches pour rviser leurs exigences et repositionner leur participation. L'implication marque des agglomrations dans l'valuation des contrats de ville est une autre illustration de l'intrt des collectivits territoriales. L'valuation de ces contrats se dveloppe in MONNIER, Eric et HENARD, Fabrice : L'valuation des politiques publiques dans les collectivits territoriales : exercices imposs et initiatives propres, in Revue Pouvoirs Locaux, Paris, Novembre 2000.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

21

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Lvaluation ex post qui consiste tirer les enseignements dune politique mise en uvre ; il sagit du type dvaluation le plus dvelopp et correspondant le mieux lobjet mme de lvaluation : valuer la mise en uvre dune politique et les rsultats quelle a atteint ; Lvaluation concomitante ou chemin faisant : elle se droule en mme temps que la mise en uvre de la politique concerne. Selon le mode de ralisation de l'valuation, on distingue : o L'auto-valuation ralise par une ou plusieurs personnes directement impliques dans l'action value ; o L'valuation interne effectue par un agent relevant de la structure responsable de l'action, mais n'ayant pas t impliqu dans la conception ou la mise en oeuvre de celle-ci ; o Lexpertise valuative pratique lorsque ladministration souhaite obtenir un bilan et des recommandations dans un dlai court. Le recours lexpertise valuative peut tre dcid hors du comit des valuations avec laccord du Directeur Gnral ; o L'valuation externe qui implique un recours des consultants extrieurs, ce qui favorise un regard neutre et neuf. Elle est trs souvent indispensable compte tenu des enjeux financiers, stratgiques et oprationnels. On peut enfin envisager quatre catgories dvaluations rtrospectives selon la nature de l'exercice : les valuations d'oprations (actions, projets, programmes), les valuations transversales (thmatiques ou sectorielles), les valuations d'instruments (organismes, oprateurs, moyens) et les valuations stratgiques (actions menes dans un pays, une rgion ...) On distingue communment plusieurs critres traditionnels de l'valuation : La cohrence : les diffrents objectifs sont-ils cohrents entre eux ? Les moyens juridiques, humains et financiers mis en place (dans la conception et la mise en uvre) sont-ils adapts ces objectifs ? Lefficacit : dans quelle mesure les effets propres de la politique sont-ils conformes ces objectifs ? Lefficience : les ressources financires mobilises par la politique ont-elles t bien utilises ? Les rsultats de la politique sont-ils la mesure des sommes dpenses ? Limpact : quelles sont les consquences globales de la politique pour la socit ? Ces consquences sont-elles bnfiques ? La pertinence : une politique se justifie trs gnralement par lidentification dun problme de socit auquel les pouvoirs publics se sentent tenus de faire face. Une politique sera dite pertinente si ses objectifs explicites sont adapts la nature du (des) problme(s) quelle est cense rsoudre ou prendre en charge. Leffectivit : elle concerne la mise en oeuvre des diffrentes mesures ou actions d'un programme : Qu'est-ce qui a t ralis ou non ? Qu'est-ce qui a t financ ou pas ? Par Qui ? Dans quel domaine ?, etc.
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

22

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Ces critres donnent l'valuateur un champ d'tude vari en fonction des besoins de la collectivit et de la dmarche valuative qu'elle souhaite mener. Mais comme l'a rappel le Petit guide de l'valuation paru en 199031 et labor par le Conseil scientifique de l'valuation (CSE) toute dmarche valuative peut viser plusieurs finalits : a) une finalit dontologique : rendre des comptes aux responsables politiques et aux citoyens sur la manire dont une politique a t mise en oeuvre et sur les rsultats qu'elle a obtenus. Cette dimension recouvre donc la fois l'amlioration de l' imputabilit des systmes d'action publique (notion correspondant au terme anglais accountability, au sens de capacit rendre des comptes sur son action une autorit de niveau suprieur ou un public dmocratique), la finalit informative et la finalit dmocratique de l'valuation. b) une finalit gestionnaire : rpartir plus rationnellement les ressources humaines et financires entre diffrentes actions, amliorer la gestion des services chargs de les mettre en oeuvre. c) une finalit dcisionnelle : prparer des dcisions concernant la poursuite, l'arrt ou la refonte d'une politique. d) une finalit d'apprentissage et de mobilisation : contribuer la formation et la mobilisation des agents publics et de leurs partenaires en les aidant comprendre les processus auxquels ils participent et s'en approprier les objectifs. Le guide de l'valuation des CUCS (contrats urbains de cohsion sociale) ralis pour le compte de la Dlgation Interministrielle la Ville (DIV) en aot 2007 sous la responsabilit de deux experts du rseau PLURALIS32 Michel BASSET et Guy CAUQUIL, respectivement directeurs des cabinets ARGOS et CIRESE33 rsume bien les diffrentes finalits que peut poursuivre une valuation : o Contrler le bon usage des financements publics o Comprendre et produire de la connaissance o Mesurer l'efficacit de laction publique o Apprcier l'impact dune politique publique o Amliorer la qualit et le fonctionnement des services o Donner du sens (= relier les actes des orientations philosophiques) o Produire du changement dans les pratiques o Mobiliser les acteurs et les partenaires o Mieux communiquer sur ce quon fait La mise en uvre d'une valuation ne s'improvise pas. Sa russite dpend tout autant du respect d'une dmarche mthodologique rigoureuse que de principes essentiels34.
31 32

http://www.evaluation.gouv.fr/cgp/fr/interministere/doc/petit_guide_cse.pdf www.reseaupluralis.com 33 DIV (Dlgation Interministrielle la Ville), L'valuation des CUCS, Version 2, aot 2007, 72 p http://i.ville.gouv.fr/divbib/doc/guideDIVCUCSversion2.pdf 34 Se reporter notre avant-propos mthodologique

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

23

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A ce sujet, la Charte de lvaluation de la Socit Franaise de lvaluation35 a t adopte en assemble gnrale le 28 octobre 2003 (puis remanie en juin 2006) afin de rgir lvaluation par quelques principes de rfrence spcifiques : le principe de pluralit, le principe de distanciation, le principe de comptence, le principe de respect des personnes, le principe de transparence, principe de responsabilit. Ces repres mthodologiques tant faits, il est bon de prciser que l'valuation connat en France un dveloppement rgulier certes mais trs lent et chaotique dont il importe de rappeler quelques motifs. Les difficults d'ancrer lvaluation dans la pratique proviennent en premier lieu du flou qui entoure la notion de politique publique et de limprcision de ses frontires. Le dcalage entre le temps politique et le temps administratif de l'valuation dissuade ensuite nombre de dmarches valuatives. Face une valuation aux rsultats parfois limits ou non utilisables (les calendriers politiques et administratifs ne permettant pas toujours d'inclure dans les nouveaux programmes les recommandations des valuations), les collectivits territoriales peuvent hsiter s'investir elles-mmes dans des dmarches valuatives. Ce temps trop important d'valuation entrane une dception du politique qui estime que les valuateurs travaillent trop lentement et une dception des valuateurs qui ont l'impression que leur travail est peu utile s'il ne peut tre pris en compte en amont de la dcision politique. Un autre obstacle la prennisation de l'valuation des politiques est le dficit de culture valuative. Dans les collectivits territoriales qui ne disposent pas de service d'valuation et qui ne sont pas prpares cette dmarche, l'valuation reste en outre vcue comme une variante du contrle budgtaire. Elle s'apparente pour certains lus une analyse de la rentabilit ou de la productivit des services. Ce type de confusion n'est pas propre aux collectivits, mais pse lourdement dans une rappropriation de la dmarche en interne au sein des administrations territoriales. De la mme manire, le dveloppement de la contractualisation laisse peu de champ aux valuations autonomes des collectivits territoriales. Le renouveau de logiques territoriales (pays, agglomrations) amplifie le problme puisque la transversalit et la globalit des actions prnes par la LOADDT36 impliquent ncessairement des politiques et des valuations partenariales. Dans ce contexte, la complexit des valuations freine les collectivits territoriales non prpares, qui tendent percevoir cette dmarche comme fastidieuse et peu utile.
Cette charte est consultable sur le site de la SFE l'adresse suivante : http://www.sfe.asso.fr/fr/chartesfe.html 36 La loi d'orientation pour l'amnagement et le dveloppement durable du 25 juin 1999, appele aussi Loi Voynet
35

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

24

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Malgr une hausse du niveau et de la capacit d'expertise en valuation de politiques publiques en France, les collectivits territoriales restent encore souvent dmunies face la dmarche d'valuation pour laquelle il manque encore de rfrentiels spcifiques aux collectivits territoriales. L'valuation mene par les collectivits territoriales se heurte enfin un facteur de proximit, qui est moins perceptible dans les valuations nationales ou europennes, mais qui constitue un obstacle rel la dfinition et au droulement de l'valuation au niveau local. Une collectivit qui value encourt des risques : risques de personnalisation de l'valuation, de pressions politiques modifiant les rsultats et leur utilisation ou de surestimation des contextes locaux (effet de loupe). Ces difficults n'empchent pas l'valuation de se dvelopper et d'emprunter des voies indirectes pour s'imposer dans le champ de l'action publique. C'est toute l'ambition de notre contribution : sensibiliser les acteurs publics sur l'ide que si l'valuation est une discipline part entire, rigoureuse et concrte, elle peut s'apprhender sous plusieurs angles et n'a vocation exister, se prenniser et dmontrer sa facult d'adaptation que dans la mesure o elle rpond aux besoins des lus et aux exigences dmocratiques. Notre propos s'articulera partir de la confrontation de l'valuation avec les enjeux majeurs auxquels est confronte aujourd'hui l'action publique : la mesure de la performance, la participation de l'ensemble des parties prenantes et le dveloppement durable.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

25

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

AVANT-PROPOS METHODOLOGIQUE : COMMENT METTRE EN UVRE UNE DEMARCHE EVALUATIVE ?

Cet avant-propos s'appuie sur ces expriences pratiques des collectivits suivantes :
o o o o

Le Le Le Le

Conseil Conseil Conseil Conseil

gnral gnral gnral gnral

de la Nivre des Bouches du Rhne de Loire-Atlantique de l'Essonne

Ces dmarches sont explicites dans des encadrs figurant en annexe 2.

LES PRINCIPALES ETAPES DE LA CONDUITE DUNE EVALUATION

Au pralable, c'est dans la plupart des cas un lu qui formule une commande : il faut dans un premier temps une reformulation de la question avec un ensemble de sous-questions avant la rdaction du cahier des charges. Il sagit dclaircir la commande politique et de rdiger le plus prcisment possible les questions traiter pour viter de passer ct de lessentiel. La russite de la dmarche dpend en grande partie de la rigueur du travail du comit de pilotage, dont le choix de la composition et du rythme des runions est stratgique. Une fois la commande reformule et crite, un retour llu permet dassurer la validation politique de lvaluation. Le management dun processus dvaluation dune politique publique peut se prsenter comme suit :
Comit de pilotage de lvaluation (pluraliste)

Comit de suivi des valuations (politiques, signataires des contrats, etc.) Comit dexperts

Mandat

Reprsentativit de lensemble des acteurs : Mandat bis Instance technique

Chargs dvaluation

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

26

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La plus grande valeur ajoute de lvaluation rside au sein du comit de pilotage et non dans les crits car le temps est souvent insuffisant aux lus pour lire les rapports. Il importe de prciser le niveau dimplication que l'on souhaite donner au comit de pilotage et au rythme des runions. Concernant le droulement de lvaluation elle-mme, si lon suit la dmarche mthodologique propose par le cabinet Evalua37, quatre comits de pilotage et un droulement en trois parties doivent apparatre dans le cahier des charges. Un premier Comit de Pilotage (CP) est charg dlaborer le cahier des charges (CP 1). Le cahier des charges doit comprendre les points suivants : lexpos des motifs, les finalits et les enjeux de lvaluation, le champ de lvaluation, les objectifs de lvaluation, les questions valuatives, les lments mthodologiques, les documents existants et le bilan informationnel, le dispositif de suivi et dvaluation, la structure de ltude, la phasage et le calendrier, les travaux dvaluation et enfin le droulement de lvaluation elle-mme :
25 % du temps

Phase 1 Structuration de lvaluation (CP 2) : approfondissement de la question pose, connaissance de la politique valuer, laboration du rfrentiel dvaluation, mthodologie. Phase 2 Collecte et analyse des donnes (CP 3) : questionnaires, guides dentretien, grille danalyse Phase 3 Formulation des conclusions et recommandations (CP 4) Le rapport final est transmis aux lus.

50 % du temps 25% du temps

Le dispositif de l'valuation au Conseil gnral de la Nivre prsent en annexe constitue cet gard un exemple typique qui a fait ses preuves dans la conduite d'valuations aussi diverses que celle de la politique sportive en lien avec la Direction de la Jeunesse, des CLIC (Centre local dinformation et de coordination grontologique), de la politique Famille et Enfance et de la politique des espaces naturels sensibles (ENS) en lien avec le service des espaces naturels. Les trois tapes de lvaluation sont prsentes ci-dessous sous forme de questions pour interroger la cohrence et la pertinence de la dmarche choisie en fonction dune demande et dobjectifs spcifiques chaque valuation et du contexte local. TAPE 1 : LA CONSTITUTION DU REFERENTIEL Il sagit de : o la dfinition des contours prcis de la politique valuer o la reconstitution de la logique dintervention du programme ou de lensemble des mesures tudier o lidentification de la finalit de lvaluation, et du type dvaluation mener
37

www.evalua.fr

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

27

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

o o o o

la slection des questions auxquelles lvaluation devra rpondre (questions valuatives) la dtermination des hypothses de dpart de lvaluation le choix des normes et critres de rfrence de lvaluation le choix des modes de communication autour de lvaluation

Comment faire merger les questions valuatives ? Quoi ? : Quel est lobjet (la politique, les actions), quel est le champ de lvaluation? La question pose ici est de quoi sagit-il . La question quoi renvoie galement ce quil sagit dvaluer au sein de cette politique. On peut citer notamment les critres traditionnels voqus plus haut. Quand ? : Quelle priode doit couvrir lvaluation ? Sagit-il danalyser une politique sur une dizaine dannes ou les rsultats dune priode beaucoup plus courte ? Cette question renvoie galement au moment auquel est ralise lvaluation au regard du droulement de la politique publique (ex ante, in itinere et ex post). O ? : Quel espace couvre lvaluation ? Lespace sentend ici comme territoire gographique, ou comme une partie de lorganisation (directions, direction gnrale, lus). Pourquoi ? : En vue de quoi lvaluation est-elle conduite ? Sagit-il de produire une photographie des acteurs intervenant dans le processus, de juger de lefficacit des actions, de dcider sil faut continuer investir des fonds publics dans le champ concern Qui ? : Qui commande lvaluation? Qui finance? Qui valide les conclusions? Qui ralise ? Qui est destinataire? Qui dcide de la mise en uvre des conclusions de lvaluation ? Comment ? : Les choix mthodologiques, les instruments de mesure, les outils mobiliss (analyse qualitative ou quantitative, dmarche plus ou moins participative) Quest ce quune bonne question valuative ? Il sagit dune question :
o o o o

qui a un lien fort avec la politique value qui correspond un enjeu stratgique / politique pour le commanditaire (on se place bien dans une logique daide la dcision) qui est formule de manire suffisamment prcise et concrte, cest--dire quelle cherche observer des faits qui explicite les critres partir desquels les faits pourront tre utiliss pour former le jugement de valeur

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

28

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Comment positionner les acteurs de lvaluation ? Il nexiste pas de dispositif idal, chaque valuation tant lie un contexte donn. Ce dernier est diffrent selon que les dcideurs sont uniques, concentrs ou partenariaux, selon que laction est limite un thme prcis ou stend lvolution dun territoire / dune organisation dans leur globalit, selon que lvaluation est interne ou externe, elle est ex ante, on going, ex post, la volont de rendre lvaluation participative est plus ou moins forte, et selon que les bnficiaires sont plus ou moins nombreux. Qui dcide et choisit la politique valuer (matrise douvrage) ? - Ce sont gnralement les acteurs politiques au centre de la politique en question - Seuls ou avec des co-financeurs - Ils ont la libert du choix de la politique valuer - Ils dcident du risque quils acceptent de grer - Ils dcident du champ sur lequel ils acceptent dtre contredits - Ces acteurs participent au comit de suivi ou de pilotage Qui porte le financement de lvaluation ? - Largent provient de fonds spcifiques rserv aux valuations -Largent consacr lvaluation peut-tre inscrit dans lenveloppe budgtaire de la politique. On se situe, dans ce cadre, gnralement dans une optique de recherche defficacit - Largent provient dune part du budget de fonctionnement dune structure, ce qui est souvent le cas des valuations internes. Qui effectue le travail dvaluation (matrise duvre) ? Il existe trois possibilits : - un spcialiste de lvaluation (garantie de mthode, faible connaissance du domaine) - un expert du domaine valu (risques derreurs techniques, garantie dune couverture pertinente sur le fond) - une quipe mixant spcialistes et experts (mais avec un coordonnateur solide, reconnu et accept). Il nexiste pas de solution idale, chaque cas est spcifique et demande donc dtre analys. Le choix se fait en fonction des avantages et des inconvnients suivants pour chaque cas :
INTERNE + Connaissance prcise de lorganisation, de linstance value, mais galement du systme dacteurs - Objectivit - Indpendance dans la formulation des travaux et des recommandations - Respect des dlais EXTERNE - Se mettre niveau dans la connaissance de lorganisation, des interventions et des acteurs - Cot

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

29

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Dans le cas de lappel un cabinet extrieur, il peut sagir dune valuation compltement externalise ou dune auto - valuation accompagne (Assistance Matrise dOuvrage). Le cot global dune valuation externe dans une collectivit territoriale se situe entre 30 000 et 90 000 H.T.
Consultant 800 1 200 H.T./jour Charg dtudes 600 900 H.T./jour Assistants dtudes 300 600 H.T./jour

Souvent lorsquil est fait appel un cabinet externe, la collectivit recherche une double comptence : une comptence technique du secteur valu et une comptence valuative. Qui valide ? Il sagit dune question stratgique rgler imprativement en amont de lvaluation, pour la validation finale, et pour la validation des tapes. La validation technique peut tre faite par un groupe projet ou par un comit scientifique (vrifier sa structure, les voix prpondrantes, le vrai chef !) La validation politique est assure par le Comit de pilotage qui correspond la matrise douvrage (celui qui commande) par opposition la matrise d'uvre (celui qui ralise) et qui est souvent une assemble, avec une voix prpondrante (politique) sa tte. TAPE 2 : LA COLLECTE ET LANALYSE DES INFORMATIONS Il sagit : o de la construction dindicateurs et de questions qualitatives permettant de rpondre aux questionnements de lvaluation o de la construction des outils et protocoles de collecte des donnes o de la collecte de donnes quantitatives et qualitatives o du traitement des informations, renseignement des indicateurs Les techniques pour produire de la connaissance reposent sur des approches quantitatives et qualitatives. Les approches quantitatives consistent en :
o

la mesure dindicateurs de contexte (pour apprcier la pertinence dune politique) la mesure dindicateurs physiques et financiers (pour savoir si les crdits mobiliss / oprations ralises sont cohrents avec les objectifs fixs) la mesure dindicateurs relatifs aux effets (positifs / pervers) pour dterminer lefficacit et lefficience des indicateurs de rsultat et dimpact, renseigns en gnral par enqute (enqutes statiques ou dynamiques, cest--dire fondes sur le suivi des bnficiaires dans le temps)

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

30

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Les approches qualitatives consistent en :


o

des tudes de cas, notamment pour apprhender la mise en uvre des politiques et la qualit du partenariat, mais aussi lvolution des mentalits, partir dentretiens, de groupes de travail... Lobjectif est souvent de procder des analyses compares, avec dautres territoires ou dautres organisations. des mesures de la satisfaction des bnficiaires dune politique donne (il sagit dun rsultat important), partir denqutes, de groupes de parole, dentretiensCes mesures peuvent tre prsentes sous forme quantitative (cotation) mais elles rsultent bien en fait dune approche qualitative (au sens de lexpression dun point de vue subjectif, mme sil est argument).

Quest ce quun bon indicateur? Un bon indicateur : o permet de rpondre prcisment une question valuative, o provient dune source indpendante, o peut tre mesur partir des moyens disponibles (disponibilit des donnes, cot de la recherche de donnes, temps imparti pour lvaluation), o peut tre mesur au moment de lvaluation mais aussi plus tard (pour constituer des sries statistiques de long terme), o peut, dans lidal, faire lobjet de comparaisons avec dautres politiques / territoires / organisations, Par ailleurs, il faut un nombre limit et raisonnable dindicateurs pour permettre laide la dcision. TAPE 3 : LABORATION DUN JUGEMENT DE VALEUR, ORGANISATION DE LA DIFFUSION DES CONCLUSIONS Cette tape comprend : o llaboration du jugement sur la valeur de laction, sur la base des donnes collectes et mises en forme, au regard des critres dfinis dans la premire tape o la formulation de recommandations o la diffusion des conclusions et des recommandations Il est important de rappeler quil ne peut pas y avoir dvaluation sans validation du politique. Le comit de pilotage joue un rle essentiel pour une appropriation permanente des lus. Le travail men partir de la restitution pour la mise en uvre des prconisations dans les actions collectives est essentiel galement. Il est ncessaire de maintenir une relation troite avec le charg dvaluations interne ou externe.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

31

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

PREMIERE PARTIE PDCA 1 : Procdure Documentaire : Comparaison, Apprciation

LA MESURE DE LA PERFORMANCE
1. valuation des politiques et mesure de la performance de l'action publique
L'adoption de la loi organique relative aux lois de finances du 1er aot 200138 (LOLF) a fait merger un nouveau discours dont la performance constitue la pierre angulaire. La LOLF ne constitue pas seulement un bouleversement du droit budgtaire issu notamment de l'ordonnance du 2 janvier 1959 mais une rvolution dans les pratiques administratives. Le lgislateur a ainsi voulu distinguer hirarchiquement la mission, rattache une politique publique dfinie , le programme, unit intermdiaire que surplombe la mission et qui domine laction, celle-ci reprsentant lunit concrte de dpense publique. En outre, un objectif majeur a t de donner un nouveau cadre pour les finances publiques qu'il s'agit d'inscrire dans une dmarche de performance (ou encore de pilotage par les performances). Si le mot "valuation" est quasi absent du texte mme de la loi, on voque beaucoup plus dans les outils et les mthodes d'application de cette rforme l'valuation de la performance publique, vritable leitmotiv des gestionnaires publics de l'tat. Quels liens peut-on faire entre l'valuation des politiques publiques et l'valuation de la performance ? La mesure de la performance constitue-t-elle une nouvelle forme d'valuation des politiques et des programmes publics ? Comment interagissent les dmarches de performance (y compris au niveau local) et l'valuation des politiques publiques ? Ces questions sont actuellement au cur des rflexions sur l'valuation39 d'o la ncessit de prciser les concepts dans un premier temps puis d'voquer dans un second temps, notamment dans la gestion locale, quelles pourraient tre les voies de consolidation de l'valuation des politiques publiques dans les dmarches de modernisation de l'administration.
Loi organique n2001-692 du 1er aot 2001 relative aux lois de finances (LOLF) SFE (Socit Franaise de l'valuation) : LOLF, mesure de la performance et valuation des politiques publiques, Journe d'tude du 15/11/2006, Cahier de la SFE n2
39 38

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

32

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

1.1.

valuation et mesure de la performance, de quoi parle-t-on ?

1.1.1. Qu'est ce que l'valuation de la performance ? La LOLF entend faire passer le budget de ltat dune logique de moyens une logique de rsultats , ou encore, suivant une autre expression rvlatrice, dinstaurer pour les finances publiques un pilotage daprs les performances . Le guide de la performance40 dit par Bercy dans le cadre de la mise en uvre de la LOLF dfinit la performance comme la "capacit atteindre des objectifs pralablement fixs, exprims en termes defficacit socio-conomique, de qualit de service ou defficience de la gestion". Ce guide apporte galement une dfinition d'une dmarche de performance : "la dmarche de performance ou dmarche de pilotage par les performances est un dispositif de pilotage des administrations ayant pour objectif damliorer lefficacit de la dpense publique en orientant la gestion vers latteinte de rsultats (ou performances) prdfinis, en matire defficacit socio-conomique, de qualit de service ou defficience, dans le cadre de moyens prdtermins. Les objectifs atteindre dfinis au niveau stratgique sont dclins pour chaque chelon oprationnel. Ces objectifs laissent chaque chelon libre du choix des moyens employer pour les raliser, afin de lui permettre dallouer au mieux les moyens disponibles et de choisir les modalits daction les plus appropries". La nouvelle attention porte la performance suppose quelle puisse tre mesure de faon objective. Cest ce que prvoit larticle 51 de la LOLF lorsquil dispose que la prsentation des actions de ltat est faite au regard des cots associs, des objectifs poursuivis, des rsultats obtenus et attendus pour les annes venir mesurs au moyen d'indicateurs prcis dont le choix est justifi . Les annexes explicatives par ministre accompagnant le projet de loi de finances doivent tre compltes (article 51 - 5) par un projet annuel de performances prcisant notamment " la prsentation des actions, des cots associs, des objectifs poursuivis, des rsultats obtenus et attendus pour les annes venir mesurs au moyen d'indicateurs prcis dont le choix est justifi ". Symtriquement, l'article 54 dispose que sont joints au projet de loi de rglement des "rapports annuels de performance", faisant [notamment] connatre, "par programme les objectifs, les rsultats attendus et obtenus, les indicateurs et les cots associs (), la gestion des autorisations d'emplois". Les trois catgories d'objectifs de performance prsents dans les projets et rapports annuels de performances sont rappeles ci-aprs.
40

Guide sur la dmarche de performance : stratgie, objectifs, indicateurs - Guide mthodologique pour lapplication de la loi organique relative aux lois de finances du 1er aot 2001, juin 2004. Ce guide est consultable l'adresse suivante : www.minefi.gouv.fr/lolf/downloads/120_guide_performance.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

33

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

o o

Les objectifs d'efficacit socio-conomique : ils noncent le bnfice attendu de l'action de l'tat pour le citoyen et la collectivit en termes de modification de la ralit conomique, sociale, environnementale, culturelle et sanitaire. Les objectifs de qualit de service qui noncent la qualit attendue du service rendu l'usager. Les objectifs d'efficacit de gestion (ou d'efficience) exprimant l'optimisation attendue dans l'utilisation des moyens employs en rapportant les produits obtenus (ou l'activit) aux ressources consommes.

L'valuation de la performance prvue dans la LOLF se dfinit donc comme le degr d'atteinte de rsultats au regard d'objectifs en matire d'efficacit, d'efficience et de qualit. Il est donc bien question de comparer les rsultats aux objectifs (efficacit) et aux moyens allous (efficience). On est tent de faire un parallle entre ces dfinitions et celle prvue dans le dcret du 18 novembre 1998 qui prcise bien que "lvaluation dune politique publique a pour objet dapprcier () lefficacit de cette politique en comparant ses rsultats aux objectifs assigns et aux moyens mis en uvre". De mme, la mise en uvre de la LOLF a pu laisser entendre que l'valuation allait s'imposer dans le paysage administratif franais puisque la gestion par programme induise par la segmentation des activits permet de rendre compte et d'analyser les rsultats des politiques publiques. Nanmoins, si la LOLF conduit mieux valuer les rsultats des actions publiques, il apparat que cette forme d'valuation rentre davantage dans le champ du contrle de gestion que celui de l'valuation des politiques publiques. Sylvie TROSA, Charge de mission l'Institut de gestion publique et du dveloppement conomique (IGPDE) et Professeur associ lIEP de Paris a rappel en 2003 que "[la LOLF], cette avance majeure sur le plan lgislatif semble toutefois connatre aujourd'hui de srieuses difficults de mise en uvre. Au niveau des ministres, il n'est plus question d'valuation mais seulement de contrle de gestion, ce qui est contraire l'esprit mme des programmes. Formidable levier de modernisation de l'action publique, la LOLF semble s'enliser sous le poids des conservatismes et des corporatismes"41. Le mme auteur a rcemment prcis que "la mesure (de performance) est une rduction car elle est un modle, au sens mathmatique du terme. Elle nest pas rductrice si on lentend ainsi, et lon sen sert comme dune indication, et non comme dune vrit absolue. (...)"42. D'autres approches prcisent que la mesure de la performance se situe l'intersection du contrle de gestion et de l'valuation des politiques publiques43.
41

TROSA, Sylvie : L'valuation des politiques publiques, Paris : Institut de l'entreprise, 2003. - 75 p. ; 30 cm. (Les notes de Benchmarking international ; novembre 2003) http://www.institutentreprise.fr/fileadmin/Docs_PDF/travaux_reflexions/benchmarking/politiques_publiques.pdf 42 Interview donne lors de la journe d'tude de la SFE sur le thme de la mesure de la performance (prcite) 43 SINE, Alexandre et VEILLET, Isabelle : La performance, un outil et une dmarche indispensables au pilotage des politiques publiques, in Regards sur l'actualit, n 335, 2007

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

34

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Performance, contrle de gestion et valuation


valuation des politiques publiques Contrle de gestion
Impacts globaux

Moyens

Activits

Produits

Rsultat s

Qualit de service
(usager)

Efficacit de gestion
(contribuable)

Efficacit socio-conomique
(citoyen)

Mesure de la performance
Source : moderfie, mars 2004

A partir du schma ci-dessus qui reconstitue la chane de la performance publique, Alexandre SINE et Isabelle VEILLET dveloppent l'ide que l'valuation des politiques publiques sert apprcier si les moyens juridiques, administratifs, organisationnels, financiers ou humains mis en uvre et les biens et services publics rendus permettent d'obtenir les effets attendus de la politique et d'atteindre les objectifs qui lui sont fixs (effets en terme de retombes socioconomiques). Dans ce schma, le contrle de gestion vise produire les outils de connaissance des cots, des activits et des rsultats pour amliorer le rapport entre les moyens mobiliss et l'activit ou les rsultats produits et pour nourrir et objectiver le dialogue de gestion entre les acteurs afin d'amliorer le pilotage. Professeur l'Universit de Paris Dauphine et directeur adjoint du CREFIGE (Centre de Recherche Europen en Finance et en Gestion44), Nicolas BERLAND, associ de faon rgulire aux travaux de lAssemble des Dpartements de France, apporte un clairage mthodologique fort utile sur la distinction entre le contrle de gestion et l'valuation des politiques publiques. Le tableau ci-aprs rsume cette approche originale.

44

http://www.crefige.dauphine.fr/

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

35

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La matrice 9 cases Quelle diffrence faut-il faire entre lvaluation des politiques publiques et le contrle de gestion ? La rponse cette question peut nous tre apporte par le cadre conceptuel suivant. Manager est un processus en trois temps : Finalisation dfinir des objectifs pertinents trouver des ressources adaptes les employer de manire optimale dterminer les critres de performance

Pilotage - observer le processus en cours - prendre des dcisions correctives - ajuster les moyens aux situations nouvelles Post valuation - mesure des performances atteintes - engendrer un apprentissage - conomie, efficacit et efficience Ce processus sapplique trois types de dcision : Le contrle d'excution qui est form des processus et systmes conus pour garantir aux responsables que les actions qui relvent de leur autorit seront, sont, ont t mises en uvre conformment aux finalits confies, tout en dispensant ces responsables de piloter directement ces actions. Le contrle de gestion qui est form des processus et systmes qui permettent aux dirigeants d'avoir l'assurance que les choix stratgiques et les actions courantes seront, sont, ont t cohrents, notamment grce au contrle d'excution. Le contrle stratgique qui est form des processus et systmes qui permettent la direction d'arrter et d'ajuster les choix des missions, mtiers, domaines d'activit et facteurs cls de succs. Si on croise ces deux dimensions, on obtient un cadre conceptuel (dfini par Henri Bouquin, Professeur Dauphine) qui permet les diffrentes postures de contrle :

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

36

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Une typologie des dcisions de gestion

Stratgie
Choix de l'offre et des ressources Organisation de la chane de valeur

Gestion
Missions des processus et des centres de responsabilit dans la chane de valeur, Plans d'action et d'incitation Incitations, Budgets

Tches de routine
Missions des tches de routine dans les processus Organisation de ces tches

Finaliser

Piloter

Suivi des hypothses et de la mise en uvre

Suivi et anticipation Actions correctives

Suivi du droulement par exception

Postvaluer

Evaluation de la russite d'une stratgie et de sa prennit

Mesure de la performance du "contrat de gestion" Sanctions positives et ngatives

Bilan priodique des incidents

CONTROLE STRATEGIQUE

CONTROLE DE GESTION

CONTROLE OPERATIONNEL

Lvaluation relve du contrle stratgique. Il sagit de tester, aprs un certain temps, de la pertinence et de lefficacit dune politique publique. Le contrle de gestion relve de la colonne du milieu et sintresse la performance infra annuelle, celle revenant avec un fort degr de rcurrence. Le contrle oprationnel sintressera aux tches quotidiennes. Bien sr, comme pour tout cadre conceptuel, les frontires ne sont pas hermtiquement tanches et une certaine dose de flou existe quant leur remplacement rel. Toutefois, la dmarche est utile car elle permet de positionner correctement les pratiques et les outils. Comme le montre lhistoire du contrle de gestion, il nest pas indiffrent de positionner une pratique tort dans une case du tableau. Pour tre plus clair, utiliser un outil de contrle de long terme pour avoir un retour dexprience moyen terme est de nature gnrer beaucoup deffets pervers. Lutilisation abusive du ROI (return on investment) des fins de contrle annuel entre dans cette catgorie de critique.
Contacts : Nicolas Berland, Professeur des Universits - Universit Paris Dauphine - Directeur adjoint du Crefige (centre de recherche de Dauphine Recherche en Management - DRM) et de l'Edogest (cole doctorale en gestion) nicolas.berland@dauphine.fr ; http://www.crefige.dauphine.fr/

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

37

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

On voit bien dans ce cadre conceptuel que la mesure de la performance relve du contrle de gestion puisqu'il s'agit bien d'apprcier le rsultat d'une action afin de l'ajuster sans pour autant influer sur la stratgie. Dans le mme sens, le guide pratique pour une dmarche d'amlioration globale et progressive de la gestion publique locale45 paru en 2007 et rdig par un groupe de travail coordonn par le Ministre des Finances fait bien la distinction entre la mise en place d'outils de recherche de performance et l'valuation des politiques publiques. Ce guide prcise cet effet que ce n'est qu'" terme, avec la mise en oeuvre de tous ces outils [de recherche de la performance], [que] la collectivit pourra tablir le projet annuel de performance avec les units oprationnelles et valuer les politiques publiques". On distingue ici ce qui rentre dans le champ de la mesure de la performance dans un cadre infra-annuel et porte sur l'efficacit, l'efficience ou la qualit et ce qui relve non pas de la mesure mais de l'interrogation du "pourquoi ?" et du "comment ?"de l'action publique, qui s'inscrit dans le cadre de l'valuation des politiques publiques. L'valuation de la performance publique doit donc tre bien distingue de l'valuation des politiques publiques. Elle ne s'inscrit pas dans la mme temporalit et ne rpond pas aux mmes questions mme si de fortes interactions existent entre les deux dmarches qui s'avrent en ralit plus complmentaires que contradictoires. 1.1.2. Les dmarches de type LOLF, opportunit ou menace pour lvaluation des politiques publiques ? La LOLF a conduit offrir l'valuation des politiques publiques des conditions favorables son dveloppement dans la mesure o la segmentation des activits en missions/programmes/action permet de mieux mesurer les rsultats de l'action publique d'une part et que la LOLF incite d'autre part raliser des valuations ex-ante et rduire la dure des valuations. Le rapport du Snateur DURON avait dj relev en 2002 que la rforme de l'ordonnance du 2 janvier 1959 portant loi organique relative aux lois de finances, par la loi du 1er aot 2001, facilitera le dveloppement de l'valuation46 en permettant notamment de mieux associer les dpenses budgtaires des objectifs et des indicateurs de rsultats et d'aider la construction d'indicateurs de gestion. Au niveau local, les dmarches de type LOLF peuvent contribuer galement au dveloppement de l'valuation des politiques publiques.
Guide prcit : http://www.colloc.minefi.gouv.fr/colo_otherfiles_fina_loca/telecharger/guide_consolide.pdf DURON, Philippe : Rapport d'information sur l'valuation des politiques publiques et les indicateurs de dveloppement durable, Assemble nationale, Dlgation l'amnagement et au dveloppement durable du territoire, Documents d'information de l'Assemble nationale, n 3594 Assemble nationale : 2002 / 127 p. http://www.assemblee-nationale.fr/rap-info/i3594.asp
46 45

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

38

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Appeles dmarches locales de performance, ces dmarches peuvent se dfinir comme lensemble des pratiques qui permettent aux managers locaux de mesurer et valuer pour piloter et dcider47. Elles s'inspirent pour certaines d'entre elles directement de la LOLF et s'inscrivent ce titre dans la redfinition de la segmentation de lactivit et/ou du budget et vise des objectifs de responsabilisation, de transparence et de performance. Elles crent un contexte favorable lvaluation des politiques publiques en replaant les objectifs au centre de laction publique. Une des caractristiques communes aux dmarches de type LOLF est en effet de mettre en place une structuration de lactivit par objectifs pour lesquels sont dfinis des cibles atteindre ainsi que des indicateurs pour mesurer les rsultats obtenus. Cette segmentation donne parfois lieu une formalisation dans le cadre de contrats dobjectifs comme on a pu le constater la Communaut urbaine de Lyon ou encore au Conseil gnral de la Mayenne. La dmarche globale de performance au Conseil gnral de la Mayenne Le projet Nouvelle gouvernance lanc en 2005 au Conseil gnral de la Mayenne a t directement inspir de la LOLF. Porte personnellement par le Prsident du Conseil gnral et Snateur de la Mayenne, Jean Arthuis, qui a t l'un des artisans de la LOLF, la dmarche traduisait une triple volont : dans une situation budgtaire tendue, il sagissait de raffirmer les priorits daction, de sengager dans une logique d'action plus transparente (affichage des priorits politiques) et de mieux rendre compte (souci dvaluation). Cette dmarche visait revaloriser la fonction stratgique (au premier rang de laquelle celle des lus) et dancrer laction de la collectivit dans les besoins du territoire. A partir d'une tude prospective des territoires, ont t identifis 8 enjeux majeurs du dveloppement territorial sur la base desquels ont t conues les 8 missions de politique publique. Chacune de ces missions tant ensuite dcline en programmes, cest--dire en stratgies daction. Pour chaque programme ont t identifis une finalit d'intrt gnral, des diffrents acteurs en prsence (analyse stratgique), des objectifs de diffrentes natures (efficacit socio-conomique, qualit de service et efficience) et les indicateurs permettant de mesurer les rsultats. Le rapport d'activit de la collectivit est depuis ralis partir de ces indicateurs ce qui donne beaucoup de lisibilit et de sens l'action dpartementale. Le projet va plus loin que la logique de la LOLF. Elle tire les consquences de cette nouvelle logique stratgique et de gestion sur lorganisation (tant de ladministration que politique) et sur la gestion des ressources humaines. Elle
47 GRAIL, Cdric et LESCAILLEZ, Vincent et MENUT, Philippe : Guide sur la performance dans les collectivits locales, prcit.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

39

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

sest ainsi traduite par la mise en uvre dun systme de reconnaissance de la performance individuelle et collective des agents. La rmunration au mrite s'appuie sur une logique de mtier (distinction entre le grade et la fonction) et sur des primes de performance (2/3 sur la performance individuelle value selon la comptence et les rsultats individuels et 1/3 suivant la performance collective de lensemble des agents intervenant sur un mme programme). L'ensemble des documents budgtaires a t revu. Les documents budgtaires sont dornavant prsents par programme, tant pour le BP (tay de projets annuels de performances) que pour le compte administratif (tay de rapports annuels de performances). Les relations avec les satellites du Dpartement font l'objet de conventions assorties d'objectifs en cohrence avec ceux du programme correspondant. Dans cette optique, l'valuation s'entend comme une approche globale de management de la performance. Elle s'opre plusieurs niveaux : - A travers l'examen annuel des ralisations : le compte administratif fait l'objet d'une sance ddie de l'assemble dpartementale pour dbattre sur les rsultats de chaque programme ; - A travers llaboration des projets annuels de performances (dans une approche prospective et stratgique oriente sur les besoins moyen et long terme du territoire) ; - A travers l'valuation des agents (la performance ne pouvant se limiter lexpression dobjectifs mais la mobilisation et la reconnaissance de limplication des agents). La dmarche Nouvelle Gouvernance du Conseil gnral de la Mayenne traduit le passage dune logique de gestion administrative une logique de performance. Elle sinscrit dans une approche densemble de la performance, et de responsabilisation de lensemble des parties prenantes laction publique dpartementale.
Contact : Serge HUTEAU, Conseil gnral de la Mayenne (serge.huteau@cg53.fr). Voir galement Serge HUTEAU : La nouvelle gestion publique locale , ditions du Moniteur, 2008.

Les dmarches de type LOLF contribuent ainsi la formulation dobjectifs stratgiques et oprationnels qui permettent de structurer le questionnement et lanalyse valuative. Les indicateurs construits et renseigns sur cette base sont galement des matriaux prcieux pour alimenter lanalyse valuative. Ces dmarches permettent galement de runir de nombreux lments qui rendent plus aise la conduite dune valuation. Au Conseil gnral des Hauts de Seine, le processus de transposition de la LOLF a rellement promu l'essor de l'valuation que ce soit travers une meilleure identification des rsultats des services que dans l'ancrage d'une culture de l'valuation en continue des dispositifs.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

40

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Lexemple du Conseil gnral des Hauts-de-Seine : lvaluation au cur de lamlioration de la performance de laction publique dpartementale En septembre 2006, la Direction de l'valuation des politiques et de l'audit a initi sous l'impulsion du Prsident du Conseil gnral ainsi que des lus une dmarche dite de performance et de pilotage stratgique partir d'un tat des lieux des activits dpartementales. Ce processus a abouti une amlioration du sens et de la lisibilit de l'action dpartementale. Cette dmarche doit galement permettre de favoriser la transparence du cot des actions et de responsabiliser les cadres tout en permettant lvaluation des politiques publiques et donc faciliter larbitrage politique. Ainsi, dans lesprit de la LOLF, les actions du Dpartement ont t dclines en trois niveaux: politiques, programmes et actions jusqu' la mise en exergue de 460 dispositifs distincts. Le projet engag se dcompose en 2 grandes phases : - Un tat des lieux des politiques : inventaire des actions et dlimitation des primtres des politiques et programmes ; tat des lieux comprenant pour chaque dispositif : cible, dfinition, date de cration, cots, public touch, lisibilit pour les usagers et les professionnels, valeur ajoute et proposition mtier sur la ncessit de maintenir, supprimer ou amliorer les interventions dpartementales. Enfin, les dispositifs ont t interrogs au regard des objectifs des politiques et les premires pistes damlioration ont t dfinies. - La seconde phase consistera valuer de faon approfondie les dispositifs, afin de dgager des marges de manuvre (valuation de la bonne adquation des moyens aux objectifs, aprs audit ; identification des marges de manuvre par programme ; valuation des rsultats ; adquation rsultats/cible, efficacit des programmes). Ces 2 phases doivent permettre un approfondissement des modalits du dialogue de gestion ainsi que la construction du dispositif dvaluation en continu des politiques. Les perspectives d'volution de la dmarche rsident dans la mise en uvre de l'valuation au niveau des programmes dans le cadre de la transposition aux politiques dpartementales de l'esprit de la Revue gnrale des politiques publiques initie au niveau des services de l'tat. Une procdure d'valuation individuelle des agents s'est greffe sur cette dmarche de performance. En 2008, lors des entretiens annuels avec les agents, des objectifs individuels ont t dfinis, qui serviront en 2009 pour la notation. La dmarche de performance et de pilotage stratgique du Conseil gnral des Hauts-de-Seine na donc pas t initie sous le seul angle financier, elle sest attache rassembler des premiers lments dvaluation des actions menes sous ses diffrents aspects (efficacit, efficience, lisibilit) ainsi qu mettre en place les outils ncessaires la construction dun vritable dispositif dvaluation de la performance de la collectivit.
Contacts : Julie SMITH et Anglique SLOAN, Directrice et Directrice adjointe de la Direction de l'audit et de l'valuation, Conseil gnral des Hauts de Seine

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

41

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

En recentrant lanalyse sur les finalits des politiques publiques, les dmarches de type LOLF souvrent ainsi aux effets de laction publique sur ses destinataires et dpassent le seul prisme de la performance interne. Certaines collectivits se dotent dans ce cadre dindicateurs dimpact. D'autres collectivits ont envisag la recherche de la performance et son valuation sur l'impact des politiques publiques sur les partenaires et les usagers, comme la Ville de Lyon par exemple. Cest enfin la dynamique de rtroaction caractrisant de nombreuses dmarches de type LOLF qui rapproche celles-ci de lvaluation des politiques publiques. Ce nest pas tant la structuration par objectifs ni la mesure des carts qui y suffit mais le fait que celles-ci saccompagnent dune analyse qui permet dexpliquer les rsultats obtenus et de former un jugement, en vue de dcider des suites donner la politique ou au programme concern. Les rapports annuels de performance envisags par des collectivits telles que le Conseil gnral de la Mayenne sont ainsi le support danalyses des rsultats plus approfondies que celles ralises dans le cadre de tableaux de bord plus rcurrents. Ils permettent de systmatiser une premire approche valuative, gnrant une acculturation ce type dexercice. La logique induite par la LOLF et les dmarches misent en uvre par les collectivits constituent une forme de refondation de lvaluation. Si la mesure de la performance de l'action publique travers des indicateurs constitue un des lments dune valuation, les indicateurs ne dispensent pas pour autant des dmarches plus approfondies dtude et danalyse de laction publique. Il n'en demeure pas moins que la mise en uvre de la LOLF peut constituer certains gards un vritable frein la consolidation de l'valuation des politiques publiques. Un dbat organis l'occasion dune journe de la SFE, le 15 novembre 2006, entre Maurice BASLE, Professeur l'Universit de Rennes et Jrme DUPUIS, Docteur en Sciences de gestion et charg d'enseignement l'IEP de Toulouse, a port sur le thme : la LOLF, un atout ou un frein pour l'valuation ? Deux points de vue contrasts"48. Au-del des atouts que reprsente sous certains aspects la LOLF pour l'valuation, cet change a mis en exergue que la LOLF pouvait constituer galement un frein au renforcement de l'valuation des politiques publiques deux niveaux :
o o

la production d'indicateurs prdtermins enlve toute libert de se poser en amont les questions valuatives ; l'absence d'valuation multicritres ou plurielle dans la LOLF peut entraner une certaine myopie dans la prise en compte de la complexit des politiques publiques. A cet effet, la production d'indicateurs prdtermins ne met pas assez en exergue les diffrentes dimensions (autres que financires) des rsultats et des impacts.

SFE (Socit Franaise de l'valuation) : LOLF, mesure de la performance et valuation des politiques publiques, rfrence prcite

48

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

42

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A l'occasion des Assises de l'AFIGESE tenues Strasbourg les 27 et 28 septembre 200749, il a t question des rapports entre les dmarches locales de performance et l'valuation des politiques publiques. A cette occasion, les intervenants ont plutt insist sur le caractre complmentaire entre les dmarches locales de performance et l'valuation des politiques publiques. D'une part, l'valuation des politiques publiques sinscrit dans un cadre pluriannuel qui rend possible l'analyse des effets de long terme et des impacts globaux et diffus de laction publique que ne peuvent apprhender les dmarches de type LOLF accoles au cycle budgtaire annuel et bases sur une segmentation de lactivit. D'autre part, lvaluation peut tre en mesure d'apporter des complments utiles aux dmarches de type LOLF sur lenvironnement dans lequel se dploie laction publique car elle permet dapprhender dune part le besoin social et la pertinence de la rponse qui lui est apporte et, dautre part, la perception quen ont les bnficiaires de la politique. Le dbat est loin d'tre clos dans la mesure o la LOLF n'en est qu' ses dbuts et qu'on a peu de recul sur ses effets en terme de changement organisationnel et culturel dans l'administration. La mesure de la performance constitue en tout tat de cause une problmatique forte pour l'tat et pour les collectivits locales au regard de leurs contraintes financires et managriales, d'o l'importance de consolider la fonction valuative dans les pratiques de modernisation de l'administration.

1.2. Comment consolider l'valuation des politiques publiques dans les pratiques de modernisation de l'administration ?

1.2.1. Intgrer l'valuation aux pratiques de gestion Du fait de son regard pluridisciplinaire, de sa rigueur mthodologique et de la pluralit des outils, critres et points de vue qu'elle mobilise, l'valuation est un exercice plus qualitatif et plus complet qui permet dapprofondir des lments danalyse esquisss par dautres dmarches. Elle apporte une certaine plus-value dans la conduite de l'action publique. L'troitesse de son champ d'intervention et son insuffisante mobilisation par les collectivits invitent cependant s'orienter vers la consolidation pralable de la fonction valuation englobant l'ensemble des activits de mesure de la performance de l'action publique. L'valuation des politiques publiques est, comme on l'a indiqu dans la premire partie du guide, complmentaire des autres activits voisines qui contribuent mesurer l'action publique : l'audit, le contrle de gestion interne ou l'inspection.
L'atelier n4 des Assises de l'AFIGESE Strasbourg en 2007 a port sur la thmatique suivante : Les dmarches locales de performance : une opportunit pour lvaluation des politiques publiques ? Il a t anim par Julie SMITH, Directrice de l'valuation des politiques publiques au Conseil gnral des Hauts de Seine
49

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

43

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La fonction valuative va au-del du strict champ d'intervention de l'valuation des politiques publiques. Le guide de la performance ralis par les lvesadministrateurs de l'INET en 200650 invite adopter une approche globale de la notion dvaluation dans les collectivits territoriales qui embrasse, au-del de lvaluation des politiques publiques locales, lvaluation de lorganisation, l'valuation des activits ou encore l'valuation des agents. Fortes de ces vertus, lvaluation des politiques publiques locales, malgr toutes les imperfections qui entourent aujourdhui son fonctionnement, ne doit surtout pas tre abandonne, mais au contraire renforce. Plus lvaluation se gnralisera et plus elle parviendra convaincre les agents et les partenaires des collectivits quelle nest pas un instrument de contrle mais bien un facteur damlioration de la performance, et plus elle parviendra simposer comme une tape indispensable de la conception de toute politique publique. Qui value en France ? Cette question demeure au cur des dbats sur l'institutionnalisation de l'valuation tant au niveau national qu'au niveau local dans la mesure o les incertitudes en la matire nuisent l'institutionnalisation et la consolidation des pratiques valuatives. La gouvernance de l'valuation au niveau national souffre encore d'une certaine instabilit que la cration rcente d'un Secrtariat l'valuation des politiques publiques en 2007 n'a pas dissip. Au niveau central, certains ministres ont dvelopp des dispositifs d'valuation reconnus tels que les Ministres de l'ducation nationale (avec notamment les travaux de la Direction de l'valuation et de prospective (DEP)), le Ministre de la Sant ( travers les analyses de la Direction de la recherche, des tudes, de l'valuation et de la statistique (DRESS)). D'autres acteurs tels que l'Inspection gnrale des Affaires sociales (IGAS), l'Inspection gnrale de l'administration de l'ducation nationale et de la Recherche (IGAENR) et l'Inspection gnrale de l'ducation nationale (IGEN) interviennent depuis longtemps dans le champ de l'valuation des politiques publiques. Dans son discours prononc l'occasion du Bicentenaire de la Cour des comptes en novembre 2007, le Prsident de la Rpublique a appel de ses vux que [la Cour des Comptes] "devienne le grand organisme daudit et dvaluation des politiques publiques dont notre tat a besoin"51.

50 GRAIL, Cdric et LESCAILLEZ, Vincent et MENUT, Philippe : Guide sur la performance dans les collectivits locales, prcit. 51 www.elysee.fr/download/index.php?mode=edito&id=22

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

44

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La question de la diversit des acteurs de l'valuation est sans doute une chance pour le dveloppement de l'valuation mais il constitue un frein la visibilit de cette discipline. La synthse des travaux de la commission Rforme de ltat de la Fondation Concorde sous la prsidence de Paul OHANA52 a recommand la cration d'un observatoire pour la promotion de l'valuation des politiques publiques qui serait charg d'"organiser une pression forte et continue en faveur dune pdagogie de lvaluation, dirige vers les fabricants de lois (Administration, Gouvernement et Parlement)". Surtout, la Fondation Concorde plaide pour la mise en place d'une Haute Autorit de lvaluation : l'Office national de lvaluation des politiques publiques (ONEPP) qui aurait notamment pour mission :
o

o o o o o

Dtablir son programme pluri annuel et annuel dvaluations ( partir de demandes manant du Parlement, du Gouvernement et de sa propre initiative) De rpartir les tudes, aprs apprciation de lurgence, entre les organismes existants publics ou privs Den garantir la qualit ( quality assurance ) Den exploiter et diffuser les rsultats De suivre lapplication ou la mise en oeuvre des rsultats Et surtout dassurer la transparence (publication des travaux, voire des opinions divergentes)

Par lettre en date du 10 mai 2006, Monsieur Claudy LEBRETON, Prsident de lAssemble des dpartements de France (A.D.F.), a confi lAssociation des administrateurs territoriaux de France (AATF) une mission de rflexion sur la constitution dune Inspection gnrale de ladministration territoriale53, qui rpondrait au souci de mettre disposition des collectivits territoriales une structure de contrle et de conseil de haut niveau. Les auteurs du rapport se sont appuys sur une conception largie de l'inspection incluant l'audit, l'valuation et le contrle de l'action publique. En ce sens, Jean-Christophe BAUDOUIN, Prsident de l'AATF estime que l'valuation doit tre prise dans une acceptation large en raison d'une part de la grande htrognit des pratiques de l'valuation constates au niveau local et le caractre prescriptif d'une conception trop acadmique de l'valuation, souvent dconnecte de la ralit du territoire et des enjeux politiques.

FONDATION CONCORDE : Remettre l'valuation des politiques publiques au cur du dbat public, un outil pour la dmocratie, Synthse des travaux de la commission Rforme de ltat sous la prsidence de Monsieur Paul OHANA, 13 Juin 2006 : http://www.fondationconcorde.com/docs/data/conferences/evaluation-politiquespubliques.pdf?PHPSESSID=23e6ad459a5070d3f6d11cbe1a490caf 53 AATF (Association des Administrateurs Territoriaux de France) : Mission de rflexion sur la constitution dune Inspection gnrale de ladministration territoriale (pour le compte de l'ADF) 189 p- avril 2007 http://www.territorial.fr/transaction/tra_telechargelibre.php?TLT_CODE=TLT_NEWSLETTER_ARTICLE&ID_RESS OURCE=2038

52

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

45

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A partir d'un tat des lieux sur les limites du dveloppement des fonctions dinspection dans les collectivits territoriales, le rapport prconise qu'une inspection gnrale de l'administration territoriale (IGAT) "puisse intervenir en matire d'audit des services, des dlgations de service public, des associations subventionnes, des socits d'conomie mixte, d'valuation des politiques publiques, etc., non pas en concurrence mais en complmentarit avec les structures locales existantes". Selon les auteurs, l'mergence d'une inspection gnrale intervenant la demande des collectivits et en complment de leurs initiatives de contrle, d'audit et d'valuation prsenterait un intrt crucial pour les collectivits et notamment celles qui ne disposent pas des moyens leur permettant de procder des valuations. Cette "agence" aurait vocation poursuivre une logique de conseil et d'ingnierie la demande des collectivits, mais galement de recenser des bonnes pratiques et des rfrentiels d'valuation, et de crer un rseau territorial professionnalis offrant une offre de formation adapte. Plus prcisment en matire d'valuation des politiques publiques, les auteurs suggrent que l'IGAT constitue une tte de rseau qui "aide les collectivits territoriales mettre en place leurs procdures de contrle interne et de matrise des risques, rdiger les cahiers des charges de leurs dispositifs dvaluation des politiques publiques". En outre cet organisme pourrait intervenir en amont des dcisions pour des valuations ex ante de certains grands projets dinvestissement dans la mesure o les chambres rgionales des comptes ne le font pas. L'ide gnrale est que l'IGAT intervienne en appui et en complmentarit avec les collectivits en matire d'valuation dans une logique de coopration de rseau, en tablissant un cadre rfrentiel mthodologique et dontologique, en capitalisant les expriences au sein des collectivits territoriales et en dfinissant dans des cahiers des charges ou des guides des processus normaliss de contrle et dvaluation. Il ne saurait y avoir de dispositif unique dvaluation d'autant que les modalits comme les acteurs concerns sont toujours susceptibles de varier. L'IGAT aurait vocation complter les dispositifs mis en uvre par les autres acteurs intervenant dans le champ de l'valuation. Parmi ces autres acteurs, on peut citer les chambres rgionales des comptes (CRC). Il apparat en premier lieu de plus en plus vident qu'une grande partie de l'activit non juridictionnelle des CRC s'apparente de l'valuation des politiques publiques. A cet effet, en dpit du fait qu'aucun article du Code des Juridictions Financires (CJF) ne fasse rfrence l'expression de lvaluation des

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

46

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

politiques publiques, M. le Professeur Gousseau54 montre travers la dfinition de lexamen de gestion introduite par larticle L. 211-8 de la loi du 21 dcembre 2001 que les chambres rgionales des comptes participent l'valuation des politiques locales. L'article prcit indique ainsi que lexamen de gestion porte sur la rgularit des actes de gestion, sur lconomie des moyens mis en oeuvre et sur lvaluation des rsultats atteints par rapport aux objectifs fixs par lassemble dlibrante ou par lorgane dlibrant. Lopportunit de ces objectifs ne peut faire lobjet dobservations . Depuis 1997, la slection thmatique annuelle des lettres dobservations des CRC ralise par MM. POTIER et BOEUF la Gazette des communes, des dpartements, des rgions comporte une rubrique valuation des politiques publiques permettant de disposer dexemples significatifs dobservations55. Concernant les suites donnes aux observations par les collectivits et le suivi desdites suites par les CRC, le principe de libre administration des collectivits territoriales les dispense dtre obliges d'en donner suite. Elles peuvent prendre les mesures adquates ou persister dans leur comportement ds lors quelles respectent la lgalit administrative et financire. Lattitude assez rserve des gestionnaires locaux lgard des rsultats de lexamen de gestion les premires annes, en contestant souvent leur utilit comme leur pertinence, a progressivement disparu dans le cadre des relations pacifies entre CRC et lus locaux, de laveu mme des protagonistes. Aujourdhui, cest une approche volontariste et pragmatique qui prvaut pour donner une suite constructive aux observations des CRC56. A noter cette initiative, assez rarement constate dans le secteur public local, prise par le Conseil rgional de Franche Comt qui a fait l'objet d'observations de la CRC en 2003 et qui a opr un suivi interne de recommandations. Le contrle de la CRC en 2007 (le contrle de la CRC est quadriennal) a pu s'effectuer sur la base du travail de suivi des recommandations par la collectivit. Ce suivi assure une continuit valuative qu'on retrouve peu dans les autres dispositifs dvaluation des politiques publiques locales, ce qui offre une garantie supplmentaire dans la recherche de la performance de ces politiques.
Contact : Jean-Luc Buf, Directeur gnral des services, Conseil rgional de Franche Comt, jeanluc.boeuf@cr-franche-comte.fr

GOUSSEAU, Jean-Louis : Les chambres rgionales des comptes et lvaluation des politiques publiques locales, article rdig l'occasion du 25me anniversaire de la chambre rgionale des comptes de PoitouCharentes, 1982-2007 http://www.ccomptes.fr/CRC21/documents/divers/06_politiques_locales.pdf 55 POTIER, Vincent et BUF, Jean-Luc : Supplments de la Gazette des communes, des dpartements, des rgions n 1395 du 3 mars 1997, n 1448 du 6 avril 1998, n 1540 du 6 mars 1999, n 1540 du 6 mars 2000, n 1591 du 2 avril 2001, n 1637 du 18 mars 2002, n1685 du 17 mars 2003 et n 1732 du 8 mars 2004. 56 LAMARQUE, Danile : Contrle et valuation : lvaluation dans les institutions de contrle, Rapport dactivit 2000-2002 du Conseil national de lvaluation, p. 301 ;

54

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

47

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La loi n 2002-276 du 27 fvrier 2002 relative la dmocratie de proximit autorise la cration de missions d'information et d'valuation au sein des assembles dlibrantes des communes de 50.000 habitants et plus, ainsi que dans les conseils gnraux et rgionaux. Ces missions sont charges de recueillir des lments d'information sur une question d'intrt local ou de procder l'valuation d'un service public local. A noter qu'elles peuvent tre formes la demande du sixime des conseillers municipaux ou du cinquime des conseillers gnraux ou rgionaux et qu'ainsi elles sont accessibles aux oppositions locales. Plusieurs collectivits ont rcemment adopt des modes d'organisation intgrant l'valuation des politiques publiques dans une cellule ou direction directement rattache au Directeur gnral des services et cohabitant avec l'ensemble des autres fonctions de mesure de la performance telles que l'inspection, l'audit ou le contrle de gestion. Ce mode d'organisation en "task force" traduit une volont dapprhension globale de l'valuation de la performance de lorganisation. La Direction de laudit, de lvaluation des politiques publiques et de la dmarche qualit (DAEQ) du Dpartement de l'Essonne Le Conseil gnral de l'Essonne a cr en 2005 la direction de laudit, de lvaluation des politiques publiques et de la dmarche qualit (DAEQ) par regroupement de services prexistants auparavant distincts. Cette direction intervient sur une gamme largie de missions telles que les audits internes, (c'est--dire qui concernent les services dpartementaux), les audits externes (qui concernent les organismes publics ou privs financs par le conseil gnral dans le champ de ses comptences), le pilotage par tableaux de bord de contrle de gestion (tant au niveau des directions que de la direction gnrale), les dmarches qualit suivies ou non de certification, les valuations de politiques publiques et enfin les tudes orientes vers le conseil oprationnel. Le projet de direction rappelle que l'ensemble de ces missions prsente un certain nombre de points communs qui ont justifi leur regroupement dans une direction unique : - ils servent daide la dcision publique concernant les objectifs, les rsultats et lorganisation des
services, et plus gnralement la performance publique ; - ils participent au dveloppement du management par objectif et de la culture du rsultat au sein de ladministration dpartementale ; - ils prsentent dans la plupart des cas un impact important en terme de management et de conduite du changement, ce qui ncessite pour la DAEQ une action de communication interne forte, et implique pour les cadres dpartementaux laccs des formations spcialises (contrle de gestion, valuation des politiques publiques notamment) inscrites au Plan de Formation ; - ils sont mobiliss sur demande de la direction gnrale des services mais sans que la DAEQ se substitue aux responsabilits propres chaque unit oprationnelle ; - ils ont vocation sadresser lensemble des activits directes et indirectes du conseil gnral, et revtent par l mme une dimension transversale.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

48

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Compose de 13 personnes au total, la DAEQ regroupe quatre units fonctionnelles, qui exercent chacune des activits spcifiques : - la Mission dInspection de lAdministration Dpartementale (MIAD), - la Mission Contrle de gestion (MCG), - la Mission valuation des Politiques Publiques (MEPP) - la Mission Accompagnement du Changement et Dmarche Qualit (MACDQ).
Contact : Olivier COMPAIN, Directeur de la direction de laudit, de lvaluation des politiques publiques et de la dmarche qualit (DAEQ) Conseil gnral de l'Essonne, Ocompain@cg91.fr

Cre la mme priode, la Direction de la Qualit de la gestion publique du Conseil gnral de Loire-Atlantique prsente quelques similitudes avec la DAEQ du Conseil gnral de l'Essonne. La Direction de la Qualit de la Gestion publique (DQGP) du Conseil gnral de Loire-Atlantique En 2004, le Dpartement de Loire-Atlantique a fait le choix de rassembler les diffrentes facettes de la qualit de la gestion publique, ce qui s'est concrtis en 2005 par la cration d'une Direction de la Qualit de la Gestion Publique (DQGP). Compose de 7 cadres A et A+ et rattache directement au DGS, la DQGP est charge de trois ensembles distincts : 1) Prospective et marketing territorial (analyse de la demande sociale) 2) valuation et dmarche qualit 3) Audit et contrle de gestion Aprs une premire priode dexistence la DQGP et les actions quelle conduit sont aujourdhui mieux apprhendes par la collectivit (4 200 agents). Les services font mieux la distinction entre les diffrentes fonctions et considrent de plus en plus la DQGP comme un conseil et un appui dans la conduite de leurs activits et projets. La DQGP s'attache galement faire en sorte que soit respecte la cohrence entre les diffrentes disciplines en veillant maintenir une certaine lisibilit dans ses interventions.
Contact : Christian MOINARD, Directeur de la Qualit de la Gestion publique (DQGP), Conseil gnral de Loire-Atlantique, Christian.Moinard@cg44.fr (Tl. : 02 40 99 89 07)

Si l'organisation de la fonction valuation est essentielle, la consolidation de la fonction d'valuation dans les collectivits passe galement par la ncessit de l'apprhender comme un outil essentiel du pilotage de la performance. A ce titre, l'essentiel ne rside-t-il pas dans l'valuation permanente des options, des politiques et des interventions l'instar de ce que prconise l'ancien prsident de la Socit canadienne d'valuation, John MAYNE, affirmant qu' une bonne stratgie globale de la mesure doit inclure une mesure continue des performances et une valuation priodique"57.

57 MAYNE, John : Rgler la question de lattribution par lanalyse de la contribution : utiliser judicieusement les mesures de rendement - Revue canadienne dvaluation de programmes, Vol. 16, N1, pages 1 24 , 2001

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

49

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

L'exemple de la Communaut urbaine de Lyon constitue une illustration russie de l'intgration dans la conduite du changement d'une approche globale de l'valuation de la performance comme outil de pilotage interne en s'appuyant sur une Direction de l'valuation et de la performance (DEP) dont la mission consiste autant dans l'amlioration du niveau de performance des services que dans l'accompagnement du changement. La Direction de l'valuation et de la Performance de la Communaut urbaine du Grand Lyon, outil de pilotage de la performance Le positionnement stratgique de la direction de lvaluation et de la Performance (DEP) est double : amliorer le niveau de performance des services et d'accompagner le changement en dfinissant des leviers stratgiques pour le compte de la direction gnrale. Elle dveloppe en premier lieu des prestations de conseil l'ensemble des directions de la collectivit. Forte de 6 consultants internes en plus du directeur et du directeur adjoint, la DEP intervient en appui des directions dans la mise en uvre de dmarches de performance (mise en place d'outils oprationnels, sessions de formation caractre gnral mais galement en fonction de besoins spcifiques, valorisation des dmarches engages par les services). Ces conseils oprationnels aux directions sont dlivrs sur la base d'une commande prcise et formalise dans le cadre d'un contrat d'engagement sign pour chaque prestation de conseil avec la direction concerne. Vritable cellule de conseil en interne, la DEP apporte des prestations en matire d'audit, de contrle de gestion interne, de dmarche qualit, de management par les processus, de calcul des cot et d'valuation des politiques publiques. La deuxime mission de la DEP est d'assurer le lien entre la performance stratgique dfinie au niveau de la Direction gnrale et la performance dcline dans les centres de responsabilits (les directions). Chaque consultant interne de la DEP est le rfrent d'un ou plusieurs centres de responsabilit et assure le suivi des contrats d'objectifs et de moyens signs entre la Direction gnrale des services et le centre de responsabilit. La DEP joue ainsi le rle de courroie de transmission entre la performance stratgique et la performance oprationnelle. L'valuation est envisage dans une dimension largie dans la mesure o elle n'a de sens pour l'amlioration de la performance que mene en continue, suivie d'effets et utile la dcision.
Contact : Cdric GRAIL, Directeur adjoint de lvaluation et de la Performance - Communaut urbaine du Grand Lyon, cgrail@grandlyon.org

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

50

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Claude ROCHET58 prcise en outre qu'il est crucial de mettre en place l'infrastructure technologique permettant la collecte et la circulation des donnes, mais surtout l'architecture du systme d'informations et les tables de donnes qui ne peuvent tre que la traduction de l'architecture stratgique de la politique mise en uvre. La dmarche conduite par le Dpartement du Vaucluse est exemplaire ce titre : elle vise avant de se lancer dans une dmarche de mesure de la performance ou d'valuation des politiques dpartementales construire une architecture du systme d'informations adapt. OASIS Manager : du pilotage de la performance lvaluation des politiques publiques dpartementales Les collectivits locales qui disposent aujourdhui dun systme de tableau de bord structur, pertinent et utilis pour le pilotage restent lexception. Une des explications principales provient de la difficult non seulement de construire cet outil, mais aussi de le faire vivre et voluer en fonction des besoins de lorganisation et de ces dcideurs. Lintrt port au systme dinformation support du systme de pilotage semble de fait insuffisant lorsquune collectivit se lance dans ce type de dmarche. Cest en particulier pour cette raison, mais pas seulement, que le CG84 a dcid de rassembler au sein dun mme ple lorganisation, le contrle de gestion et les systmes dinformation (DOSIC). Un autre constat de dpart est que le pilotage est forcment volutif et que la construction de tableaux de bord pertinents est longue et complexe, ces tableaux de bord nvolueront plus, perdront donc de leur intrt assez rapidement, mais seront toujours produits par une dinertie invitable. Il faut pouvoir naviguer dans linformation de pilotage et la mettre disposition des dcideurs concerns. Il faut galement que la construction de ce systme soit le prolongement dun dialogue la fois stratgique et de gestion qui permettra de se focaliser sur les donnes importantes. En parallle, depuis 2003, le Conseil gnral de Vaucluse sest engag dans un processus managrial ayant pour actions principales : la clarification et la priorisation des politiques publiques ; la clarification des missions des directions et des modes de fonctionnement ; la clarification des processus (circulation du courrier et des dlibrations, dlgations de signatures, scurisation des marchs publics, subventions, etc.). Concrtement, la DOSIC apporte sa pierre ldifice managrial par lintermdiaire dactions tournes vers le pilotage de la performance, tel que le projet Organiser un Accs Simple lInformation Stratgique (OASIS). Initialis en 2005, son objectif est de permettre chacun daccder aux donnes qui leur sont utiles au quotidien, de les structurer autour de rfrentiels communs
58 ROCHET, Claude : Conduire l'action publique : des objectifs aux rsultats / Claude Rochet. - Paris : CampusPress : Macmillan : Pearson Education, 2003. - VII-339 p. ; 24 cm

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

51

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

(publics, politiques publiques, territoires, etc.), de construire un dialogue de gestion efficace, damliorer le pilotage des services et des politiques publiques du dpartement et, au final, le service rendu aux citoyens. Il sagit dun vritable double projet de management et de systme dinformation. Lutilisation dune technologie innovante et adapte apparaissant comme une condition de russite dun tel projet, le Conseil gnral de Vaucluse sest alors tourn vers Business Objects version Xi, en acqurant les outils Web Intelligence, InfoView et Pilotage des Performances (comprenant Dashboard et Performance Manager). En effet, loutil pilotage des performances, appel OASIS Manager au sein de la collectivit, est le fruit de lexploitation des meilleures mthodes de pilotage de la performance comme six sigma et les tableaux de bord prospectifs de R. Kaplan et D. Norton. Guid par ces outils et ces mthodologies, la DOSIC a ainsi cr la structure type du tableau de bord de ses directeurs. Ainsi, un manager, par dfinition, se fixe des objectifs , fait face des proccupations qui souvent entravent latteinte de ses objectifs, dispose de moyens qui lui sont allous pour lexcution de ses activits . En plus de ces quatre fondamentaux, objectifs, proccupations, moyens et activits , les thmes axes danalyse , chiffres cls et publications compltent la structure de loutil de pilotage. Ainsi dans le thme publications , regroupe un ensemble dtats de synthse pouvant tre dits et diffuss au sein de la collectivit ou vers lextrieur. Il ne sagit pour le moment que de communication de documents. Le thme chiffres cls consiste rpertorier, comme une carte didentit, les donnes les plus reprsentatives de lentit gre. Le manager trouve dans le thme gestion des moyens , les donnes et lvolution des moyens, ressources humaines, finances, autres supports (tlphonie, informatique, logistique) qui contribuent au fonctionnement de lactivit. Le thme activit propose les indicateurs de suivi de lactivit du manager. Il se situe, ce niveau, dans le pilotage oprationnel de son centre de responsabilit. Le manager peut orienter le pilotage de ses activits parce quil a des proccupations. Loutil lui permet, laide de visuels percutants (alerteurs, jauges, baromtres) de concentrer ses proccupations (linterprtation personnelle des risques quil pressent) dans un mme endroit sur son poste de travail. Le thme objectifs , symboliquement le premier thme de la structure de loutil, liste pour le manager, les objectifs quil se fixe, associs des plans dactions et ncessairement des valeurs cibles (targets). En labsence dobjectifs stratgiques ou oprationnels, les indicateurs la disposition du manager favorisent lanticipation et permettent dexpliciter la stratgie de la collectivit. Cest partir du thme axes danalyse que le manager entre dans la phase de pilotage stratgique. Les axes danalyse sont en principe les axes orients clients qui permettent au manager de fixer ses objectifs. Par exemple des axes stratgiques communs un Conseil Gnral sont les Citoyens, le Territoire ou encore les Fournisseurs.
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

52

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A travers ces 7 thmes, loutil de pilotage du manager est par essence vivant et collaboratif, structur tout en tant personnalis (spcifique chaque centre de responsabilit). Lvaluation va permettre de mettre tout le dispositif sous contrle en ne restant pas simplement sur la performance de ladministration (ai-je atteint mes objectifs ?), ni sur son efficience (ai-je optimis la consommation des ressources ?) mais en sintressant galement la qualit des objectifs poursuivis et leur impact sur la population, notamment via les axes danalyse disponibles dans OASIS Manager. Au-del dun pilotage performant des politiques publiques, il sagit daboutir un jugement partag sur lefficacit de cette politique et non la simple vrification du respect des normes administratives ou techniques. En consquence, les projets de pilotage de la performance, alliant les aspects managriaux et systmes dinformation, semblent devenir des outils au service de lvaluation des politiques publiques.
Contact : Christophe RUPRICH-ROBERT, Directeur gnral adjoint de l'Organisation, des Systme d'Information et du Contrle, Conseil gnral du Vaucluse, christophe.ruprich@cg84.fr

1.2.2. largir le champ de la performance pour mieux valuer les politiques valuer la performance de l'action publique ne saurait se rsoudre l'valuation de l'efficacit, de l'efficience ou de la qualit du service publique. D'abord par ce que l'valuation des politiques publiques vise comprendre pourquoi une action a produit tel rsultat et comment ce rsultat s'est produit. Ensuite par ce que la performance de l'action publique a vocation s'apprhender et s'valuer l'aune d'autres rfrentiels tels que l'utilit sociale et suivant des modalits plus dmocratiques partir de l'intgration des parties prenantes. Notons en premier lieu l'instar de Nicolas BERLAND que la notion de performance comporte en elle-mme un ensemble d'ambiguts garder en tte. Les ambiguts de la performance La performance est un thme la mode. Malheureusement, il apparat le plus souvent comme sous- ou sur dfini. Quest-ce que la performance ? Tout le monde en a une ide intuitive mais son oprationnalisation reste complique. La comptabilit, avec la rigueur de la partie double est cense nous clairer. Toutefois, on ne compte plus les exemples o une entreprise performante un jour se retrouve voue aux gmonies le lendemain. La veille de sa faillite Enron tait ainsi still the best of the best . De mme, combien dentreprise affichent des rsultats positifs en utilisant un rfrentiel comptable puis ngatif quand elle en emprunte un autre ? Faut-il citer dautres exemples ?

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

53

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Ds que lon sort du cadre comptable, ds quil sagit de parler dune performance non-financire, les choses se compliquent encore. Il est dusage de qualifier la performance partir du triptyque cot-qualit-dlai. Celui-ci est parfaitement adapt la complexit du secteur public. Mais, il faut tout de suite faire ressortir que la performance est alors quelque part dans un barycentre indfini construit autour de ces trois dimensions. Si on a la carte, il nous manque les noms de ville.
Une dfinition classique

Cots

Qualit

Dlai

Une autre faon de dfinir la performance est dutiliser un autre triptyque : efficacit (capacit atteindre ses objectifs), efficience (lvaluation du rapport rsultats obtenus, moyens mis en uvre), conomie (prix dobtention des inputs utiliss). Mais non seulement, les objectifs dpendent des parties prenantes pris en compte, mais ils dpendent aussi du temps considr (la performance de long terme nest pas celle de court terme). De plus, on peut tre efficace sans tre efficient et tre efficient sans avoir t conome. La performance nest pas un leur prcis mais lexpression dun compromis entre des dimensions contradictoire. Cest cela qui la rend si peu saisissable.

Politiques

Ressources Economie

PROCESSUS DE TRANSFORMATION Efficience

Rsultats Efficacit

Performances Sanctions positives ou ngatives

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

54

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Faut-il renoncer invoquer la performance ? Pas du tout, cest un guide trs utile pour laction mais ce nest pas le graal qui permettra de trancher au final les dbats entre les parties prenantes. Une valuation subjective reste de mise.
Contacts : Nicolas Berland, Professeur des Universits - Universit Paris Dauphine - Directeur adjoint du Crefige (centre de recherche de Dauphine Recherche en Management - DRM) et de l'Edogest (cole doctorale en gestion) nicolas.berland@dauphine.fr ; http://www.crefige.dauphine.fr/

En rappelant la difficult de dfinir prcisment la notion de performance applique l'action publique et en s'levant contre l'assimilation de la performance de la gestion publique au suivi de l'volution et du niveau atteint par quelques indicateurs gnraux, Philippe LAURENT, Maire de Sceaux et Prsident de la commission des Finances de l'Association des Maires de France, a rappel dans une rcente intervention que l'valuation de la performance s'apparente trop souvent l'valuation de la dpense publique : "Quest-ce que la performance en gestion publique ? On ne la mesure pas avec trois ratios car elle ne vise rien moins quau bonheur de vivre : ne parlons donc pas de performance mais dvaluation de la dpense publique" 59. La question de la mesure de la performance l'aide d'indicateurs chiffrs fait rgulirement l'objet d'observations sur la ncessit de bien suivre les indicateurs, de ne pas les multiplier ou encore de bien dfinir ce qu'est un bon indicateur. Il est cependant bien difficile pour les contrleurs de gestion de ne pas succomber la mise en place de batteries d'indicateurs si possible chiffrs pour mesurer la performance. Mais l encore, Nicolas BERLAND attire notre attention sur la ncessit de ne pas rduire la mesure de la performance un suivi des indicateurs de gestion et la ncessit de comprendre que la possibilit de mesurer les rsultats d'une action par le biais d'indicateurs dpend largement de la connaissance du processus de transformation de l'organisation. Autrement dit, l'usage d'indicateurs n'est pertinent que dans un certain nombre de cas. La matrice ambigut/connaissance du processus de transformation Pouvoir utiliser des indicateurs de gestion pour mesurer la performance ncessite quun certain nombre de conditions soient runies. De faon schmatique, il est possible de synthtiser ces conditions en fonction de deux dimensions (Galbraith, 1973, Perrow, 1967) : Sait-on mesurer les rsultats sans ambigut ? Dans certains cas, cela ne fait gure de doute. Par exemple, la bouteille est suffisamment ou mal remplie, le rsultat comptable obtenu est suprieur ou non aux attentes. En revanche, quest-ce quun accident du travail ? Une marge dapprciation existe. Que sont nos rejets de CO ? On ne peut connatre tous les rejets et parfois les

59

Citation tire d'une intervention l'occasion d'un colloque tenu le 21 septembre 2006 Bercy : http://www.colloc.minefi.gouv.fr/colo_otherfiles_fina_loca/docs_som/colloque_21septembre2006_table3.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

55

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

chiffres publis par les entreprises augmentent et sont le signe non dune baisse de performance (augmentation de rejets) mais simplement dune meilleure connaissance des rejets. Sait-on ce quil faut faire pour bien travailler ? Dans certains cas, les tches sont peu ambigus. On peut dailleurs les normaliser, dvelopper des procdures, voire les automatiser. Mais bien souvent, les acteurs ont une grande marge dapprciation. Que doit faire un professeur en rentrant dans sa salle de cours ? Cela change toutes les semaines. A quel ge le travail des enfants devient-il inacceptable ? Des entreprises se sont vues opposer que la transposition des valeurs occidentales des pays en dveloppement ne faisait parfois que dplacer les problmes.

En croisant ces deux dimensions, on obtient quatre situations diffrentes :

Connaissance du processus de transformation Parfaite Imparfaite

Possibilit de mesurer les rsultats

Bonne

Contrle des comportements ou des rsultats Cas 1

Contrle des rsultats Cas 3

Mauvaise

Contrle des comportements Cas 2

Contrle social Cas 4

Du croisement de ces deux axes ressortent quatre cas : Cas 1 : le moyen de contrle peut alors tre un contrle des comportements (respect dune norme) ou un contrle des rsultats (respect dun indicateur) Cas 2 : seuls les comportements peuvent tre contrls sans ambigut. Cas 3 : cest le cas idal dapplication dun contrle par indicateur ou par objectif. Cas 4 : cest un contrle social (ou contrle par les pairs) qui doit sappliquer (cest le cas des mdecins ou des juges qui sont jugs par leurs pairs). Le cas 3, qui serait le plus pratique, est finalement sans doute un cas minoritaire. Ce qui explique la remarque de Drucker qui value la prvalence de ces situations environ 10%. Le tableau ci-dessus suggre que les objectifs ne peuvent donc tre utiliss comme outil dvaluation que dans le cas du contrle par les rsultats. Dans les autres cas, leur utilisation peut tre source deffets pervers lis la difficult mesurer clairement les objectifs.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

56

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La rfrence des objectifs peut toutefois tre utilise pour aider piloter lorganisation en objectivant ses principales dimensions et volutions. Ils permettent ainsi de mieux comprendre son fonctionnement. Nous allons plaider dans la suite de notre prsentation pour un contrle fond sur les comportements (ou actions) qui consistera superviser une convention deffort ou un contrle social intgrant les parties prenantes. Il apparat que les indicateurs de gestion ne sont pas une solution universelle. Que faut-il en conclure ? Quil est inutile de dvelopper des indicateurs ? Que ce contrle est illusoire faute de trouver le plus souvent des guides impartiaux de mesure de la performance ? Nous ne le pensons pas. Ce sont les usages et les finalits des indicateurs qui doivent tre adapts. La plupart du temps, quand les indicateurs ne sont pas des juges impartiaux de la performance, calculer des indicateurs ne clt pas le processus de mesure de la performance. Ils nindiquent pas qui sont les bons et les mauvais lves. Les indicateurs ne font que permettre louverture dune discussion dont la finalit est de mettre au jour la performance en se servant des indicateurs comme point de dpart. Nous allons maintenant dvelopper ce point de vue et donner des pistes pour une utilisation approprie des indicateurs de gestion. Lide dutiliser un management par les chiffres a t formalise dans les annes 50-60 autour des travaux de Peter Drucker, le pape de la direction par objectifs (DPO ou Management by Objectives, MBO en anglais). La fixation dobjectifs suffit contrler, qui plus est distance, les comportements dautres personnes. Il semble pourtant que lon ait fait une lecture un peu trop optimiste de Drucker. La DPO dveloppe par Peter Drucker en 1954 dans son livre The Practice of Management voit ainsi sa porte minore quand dans les annes 90, Peter Drucker lui-mme affirme : It's just another tool. It is not the great cure for management inefficiency... Management by Objectives works if you know the objectives, 90% of the time you don't . Il semblerait donc que lutilisation des indicateurs pour contrler la performance dautrui soit sujette caution. Ce que Drucker lui-mme avait signal depuis longtemps :
Jusqu prsent je ne me suis pas occup beaucoup de contrle mais de mesure et ceci bon escient car le terme mme de contrle est ambigu : il y a bien le sens de capacit de se diriger soi mme et de diriger son travail, mais peut aussi signifier la domination dune personne par une autre. Dans la premire hypothse, les objectifs sont bien la base du contrle mais jamais dans la seconde hypothse o ils dtruiraient alors leur but mme. Ajoutons quune des principales contributions de la gestion par objectifs est de nous permettre de substituer la pratique dun contrle gestionnaire autonome celle qui reposait sur la domination. Il nest pas ncessaire que ces mesures soient strictement quantitatives ni exactes ; il suffit quelles soient claires, simples et rationnelles. Il faut quelles soient pertinentes et quelles dirigent attention et efforts l o ils devraient ltre. Il faut aussi que ces mesures soient fiables au moins dans des limites reconnues et comprises et que leur explication soit vidente et comprhensible, sans prter des interprtations hasardeuses. Mais au cas o ces nouvelles possibilits seraient utilises pour imposer un contrle extrieur aux gestionnaires, cette nouvelle technologie (DPO), aura inflig des dommages incalculables en dmoralisant ces gestionnaires et en diminuant leur pouvoir effectif. (Drucker, 1975)
* Contacts : nicolas.berland@dauphine.fr ; http://www.crefige.dauphine.fr/

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

57

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

D'o la ncessit d'largir la vision de la performance de laction publique aux parties prenantes. C'est ce que propose Jean-Michel CHAPET, Administrateur territorial et Professeur associ de sciences de gestion Universit Paris X Nanterre. L'auteur plaide pour le dveloppement d'une vision de la performance dont chaque dimension se nourrisse des relations avec les parties prenantes. Concrtement, Jean-Michel CHAPET distingue 5 axes de la performance :
o o o

Laxe des finalits avec ses politiques et leurs objectifs dimpacts pour les relations avec les citoyens Laxe des financements avec ses contributions et leurs objectifs cots/recettes pour les relations avec les contributeurs (contribuables et autres financeurs) Laxe des ralisations avec ses ralisations et leurs objectifs quantitatifs et qualitatifs pour les relations avec les destinataires (usagers, assujettis et autres) Laxe des processus avec ses tches et ses activits et leurs objectifs dinnovation pour les relations avec les diverses organisations internes ou externes Laxe des comptences avec ses apprentissages et leurs objectifs en matire de qualification et de reconnaissance pour les relations avec les agents rmunrs ou bnvoles.

Ces 5 axes de performance ne sont videmment pas exhaustifs. Chaque identification dune nouvelle catgorie de parties prenantes implique que le systme de gestion identifie sur un nouvel axe, des objets de pilotage caractriss par des niveaux de performance atteindre. On va ici bien au-del de la LOLF qui dcline la mesure de la performance des programmes suivant les trois premiers axes cits par l'auteur (et encore puisque pour laxe financier, les cots sont privilgis et les recettes propres ngliges ; de mme sur laxe des ralisations, le systme reconnat les prestations mais ignore les prescriptions pourtant si important pour faire de la rgulation). En prcisant bien que les parties prenantes ne sont pas des groupes sociaux distincts en ce sens que chacun peut appartenir concomitamment au groupe des citoyens, des contribuables et des usagers ; les parties prenantes dfinissent des types de relations homognes que les personne peuvent avoir avec laction publique dans une situation donne. Ainsi par exemple, M. CHAPET propose de prendre en compte les apports et les attentes des agents au regard de leurs comptences et les apports et les attentes des autres organisations. Afin de rendre plus visible l'action publique, il est ainsi crucial didentifier plus compltement les parties prenantes et les enjeux qui les animent, puis pour chaque enjeu d'identifier les phnomnes mettre sous contrle au moyen d'indicateurs. A partir de ce constat, des spcialistes de l'valuation entreprennent l'laboration de rfrentiels ou de baromtres qui peuvent jouer un rle fdrateur entre les parties prenantes. En effet, l'ensemble des acteurs directement ou indirectement concerns par une politique ou un dispositif public n'a pas la mme perception des enjeux.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

58

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La socit Paul OHANA Consultants a dans cette optique dvelopp un baromtre original de l'valuation des politiques publiques. Prsentation du Baromtre de lvaluation des politiques publiques laborer une politique publique, la mettre en uvre, lvaluer dans les trois phases, amont, chemin faisant, et ex post, tel est le cycle vertueux de la vie dmocratique. Or ce cycle vertueux est rarement mis en uvre dans toutes ses phases. Une difficult majeure pour cela rside en particulier dans la multiplicit des acteurs concerns par la conception et la mise en uvre dune politique, quelle soit nationale ou locale. En effet concevoir une politique est du ressort du politique , la mettre en uvre du ressort de l administratif avec toutes les phases, lintervention de multiples parties prenantes (associations, institutions,) Non organis, non structur, le dbat prend rapidement un tour polmique chacun abordant la question sous son seul clairage. Le Baromtre de lvaluation a pour volont de rpondre cette question : comment organiser un dbat entre la multiplicit des acteurs autour dun cadre mthodologique sr et non partisan ? Le baromtre t rdig pour aider tous ceux qui participent llaboration ou la mise en uvre des politiques (comme acteurs ou comme sujets) se poser les bonnes questions de faon se faire une opinion fonde et contribuer amliorer la vie dmocratique. Dans ce but le baromtre passe en revue trois Critres Majeurs auxquels une politique bien conue se doit de rpondre : 1. dans quelle mesure la politique envisage (ou mise en uvre) a-t-elle pris en compte les critres socitaux (rponse des attentes identifies, pertinence, transparence, impacts) ? Cest le volet citoyen de lvaluation.* 2. dans quelle mesure la politique envisage (ou mise en uvre) a-t-elle pris en compte les critres de performance (dfinition dobjectifs, chiffrs, cohrents, efficaces, financs) ? Cest le volet performance. 3. dans quelle mesure la politique envisage (ou mise en uvre) a-t-elle pris en compte les critres dexcellence et de qualit (dmarche de progrs, tude des meilleures pratiques) ? Cest le volet qualit. Ces trois grands critres sont bien sur interdpendants et indispensables la ralisation dune valuation exhaustive. Pour pouvoir les mesurer ils ont t dtaills en 10 critres mesurs par une batterie de 40 questions (4 questions par critre). Le Baromtre value le niveau de prise en compte de ces critres ; il ne porte pas de jugement de valeur sur la politique qui peut tre initie par tel ou tel acteur ; par contre, il value son niveau de prparation ou la qualit de sa mise en uvre. A ce titre, cest un outil prcieux de dialogue et de progrs.
Paul Ohana Consultants 2008 paul@ohanaco.com

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

59

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Amartya SEN met en garde sur la tentation des dcideurs de trouver une formule magique susceptible de tout mesurer qui ouvre la voie la ncessaire intgration de l'ensemble des parties prenantes de l'action publique (y compris celles qui n'ont pas droit au chapitre) : "la slection des poids nous confronte une alternative non dpourvue d'intrt entre "technocratie" et "dmocratie". Une procdure de choix, inspire par l'exigence dmocratique d'un accord partag ou d'un consensus peut tre assez dsordonne pour inspirer de l'horreur aux technocrates et les inciter rver d'une formule magique capable de leur livrer des poids prts l'usage et d'une lgitimit indiscutable. Bien entendu, aucune formule ne peut produire l'article en question, puisque peser, c'est valuer et donc, exercer son jugement"60. L'valuation de la performance impulse par la LOLF au niveau national et par les dmarches locales de performance au niveau des collectivits locales ne peut s'apparenter une forme d'valuation des politiques publiques essentiellement parce que la mesure de la performance demeure circonscrite la comparaison entre les rsultats, les objectifs et les moyens et ce dans une logique annuelle. L'valuation des politiques se distingue du contrle de gestion principalement sur son attention porte sur les retombes de l'action publique plus long terme et sur la comprhension des rsultats. Ceci ne doit pas occulter que la LOLF peut constituer un vecteur de dveloppement de l'valuation des politiques qui, pour se consolider dans les pratiques administratives, doit emprunter des voies annexes en acceptant notamment d'tre le fait d'une diversit d'acteurs, en s'inscrivant dans des dispositifs organisationnels adapts et en largissant le champ de la performance, qui ne saurait se rduire l'valuation chiffre de l'efficacit ou de l'efficience de quelques dispositifs. L'ouverture de la mesure de la performance aux enjeux des parties prenantes peut constituer cet effet un premier pas vers une valuation plus dmocratique de l'action publique.

60

SEN Amartya : Un nouveau modle conomique, Odile Jacob, 2000, 356 p.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

60

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

DEUXIEME PARTIE PDCA 2 : Processus Dmocratique : Confrontation, Adaptation

LENJEU DEMOCRATIQUE
2. L'valuation participative.
2.1. L'valuation participative, gadget ou avenir de l'valuation ?

2.1.1. De lmergence du principe de la participation des citoyens. Le principe de participation des citoyens a principalement merg avec la prise de conscience des impacts de certains projets damnagement ou dquipement sur lenvironnement et dune volution dans la conception du principe de concertation pralable la ralisation des projets damnagement du territoire. Ds les annes 1970-1980, la France a renforc sa lgislation relative la protection de lenvironnement. Puis, suite de nombreux conflits autour des grands projets nationaux dinfrastructures de transport, la dcennie 1990 a t marque par une rflexion autour du principe de participation du public, qui a abouti au dveloppement de la concertation plus en amont de la dcision. Paralllement, au niveau europen et mondial, des mesures ont particip ce mouvement de prise en compte de lenvironnement et de la concertation dans llaboration des projets. Ainsi, au cours des annes 1990-2000, des dispositions lgislatives ont inscrit le principe de participation dans le systme juridique franais. Ainsi, la loi relative la dmocratisation des enqutes publiques et la protection de lenvironnement, dite Loi Bouchardeau a rform lenqute publique dont lobjet est dinformer le public et de recueillir ses apprciations, ses suggestions et ses contre-propositions. La dclaration de Rio sur lenvironnement et le dveloppement durable, adopte en juin 1992, dclare en son principe 10 que la meilleure faon de traiter les questions denvironnement est dassurer la participation de tous les citoyens . Le principe de participation du public est enfin pos en droit positif dans larticle 2 de la loi du 2 fvrier 1995 relative la protection de l'environnement, dite loi "Barnier".

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

61

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La poursuite de la volont damliorer la prise en compte de lenvironnement amne 39 tats, membres du Conseil conomique et social des Nations Unies et la Communaut europenne la rdaction de la Convention sur laccs linformation, la participation du public au processus dcisionnel et laccs la justice en matire denvironnement, qui est signe le 25 juin 1998 Aarhus au Danemark. Conformment aux dispositions de la Convention dAarhus, la loi du 27 fvrier 2002 relative la dmocratie de proximit intgre un nouveau chapitre intitul Participation du public llaboration des projets damnagement ou dquipement ayant une incidence importante sur lenvironnement ou lamnagement du territoire . 2.1.2. la question de lvaluation participative Un glossaire de l'OCDE dfinit l'valuation participative comme une "mthode dvaluation selon laquelle les reprsentants des agences daide et des autres parties prenantes (y compris les bnficiaires) collaborent pour concevoir et conduire une valuation et en tirer les conclusions"61. Selon Galle BARON et Eric MONNIER62, il existe deux gnrations dvaluations participatives : la premire consiste simplement impliquer des parties prenantes la dmarche. La seconde, qui se dveloppe actuellement aux tatsunis et au Canada notamment, va beaucoup plus loin puisquelle tend impliquer totalement la socit civile dans la dmarche depuis la formulation des questions valuatives jusqu la rdaction des prconisations. Ce sont les valuations mancipatrices (empowerment evaluations). Dans un premier temps, et en France jusqu la fin des annes 1980, les valuations dites managriales taient ralises au sein dune organisation, sans association dacteurs extrieurs. Elles sinterdisaient, pour garantir lindpendance de lvaluateur et la qualit de son jugement, dassocier dautres acteurs que ladministration responsable du programme valu. Une gnration plus rcente a cherch intgrer au processus les parties prenantes la politique value : associations, oprateurs, reprsentants de la socit civile mais galement citoyens ou usagers. Le but est dtendre les points de vue aux bnficiaires des politiques values afin daugmenter la pertinence de la dmarche. Ce modle, dominant en France dans les annes 1990, sest appliqu tous les types de politiques. La dernire gnration dvaluations a la volont de rendre les citoyens acteurs de la conduite de laction publique en positionnant la socit civile au cur de la dmarche.
OCDE : Glossaire des principaux termes relatifs lvaluation et la gestion axe sur les rsultats, 2002 http://www.oecd.org/dataoecd/29/21/2754804.pdf 62 BARON, Galle et MONNIER Eric : Une approche pluraliste et participative : coproduire lvaluation avec la socit civile , in Revue Informations sociales , Septembre 2003
61

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

62

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Selon Eric MONNIER, la 5me gnration dvaluation implique une grande diversit de groupes concerns par un programme public dans toutes les phases de son valuation. Mais cette nouvelle gnration va plus loin que la coproduction et le pluralisme par sa volont explicite de donner du pouvoir aux participants grce au processus dvaluation. A partir du constat que linformation et la connaissance sont un pouvoir trop souvent rserv aux dcideurs et aux principaux acteurs dun programme, elle considre indispensable de transfrer ce pouvoir notamment aux groupes les plus dmunis. Cette approche, employe pour lvaluation des programmes sociaux, ducatifs ou de renouvellement urbain aux tats-unis et au Canada ou de projets dONG dans les pays en voie de dveloppement vise certes amliorer une politique publique, mais aussi aider les groupes sociaux crer leur propre savoir, leur propre comprhension de leur situation et des moyens ncessaires pour la modifier. Comparaison entre diffrentes gnrations dvaluation : Qui dcide du Qui pilote les Qui produit le contenu travaux jugement de lvaluation ? dvaluation ? final ? 1re Managriale Administration responsable de la Lquipe 3me gestion dvaluation 4me (a) Coproduite Autorits Gestionnaires + Lquipe publiques (lus oprateurs dvaluation ou directeurs) 4me (b) Pluraliste Autorits Autorits publiques + socit publiques civile + (oprateurs) (lus ou directeurs) 5me mancipation Socit civile
SOURCE : UNE APPROCHE PLURALISTE ET PARTICIPATIVE : COPRODUIRE LEVALUATION AVEC LA SOCIETE CIVILE , GALLE BARON ET ERIC MONNIER (ARTICLE PRECITE)

Gnration

Type dvaluation

Selon les auteurs, la participation peut donc tre plus ou moins large :

Commanditaires et principaux oprateurs

Oprateurs de mise en uvre

Autres agents concerns par la dfinition et la mise en uvre du programme

Bnficiaires directs

Bnficiaires indirects, potentiels

Citoyens ou leurs reprsentants

et plus ou moins profonde...


enjeux, validation mthodologique Construction de la mthodologie, des Interprtation outils des rsultats Collecte des donnes Formulation des Recommandations, Rdaction du rapport

Ce qui donne diffrents niveaux de participation possibles.


CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

63

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La stratgie d'valuation participative de type empowermet dans laquelle la participation des acteurs vise le changement social en transfrant connaissances et pouvoirs aux intresss a t juge la plus approprie pour l'valuation du projet "Travail de Rue" de Bellechasse au Qubec. Une valuation participative de type empowerment : une stratgie pour le travail de rue au Canada Depuis quelques annes, les organismes communautaires des rgions rurales du Qubec tentent, en prenant exemple sur ce qui se passe dans les villes depuis bien longtemps, de mettre en oeuvre des programmes de travail de rue destins aux jeunes. cette fin, ces organismes doivent se diriger vers des bailleurs de fonds pour trouver le financement ncessaire. Aujourdhui, ils sont dans lobligation, face aux requtes des organismes financiers et au regard de la concurrence suscite par des ressources disponibles limites, de faire la dmonstration de leur efficacit. Le projet dont il est question est mis en oeuvre et pilot par lorganisme Ressource alternative des jeunes de Bellechasse (RAJB). La mission de cet organisme est de favoriser lintgration sociale, scolaire, professionnelle et conomique des jeunes de la municipalit rgionale du comt (MRC) de Bellechasse. Le projet Travail de rue a t conu en continuit avec une prcdente intervention du mme type, lance au milieu de lanne 1996. Le financement du projet a t assur par Sant Canada par lintermdiaire de lInitiative dinnovations en sant pour les rgions rurales et loignes. La MRC de Bellechasse est situe dans la rgion Chaudire-Appalaches. Les habitants de cette rgion sont moins scolariss que ceux de lensemble de la province, ils sont moins nombreux au chmage, mais disposent de revenus plus faibles et ils ont un taux ajust de mortalit par suicide plus lev. la suite de lintgration des travailleurs de rue (TR) de la MRC de Bellechasse en 1998, RAJB a ressenti le besoin dassurer une prsence prventive continue dans les milieux naturels des jeunes de 12 25 ans. Lapproche vise favoriser la prise de pouvoir par les jeunes, lautonomie et laccompagnement tant des concepts centraux de cette approche. Les jeunes sont considrs comme des acteurs sociaux, comme des tres politiques. En ce qui a trait aux diffrents objectifs que se sont fixs les responsables de ce projet, long terme les promoteurs souhaitent contribuer la promotion de la sant et du bien-tre des jeunes. Les rsultats attendus moyen terme consistent favoriser le renforcement du pouvoir des jeunes pour quils soient en mesure dagir sur les dterminants de leur sant. Au coeur de ce rsultat figurent les concepts dempowerment, dhabilitation et dautonomie. Au cur du processus participatif, des entrevues individuelles non directives ont t menes auprs des jeunes. Plusieurs difficults inhrentes la ralisation de ce type de collecte dans ce contexte particulier ont t souleves ds le dbut :

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

64

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

trouver les jeunes, leur permettre dtre laise pour parler, pour se confier un valuateur externe, etc. Afin de contrer ces obstacles et en phase avec lapproche valuative, il a t dcid que les entrevues seraient ralises par les TR. Lanalyse des donnes qualitatives, qui constituent la majeure partie du corpus de donnes, a t entirement ralise par les TR. Pour quils soient en mesure de faire lanalyse, une runion de prparation a eu lieu, au cours de laquelle un guide danalyse a t distribu et expliqu. En ce qui concerne lanalyse (descriptive) des donnes quantitatives, cest la seule partie de lvaluation ralise par les consultants. Les rsultats produits ont cependant t valids par les participants lvaluation. Trois caractristiques particulires dfinissent une valuation participative de type empowerment : le contrle du processus valuatif, la slection des personnes-ressources pour la participation et, enfin, la profondeur de la participation de ces derniers. Dans Bellechasse, pour chacune de ces trois caractristiques, limplication des TR a t trs importante sinon totale. Concrtement, le type dvaluation ainsi que la pertinence de lutilisation de tel ou tel outil ont t discuts entre les acteurs et les dcisions ont t prises de faon concerte, les TR ayant le dernier mot. Les questions poses lors des entrevues ont t dcides en commun accord. Les donnes ont t collectes par les TR et les donnes qualitatives analyses par eux. Les jeunes interrogs ont t choisis par les TR. La participation des parties prenantes de lvaluation sappuyait donc sur une finalit dempowerment des parties prenantes. Lanalyse de ce processus visait montrer, dune part, que cette stratgie a le plus de chances dtre accepte par les acteurs et produire des donnes probantes pour porter un jugement sur lefficacit de ces interventions et, dautre part, que lvaluation a russi, du moins en partie, rendre les TR plus empowered .
Auteurs : Valry Ridde, Doctorat en sant communautaire, Universit Laval, Qubec (Valery.ridde.1@ulaval.ca); Jrme Baillargeon, Travailleur de rue, Ressource alternative des jeunes de Bellechasse ; Patrick Ouellet, Travailleur de rue, Ressource alternative des jeunes de Bellechasse ; Sylvie Roy, Consultante en mesure et valuation, Johnson & Roy inc.

Nicolas MATYJASIK, enseignant-chercheur l'IEP de Bordeaux et l'Universit de Lille 2, nous propose une rflexion clairante sur les liens entre valuation et pluralisme. Deux ou trois choses que je sais delles. Politiques publiques, pluralisme et valuation. Dans un contexte de sfumato territorial : contractualisation croissante, transfert accru de comptence, pilotage crois des dispositifs, lvaluation de politique publique permet de rendre lisible, visible laction des pouvoirs publics et de rduire les incertitudes lies la gestion publique quotidienne.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

65

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Pour les collectivits territoriales, lvaluation est un moyen de faire remonte des informations du terrain et de produire de la connaissance sur laction locale dans loptique de lamliorer. De plus, au sein dune classe politique en qute de renouvellement, lvaluation peut permettre de se dmarquer et offrir un badge de modernit (Pollit, 1998). Les thoriciens de lvaluation estiment traditionnellement, que plusieurs conceptions se dessinent. En ce sens Guba et Lincoln (1996) parlent de gnrations pour indiquer les volutions de linstrument valuatif. Un des stades de lvaluation (de maturit?), est celui de pluralisme. Le concept est donc lch : le pluralisme ! Mais quel est cet objet valuatif non identifi ? Nous aimerions ici revenir sur cette notion en lclairant voire en la dmythifiant. Nous tenterons de lever quelques interrogations sur le sujet. Quentend t-on par pluralisme ? Pourquoi sengager sur cette voie ? Quels sont les inconvnients de ce type de dmarche? Lvaluation dmocratique est-elle ce renouveau tant attendu ? Introduit par le rapport de Patrick Viveret en 1989, considr comme une panace (Lascoumes, 1996) ou qualifi de marketing politique (Thoenig, 1998), ce concept a fait couler beaucoup dencre dans les travaux universitaires et ailleurs. Le pluralisme en valuation peut tre dfini comme la confrontation du point de vue des responsables de la politique et des points de vue de tierces personnes : experts, partenaires de la politique voire mme les bnficiaires de la politique. Le jugement sur la politique est de ce fait coproduit par une pluralit dacteurs sur la base de critres pr-tablis et dinformations collectes. Prcisment, Galle Baron et Eric Monnier (2003) estiment que lvaluation pluraliste peut tre plus ou moins large (tendue de la participation) et plus ou moins profonde (tendue des prrogatives attribues aux parties prenantes). Un des premiers aspects aborder quant on parle dvaluation pluraliste, est bien denvisager ltendue des possibles. Quattend-t-on vraiment de lvaluation ? Sil sagit de faire de lvaluation un simple outil de reddition des comptes, un moyen de contrle ou encore une rponse routinire une contrainte juridique, le pluralisme nest effectivement pas de mise. Trop contraignant, trop coteux (notamment en temps), sengager dans cette direction peut paratre comme un investissement inutile.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

66

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Au contraire, si lenjeu est de faire progresser la politique, den connatre les dysfonctionnements afin de lamliorer en continue, introduire le pluralisme peut constituer une rponse fconde. En effet, le pluralisme peut permettre une qualit accrue du processus dvaluation : En facilitant lacceptation du processus et la collecte des informations dont lvaluation a besoin, En permettant une interaction avec lvaluateur qui accrot la pertinence et la qualit des rsultats de lvaluation. Ensuite, le pluralisme peut contribuer renforcer la lgitimit du processus et des conclusions de lvaluation : En donnant la parole ceux qui sont directement concerns par la politique (meilleures perceptions des attentes, des besoins de chaque type dacteur), En favorisant une meilleure acceptation des conclusions car elles sont appuyes sur des choix et des mthodes auxquels ils ont particip, En dveloppant des apprentissages individuels et collectifs (meilleure connaissance de la politique, prise de recul, ). La contribution participative des diffrents acteurs lvaluation prsente de nombreux intrts notamment au regard de la connaissance des causes et consquences des difficults rencontres par la politique publique mais galement dans loptique dun processus damlioration en continue. Ainsi, le processus dmocratique permet une confrontation des points de vue des parties prenantes qui sont au cur de la politique et qui apportent un regard complmentaire sur la politique; les citoyens tant en dedans et non au-dehors de cet instrument daction publique. Par consquent, ce creuset en interaction peut permettre une meilleure adaptation de la politique publique dans la mesure o lidentification des problmes et la production des pistes damlioration rsultent dun travail rflexif entre les diffrents acteurs de la politique (Matyjasik, 2007). Relevons ici quil est de la responsabilit mme des commanditaires publics dvaluation (lus et fonctionnaires administratifs) de se positionner par rapport ce type dvaluationPluralisme or not ? Par ailleurs, lide de faire participer les diffrentes parties prenantes lvaluation ne va pas de soi et ne doit pas tre considre comme un lieu commun. Mettre au centre du jeu valuatif, les citoyens, les ressortissants (Warin, 1999) des politiques publiques peut faire remonter des incertitudes que les pouvoirs publics veulent justement dissiper avec lvaluation. La matrise du processus devenant alors plus complexe et susceptible dengendrer des crispations.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

67

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Notons galement quil existe des politiques publiques o lintrt de la participation est mineur tant la technicit ou les luttes internes ne permettent pas aux diffrents acteurs dapporter une plus value pertinente. Finalement, comme le suggre Patrice Duran (1999), le point dachoppement le plus important est peut-tre celui du fondement mme du pluralisme : est-ce le rle de lvaluation de susciter la mobilisation de toutes les parties prenantes et dassurer leur implication critique ? Se pose en ce sens la lgitimit des personnes choisies pour apporter un regard sur la politique. Nous sommes bien conscients que notre contribution pose plus de question quelle ne propose de solution clefs en main. Nous sommes pourtant intimement convaincus quun investissement mthodologique dans le domaine simpose rapidement. Pour conclure, il est aujourdhui acquis que lvaluation aura dans les annes (les mois ?) venir, choisir dfinitivement sa direction. Continuer son chemin dans une optique de performance (certains parlant cet gard de lolfisation de lvaluation) et se constituer en un instrument managrial ou progresser dans un sens dintgration de toutes les parties prenantes et devenir cette rvolution dmocratique tant attendue. Deux chemins, deux conceptions idologiques qui nourrissent les dbats depuis lintroduction en France de lvaluation
Contact : Nicolas MATIJASIK est enseignant - chercheur lUniversit de Lille 2 (CERAPS) et termine un travail de thse lInstitut dtudes Politiques de Bordeaux (SPIRIT) consacr une sociologie de lvaluation des politiques publiques en France. matyjasik.nicolas@wanadoo.fr

2.1.3. Quelques bonnes raisons de recourir lvaluation pluraliste Lvaluation participative part de lhypothse que seule lassociation des citoyens ou des usagers ou encore des parties prenantes permet une dmarche vritablement efficace pour juger de lefficacit dune politique publique. Le principe de pluralit est ainsi le premier principe inscrit dans la Charte de lvaluation de la SFE. Deux grands objectifs sont viss par les dmarches pluralistes dvaluation : dune part, bnficier dun regard extrieur sur les actions conduites et viter les auto valuations en circuit ferm, et dautre part permettre aux citoyens ou aux usagers dtre associs aux actions publiques qui les concernent et favoriser ainsi le sentiment dune dmocratie vivante en leur permettant dtre acteurs et non seulement consommateurs des politiques publiques. Dans le cas franais, ces dmarches participatives doivent pouvoir se concilier avec les principes de la dmocratie reprsentative. Selon Patrick VIVERET, une reprsentation, au sens prcis du terme, ne peut pleinement fonctionner que sil y a matire reprsenter. Cela suppose une prsence active des citoyens qui donnent un mandat leurs reprsentants, dbattent de son contenu, en valuent les rsultats et peuvent en modifier les termes. Si la dmocratie de reprsentation nest certes pas une dmocratie directe - au sens dune
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

68

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

assemble permanente de citoyens ou de conseils -, elle ne saurait non plus fonctionner sans une participation active des citoyens 63. Ainsi, les diffrents dispositifs possibles de participation comme les forums sociaux ou les confrences de citoyens sont particulirement importants un moment o la dmocratie reprsentative semble en crise et o, paralllement, laction publique est recentre sur les notions de rsultats et de performance comme cela a t dmontr dans la premire partie de cette contribution. Dans le cadre dune valuation prospective, lassociation des habitants dun territoire peut galement constituer un complment aux travaux des commissions consultatives des collectivits territoriales, afin de lutter contre les travers de dispositifs de consultation atones ou suivistes. Par exemple, la Communaut Urbaine de Strasbourg a utilis l'valuation comme processus de rflexion collective sur son projet d'agglomration. La cellule "valuation des politiques publiques" a t charge de dvelopper des outils d'coute sociale et de participation des habitants pour le compte du comit de pilotage du projet et d'autres instances consultatives (comit citoyen par exemple)64. Enfin, le fait dassocier les citoyens ou les usagers une dmarche dvaluation, le plus en amont possible dune action publique, permet dviter les risques dune opposition totale un projet, qui peut aboutir ventuellement limpossibilit de le raliser. La concertation et le dialogue permettent une approche plus pro active des citoyens en les responsabilisant sur la russite ou non dun projet. Le projet d'Euroville Ble en Suisse Il s'agit d'une restructuration globale du quartier de la gare centrale. Le projet s'articule autour de deux objectifs : a) le renforcement du noeud d'changes de transports b) la cration d'un centre de services prvu pour 4500 emplois. Ds le dmarrage du projet, les responsables politiques ont investi dans la participation des citoyens, sachant qu'une opposition trop forte renforcerait les obstacles surmonter (votations populaires, recours judiciaires). D'o de nombreuses dmarches inities: * cration de cinq "groupes d'accompagnement" officiels auprs du matre d'ouvrage, dans le cadre de la participation formelle la procdure : a) groupe d'accompagnement, relations publiques b) urbanisme, architecture c) transports d) environnement e) rseaux.

63

VIVERET, Patrick : Pour redonner sa noblesse laction politique , in Le Monde Diplomatique, Mai 2000 http://www.monde-diplomatique.fr/2000/05/VIVERET/13719.html 64 MONNIER, Eric et HENARD, Fabrice : L'valuation des politiques publiques dans les collectivits territoriales : exercices imposs et initiatives propres, article prcit.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

69

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Chaque groupe d'accompagnement compos d'une douzaine de personnes de toutes tendances, surtout du secteur priv, a pour fonction d'apporter des avis d'experts ainsi que d'exercer un contrle sur la qualit des tudes. * participation informelle du second type qui implique une multitude d'associations ainsi que d'autres groupes. Les plus importants tant les associations de quartiers riverains, celles de transports, de commerants, de partis politiques, de parents d'lves, etc. Des centaines de runions ont ainsi t consacres au projet. Ces associations tant "priphriques" au projet, il faut noter le rle clef jou par la grande "Association gare" pour la promotion du projet Euroville. * Qui dit votation populaire exige information pralable et donc, les campagnes d'information ont t capitales dans une participation du troisime type: journal spcifique, un pavillon d'expo permanente la gare et enqutes d'opinion sur des propositions alternatives. Il tait indispensable de crer un climat favorable dans la population. Ce projet a en effet pass 4 fois l'obstacle d'un rfrendum (1983, 1987, 1991, 1992) dans un sens favorable aux dcisions souhaites et espres par le matre d'ouvrage. Que peuvent apporter ces diffrents types de participation ? * Dans le premier cas, les groupes d'accompagnement poussent des solutions plus diffrencies, mieux argumentes, couvrant un maximum d'aspects. Il faut pour ce faire un groupe aux origines les plus larges, libre de ses avis et non confin dans un rle de "chambre d'enregistrement", l'cart des circuits de dcision. * Dans le deuxime cas, il s'agit d'une meilleure rponse aux besoins et aux attentes des citoyens. Par exemple, trs concrtement, cela signifiait une extension du parking vlo de 2100 places (parking VP de 1700 places), plus de confort et de scurit pour les usagers et les clients de la gare, et des plans de mesures d'accompagnement pour les quartiers proches. * Dans le troisime cas, aprs chaque votation, on a un feu vert pour continuer le projet et faire avancer le chantier. On est en situation de dmocratie directe, et nul ne pourra dire que le projet s'est fait contre la majorit des habitants ou en les ignorant. Il ne faut pas s'y tromper: le vote "ne donne pas le crayon" aux habitants, ils ne dessineront pas le projet. Ils s'exprimeront face un projet prcis. C'est au matre d'ouvrage de grer les modifications oprer et au planificateur d'apporter son savoir faire.
Source : Hans WIRZFNAU (Fdration Nationale des Agences d'Urbanisme), Suisse 1995

2.1.4. Les diffrents dispositifs de participation Dans les dmarches dvaluation participatives les plus abouties, telles que prsentes plus haut, la socit civile ou les parties prenantes au sens large peuvent tre associes ds la constitution du comit de pilotage. Associer les citoyens uniquement au niveau dune enqute par exemple nest pas un dispositif dvaluation mancipatrice mais prsente nanmoins lintrt de disposer dautres points de vue ou systmes de valeurs qui peuvent amliorer sensiblement la qualit et la pertinence des rsultats de lvaluation.
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

70

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Confrence de citoyens / confrence de consensus

Conue et utilise au Danemark depuis 1987 sous forme de confrence de consensus, la confrence de citoyens est une forme de participation citoyenne, dont lobjectif est de permettre un panel de citoyens profanes de dialoguer avec des experts et de sexprimer sur des problmatiques scientifiques et technologiques pour lesquelles il existe dimportantes incertitudes et divergences dopinion. Aprs une formation prparatoire, sur deux ou trois week-end, mene par des scientifiques, le panel de citoyens dbat publiquement avec des reprsentants du monde politique, conomique, associatif et avec des experts. A lissue de cette confrence, qui dure en moyenne quatre jours, le panel de citoyens rdige huis clos un rapport contenant leurs avis et recommandations, qui est ensuite rendu public et remis aux instances politiques. A la diffrence de la confrence de consensus telle quelle se pratique au Danemark, la confrence de citoyens la franaise na pas pour but la recherche systmatique dun consensus entre tous les membres du panel des citoyens, mais laisse la possibilit dmettre des opinions divergentes. En France, une quinzaine de confrences de citoyens ont t organises depuis la fin des annes 90. On peut citer notamment les trois expriences suivantes :
o

la Confrence de citoyen sur "Les OGM dans lagriculture et lalimentation" organise par loffice parlementaire des choix scientifiques et technologiques (OPECST) en 1998; la Confrence de citoyen sur "Les changements climatiques et citoyennet" organise par la Commission franaise du dveloppement durable en 2002; la Confrence de citoyens sur "Le devenir des boues domestiques issues de stations dpuration", organise dans le cadre du Dbat national sur leau en 2003.

Le Conseil rgional du Nord Pas de Calais s'est lanc en 2004 dans l'valuation des Fonds de participation des habitants en organisant de faon concomitante une confrence citoyenne qui s'est rvle une exprience trs innovante mme si le succs de la Confrence citoyenne a quelque peu "clips" les rsultats de l'valuation en elle-mme. Une exprience innovante d'valuation participative par le Conseil rgional du Nord Pas de Calais : l'valuation des Fonds de participation des habitants en collaboration avec la confrence citoyenne Le Conseil rgional du Nord Pas de Calais a initi en mars 2004 une exprience unique d'valuation des Fonds de Participation des Habitants (F.P.H.) en associant les citoyens dans le cadre d'une confrence citoyenne.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

71

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Aprs avoir invent les F.P.H. dans les annes 80, la Rgion souhaitait procder une valuation pour refonder cette politique. Cette dmarche s'est construite sur deux dimensions complmentaires : a) une valuation du dispositif (mars 2004 - fvrier 2005) b) la mise en place d'une confrence citoyenne (septembre- octobre 2004) La confrence citoyenne s'est droule en 5 tapes : Une tape de prparation avec la constitution dun panel de citoyens de dix quinze personnes, dhorizons, dge, de mtiers les plus divers possibles Une tape de formation : plusieurs sances de formation ont t organises pour le panel. Des experts y ont prsent le problme pos en fonction de leurs connaissances ou de leurs pratiques. A ce stade, le couplage avec lvaluation a permis de mettre disposition du panel des informations rcentes et relativement objectives. Une troisime tape, publique, un dbat public a mis en prsence le panel de citoyens et des experts. A ce stade, le panel ragit, fait part de son point de vue, mais poursuit galement sa formation en demandant aux experts de rpondre des questions prcises. Au cours de cette sance, la pluralit des points de vue s'est s'exprime ; un modrateur a facilit lexpression de lensemble des parties. Ce sont les citoyens du panel qui dsignent les experts quils souhaitent interroger (le cas chant des interlocuteurs nouveaux), en fonction des questions qui leur semblent essentielles. Ensuite le panel s'est runit laprs midi mme huis clos pour rdiger un avis sur le problme pos, en rponse aux questions poses par la Rgion aux citoyens du panel. La dernire tape, le lendemain, a consist en la lecture de l'avis en public, en prsence des dcideurs qui ont organis la confrence. Les lus ont pu rpondre en direct cet avis. Parmi les points positifs, citons limplication des membres du panel et la qualit de leurs dbats internes, ainsi que leur capacit reposer les questions de base, celles que les spcialistes et les dcideurs ont parfois oublies en chemin. Ensuite, le processus, qui pouvait apparatre priori comme risqu, na jamais mis en danger lInstitution rgionale et le dbat public a t parfaitement matris. L'articulation entre les deux dmarches (valuation et participation) s'est nanmoins rvle difficile car l'avis de la confrence citoyenne a t rendu avant le rapport final de l'valuation (qui n'a pas rencontr le mme cho).
Contacts : Pierre-Jean LORENS, Directeur du Dveloppement Durable, de la Prospective, et de l'valuation, Conseil Rgional Nord Pas de Calais, tl : 03.28.82.70.01 - Courriel : pj.lorens@crnpdc.fr

Dans le mme sens, une initiative particulirement innovante a t prise par la Rgion Rhne-Alpes et la Socit Franaise dvaluation (SFE) en juin 2006 en demandant un groupe de citoyens rhnalpins de produire un avis sur la question de la place du citoyen dans l'valuation des politiques publiques l'occasion du 7me congrs de la SFE.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

72

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Une dmarche d'valuation participative innovante : l'exprimentation citoyenne du Conseil rgional de Rhne-Alpes A loccasion des 7mes Journes Franaises de lvaluation organises par la Socit Franaise de lvaluation (SFE) qui se sont tenues Lyon les 20 et 21 juin 2006, le Conseil rgional de Rhne Alpes a conu une exprimentation citoyenne visant recueillir lavis dun groupe de citoyens rhnalpins sur trois questions qui taient au programme d'une des tables rondes du colloque : - pourquoi faire une place au citoyen dans lvaluation des politiques publiques ? - quel pourrait tre le rle des citoyens tout au long du processus dvaluation ? - quelles sont les conditions remplir pour que les citoyens puissent occuper la place souhaite ? Comment s'est droule cette dmarche ? Les membres du groupe ont t slectionns parmi les 11 000 citoyens - issus d'un fichier - qui avaient manifest pralablement leur intrt pour participer des dmarches participatives de la Rgion et qui ont t tirs au sort alatoirement par l'Institut d'tudes Politiques de Grenoble. Le groupe de citoyens a particip le 10 juin 2006 une demi-journe de sensibilisation lvaluation des politiques publiques puis assist aux deux jours de congrs des 7e Journes Franaises de lvaluation, les 20 et 21 juin 2006 ; Au cours de ces 2 jours, le groupe sest runi 3 fois 1h30 environ pour rflchir la place des citoyens dans lvaluation des politiques publiques puis a dsign deux membres du groupe en tant que porte-parole au cours de la dernire table ronde des Journes. Le groupe s'est enfin runi par demi groupe, les 28 et 29 juin 2006, pour finaliser l'avis qui a t remis la SFE et au Conseil Rgional Rhne-Alpes. A noter que ces travaux ont bnfici de lassistance dune quipe dorganisation compose de membres de la Direction de la Prospective, de lvaluation et des Relations aux Citoyens de la Rgion Rhne-Alpes, avec laccompagnement de Franois MOUTERDE, consultant de Missions Publiques. Les principaux enseignements La dmarche a conduit le groupe de citoyens formuler un avis sur la base des trois questions pralables. Le groupe a fait notamment les constats suivants : - le rle des citoyens dans lvaluation nest pas dexercer un contre-pouvoir par rapport ceux qui dtiennent le pouvoir mais dapporter un point de vue supplmentaire dans lvaluation, au mme plan que celui des lus, des gestionnaires, des experts et des autres acteurs, pour enrichir le processus de dcision ultrieur - les citoyens peuvent intervenir dans le choix des sujets valuer afin d'viter une dconnexion entre les valuations menes et les besoins rels damlioration des politiques publiques ou de dbat public.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

73

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

- la place des citoyens dans le processus organis dune valuation peut diffrer tout au long du processus dvaluation. Concernant les conditions favorisant limplication des citoyens dans lvaluation, l'avis du groupe propose que les lus et les gestionnaires des politiques values doivent indiquer comment la parole des citoyens sera prise en compte et quel rle elle jouera dans dventuelles dcisions dajustement de la politique ; le groupe suggre de prciser en amont les conditions de la participation. Au total, le groupe de citoyens ne propose pas de mettre en place une valuation citoyenne ct dune valuation dexperts mais d'insister sur sa volont de participer lvaluation des politiques publiques qui doit rester un seul processus, enrichi par la participation des citoyens.
Contacts : Franois Mouterde, consultant, francois@mouterde.com, 06 08 01 24 95

Cellule de planification/ Jury de citoyens

Mthode de participation citoyenne mise au point en Allemagne dans les annes 1970 par le sociologue Peter Dienel, les cellules de planification sont surtout utilises au niveau local. Lobjectif est de permettre un panel de citoyens regroupant des personnes directement concernes reprsentant un microcosme de leur communaut et divis en petit groupe appel cellule de planification , aprs avoir reu des informations diffrentes sur des aspects conomiques, politiques et sociaux, de discuter et dvaluer diffrentes options dune problmatique concernant la planification urbaine. Les recommandations et avis des citoyens sont ensuite publis dans un rapport qui est transmis aux dcideurs politiques. Aux tats-unis, en Grande Bretagne et en Espagne cette mthode est connue sous le nom de Jury de citoyens . Une variante du Jury de citoyens est le comit d'usagers dans lequel les usagers ou leurs reprsentants sont runis dans une instance qui est habilite faire des propositions, participer l'valuation et prendre part aux conclusions et au processus visant, partir des rsultats de l'valuation, amliorer la politique concerne. Exemples de lapplication du dispositif Dans le domaine des questions d'environnement, ce modle a t appliqu pour rsoudre des problmes de dchets (concepts, sites, etc.), notamment dans la Fort Noire et Schwelm en Allemagne ainsi qu' Hertfordshire en GrandeBretagne. Un autre projet concernait la conception d'un systme de transports en commun attrayant Hanovre. Citons galement le projet d'un plan stratgique dans une ville touristique de la cte mditerranenne (Calafel), o la discussion fut centre avant tout sur le "dveloppement durable".
Source : Hans Harms, " La Crise de la Dmocratie Reprsentative - de la ncessit de participation des citoyens ",1998

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

74

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Scenario workshop / Atelier scenario

Mthode de participation citoyenne initie pour la premire fois en 1992 au Danemark par lOffice danois de technologie, les ateliers scnarios consistent organiser plusieurs ateliers de travail regroupant chacun des lus, des experts, des reprsentants du monde socio-conomique, des habitants. Lobjectif est de permettre partir de plusieurs scnarios possibles sur une problmatique du dveloppement durable, lchange de connaissances et dexpriences, le dveloppement de visions communes et lmergence dun plan daction. En 1994, un programme europen intitul European Awareness Scenario Workshops a t mis en place afin dencourager lutilisation de cette mthode en Union europenne. Latelier de scnarios dans le cadre du projet de recherche europen Precautionary expertise for GM crops (PEG) . Le projet PEG est coordonn par des chercheurs de lOpen University en Grande Bretagne et implique des partenaires dAutriche, dAllemagne, du Danemark, dEspagne et des Pays Bas. Lobjectif principal du projet PEG consiste analyser les pratiques europennes (mesures rglementaires,jugements dexperts et rles des acteurs impliqus) laune des diffrentes interprtations du principe de prcaution, en matire de culture et dusage alimentaire de plantes gntiquement modifies. Les rsultats de cette tude devraient aider amliorer les lignes directrices de lUnion Europenne (UE) sur lapplication du principe de prcaution et lorganisation de lexpertise, afin de mieux aborder les problmes de politique publique quaffrontent la Commission europenne et lensemble des acteurs impliqus. Certaines dclarations publiques de lUE ou des tats membres soutiennent que la culture de plantes gntiquement modifies (PGM) peut permettre datteindre plusieurs buts tels que la protection de lenvironnement, le dveloppement durable et lamlioration qualitative de lalimentation. Toutefois, les ractions, tant dagriculteurs que dONG ou encore de citoyens consommateurs ont conduit, dun ct, lindustrie alimentaire europenne exclure les ingrdients drivs dOGM de leurs produits et, dun autre ct, certains gouvernements europens interdire, restreindre ou repousser la culture commerciale dOGM et/ou limportation des aliments qui en sont drivs. Pour justifier ces restrictions, lindustrie alimentaire, les organisations dagriculteurs, les ONG et les gouvernements citent frquemment des risques ou des incertitudes qui doivent tre rsolus avant daller plus loin. Lquipe de lOpen University considre que lanalyse en terme de scnario pourrait favorablement contribuer leurs objectifs de recherche et lappropriation des rsultats par les utilisateurs. Daprs ces chercheurs, cela peut aider les participants :

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

75

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Faire la lumire sur des hypothses non explicites Intgrer de la crativit dans les analyses rationnelles Anticiper et comprendre les risques Explorer et distinguer les forces prvisibles et les incertitudes Organiser linformation sociale, technologique, conomique, apparemment sans connexions en un cadre cohrent pour les dcisions o Mettre lpreuve le sens commun o Dcouvrir de nouvelles options stratgiques o Partager rciproquement leurs expriences et perceptions o Reconsidrer et rviser leurs hypothses.

o o o o o

cologique

et

politique,

Dun point de vue mthodologique, les praticiens saccordent pour dire que la mthode des scnarios relve plus de lart que de la science. Les directives pour conduire lanalyse et construire les scnarios varient et une grande panoplie de techniques peut tre introduite dans la procdure de nombreuses tapes, afin de stimuler les ides et de faciliter lanalyse. En terme gnral, le scnario peut sapparenter une scne de thtre et la premire scne dune pice. Il sert stimuler limagination sur la manire dont lintrigue pourrait se drouler selon les interactions des divers personnages.
Source : Compte rendu dun atelier prospectif sur la gouvernance de linnovation varitale , Claire Marris, INRA/TSV, Ivry-sur-Seine, Pierre-Benoit Joly, INRA/TSV, Ivry-sur-Seine, Stphanie Ronda, INRA/TSV, Ivry-sur-Seine, Christophe Bonneuil, CNRS, Centre Koyr dHistoire des Sciences et des Techniques, Musum National dHistoire Naturelle, Paris, 12 et 13 mars 2003

Le sondage dlibratif

Mthode de construction dune opinion publique, mise au point par le politiste amricain James Fishkin et utilise aux tats-unis, le sondage dopinion dlibratif consiste soumettre un panel de citoyen reprsentatif de la population un processus intense dinformation et de discussion puis de mesurer lvolution de lopinion des participants sur le thme abord. Durant le processus, les participants dlibrent et ont la possibilit de poser des questions des reprsentants du monde politique et des experts. Exemples dapplication du Sondage dOpinion Dlibratif (SOD) Le SOD a t mis en pratique deux fois, l'une Manchester en 1994 et l'autre Austin en 1996. 1) Le SOD de Manchester a runi un chantillon slectionn au hasard de 300 citoyens pour dbattre de l'augmentation de la criminalit au Royaume-Uni. Le dfi de l'exprience tait de savoir si les participants changeraient d'opinion au cours du week-end de SOD. Confronts la question "L'augmentation de la criminalit : que pouvons-nous faire ce sujet ?", 38 % des participants rpondirent qu'il fallait envoyer plus de condamns en prison. Ce chiffre contraste avec les rsultats d'une enqute identique adresse la population, selon laquelle 57 % des citoyens partageaient cette opinion. Selon Fishkin, 38 % de la population totale au lieu de 57 % en arriveraient aux mmes conclusions au sujet de la criminalit si le pays tait peupl de citoyens idaux, c'est--dire, de citoyens bien informs et s'intressant aux questions politiques.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

76

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

2) L'exprience de Manchester a inspir le SOD organis Austin en 1996. Ce SOD, intitul The National Issues Convention (NIC), a essay de connatre l'opinion des citoyens sur trois thmes : la politique trangre des tats-Unis, la politique conomique et le rle de la famille amricaine. Un chantillon reprsentatif a t slectionn au dpart, bien que 141 personnes ( peu prs 25 %) aient refus de prendre part l'exprience d'Austin. Avant le week-end de la NIC, les participants furent interrogs sur les trois thmes et reurent des documents crits relatifs ces thmes. Durant le processus, ils discutrent sur les trois thmes en petits groupes et eurent l'occasion de poser des questions aux reprsentants des partis Dmocrate (Al Gore) et Rpublicain (Richard Lugar). La NIC a t diffuse par la tlvision nationale CBS et a engendr un intrt considrable de la part des mdias. A la fin du processus, les participants furent interrogs nouveau sur les trois thmes. Les variations dans les rponses par rapport aux interviews initiales allaient de 0 19 %. Selon Fishkin, ces variations prouvent que la population arriverait aux mmes conclusions que celles exprimes par les participants pendant le SOD si elle tait engage dans un processus dlibratif.
Source : Nria Font, "New instruments of citizenship participation", Working Papers, Institut de Cincies Poltiques i Socials, Universitat Autonoma de Barcelona, 1998.

La mthode Delphi

Un groupe d'experts est consult par voie postale avec interrogations successives visant rduire progressivement les dsaccords entre les personnes consultes. La mthode se droule en trois tapes : Phase 1 : formulation du problme Phase 2 : choix des experts Phase 3 : droulement pratique et exploitation des rsultats Un projet de consultation Delphi avec des chefs de file, des experts en ressources humaines et des spcialistes de la jeunesse du Canada L'tude, qui s'est droule l't et l'automne 2001, visait circonscrire les questions ayant trait aux jeunes et au march du travail de demain. Elle faisait appel un panel Delphi, dont les activits se sont divises en deux volets. La Phase 1 de l'tude visait recueillir les valuations des chefs de file ou experts canadiens du milieu des affaires, des universits, de l'administration publique et d'organisations non gouvernementales (ONG), ou de leurs dlgus. Les valuations ont t obtenues sous forme crite (par tlcopieur et par courriel) et dans le cadre de discussions tlphoniques. Les participants ont rpondu aux questions cls suivantes : Quels sont, votre avis, les plus grands dfis ou changements auxquels les jeunes travailleurs canadiens devront faire face au cours des 10 ou 15 prochaines annes? Quelles comptences seront les plus utiles aux jeunes Canadiens sur le march du travail de demain?

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

77

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

votre avis, quels sont les cinq principaux enjeux de recherche concernant les jeunes de 15 21 ans et le dveloppement de leur capital humain? Quel genre de recherche sur ces grandes questions de capital humain serait utile pour le Canada? Quel genre de recherche vous serait le plus utile? Quelles sont les initiatives ou les solutions qui offriraient les meilleures perspectives d'avenir pour tous les jeunes ou pour un sous-groupe particulier de jeunes? Avez-vous quelque chose ajouter? Les rponses donnes chaque question par les plus de 70 membres du panel ont t compiles et examines par les chercheurs, qui ont cern les thmes et enjeux communs et prpar une vue d'ensemble prliminaire. Dans la Phase 2 de Delphi, un panel d'experts compos de chercheurs et de spcialistes de la jeunesse a entrepris de dgrossir les conclusions gnrales de la Phase Un pour en arriver un consensus et prciser les futures orientations. Les participants ont cern les tendances indiques par les rsultats de la Phase Un ainsi que les carts et les orientations de recherche sous-entendues.
Source : Comment prparer les jeunes Canadiens au march du travail de demain, Direction gnrale de la recherche applique, Politique stratgique, Dveloppement des ressources humaines Canada, Mars 2002

La mthode du groupe nominal

Cet outil consiste runir les diffrents experts dans une mme pice et leur demander de donner tour tour leur position sur les questions poses sans qu'ils ne puissent communiquer entre eux. Les groupes de discussion

On se contente ici d'enregistrer une discussion libre, sur un sujet donn, sans intervention de l'animateur. On procde ensuite une analyse du contenu. Les National Issues Forums aux tats-unis Les National Issues Forums sont un type de forum de discussion qui permet des simples citoyens d'exprimer leurs opinions politiques et de dpasser les partis pris techniques, idologiques et politiques. Ils constituent un rseau de prs de 300 organisations civiques et ducatives amricaines - universits, coles, bibliothques et paroisses, pour en mentionner quelques unes - qui dcidrent en 1981 de se coordonner et de s'affronter aux mmes sujets de dbat au niveau national. Depuis, prs de 3200 NIFs, traitant de 3 problmes politiques choisis, se tiennent chaque anne. Les sujets traits au cours des dernires annes couvrent une grande varit de sujets, parmi lesquels le rle de la famille amricaine, le rle mondial des tats-Unis, l'affirmative action ou la rforme du systme de justice civile.
Source : Nria Font, "New instruments of citizenship participation", Working Papers, Institut de Cincies Poltiques i Socials, Universitat Autonoma de Barcelona, 1998.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

78

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

L'Abaque de Rgnier

Dans cette mthode, le groupe, physiquement runi dans un mme lieu, est confront une liste de questions fermes auxquelles il rpond de manire non verbale en utilisant une liste de 7 couleurs (2 nuances de vert pour l'accord, 2 nuances de rouge pour le dsaccord, l'orange pour l'hsitation, le blanc signifie que la participant manque d'information pour rpondre la question, le noir signifie qu'il rcuse les termes de la question et refuse de participer la discussion. La mthode des groupes silencieux

La mthode des groupes silencieux consiste runir des groupes reprsentatifs de diffrentes catgories d'acteurs auxquels on demande de hirarchiser par un ensemble de notations un ensemble d'affirmations relatives un problme donn (par ex. la liste des causes du chmage). La comparaison des hirarchies proposes par les diffrents groupes peut tre particulirement instructive. Le cahier de revendications et de propositions

Un cahier est mis la disposition des acteurs concerns avant, pendant, voire aprs l'valuation dans lequel ils peuvent exprimer des revendications et faire des propositions avec l'obligation rgulire pour l'instance d'valuation en place de le consulter et, in fine, de dbattre sur ces propositions. Cela peut-tre galement organis avec une adresse postale prcise pour recevoir des propositions par courrier. Les enqutes au moyen de questionnaires

Elles peuvent se raliser : par tlphone ou interrogation des usagers et acteurs sur place. (En mairie par exemple) toute la population peut tre interroge ou une partie grce la technique du sondage. La technique du Dbat public (sur l'objet et/ou les rsultats des valuations)

Tous les acteurs concerns par l'valuation doivent se runir en mme temps. Cette mthode exclut la possibilit de runions particulires entre spcialistes. Le dbat est prsid par une tierce personne qui n'est pas concerne par l'valuation. Celle-ci, aprs le temps du dbat public, o chaque partie a pu sexprimer, rdige un rapport destination des dcideurs les informant des positions et des ventuelles demandes et revendications des acteurs. Les votes se font selon le principe "Un homme, une voix"
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

79

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Les groupes de travail

Les acteurs concerns par une valuation publique sont spars en groupes travaillant chacun sur une/des thmatiques ou questions prcises et relatives la politique value. Il semble prfrable quun ou plusieurs animateurs soient dsigns par groupe de travail : membre de la collectivit territoriale ou expert. Les groupes de travail peuvent tre transversaux et pluralistes (tous les acteurs y sont reprsents) ou spcialiss (lus et experts/ experts et usagers...) Chaque groupe de travail doit rendre un rapport la fin de son travail o figurent les rsultats. La technique du focus group

Le focus group est une mthode denqute qualitative rapide. Il doit tre compos de 6 personnes minimum et 12 personnes au plus. En plus des participants, le focus group doit tre aussi tre compos dun facilitateur et dun observateur. Le facilitateur a pour mission de guider la discussion dans le groupe en veillant ne pas prendre position. Son rle consiste relancer la discussion, poser les questions, organiser la prise de parole, Lobservateur nintervient pas dans lanimation. Il a en charge la prise de note des rponses des participants. Lenregistrement audio (aprs accord du groupe) des dbats du focus group est un plus. La grille doit porter sur un maximum de 5 6 questions de fond. Il faut faire la diffrence entre les relances et les questions de fond. La tenue dun focus group se planifie sur une priode de 6 semaines au moins, pendant laquelle lobjectif du focus group doit tre dfini, les participants identifis, le facilitateur et lobservateur choisis et enfin la grille dentretien et le droulement du focus group labors. Jusqu prsent, les dispositifs dvaluation dans les collectivits territoriales ont pu associer des parties prenantes comme des oprateurs, des entreprises ou des associations mais nont pas encore intgr la socit civile, les usagers ou les citoyens. On observe mme, selon Galle BARON et Eric MONNIER, une tendance aujourdhui au retour vers des valuations managriales dans le cadre des pratiques des collectivits territoriales o la culture de lvaluation est encore globalement peu diffuse. De plus, lvaluation participative ne peut pas tre considre comme une fin en soi. Tout dpend de lobjectif de lvaluation et du sens que lon souhaite donner cette dmarche.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

80

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

2.2. Pourquoi les collectivits locales sont-elles rticentes faire participer les citoyens dans leurs valuations ? 2.2.1. Les freins au dveloppement de l'valuation participative Un premier frein au dveloppement dune dmarche pluraliste dans lvaluation est li la crainte de certains lus que soit remise en cause leur lgitimit dmocratique en considrant que lvaluation participative est une forme de dmocratie directe, incompatible avec la conception franaise de dmocratie reprsentative. Certains lus, essentiellement des maires, considrent que lvaluation de leur action se fait au moment des lections. Pourtant, il semble rducteur dopposer dmocratie reprsentative et dmocratie participative tant les deux notions ne sont pas contradictoires mais complmentaires. Selon Patrick VIVERET65, "on assiste, en ralit, une dgradation de la reprsentation en simple dlgation donnant llu une sorte de chque en blanc pour plusieurs annes. Il sensuit, le plus souvent, une dgradation supplmentaire : dj dlgu, le pouvoir se retrouve confisqu. Il nest gure tonnant, dans ces conditions, que ce phnomne aggrave en retour la dsaffection. Mais on se trompe dobjet de dbat et de combat en prtendant alors opposer participation et reprsentation. Lune et lautre forment un couple indissociable, fond sur le coeur du pari dmocratique : celui dune souverainet ascendante - car manant des citoyens - et non descendante, comme dans ces socits o un ordre suprieur simpose du haut des individus. Un processus dmocratique de qualit doit articuler (et non opposer) trois fonctions essentielles : la participation, la dlibration et la reprsentation. Lespace et le temps de la dlibration sont essentiels car cest cette occasion que lon passe du simple agrgat dopinions (ft-il majoritaire) pour construire un vritable jugement citoyen nourri dinformations, dargumentations diverses ou contradictoires, dexpertises et dvaluations." D'autre part, l'valuation participative ne peut russir qu'en prsence d'un nombre limit de parties prenantes d'autant qu'il est souvent difficile d'obtenir une reprsentativit quilibre des diffrents publics. 2.2.2. Les risques lis la conduite dune valuation pluraliste Le budget et le calendrier ncessaires la conduite de tels processus sont gnralement plus levs que dans le cadre dvaluations managriales du fait du nombre de rencontres ncessaires entre les participants pour saccorder sur le rfrentiel de lvaluation et pour conduire eux-mmes les travaux. Autre limite : le commanditaire de lvaluation nest pas toujours prt partager son contrle sur le processus avec des tiers et donc de perdre une partie de ses prrogatives.

65

VIVERET, Patrick : Pour redonner sa noblesse laction politique, article prcit.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

81

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

De plus, le pluralisme des points de vue peut rsulter en un exercice de fausse dmocratie si la possibilit dexpression des diffrents groupes dintrts nest pas assure. Enfin, la prise en compte des recommandations dans les dcisions ultrieures peut tre trs superficielle et susciter un sentiment de frustration chez les participants au processus. Rendue publique le 24 octobre 2007, l'enqute sur lvaluation des politiques publiques dans les dpartements confie par l'ADF M. Jordi LLORENS, tudiant lUniversit de Bordeaux, souligne tant la grande difficult de sengager sur la voie de lvaluation participative et dmocratique, que le besoin de disposer doutils et de mthodes. Cette enqute a permis le recueil de tmoignages sur la complexit d'associer des tiers aux dispositifs d'valuation. Quelques tmoignages sur la complexit dassocier des tiers aux dispositifs dvaluation66 Dans un Conseil gnral de grande couronne parisienne, il a t clairement dcid que les usagers ne participeraient pas aux valuations car il existerait trois raisons de ne pas ouvrir les valuations aux citoyens et bnficiaires des actions values. - d'une part impliquer les citoyens, lorsqu'il sagit dvaluations "intermdiaires", c'est--dire relativement modestes, serait inutilement lourd et compliqu ; -d'autre part, au sein des comits d'usagers, des personnes deviennent des leaders d'opinion et influencent les autres personnes prsentes au sein du comit, annulant au moins partiellement la reprsentativit des opinions mises dans ces instances ; -enfin, la participation des citoyens est coteuse et lourde. La participation devant se faire sur le long terme, il est trs lourd pour les personnels d'organiser et danimer ces comits et les runions. Pour s'assurer de la prsence des citoyens, ces derniers devraient mme tre rmunrs comme cela a t expriment dans le Nord-Pas-de-Calais. Cest pourquoi ont t prfrs les entretiens qualitatifs avec un panel d'usagers plutt que des comits d'usagers. Dans un autre Conseil Gnral de petite couronne parisienne, les limites lvaluation participatives sont de deux ordres : - il y a d'une part des sujets sensibles o l'on craint d'associer les bnficiaires. - d'autre part le dpartement manque encore de maturit : les lus et l'administration doivent d'abord s'approprier les valuations managriales . Les expriences dans ce domaine sont donc restes relativement limites. Une participation a t organise sur une valuation portant sur la politique du dpartement en faveur de la jeunesse : des dbats ont t organiss ainsi que des changes sur les rsultats de l'valuation.

66

Tmoignages issus de l'enqute de M. Jordi LORENS ralise pour le compte de l'ADF en septembre 2007.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

82

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La place rserve aux bnficiaires peut varier suivant les valuations. Il existe cependant la volont de faire participer les bnficiaires lorsque cela est possible et pertinent. Ainsi, lors de l'valuation portant sur l'action du dpartement en faveur de l'allgement des cartables, des infirmires scolaires et des principaux de collge notamment ont fait partie de l'Instance d'valuation. Dans un Conseil Gnral de l'Est de la France, il a t considr comme important d'associer les usagers concerns aux valuations, car on connat ainsi mieux leurs attentes et on permet le dveloppement de la dmocratie locale et participative. La forme de participation privilgie jusqu prsent repose sur les entretiens qualitatifs. Les bnficiaires concerns sont interrogs au moyen de questionnaires. Il serait cependant indispensable d'ouvrir la participation aux dispositifs d'valuation, mais les lus craignent que la qualit de l'valuation ne se dgrade. De plus, les usagers s'engagent peu lorsque l'valuation les concerne peu ou est peu visible (par exemple : pour certains, l'action culturelle) et nont pas une formation ou une connaissance suffisante pour se prononcer sur des questions plus spcialises. Enfin dans un Conseil Gnral de la Rgion Centre, une place a t rserve aux bnficiaires lors des valuations de la politique du Conseil Gnral en faveur du logement social et lors de l'valuation de la politique du sport. Les bnficiaires ont t consults par le biais d'entretiens individuels. Les risques identifis dans les dispositifs dvaluation participative seraient les suivants : - les participants ne jouent pas le jeu suffisamment : ne viennent pas ou peu, utilisent les runions pour "rgler leurs comptes" ou "se plaindre". - ce sont toujours les mmes personnes qui s'expriment (les prsidents d'association notamment). Le pluralisme dans les valuations peut ainsi se retourner contre les organisateurs : le Conseil Gnral et les valuateurs en premier lieu.
Contact : Jordi LLORENS, tudiant en Master 2, Universit de Bordeaux

Lensemble de ces tmoignages illustre les difficults concrtes mettre en uvre des valuations participatives. Une premire tape pour permettre de diffuser une culture de participation des citoyens et une recherche douverture de lorganisation administrative sur la socit civile pourrait tre alors la mise en uvre de dmarches qualits au sein de la collectivit dans le sens o ces dmarches mettent la satisfaction du client/usager comme objectif premier de laction publique. Mesurer cette satisfaction exige la mise en place de dispositifs de retour dinformations de la part des bnficiaires des politiques publiques concernes, ce qui peut constituer un point de dpart pour lvaluation participative.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

83

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

2.2.3. Les bienfaits de l'valuation participative l'mergence d'initiatives innovantes et reconnues

incitent

De rares mais nanmoins innovantes expriences ont t inities en France de faon permanente ou ponctuelle. Avant de les voquer, notons quelques avantages du recours une valuation de type participatif :
o

La collecte de donnes quelle entrane permet de saisir la ralit valuer dans toute sa complexit ; Le partage des diffrentes perspectives permet lmergence dune image plus complte, plus vivante de cette ralit valuer ; La dmarche de consultation permet aux diffrents acteurs de donner plus rapidement suite aux recommandations de lvaluation ; La dimension participative, "amliore la pertinence du systme dcisionnel et du systme d'action lui-mme." (). En se basant sur un mode de gestion ngoci, l'valuation peut rduire le risque d'actions inconsidres ou ayant des effets ngatifs irrversibles." 67 Selon la thorie conomique, la participation peut enfin tre un moyen efficace damlioration des politiques publiques dans un contexte dinformation imparfaite et de rationalit limite. C'est une faon de rduire lasymtrie dinformation entre llu et llecteur. Le fait que le dispositif valuer utilise des instruments dincitation diffrencis, rassemble de multiples institutions et acteurs, de nombreux fonds et matres douvrage et/ou mette en jeu des chelles territoriales diversifies, renforce lintrt dutiliser une telle dmarche.

Le Conseil gnral de l'Essonne a mis en place un observatoire permanent des engagements de lagenda 21 dpartemental qui constitue une dmarche remarquable en matire d'valuation participative. L'observatoire participatif des engagements du Conseil gnral de l'Essonne LObservatoire participatif des engagements (OPE) est charg depuis 2003 d'assurer le suivi et l'valuation de l'Agenda 21 dpartemental. Il est compos dEssonniens volontaires et produit chaque anne un rapport dapprciation citoyenne sur sa mise en uvre, tay darguments soigneusement labors. Il compte ce jour plus de 400 essonniens dont plus dune centaine a sign la "Charte d'intentions partages pour un dveloppement durable et solidaire en Essonne".
67

MONNIER, Eric : valuation de l'action des pouvoirs publics, Economica, 1992

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

84

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Il organise son travail en 4 groupes, correspondant aux 4 orientations de lAgenda 21 : 1. Dvelopper une citoyennet garante du dveloppement durable ; 2. Mieux vivre ensemble dans une socit plus sre et solidaire ; 3. Promouvoir un dveloppement raisonn pour tre durable ; 4. Valoriser notre patrimoine commun pour les gnrations futures. LObservatoire a tenu sa runion de lancement le 4 dcembre 2003 et a fonctionn durant lanne 2004 sur un mode exprimental. Il a dsign ses premiers rapporteurs en fvrier 2004. Depuis, lObservatoire se runit 2 3 fois par an en sance plnire. Ses groupes organisent librement leur travail, changent sur les engagements, rencontrent des reprsentants de ladministration, des lus ou des institutions partenaires. Chaque dbut d'anne, sur la base du travail accompli, les groupes rdigent leur rapport d'apprciation de la mise en uvre de l'Agenda 21 et le prsentent devant les lus du dpartement en Assemble dpartementale. Lexprience mene en Essonne autour de lvaluation participative des engagements de la collectivit en matire de dveloppement durable savre innovante bien des gards : - par le fait quelle repose sur des engagements affichs du politique ; - par lautonomie accorde aux participants pour conduire leur mission ; - par son degr douverture en terme de participation (tout citoyen du dpartement pouvait et peut participer) ; - par le spectre trs large de lexamen dmocratique propos : le dveloppement durable.
Contacts : Emelyne BIGOT, Charge de mission pour lOPE, ebigot@cg91.fr observatoire@cg91.fr, tel : 01 60 91 26 07

Le Conseil gnral du Val-de-Marne a dcid de se lancer fin 2007 dans une dmarche indite d'valuation participative de dispositifs participatifs : les conseils de crche. Une valuation participative innovante : l'exprience val-de-marnaise d'valuation des conseils de crche Contexte Le Conseil gnral impulse depuis 40 ans une politique volontariste en matire de modes daccueil de la petite enfance qui se caractrise par l'apport d'une aide financire aux villes et aux porteurs de projet et par la gestion directe de 76 crches collectives offrant 4.300 places sur 33 communes.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

85

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Une charte dpartementale pour laccueil du jeune enfant, adopte en 1999, prcise les principes et les orientations retenus pour assurer une relle qualit daccueil des enfants et de leurs familles. Cest dans ce document que figure galement le fondement des conseils de crches mis en place en 2000. Ce dispositif de participation des parents sinscrit plus largement dans le choix fort du Conseil gnral du Val-de-Marne de dvelopper la dmocratie participative travers diffrentes approches et dans diffrents secteurs des politiques dpartementales. 25 conseils de crche, organiss par canton ou par commune, rassemblent ainsi environ 200 parents titulaires qui, ct des lus, de lencadrement et des reprsentants du personnel, peuvent participer la vie des tablissements et leurs volutions. Les objectifs de lvaluation L'objectif principal de l'valuation consiste valuer les conseils de crches de manire large, en visant trois finalits prioritaires :
o o o

apprcier la pertinence du dispositif et identifier si et en quoi les conseils de crche rpondent de faon satisfaisante aux attentes des parents ; mesurer ladquation entre les objectifs viss pour les conseils de crche et les rsultats obtenus et, plus globalement, limpact de ces derniers ; identifier ladquation entre les objectifs et les moyens.

Cette valuation vocation amliorer la connaissance des mcanismes daction des conseils de crche et proposer des amliorations concrtes et ralisables, permettant de mieux atteindre les objectifs fixs dans la charte de 1999 et de mieux rpondre aux attentes des parents. Une valuation participative Raliser une valuation participative des conseils de crches68 qui sont euxmmes des dispositifs participatifs rside dans la volont de la Collectivit d'engager une dynamique de mobilisation et de changement par l'implication des parties prenantes dans les ajustements mettre en place. En matire d'organisation, il a t dcid de crer un comit de pilotage participatif qui prsente la particularit d'inclure les parties prenantes, soit cinq parents lus ou non aux conseils de crche. Le comit se compose galement de trois conseillers gnraux dont la conseillre gnrale la Petite enfance qui prside le comit de pilotage, un lu municipal, la directrice des crches, deux responsables de groupement de crche, un reprsentant de la direction de la PMI, quatre reprsentants du personnel de la crche (une ducatrice jeunes enfants, une cuisinire et deux directrices). Ce comit a t constitu sur appel volontariat puis critres de diversit de genre, gographique, danciennet participer aux conseils de crche, de pluralit politique (des villes des crches
68

L'valuation est conduite par un consultant spcialis, Franois MOUTERDE (francois@mouterde.com)

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

86

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

reprsentes et des lus prsents) de faon favoriser la plus grande expression des points de vu. Le rle de ce comit de pilotage est de valider le champ de l'valuation et les questions valuatives, puis l'analyse des donnes collectes ainsi que les prconisations formules en s'assurant que l'avis de l'ensemble des parties prenantes soit bien pris en compte. Les dcisions de mise en oeuvre appartiennent ensuite l'excutif dpartemental. A noter que le rle du comit a bien t bien prcis ds le dpart. D'autre part, un dispositif en miroir a t mis en place afin de permettre aux membres parents et agents du comit de pilotage de bnficier de lavis du reste des parents et agents avant toute runion de ce dernier, puis de diffuser leur gard les informations relatives aux observations faites ou dcisions prises lors de ces runions ; le schma ci-dessous rsume cette dmarche :
Parents Parents Parents

Phase dvaluation Comit de pilotage Agents

Phase dvaluation

Phase dvaluation

Agents

Agents

Ce dispositif miroir a paru intressant dans la mesure o les parents lus aux conseils de crches font tat de la difficult de recueillir l'avis des autres parents et de leur restituer la teneur des dbats. Le dispositif miroir donne finalement des "outils " aux parents lus qu'ils vont mettre en oeuvre au sein du comit de pilotage. L'enjeu rside dans la prennisation de ces outils pour les futurs parents lus aux conseils de crches. Parmi les outils permettant le recueil de linformation, l'valuateur a eu recours l'analyse documentaire, des entretiens avec les lus et responsables dpartementaux, avec les directrices de crches, un questionnaire en ligne pour les parents non lus dans les conseils de crche, des entretiens tlphoniques avec un chantillon de parents lus aux conseils de crches et des focus groups dagents des crches. Concernant les outils permettant lanalyse intgre des premires conclusions et la formation du jugement dvaluation, le cabinet a prvu d'organiser des tables rondes sur trois sites dpartementaux diffrents, mettant en dialogue lensemble des parties prenantes des conseils de crches. Ces runions rassemblant 15 20 personnes maximum permettront aux participants de prendre connaissance des conclusions provisoires de la premire phase, de ragir et denrichir ces lments et de rflchir des volutions souhaitables, ainsi quaux conditions de leur faisabilit. Il a enfin t prvu une comparaison avec dautres dispositifs de reprsentation dusagers en mettant en perspective les constats et conclusions effectus sur les conseils de crches.
Contact : Batrice DUHEN, Directrice des crches, beatrice.duhen@cg94.fr, Nora Zati, Assistante charge des conseils de crche, nora.zati@cg94.fr, Sophie LARGEAU, Chef de projet Dmocratie participative, Dlgation Gnrale Citoyennet et Dveloppement durable, Conseil gnral du Valde-Marne, democratie.participative@cg94.fr, 01 56 73 89 93

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

87

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Les collectivits locales commencent saisir l'opportunit d'associer les usagers ou les parties intresses au processus valuatif en puisant dans la multitude d'outils existants en fonction du processus valuatif. L'essor des dmarches qualit a galement t l'occasion de diffuser des mthodes et des outils favorisant la participation des usagers et des personnels dans les collectivits. 2.3. En quoi les dmarches qualit peuvent faciliter la diffusion dune culture de la participation dans les collectivits territoriales ? La mise en uvre des dmarches qualit implique d'couter les besoins et les attentes des parties intresses. Dans son rapport, Yves CANNAC69 dfinit la qualit dune prestation de service, prive ou publique, payante ou gratuite, "comme son aptitude rpondre aux besoins quelle est destine satisfaire". Pour lauteur du rapport, " il est dans la logique mme de la dmarche qualit de chercher faire des usagers non pas simplement des consommateurs passifs, mais dans toute la mesure du possible des partenaires actifs : cela ne peut que fortifier la vitalit dmocratique". Le rfrentiel europen de la qualit des services publics, dnomm CAF (pour Common Assessment Framework, traduit en franais, pour conserver le mme sigle, par Cadre dAutovaluation des Fonctions publiques), dans sa version 2006, aborde la question de la participation, ou tout au moins du retour dinformations ncessaires pour une bonne connaissance de parties prenantes. Ainsi, dans le critre n2 : Stratgie et planification , il est rappel que la stratgie et la planification sinscrivent dans le cycle PDCA ( Plan, Do, Check, Act ) et quelles consistent dabord collecter des informations sur les besoins prsents et futurs des parties prenantes. Selon le critre n5 : Gestion des processus , il est essentiel dlaborer et de fournir des produits et des services orients vers les citoyens/clients, notamment en les associant la conception et lamlioration des produits et des services (par exemple par le biais denqutes, de groupes de discussion ou de sondages). Enfin dans le critre n6 : Rsultats auprs des citoyens/clients , les rsultats obtenus par lorganisation doivent tre pris en compte dans ses efforts pour satisfaire les besoins et les attentes des citoyens/clients travers notamment limportance de limplication des parties prenantes dans la conception et la fourniture des services et produits et/ou dans la conception des processus de dcision.

69 CANNAC, Yves : Rapport sur La qualit des services publics , Paris, La Documentation franaise, 212 p, Juin 2004 http://lesrapports.ladocumentationfrancaise.fr/BRP/044000357/0000.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

88

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Benjamin MERAKCHI70 a rcemment montr comment la technique du panel de citoyens est un dispositif efficace de participation, notamment pour toutes les questions lies lenvironnement et au dveloppement durable. Si lvaluation pluraliste reste encore difficile, pourquoi alors ne pas utiliser des dispositifs comme les panels dusagers comme un outil de pilotage des services publics locaux ? Dans un contexte global de recherche de la performance des organisations publiques et considrant que la conformit aux lois et aux rglements n'est plus le seul critre de bonne gestion, les collectivits territoriales commencent en effet envisager l'valuation comme un outil de pilotage des services publics. L'valuation apporte des informations qui permettent d'amliorer la gestion des services publics. De plus, elle peut contribuer un rquilibrage des rles et des pouvoirs entre les fonctions lectives, gestionnaires et contributives. Le dcideur politique peut ainsi mieux connatre son administration, le cadre administratif mieux grer ses services, l'administr mieux comprendre les choix adopts. Les implications mthodologiques dun mode mergent dvaluation des services publics locaux : le panel dusagers. Alors que les panels constituent une part importante des tudes mesurant la qualit des services, ils sont quasiment absents du secteur public (seule une commune y recourre lheure actuelle). Les panels sont des chantillons permanents de mnages ou dindividus reprsentatifs de la population qui sont interrogs rgulirement sur leurs comportements ou leurs opinions. La technique du panel soppose lenqute ponctuelle dans laquelle on interroge, une fois et une seule, un chantillon dindividus et qui ne donne quune photographie des usagers un moment donn. Cette technique soppose surtout la succession denqutes ralises sur des chantillons indpendants (ou enqutes priodiques), qui permet dobtenir une mesure des volutions, mais seulement au niveau agrg, alors que le panel permet de suivre lvolution dans le temps des comportements individuels. Ils permettent ainsi de raliser des tudes de fidlit, de suivre les modes de consommation, ou de suivre les ractions des usagers face un nouveau service ou la modification dun service existant. Lobjectif assign un panel est la comprhension de lusager et non la mesure des performances un instant prcis. Un panel permet dapprhender finement les attentes des usagers envers les services publics locaux par la multiplicit des modes de collecte des donnes (enqutes postales, Internet, phoning, focus group, entretiens...) ainsi que la nature des questions poses. Cependant, les questions ne portent pas sur la pertinence des politiques menes mais sur la qualit du service. Ainsi, la finalit du panel nest pas lvaluation des politiques publiques, au sens o lobjectif nest pas de fournir de jugement sur la pertinence de telle ou telle politique mene. Mais le panel peut y conduire, car les informations produites peuvent tre agrges dans une analyse valuative.
70 MERAKCHI, Benjamin : De la R.C.B. au R.C.B. - Rapport de stage, Universit de Nancy, (pour le compte de l'ADF), octobre 2007

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

89

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Un instrument de mesure de la qualit perue a ainsi t dvelopp : le modle SERVQUAL. Il permet denvisager 5 dimensions la mesure de la qualit : 1. Les lments tangibles : tels que les installations physiques, les quipements et
lapparence du personnel. 2. La fiabilit : fait rfrence la capacit raliser le service promis en toute confiance et de manire prcise. 3. La serviabilit : correspond la bonne volont du personnel pour rpondre aux consommateurs et offrir un service prompt. 4. Lassurance : renvoie la comptence et la courtoisie des employs ainsi qu leur capacit inspirer confiance. 5. Lempathie : suppose la prise en considration et lattention individualise que lorganisation accorde ses consommateurs.

Une autre approche envisage la performance publique en terme de satisfaction et de justice perue. Souhaitant conceptualiser et mesurer la qualit perue dun service public, elle adjoint au modle SERVQUAL (appel modle client) un modle lgal qui tient compte des spcificits de laction publique. Ainsi 4 principes constituent le modle lgal de la qualit des services publics :
1. Lgalit des traitements : les usagers placs dans une situation similaire doivent tre traits de la mme manire. 2. La participation : la prise en considration de lopinion des usagers, ou de leurs reprsentants, pour la dfinition de loffre de service. 3. La gestion des rclamations : la mise disposition dun processus de rclamation et la prise en considration de cette rclamation. 4. La transparence : les informations fournies aux usagers sur les actions du service public en gnral et sur le traitement de leur demande en particulier.

Lanalyse des 2 modles (client et lgal) pour mesurer la qualit des services publics constitue le modle QSP (Qualit des Services Publics). Selon les auteurs, la technique du panel organiserait une double participation lvaluation : Une participation interne.
Cette dmarche trouve son sens dans la remise en cause des enqutes cls en main o un institut a la charge de construire le questionnaire, de dfinir les critres dchantillonnage et de livrer des rsultats dfinitifs et en ce sens valuatifs La technique prsente ici suppose des rencontres rgulires entre les enquteurs et les responsables afin de contextualiser un modle de questionnaire dans les logiques et les problmes que rencontrent les gestionnaires. Il sagit galement de discuter ensemble des critres dchantillonnage, manire concrte damener les responsables rflchir lidentit et aux comportements des usagers. Enfin, la rptition des enqutes invite les responsables ne pas se contenter dun constat, mais chercher plus finement les dterminants dun certain niveau de satisfaction et trouver comment le modifier.

Une participation externe


Dans la mesure o un chantillon reprsentatif (et volutif) dusagers est invit rgulirement exprimer sa perception des services dlivrs par la collectivit, lorganisation de cette participation continue vise limiter le caractre extraordinaire de lvaluation. Ce faisant elle limite un surinvestissement motionnel des rpondants qui nont pas limpression que cest cette fois ou jamais que leur parole comptera. Ensuite, elle fait de lvaluation participative une pratique discrte parce que banale vitant les critiques de thtralisation de la dcision publique dont font lobjet aujourdhui les procdures participatives.
Source : Marcel Guenoun (Marcel.guenoun@univ-cezanne.fr) et Kiane Goudarzi (Kiane.goudarzi@iae-aix.com), dans Aspects mthodologiques de lvaluation de la qualit des services publics locaux : le cas du panel dusagers

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

90

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Les dmarches dvaluation participatives sont essentielles pour dynamiser le processus dmocratique et pour garantir que soient prises en compte la pluralit des points de vue dans la conception puis les adaptations ventuelles des actions publiques. Si les exemples de ce type de dispositifs sont nombreux ltranger, ils restent excessivement rares en France, certainement en raison de lattachement de nombre d'lus une conception stricte de la dmocratie reprsentative, qui exclurait toute forme de dmocratie directe. Une autre raison est que lvaluation participative pourrait tre considre comme lourde, coteuse et subtile manuvrer. En tentant dtre pragmatique, il semble que la mise en uvre de dmarches qualit concernant les services publics locaux pourrait permettre de faciliter la diffusion de la culture de la participation. En effet, ces dmarches mettent en valeur limportance du retour dinformations des citoyens/clients dans les processus damlioration continue de la qualit des services et donc la participation des parties prenantes, notamment des usagers. La prise en compte du dveloppement durable dans les politiques publiques s'appuie d'ailleurs tant sur certains principes issus des dmarches qualit tels que par exemple le principe de l'amlioration continue que sur l'intgration des parties prenantes dans la conduite de l'action publique. L'valuation des politiques publiques sous l'angle du dveloppement durable prsente cet effet le caractre novateur et fdrateur de mettre la disposition des lus l'ensemble des outils et mthodes issus des dmarches qualit et de mesure de la performance au sens large en s'appuyant sur la participation des parties prenantes.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

91

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

TROISIEME PARTIE PDCA 3 : Politique Durable : Consolidation, Anticipation

LE DEVELOPPEMENT DURABLE
3. valuer laction durable. publique sous langle du dveloppement

Les premires dmarches dvaluation au regard du dveloppement durable sont trs rcentes (les premires initiatives datent des annes 90) et sont encore pour la plupart au stade de l'exprimentation. 3.1. valuation, dveloppement durable et territoire : de quoi parle-t-on ? 3.1.1. Quest ce que le dveloppement durable et quels sont ses bnfices pour laction publique ? La notion a t prcise en 1987 des Nations unies, qui dfinit dveloppement qui rpond aux capacit des gnrations futures dans le rapport de la Commission Brundtland le dveloppement durable comme un besoins du prsent sans compromettre la rpondre leurs propres besoins .

La Commission Mondiale du dveloppement durable a propos en 1988 une dfinition qui demeure trs actuelle : "Le dveloppement durable permet de promouvoir, par l'action collective et dans la dure, un dveloppement conomique, environnemental et social, centr sur l'intrt, les potentiels et les besoins des populations actuelles ( commencer par les plus dmunies), et garantissant la prservation des ressources et le devenir des gnrations futures". La notion de dveloppement durable s'est peu peu impose et a reu une premire concrtisation lors du premier Sommet de la plante Terre, Confrence des Nations unies sur lEnvironnement et le Dveloppement (CNUED), Rio de Janeiro en 1992. Le dveloppement durable est dsormais inscrit au rang des grandes priorits europennes. La nouvelle stratgie de lUnion europenne en faveur du dveloppement durable, adopte au Conseil europen les 15 et 16 juin 2006, rappelle la ncessit de promouvoir la cohrence entre les actions menes aux niveaux local, rgional, national et mondial afin daugmenter leur contribution au dveloppement durable .

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

92

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Conformment la Convention europenne dAarhus, intgre dans le droit national franais par le dcret n 2002-1187 du 12 septembre 2002, les autorits publiques, quelles soient nationales, rgionales ou dun autre niveau, sont tenues de garantir les droits daccs linformation sur lenvironnement des citoyens. En France, la notion de dveloppement durable se retrouve dans un intitul ministriel avec le Ministre de lcologie et du Dveloppement Durable (MEDD) en 2002. Le 1er mars 2005, la Charte de lenvironnement, labore en 2004, est intgre dans la Constitution. Avec cette rvision constitutionnelle, la Charte de lenvironnement est adosse la Constitution, cest--dire quelle est place sa suite comme la Dclaration des Droits de lHomme et du Citoyen de 1789 et le prambule de la Constitution de 1946. La Charte introduit de nouveaux principes que devront respecter les lois. De mme, les politiques publiques doivent dsormais promouvoir un dveloppement durable et pas seulement veiller protger lenvironnement. La France est dote dune Stratgie Nationale de Dveloppement Durable (SNDD) depuis 2003 et a mis en place un Conseil national du Dveloppement Durable (CNDD), o les collectivits sont reprsentes. Dans son chapitre 28, la dclaration de Rio incite les collectivits laborer des Agendas 21 locaux , en y impliquant fortement les habitants, lensemble des acteurs locaux et les entreprises. La dmarche, fonde sur un diagnostic concert, va permettre de concevoir un projet stratgique. Loin de se limiter un systme de management environnemental, lAgenda 21 constitue un programme politique part entire. Selon le site portail des agendas 21 anim par le Comit franais pour l'environnement et le dveloppement durable71 (http://www.agenda21.fr), l'agenda 21 "engage les acteurs dun territoire se projeter dans lavenir identifier les dfis et dfinir les grandes orientations de progrs. La plupart des Agendas 21 font rfrence aux principes de responsabilit et de prcaution". L'Agenda 21 doit faire l'objet dune valuation et dun retour dinformation auprs des citoyens, indispensables pour lefficacit et la lgitimit de la dmarche. Pour remplir son rle dmocratique, lvaluation doit tre accessible au plus grand nombre. Elle peut notamment sappuyer sur des indicateurs agrgs, du type empreinte cologique ou indices de dveloppement humain.". Les instruments de contractualisation entre les collectivits et ltat (contrats de projet Etat-Rgion), et entre les collectivits et lEurope (Fonds Europens), sont amens prendre en compte de plus en plus systmatiquement les principes du dveloppement durable. LAgenda 21 local est un cadre privilgi de conception et de mise en cohrence et de valorisation des projets locaux dans cette perspective.
71

http://www.comite21.org/

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

93

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Loctroi des aides et financements publics des collectivits, afin dtre cohrent avec les exigences internationales et nationales, se fonde galement de manire croissante sur des critres dco-socio-conditionnalit ou de durableconditionnalit . De tels critres peuvent galement tre appliqus par les collectivits leurs propres projets, afin dtablir des choix et des priorits dans leur action, et afin dorienter laction de leurs partenaires vers une prise en compte accrue des enjeux du dveloppement durable. Notons galement que les premires conclusions du Grenelle de l'Environnement rendues publiques le 24 octobre 200772 prvoient lajout dun titre environnemental la LOLF (indicateurs de suivi, rgime de fiscalit cologique, etc) et la prise en compte de lenvironnement et du dveloppement durable dans les indicateurs de la LOLF) . Quels bnfices la prise en compte du DD pour les collectivits ? La prise en compte du dveloppement durable par les collectivits dans leur organisation, leur fonctionnement, leurs politiques, leurs instruments, renvoie de nombreux bnfices, dont ceux de : Rpondre aux proccupations et aux attentes de leurs diffrents partenaires, des citoyens et de la diversit des composantes du corps social Prendre en compte des proccupations des partenaires n'a plus vocation rester le seul apanage des entreprises et peut s'appliquer largement aux collectivits publiques. La mise en uvre de la RSE (Responsabilit Socitale de l'Entreprise) pousse la modification des relations entre lentreprise et ses parties prenantes / parties intresses. Un nombre croissant de socits soumettent dsormais la validation de tiers les donnes sur le dveloppement durable afin dattester de la fiabilit des informations rendues publiques et doffrir des sources de rfrences objectives. Dautres font appel des dispositifs originaux dont le SD21000 de lAFNOR afin didentifier systmatiquement leurs parties intresses et leurs enjeux dans une approche normalise. Parties prenantes, parties intresses : de la RSE (Responsabilit Socitale de l'Entreprise) la prise en compte largie des acteurs par toutes les organisations, dans le cadre du dveloppement durable Thorie des parties prenantes et Responsabilit Socitale de lEntreprise Parties prenantes et Parties intresses sont souvent tenues pour synonymes. La thorie des parties prenantes est un courant majeur de la pense managriale depuis les travaux de FREEMAN, dans les annes 80. Une partie prenante ou partie intresse est, pour FREEMAN, tout groupe ou individu qui peut influencer ou tre influencer par la ralisation d'objectifs de la firme .
72

www.legrenelle-environnement.fr/grenelle-environnement/IMG/pdf/tables_rondes_web.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

94

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Le terme dorigine, "stakeholder", est un jeu de mots sur la notion de Stockholder (les actionnaires). Traduit par partie prenante ou partie intresse, il dsigne un acteur porteur d'enjeux . Les diffrences de traduction, au-del des subtilits linguistiques, viennent des diffrences de cultures : les sciences de gestion prfrent le terme de "parties prenantes", tandis que les sciences de l'environnement utilisent plutt celui de "parties intresses", la connotation plus large. La thorie des parties prenantes vise tendre la responsabilit des dirigeants la gestion des relations avec lensemble des parties directement ou indirectement concernes par l'activit de l'entreprise. Aujourd'hui, lapproche la plus courante du dveloppement durable dans les milieux daffaires se rfre cette thorie (DELCHET, 2006)73. Dans cette perspective, la responsabilit de lentreprise nest pas universelle ; elle est contingente et relative et sexerce en fonction des parties prenantes identifies par lentreprise comme importantes. Lenjeu est alors de slectionner les parties prenantes importantes pour lentreprise, didentifier leurs attentes, de dfinir les engagements leur gard et de mettre en oeuvre les moyens pour y rpondre (DUPUIS, 2006)74. La mise en pratique de la thorie des parties prenantes dbouche, pour lorganisation, sur une obligation de rendre compte toutes ses parties prenantes ; et sur une communication et un dialogue en double sens afin de trouver une comprhension commune entre les situations, les principes et les comportements. Dveloppement durable et prise en compte des parties intresses Le guide SD21000 de l'AFNOR75 donne cette dfinition large : une partie intresse est un individu ou groupe, pouvant affecter ou tre affect, directement ou indirectement, dans le court terme comme dans le long terme, par les stratgies, les actions, les messages (et leurs consquences), que l'entreprise met en uvre pour atteindre ses objectifs . Pour Christian BRODHAG, les parties intresses incluent les acteurs faibles ou absents, qui ne sont pas en capacit de faire valoir leurs intrts. Il sagit notamment des individus ou groupes sociaux exclus ou faibles, des habitants des pays en voie de dveloppement, et des gnrations futures (par dfinition incapables de faire valoir leurs attentes)76.
73

DELCHET, Karen : La prise en compte du dveloppement durable par les entreprises, entre stratgies et normalisation. tude de la mise en oeuvre des recommandations du guide Afnor SD21000 au sein d'un chantillon de PME franaises , thse de doctorat EMSE/CapAFNOR, 2006. http://www.agora21.org/entreprise/these8.html 74 DUPUIS, Jean-Claude : Les insuffisances de lanalyse de la notion de responsabilit socitale de lentreprise comme traduction de lincompltude de lapproche contractuelle de la firme , GEMO, Electronic Working Paper Series n 2006-04. 75 AFNOR : SD21000 dveloppement durable responsabilit socitale des entreprises, guide pour la prise en compte des enjeux du dveloppement durable dans la stratgie et le management de l'entreprise , FDX 30021, AFNOR, mai 2003. 76 BRODHAG, Christian : Dveloppement durable et partenariat, 3 mai 2002, www.agora21.org http://www.agora21.org/articles/brodhag02a.htm

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

95

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Karen DELCHET a rcemment montr que la prise en compte des attentes des parties intresses tait une condition ncessaire, mais pas suffisante, pour intgrer le dveloppement durable dans les stratgies et le management des entreprises. Ceci correspond la position franaise dfendue au niveau international dans le cadre de lISO : certains enjeux de dveloppement durable ne sont pas ports ou exprims par les parties intresses, mais doivent tre considrs pour prserver lintrt gnral et celui des gnrations futures. Le dveloppement durable implique donc la prise en compte largie des intrts dacteurs prsents ou absents et capables ou non dtre entendus dans la prise de dcision (il va au-del des proccupations de la RSE). Dans le cadre de nos travaux sur les collectivits77, nous avons propos cette prcision de vocabulaire : les collectivits, comme les entreprises, sont en relation avec de multiples acteurs qui sont parties prenantes leurs dcisions et leurs projets (c'est dire quils agissent avec, ou sont consults, ou se font entendre, par la collectivit)78. Mais les collectivits, garantes de lintrt gnral et dun dveloppement durable, doivent considrer dans leurs dcisions et leurs projets, les intrts de lensemble des parties intresses. Le cercle des parties intresses, dfinies plus haut, est plus large que celui des acteurs et des parties prenantes que connat ou avec qui est en relation la collectivit. Dans les processus participatifs par exemple, le dveloppement durable ncessite que les parties prenantes au dbat ou un projet (associations, entreprises, citoyens) aux cts des collectivits, prennent en compte les intrts des parties intresses : ce qui modifie le dbat, et caractrise une approche la jonction des intrts locaux et globaux, de court et de long terme
Contact : Adrien PONROUCH, Doctorant l'cole des Mines de Saint-tienne, Thse soutenir (finance par lADEME et accueillie par le MEDAD) :"Mise en oeuvre du dveloppement durable par les collectivits locales, Agendas 21 Locaux : valuation et adaptation du SD 21000"

tre exemplaires vis--vis des partenaires (prestataires et dlgataires, entreprises, autres administrations), afin de pouvoir faire levier sur leur action et dassurer la prise en compte collective de lintrt gnral court et long terme Augmenter la pertinence, lefficacit, la qualit, la performance de leurs politiques et de leurs projets Anticiper les exigences, les critiques, les conflits et leur cot conomique et social Avoir une approche intgre de leurs projets et de leurs cots et bnfices globaux
PONROUCH, Adrien thse paratre :"Mise en oeuvre du dveloppement durable par les collectivits locales, Agendas 21 Locaux : valuation et adaptation du SD 21000". 78 Ainsi, une partie prenante est nos yeux un acteur qui est actif vis--vis de ses intrts, dune dcision ou dun projet, un moment donn, dune manire ou dune autre : ce qui nest pas ncessairement le cas dune partie intresse.
77

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

96

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Dvelopper et assurer long terme une attractivit quilibre de leur territoire Valoriser leur projet politique, lui donner une plus grande cohrence locale, assurer son articulation avec les territoires voisins et des autres niveaux Amliorer la gouvernance locale et territoriale dans une perspective de partenariat et de mutualisation des problmatiques et des moyens 3.1.2. Que recouvre lvaluation de laction publique sous langle du dveloppement durable ? Dans le cadre de la prparation du Grenelle de l'Environnement, le Centre d'analyse stratgique (CAS) a apport en juillet 2007 une contribution79 sur l'valuation des politiques publiques au regard du dveloppement durable en proposant la dfinition suivante : "valuer les politiques publiques au regard du dveloppement durable revient [ainsi] apprcier dans quelle mesure l'action publique [considre] intgre des proccupations de long terme, prend en compte et influence avec efficacit tout en optimisant les cots les dimensions conomique, sociale et environnementale ainsi que leurs interfaces sans omettre laspect participatif. L'valuation des politiques publiques au regard du dveloppement durable, qui a vocation s'appliquer tout type de politique, est distinguer de l'valuation des politiques de dveloppement durable dont le champ est plus restreint. De mme, l'valuation des politiques publiques au regard du dveloppement durable ne se confond pas non plus avec l'valuation environnementale." Cette dfinition appelle la remarque suivante : l'valuation de l'action publique sous le prisme du dveloppement durable intgre les deux approches de l'valuation prsentes dans les premires parties de ce guide : l'valuation visant apprcier l'efficacit et l'efficience des actions publiques et l'valuation participative. LOCDE a rcemment analys les pratiques danalyse et dvaluation mises en uvre par les pays de lOCDE sous langle de la durabilit80 partir de lexamen de leurs stratgies nationales de dveloppement durable. La Suisse utilise par exemple un nouvel outil dvaluation stratgique de la durabilit dans ses procdures de planification, afin dexaminer les articulations avec le dveloppement durable et les incidences globales des politiques et actions envisageables.
79 80

(http://www.strategie.gouv.fr/IMG/pdf/GRENELLE_Evaluation_politiques_publiques.pdf) Stratgies nationales de dveloppement durable : bonnes pratiques dans les pays de lOCDE, OCDE (http://www.oecd.org/dataoecd/58/39/36655852.pdf)

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

97

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

De la mme manire, au Royaume-Uni, tous les ministres du gouvernement central sont tenus, dans le cadre de lvaluation de la rglementation, dvaluer les rpercussions des politiques sous langle de la durabilit. Au niveau local, lvaluation des politiques publiques sous langle du dveloppement durable revient apprcier la prise en compte dans les stratgies et les politiques locales du dveloppement durable dans lensemble de ses dimensions. Le Cadre de Rfrence national pour les projets territoriaux de dveloppement durable et les Agendas 21 locaux labor par le MEDAD avec l'ensemble des acteurs du dveloppement durable fait, de l'valuation un des cinq lments de dmarche d'un projet de dveloppement durable (aux cts de : la stratgie damlioration ; la participation ; lorganisation du pilotage et la transversalit). Il rappelle expressment que "modifier les pratiques, les comportements, les modes de production et de consommation sont les conditions dun dveloppement durable. [] et cest prcisment lun des but de lvaluation que dexpliciter ces changements, den mesurer lampleur et dapporter les lments ncessaires leur apprciation. L'valuation des politiques publiques au regard du dveloppement durable peut remplir des fonctions trs varies : Mieux comprendre le territoire et l'action publique territoriale, Mesurer la performance et la durabilit des actions, dun programme ou d'un territoire, Mobiliser les acteurs du territoire dans le projet, Reprer les effets de laction politique (impacts et rsultats des actions menes sur la population ou sur le territoire). Directeur du Centre de prospective et de Veille Scientifique du Ministre de lquipement, Jacques THEYS rappelle quelles peuvent tre les fonctions de lvaluation sous langle du dveloppement durable :
o o o o lvaluation comme un outil de suivi dune stratgie lvaluation (indicateurs, etc.) comme outil de dialogue et mobilisation des acteurs lvaluation comme outil de positionnement (par rapport aux autres : cela concerne la question de rfrentiel, de positionnement des territoires et leurs contradictions) lvaluation comme outil de diagnostic (savoir si on est ou pas dans des politiques contribuant de manire concrte et effective un dveloppement durable)

A noter que l'valuation prsente un enjeu managrial puissant dans la mesure o si elle doit mobiliser les acteurs locaux et en cela respecter un principe essentiel du dveloppement durable, elle a aussi vocation mobiliser les services de la collectivit et constituer un outil de management interne mobilisateur. En outre, l'valuation demeure un outil indispensable d'aide la dcision (par la hirarchisation des priorits notamment) et de facilitation de la comprhension collective des enjeux du dveloppement durable.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

98

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

En novembre 1996, un groupe international de spcialistes de l'valuation et de chercheurs des cinq continents s'est runi au Centre d'tudes et de confrences de la Fondation Rockefeller Bellagio, en Italie, pour faire le point sur le chemin parcouru et la synthse des leons tirer des examens pratiques en cours. C'est ainsi qu'ont t tablis et adopts l'unanimit les principes dits de Bellagio81 qui traitent de quatre aspects de l'valuation des progrs en faveur du dveloppement durable (la formulation d'objectifs clairs, le contenu de l'valuation, les d'objectifs cls de l'valuation et le besoin de prvoir des capacits d'valuation permanentes). Enfin, des conceptions moins normatives prconisent une autre apprhension du dveloppement durable et par extension des rapports entre valuation et dveloppement durable. L'valuation au regard du dveloppement durable, ou le dfi de savoir construire et analyser la responsabilit partage "Le dveloppement durable vise l'harmonie entre les humains ; et l'harmonie entre les humains et la nature."
COMMISSION MONDIALE DU DEVELOPPEMENT DURABLE 1988

Aborder la question de l'valuation au regard du dveloppement durable relve, en France, d'une double gageure : o D'une part, parce que la culture de la notation, plutt que celle de l'analyse, nous a t inculque ds notre plus jeune ge via notre cursus scolaire, et perdure travers tous les systmes norms diffuss au nom des "dmarches qualit" ; o D'autre part, car l'adoption des exigences de la durabilit rend obsoltes les cadres de rfrences habituellement retenus pour valuer, et notamment le sacro sain "regard neutre de l'auditeur extrieur" ou l'talonnage des projets, des individus, des organisations ou des territoires selon une mme grille de calcul et de suivi. Car, si le dveloppement durable correspond bien : o l'interpellation des logiques de croissance que les pays occidentaux ont adoptes l'issue de la seconde guerre mondiale, o la ngociation de nouveaux modles du vivre ensemble, au niveau local et au niveau global, o l'apprentissage collectif de la gestion de l'incertitude (principe de prcaution) et de la complexit, alors, il ne constitue rien de moins que le support d'un nouveau contrat de socit ! Pour agir en dveloppement durable, nous devons ainsi tre en mesure de : o Remettre les questions humaines et cologiques au cur de notre projet collectif ;

81

http://www.iisd.org/measure/principles/progress/bellagio_full_fr.asp

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

99

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

o o

o o o

Nous rappeler que les solidarits et la responsabilit font socit, et que la "diversit culturelle est le premier patrimoine de l'humanit" ; Renouveler notre rapport l'conomie (pour une conomie plurielle et responsable, remise sa juste place, c'est--dire au service de la "gestion de la maison /plante et de la communaut humaine") ; Modifier notre approche de l'expertise, les savoirs et le vcu devenant ici sources de connaissances d'gale valeur ; Inventer de nouvelles formes de gouvernance, au sein desquelles l'ensemble des parties prenantes puisse co-produire les supports de l'aide la dcision ; Partager les questionnements et les exigences, mais adapter les stratgies et l'action aux ralits, aux potentiels, aux difficults, des organisations et des territoires concerns.

Dans ce contexte, empreint de questions vitales et ncessitant de savoir lier "gestion de l'urgence" et "mise en perspective moyen et long terme dans un monde incertain", l'valuation n'a de sens que si elle accompagne, que si elle facilite, la conduite de projet. Ds lors, l'enjeu n'est pas tant de "comparer", "juger", "talonner", mais bien plus "d'clairer", "indiquer le chemin", "aider orienter les choix". Ce qu'il s'agit d'valuer, ce n'est pas tant notre position dans un classement (intrinsquement illgitime), mais bien notre capacit amliorer dans le temps nos propres rsultats et impacts en faveur du dveloppement durable. Pour toutes ces raisons, nous considrons au sein de l'Observatoire de la Dcision Publique qu'il est indispensable : o de privilgier les outils adapts, plutt que les supports norms, o d'opter pour des indicateurs, et non pas des critres, o de prfrer les dmarches valuatives conues pour et avec toutes les parties prenantes, et donc accessibles au plus grand nombre, aux dispositifs ciblant l'information d'une lite technique et/ou politique. Cette posture volontariste dtrne les auditeurs au profit des acteurs euxmmes, parie sur une exigence et une fiabilit des donnes fondes sur la pluralit des points de vue et des formes de connaissances, prne la transparence et la continuit dans le portage des actions. Elle sous-tend, en fait, rien de moins que l'apprentissage d'un nouveau rapport la responsabilit individuelle et collective, l'affirmation du retour partag au "politique ", via l'invention d'une dmocratie collaborative (au sein des organisations et des territoires), encore dessiner. Nantes, le 13 mars 2008
Contact : Hlne COMBE, Dlgue gnrale de l'Observatoire de la Dcision Publique

D'une manire gnrale, il nous semble mthodologiques sont prendre en compte :

que

plusieurs

prcautions

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

100

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Distinguer le suivi et l'valuation Le suivi comprend lensemble des oprations consistant suivre et contrler un processus pour parvenir au rsultat recherch, dans les meilleures conditions. De mme que le contrle, le suivi na pas de dimension stratgique. Lenqute mene en 2007 par le cabinet Le cabinet ETD a ralis en 2007 une enqute dispositifs dvaluation de 28 agendas 21 de collectivits (communes, intercommunalits, Rgions, Dpartements) reconnus par le MEDAD qui a mis en exergue une nette confusion entre le suivi et l'valuation des agendas 2182. Dfinir avec l'ensemble des acteurs locaux ce que l'on entend par valuation (porter un jugement, dcrire une situation, etc) et prciser les questions valuatives Construire des critres d'valuation qui prennent en compte la spcificit de l'valuation sous l'angle du dveloppement durable La durabilit d'un projet ou d'un territoire ou encore la transversalit sont par exemple des critres essentiels intgrer en plus des critres "classiques" tels que l'efficacit, l'efficience, la pertinence ou encore les effets. D'ailleurs ces critres doivent tre repositionns au regard de ces spcificits. Comment associer les citoyens au processus valuatif ? La participation est une exigence du dveloppement durable qui se retrouve dans le cadre de lvaluation. Mais la participation a une porte large et peut intervenir diffrents niveaux. Quel est le primtre douverture du processus dvaluation des acteurs extrieurs (ouverture du suivi de cibles prcises dautres directions en interne, ouverture des acteurs cibls dont le concours est ncessaire pour atteindre des cibles territorialises, ouverture des reprsentants des acteurs socioconomiques et des citoyens) ? Quel est le niveau de participation (participation la dfinition de projets circonscrits ou de politiques et de leurs cibles et finalits, position de contrle dmocratique a posteriori) ? Il est essentiel, au-del des principes, de dterminer et de justifier les choix oprs sur ces questions essentielles (afin dviter des cueils rcurrents : enlisement des dbats, processus inadapts, impossibilit de valider les dcisions) !

ETD (Entreprises, territoire et dveloppement) : Les dmarches d'valuation dans les agendas 21 locaux, 2007 http://www.projetdeterritoire.com/spip/article.php3?id_article=2916

82

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

101

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Que va-t-on faire de l'valuation ? Il est crucial de dfinir en amont quel usage et quelle diffusion seront faits de l'valuation. L'valuation a-t-elle vocation rinterroger la stratgie et/ou les pratiques ? A-t-elle rellement vocation inflchir les choix politiques ? Quel est l'objet de l'valuation ? Il est fondamental cet effet de bien dterminer si lon veut valuer la stratgie globale de dveloppement durable de la collectivit ou bien si lon veut apprcier les politiques publiques sous langle du dveloppement durable, valuer l'Agenda 21, ou encore si lon veut mesurer la performance du territoire en matire de dveloppement durable. La rponse ces questions va conditionner le type doutils mobiliser.

3.2. La diversit des modes d'valuation de l'action publique sous l'angle du dveloppement durable Il existe diffrentes faons d'intgrer le dveloppement durable dans laction publique. Chaque type d'valuation appelle des outils et des indicateurs distincts. Les diffrents outils et rfrentiels dvaluation correspondent des champs dtermins et remplissent des fonctions distinctes : avant denvisager le dploiement dun dispositif, il est crucial de dterminer ce que l'on veut valuer, ce quvalue et ce que nvalue pas un dispositif dvaluation. Trs schmatiquement, on peut concevoir l'valuation de l'action publique sous l'angle du dveloppement durable trois niveaux : l'valuation des actions, projets et politiques publiques sous l'angle du dveloppement durable, l'valuation du projet stratgique de la collectivit, et l'valuation du territoire sous l'angle du dveloppement durable. 3.2.1. L'valuation des actions, politiques et projets sous l'angle du dveloppement durable Les outils d'valuation des politiques et des dispositifs de dveloppement durable seront abords travers les grilles "dveloppement durable" identifies dans certaines collectivits, puis en voquant la dmarche du MEDAD d'laboration d'un rfrentiel d'valuation des stratgies et l'analyse des derniers travaux universitaires (mais nanmoins trs pratiques) s'inspirant de l'adaptation de la mthodologie SD 21000 aux collectivits. Plusieurs collectivits engages ou non dans des Agendas 21 ont dcid d'valuer leurs projets sur la base d'outils construits le plus souvent en interne, tels que des grilles d'valuation multicritres fondes sur les principes et/ou les enjeux du dveloppement durable.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

102

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Elles ont pour certaines labor des grilles d'analyse des projets encore appeles par les spcialistes "outils de questionnements et danalyse des projets et politiques en matire de dveloppement durable (OQADD)83". Ces grilles ont vocation valuer des projets dans le cadre dappels doffre, soit pour aider les porteurs de projet dun territoire mieux prendre en compte les critres du dveloppement durable, soit pour rendre le concept plus facilement assimilable par les personnels. Les OQADD sont des grilles de critres qui ont but d'aider les porteurs de projets (ou de politiques) prendre en compte le dveloppement durable dans leur dmarche. Elles peuvent servir de base lvaluation des projets sous langle du dveloppement durable. On peut citer les exemples de deux communauts urbaines qui ont engag des dmarches en la matire des degrs d'avancement divers. La dmarche de la Communaut urbaine de Nantes est trs rcente. Dans le cadre de lexercice de prospective de la programmation 2008-2013, la mission Dveloppement durable a entam un travail d'laboration d'un outil daide la dcision souhait par la Direction Gnrale. Cet outil doit permettre de hirarchiser les projets travers trois types dindicateurs : Rversibilit ou degr dengagement (financier, juridique et politique) Performance (technique, efficience et au regard du service aux usagers) Contribution au dveloppement durable Cet exercice a vocation donner du sens la programmation 2008-2013 toujours base sur les axes stratgiques du PADD (Projet dAmnagement et de Dveloppement Durable). Le Directeur gnral des services a missionn le groupe de suivi Agenda 21 pour mener une cotation des projets au regard du dveloppement durable. Le groupe de suivi agenda 21 a labor une grille danalyse de lintgration du dveloppement durable par les projets mtropolitains. Cette grille repose sur 5 axes (les 4 premiers axes sont ceux du projet de territoire) : Eco mtropole, Mtropole solidaire, Mtropole dynamique, Mtropole mobile et Gouvernance et modes de faire. Pour chaque axe, sont dclins quelques critres prioritaires permettant dapprcier la prise en compte concrte dans les projets des diffrents piliers du dveloppement durable. Les critres sont arguments travers des questions et recommandations. La communaut urbaine de Lyon s'est galement investie depuis plus longtemps sur cette question dans le cadre de llaboration de son Agenda 21.

83 Selon la terminologie introduite par Aurlien BOUTAUD, qui reflte la diversit des formes et des finalits des outils rangs sous cet intitul.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

103

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La grille de dveloppement durable du Grand Lyon A travers son agenda 21 adopt en le 17 mai 2005, la Communaut urbaine du Grand Lyon s'est engage dans un processus de prise en compte du dveloppement durable qui a vis dans un premier temps co-construire une vision approprie par les services en cohrence avec la politique de la Communaut urbaine. La rvision de la plupart des documents tels que le Plan de dplacement urbain, le Programme local de l'habitat, le Plan local d'urbanisme ou le SCOT a t l'occasion d'intgrer les finalits et les principes du dveloppement durable inscrits dans l'agenda 21. L'agenda 21 vise essentiellement une plus grande appropriation collective des enjeux du dveloppement durable. L'Agenda 21 est ractualis tous les 2 ans sur la base d'un bilan annuel. Un comit de suivi compos de quinze lus se runit tous les 2 mois. Un conseil de dveloppement reprsentant la socit civile a t troitement associ l'laboration de l'agenda 21. En 2004, un groupe de correspondants dveloppement durable regroupant l'ensemble des services de la collectivit a labor un guide interne du dveloppement durable qui a t actualis plusieurs reprises. A la mme priode et afin de prendre en compte le dveloppement durable dans les politiques et les projets engags par la Communaut urbaine, le groupe de correspondant a labor une grille de questionnement et d'analyse dont l'objectif est d'accompagner les lus et les techniciens dans la prise en compte quotidienne du dveloppement durable. labore en 2004, cette grille a t inscrite dans l'agenda 21 en 2005. Elle est structure partir de 5 principes d'actions (principes de solidarit, de prcaution, de qualit environnementale et de rversibilit des choix, de participation citoyenne et de partenariat et de subsidiarit). Elle s'appuie sur 17 critres de dveloppement durable rpartis en 11 finalits de dveloppement durable et 6 modes de faire distincts. Les 17 critres constituent non seulement la base du questionnement sur la prise en compte du dveloppement durable pour chaque projet mais galement pour la suivi de la mise en uvre du projet et son valuation. Cette grille a t rcrite en 2006 sur la base des retours d'expriences. Un module de formation des cadres a t mis en place en 2006 qui a abouti la formation d'une centaine de cadres en 2007. Il est prvu de former galement une centaine de cadres en 2008. Face la ncessit de dvelopper une "culture des choix" au sein de l'institution Grand Lyon et de consolider les outils existants, lors de l'actualisation de l'agenda 21, la grille de questionnement dveloppement durable a t rinscrite dans l'agenda 21 2007-2009 la demande du Comit de suivi politique Agenda 21 afin que cette dernire soit gnralise dans les dmarches de projets.
Contact : Nadia MABILLE, charge de mission Agenda 21 - Communaut urbaine du Grand Lyon, nmabille@grandlyon.org

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

104

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A l'occasion de la journe dtude du 3 novembre 2005 Lille "valuer le dveloppement durable : enjeux, mthodes, dmarches dacteurs" organise par le Centre Ressource du Dveloppement Durable du Nord Pas de Calais (CERDD) et le rseau de recherche Dveloppement durable et territoires fragiles 84, Aurlien BOUTAUD, auteur d'une thse sur les outils d'valuation des politiques publiques en matire de dveloppement durable85, rappelle que si "les OQADD sont des outils propices transformer certaines pratiques (crer une vision et une culture commune, rassurer et dcomplexer les acteurs face cette problmatique du dveloppement durable, sensibiliser, informer, communiquer, etc.), ils prsentent aussi certains inconvnients (subjectivit des valuateurs, difficult de trouver un quilibre entre universalit des thmes aborder et particularit des cas traiter, passer du constat critique laction constructive, etc.)." A cet gard, il prcise que les OQADD ne peuvent avoir quun impact limit dans la mesure o ils ninflchissent que rarement les logiques mmes des orientations gnrales prises par les collectivits. A noter que lADEME a conu un guide de questionnement "dveloppement durable" des projets (dquipement, damnagement, de planification). Applicable en amont ou dans les phases de formalisation successives du projet, il fait apparatre en quoi celui-ci sinscrit dans une dmarche de dveloppement durable et ce quil apporte dans cette perspective. Il se prsente comme une srie de questions, proposes sous forme de grilles. Les grilles permettent dorganiser l'investigation et guident dans la progression de l'analyse, en aidant identifier les consquences environnementales, conomiques et sociales du projet et retracer la manire dont ce projet est ou sera conduit et valuer ainsi la mise en oeuvre des principes daction du dveloppement durable. Le guide est consultable sur le site Internet de l'ADEME86. La grille de lecture dveloppement durable RST02 du CERTU87, participe de la mme logique et de la volont doffrir un cadre de questionnement systmatique des divers projets au prisme des exigences du dveloppement durable. Laction publique est impacte par la prise en compte de nouveaux enjeux et des besoins des diverses parties intresses. Elle est largement confronte la demande de rendre compte de sa rigueur, son efficacit, ses choix. Dans ce contexte, dveloppement durable, valuation et territoire savrent consubstantiels. Le DD intgre la ncessit de louverture de
http://developpementdurable.revues.org/document1676.html BOUTAUD Aurlien, 2004, Le dveloppement durable : penser le changement ou changer le pansement ? Bilan et analyse des outils dvaluation des politiques publiques locales en matire de dveloppement durable en France : de lmergence dun changement dans les modes de faire au dfi dun changement dans les modes de penser , Thse prsente devant Lcole Nationale Suprieure des Mines de Saint-tienne et lUniversit Jean Monnet de Saint-tienne (416p.) http://www.agora21.org/entreprise/these4.html 86 http://www2.ademe.fr/servlet/KBaseShow?sort=-1&cid=96&m=3&catid=13342 87 http://www.certu.fr/spip.php?page=article_theme&id_article=311&id_rubrique=207&lang=fr
85 84

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

105

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

la dcision aux acteurs, ainsi que lobligation redditionnelle et la ncessit dune amlioration continue de laction collective. Lvaluation ne peut plus dsormais se concevoir de manire ponctuelle et compartimente : elle doit tre envisage en continu et de manire intgre la dcision et laction. Elle doit donc se situer au niveau du projet stratgique de la collectivit. 3.2.2. Llargissement du cadre de laction et de lvaluation : des politiques au projet stratgique Aucune collectivit ne possde lensemble des comptences et leviers daction pour rsoudre tous les enjeux de son territoire : laction des diffrents acteurs institutionnels doit donc tre articule et mise en cohrence, dans le cadre dun projet stratgique et partag. Cest ce que refltent le terme de gouvernance et la notion de projet de territoire. Les dispositifs dvaluation sont centraux dans ce contexte, pour guider laction des collectivits et de leurs partenaires. Au-del des diffrents domaines de lvaluation (management, projets, politiques, actions), lvaluation du ou des dispositif(s) stratgique(s) tend ainsi devenir une proccupation nouvelle et essentielle. D'o la ncessit de dterminer si les collectivits sont dotes dune stratgie globale pour leurs politiques et leurs projets, et pour leur territoire ; il est essentiel galement dvaluer dans quelle mesure cette stratgie est partage et/ou co-construite avec les acteurs pertinents qui sont concerns, et avec ceux sans lesquels la mise en uvre de cette stratgie nest pas possible. Enfin, il importe de savoir si les collectivits ont recours des approches et des outils adquats didentification des enjeux, de pilotage et de suivi des projets, dorganisation et danimation de laction collective sur leur territoire. Dans un souci de formalisation, daccompagnement et dharmonisation des dmarches au niveau national, le MEDAD a labor un Cadre de Rfrence coconstruit et valid par la plupart des acteurs intervenant dans le champ du dveloppement durable des territoires. Le cadre de rfrence du MEDAD

Le cadre de rfrence et le dispositif de reconnaissance des projets territoriaux de dveloppement durable des collectivits, le Ministre de l'cologie, du Dveloppement et de l'Amnagement Durables (MEDAD) La SNDD fixe un objectif prcis en matire dAgendas 21 locaux. Il sagit den favoriser lmergence, afin de parvenir un chiffre de 500 en 2008. Pour mesurer latteinte de cet objectif, il est apparu ncessaire de se doter dun outil commun prcisant ce qutait un Agenda 21 local et comment en apprcier la qualit. Il sagit galement de faciliter lengagement des collectivits en leur fournissant un outil de rfrence.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

106

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Afin de donner plus de lisibilit aux dmarches des collectivits, le Ministre a fait parvenir aux prfets, par circulaire en date du 13 juillet 2006, le cadre national de rfrence pour les projets territoriaux de dveloppement durable et les Agendas 21 locaux , ainsi quun appel reconnaissance de tels projets. Coordonne par la Dlgation au dveloppement durable, llaboration du cadre de rfrence a t accompagne par le Comit national de pilotage des Agendas 21 locaux, prsid par le Dlgu Interministriel au Dveloppement durable et rassemblant une cinquantaine de structures. Il a fait lobjet dune consultation interministrielle et auprs des principales associations dlus territoriaux. Il repose sur 10 points clefs. 5 finalits essentielles auxquelles doivent contribuer le projet et les actions :
o o o o o

lutte contre le changement climatique ; prservation de la biodiversit, des milieux et des ressources ; panouissement de tous les tres humains ; cohsion sociale et solidarit entre territoires et entre gnrations ; dynamiques de dveloppement suivant des modes de production et de consommation responsables.

5 lments dterminants de dmarche pour conduire ce type de projet :


o o o o o

participation ; organisation du pilotage ; transversalit des approches ; valuation partage ; stratgie damlioration continue.

Ces lments sinscrivent en cohrence avec les sept dfis inscrits dans la Stratgie europenne de dveloppement durable de juillet 2006, repris dans la Stratgie nationale de dveloppement durable rvise en novembre 2006.
Contacts : Nathalie VICQ-THEPOT, Responsable du bureau "Territoires et co-responsabilit" Dlgation au dveloppement durable, Ministre de l'cologie, du dveloppement et l'amnagement durables (MEDAD), 01 42 19 19 01, nathalie.vicq-thepot@ecologie.gouv.fr de

Le cadre de rfrence permet ainsi de poser les fondations dans lhomognit des critres de construction et dvaluation des Agendas 21 locaux. Ceci dit, il ne permet pas aux collectivits de porter un regard sur la pertinence de lidentification et de la hirarchisation de leurs principaux enjeux. Des recherches universitaires trs rcentes apportent des lments de rponse la question de l'valuation des choix stratgiques d'une collectivit en matire de dveloppement durable partir de l'valuation des agendas 21 partir de l'adaptation de la mthodologie SD 21000 aux collectivits.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

107

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

valuer les agendas 21 partir de l'adaptation de la mthodologie SD 21000

Dans ses recherches sur lvaluation des Agendas 21 locaux, Adrien PONROUCH a propos dadapter la mthodologie SD2100088, dveloppe pour lentreprise, aux collectivits. Ses travaux se sont en partie appuys sur le Cadre de Rfrence du MEDAD. La mthode a t labore et teste grce des exprimentations menes dans quatre collectivits : le conseil gnral de lEssonne, le conseil gnral de Seine et Marne, le Pays Basque et la communaut de communes de Soule. Fruit dun consensus large, cette mthodologie offre une grande compatibilit avec les orientations donnes par ailleurs aux collectivits, tout en tant oprationnelle et susceptible dintervenir au niveau stratgique (et non en tant quoutil dusage ponctuel et circonscrit). LAgenda 21 local, un cadre ad hoc de rflexion et daction ; une proposition mthodologique, lapproche SD21000 adapte aux collectivits89 LAgenda 21 local constitue un cadre ad hoc propos aux collectivits, qui articule les diffrentes notions (dveloppement durable, action publique, territoire, valuation) et leur donne sens et cohrence. Que les collectivits se soient ou non formellement investies dans un tel projet (qui reste lheure actuelle dinitiative volontaire), lensemble du processus dAgenda 21 local permet de clarifier ce que peuvent signifier ensemble valuation, dveloppement durable, collectivits et territoire. Lvaluation peut porter tant sur des enjeux de moyen (comment fait-on ?), que sur des enjeux de fin (que fait-on, dans quels domaines ?) : lvaluation concerne la dcision, lorganisation et le management, au mme titre que le dploiement oprationnel. Dans ses travaux sur lvaluation des Agendas 21 locaux, Adrien PONROUCH a propos dadapter la mthodologie SD21000, dveloppe pour lentreprise, aux collectivits. Le dveloppement dun outil adapt ce contexte passe par lidentification denjeux et de parties intresses propres aux collectivits. Adrien PONROUCH propose de distinguer trois champs de gestion des enjeux du dveloppement durable, et donc trois champs pour lvaluation.
88 Le guide SD21000 de l'AFNOR et la mthodologie de mise en uvre associe proposent des bases pour aider adapter techniquement et culturellement lentreprise d'intgrer progressivement les enjeux du dveloppement durable dans sa stratgie, son management et ses pratiques. A noter que les recommandations du guide SD21000 ne sont pas destines des fins de certification. 89 Voir aussi : http://www.ecologie.gouv.fr/IMG/pdf/Article_DD-evaluation_AP-aout07.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

108

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Cette distinction sapplique aux deux types denjeux : de moyen (comme lengagement des lus et de la direction, la stratgie, les mthodes de travail, la communication), et de fin (tels les services publics, lamnagement du territoire, les transports, lhabitat, les risques, lenvironnement). Ainsi, les collectivits et/ou les tierces parties peuvent valuer :
o

la faon dont une collectivit prend en compte le dveloppement durable, travers la qualit de ses processus, ses pratiques et sa performance, en interne : ce premier champ dvaluation, essentiel en termes dapprentissage et dexemplarit, concerne des objets trs divers, du management la responsabilit sociale et environnementale de la collectivit. la faon dont une collectivit prend en compte le dveloppement durable travers la mise en uvre de ses comptences et de ses politiques propres : ce champ pose notamment la question des effets croiss et induits (autrement dit, des externalits), des politiques les unes sur les autres90. Il peut sagir des impacts environnement et sociaux des politiques de transport, tout comme des effets de lattractivit du territoire sur la prservation de son patrimoine long terme Le dveloppement durable impose une vision systmique des phnomnes que lvaluation doit prendre en compte pour atteindre ses buts et clairer laction publique. Lvaluation de la prise en compte des enjeux dans ce champ vise apprhender si, au-del de lexistence ventuelle dun plan daction ddi, le dveloppement durable est pris en compte de manire transversale et systmatique par la collectivit. Si il est stratgique, lAgenda 21 local ne se rsume pas en effet un plan daction ponctuel et/ou marginal port par la seule collectivit. la faon dont une collectivit prend en compte le dveloppement durable travers sa participation laction coordonne avec les autres acteurs sur son territoire : ce troisime champ est celui de la coordination stratgique territoriale. Lvaluation de la contribution de la collectivit laction collective sur son territoire est un champ nouveau. Il concerne la capacit de la collectivit identifier et interpeller les autres acteurs et travailler avec eux, pour une matrise commune denjeux territoriaux. Dpassant le champ de ses politiques et comptences propres, la coordination stratgique renvoie au leadership politique de la collectivit, et sa capacit de mobiliser et de piloter les acteurs autour dun projet partag et stratgique (renvoyant aux dimensions du dispositif stratgique voques plus haut).

La mthodologie sinscrit dans la perspective dune approche normalise par enjeux/acteurs. Il sagit pour la collectivit comme pour les tiers, de baser lidentification des enjeux significatifs sur un processus rationnel, systmatique et transparent ; de mettre en exergue le profil des projets en fonction de la performance dans les trois champs dfinis ci-dessus ; didentifier et de prendre en compte de manire systmatique les attentes des parties intresses, ainsi
Ce type de questionnement peut amener redfinir les politiques existantes vis--vis denjeux qui de prime abord ne les concernent pas directement, et rationaliser les cots, directs et indirects, des diffrents politiques.
90

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

109

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

que leur niveau dinfluence sur la matrise collective des enjeux (afin dorienter les priorits en termes de coordination stratgique territoriale). Des voies de progrs sur lensemble de ces aspects peuvent ainsi tre dfinies, plaant lvaluation dans une finalit didactique et damlioration continue. Loutil propos a t dvelopp dans le cadre de recherches-interventions avec des collectivits. Il permet notamment dvaluer la mise en uvre des recommandations du Cadre de Rfrence du MEDAD, qui nest pas directement assorti de mthodologies oprationnelles dvaluation. Lapproche dveloppe contribue au cadre conceptuel et mthodologique de lvaluation et du suivi des Agendas 21 locaux, en interne aux collectivits et pour les tierces parties. Elle souligne la ncessit de mthodes adaptes aux collectivits et au management stratgique territorial, dans un mouvement plus large de convergence des principes et outils de management des organisations publiques et prives, auquel contribue le dveloppement durable. Loutil dvelopp constitue une aide au pilotage, susceptible damliorations, qui a vocation tre utilis conjointement avec dautres outils pertinents, permettant aux collectivits de mieux laborer et justifier leurs choix et leur action.
Contact : Adrien PONROUCH, Doctorant l'cole des Mines de Saint-tienne, Thse finance par lADEME et accueillie par le MEDAD, soutenir en avril 2008 :"Mise en oeuvre du dveloppement durable par les collectivits locales, Agendas 21 Locaux : valuation et adaptation du SD 21000".

Ces rflexions prsentent un caractre oprationnel fort et ont abouti la construction d'une mthodologie assortie d'une grille gnrique de performance (jointe en annexe). La mthodologie SD21000 adapte aux collectivits est une mthodologie dautodiagnostic accompagn, fonde sur une srie de notations ( laide dchelles 5 niveaux) effectues par un consultant et un groupe de travail reprsentant les principales directions de la collectivit. Les premiers rsultats (donnes collectes sur les parties intresses et sur les enjeux, voies de progrs sur ces diffrents aspects) auraient vocation tre mis jour et mobiliss de manire rgulire au sein des services (comme pour un systme de management) dans une perspective damlioration continue. Les apports de la mthodologie sont largement lis sa mise en uvre collective au sein de la collectivit, dans la mesure o elle se base sur un consensus entre les directions sur les notations, qui ncessite un important change de points de vue et dinformations. Face la ncessit de reconnaissance et de diffrentiation des collectivits qui ont dj oeuvr en matire de dveloppement durable et dans la mesure o un regard extrieur apporte toujours son lot de commentaires en vue damliorations, AFAQ AFNOR Certification a labor une mthodologie permettant de vrifier ladquation et la pertinence des politiques menes au regard des enjeux locaux, des principes du dveloppement durable et des attentes de la population.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

110

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

AFAQ 1000NR Territoires, outil d'valuation des dmarches de dveloppement durable des collectivits.

AFAQ AFNOR Certification propose aux collectivits un outil dvaluation original : AFAQ 1000NR Territoires, qui a t spcifiquement dvelopp pour les collectivits locales. Cet outil a vocation de permettre :
o o

o o o

dvaluer la dmarche de dveloppement durable de la collectivit (quelle se prsente sous la forme dun Agenda 21 ou non), de sassurer que les pratiques que la collectivit dploie et met en oeuvre, dans le cadre de ses comptences, sont conues de manire cohrente, propre assurer leur amlioration continue dans le temps (pratiques, suivi et rsultats), et intgrant les finalits du dveloppement durable, dvaluer la capacit de la collectivit diffuser des valeurs et des comportements dcocitoyennet, doptimiser les politiques publiques de la collectivit, dvaluer la prise en compte les aspects du dveloppement durable dans la mise en oeuvre de la propre responsabilit socitale de la collectivit en tant quorganisation, dvaluer la matrise de certaines dpenses publiques et en particulier celles lies aux nergies, dplacements.

Pour la collectivit value, AFAQ 1000NR Territoires peut constituer un outil remplissant plusieurs fonctions : un outil de valorisation de sa dmarche de dveloppement durable tant en interne (la mobilisation des nergies au sein de ses diffrents services, formation/sensibilisation des quipes) quen externe (reconnaissance de la collectivit par les citoyens, mais galement les financeurs avec accs facilit des financements publics ou privs), un outil de pilotage oprationnel et un outil de Benchmark. Lvaluation rpond une logique prcise : dmontrer la capacit de la collectivit value atteindre les rsultats cibls par la stratgie. Le processus d'valuation se dcompose en plusieurs phases :
o

la prparation en partie sur site (recueil des donnes, identification des parties intresses internes et externes rencontrer) la ralisation sur site (collecte des approches, des bonnes pratiques, de celles amliorer ainsi que des rsultats par interviews des diffrentes parties intresses internes et externes identifies au pralable ; analyse des donnes) la synthse, hors site et sur site (Rdaction du bilan responsable ; restitution du score global, des points prenniser et des pistes damlioration (lors de la runion de restitution) ; remise de lattestation o apparaissent la note et le niveau de maturit correspondant).

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

111

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Le modle AFAQ 1000NR Territoires est fond sur lvaluation de lintgration des principes de dveloppement durable au sein de la collectivit, autrement dit sur une valuation dune part, des pratiques, et dautre part, de la cohrence des rsultats avec les pratiques au travers des 5 finalits du dveloppement durable dfinies par le cadre de rfrence du MEDAD. Pour ce faire, il convient denvisager des grilles dvaluation diffrentes selon que lon parle des pratiques ou que lon se situe au niveau des rsultats. Outre la note obtenue, lvaluation va permettre de caractriser de manire qualitative (argumentation des points forts et des pistes damlioration) chacun des sous critres et des critres analyss). Enfin, la mthode dvaluation sappuie sur le principe de lamlioration continue (la roue de DEMING) et permet de juger de lapproche stratgique de la collectivit et des rsultats obtenus en matire de dveloppement durable. AFAQ 1000NR Territoires fait l'objet en 2008 d'une srie d'exprimentations auprs de collectivits locales.
Contact : Karen DELCHET-COCHET, Chef de projet, dpartement Innovation et Dveloppement, AFAQ AFNOR Certification, karen.delchet@afaq.afnor.org, Tel : 01 46 11 38 93

Vers l'laboration d'un rfrentiel national d'valuation des stratgies de dveloppement durable des collectivits

Le MEDAD s'est galement lanc dans une initiative visant la cration pour fin 2008 d'un rfrentiel permettant dvaluer une stratgie de dveloppement durable lchelle dune collectivit, de type agenda 21 local. La dmarche d'laboration d'un rfrentiel d'valuation des stratgies de dveloppement durable des collectivits par le Ministre de l'cologie, du Dveloppement et de l'Amnagement Durables (MEDAD) La Dlgation au dveloppement durable lance aujourdhui une nouvelle tape : il sagit de crer un rfrentiel dvaluation, permettant dvaluer un projet de dveloppement durable lchelle dune collectivit de type agenda 21 local. Ce rfrentiel sera compos dun ensemble dindicateurs lis aux politiques clefs dun agenda 21 local. Il sera centr sur la dimension stratgique de lvaluation (et non sur ltat du territoire, ni sur lvaluation des actions elles-mmes), adoss au cadre de rfrence national et li aux diffrents domaines de comptence des collectivits. Il devrait servir de base aux collectivits pour btir leur propre systme dvaluation, en leur proposant des indicateurs types quelles pourront renseigner leur chelle et qui rendent bien compte des politiques quelles mnent gnralement lorsquelles sengagent dans le dveloppement durable.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

112

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Ce rfrentiel sera plus prcis que le cadre de rfrence national : il tentera de lui donner des objectifs mesurables. En revanche, il ne sera pas un guide technique pour lvaluation, ni une mthode prte utiliser telle quelle. Il sera bti en sinspirant des dmarches dvaluation dj conduites dans diverses collectivits en France, dont celles du groupe de travail, et utilisera les retours dexpriences dautres pays europens. La dmarche a t lance fin 2007 lors du second atelier consacr lvaluation organis par lObservatoire des agendas 21. Un groupe de 17 collectivits a t constitu, sur la base du volontariat et de lavancement en termes dvaluation. Il est complt par une dizaine de personnes ressources. Avec lappui dun comit de pilotage dans lequel figurent les associations dlus aux cts du MEDAD, il aura pour mission de construire le rfrentiel au cours du premier semestre 2008, avec pour objectif la production dun premire version du rfrentiel l't 2008 et ladoption de celui-ci par le Comit national Agendas 21 la fin de lanne.
Contacts : Nathalie VICQ-THEPOT, Responsable du bureau "Territoires et co-responsabilit" Dlgation au dveloppement durable, Ministre de l'cologie, du dveloppement et l'amnagement durables (MEDAD), 01 42 19 19 01, nathalie.vicq-thepot@ecologie.gouv.fr de

L'laboration de ce rfrentiel au cours de l'anne 2008 ne pourra faire l'conomie de la question suivante : s'agit-il de construire un nouveau rfrentiel d'valuation (pour les collectivits) qui s'inspire des finalits du DD ou bien qui traite des finalits partir des comptences des collectivits ? Ou encore, comme dans lapproche SD21000 adapte aux collectivits, qui opte pour lentre par les enjeux, permettant de mettre en exergue les ncessits et priorits de travail entre les collectivits et leurs parties intresses, travers des transactions et une coordination sur des enjeux communs dsormais bien identifis ? La dmarche en cours mene conjointement par l'Association des Rgions de France (ARF) et la Rgion Rhne-Alpes travers la conception dindicateurs du dveloppement durable comme processus dynamique, participatif et gnrateur de consensus constitue un type de rponse ces enjeux. En effet, la mthode tente de s'appuyer sur le point de vue des habitants en prenant en compte les "territoires vcus". La conception dindicateurs du dveloppement durable comme processus dynamique, participatif et gnrateur de consensus : la dmarche de lARF LAssociation des Rgions de France (ARF) sest engage trs tt dans le soutien de fortes politiques rgionales de dveloppement durable. Cet engagement sest notamment traduit par la cration dune Commission Dveloppement durable et environnement au sein de lARF.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

113

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Dans ce contexte, le Manifeste du dveloppement durable de lARF adopt en congrs le 14 dcembre 2006 conclut la ncessit dune batterie dindicateurs de dveloppement durable (IDD) commune aux Rgions de France, comme pice matresse de cette dynamique autant pragmatique que rigoureuse. Celle-ci fait lobjet dune proposition de lARF au Grenelle Environnement . Ces indicateurs doivent permettre tout la fois de mesurer techniquement laction effective des Rgions et de rendre compte aux citoyens des progrs raliss, en vitant le double cueil des slogans publicitaires et des constructions compliques. Aussi les Rgions sont-elles actuellement investies dans un processus de coconstruction dindicateurs de dveloppement durable pertinents, processus port par la Commission Dveloppement durable et environnement de lARF. En appui ce processus participatif, le Cabinet E.C.s. a dabord dress une gnalogie des IDD et dgag des bilans dexprience avec les Rgions les plus avances sur le sujet. Il ressort a minima quil convient dviter nouveaux deux cueils. Dune part descendre des finalits gnrales du dveloppement durable pour aboutir une batterie dindicateurs inadapts aux collectivits et peu pertinente ou oprante lchelle des territoires ; dautre part et linverse, remonter des territoires et des comptences des collectivits, ce qui conduit des batteries dindicateurs trop spcifiques et non partageables entre les collectivits. Pour ce faire, le parti pris mthodologie est dabord de se situer du point de vue de lhabitant, au sens fort : celui qui habite le lieu. Prenant en compte les territoires vcus ainsi que des ralits socitales, conomiques et environnementales du quotidien, des objets communs et perceptibles par tous, servent de rfrents une dclinaison dindicateurs possibles. Par exemple lexprience concrte des bouchons, au sens de la saturation du trafic automobile, est rvlatrice dun dveloppement non durable. Cette ralit concrte et vcue le bouchon fait apparatre de manire mle et immdiate plusieurs dimensions essentielles du dveloppement durable et des politiques publiques Il est synonyme dheures de travail perdues, de perte de productivit, dun dficit pour lconomie ; de production de CO2, de pollution de lair donc de plusieurs types de pressions sur lenvironnement ; de plusieurs types dimpacts sanitaires. Il constitue une ralit de la qualit de vie comme de sa perte. Il est aussi le corollaire des politiques menes sur les autres modes de transport. De mme par exemple ltalement urbain dans toutes ses dimensions peut tre rvl par des ralits vcues telles que le dveloppement de lclairage public ou des amnagements routiers (giratoires), prsentant galement une quantit dinformations analysables sous plusieurs aspects du dveloppement durable et de la conduite des politiques publiques.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

114

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Lessence mme du dveloppement durable rside prcisment dans une approche novatrice multidimensionnelle et non sectorielle du dveloppement. Limpratif est de ne pas penser lconomie sans anticiper ses pressions environnementales, de ne pas se proccuper denvironnement sans prendre en compte les impacts socitaux ou encore de prendre en compte le social lorsquon agit pour le dveloppement conomique. A lchelle des territoires, une fois identifies les ralits vcues o se croisent ces dimensions, il est possible de les chiffrer en comptabilisant par exemple le nombre de kilomtres de bouchons, la production de CO2 induite, le nombre dheures perdues etc. et de dgager les informations quelles contiennent. Et de mesurer les reports modaux effectifs et les amliorations possibles au profit des modes collectifs et doux. Par une analyse fonctionnelle, mthode bien connue dans lindustrie notamment, on identifie et slectionne les objets. On peut ensuite extraire de ces objets plusieurs niveaux techniques dindicateurs, quils soient dtat, de ralisation, de rsultats ou dimpact ; en mme temps que ces objets restent simples, comprhensibles et appropriables par lensemble des habitants. En suivant ce processus inter-rgional et systmatique didentification et de slection des objets, les Rgions de France sacheminent aujourdhui vers un outil lui permettant de rendre intelligible et mesurable leurs actions pour le dveloppement durable des territoires.
Association des Rgions de France (ARF) : Didier Jouve, prsident de la commission du dveloppement durable, Elisabeth DUPONT-KERLAN, 01.45.55.82.48, edupont-kerlan@arfregions.org, Jean DUVERGER, coordinateur de la commission dveloppement durable, Conseil rgional Rhne-Alpes, 04.72.59.40.00, jduverger@rhonealpes.fr; Cabinet E.C.s. : A. de Champris, 01 44 64 22 04, contact@cabinet-ecs.org

3.2.3. Lvaluation territoire

du

dveloppement

durable

lchelle

du

Il existe un grand nombre d'outils permettant de mesurer le dveloppement durable l'chelle d'un territoire. Invente au dbut des annes 90, l'empreinte cologique vise mesurer la pression que lhomme exerce sur la nature. Elle met en vidence la surface thorique de sol et de mer ncessaire, dune part, pour produire lintgralit des biens et des services consomms par la socit, et, dautre part, pour assimiler lensemble des dchets produits. Il ne s'agit pas d'un indicateur de dveloppement durable car il ne mesure pas l'impact dans le temps des politiques publiques. Un indicateur de dveloppement durable a en effet vocation suivre et mesurer les progrs accomplis en faveur du dveloppement durable dans le temps. Il permet galement de comparer des volutions dans lespace, dun territoire un autre.
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

115

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A la recherche des indicateurs de dveloppement (durable) l'chelle du territoire

Les indicateurs classiques de mesure du dveloppement d'un pays (PNB, PIB, etc.) sont considrs comme impuissants valuer la durabilit d'une politique de dveloppement. Dans la ligne des indicateurs sociaux qui firent irruption dans le domaine des politiques publiques au milieu des annes 60, la recherche d'indicateurs de dveloppement est donc revenue sur le devant de la scne dans les annes 90. L'valuation du dveloppement durable l'chelle d'un territoire peut s'effectuer l'aide dindicateurs dtat du territoire qui permettent de suivre lvolution de celui-ci en matire de dveloppement durable. Ils sont utiles pour piloter le projet et le rorienter. Cependant, ils ont aussi vocation tre diffuss largement, notamment auprs des lus, des acteurs locaux et de la population, ce qui ncessite une lecture aise des rsultats. A titre indicatif, Paul-Marie BOULANGER91 a recens plusieurs indices synthtiques permettant de mesurer le dveloppement d'un territoire (le dveloppement n'englobe pas ici ncessairement le dveloppement durable) : LIDH, ou indicateur de dveloppement humain, a t cr par le Programme des Nations unies pour le dveloppement (PNUD) partir, notamment, des travaux de A. Sen. Il combine trois indicateurs de base : lesprance de vie la naissance ; le revenu ; le niveau lducation, lui-mme mesur par le taux dalphabtisation des adultes combin au taux de frquentation scolaire des jeunes. LISEW, ou Index of Sustainable Economic Welfare, est un indice montaire corrigeant le PIB sur un certain nombre de points, notamment en prenant en compte les cots sociaux et environnementaux lis aux ingalits de revenus, la mobilit, aux accidents de roulage, la pollution de lair et de leau, aux nuisances sonores, la perte dcosystmes naturels, la diminution des rserves de ressources non renouvelables, la lutte contre le rchauffement climatique et lrosion de la couche dozone. Le GPI, pour Genuine Progress Indicator, est calcul, depuis 1995, pour les Etats-Unis par linstitut californien Redefining Progress. Il est directement driv de lISEW auquel il apporte quelques modifications, notamment en introduisant la contribution positive du bnvolat, des biens de consommation durables et des infrastructures de transport et en soustrayant un certain nombre de cots supplmentaires, comme le cot des fractures familiales, du chmage, de la perte de loisirs, de la perte despace disponible, etc.

91 BOULANGER, Paul-Marie : Les indicateurs de dveloppement durable : un dfi scientifique, un enjeu dmocratique, in Les sminaires de lIddri, n 12, 2004. 24 p. http://www.iddri.org/iddri/telecharge/mardis/s12_boulanger.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

116

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Le MDP, ou Measure of Domestic Progress, est un driv de lISEW proche du GPI, dont il constitue une sorte de version britannique. Sa spcificit rside notamment dans la prise en compte des consommations dfensives des mnages en matire de sant et dducation ainsi que dans certaines amliorations apportes au calcul des cots environnementaux. Lindicateur de bien-tre conomique et social de Osberg et Sharpe consiste en une moyenne pondre de quatre indicateurs de base, eux-mmes synthtiques, portant sur : les flux de consommation au sens large ; les stocks de richesses (conomique, humaine et environnementale) ; les ingalits et la pauvret conomiques ; linscurit conomique (dimension trs originale tenant compte des risques conomiques lis au chmage, la maladie, la vieillesse et aux familles monoparentales). Le HWI, ou Human Well-Being Index, est un des indicateurs ( ct du EWI, ou Ecosystem Well-Being Index) proposs par Prescott-Allen dans son ouvrage The Wellbeing of Nations (2001). Il est compos dindicateurs de base relatifs la sant (esprance de vie) et la vie familiale (stabilit de la famille), au revenu et au degr de satisfaction des besoins de base, la sant de lconomie (inflation, chmage, endettement), au niveau dducation et aux moyens de communication (y compris le tlphone et laccs Internet), aux droits politiques et civiques, ltat de paix ou de conflit arm (interne et externe), la criminalit et lgalit. On peut rajouter cette liste le BIP 4092 (Baromtre des ingalits et de la pauvret) dfini par le Rseau dalerte sur les ingalits sous la forme d'un baromtre construit sur plus de 60 sries statistiques concernant les diffrents champs concerns par les ingalits et la pauvret: travail, revenus, logement, ducation, sant, justice... Les indicateurs peuvent permettre aux territoires de se comparer entre eux d'o l'laboration d'une liste nationale dindicateurs couvrant les enjeux majeurs du dveloppement durable dclinables lchelle territoriale. Les travaux conduits par la DIACT, Observatoire des territoires, avec lappui dexperts et des ministres concerns, ont pour ambition de produire des indicateurs territoriaux de dveloppement durable de niveau infra-rgional, appropriables par les collectivits, et leur permettant de suivre ltat de leur territoire. Une liste de douze indicateurs de niveau rgional ont dj t construits en rfrence la SNDD et seront publis courant 2008. Il sagit dans un second temps de produire des indicateurs plus dtaills de niveau infrieur.

92

www.bip40.org/

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

117

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Vers un rfrentiel national dindicateurs territoriaux ? En 2006, lors de la rvision de la Stratgie nationale de dveloppement durable (SNDD), il avait t envisag une dclinaison territoriale des douze indicateurs phares nationaux. Cest ainsi que neuf premiers indicateurs sont diffuss avec des fiches danalyse sur le site Internet de lObservatoire des territoires depuis novembre 2007. Ils rsultent dun travail partenarial anim par la DIDD (Dlgation interministrielle au DD) et la DIACT (Dlgation interministrielle lAmnagement et la comptitivit des territoires) associant services de ltat, collectivits et experts93. Ces indicateurs ont t adapts aux approches territoriales tout comme certaines thmatiques, pour des raisons de pertinence et de disponibilits de donnes : dveloppement conomique, changement climatique et nergie propre, transport et mobilit, mode de production et de consommation, conservation et gestion des ressources, sant publique et gestion des risques, cohsion sociale et territoriale et bonne gouvernance. Le rle cl des territoires dans les stratgies de dveloppement durable Pourquoi une dclinaison territoriale des enjeux stratgiques nationaux et europens ? Le rle des territoires dans les politiques en faveur du dveloppement durable est aujourdhui largement reconnu. Les politiques conduites aux niveaux national et europen ont des impacts variables dun territoire lautre, dans les domaines conomiques, sociaux ou environnementaux. Il y a donc un intrt connatre comment et pourquoi se diffrencient ces enjeux dans les territoires pour suivre et adapter les politiques publiques concernes. De plus, les acteurs dans leur diversit (citoyens, entreprises, collectivits territoriales, tat dconcentr) sont maintenant mobiliss dans les territoires y compris sur les enjeux nationaux, europens voire mondiaux. Enfin, les territoires constituent une maille dobservation et didentification des enjeux. Certains enjeux ne sont observables que sur de grands territoires car ils nont de sens qu cette chelle. Dautres enjeux ne sont rvls qu une chelle fine car les moyennes masquent les disparits sur des grands territoires. Aussi, les territoires dobservation sont souvent distinguer des dcoupages institutionnels et des comptences qui y sont lis. En cela, la question de ladquation du primtre institutionnel et du territoire pertinent dobservation peut faire dbat. Quelques enseignements tirs des premiers indicateurs nationaux territoriaux La mise en uvre du dveloppement durable repose sur la prise en compte simultane de lconomique, du social et de lenvironnemental et galement sur les principes de solidarit dans le temps et dans lespace. De plus, elle impose une approche transversale qui transcende les dmarches sectorielles. Ces principes sappliquent pleinement lapproche infranationale. Si on parle de rfrentiel, celui-ci doit tre compris comme un ensemble qui fait systme.

93

Dont Insee, IFEN

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

118

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Un des premiers enseignements de ces indicateurs est limportance des disparits dues aux effets sectoriels et structurels. Les missions de gaz effet de serre, reprsentes par le pouvoir de rchauffement global en millions de tonnes quivalent CO2 (PRG) en sont une illustration. Les disparits rgionales pour la valeur du PRG ((hors puits de carbone) sont grandes, les carts entre les rgions extrmes variant de 1 (Corse, Limousin) 15 (le-deFrance, Rhne-Alpes) Les disparits sexpliquent par la densit de population trs variable dune rgion lautre, lorigine dmissions lie en grande partie lhabitat, aux btiments tertiaires et aux transports, au poids du transport de transit qui touche particulirement certains territoires, ou encore par lexistence de certaines activits conomiques mettrices de gaz effet de serre. Ainsi, ces indicateurs poursuivent en partie lobjectif de savoir o porter les efforts de rduction de gaz effet de serre et didentifier leurs origines sectorielles. Un autre enseignement est la ncessaire prise en compte de linterdpendance des territoires pour articuler le niveau local et global dans le sens de lintrt gnral. Cette approche a des vertus pdagogiques pour mobiliser et susciter la coopration des acteurs diffrents niveaux et renvoie la dimension importante du dveloppement durable quest la bonne gouvernance. La question de larticulation entre le local et le global trouve une illustration par exemple avec la part du rail dans le transport intrieur de marchandises, un indicateur qui relve de la thmatique des transports et mobilit . Cette part est variable mais reste assez faible, stageant de 4% en Basse Normandie 26% en Lorraine. Ces carts tiennent la nature des marchandises transportes, plus particulirement limportance des pondreux dans le fret rgional. Cependant, une part croissante des produits manufacturs (notamment les produits de consommation) est importe et transite par les grands ports maritimes europens, avant dtre achemine majoritairement par route vers leur destination finale. Le choix du rail, comme celui du fluvial dpendent de multiples acteurs privs et publics qui dpassent donc le seul cadre du territoire. Les interprtations des indicateurs territoriaux ncessitent aussi le plus souvent des approches transversales Le trs faible taux de chmage de certains territoires ruraux ou urbains peut ainsi rsulter de limportance du vieillissement et de la migration motive par le manque doffre demplois, notamment celle de jeunes, qui ont un taux de chmage structurellement lev et, ne doit nullement tre interprt comme un phnomne favorable. De mme, lchelle de rgions certaines cumulent un taux de chmage important et une croissance du PIB leve. Il faut donc des indicateurs transversaux qui invitent comprendre les dterminants avant dtablir des comparaisons entre territoires. La question de la bonne chelle territoriale dobservation est dcisive. Certains indicateurs environnementaux nont gure de signification lchelle locale dans la mesure o les faits gnrateurs sexercent des chelles beaucoup plus larges. A linverse, certains indicateurs mesurs une chelle fine permettront de rvler des spcificits territoriales gommes par des effets de moyenne dautres chelles.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

119

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Lindicateur du rapport inter dcile du revenu fiscal par unit de consommation, qui mesure la disparit relative entre les plus hauts et les plus bas revenus, lchelle des zones demploi, est un indicateur qui, permet dapprhender si le dveloppement conomique lchelle des territoires saccompagne dingalits de revenu. Ainsi, A lchelle des rgions, il apparat que les rgions prsentant les disparits relatives de revenus les plus leves avec des disparits de 6-7, en 2005, sont lle-de-France, le Languedoc-Roussillon, Provence-Alpes-Cte dAzur et, celles qui ont les disparits relatives les plus faibles sont les Pays de la Loire, la Bretagne avec des rapports inter dciles de 4. Lchelle des zones demplois permet de faire ressortir dventuelles htrognits au sein des ces grands espaces. Ainsi, une rgion comme Provence-Alpes-Cte dAzur prsente des zones demplois dont les disparits vont de 4 11 suivant les zones demploi pour un cart inter dcile rgional de 6,7, tandis quelles varient respectivement de 3 5 pour la rgion des Pays de la Loire pour un rapport inter dcile rgional de 4. Vers des indicateurs prenant davantage en compte les besoins des acteurs territoriaux Les actions autour de projets de territoires se dveloppent, des espaces de cooprations sorganisent y compris transfrontaliers. Les opportunits associes la diversit des territoires, la capacit de mobilisation des citoyens pour dgager des solutions pratiques et dpasser les cloisonnements entre politiques sectorielles constituent des lments cls des stratgies nationales ou europennes. En France, les collectivits ont dvelopp des stratgies diffrencies, qui valorisent les atouts propres chaque territoire et recueillent ladhsion des citoyens. De nombreuses initiatives sont prises pour laborer des rfrentiels permettant soit de suivre leurs propres actions, soit pour dfinir des cooprations entre acteurs territoriaux (voir lexemple de Midi-Pyrnes). Au-del des ces premiers indicateurs territoriaux, une deuxime tape est mise en uvre pour mieux prendre en compte les problmatiques propres aux territoires ainsi quau suivi des politiques territoriales contractuelles Etat-Rgions et Europe. Ces indicateurs devraient notamment contribuer mesurer les progrs accomplis dans les thmatiques communes certaines collectivits ayant adopt un projet territorial de dveloppement durable, comme les agendas 2194. Lenjeu est de proposer des indicateurs harmoniss permettant de rpondre des besoins de comparaisons pour suivre les progrs accomplis sur des territoires, suivant des thmatiques plus fines et permettant galement de donner rflchir sur les dterminants et sur linteraction des territoires et des acteurs multi-niveaux.
Contacts : Observatoire odile.bovar@diact.gouv.fr des territoires : www.territoires.gouv.fr, Madame Odile BOVAR,

94 Afin de donner plus de lisibilit aux dmarches des collectivits, le Ministre de lcologie et du dveloppement durable a labor (cf. circulaire en date du 13 juillet 2006) un cadre de rfrence pour les projets territoriaux de dveloppement durable et les Agendas 21 locaux, ainsi quun appel reconnaissance de tels projets

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

120

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

L'Association des Communauts urbaines de France (ACUF) s'est galement investie dans une dmarche de dfinition dindicateurs de dveloppement durable pour le pilotage de lvaluation et de la performance des agglomrations. Prsentation de la dmarche de l'ACUF : "Vers une dfinition dindicateurs de dveloppement durable pour le pilotage de lvaluation et de la performance des agglomrations Dans le prolongement des travaux conduits en matire de performance des collectivits locales (tude en 2006 sur les outils de la performance) et de mesure de celle-ci en matire de dveloppement durable (notation extrafinancire du Grand Lyon et de Marseille Provence mtropole), lACUF a confi lAFNOR une tude appuye sur lexprience de lAgence de Notation des Villes, ayant pour objet de dfinir les indicateurs de mesure de la performance en matire de dveloppement durable des territoires urbains. Celle-ci vise atteindre trois objectifs : o slectionner et faire reconnatre les critres d'valuation de la performance en matire de dveloppement durable des territoires urbains et dimpacts de la politique de lagglomration au-del de ses frontires, o mobiliser les lus et parties prenantes du territoire autour d'indicateurs qui leur permettent de prsenter leur territoire en toute lgitimit, transparence et impartialit, pour une meilleure visibilit des perspectives quil offre, o disposer de documents de rfrence qui pourront devenir les supports d'action d'information, de formation, de conseil et de contrle. Cette tude est entre dbut 2008 dans sa phase oprationnelle. Elle sappuie sur un comit de pilotage constitu, outre les 5 communauts urbaines exprimentatrices (Bordeaux, Lille, Lyon, Nantes, Strasbourg), de lAFNOR, de lAgence pour la notation des villes, de la Dlgation du dveloppement durable (DDD), du MEDAD, de la DIACT, de lINSEE, dassociations d'lus (ADCF, ADF, AMGVF, FNAU) et duniversitaires. Un premier travail de cadrage a t ralis sur la base des engagements pris dans la "Charte des communauts urbaines engages pour un dveloppement durable". Il est soumis dans un premier temps lanalyse des 5 CU exprimentatrices et a t analys par le comit de pilotage lors de sa runion du 15 fvrier 2008. Par ailleurs, le droulement de ces travaux sera coordonn avec deux autres dmarches dlaboration dindicateurs de dveloppement durable auxquelles lACUF est invite participer : o Vers un rfrentiel commun dvaluation des agendas 21 locaux pour les collectivits territoriales pilot par la Dlgation interministrielle au Dveloppement durable, o Indicateurs territoriaux de dveloppement durable pilot par la DIACT
Contacts : Olivier Landel, Dlgu Gnral, Association des Communauts urbaines de France, 2 rue de Villersexel 75 007 Paris Tl : 01 42 22 19 19 ; Courriel : landel@communautes-urbaines.com

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

121

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Plusieurs collectivits se sont en outre lances dans des dmarches pionnires d'laboration d'indicateurs globaux de mesure du dveloppement durable sur leur territoire en s'inspirant notamment de l'Indicateur de Dveloppement Humain (IDH) prcit. Les indicateurs de dveloppement durable en Rgion Nord Pas de Calais Le Conseil rgional du Nord Pas de Calais s'est dot ds 1998 d'une grille d'analyse des politiques rgionales et d'indicateurs de dveloppement durable pour le suivi du contrat de plan Etat-Rgion 2000-2006. En 2003, la Rgion a lanc le projet "Indicateurs 21" qui vise doter l'institution de nouveaux indicateurs de richesse, alternatifs au PIB et complmentaires de celui-ci avec l'objectif de disposer d'indicateurs synthtiques mesurant la sant environnementale du territoire mais galement la sant sociale, c'est--dire les progrs raliss sur le plan humain. Confis lUniversit de Lille 1 et l'Institut Wallon de l'valuation, de la prospective et de la statistique (IWEPS), ces travaux visaient dcliner au niveau rgional les indicateurs du PNUD (Programme des Nations unies pour le dveloppement) pour mesurer les ingalits de dveloppement entre pays : l'indicateur de dveloppement humain (IDH), l'indicateur de pauvret, l'indicateur de participation des femmes la vie de conomique et politique. Les auteurs de ltude sont parvenus chiffrer, pour le Nord - Pas de Calais et la Wallonie, la France et la Belgique ces trois indicateurs sur une priode denviron 20 ans, de 1982 2003. Nanmoins, le manque de donnes statistiques lchelle rgionale, notamment relatives la pauvret, a rendu trs dlicat le calcul de certains des indicateurs lchelon rgional. L'indicateur de participation des femmes la vie de conomique et politique a t calcul pour 2002. A noter que l'IDH a t retenu sur proposition de la Rgion comme l'un des indicateurs de contexte pour l'valuation du CPER et des programmes oprationnels en Nord Pas de Calais. Toujours dans le cadre de la dmarche "Indicateurs 21", la Rgion a confi, en 2006, Florence Jany-Catrice, matre de confrence l'Universit de Lille 1 et co-auteur avec Jean Gadrey de louvrage "Les nouveaux indicateurs de richesse", et son quipe une mission visant calculer l'chelle de la rgion Nord - Pas de Calais, le Baromtre des Ingalits et de la Pauvret, appel BIP 40 et produire un rapport sur la pauvret et les ingalits en Nord Pas de Calais. La construction dun baromtre rgionalis des ingalits et de la pauvret et ltude qui laccompagne ont pour objectif de nourrir le dbat politique et citoyen sur les ingalits dans la rgion Nord - Pas de Calais partir dune vision pluridimensionnelle et volutive de la pauvret et des ingalits sociales.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

122

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Le baromtre des ingalits et de la pauvret est un indicateur synthtique mis au point au niveau franais par le Rseau d'Alerte sur les Ingalits (RAI), rseau compos de militants associatifs, de chercheurs et d'universitaires. Il vise rsumer les grands problmes sociaux contemporains de la France en tant orient sur la question des ingalits. Le BIP 40 comporte 6 grandes dimensions : ducation, justice, logement, sant, revenus, travail et emploi. Ces deux dernires dimensions, importantes aux yeux de leurs concepteurs, sont elles-mmes dcomposes en sous dimensions : consommation, ingalits et fiscalit, pauvret, salaires pour la dimension revenus ; chmage, conditions de travail, prcarit, relations professionnelles pour la dimension travail et emploi. Dans le cadre du travail sur la rgionalisation du BIP 40, la D2PE a dcid de mettre en place plusieurs groupes de travail thmatiques (ducation, justice, logement, revenus, sant, travail et emploi) constitus de reprsentants de linstitution rgionale, duniversitaires, de reprsentants de la socit civile, de reprsentants des organismes producteurs et diffuseurs de donnes afin danalyser les variables composant le baromtre et de dterminer les facteurs explicatifs des volutions observes. Cela permettra galement aux personnes participant ces groupes de sapproprier loutil et den dvelopper lusage. Les dernires runions des groupes avec les partenaires concerns par les diffrentes variables aboutiront la rdaction d'un rapport dont la sortie est prvue pour la fin mars 2008. Enfin, la Rgion a fait appel en 2005 une agence de notation extra-financire pour valuer ses performances en matire de dveloppement durable qui a t reconduit en 2008.
Contacts : Pierre-Jean LORENS, Directeur du Dveloppement Durable, de la Prospective, et de l'valuation, Conseil Rgional Nord Pas de Calais, tl : 03.28.82.70.01 - Courriel : pj.lorens@crnpdc.fr

La Communaut urbaine du Grand Lyon a dans la mme optique et plus rcemment dvelopp une dmarche originale en laborant un IDH local. LIDH du Grand Lyon : vers un IDH local Le concept de dveloppement humain s'intresse aux fins davantage qu'aux moyens du dveloppement et du progrs. L'objectif du dveloppement devrait consister crer un environnement permettant aux individus de profiter de vies longues, saines et cratives. (PNUD, 1990). LIDH du Grand Lyon a t calcul pour lanne 2003 selon les rgles du PNUD. Il atteint une valeur de 0,97 sur 1 ce qui est trs bon et inscrit ainsi le Grand Lyon parmi les territoires ayant le plus haut IDH.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

123

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

On notera que lIDH de la France est de 0,94. Cette valeur de 0,97, situe au sommet du tableau, est satisfaisante en termes de notation mais cache a contrario une fiabilit insatisfaisante des donnes utilises pour son calcul. Cr lorigine pour comparer les performances des tats, lIDH est en effet bas sur des indices qui font gnralement lobjet de statistiques fiables cette chelle macrogographique mais peu une chelle locale (cest notamment le cas du PIB, tandis que les donnes sur lalphabtisation ne font pas lobjet dun rel suivi statistique en Europe). Afin de disposer de donnes plus pertinentes et de permettre une analyse lchelle communale, le Grand Lyon a procd la construction dun IDH alternatif, un IDH local, plus adapt aux problmatiques locales. Les trois dimensions du dveloppement humain sont conserves mais illustres chacune avec un indicateur disponible localement de manire fiable et rgulire :
o o o

la capacit bnficier dune vie longue et saine : lesprance de vie la naissance (par grands secteurs de 40 000 habitants). laccs lducation et aux connaissances : pourcentage de personnes de plus de 15 ans sorties du systme scolaire sans diplme (chelle communale), laccs aux ressources matrielles : valeur mdiane des revenus fiscaux des mnages (chelle communale).

A noter que selon les services du Grand Lyon, l'utilisation de lIDH du PNUD en tant quindicateur de dveloppement durable est relativement limite. Bien qutant indniablement plus qualitatif que le seul PIB, lIDH ne peut pas pour autant tre considr comme un indicateur de dveloppement durable dans la mesure o il napporte aucune information sur les thmes environnementaux ou sur lintgration du long terme (les gnrations venir) dans les modes de dveloppement. Nanmoins, le croisement de lIDH avec des indicateurs de pression sur les ressources plantaires (empreinte cologique, missions de gaz effet de serre) permet de disposer dune approche du caractre durable ou non dune socit. Cest dans cette optique que son calcul a t initi sur le territoire du Grand Lyon.
Contacts : Nadia MABILLE, charge de mission Agenda 21/ Dveloppement Durable, Communaut urbaine de Lyon, Direction Prospective et Stratgie d'Agglomration, 20 rue du Lac - BP 69399 Lyon cedex 03 - Tel: 04 78 63 46 33 - nmabille@grandlyon.org

PRECAUTIONS : o S'assurer d'un portage politique fort o Dterminer le territoire le plus pertinent o S'appuyer sur une forte concertation avec les acteurs locaux et les producteurs de donnes o Dterminer en amont du processus participatif quel type d'valuation participative veut-on mettre en uvre Le Centre de ressources du dveloppement durable (CEERD)95 a rcemment publi une fiche pratique fort clairante ce sujet96.
95

Centre de ressources du dveloppement durable

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

124

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

3.2.4. La notation extra financire des collectivits, nouvelle forme dvaluation des politiques publiques sous langle du dveloppement durable ? L'apprciation de l'engagement d'un organisme ou d'une collectivit en matire de dveloppement durable n'est pas aise. Au-del des exprimentations voques ci-dessus dans les collectivits, de nombreux rfrentiels ont t labors pour les entreprises : des rfrentiels d'engagement notamment au niveau international (Global compact, principes de l'OCDE par exemple), des rfrentiels caractre lgislatif au niveau europen et national (stratgie europenne (et franaise) de dveloppement durable, obligations de la Loi NRE97 de 2001) des rfrentiels de certification (normes ISO et EMAS98, certification dveloppement durable) et des rfrentiels d'valuation. Les critres d'valuation ont t dvelopps par des agences d'analyse sociale et environnementale dans les annes 90. Dans cette optique, les agences de notation extra-financire ont pour objet de constituer des rfrentiels permettant l'organisme not (ou des investisseurs) d'avoir une ide de la ralit des engagements dudit organisme en matire de dveloppement durable. Qu'est-ce que la notation extra-financire ?

Selon le site www.novethic.com, la notation extra-financire "value les engagements, les politiques mises en oeuvre et les performances de l'entreprise dans les domaines sociaux, environnementaux et de gouvernance, lis ses activits. A partir de l'exploitation des informations communiques par lentreprise ou par d'autres parties prenantes (les ONG, les syndicats, les mdias, etc.), l'analyse extra-financire apprhende le niveau de prise en compte des impacts extra-financiers - sociaux, environnementaux et de gouvernance- de lactivit conomique d'une entreprise". L'analyse se fait partir de grilles d'valuation qui varient largement selon les agences. Elles comportent un ensemble de critres extra-financiers pertinents, gnralement pondrs selon leur degr d'importance et aboutissent un score ou une note globale qui positionnent l'entreprise sur une chelle de notation, la plupart du temps sectorielle. Faute de normalisation, chaque agence a dvelopp sa propre mthodologie. Il existe deux types de notation : la notation dclarative qui concerne essentiellement les entreprises cotes, et la notation sollicite, qui peut tre demande par toutes les entreprises. Cette notation s'impose peu peu comme un vritable gage de "confiance" sur les marchs financiers, au mme titre que la certification qualit.
http://www.cerdd.org/spip.php?article1649 Loi sur les Nouvelles Rgulations conomiques de 2001 98 La norme europenne EMAS (Eco-Management and Audit Scheme), lance en 1995 par la Commission Europenne, est un outil de gestion pour tous types d'organisations leur permettant d'valuer, d'amliorer et de rendre compte de leur performance environnementale.
97 96

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

125

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La pratique de la notation extra financire de collectivits territoriales s'est dveloppe dans certains pays d'Europe, en Allemagne et en Suisse notamment. La notation extra-financire constitue une forme d'valuation externe, le plus souvent sollicite, c'est--dire ralise la demande de la collectivit. La notation extra-financire des collectivits reprsente en France un march concurrentiel en plein essor marqu par l'intervention de trois structures identifies : BMJ Ratings, Innovest et Vigeo, qui sont trs ingalement investies sur le march des collectivits locales. Un article de la Gazette des communes fait rfrence en 200799 aux dbuts trs prometteurs de la notation extra-financire en confirmant que "les modalits de collecte et de traitement varient d'une agence de notation l'autre, tout comme les critres privilgis pour laborer la note finale. Des diffrences que l'on retrouve au sein des quelques agences qui ont investi le march des collectivits locales (BMJ Ratings, Innovest, Vigo)". Un autre acteur, la socit Arcet Notation, intervient depuis peu dans le champ des collectivits territoriales. Ces quatre organismes dveloppent des mthodologies trs diffrentes et sont encore trs peu investies sur le champ des collectivits, l'exception de BMJ Ratings, qui occupe une position de leader sur ce march et qui a t l'agence ayant expriment la premire l'ensemble des niveaux de collectivit. Le site internet de BMJ Ratings indique que "sur la base de son modle dvaluation, Urbi Valor propose aux collectivits dsireuses de connatre leur niveau de performance dveloppement durable, une mission dvaluation approfondie qui porte sur lensemble des critres sociaux, environnementaux et socitaux. Ce travail dvaluation permet de dfinir la performance dveloppement de la ville audite et tablit la liste de ses points de faiblesse et ses facteurs de progrs. Une mission dvaluation, dans son format standard, ncessite un travail en data room , des entretiens qualifis et un traitement des informations selon notre modle de notation". L'agence s'appuie sur un modle d'valuation comprenant une analyse managriale croisant les quatre domaines du dveloppement durable (environnement, cohsion sociale, dveloppement conomique et amnagement du territoire et gouvernance) avec sept principes de gestion. BMJ Ratings ralise chaque anne depuis 2002 une enqute auprs des 200 plus grandes villes franaises et des 26 rgions sur leurs pratiques et lintgration de dveloppement durable dans leurs politiques. Depuis 2007, cette enqute a t tendue aux dpartements et l'agence met en ligne un questionnaire sur les pratiques de dveloppement durable des 1000 plus grandes villes franaises.
99 Notation extra-financire, des dbuts trs prometteurs, in La Gazette des Communes, des Dpartements et des Rgions, n 1892, 25/06/2007, p 30

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

126

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Leader sur le march franais de la notation extra-financire des entreprises, VIGEO a adapt sa mthodologie de notation aux collectivits et s'apprte investir ce march. L'approche de Vigeo100 se dcline comme suit. Le primtre de l'investigation est dfini au pralable avec l'entreprise ou la collectivit, en fonction de ses besoins (tout ou partie des politiques de dveloppement durable, focus sur un point particulier, ...). La notation est dlivre au terme d'une analyse approfondie conduite sur place et sur pices par des auditeurs spcialiss dans les domaines sous revue. Les domaines, sous-domaines et critres dfinissant el champ d'analyse de l'valuation sont examins au regard de la politique de la collectivit, des processus mis en oeuvre pour la dployer (procdures, moyens engags, outils de reporting et de contrle).Chaque critre est dfini par des objectifs d'action prcis. L'analyse et la notation de chaque critre porte sur le niveau de prise en compte par le systme managrial de la collectivit des enjeux spcifiques en fonction de ses comptences et de son territoire. Les notes attribues sont accompagnes de l'identification et de l'apprciation des risques pour la collectivit, de ses points forts et de ses points faibles. Les domaines sont : le respect des droits humains sur les lieux de travail et dans la collectivit ; la gestion des RH et des relations professionnelles ; la prise en compte stratgique et matrise de l'impact des produits et services sur l'environnement ; la gestion de la relation avec les usagers, les fournisseurs et les dlgataires. Cabinet international de recherche financire et de notation d'entreprise spcialis dans le dveloppement durable, INNOVEST considre qu'il existe une corrlation entre la performance environnementale et la performance conomique. Cette socit a rcemment procd titre exprimental la notation d'une communaut urbaine. Arcet Notation101 s'appuie sur un processus de notation qui constitue un dispositif ad hoc d'valuation des politiques publiques fond sur un faisceau d'indicateurs de mesure de la performance environnementale, sociale, conomique et de gouvernance. La mthodologie dveloppe par Arcet Notation peut se rsumer ainsi : la notation est effectue au regard dun ensemble de 179 indicateurs tablis suivant une mthode originale et dpose, de techniques dvaluation propres aux entits publiques et en concordance avec les standards dorganisations internationales. Le process dvaluation et de notation exploit par Arcet Notation, intitul CIVITRANS, identifie 13 domaines d'observation, qui sont "contextualiss", c'est--dire relativiss en fonction des champs de comptence lgaux de la collectivit territoriale ou de l'tablissement public not. Les indicateurs sont pondrs selon un dispositif issu d'un modle mathmatique. La note globale est ensuite croise avec une analyse matricielle permettant l'examen de chacun des 13 domaines valus au regard de 7 critres d'apprciation de la qualit du mode de gestion de l'entit.
100 101

www.vigeo.com www.arcetnotation.com

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

127

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Le Dpartement du Finistre a expriment la notation extra-financire en l'intgrant dans un dispositif global d'valuation de ses actions en matire de dveloppement durable. L'exprience de recours la notation extra-financire au Conseil gnral du Finistre L'Agenda 21 dpartemental du Conseil gnral du Finistre a t adopt le 6 juillet 2006. Il prvoit un dispositif d'valuation sur trois volets :
o

L'laboration d'indicateurs globaux de contexte en lien avec les indicateurs dfinis par l'IFEN (Institut Franais de l'Environnement) L'valuation du fonctionnement interne des services dpartementaux et des modalits de mise en uvre des politiques publiques : c'est ce niveau qu'il a t dcid titre exprimental d'avoir recours une agence de notation extra-financire. L'valuation des objectifs de l'Agenda 21 : une convention a t signe avec un organisme de recherche sous le pilotage d'un professeur universitaire sur l'laboration d'une mthode originale d'valuation de l'Agenda 21 dpartemental sur la base de la constitution d'un outil permettant d'interroger la mise en uvre de l'action publique.

Selon les personnes du Conseil gnral charges de ce dossier, la notation extrafinancire sapparente davantage un audit extra-financier, au regard des principes du dveloppement durable, qu une relle valuation des politiques publiques. Elle permet d'apprcier la performance DD du Conseil gnral dans le fonctionnement de linstitution, dans la mise en uvre des politiques publiques dpartementales au regard du contexte local. Le Conseil gnral disposera au final du regard indpendant et prospectif dune agence de notation Les responsables dpartementaux se sont dclars satisfaits des rsultats de cette notation qui ont rpondu aux attentes initiales. Le rapport de l'agence a t remis chaque Conseiller gnral, a fait lobjet de prsentation devant les lus et lencadrement, d'une communication spcifique dans le Bulletin de liaison destination de l'ensemble des agents dpartementaux et a t prsent publiquement lors d'une confrence de presse. Le rapport final contient des recommandations court, moyen et long terme dont se sont saisi les dirigeants du Conseil gnral. A cet effet, cette tude constitue en elle-mme un vritable outil de management qui sert de feuille de route opposable aux services dpartementaux.
Contact : Monsieur Jacques BRULARD, responsable du service "observatoire, tudes et appui l'valuation", Direction gnrale, Conseil gnral du Finistre, 02 98 76 60 76, jacques.brulard@cg29.fr

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

128

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

La notation extra-financire constitue-t-elle une forme d'valuation des politiques publiques sous l'angle du dveloppement durable ?

La question pose renvoie en filigrane la proccupation de l'ensemble des acteurs intervenants dans le champ de l'valuation de l'action publique sous l'angle du dveloppement durable : la constitution d'un rfrentiel accept par tous et "labellis" par les autorits. Si la notation extra-financire, considre par la plupart des agences ellesmmes comme une valuation des engagements des collectivits et/ou des politiques publiques part entire, prsente des atouts qui augurent un dveloppement rapide de son activit dans le secteur public local, il apparat dlicat d'assimiler cette activit de l'valuation de politiques publiques sous l'angle du dveloppement durable. La notation extra-financire est considre par la plupart des collectivits notes qui ont t interroges dans le cadre du guide comme une activit bnfique plusieurs titres :
o

o o o

elle permet l'ensemble des services de se situer vis--vis des autres services en matire de contribution la stratgie de dveloppement durable de la collectivit elle rinterroge le sens de l'action de la collectivit sous un autre angle elle apporte un regard extrieur sur le positionnement de la collectivit sur un champ peu tudi dans une vision globale elle s'appuie pour la plupart des agences sur des mthodologies rigoureuses qui rsultent de plusieurs annes de travaux en matire de recherche et dveloppement elles permettent aux collectivits de communiquer sur leurs performances au regard du dveloppement durable vis--vis de leurs partenaires

Nombre d'lus et de dirigeants territoriaux demeurent rservs sur le recours une agence de notation plusieurs titres :
o o

Le caractre assez peu adaptable des matrices au contexte local L'absence de transparence dans l'laboration des rsultats (notes), les collectivits nayant pas accs aux critres et grilles danalyses dont les rsultats sont issus

Ceci constitue une critique rcurrente leur endroit, et indique lintrt de dvelopper avec les partenaires le reporting et le rating sur la base doutils publics ouverts, partags et transparents. Cela renvoie :
o o o

au caractre volutif et au manque de stabilit du rfrentiel, qui ne permet pas une comparaison aise dans le temps aux apprhensions fortes des lus et des dirigeants locaux vis--vis de l'ide mme de la notation sur la base du dveloppement durable, lobligation de conserver le mme prestataire dans le temps au regard de la diversit des modles : une collectivit ne pourrait pas comparer ses performances issues d'un modle avec celle issues d'un autre modle.
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

129

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

L'ambition des acteurs publics et privs est de constituer des rfrentiels afin de donner aux collectivits un cadre reconnu d'valuation de leur stratgie et leurs politiques au regard du dveloppement durable. L'valuation des politiques publiques sous l'angle du dveloppement durable s'appuie sur des principes forts tels que la transversalit, la transparence, la participation et la prise en compte de l'ensemble des parties intresses l'chelle d'un territoire. Un besoin de consolidation des pratiques valuatives se fait sentir au niveau local afin d'viter la dperdition des informations, de permettre la mise en commun des ressources et la constitution d'une culture commune sur un territoire. La bonne gouvernance, au niveau territorial, se nourrit en effet de cette ncessaire convergence des approches entre acteurs. A l'occasion d'une journe d'tude sur cette thmatique102 organise par l'ACUF en mars 2007 partir de l'exprimentation de la notation de la communaut urbaine de Lyon et de la communaut urbaine de Marseille par deux agences distinctes (BMJ Ratings pour la CU de Lyon et Innovest pour la CU de Marseille), l'Observatoire de la Dcision Publique (ODP) a t mandat par l'ACUF pour l'assister dans la production d'une analyse globale de l'exprimentation, devant rpondre la question suivante : "au regard des cadres poss par les Communauts urbaines en termes de dveloppement durable appliqu, la notation extra-financire peut-elle constituer un support d'valuation de la "durabilit" des politiques publiques territoriales ? A cette question, l'ODP prcise que les valuations et les notations des agences sont apparentes des missions d'audit essentiellement destines aux dcideurs et "tmoignent d'une photographie un moment T, et ne peuvent constituer une dmarche d'valuation permanente et partage". Hlne COMBE, dlgue de l'ODP ajoute cet gard, dans les actes de la Journe d'tude, que "les principes de confidentialit, de proprit intellectuelle des matrices et de pondration rendent impossible lappropriation complte de loutil de notation par la collectivit". 3.3. Comment consolider lvaluation des politiques sous langle du dveloppement durable lchelle du territoire ? La dfinition d'un cadre de rfrence au niveau national a apport des repres ncessaires et salutaires aux collectivits locales et plus gnralement l'ensemble des acteurs engags dans une dmarche d'agenda 21. Il est acquis (et c'est a priori la moindre des exigences du dveloppement durable) que l'valuation de l'action publique sous l'angle du dveloppement durable s'inscrive dans une logique participative et qu'elle associe l'ensemble des acteurs concerns l'chelle du territoire sur l'laboration d'un projet partag.
102 ACUF (Association des Communauts urbaines de France) : Journe d'tude du 29 mars 2007 : Dveloppement durable : notation, valuation, performance, Partage dexpriences public/priv http://www.communautes-urbaines.com/Download/actes_ACUF.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

130

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Elle concerne par ailleurs des finalits et des enjeux de porte globale et universelle, bien que devant tre dclins en termes de priorits et de pratiques adaptes, au gr des spcificits des situations locales. Les difficults apparaissent ici : sur quelle approche du dveloppement durable s'entendre ? Quel acteur, quelle collectivit peut fdrer l'ensemble de ses partenaires sur un mme territoire afin d'laborer une culture commune, y compris de l'valuation ? Autour de quels outils ? Comment capitaliser l'ensemble des valuations dans le temps et dans l'espace ? Les expriences des Dpartements du Val-de-Marne et de la Gironde apportent des lments de rponse trs diffrents mais nanmoins trs instructifs. Le Conseil gnral du Val-de-Marne constitue cet gard un exemple abouti de l'arrive maturation d'une dmarche globale d'intgration du dveloppement durable axe notamment sur l'amlioration de la participation des citoyens et une approche concrte du dveloppement durable. L'ambition est de fdrer l'ensemble des acteurs du territoire et d'laborer terme une culture commune de l'valuation sur la base des outils existants. valuation, dveloppement durable et participation dans le Val-de-Marne Le Conseil gnral du Val-de-Marne mne une politique de dveloppement durable innovante combinant de faon complmentaire et cohrente des actions de dveloppement durable axes sur la prise en compte de l'environnement des citoyens (au sens environnemental et social), la participation des parties prenantes et l'valuation des actions mises en uvre. Une politique dpartementale de dveloppement durable trs dynamique Vritable photographie des missions de gaz effet de serre dont la collectivit est directement ou indirectement responsable, un bilan carbone des activits et de patrimoine dpartemental a t ralis en 2007. Ce bilan a complt l'ensemble des mesures (non exhaustives) dj prises par le Dpartement en termes nergtique (bilan nergtique des btiments, construction HQE des nouveaux btiments en y intgrant la notion de cot global, acquisition de vhicules propres et de vlos de service pour notre administration, etc.), en matire de transports en commun (prolongation de la ligne7 et 8 du mtro, projet de mtro circulaire Orbival), pour la protection de la biodiversit et une gestion conome de leau et des ressources (rcupration des eaux pluviales et plus globalement la ralisation en cours dun plan bleu du dpartement, protection des milieux aquatiques (effluents industriels), gestion durable des espaces verts dpartementaux dans le cadre du plan vert) et enfin en termes plus pdagogique afin de sensibiliser habitants, agents dpartementaux et acteurs sociaux aux enjeux de dveloppement durable (cration dune Universit Populaire de lEau et du dveloppement durable ou encore adoption dun Guide des Bonnes Pratiques de ladministration dpartementale, titre d'exemple).

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

131

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Un rapport dorientation adopt le 17 dcembre 2007 consacr au bilan et aux perspectives pour laction dpartementale en matire de dveloppement durable a raffirm les priorits de la collectivit en la matire. Il a t ce titre rappel limpossibilit de traiter lurgence environnementale sans traiter simultanment lurgence sociale, dcid de poursuivre et de gnraliser les chantiers exemplaires ouverts depuis 2005 (plan bleu, plan vert, dveloppement de la gothermie, soutien aux transports collectifs), dcid dengager la ralisation dun Plan Climat et d'adopt les 5 engagements phare proposs pour rduire les missions de gaz effet de serre : o Fixer une limite de consommation nergtique pour nos btiments neufs. o Rduire les missions de gaz effet de serre de tous nos btiments. o Rduire les missions de carbone lies aux dplacements professionnels. o Rduire les missions de carbone lies lalimentation o Rduire les dplacements automobiles en Val-de-Marne Le dveloppement concomitant de la participation Le Conseil gnral a souhait renforcer et concrtiser son engagement de longue date en faveur de la participation de tous les publics (citoyens, usagers, habitants) du Val-de-Marne pour quils soient parties prenantes de la recherche de lintrt gnral. La participation vise dans ce cadre deux objectifs complmentaires : o amliorer la qualit du service public dpartemental en sassurant que celui-ci rponde au mieux aux besoins de ses publics. o rapprocher les citoyens de la politique, des lus et de linstitution dpartementale et dvelopper une culture de la participation et de la citoyennet active. Un projet de charte de la participation (qui sera soumis avant l't 2008 l'assemble dpartementale) expose les principes et valeurs qui guident le Conseil gnral dans la conduite de dmarches participatives auprs de la population. Elle prcise les conditions pratiques pour leur mise en uvre et leur russite. Elle confirme les valeurs qui sont celles du Conseil gnral pour une participation utile, efficace et respectueuse de ceux qui y contribuent. Le projet comporte des dispositions particulirement innovantes dont la volont de "donner la parole ceux qui ne lont pas ou ne la prennent pas est un dfi dmocratique et social. Cela implique daller la rencontre de ceux qui ne viennent pas en runion publique et en particulier de rechercher toute forme de participation possible sans sen tenir aux seules runions publiques. (Article 8). En outre, il est prvu un dispositif trs complet d'valuation des dmarches de concertation : il doit tre ralis avec les publics concerns (article 13) ; les dispositifs permanents de participation mis en place (Conseil de collgiens, le conseil des crches) ont vocation tre valus trs rgulirement (article 14) ; la mise en uvre des dispositions de cette Charte de la Participation fait lobjet dun point spcifique du Rapport dactivits des services dpartementaux prsent chaque anne devant lAssemble dpartementale par son Prsident.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

132

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Les perspectives d'action court terme rsident galement dans la volont de fdrer les acteurs locaux autour des principes d'action raffirms dans le Plan Climat.
Contacts : Boris PETROFF, Dlgu gnral la Dmocratie participative, la Citoyennet et au Dveloppement durable, Conseil gnral du Val-de-Marne, 01 43 99 71 12, boris.petroff@cg94.fr ; Delphine TRUCHET, charge de mission (delphine.truchet@cg94.fr) et Cline BONFILS, stagiaire (celine.bonfils@cg94.fr).

Le Conseil gnral de la Gironde est parvenu rcemment fdrer la plupart des acteurs engags dans des dmarches de dveloppement durable ou des agendas 21 dans le cadre d'un agenda 21 de rseau, dispositif unique en France. L'valuation de ce dispositif, qui est en cours d'laboration par un groupe de travail du Conseil Dpartemental des Agenda 21 locaux, s'inscrit dans une dmarche de consolidation des valuations dj ralises mais galement dans une logique de concertation et d'amlioration continue. Quelle valuation d'un agenda 21 de rseau ? Une exprience unique en France : la cration d'un agenda 21 de rseau en Gironde Le Conseil Gnral de la Gironde, engag dans une politique territoriale de dveloppement durable depuis 1999, a lanc son Agenda 21 en juin 2004. En mars 2005, il a lanc un appel projets pour lmergence dAgenda 21 locaux infra-dpartementaux. 25 collectivits ont t laurates de cet appel projets et bnficient ce titre dune aide lingnierie correspondant lquivalent dun demi-poste de charg de mission Agenda 21 sur 3 ans, dure moyenne dlaboration concerte dun programme dactions Agenda 21. Paralllement, un Conseil Dpartemental des Agenda 21 locaux a t mis en place en 2005 et comprend en 2008 33 collectivits girondines en Agenda 21 et une quarantaine de partenaires locaux. Dbut 2007, il a t collectivement dcid de "produire ensemble de l'action publique efficace et immdiate" d'o l'engagement des acteurs sur trois thmatiques majeures en 2008 telles que l'co construction, l'organisation de manifestations responsables et le dveloppement de l'ducation au dveloppement durable. Le lancement de ces thmatiques a conduit le Comit de Pilotage valider le lancement dun Agenda 21 de rseau le 14 dcembre 2007. Lobjectif poursuivi est la ralisation d'un Agenda 21 territorial, multi-niveaux, multi-acteurs engag dans la production concerte de laction collective de dveloppement durable sur le territoire girondin. Un tel rseau est unique en France.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

133

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Quelle place pour l'valuation ? Une runion du groupe de travail valuation du Conseil dpartemental Agenda 21 s'est tenue le 28 fvrier 2008 a t l'occasion d'voquer la question de lvaluation de lutilit sociale dun Agenda 21 local et de lutilit sociale de lvaluation et de formuler des propositions dans le cadre de l'laboration d'un rfrentiel national dvaluation. Le cadre de rfrence national pour les Agenda 21 locaux est un outil indispensable et trs bienvenu (base de culture commune) : il pourrait tre augment dans son contenu de retours dexpriences nouveaux et sur chaque thmatique de fiches prcises dindicateurs techniques afin dharmoniser les mesures : vertu pdagogique et aide vritable pour les collectivits dans leurs choix. Afin de conserver la ncessaire multi-dimensionnalit des finalits de lAgenda 21 sans ignorer le principe daction fondamental quest la concertation, on peut imaginer pouvoir reprsenter lvaluation dun Agenda 21 sur les toiles daraigne (finalits et principes daction). Pour situer lAgenda 21 local sur la toile daraigne il est propos d'associer chaque thmatique comprise dans la finalit des indicateurs stabiliss dans leur mode de calcul. En outre, selon les choix oprs par les collectivits, il conviendra de disposer dindicateurs de mesures fiabiliss (sur la base du cadre de rfrence et de fiches indicateurs) en veillant bien ce que lvaluation de la situation sur laxe correspondant la finalit se fasse sur fond de concertation. Ceci permettra ainsi dintgrer une part " visible" objectivable et stabilise mais galement la part plus intersubjective qui comprend les questions valuatives poses en concertation (sens) tout en situant lensemble dans une perspective damlioration continue et de mobilisation des acteurs. L'valuation de l'agenda 21 de rseau a ainsi vocation s'inscrire dans cette ide, de panachage entre les indicateurs quantitatifs, les finalits et les principes d'actions et de concertation incontournable pour valuer, dans le sens de porter un jugement sur, la contribution relle de l'Agenda 21 de rseau....
Contacts : Julie CHABAUD, Responsable de la mission Agenda 21, Conseil gnral de la Gironde, j.chabaud@cg33.fr

L'mergence d'un besoin consolidation des valuations au niveau local

Le Conseil national du Dveloppement durable (CNDD) a dans une premire contribution en avril 2003, recommand au Premier Ministre ltablissement dun rapport social et environnemental des collectivits. Il a galement voqu dans un avis n 2 de dcembre 2003, la perspective de ralisation de rapports des collectivits territoriales sur le dveloppement durable.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

134

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Il propose pour complter les donnes publiques nationales, de voir fournies des donnes par les collectivits . Ainsi, ces dernires pourraient-elles situer leurs actions par rapport leurs responsabilits aux diffrentes chelles : nation, rgions, mais aussi engagements internationaux (par exemple, la rduction des gaz effet de serre) . Il rappelle aussi quil est ncessaire de trouver des voies pour mieux mesurer la cohrence et la convergence des efforts des diffrents acteurs privs et publics. Pour le respect d'objectifs de dveloppement durable par les entreprises, on parle de responsabilit sociale des entreprises (corporate social responsability) ou parfois plus prcisment responsabilit socitale des entreprises (RSE) puisque le volet de responsabilit ne correspond pas uniquement au "volet social". La loi n2001-420 du 15 mai 2001 relative aux nouvelles rgulations conomiques (NRE) a institu lobligation pour les entreprises cotes, de produire annuellement un rapport dveloppement durable permettant lensemble des actionnaires, partenaires, associations, clients, investisseurs, etc. de disposer dune information sur la manire dont elles prennent en compte les consquences environnementales et sociales de leur activit. Lvolution qualitative des contenus de ceux-ci depuis 5 ans, ainsi que lextension progressive de cette pratique des socits non concernes par lobligation lgale mais animes de la volont dditer spontanment des rapports dveloppement durable lintention des actionnaires, sont avres. De cette obligation est n un nouveau mode de relations avec les parties prenantes lactivit de lentreprise. Un nombre croissant de socits soumettent dsormais la validation de tiers les donnes sur le dveloppement durable afin dattester de la fiabilit des informations rendues publiques et doffrir des sources de rfrences objectives. Plusieurs tentatives parlementaires ont t remarques ces derniers mois : La proposition de loi de M. Jrme BIGNON (n 3475) mise en distribution le 22 novembre 2006 puis le 3 dcembre 2007 (n144) vise instituer dans les collectivits ou tablissements territoriaux employant plus de cinquante personnes un rapport bisannuel dveloppement durable 103 . Prsente par 30 dputs, elle propose dadapter les dispositions de la loi NRE aux collectivits et tablissements publics territoriaux employant au moins 50 personnes. Lautorit territoriale de la collectivit ou de ltablissement public territorial employant plus de cinquante personnes prsente son organe dlibrant, avant le 30 juin de chaque anne paire, un rapport sur la manire dont la collectivit ou ltablissement prend en compte les consquences conomiques, sociales et environnementales de ses politiques publiques et met en uvre son plan dactions ou sa stratgie dans le domaine du dveloppement durable, indique larticle premier du projet de loi.
103

http://www.assembleenationale.fr/12/pdf/propositions/pion3475.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

135

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A noter que le bilan social serait intgr au rapport dveloppement durable et en constituerait le volet social. Etudiant en Master l'Universit de Nancy 2, Benjamin MERAKCHI a ralis en 2007 pour le compte de l'Assemble des Dpartements de France un mmoire plaidant pour la mise en place d'un rapport consolid bisannuel dans les collectivits104. Benjamin MERAKCHI estime que ce rapport bisannuel, ds lors quil ne sen tiendrait pas un exercice de style, pourrait sinscrire dans une logique de consolidation des rsultats lchelle dun territoire. Il permettrait de sortir du carcan dune valuation par programme. Il serait mme de rassembler, dans une approche partage par lensemble des parties intresses, toutes les valuations des politiques publiques menes de faon coordonne ou croise. Il ne sagirait donc pas dun rapport promotionnel, relatant des expriences ponctuelles ou des initiatives isoles, mais bien dune politique durable, avec en ligne de mire lobjectif de renforcer les capacits danticipation et douvrir le champ de la prospective. Notons en effet qu'un des freins essentiels au dveloppement de l'valuation rside justement dans leur manque de capitalisation, dans une logique de production par "coups" successifs et sans vritable stabilisation des outils de production et de diffusion (observatoires par exemple). Ce qui fait dire Jacques THEYS que "les indicateurs sont trop souvent des cimetires" ne doit pas nous faire oublier nanmoins qu'il appartient chaque collectivit de prendre cette question bras le corps. Si les initiatives parlementaires fleurissent et pourraient aboutir, rien n'empche des acteurs locaux de s'engager ds prsent sur l'laboration d'un rapport bisannuel (tous les 2 ans) qui ferait le point sur l'impact des engagements collectifs sur le territoire au regard du dveloppement durable.

104 Benjamin MERAKCHI, 40 ans d'valuation des politiques publiques : de la RCB (rationalisation des choix budgtaires) au RCB (Rapport consolid bisannuel), septembre 2007

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

136

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

CONCLUSION
L'valuation des politiques publiques, c'est--dire l'apprciation a posteriori des effets rels des dcisions publiques, se trouve en France dans la situation paradoxale d'tre la fois souhaite et ignore105. Cette citation issue d'un rapport de spcialistes date d'une vingtaine d'annes. Elle est toujours d'actualit en France : l'valuation a progress certes dans les pratiques administratives mais elle n'a connu qu'un dveloppement lent, chaotique et son institutionnalisation ne s'est pas stabilise. La mutation de l'action des pouvoirs publics sous l'effet conjugu de la rarfaction des ressources et de la complexification croissante des modes d'intervention suscite pour les acteurs de la vie publique de attentes croissantes et diverses en matire d'valuation. Indispensable la mesure de la performance de l'action publique, l'valuation participe, au ct d'une multitude d'autres disciplines, la modernisation du service public. Distincte de la mesure de la performance en elle-mme, elle contribue cet effet clairer les dcideurs sur les impacts des politiques publiques. Mais loin d'tre contradictoire avec les dmarches de performance (de type LOLF) elle intervient de manire complmentaire en s'interrogeant sur les motifs qui ont prsid la prise de dcision publique et aux effets moyen et long terme. Une autre vertu de l'valuation rside galement dans sa capacit enrichir le dbat dmocratique. La participation des parties prenantes une action publique et donc son valuation semble tre acquis au moins dans les discours mme si la pratique de l'valuation participative demeure timide. Les expriences trangres et les apports rels de la participation des bnficiaires voire du citoyen au processus valuatif offrent des perspectives de dveloppement rel. L'valuation de l'action publique sous l'angle du dveloppement durable russit intgrer les exigences de l'valuation dite managriale (valuation de la performance publique et apports des dmarches qualit) en intgrant les parties prenantes dans le processus valuatif. A partir de la distinction entre les diffrentes formes d'valuation sous l'angle du dveloppement durable, il est remarquable de constater le foisonnement d'initiatives souvent trs cloisonnes (publiques et prives) visant la constitution de rfrentiels d'valuation de l'action publique au regard du dveloppement durable.

105

NIOCHE Jean-Pierre, POINSARD Robert, Lvaluation des politiques publiques, Paris, Economica, 1984

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

137

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Dans tous les cas, la russite ou non dune valuation dans une collectivit tient toujours aux mmes facteurs : linitiative et le soutien de la dmarche par les lus, une implication de lensemble des services concerns dans un effort constant de dialogue et de pdagogie afin de diminuer les risques dinertie et de rticence aux changements, et enfin une mthodologie prcise avec un effort de dfinition des termes utiliss et des procdures mises en uvre. Si au niveau de lEtat, il est fait de plus en plus appel la notion dvaluation, celle-ci ne doit pas tre galvaude et il est important que les collectivits sapproprient la dmarche pour un faire un outil adapt leurs problmatiques internes et territoriales et qui permette de rflchir le plus concrtement possible comment amliorer la qualit des politiques publiques lavenir dans un contexte de triple contrainte : rarfaction des ressources, implication des citoyens et prservation de la plante et des ressources naturelles. Enfin, notre contribution nous a permis de comprendre que l'valuation ne peut s'apprhender avec russite sans un minimum de mthode, de patience et d'humilit et que comme lindique le guide de lvaluation de lUnion Europenne, il vaut mieux obtenir des rponses imprcises des questions importantes que des rponses prcises des questions dpourvues dimportance106.

106

Commission Europenne. Evaluating EU Expenditure Programmes : A Guide to Ex Post and Intermediate Evaluation (valuer les programmes de dpenses de lUE : Guide pour lvaluation ex post et intermdiaire) 1997 http://ec.europa.eu/budget/library/publications/financial_pub/guide_eval_en.pdf

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

138

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

ANNEXES
ANNEXE 1 : BIBLIOGRAPHIE
A/ Ouvrages et rapports
AATF (Association des Administrateurs Territoriaux de France) : Mission de rflexion sur la constitution dune Inspection gnrale de ladministration territoriale (pour le compte de l'ADF) 189 p- avril 2007 http://www.territorial.fr/transaction/tra_telechargelibre.php?TLT_CODE=TLT_NE WSLETTER_ARTICLE&ID_RESSOURCE=2038 ACUF (Association des Communauts urbaines de France) : Journe d'tude du 29 mars 2007 : Dveloppement durable : notation, valuation, performance, Partage dexpriences public/priv http://www.communautes-urbaines.com/Download/actes_ACUF.pdf ACUF : (Association des Communauts urbaines de France) et Groupe Caisse d'pargne : Journe d'tude du 30 mai 2007, Dmarches locales de performance : pratiques et enjeux, principes consacrs par la LOLF, le rle prcurseur des collectivits locales. http://www.communautes-urbaines.com/Download/CNCE.pdf ADF (Assemble des Dpartements de France) : Guide de l'action durable, Dcembre 2007. http://www.departement.org/webdav/site/adf/shared/internet/ACCUEIL/DVPT% 20DURABLE/janvier%2008%20%20ADF%20GUIDE%20DE%20L%20ACTION%20DURABLE.%20Version%201% 20du%205%20decembre%202007.pdf AFIGESE (Association Finances Gestion et valuation) : Glossaire de l'valuation, 2001. AFIGESE (Association Finances Gestion et valuation): Guide pratique de l'valuation des politiques publiques, 2006. AFNOR (Association Franaise de Normalisation) : SD21000 dveloppement durable responsabilit socitale des entreprises, guide pour la prise en compte des enjeux du dveloppement durable dans la stratgie et le management de l'entreprise , FDX 30-021, AFNOR, mai 2003. BUF, Jean-Luc : L'valuation des politiques publiques, La Documentation Franaise, 2001, 80 p.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

139

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

BOULANGER, Paul-Marie : Les indicateurs de dveloppement durable : un dfi scientifique, un enjeu dmocratique, in Les sminaires de lIddri, n 12, 2004. 24 p. http://www.iddri.org/iddri/telecharge/mardis/s12_boulanger.pdf BOURDIN, Jol et ANDRE, Pierre et PLANCADE, Jean-Pierre : Placer l'valuation des politiques publiques au coeur de la rforme de l'tat, Rapport d'information fait au nom de la Dlgation du Snat pour la planification sur l'valuation des politiques publiques en France, Snat, dlgation pour la planification, Paris; Snat; 2004; 428 pages, (Les Rapports du Snat, n 392). http://www.senat.fr/rap/r03-392/r03-392.html BOUTAUD Aurlien : Le dveloppement durable : penser le changement ou changer le pansement ? Bilan et analyse des outils dvaluation des politiques publiques locales en matire de dveloppement durable en France : de lmergence dun changement dans les modes de faire au dfi dun changement dans les modes de penser, Thse prsente devant Lcole Nationale Suprieure des Mines de Saint-tienne et lUniversit Jean Monnet de Saint-tienne (416p.) http://www.agora21.org/entreprise/these4.html CANNAC, Yves : Rapport sur La qualit des services publics , Paris, La Documentation franaise, 212 p, Juin 2004 http://lesrapports.ladocumentationfrancaise.fr/BRP/044000357/0000.pdf COMMISSION EUROPEENNE, Evaluating EU Expenditure Programmes : A Guide to Ex Post and Intermediate Evaluation (valuer les programmes de dpenses de lUE : Guide pour lvaluation ex post et intermdiaire), 1997 CONSEIL SCIENTIFIQUE DE L'VALUATION : Petit guide de l'valuation des politiques publiques, La Documentation Franaise, mai 1996, 123 p http://www.evaluation.gouv.fr/cgp/fr/interministere/doc/petit_guide_cse.pdf) DELCHET, Karen : La prise en compte du dveloppement durable par les entreprises, entre stratgies et normalisation. tude de la mise en oeuvre des recommandations du guide Afnor SD21000 au sein d'un chantillon de PME franaises , thse de doctorat EMSE/CapAFNOR, 2006. http://www.agora21.org/entreprise/these8.html L'Institut DELOUVRIER : Baromtre BVA / L'INSTITUT PAUL DELOUVRIER, Le baromtre des services publics, Les services publics vus par leurs usagers, Dcembre 2007. http://www.delouvrier.org/themes/delouvrier/pdf/Nov07RapportDelouvrier.pdf DUPUIS, Jean-Claude : Les insuffisances de lanalyse de la notion de responsabilit socitale de lentreprise comme traduction de lincompltude de lapproche contractuelle de la firme , 2006, GEMO, Electronic Working Paper Series n 2006-04.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

140

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

DURON, Philippe : Rapport d'information sur l'valuation des politiques publiques et les indicateurs de dveloppement durable, Assemble nationale, Dlgation l'amnagement et au dveloppement durable du territoire, Documents d'information de l'Assemble nationale, n 3594 Assemble nationale : 2002 / 127 p. http://www.assemblee-nationale.fr/rap-info/i3594.asp ETD (Entreprises, territoire et dveloppement) : Les dmarches d'valuation dans les agendas 21 locaux, 2007 http://www.projetdeterritoire.com/spip/article.php3?id_article=2916 FONDATION CONCORDE : Remettre l'valuation des politiques publiques au cur du dbat public, un outil pour la dmocratie, Synthse des travaux de la commission Rforme de ltat sous la prsidence de Monsieur Paul Ohana, 13 Juin 2006 http://www.fondationconcorde.com/docs/data/conferences/evaluation-politiquespubliques.pdf?PHPSESSID=23e6ad459a5070d3f6d11cbe1a490caf GRAIL, Cdric et LESCAILLEZ, Vincent et MENUT, Philippe : Guide sur la performance dans les collectivits locales, avec lappui de lAFIGESE, lACUF et lINET, 2006 http://www.communautesurbaines.com/Download/Guide%20AFICUF%20def7%20novembre%202006.pdf GRAIL, Cdric et LESCAILLEZ, Vincent et MENUT, Philippe : Rsultats de lenqute AFICUF sur la performance et son pilotage dans les collectivits territoriales, avec lappui de lAFIGESE, lACUF et lINET, 2006 http://www.communautesurbaines.com/Download/Rapport%20Def%20Enq%20AFICUF%205%20octobre% 202006.pdf Guide sur la dmarche de performance : stratgie, objectifs, indicateurs - Guide mthodologique pour lapplication de la loi organique relative aux lois de finances du 1er aot 2001, juin 2004. Ce guide est consultable l'adresse suivante : www.minefi.gouv.fr/lolf/downloads/120_guide_performance.pdf LAMARQUE, Danile : Contrle et valuation : lvaluation dans les institutions de contrle, Rapport dactivit 2000-2002 du Conseil national de lvaluation, p. 301 LAMARQUE, Danile : L'valuation des politiques publiques locales / Danile Lamarque. - Paris : LGDJ, 2004. - 214 p. ; 21 cm. - (Systmes. collectivits locales) MERAKCHI, Benjamin : 40 ans d'valuation des politiques publiques : de la RCB (rationalisation des choix budgtaires) au RCB (Rapport consolid bisannuel), septembre 2007 Ministre du Budget, Guide pratique pour une dmarche d'amlioration globale et progressive de la gestion publique locale, 2007. http://www.colloc.bercy.gouv.fr/colo_struct_fina_loca/_10/mine.html

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

141

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

PONROUCH, thse, paratre :"Mise en oeuvre du dveloppement durable par les collectivits locales, Agendas 21 Locaux : valuation et adaptation du SD 21000". MONNIER, Eric : valuation de l'action des pouvoirs publics, Economica, 1992 NIOCHE Jean-Pierre, POINSARD Robert, Lvaluation des politiques publiques, Paris, Economica, 1984 OCDE : Glossaire des principaux termes relatifs lvaluation et la gestion axe sur les rsultats, 2002 http://www.oecd.org/dataoecd/29/21/2754804.pdf ROCHET, Claude : Conduire l'action publique : des objectifs aux rsultats / Claude Rochet. - Paris : CampusPress : Macmillan : Pearson Education, 2003. VII-339 p. ; 24 cm RUPRICH-ROBERT, Christophe et BENCIVENGA, Magali : valuation des politiques publiques : nouveau guide pratique - Voiron : La lettre du cadre territorial, 2002, 181 p. ; 30 cm. - (Dossiers d'experts) SEN Amartya : Un nouveau modle conomique, Odile Jacob, 2000, 356 p. SFE (Socit Franaise de l'valuation): Journes franaises de l'valuation : Le citoyen, l'lu, l'expert : pour une dmarche pluraliste d'valuation des politiques publiques / septimes Journes franaises de l'valuation, Lyon, 2005 ; textes runis et publis sous la dir. de Henri Jacot et Annie Fouquet ; prface de Eric Monnier. - Paris : L'Harmattan, 2007, 241 p. (La librairie des humanits) SFE (Socit Franaise de l'valuation): LOLF, mesure de la performance et valuation des politiques publiques, Journe d'tude du 15/11/2006, Cahier de la SFE n2 OCDE : Stratgies nationales de dveloppement durable : bonnes pratiques dans les pays de lOCDE, OCDE, 2006 (http://www.oecd.org/dataoecd/58/39/36655852.pdf) TROSA, Sylvie : L'valuation des politiques publiques, Paris : Institut de l'entreprise, 2003. - 75 p. ; 30 cm. - (Les notes de benchmarking international ; novembre 2003) http://www.institutentreprise.fr/fileadmin/Docs_PDF/travaux_reflexions/benchmarking/politiques_p ubliques.pdf VIVERET (Patrick) : L'valuation des politiques et des actions publiques, Rapport au Premier ministre, Paris, La Documentation franaise, 1989.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

142

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

B/ Articles
BARON, Galle et MONNIER Eric : Une approche pluraliste et participative : coproduire lvaluation avec la socit civile , in Revue Informations sociales , Septembre 2003 BRODHAG, Christian : Dveloppement durable et partenariat, 3 mai 2002, www.agora21.org http://www.agora21.org/articles/brodhag02a.htm GOUSSEAU, Jean-Louis : Les chambres rgionales des comptes et lvaluation des politiques publiques locales, article rdig l'occasion du 25me anniversaire de la chambre rgionale des comptes de Poitou-Charentes, 1982-2007 http://www.ccomptes.fr/CRC21/documents/divers/06_politiques_locales.pdf LAMARQUE, Danile : L'valuation des politiques publiques locales par les chambres rgionales des comptes : jusqu'o ? in Revue franaise de finances publiques, n 85, 2004, fvrier, p. 59-65 MAYNE, John : Rgler la question de lattribution par lanalyse de la contribution : utiliser judicieusement les mesures de rendement - Revue canadienne dvaluation de programmes, Vol. 16, N1, pages 1 24 , 2001 MONNIER, Eric et HENARD, Fabrice : L'valuation des politiques publiques dans les collectivits territoriales : exercices imposs et initiatives propres, in Revue Pouvoirs Locaux, Paris, Novembre 2000. PONROUCH, Adrien : Reconnaissance et suivi valuation des dmarches de dveloppement durable des collectivits locales : Contributions conceptuelles et mthodologiques adaptation de lapproche SD21000 aux collectivits, Aot 2007 (http://www.ecologie.gouv.fr/IMG/pdf/Article_DD-evaluation_APaout07.pdf) POTIER, Vincent et BUF, Jean-Luc : Supplments de la Gazette des communes, des dpartements, des rgions n 1395 du 3 mars 1997, n 1448 du 6 avril 1998, n 1540 du 6 mars 1999, n 1540 du 6 mars 2000, n 1591 du 2 avril 2001, n 1637 du 18 mars 2002, n1685 du 17 mars 2003 et n 1732 du 8 mars 2004. SINE, Alexandre et VEILLET, Isabelle : La performance, un outil et une dmarche indispensables au pilotage des politiques publiques, in Regards sur l'actualit, n 335, 2007 VIVERET, Patrick : Pour redonner sa noblesse laction politique , in Le Monde Diplomatique, Mai 2000 http://www.monde-diplomatique.fr/2000/05/VIVERET/13719.html

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

143

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

C/ Sites Internet
Lvaluation des politiques publiques : http://www.ladocumentationfrancaise.fr/dossiers/evaluation-politiquespubliques/index.shtml Socit franaise de lvaluation (SFE) http://www.sfe.asso.fr/ Association finances gestion valuation des collectivits territoriales (AFIGESE) http://www.afigese.asso.fr

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

144

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

ANNEXE 2 :
DEMARCHES D'EVALUATION ILLUSTRANT L'AVANT-PROPOS METHODOLOGIQUE A PARTIR DE

L'EXPERIENCE DE QUATRE DEPARTEMENTS


L'valuation de la politique publique de la politique de prvention spcialise au

CONSEIL GENERAL DES BOUCHES DU RHONE


La direction du contrle de gestion Dpartement a t charge de conduire une mission dvaluation de la politique de prvention spcialise, qui figure au titre des comptences obligatoires du dpartement dans le cadre des politiques daide sociale lenfance. La rdaction du cahier des charges a abouti la formulation de trois questions auxquelles lvaluation a t charge de rpondre : 1.Interroger le sens et le positionnement de la prvention spcialise dans le champ de la prvention sociale et de laide sociale lenfance, notamment au regard de nouvelles politiques dites scuritaires ou territoriales (nouveaux dispositifs et nouveaux acteurs) et aux actions de laide sociale lenfance. Questionnements lis : Comment la prvention spcialise clarifie-t-elle ses missions et ses pratiques? Quelles sont ses relations avec les autres intervenants, interne ou externe? Quels sont les modes de rgulation et de concertation? Comment s'oprent les choix des territoires ? 2. Interroger le mtier et les pratiques de la prvention spcialise au regard des modifications de lenvironnement social et du public (nouvelles formes de marginalisation, massification du phnomne, rajeunissement et fminisation de la population cible) qui induisent des changements de pratiques. Questionnements lis : Quels sont les outils dont les organismes se dotent pour tre garants des pratiques ducatives dans le champ de la prvention spcialise ? 3. Interroger lengagement de la collectivit en matire de prvention spcialise Questionnements lis : Quels sont les moyens humains, techniques, financiers consacrs la prvention spcialise par la collectivit? Quels sont les choix stratgiques faits par la collectivit (en termes dorganisation, de territoires, de public, ) ? La dmarche s'est dcline en deux parties : un diagnostic interne prsentant la prvention spcialise au CG des Bouches-du-Rhne et un diagnostic de territoire. Le premier diagnostic a port sur la clarification de la notion de prvention spcialise, la mise en uvre et le financement de la politique publique de prvention spcialise au Conseil gnral des Bouches-du-Rhne en partenariat avec des associations locales. Le deuxime diagnostic a port sur une analyse des modes de financement des associations, ainsi que des personnels qu'elles emploient. En outre, une attention spcifique a t porte aux territoires dintervention de la prvention spcialise et la description prcise du public de la prvention spcialise et de l'ensemble des actions mises en uvre par les associations dans le cadre de cette politique (actions individuelles et collectives, diffrents types de prvention, etc). L'valuation a concrtement dbouch sur 10 prconisations dont 4 tires du premier diagnostic et 6 du deuxime.
Contacts : Mme Magali BENCIVENGA, Responsable du ple valuation des politiques publiques Direction du contrle de gestion, Conseil gnral des Bouches du Rhne - Tlphone: 04 91 21 14 52 magali.bencivenga@cg13.fr

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

145

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Le dispositif de l'valuation au

CONSEIL GENERAL DE LA NIEVRE


La mission valuation des Politiques Publiques a t installe au sein de la Direction de lconomie, des finances et du dveloppement durable en fvrier 2003 (les valuations des politiques publiques au CG58 se font essentiellement en interne par la mission valuation). Cette mission dvaluation est inscrite au sein dun ple dexpertise, o lon retrouve le contrle de gestion interne et le contrle des satellites. Le conseil gnral de la Nivre vise avoir une approche globale de ses politiques au travers de larticulation entre les diffrentes dmarches (valuation, contrle de gestion, contrle des satellites et la fonction financire). Le dispositif dvaluation s'articule ainsi :
Commande dvaluation par lintermdiaire dun mandat dvaluation (Directions ou lu(e)s

Comit de suivi de lvaluation (validation de la programmation)

1 2
La mission valuation traite la demande et la soumet au comit de suivi de lvaluation

3
Runion mission valuation, lu en charge de la politique et Direction concerne pour formaliser et reprciser la demande(cahier des charges) Mobilisation de lquipe technique (chef de projet, responsable de service, autres.)

4
Comit de pilotage(ou instance dvaluation) de la politique valuer, ayant pour mission de validation du cahier des charges, de la mthodologie du suivi et de la validation ou pas du rapport final de lvaluation

Validation politique

Communication/ diffusion/inflexion sur la politique value/mesures

La dmarche globale dvaluation au Conseil Gnral de la Nivre est encadre par un comit de pilotage politique. Pour chaque valuation conduite, une instance dvaluation est constitue afin den assurer le suivi et la garantie mthodologique.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

146

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Compos d'lu(e)s, de la Direction Gnrale, de la Mission valuation, et d'un expert invit, le Comit de suivi de lvaluation ou comit de pilotage politique a pour rle de : - Programmer et valider les sujets prsents par les diffrentes directions - tre force de proposition sur certains sujets dvaluation - Dcider de la communication ou pas des tudes - Garantir le suivi de laprs valuation - Vrifier ltat davancement des tudes Le Comit de pilotage de lvaluation ou instance dvaluation est compos de l'lu(e) en charge de la politique valuer, de la Direction Gnrale, de la Direction concerne par la politique valuer, de la Mission valuation et d'un expert invit. Son rle consiste valider la mthodologie et du cahier des charges de la politique valuer et assurer le suivi de lvaluation, dbat, garant de la dmarche, validation ou pas du rapport final. Parmi les valuations menes depuis 2003, l'valuation de la politique Famille et Enfance a t exemplaire sur la mthode et sur ses impacts. Elle a t mene en plusieurs tapes : tape 1 : - Commande de lvaluation par la Direction de la Solidarit - Formalisation de la commande - Installation du comit de pilotage de lvaluation - Lancement de lvaluation (mandat, cahier des charges,..) - Installation de linstance technique de lvaluation tape 2 : - Travail denqute et danalyse De ce fait lvaluation sest concrtise par : - Une analyse documentaire - Une analyse dimpact territorial de la politique Famille et Enfance - Une analyse Physico financire de la politique Famille et Enfance sur 5 ans (2001-2006) - Des entretiens en interne au CG58 et en externe (partenaires de la politique Famille/Enfance) - Un Benchmarking avec 5 dpartements ayant les mmes caractristiques Rsultats : Remise du rapport et synthse de cette valuation au COPIL et au Prsident du CG58 afin de finaliser le schma dpartemental de la petite enfance et de lenfance au travers des rsultats et des prconisations de lvaluation. Cette tude a permis aussi damener des lments quant la cohrence de lorganisation de laction mdico-sociale du dpartement.
Contacts : M. Farid HADJAB, Service valuation des Politiques Publiques Direction des finances, de l'conomie et du dveloppement durable Conseil Gnral de la Nivre, Tl. : 03.86.60.67.76 - farid.hadjab@cg58.fr

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

147

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

L'valuation des contrats de soutien l'autonomie des jeunes au

CONSEIL GENERAL DE LOIRE-ATLANTIQUE


Depuis 2004, plus de 4000 Contrats de Soutien l'Autonomie des Jeunes (CSAJ) ont t signs sur le territoire de Loire-Atlantique. Dispositif innovant, ce contrat vise un objectif essentiel : donner aux jeunes de 16 24 ans les moyens de raliser leur projet dans le cadre dun accompagnement personnalis. Prvue ds le lancement du dispositif, l'valuation des CSAJ a t mene ds la premire d'anne afin de procder un ventuel rajustement de la politique. Cette valuation a t conduite en interne par la direction de la Qualit de la gestion publique (DQGP) qui, rattache la Direction gnrale des services, regroupe les fonctions d'valuation de politiques publiques, de dmarche qualit, de contrle et d'audit. Le rapport final de l'valuation a t rdig en lien troit avec un charg de mission auprs du DGA Solidarit. A l'initiative du Vice-prsident en charge de cette politique, cette valuation a tout au long de son droulement bnfici d'un portage politique fort. Elle s'est droule sur neuf mois environ dont six consacrs l'valuation et trois l'approfondissement des prconisations avec la Direction concerne. Les principaux questionnements ont port sur l'efficacit ; lefficience et la pertinence du dispositif d'une part (qui sont les jeunes bnficiaires ? quels sont les effets rels de ces contrats vis--vis de ces jeunes ?) et sur lefficience du dispositif de gestion (les outils de gestion sont-ils adapts ?). Cette dmarche s'est appuye sur des entretiens individuels en interne et en externe ainsi que sur des entretiens collectifs (focus groupe) avec des partenaires extrieurs et des usagers. A ce titre, 8 jeunes choisis en raison de la diversit de leur situation ont t invits participer aux entretiens. Une des originalits de la dmarche valuative a consist dans le suivi du plan d'action de mise en uvre des prconisations qui ont t au pralable valides par le comit de pilotage de cette valuation compos de llu en charge de ce dispositif, du DGA Solidarit, de la Directrice Vie Sociale / Famille, ainsi que du Directeur de la DQGP. Cette valuation a entran des ajustements importants dont notamment l'amlioration de l'accessibilit du dispositif et la scurisation de la gestion financire et administrative du systme. Cette valuation a rencontr au dpart quelques rsistances internes lies deux facteurs principaux, dune part lhyper implication du service concepteur de ce dispositif et en charge de sa mise en uvre, et dautre part la mconnaissance par les services des missions de la DQGP et de sa lgitimit dans la conduite dune telle dmarche (Direction rcemment cre). La DQGP a ainsi d faire preuve autant de pdagogie que de fermet pour mener bien cette valuation, qui a t in fine largement partage par les services. Notons enfin qu'une attention particulire a t porte la communication de l'valuation vis--vis des lus (communication la commission des affaires sociales), des partenaires externes (prsentation et transmission d'une synthse du rapport dvaluation) et des citoyens (mise en ligne de cette synthse sur le site du Conseil Gnral).
Contacts : M. Christian MOINARD, Directeur de la Qualit de la Gestion Publique, Christian.Moinard@cg44.fr (Tl. : 02.40.99.89.07) et M. Georges CAVRET, Charg de mission, Georges.CAVRET@cg44.fr (Tl. : 02.40.99.89.10)

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

148

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

L'exprience de suivi valuatif mene au

CONSEIL GENERAL DE L'ESSONNE


Depuis 2006, les actions dinsertion proposes par le Conseil gnral aux allocataires du RMI relvent du rgime des marchs publics et non plus de subventions alloues par le Dpartement des prestataires dinsertion conventionns. Dans ce cadre, une dmarche de suivi valuatif a t mise en place. La Direction de lInsertion de lutte contre les Exclusions et de lEmploi (DILEE) et la Direction de lAudit, de lEvaluation des politiques publiques et de la Qualit (DAEQ) ont labor, en collaboration avec les oprateurs, un ensemble dindicateurs et propos un outil de suivi permettant : - de mieux connatre les allocataires orients sur ces prestations et valuer ladquation de loffre aux besoins des bnficiaires (pertinence) - de comprendre le parcours des allocataires sur les diffrentes phases de la prestation et les difficults rencontres - dvaluer les rsultats de ces prestations (efficacit) - mais aussi dapprcier la mise en uvre par les oprateurs des obligations dfinies dans les cahiers des charges et sassurer de la qualit des prestations proposes (qualit). Des indicateurs articuls autour de 3 axes (profil des bnficiaires, mise en uvre de la prestation, effets attendus (rsultats) ou induits (impacts)) ont ainsi t dfinis. Pour chacune de ces catgories dindicateurs, des indicateurs gnriques (cest--dire communs toutes les prestations) ainsi que indicateurs spcifiques chacune dentre elles ont t construits. Lintrt de cette dmarche est double : - Favoriser lamlioration du service rendu aux bnficiaires par chacun des prestataires : il sagit de pouvoir proposer chaque oprateur, sur la base de lanalyse de ces indicateurs - complte ventuellement dune grille danalyse plus qualitative des axes annuels damlioration du fonctionnement des actions. - Permettre une valuation globale plus fine de loffre dinsertion dpartementale : il sagit de faire voluer le contenu des cahiers des charges et nos modes dintervention en fonction de lanalyse des rsultats de cette dmarche. Cette dmarche constitue lune des facettes du dispositif dvaluation de loffre dinsertion dpartementale. Cest galement un outil de connaissance du public et de dialogue avec les oprateurs et les prescripteurs de prestations sur les territoires.
Contacts : Juliette AMAR, Directrice-adjointe de l'audit, de l'valuation des politiques publiques et de la dmarche qualit, Conseil gnral de l'Essonne, Jamar@cg91.fr ; Ophlie ANQUET, charge de mission valuation des politiques publiques, OAnquet@cg91.fr

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

149

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

ANNEXE 3 : CHARTE DE L'EVALUATION DE LA SFE


Prambule
Lvaluation vise produire des connaissances sur les actions publiques, notamment quant leurs effets, dans le double but de permettre aux citoyens den apprcier la valeur et daider les dcideurs en amliorer la pertinence, lefficacit, lefficience, la cohrence et les impacts. L'valuation contribue ainsi rationaliser la prise de dcision publique, moderniser la gestion de ladministration et des services publics et rendre plus efficace la dpense publique. Elle contribue simultanment au dveloppement de la responsabilit et des pratiques de compte rendu interne ou externe, ainsi qu' l'apprentissage organisationnel. Elle participe aux progrs parallles de la bonne gestion et du dbat dmocratique tous les niveaux de gouvernement. Ainsi dfinis, les enjeux de lvaluation des politiques et programmes publics dpassent ceux de ses protagonistes directs et concernent l'ensemble des citoyens. Lvaluation doit tre dcide, organise et conduite en vue de lintrt gnral. C'est pour cela quelle doit sexercer dans un cadre institutionnel explicite et que sa pratique doit tre rgie par des principes spcifiques. Les membres de la SFE dclarent adhrer aux principes de la Charte de lvaluation , sengagent les appliquer en tenant compte des contextes particuliers rencontrs et promouvoir la charte tant dans leur milieu professionnel quauprs des personnes et institutions concernes par lvaluation et la dlibration publique.

Les principes de lvaluation en France


Pluralit Lvaluation sinscrit dans la triple logique du management public, de la dmocratie et du dbat scientifique. Elle prend en compte de faon raisonne les diffrents intrts en prsence et recueille la diversit des points de vue pertinents sur laction value, quils manent dacteurs, dexperts, ou de toute autre personne concerne. Cette prise en compte de la pluralit des points de vue se traduit -chaque fois que possible- par l'association des diffrentes parties prenantes concernes par laction publique ou par tout autre moyen appropri. Distanciation Lvaluation est conduite de faon impartiale. Les personnes participant au processus d'valuation titre professionnel informent les autres partenaires de tout conflit dintrt ventuel. Le processus dvaluation est conduit de faon autonome par rapport aux processus de gestion et de dcision. Cette autonomie prserve la libert de choix des dcideurs publics.
CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

150

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Comptence Les personnes participant au processus dvaluation titre professionnel mettent en oeuvre des comptences spcifiques en matire de conception et de conduite de lvaluation, de qualit de la commande, de mthodes de collecte de donnes et dinterprtation des rsultats. Elles ont le souci damliorer et de mettre jour leurs comptences, notamment en rfrence celles en usage dans la communaut internationale de lvaluation. Respect des personnes Les personnes participant au processus d'valuation titre professionnel respectent les droits, lintgrit et la scurit de toutes les parties concernes. Elles sinterdisent de rvler lorigine nominative des informations ou opinions recueillies, sauf accord des personnes concernes. Transparence La prsentation des rsultats d'une valuation saccompagne dun expos clair de son objet, de ses finalits, de ses destinataires, des questions poses, des mthodes employes et de leurs limites, ainsi que des arguments et critres qui conduisent ces rsultats. La diffusion publique des rsultats d'une valuation est souhaitable. Les rgles de diffusion des rsultats sont tablies ds le dpart. Lintgrit des rsultats doit tre respecte, quels que soient les modalits ou les supports de diffusion retenus. Opportunit Une valuation doit tre dcide lorsquelle est susceptible de et organise afin de produire des rsultats lgard des finalits mentionnes au prambule de cette charte : compte rendu dmocratique, efficacit de la dpense, apprentissage organisationnel, facilitation dvaluations ultrieures. Responsabilit La rpartition des rles entre les diffrents acteurs de l'valuation est tablie ds le dpart de faon ce que toutes les fonctions de celle-ci soient bien prises en charge (dfinition du mandat, pilotage du processus, enqutes et analyses, formulation du jugement et des recommandations ventuelles, diffusion des rsultats). Les personnes et institutions participant au processus dvaluation mobilisent les moyens appropris et fournissent les informations ncessaires la conduite de l'valuation. Elles sont conjointement responsables de la bonne application des principes noncs dans cette charte.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

151

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

ANNEXE 4 LISTE DES PERSONNES RENCONTREES ET AUDITIONNEES


Universitaires
- Nicolas BERLAND, Professeur des Universits, Universit Paris IX Dauphine, Directeur adjoint du CREFIGE (centre de recherche de Dauphine Recherche en Management - DRM) et de l'EDOGEST (cole doctorale en gestion) - Jean-Michel CHAPET, administrateur territorial et Professeur associ de Sciences de Gestion l'Universit Paris X - Adrien PONROUCH, Doctorant l'cole des Mines de Saint-tienne/ADEME/MEDAD - Nicolas MATYSAJIK, Doctorant - ATER en science politique, SPIRIT - Sciences Po Bordeaux et Universit de Lille 2 - Marcel GUENOUN, Doctorant en sciences de gestion l'Institut de Management Public et Gouvernance Territoriale (IMPGT), option management public

Collectivits locales
o Conseils gnraux
- Juliette AMAR, Directrice adjointe de laudit, de lvaluation des politiques publiques et de la dmarche qualit, Conseil gnral de l'Essonne - Ophlie ANQUET, Charge d'valuation, Direction de laudit, de lvaluation des politiques publiques et de la dmarche qualit Conseil gnral de l'Essonne - Magali BENCIVENGA, Responsable du service valuation, Conseil gnral des Bouches du Rhne - Emelyne BIGOT, chef de projet Observatoire permanent des engagements, Conseil gnral de l'Essonne -Cline BONFILS, stagiaire, Dlgation gnrale la citoyennet et au dveloppement durable, Conseil gnral du Val-de-Marne - Jacques BRULARD, Responsable du service "observatoire, tudes et appui l'valuation", Direction gnrale, Conseil gnral du Finistre - Georges CAVRET, Charg de mission, Direction de la Qualit de la Gestion Publique - Julie CHABAUD, Responsable de la Mission Agenda 21, Conseil Gnral de la Gironde - Olivier COMPAIN, Directeur de laudit, de lvaluation des politiques publiques et de la dmarche qualit, Conseil gnral de l'Essonne - Farid HADJAB, Service valuation des Politiques Publiques, Direction des finances, de l'conomie et du dveloppement durable Conseil Gnral de la Nivre - Serge HUTEAU, Contrleur de gestion, Conseil gnral de la Mayenne - Sophie LARGEAU, Chef de projet dmocratie participative, Dlgation gnrale la citoyennet et au dveloppement durable, Conseil gnral du Val-de-Marne - Christian MOINARD, Directeur de la Qualit de la Gestion publique, Conseil gnral de Loire-Atlantique - Boris PETROFF, Dlgu gnral la citoyennet et au dveloppement durable, Conseil gnral du Val-de-Marne, Conseil gnral du Val-de-Marne

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

152

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

- Vincent POTIER, Directeur gnral des services, CG des Bouches du Rhne - Patrick REIX, Directeur gnral des services, Conseil gnral de Loire-Atlantique - Ren ROESCH, Ple Dveloppement des Territoires, Direction du Dveloppement Local et Urbain, Conseil gnral du Bas-Rhin - Christophe RUPRICH-ROBERT, Directeur gnral adjoint de l'Organisation, des Systme d'Information et du Contrle, Conseil gnral du Vaucluse - Anglique SLOAN, Directrice adjointe de l'audit et de l'valuation, Conseil gnral des Hauts de Seine - Julie SMITH, Directrice de l'audit et de l'valuation, CG des Hauts de Seine - Delphine TRUCHET, charge de mission, Dlgation gnrale la citoyennet et au dveloppement durable

o Conseils rgionaux
- Jean-Luc BOEUF, Directeur gnral des services, Conseil rgional de Franche Comt - Pascal DELAFOSSE, Chef de service valuation, Direction du Dveloppement Durable, de la Prospective, et de l'valuation, Conseil Rgional Nord Pas de Calais - Pierre-Jean LORENS, Directeur du Dveloppement Durable, de la Prospective,et de l'valuation, Conseil Rgional Nord Pas de Calais

o Communauts urbaines
- Cdric GRAIL, Directeur-adjoint de l'valuation de la Performance, Communaut urbaine de Lyon - Maryline GUILLARD, Responsable de la Mission Dveloppement Durable et Espaces Naturels, Communaut urbaine de Nantes - Benot QUINION, Directeur gnral des services, Communaut urbaine de Lyon - Nadia MABILLE, charge de mission Agenda 21/ Dveloppement Durable, Direction Prospective et Stratgie d'Agglomration, Communaut urbaine de Lyon - Philippe MAHE, Directeur gnral des services, Communaut urbaine de Nantes - Elisabeth ORTHOLAN, Charge de mission Agenda 21- Dveloppement durable, Mission Dveloppement Durable et Espaces Naturels, Communaut urbaine de Nantes -Jean-Franois TOUREL, Directeur gnral adjoint Expertise et quipements d'intrt communautaire, Communaut Urbaine de Marseille

tat
o Ministres
- Nathalie VICQ-THEPOT, Responsable du bureau "Territoires et co-responsabilit" Dlgation au dveloppement durable, Ministre de l'cologie, du dveloppement et de l'amnagement durables (MEDAD)

o Cour des comptes


- Danile LAMARQUE, Conseiller Matre la Cour des Comptes, Directrice des relations internationales, des affaires europennes et de la francophonie, Cour des comptes

o DIACT
- Thomas PEGUY, Charg de mission valuation, DIACT (Dlgation Interministrielle l'Amnagement et la Comptitivit des Territoires)

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

153

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Associations
-Jean-Christophe BAUDOUIN, Prsident de l'Association des Administrateurs Territoriaux de France (AATF) - Dorothe BRIAUMONT, Directrice adjointe, Comit 21 - Antoine CHARLOT, Directeur, Comit 21 - Hlne COMBE, Dlgue de l'Observatoire de la Dcision Publique - Frdrique DEQUIEDT, Entreprises, Territoires et Dveloppement - Elisabeth DUPONT-KERLAN, dlgue transports environnement nergie, Association des Rgions de France (ARF) - Annie FOUQUET, Prsident de la SFE (ainsi que le Bureau de la SFE) - Olivier LANDEL, Dlgu Gnral, Association des Communauts urbaines de France (ACUF) - Ludovic MEASSON, Dlgu gnral de la SFE - Eric PORTAL, Prsident de l'AFIGESE (ainsi que le groupe de travail valuation de l'AFIGESE) - Delphine VINCENT, Directrice adjointe, Entreprises, Territoires et Dveloppement

Entreprises prives
- Benot AGASSANT, Responsable Collectivits territoriales, BMJ Ratings - Pascal BELLO, Directeur gnral, BMJ Ratings - Herv BOULMIER, Arcet NOTATION - Virginie CAMPOS, Analyste, Responsable ONG et fondations, BMJ Ratings - Arnaud DE CHAMPRIS, Directeur Cabinet E.C.s - Karen DELCHET-COCHET, Chef de projet, dpartement Innovation et Dveloppement, AFAQ AFNOR Certification - Perrine DUTRONC, Responsable INNOVEST France - Florence FOUQUIER, Directeur du dpartement Audits en responsabilit sociale, VIGEO - Franois MOUTERDE, Consultant - Paul OHANA, PDG, Paul OHANA Consultants

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

154

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

ANNEXE 5 : DESCRIPTION DE LA METHODOLOGIE SD21000 ADAPTEE AUX COLLECTIVITES


La mthodologie SD21000 adapte aux collectivits locales est une mthodologie dautodiagnostic accompagn. Par le biais dune srie de notations ( laide dchelles 5 niveaux) effectues par le consultant et un groupe de travail reprsentant les principales directions de la collectivit, les collectivits identifient : des priorits de dialogue avec leurs parties intresses (afin de prendre en compte leurs attentes) ; leurs enjeux significatifs de dveloppement durable ; des priorits en termes de coordination stratgique territoriale (sur quels enjeux et avec quels acteurs travailler) ; et des voies de progrs concernant la matrise des enjeux. Loutil ainsi initialement renseign et ses premiers rsultats auraient vocation tre mis jour et mobiliss de manire rgulire au sein des services (comme pour un systme de management) dans une perspective damlioration continue.

LISTES DES DE PARTIES INTERESSEES ET DES THEMES PORTEURS DENJEUX

Ont donc t identifies une liste de Parties intresses et une liste de Thmes Porteurs dEnjeux, voulues exhaustives et universelles : ce sont des check-lists partir des quelles sont identifies des priorits concernant les acteurs et les enjeux. Les catgories de parties intresses prsentes ci-dessous sont dtailles dans les outils mthodologiques qui ont t expriments, afin de prciser les acteurs concerns. Les Thmes Porteurs dEnjeux sont, pour certains, composs de plusieurs aspects (dtaills dans les grilles de performance spcifiques, non prsentes ici, qui les concernent). Tous les TPE ne font pas lobjet dune valuation dans les trois champs (certains ne concernent pas le champ interne).

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

155

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

LISTE DES PARTIES INTERESSEES


1. La collectivit : relations internes entre le(s) coordinateur(s)/pilote(s) du projet dans la collectivit, et les services et organisations de la collectivit
1 2 3 1.1. lus de la collectivit 1.2. services de la collectivit 1.3. personnel de la collectivit

2. Partenaires de la collectivit
4 2. dlgataires et fournisseurs de la collectivit

3. Autres collectivits du territoire (Communes, CA,CDC,CU, Dpartements, Pays, Rgion...)


5 6 7 8 3.1. lus des autres collectivits du territoire 3.2. quipes de direction des autres collectivits du territoire (DGS) 3.3. services des autres collectivits du territoire 3.4. personnel des autres collectivits du territoire

4. Organisations des collectivits du territoire


9 10 11 12 13 14 4.1. associations, fdrations et rseaux de collectivits 4.2. organismes pour le dveloppement conomique et lemploi 4.3. dispositifs de documentation, dobservation, de rflexion 4.4. agences, syndicats, rgies, SEM... 4.5. organismes et dispositifs daide sociale 4.6. organismes de protection de lenvironnement et du patrimoine

5. Habitants du territoire, populations, instances reprsentatives et participatives locales


15 16 5.1. Populations du territoire 5.2. Instances reprsentatives et consultatives du territoire

6. Etat, Ministres, Institutions et Agences publiques ou agres, Groupements dintrt public, EPIC vocation nationale intervenant dans les domaines suivants :
17 18 19 20 21 22 6.1. social, de la sant, de la scurit 6.2. du dveloppement conomique et du soutien la cration dactivit 6.3. de la coopration et du dveloppement 6.4. de lamnagement du territoire, de lquipement et de la construction 6.5. des milieux naturels et d6es risques 6.6. autres organismes nationaux

7. Etat dconcentr (SGAR, DIREN, DRIRE, DDE, DDAF, DDASS, MISE, services fiscaux, )
23 24 7.1. directions des services dconcentrs de lEtat 7.2. personnel des services dconcentrs de lEtat

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

156

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

8. Secteur associatif, fondations, fdrations intervenant dans les domaines suivants :


25 26 27 28 29 30 31 8.1. de lenvironnement 8.2.du dveloppement de lactivit et de lemploi 8.3.du milieu et des activits rurales 8.4. du btiment, de la construction, de larchitecture, de lurbanisme 8.5. Social, du dveloppement, de la coopration 8.6. des ressources aux collectivits en lien avec le dveloppement durable 8.7. divers associations

9. Secteur de lducation, de la formation et de la recherche


32 33 34 9.1. acteurs de lducation 9.2. acteurs de la formation 9.3. acteurs de la recherche

10. Secteurs dactivits


10.00 Professionnels et leurs organisations dans les secteurs de : 35 36 37 38 39 40 41 42 43 44 45 46 47 48
10.1 lalimentation, de lagroalimentaire, de la grande distribution 10.2 limmobilier, de la location et des services aux entreprises 10.3 industries extractive et manufacturire 10.4 la construction 10.5 commerce, rparation automobile et autres appareils domestiques 10.6 la production et la distribution deau, de gaz et dlectricit 10.7 transports et communications (dont SNCF, socits dautoroutes), NTIC et rseaux 10.8 lagriculture, la chasse, la sylviculture, la pche et laquaculture, lexploitation forestire 10.9 la sant et laction sociale, services collectifs, sociaux et personnels 10.10 des loisirs, de lorganisation de manifestations, de lhtellerie et de la restauration 10.11 du conseil (cabinets de conseil / bureaux dtude / architectes / paysagistes) 10.12 du capital dveloppement et du capital risque 10.13 lassurance

10.14 salaris, employs, main duvre et leurs reprsentants (syndicats)

11. Organismes internationaux


49 11. Organismes internationaux

12. Autres Parties intresses


50 51 52 53 54 12.1 acteurs du micro-crdit et de la microfinance 12.2 collectivits des territoires voisins 12.3 collectivits des pays en voie de dveloppement 12.4 mdias 12.5 organismes de certification et de labellisation

13. Gnrations futures


55 13. gnrations futures

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

157

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

LISTE DES THEMES PORTEURS DENJEUX (TPE)


TPE DE MOYEN (Elments de dmarche)
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 Engagement et capacit de mobilisation des lus et de la direction Participation, implication et motivation du personnel Stratgie, politiques et objectifs Organisation et responsabilits Mthodes de travail et de gestion du projet Systmes de management Prise en compte des parties intresses : attentes et influences Veille rglementaire et sur les bonnes pratiques Communication interne / Communication externe Tableaux de bords et instruments de suivi Efficacit et bonne gestion Politique dachat/Commande publique Politiques de tarification/Fiscalit Durable-conditionnalit des aides, financements et subventions Gestion responsable du patrimoine de la collectivit Services publics et quipements collectifs Amnagement du territoire, gestion de lespace, matrise du foncier Dplacements Transports Infrastructures Habitat logement Activits et Dveloppement conomique Travail, emploi, GRH Gestion et prvention des risques Intgration territoriale des activits et gestion des externalits Ecologie industrielle et mtabolisme territorial Agriculture, milieux ruraux et forts Tourisme Enseignement, ducation, recherche Sant Egalit, Equit, Solidarit Cohsion et Relations sociales Culture Activits sportives et de loisirs Coopration dcentralise Eau gestion rationnelle, consommations, traitement des eaux uses et gestion des rejets, pollution Air pollution et odeurs Gaz Effet de Serre Energie consommations / utilisation dnergies renouvelables/alternatives Dchets Sols pollutions/artificialisation Biodiversit et milieux naturels Bruit
MANAGERIAUX ENVIRONNEMENT SOCIETE ECONOMIE ACTIVITES ECO RESPONSABILITE AMENAGEMENT INSTRUMENTAUX

TPE DE FIN (Domaines daction)

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

158

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

LES 3 ETAPES DE LA METHODOLOGIE


ETAPE 1 : TRAVAIL SUR LES PARTIES INTERESSEES (attentes et niveau de relation) On note : o le niveau de relation de la collectivit avec les parties intresses (PI) o le niveau dattentes (estim par la collectivit) des PI vis--vis de chaque thme porteur denjeu (TPE) Le niveau de relation est caractris grce lchelle suivante :
1. 2. 3. 4. 5. La collectivit ne connat pas la partie intresse ou que de nom La collectivit connat la partie intresse (son rle, ses missions,) La collectivit sollicite la partie intresse et/ou est sollicite par elle en cas de besoin La collectivit a des relations dchanges dinformations, et est amene rpondre rgulirement aux attentes de la partie intresse (elle connat ses caractristiques, ses pratiques) Il existe entre la collectivit et la partie intresse un dialogue et/ou une collaboration rguliers, formaliss et/ou troits (contrats, conventions)

Le niveau dattente des parties intresses vis--vis des TPE est caractris grce lchelle suivante :
1. 2. 3. 4. 5. La partie intresse na pas dattentes vis--vis de lenjeu La partie intresse a des attentes accessoires vis--vis de lenjeu La partie intresse exprime lattente dune meilleure matrise de lenjeu La partie intresse est directement concerne : elle attend un bnfice clairement identifi de la matrise de lenjeu La matrise de lenjeu est indispensable pour la partie intresse

Cette tape permet dtablir un bilan de la connaissance gnrale des attentes des parties intresses concernant les enjeux, et dtablir des priorits de dialogue (envers les parties intresses avec lesquelles le niveau de dialogue est faible (<3)). ETAPE 2 : NOTATION SUR LES THEMES PORTEURS DENJEUX (performance et importance) On note : o le niveau de performance de la collectivit sur la matrise des TPE o le niveau dimportance des Thmes Porteurs dEnjeux pour le dveloppement durable du territoire de la collectivit La notation du niveau de performance sur les thmes porteurs denjeux seffectue partir dune grille gnrique de performance qui dfinit cinq niveaux pour chacun des trois champs. Des critres (procduraux : qui concernent les moyens que mobilise la collectivit ; substantifs : recours des indicateurs localement pertinents de suivi de la performance), qui concernent la qualit du processus mis en uvre pour matriser chaque enjeu, sont dfinis. La grille gnrique de performance constitue une matrice de rfrence pour situer la collectivit sur un niveau de performance dans chaque champ et pour chaque TPE. Des grilles ad hoc dclinant cette matrice ont t labores pour la plupart des TPE ; dans le cas contraire, la grille gnrique fait rfrence (et suffit pour situer le niveau global de performance de la collectivit en termes de matrise du TPE).

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

159

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

Le niveau dimportance de chaque TPE pour le dveloppement durable du territoire est not de 1 5, au gr dune chelle non explicite. Ceci ncessite quait lieu une vritable explicitation collective des raisons qui justifient le niveau dimportance retenu (comme cest le cas pour le niveau de performance, qui est not en mme temps que limportance). Elle rend par ailleurs tout fait indispensable que le travail de notation sur les thmes porteurs denjeux soit fait de manire collective au sein de la collectivit. Cette tape permet didentifier parmi les TPE, des enjeux significatifs. Ces derniers sont caractriss par une importance forte (de niveau 4 ou 5) et par une performance faible (< 3).
ETAPE 3 : NOTATION DU NIVEAU DE LA COMPETENCE DE LA COLLECTIVITE ET DU NIVEAU DINFLUENCE DES PARTIES INTERESSEES SUR LA MAITRISE DES ENJEUX SIGNIFICATIFS

On note : o le niveau de comptences de la collectivit vis--vis de la matrise des enjeux o le niveau dinfluence des PI sur la matrise des enjeux significatifs Le niveau dinfluence des parties intresses sur la matrise des TPE est caractris grce lchelle suivante :
1. 2. 3. la partie intresse na aucune influence sur la matrise de lenjeu la partie intresse est peu influente sur la matrise de lenjeu limplication de la partie intresse permet une meilleure matrise de lenjeu (typiquement : les acteurs qui par leurs comportements, notamment collectifs, (production, demande, consommation, usages) ont des impacts sur la matrise de lenjeu ; acteurs possdant une comptence partielle sur lenjeu) limplication de la partie intresse est requise pour une bonne matrise de lenjeu (typiquement : un acteur qui par son comportement (production, demande, consommation, usages) a un impact majeur sur lenjeu ; une instance ou une institution qui possde en droit des comptences sur lenjeu ; un organisme clef en termes de ressources et dexpertise sur lenjeu) limplication de la partie intresse est indispensable la matrise de lenjeu (typiquement : une instance ou une institution qui possde en droit des comptences importantes/majeures sur lenjeu ; un acteur dont le comportement est majoritairement responsable du niveau de matrise de lenjeu)

4.

5.

Le niveau de comptence de la collectivit sur la matrise de ses enjeux significatifs est caractris selon not selon lchelle suivante :
1. la collectivit na aucune comptence directe sur la matrise de lenjeu (elle na pas de comptence institutionnelle (tel que fix par la loi pour les collectivits territoriales) ou elle a dlgu sa comptence (dans le cadre de ses comptences propres ou dlgues) une structure intercommunale (pour les collectivits infra-dpartementales)) la collectivit na pas de comptence institutionnelle pour la matrise de lenjeu mais elle a dvelopp une comptence volontaire ; elle intervient de faon minoritaire sur la matrise de lenjeu la collectivit a une comptence institutionnelle ou pas pour la matrise de lenjeu ; elle mne des politiques aux cts de parties intresses qui interviennent niveau peu prs gal dans le domaine la collectivit est comptente pour la matrise de lenjeu et dveloppe une politique forte dans le domaine la collectivit est comptente pour la matrise de lenjeu, et elle est animatrice / chef de projet / chef de file / sur la matrise de lenjeu

2. 3. 4. 5.

Cette tape permet didentifier des priorits en termes de coordination stratgique territoriale. La coordination savre ncessaire pour la matrise de lensemble des enjeux significatifs : il existe en effet toujours, en rgle gnrale, des parties intresses de niveau dinfluence 4 ou 5 avec lesquelles travailler pour une matrise collective des enjeux. La coordination est indispensable pour les enjeux significatifs sur lesquels il existe des parties intresses de niveau dinfluence > 3. Elle est galement prioritaire lorsque la collectivit a un niveau de comptence < 3. A ce stade de la mthodologie, il est possible didentifier des voies de progrs et des actions associes, pour lamlioration de la matrise des enjeux significatifs dans chacun des champs concerns. Ces voies de progrs sont orientes par les critres de performance caractrisant le niveau suprieur atteindre, et par le contexte spcifique de la collectivit.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC 2 AVRIL 2008

160

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

2. MESURE 1. PRISE DE CONSCIENCE


pas daction valuation de la situation et identification de voies de progrs Diagnostic et mobilisation des connaissances Diagnostic et mobilisation des connaissances concernant la matrise de lenjeu au sein de / par la collectivit en tant quorganisation. Identification de voies de progrs pour la matrise de lenjeu par la collectivit en tant quorganisation. Choix de modalits de mesure de la performance sur lenjeu.

3. MISE EN PLACE DACTIONS


visant progresser sur lenjeu : tat de lart Au moins respect des exigences rglementaires Respect des exigences rglementaires se rapportant lenjeu au sein de / par la collectivit en tant quorganisation. Etat de lart dans la matrise de lenjeu par la collectivit en tant quorganisation. Bonnes pratiques mises en uvre. Performance mesure satisfaisante en termes de contribution des actions la matrise de lenjeu. Rvision ventuelle des modalits de mesure de la performance sur lenjeu.

4. MAITRISE PARTIELLE DINNOVATIONS


identification et mise en uvre partielle de la prochaine innovation Exemplarit dans la matrise de lenjeu au sein de / par la collectivit en tant quorganisation. Usage gnralis des bonnes pratiques. Identification et mise en uvre partielle de meilleures pratiques et de pratiques innovantes. Modalits de mesure de la performance sur lenjeu consolides, fiables et pertinentes. Performance mesure contribution des actions la matrise de lenjeu exemplaires, au-del de ltat de lart. Processus de suivi et damlioration continue de la matrise de lenjeu par la collectivit en tant quorganisation. Exemplarit et gnralisation de la prise en compte de lenjeu et de ses aspects sociaux, conomiques et environnementaux au gr des comptences de la collectivit et dans lensemble de ses politiques. Matrise de lenjeu au-del de ltat de lart, usage gnralis des bonnes pratiques. Identification et mise en uvre partielle de meilleures pratiques et de pratiques innovantes. Modalits de mesure de la performance sur lenjeu consolides, fiables et pertinentes. Performance mesure, contribution des actions la matrise de lenjeu exemplaires. Processus de suivi et damlioration continue de la matrise de lenjeu au gr de ses comptences de la collectivit et au travers de ses politiques. Mise en place dactions, politiques, dispositifs coordonns avec les parties intresss influentes sur la matrise de lenjeu, convergence sur les objectifs de matrise de lenjeu. Rvision ventuelle des modalits de mesure de la performance collective sur lenjeu.

5. EXCELLENCE / EXEMPLARITE
gnralisation de linnovation dans la gestion de lenjeu Gnralisation / systmatisation de lusage des meilleures pratiques pour la matrise de lenjeu au sein de / par la collectivit en tant quorganisation. Innovation(s) dans la matrise de lenjeu par la collectivit en tant quorganisation. Excellence de la performance mesure. Processus de suivi et damlioration continue consolid et ancr au sein de la collectivit en tant quorganisation.

ORGANISATION INTERNE

Pas dactions ni dinterrogations (autres quparses et trs ponctuelles) concernant la matrise de lenjeu au sein de / par la collectivit en tant quorganisation. Faible connaissance de lenjeu et des moyens ncessaires sa matrise au niveau de la collectivit en tant quorganisation.

COMPETENCES ET POLITIQUES

Pas dinterrogations ni dactions (autres quparses et trs ponctuelles et hors des routines habituelles), concernant la matrise de lenjeu par la collectivit au gr de ses comptences et au travers de ses politiques. Faible connaissance de lenjeu et de son niveau de matrise par le biais des comptences de la collectivit. Pas dinterrogations ni dactions concernant le lien entre la matrise de lenjeu et les diffrentes politiques (incluant celles portant sur des thmatiques a priori loignes) menes par la collectivit

Diagnostic et mobilisation de la connaissance sur lenjeu en termes de matrise par la collectivit au travers de ses politiques et au gr de ses comptences. Analyse de limpact des politiques menes par la collectivit sur la matrise de lenjeu (que ces politiques concernent ou non a priori la matrise de lenjeu). Identification de voies de progrs pour la matrise de lenjeu au travers des politiques menes par la collectivit et au gr de ses comptences. Choix de modalits de mesure de la performance sur lenjeu.

COORDINATION STRATEGIQUE TERRIRTORIALE

Pas dinterrogations ni dactions (autres quparses et trs ponctuelles) concernant la matrise de lenjeu lchelle du territoire. Faible connaissance de lenjeu et des moyens ncessaires sa matrise lchelle du territoire. Faible connaissance des moyens / leviers daction / initiatives / pratiques / comptences / influence, et des dispositions des parties intresses vis-vis de lenjeu. Faible communication avec les parties intresses concernant la matrise de lenjeu. Pas de coordination avec les parties intresses pour la matrise collective de lenjeu lchelle du territoire.

Organisation et ouverture du dialogue avec les parties intresses sur leurs moyens / leviers daction / initiatives / pratiques / comptences / influence et dispositions vis--vis de lenjeu.

Respect des exigences rglementaires concernant lenjeu dans le cadre des comptences et des politiques de la collectivit. Etat de lart dans la matrise de lenjeu au travers des comptences et des politiques de la collectivit. Bonnes pratiques mises en uvre. Performance mesure satisfaisante en termes de contribution des actions la matrise de lenjeu. Rvision ventuelle des modalits de mesure de la performance sur lenjeu. Efforts de matrise de lenjeu au travers des politiques ne concernant pas directement lenjeu (effets croiss, induits, indirects, des politiques et des actions les unes sur les autres). [ Peut conduire la rvaluation et la modification de politiques menes dans dautres domaines]

Gnralisation / systmatisation de lusage des meilleures pratiques pour la matrise de lenjeu au gr des comptences de la collectivit et au travers de ses politiques. Innovation(s) dans la matrise de lenjeu par la collectivit au travers de ses politiques et au gr de ses comptences. Excellence de la performance mesure. Processus de suivi et damlioration continue consolid et ancr dans la mise en oeuvre des comptences et des politiques de la collectivit.

Dialogue tabli avec les parties intresses influentes vis--vis de la matrise de lenjeu. Mutualisation des analyses (diagnostics, pratiques, comptences) avec les parties intresses concernant la matrise de lenjeu. Choix de modalits de mesure de la performance collective sur lenjeu.

Systme de gouvernance assurant la participation de lensemble des parties intresses la gestion innovante de lenjeu au travers de leur implication coordonne dans les dcisions et la mise en uvre dactions concernant lenjeu, en totale cohrence avec la stratgie de dveloppement durable du territoire. Bonne matrise collective de lenjeu. Modalits de mesure collective de la performance sur lenjeu consolides, fiables et pertinentes. Processus de suivi et damlioration continue de la matrise de lenjeu au travers de laction collective sur le territoire.

CONTRIBUTION A LELABORATION DUN GUIDE DE LEVALUATION DES POLITIQUES PUBLIQUES LAURENT DJEZZAR CELINE GATEAU-LEBLANC MARS 2008

161

ASSEMBLEE DES DEPARTEMENTS DE FRANCE INSTITUT NATIONAL DES ETUDES TERRITORIALES

A SUIVRE.