Cahier 49

Les approches thoriques en valuation
Pierre-Marc Daigneault (dir.)

2011, no 4
Pierre-Marc Daigneault (dir.) Les approches thoriques en valuation Cahiers de la performance et de lvaluation Printemps 2011, n 4 Bibliothque et Archives nationales du Qubec ISBN 978-2-9811262-3-8 Qubec, 2011
LE LABORATOIRE PEREVAL
PerEval est un laboratoire de recherche de lUniversit Laval qui tudie la performance et lvaluation de laction publique. Lobjectif de ce ple dexpertise et de ressources est de contribuer aux rflexions et lavancement des connaissances dans un domaine en plein essor. Les membres du laboratoire de recherche mnent des tudes thoriques et empiriques et portent une attention particulire la diffusion et lutilit de leurs rsultats. PerEval assure la formation de praticiens et dtudiants par lenseignement et lencadrement de mmoires de matrise ou de thses de doctorat. Le laboratoire peut mettre ses comptences la disposition des organisations publiques et parapubliques qui ont des besoins particuliers de formation ou de conseil en matire dvaluation et de gestion de la performance. Lquipe du laboratoire PerEval est constitue de chercheurs : professeurs, professionnels de recherche et tudiants des cycles suprieurs (matrise et doctorat). Ces chercheurs ralisent des travaux autour de trois axes principaux : lvaluation participative, la gestion de la performance et lthique de laction publique.
LES AUTEURS
Jean-Franois Blanger est tudiant finissant au programme de matrise en affaires publiques de lUniversit Laval et laurat, pour lanne 2009-2010, dune bourse de matrise Joseph-Armand-Bombardier du Conseil de recherches en sciences humaines du Canada (CRSH). Son mmoire porte sur lvaluation des actions publiques en contexte de crise humanitaire. Il est titulaire dun baccalaurat multidisciplinaire avec certificat en science politique, certificat en histoire et bloc complmentaire. Il est galement auxiliaire de recherche depuis 2006 lUniversit Laval et au sein du laboratoire PerEval. Pierre-Marc Daigneault est candidat au doctorat en science politique lUniversit Laval. Il est titulaire dune matrise en analyse des politiques de lUniversit Laval. Lvaluation de programme constitue le thme central autour duquel sarticulent ses recherches. Il sintresse notamment aux questions relatives la qualit, la participation des parties prenantes, aux thories et mthodes valuatives ainsi qu lutilisation de lvaluation. Sa thse, qui consiste en une revue systmatique de la littrature, examine la relation entre la participation des parties prenantes lvaluation et lutilisation de lvaluation. Ses recherches ont notamment t publies dans lAmerican Journal of Evaluation et la Revue canadienne dvaluation de programme. Alice Dignard travaille en valuation de programme depuis une vingtaine dannes au gouvernement du Qubec et elle occupe, depuis 2009, le poste de directrice de lvaluation au ministre de lEmploi et de la Solidarit sociale. Elle est titulaire dune matrise en amnagement du territoire et dveloppement rgional, dune matrise en administration publique ainsi quune scolarit partielle de doctorat de lENAP. En 2009, la Socit qubcoise dvaluation de programme (SQEP) lui a dcern le prix Reconnaissance pour sa contribution exceptionnelle lavancement de la pratique de lvaluation. Elle est actuellement membre du conseil dadministration du Groupe des responsables en analyse et valuation de programme (GRAEP) et en a assum la prsidence de 2005 2010. Elle a t active au sein de la SQEP titre dadministratrice, puis de prsidente (1993-1997). Jihane Lamouri est candidate la matrise de recherche en tudes internationales lInstitut qubcois des hautes tudes internationales (HEI) de lUniversit Laval. Elle est titulaire dun baccalaurat en histoire et en gographie de lUniversit Paris I Panthon-Sorbonne (France). Ses intrts de recherche sont le dveloppement international et les questions de scurit en Afrique et au Moyen-Orient Hobivola A. Rabearivelo est tudiant au doctorat en tudes internationales lInstitut qubcois des hautes tudes internationales (HEI) de lUniversit Laval. Il est titulaire dune matrise en goconomie et intelligence stratgique de lInstitut de relations internationales et stratgiques (IRIS, France) et dune autre en affaires internationales de lInstitut suprieur europen de gestion de Paris (ISEG Paris, France). Ses recherches portent principalement sur les relations entre la criminalit transnationale et le dveloppement des conflits non internationaux, ainsi que sur les politiques de scurit et de surveillance en Amrique du Nord et en Europe occidentale. Il est auxiliaire de recherche auprs de la Chaire de recherche du Canada en surveillance et construction sociale du risque et rdacteur en chef du journal Regard critique, le journal des hautes tudes internationales. Florence Thberge est tudiante la matrise en science politique lUniversit Laval. Ses intrts de recherche touchent llaboration des politiques environnementales dans des domaines aussi varis que lnergie, les transports, la gestion de leau et des dchets et lagriculture. Elle complte actuellement un stage professionnel la Direction gnrale de la politique stratgique et de la recherche de Ressources humaines et Dveloppement des comptences Canada.
II
REMERCIEMENTS
Nous tenons remercier trs chaleureusement les institutions et les personnes suivantes pour leur contribution essentielle la prsente tude. Lcole de la fonction publique du Canada (EFPC) pour laide financire accorde au projet Pratiques exemplaires en valuation participative : dveloppement dun coffre outils lintention des dcideurs et des valuateurs du gouvernement du Canada (20082011). Les opinions exprimes dans ce document ne refltent pas ncessairement celles de lcole de la fonction publique du Canada ou du gouvernement du Canada. Le Fonds qubcois de recherche sur la socit et la culture (FQRSC) pour laide financire accorde au projet Transcender les frontires et rapprocher les acteurs : lvaluation participative de la coopration au dveloppement (2008-2011).
III
TABLE DES MATIRES

Le laboratoire PerEval ................................................................................................................................................................... I Les auteurs ....................................................................................................................................................................................... II Remerciements.................................................................................................................................................................................III I. Introduction gnrale Pierre-Marc Daigneault ...........................................................................................................................1 II. Les approches thoriques en valuation : tat de la question et perspectives Pierre-Marc Daigneault..........................2
2.1 Les multiples visages de la thorie en valuation .........................................................................................................................2 2.2 La thorie valuative : un luxe pour les praticiens? ......................................................................................................................4 2.3 Une pratique valuative thoriquement informe .....................................................................................................................5 2.4 Vers un partenariat fertile entre thorie et pratique ......................................................................................................................5 Rfrences ......................................................................................................................................................................................6
III. Lvaluation habilitative Jean-Franois Blanger ......................................................................................................................7

3.1 Lapproche habilitative en bref ....................................................................................................................................................7 3.2 Pour aller un peu plus loin ...................................................................................................................................................11 3.2.1 Les assises historiques et disciplinaires..........................................................................................................................12 3.2.2 Les assises thoriques et conceptuelles .........................................................................................................................12 3.3 Un regard rflexif et critique .....................................................................................................................................................13 En conclusion.................................................................................................................................................................................14 Rfrences ....................................................................................................................................................................................15
IV. Lvaluation affranchie des objectifs : une approche sans but? Hobivola A. Rabearivelo et Jihane Lamouri.................17
4.1 Les principes, les fondements et les mthodes ..........................................................................................................................17 4.2 Une tude de cas sur la complmentarit entre la GBE et la GFE ................................................................................................19 4.3 Les critiques et les dbats autour du concept ............................................................................................................................20 Rfrences ....................................................................................................................................................................................22
V. Lvaluation dmocratique dlibrative Florence Thberge .................................................................................................23

5.1 Les principes de base ..............................................................................................................................................................23 5.2 Son histoire .............................................................................................................................................................................25 5.3 Une proposition sur les faits et les valeurs .................................................................................................................................25 5.4 Une illustration de lapproche ...................................................................................................................................................26 5.5 Des critiques ...........................................................................................................................................................................28 Conclusion .....................................................................................................................................................................................29 Rfrences ....................................................................................................................................................................................30
VI. Des thories pour comprendre et agir Alice Dignard ...........................................................................................................31

6.1 Lvaluateur des programmes publics ......................................................................................................................................31 6.2 La thorie influence ncessairement la pratique ........................................................................................................................33 6.3 Quelques utilisations des approches participatives .....................................................................................................................33 6.4 Lvaluation formative et sommative .........................................................................................................................................35 6.5 valuer : tout un art, une profession ..........................................................................................................................................36 Rfrences ....................................................................................................................................................................................38
VII. Le mot de la fin Pierre-Marc Daigneault ...................................................................................................................................39

7.1 La perspective dune valuatrice chevronne sur la thorie ........................................................................................................39 7.2 Vers une pratique valuative thoriquement informe ................................................................................................................40 Rfrences ....................................................................................................................................................................................42
IV
I. INTRODUCTION GNRALE PIERRE-MARC DAIGNEAULT

Ce numro des Cahiers de la performance et de lvaluation porte sur les thories ou approches valuatives qui sont, en bref, un ensemble de prescriptions concernant la pertinence et lorganisation de lvaluation, sa vise, ses questions, ses mthodes et le rle de lvaluateur. Plusieurs considrations sous-tendent la ralisation de cette publication. Tout dabord, les approches thoriques sont trop souvent ignores par les valuateurs, qui ne les connaissent pas ou encore les jugent peu applicables dans leur pratique (House, 2003). Les diffrentes approches thoriques offrent pourtant des bnfices importants aux valuateurs et ne sont pas aussi dconnectes de la ralit du praticien quon le croit gnralement. Pour paraphraser le clbre psychologue et fondateur de la recherche-action Kurt Lewin, rien nest plus pratique quune bonne thorie. Ensuite, il nexiste malheureusement que trs peu de ressources en franais sur les approches thoriques en valuation. Le prsent numro permettra en partie de pallier cette lacune, dautant plus que les Cahiers sont disponibles gratuitement en ligne. Le laboratoire de recherche PerEval a par ailleurs pour mission de favoriser la formation dtudiants par lintermdiaire de ses activits, dont la publication. Ainsi, la direction et la rdaction de la plupart des contributions ce numro ont t ralises par des tudiants diplms1. Enfin, le contenu de cette publication sinscrit dans le dbat sur lutilisation, qui est si central dans le domaine de lvaluation. Les approches thoriques peuvent en effet contribuer rehausser la qualit et surtout lutilit des valuations, condition bien sr que ceux et celles qui pratiquent lvaluation connaissent et valorisent ces approches. Les contributions de ce numro ont donc un objectif de vulgarisation et visent autant un public compos duniversitaires que de praticiens. Lun des chapitres prsente ainsi les rflexions dune valuatrice afin de favoriser un dialogue fertile entre la thorie et la pratique. Ce cahier comporte trois parties principales. Dans la premire, je me penche sur la nature de la thorie et examine son rle dans le champ de lvaluation. Jy dfends par ailleurs la thse selon laquelle la thorie a souffert de ngligence bnigne de la part des valuateurs, mais quelle a malgr tout un rle fondamental jouer dans la pratique valuative. La seconde partie contient trois chapitres, qui prsentent chacun une approche thorique. Le chapitre rdig par Jean-Franois Blanger sattarde lvaluation habilitative (empowerment evaluation) de David Fetterman, qui vise le changement social au moyen de lautodtermination et de lmancipation des parties prenantes. Le chapitre suivant, rdig par Hobivola A. Rabearivelo et Jihane Lamouri, porte sur lvaluation affranchie des objectifs (goal-free evaluation), une approche propose par Michael Scriven qui rejette la prmisse selon laquelle un programme devrait tre valu laune de ses objectifs. Dans le chapitre qui vient clore cette partie, Florence Thberge prsente lvaluation dmocratique dlibrative dErnest House et Kenneth Howe. Cette approche, qui puise explicitement dans les travaux philosophiques portant sur la dmocratie dlibrative, vise runir lensemble des parties prenantes pertinentes dune valuation dans un dialogue sur leurs intrts et une dlibration sur lobjet valu. Ces thories nont premire vue que peu de points communs, si ce nest quelles sont quelque peu excentres par rapport ce quon pourrait qualifier de modle dominant de lvaluation (je pense ici la trs influente approche dvaluation conue par Peter Rossi, Mark Lipsey et Howard Freeman [2004]). Ces chapitres sont bien entendu trs loin doffrir une cartographie complte des diffrentes approches valuatives. Les thories prsentes sont nanmoins suffisamment diffrentes les unes des autres pour couvrir une palette intressante de valeurs, de mthodes et de pratiques et, surtout, pour susciter la rflexion chez les valuateurs. La troisime partie prsente les rflexions dAlice Dignard, une valuatrice chevronne et reconnue par ses pairs2, sur la nature, la valeur et les implications pour la pratique valuative de la thorie en gnral et, en particulier, des approches thoriques prsentes.
1 Dans le cadre du cours valuation des politiques (POL-7013) que jai donn lhiver 2010 lUniversit Laval, les tudiants devaient, en quipe de deux ou trois, faire une prsentation orale et rdiger un court texte sur une approche valuative de leur choix. Les contributions de la deuxime partie de ce cahier constituent une version substantiellement revue et augmente de certains de ces travaux. 2 Elle a en effet reu en 2009 le prix Reconnaissance de la Socit qubcoise dvaluation de programme (SQEP) pour sa contribution exceptionnelle au dveloppement de lvaluation de programme.
II. LES APPROCHES THORIQUES EN VALUATION : TAT DE LA QUESTION ET PERSPECTIVES PIERRE-MARC DAIGNEAULT
En valuation, la famille des approches thoriques1 est dune taille plus que respectable et ne cesse de slargir. Ainsi, lvaluation de quatrime gnration, le modle CIPP, lvaluation inclusive, lvaluation participative de type pratique , lvaluation centre sur la thorie, lvaluation raliste, lvaluation centre sur lutilisation et lvaluation fministe ne reprsentent que quelques-unes des nombreuses approches valuatives qui composent cette grande famille. La multiplication des approches thoriques ne garantit toutefois pas que la thorie reoive toute lattention qui lui est due. Ce constat quelque peu paradoxal pose la question, fondamentale sil en est, du rle de la thorie en valuation. La premire partie de ce texte examine la nature de la thorie en valuation et passe en revue ses diffrentes dclinaisons. La deuxime partie se penche sur lattention accorde la thorie en valuation. Jy dfends la thse selon laquelle la thorie souffre de ngligence bnigne ou bienveillante (benign neglect) de la part des valuateurs. La troisime partie pose la question du rle de la thorie valuative et prsente un plaidoyer en sa faveur.
2.1 Les multiples visages de la thorie en valuation

La thorie est un ensemble de concepts, principes, lois, valeurs, postulats et propositions plus ou moins formalis. Cest un cadre de rfrence qui aide les humains comprendre le monde dans lequel ils vivent et y fonctionner (Chen, 1990, dans Donaldson et Lipsey, 2006, p. 59). La thorie constitue galement une lentille conceptuelle qui permet de simplifier le rel en distinguant ce qui est important de ce qui ne lest pas (Sabatier et Jenkins-Smith, 1993). Les thories remplissent gnralement lun ou lautre des deux ensembles de fonctions suivants : (1) dcrire, classer, expliquer et prdire le rel; (2) juger le rel laune de critres normatifs et prescrire certaines actions pour le transformer. Le premier type de thories est empirique et porte sur ce qui est (Alkin, 2004; Donaldson et Lipsey, 2006; Scriven, 2003). Ces thories sont celles quon rencontre le plus frquemment dans les diffrentes disciplines scientifiques qui se penchent sur le social. titre dexemple, la thorie du choix rationnel tente dexpliquer et de prdire le comportement des individus sur la base de la maximisation de leurs prfrences. Le second type de thories est normatif et prescriptif et porte sur ce qui devrait tre. La thorie de la justice de John Rawls (1999 [1971]), qui value les institutions politiques laune des principes normatifs de la libert gale pour tous et de la diffrence, en constitue une illustration. Les thories philosophiques sur le bien et le juste entrent dans la catgorie prescriptive, mais nen puisent cependant pas le sens. Ainsi, les thories valuatives sont galement prescriptives mais dun genre diffrent, elles sont orientes vers la pratique. Elles consistent en [] un ensemble de rgles, de prescriptions et dinterdits, de mme quen des cadres de rfrence qui spcifient ce quest une valuation acceptable et comment elle devrait tre ralise [] (Alkin, 2004, p. 5, traduction). titre dexemple, lapproche bien connue de lvaluation centre sur lutilisation (Patton, 2005) insiste notamment sur le fait que lvaluateur devrait organiser lvaluation selon le principe de lutilisation prvue par les utilisateurs prvus (intended use by intended users). Selon cette conception, les approches valuatives constituent dabord des stratgies oprationnelles (voir Smith, 2010) pour raliser lvaluation 2.
1 Certains tablissent une distinction entre la thorie et dautres concepts tels que modle, approche, cadre conceptuel et paradigme, selon leur niveau de formalisation et leur porte notamment (par exemple, Smith, 2010; Stufflebeam, 2001). Conformment un usage courant en valuation (voir Alkin, 2004; Mark, 2005), le terme de thorie est employ ici au sens large et dsigne autant les modles thoriques formaliss que les approches thoriques moins bien dfinies. 2 Nick L. Smith (2010) soutient que les modles valuatifs peuvent galement tre conus comme des idologies ou des interventions. Sans nier lutilit de ces autres conceptions, je dfends ici une conception qui se rapproche de la stratgie oprationnelle.
Les approches valuatives offrent donc des prescriptions dorientation pratique qui ont trait des questions qui concernent la pertinence et lorganisation de lvaluation, notamment sa vise, ses questions, ses mthodes, le rle de lvaluateur et des parties prenantes ainsi que la manire de grer les contraintes de lvaluation. Les approches valuatives ne sy rsument toutefois pas. En effet, William Shadish, Thomas Cook et Laura Leviton (1991) ont propos, outre la dimension pratique (qui sapparente lide de stratgie oprationnelle), quatre composantes ou dimensions des approches valuatives :
Construction du savoir : Quelle est la nature de la ralit? Quelle est la nature du savoir gnr propos de lobjet valu? Quels devis et mthodes permettent de produire des infrences crdibles? Valeur : Quelles valeurs devraient tre reprsentes dans lvaluation? Comment construit-on les jugements sur lobjet valu? Action publique (social programming) : Quest-ce quun programme social et quel est son rle dans la rsolution de problme? Quelles sont les composantes dun programme et comment fonctionne-t-il? Comment survient le changement dans les programmes publics? Utilisation : Comment les donnes des sciences sociales peuvent-elle influencer la conception, la mise en uvre et le sort (abandon, maintien ou rforme) des programmes publics? Quels sont les types dutilisation et les facteurs considrer pour augmenter lutilisation de lvaluation?
Idalement, toute thorie valuative devrait pouvoir offrir des rponses convaincantes lensemble des questions prcdentes, en plus de rpondre aux questions touchant la dimension pratique. Force est toutefois de constater quaucune approche valuative ne couvre parfaitement tous ces lments (Shadish, Cook et Leviton, 1991). Cette grille constitue en fait une mtathorie, soit une thorie qui permet de dcrire, de classer, dexpliquer et de juger dautres thories (Scriven, 2003). Parmi les autres exemples de mtathories influentes, on trouve larbre de la thorie propos par Marvin C. Alkin (2004) et la grille danalyse des modles dvaluation de Daniel Stufflebeam (2001). On a vu que les thories valuatives sont la fois normatives, prescriptives et orientes vers la pratique. Certaines approches valuatives sont par ailleurs fondes sur des thories philosophiques, la thorie dlibrative par exemple (voir House et Howe, 2000). En outre, malgr leur caractre normatif et prescriptif, certaines approches valuatives mobilisent plus ou moins explicitement des lments tirs des thories des sciences sociales. Cest le cas de lvaluation participative, qui repose sur une thorie prdisant une relation positive entre la participation des parties prenantes lvaluation et lutilisation de celle-ci (voir, par exemple, Cousins, 2003). Un valuateur qui se pencherait sur un programme de cessation du tabagisme serait par ailleurs avis de consulter les modles psychologiques avancs dans la littrature pour expliquer la dpendance au tabac. Les valuateurs sont susceptibles de rencontrer et de mobiliser un dernier type de thorie dans leur pratique : la thorie du programme. Celle-ci est lensemble des postulats explicites et implicites qui sous-tendent le fonctionnement du programme et ses effets apprhends (Rossi, Lipsey et Freeman, 2004). Elle est une thorie du changement qui concerne les modes daction dun programme sur un problme public (Donaldson et Lipsey, 2006). Un programme qui viserait diminuer lobsit chez les pradolescents de moiti (le changement vis) pourrait par exemple tenter de gnrer ce changement au moyen de linformation sur les aliments (mcanisme daction) transmise en classe par des dittistes professionnels (processus). La thorie recoupe donc de multiples ralits dans le champ de lvaluation. Nous allons maintenant nous concentrer sur les approches thoriques, dont la fonction est de guider lvaluation, et nous interroger sur leur utilit.
2.2 La thorie valuative : un luxe pour les praticiens?

bien des gards, la thorie en valuation souffre de ngligence bnigne de la part de ceux qui pratiquent lvaluation des politiques, des programmes et des projets publics. Si les valuateurs mobilisent un coffre outils impressionnant qui comprend moult devis, mthodes, instruments et techniques, les approches thoriques censes guider la pratique de lvaluation ne semblent pas toujours en faire partie. Lvaluation ne se rsume pourtant pas lapplication mcanique de mthodes ( Evaluation Theory , 2005). Le peu dattention accorde la thorie comparativement aux mthodes a dj t soulign il y a une vingtaine dannes par Shadish, Cook et Leviton (1991). Ceux-ci avaient alors tent dy remdier en explicitant, en analysant et en valuant les approches valuatives proposes par des thoriciens emblmatiques de lvaluation tels Donald Campbell, Michael Scriven, Robert Stake et Carol Weiss. Depuis cette contribution, les appels en faveur de la thorie en valuation et les travaux savants sur celle-ci se sont multiplis (par exemple, Alkin, 2004; Christie, 2003; Mark, 2005; Shadish, 1998). Cela est sans compter le nombre dapproches thoriques qui na cess de crotre depuis la naissance de lvaluation dans les annes 1960. Force est toutefois de constater quen valuation, la pratique semble voluer de manire relativement indpendante de la thorie. Une tude empirique ralise auprs dun chantillon de praticiens de lvaluation a rvl que seulement 10 % des valuateurs utilisaient une approche thorique particulire et environ 5 % un livre de rfrence dans le cadre de leur pratique (Christie, 2003, p. 33). Ces rsultats vont dans le mme sens que ceux dune tude antrieure sur le mme sujet (Shadish et Epstein, 1987, dans Miller, 2010). Mes propres recherches sur lvaluation me laissent galement croire que les approches valuatives sont peu utilises, du moins si lon se fie ce que les rapports dvaluation en disent. Parmi les rapports dvaluation examins (provenant de diffrents ministres et organismes du Qubec et du Canada), trs peu mentionnent en effet le recours une approche thorique particulire pour la conduite de lvaluation. Ds lors, il nest pas tonnant de constater que les approches valuatives se rsument pour certains valuateurs aux devis et mthodes utiliss pour raliser lvaluation (par exemple, l approche exprimentale). Quelles sont les implications dune telle fracture entre thorie et pratique de lvaluation? Dun ct, certains soutiennent, linstar de Scriven (1991, dans Christie, 2003, p. 33; voir cependant Scriven, 1998) et dEleanor Chelimsky (1998, dans Thomas, 2010), que la thorie constitue un luxe pour les valuateurs. Dun autre ct, daucuns soutiennent que la thorie joue un rle important, voire essentiel, en valuation. Dans un vibrant plaidoyer intitul Evaluation Theory Is Who We Are , Shadish (1998) est mme all jusqu soutenir que celui ou celle qui nen connat pas beaucoup propos de la thorie valuative nest pas un valuateur. Ce dbat conduit naturellement examiner la nature de la thorie valuative en distinguant les thories explicites de celles qui sont implicites. On reconnat les approches valuatives explicites ce quelles sont prsentes de manire formelle dans diffrentes publications et au fait quelles portent gnralement un nom qui sert les dsigner (par exemple, lvaluation centre sur lutilisation ou lvaluation dmocratique). Les thories implicites ne sont en revanche pas articules en mots : ce sont des conceptions tacites qui se rvlent dans laction (theories-in-use). En raison de leur caractre implicite, ces thories sont gnralement moins dveloppes et sophistiques que leur pendant explicite, mais elles produisent nanmoins des effets bien rels sur la pratique. En effet, en plus doffrir une conception de ce quest lvaluation et de son rle, ces thories guident le praticien propos des actions qui conviennent dans tel ou tel contexte dvaluation. Ainsi, on imagine mal comment il est possible de raliser une valuation sans thorie implicite. La position de Shadish semble en ce sens assez radicale. Il est toutefois possible de pratiquer lvaluation sans suivre ni connatre une thorie valuative explicite, comme la montr Christina Christie (2003).
2.3 Une pratique valuative thoriquement informe

Quil soit possible de raliser des valuations sans avoir recours une approche thorique formelle ne signifie pas pour autant que cette pratique soit souhaitable, tant sen faut. Lapport des thories la pratique valuative doit tre soulign. Tout dabord, la thorie fournit aux valuateurs un langage qui leur permet de communiquer les uns avec les autres, mais galement avec les commanditaires et autres parties prenantes lvaluation (Shadish, 1998). La thorie dfinit en outre lidentit professionnelle des valuateurs et constitue en quelque sorte le visage quon prsente aux personnes externes la profession. Mais la raison la plus importante de sintresser la thorie est sans contredit les bnfices que lvaluateur peut en retirer en ce qui a trait la manire dont il ralise lvaluation. En effet, chaque valuation est unique et comporte une multitude de dcisions relatives notamment aux vises, aux valeurs, aux devis, aux mthodes et la participation des parties prenantes. Or, un valuateur compltement analphabte sur le plan thorique risque deffectuer ces choix de manire accidentelle (Mark, 2005), possiblement parce quil ne connat quune faon de faire ou parce quil prfre suivre toujours la mme recette dune valuation lautre. Au contraire, un valuateur qui a une bonne connaissance des approches valuatives peut mieux expliciter ses choix dans une valuation et est plus conscient des possibilits qui soffrent lui. En somme, un valuateur qui matrise une ou, encore mieux, plusieurs approches thoriques est mme de mieux rflchir sa propre pratique. En raison de leur nature prescriptive, les approches valuatives peuvent guider les choix de lvaluateur en ce qui a trait, par exemple, aux mthodes utiliser, aux circonstances de leur utilisation et leurs fins. Ces prescriptions sont souvent fondes sur les leons tires de lexprience dautres valuateurs (Mark, 2005). En effet, mme lvaluateur le plus chevronn ne peut avoir t confront plus dune fraction des situations valuatives possibles. La thorie permet de cristalliser ce savoir exprientiel et offre un moyen de le communiquer.
2.4 Vers un partenariat fertile entre thorie et pratique

Devant la ngligence bnigne dont souffre la thorie, jai prsent un plaidoyer en sa faveur afin de rtablir lquilibre qui devrait exister entre la thorie et la pratique. La thorie ne constitue cependant pas une panace qui se traduit automatiquement par de meilleures pratiques valuatives (Donaldson et Lipsey, 2006; Mark, 2005). En effet, les connaissances thoriques ne facilitent pas toujours les choix auxquels fait face lvaluateur dans sa pratique (Mark, 2005). Dune part, les implications pratiques de certaines approches valuatives ne sont pas toujours videntes. Dautre part, une connaissance tendue des diffrentes approches thoriques largit la palette des possibles en ce qui a trait au choix des valeurs, des vises, des mthodes et des pratiques de lvaluation. Enfin, une attention accrue la thorie ne doit pas nous amener ngliger le savoir pratique, cest--dire lensemble de connaissances tacites qui se rvlent dans laction, et lexercice du jugement (Schwandt, 2008). Ce savoir-en-action permet de lire une situation et dagir en consquence. Ngocier le contrat dvaluation, dcider sil faut partager les rsultats prliminaires dvaluation avec les parties prenantes et grer les diffrences culturelles dans lvaluation sont des situations o les thories sont dune utilit limite, voire contreproductives. Quoi quil en soit, il mapparat clair que la thorie doit faire lobjet dune plus grande attention de la part des valuateurs. Et cela suppose que les praticiens comprennent les avantages associs une meilleure connaissance des approches et se familiarisent avec celles-ci.
RFRENCES
[s.a.] (2005). Evaluation Theory . Dans S. Mathison (dir.), Encyclopedia of Evaluation, 142-143, Thousand Oaks, CA, Sage. Alkin, M. C. (dir.) (2004). Evaluation Roots: Tracing Theorists Views and Influences. Thousand Oaks, CA, Sage. Christie, C. A. (2003). What Guides Evaluation? A Study of How Evaluation Practice Maps onto Evaluation Theory . New Directions for Evaluation (97) : 7-35. Cousins, J. B. (2003). Utilization Effects of Participatory Evaluation . Dans T. Kellaghan, D. L. Stufflebeam et L. A. Wingate (dir.), International Handbook of Educational Evaluation, vol. 9, 245-265. Dordrecht, Kluwer Academic. Donaldson, S. I., et M. W. Lipsey (2006). Roles for Theory in Contemporary Evaluation Practice: Developing Practical Knowledge . Dans I. F. Shaw, J. C. Greene et M. M. Mark (dir.), The Sage Handbook of Evaluation: Policies, Program and Practices, 56-75. Thousand Oaks, CA, Sage. House, E. R. (2003). Introduction [Section 1: Evaluation Theory] . Dans T. Kellaghan, D. L. Stufflebeam et L. A. Wingate (dir.), International Handbook of Educational Evaluation, vol. 9, 9-14. Dordrecht, Kluwer Academic. House, E. R., et K. R. Howe (2000). Deliberative Democratic Evaluation . New Directions for Evaluation (85) : 3-12. Mark, M. M. (2005). Evaluation Theory or What Are Evaluation Methods for? . The Evaluation Exchange XI(2). Page disponible ladresse suivante : http://www.hfrp.org/evaluation/the evaluation exchange/issue archive/evaluation-methodology/evaluation-theoryor-what-are-evaluation-methods-for. Miller, R. L. (2010). Developing Standards for Empirical Examinations of Evaluation Theory . American Journal of Evaluation 31(3) : 390-399. Patton, M. Q. (2005). Utilization-Focused Evaluation . Dans S. Mathison (dir.), Encyclopedia of Evaluation, 429-432. Thousand Oaks, CA, Sage. Rawls, J. (1999 [1971]). A Theory of Justice, dition rvise. Cambridge, MA, Belknap Press of Harvard University Press. Rossi, P. H., M. W. Lipsey et H. E. Freeman (2004). Evaluation: A Systematic Approach, septime dition. Thousand Oaks, CA, Sage. Sabatier, P. A., et H. C. Jenkins-Smith (1993). Policy Change and Learning: An Advocacy Coalition Approach. Boulder, CO, Westview Press. Schwandt, T. A. (2008). The Relevance of Practical Knowledge Traditions to Evaluation Practice . Dans N. L. Smith et P. R. Brandon (dir.), Fundamental Issues in Evaluation, 29-40. New York, Guilford. Scriven, M. (1998). Minimalist Theory: The Least Theory that Practice Requires . American Journal of Evaluation 19(1) : 57-70. Scriven, M. (2003). Evaluation Theory and Metatheory . Dans T. Kellaghan, D. L. Stufflebeam et L. A. Wingate (dir.), International Handbook of Educational Evaluation, vol. 9, 15-30. Dordrecht, Kluwer Academic. Shadish, W. R. (1998). Evaluation Theory Is Who We Are . American Journal of Evaluation 19(1) : 1-19. Shadish, W. R., T. D. Cook et L. C. Leviton (1991). Foundations of Program Evaluation: Theories of Practice. Newbury Park, CA, Sage. Smith, N. L. (2010). Characterizing the Evaluand in Evaluating Theory . American Journal of Evaluation 31(3) : 383-389. Stufflebeam, D. L. (2001). Evaluation Models . New Directions for Evaluation (89) : 7-98. Thomas, V. G. (2010). The Case for Better Evaluation Theory: Comments on Miller, Kirkhart, and Smith . American Journal of Evaluation 31(3) : 414-417.
III. LVALUATION HABILITATIVE JEAN-FRANOIS BLANGER

Comme il en a t fait mention dans lintroduction de cette publication, la littrature francophone sur les approches thoriques en valuation, dont celle qui est aborde dans ce chapitre, est peu abondante. En ce qui concerne lobjet de la prsente tude, un fait vient compliquer la donne encore un peu plus : au moins deux expressions sont utilises concurremment en franais dans le domaine de lvaluation pour dsigner lempowerment evaluation : valuation habilitante/habilitative et valuation mancipatrice 1. premire vue, il semble que le terme le plus frquemment utilis soit celui dvaluation mancipatrice, mais comme le rappelle Yves Le Boss (2003), [la notion dempowerment] dans la littrature francophone a donn lieu la formulation de plusieurs quivalents franais dont les valeurs respectives nont jamais fait lobjet dune dmonstration explicite (p. 30) [ou] dune argumentation formelle base sur les connaissances disponibles sur la notion dempowerment lorsque celle-ci est associe aux pratiques sociales (p. 33). En rponse ce constat, Le Boss (2003, p. 45-47) structure une rflexion et une argumentation lamenant traduire le concept dempowerment par lexpression pouvoir dagir . la lumire du travail effectu par cet auteur, il pourrait donc savrer pertinent de traduire empowerment evaluation par une expression telle que valuation centre sur le dveloppement du pouvoir dagir . Mais, sil faut choisir entre les deux expressions qui sont dj utilises concurremment dans la littrature en valuation, notre prfrence va lexpression valuation habilitative plutt qu celle de valuation mancipatrice . La principale raison de ce choix est que le fondateur mme de lapproche utilise distinctement les concepts empowering et emancipatory (voir Fetterman, 2005, p. 10; 1996, p. 16). Puisque les deux expressions ne sont pas synonymes en anglais, il ne parat pas plus avis de les considrer comme quivalentes en franais. Aussi, le concept dhabilitation (au sens de rendre quelquun habile ... ) nous semble circonscrire lapproche en question avec plus de prcision que celui dmancipation (au sens de affranchir quelquun de... ). Enfin, le texte qui suit devrait offrir quelques lments de rflexion supplmentaires sur ce point puisque nous tenterons dy dfinir lvaluation habilitative et den synthtiser les traits essentiels. Dabord, nous brosserons un portrait gnral de lapproche et prsenterons un cas dapplication. Puis, nous tenterons dapprofondir et dlargir notre propos par une discussion sur les assises historiques, disciplinaires, thoriques et conceptuelles de lapproche habilitative. Enfin, une dernire section servira poser un regard rflexif et critique sur lapproche habilitative.
3.1 Lapproche habilitative en bref

Lvaluation habilitative a vu le jour au dbut des annes 1990. Officiellement, elle a t cre par David M. Fetterman, docteur en anthropologie2. Il a rendu publiques les grandes lignes de lapproche thorique pour la premire fois en 1993, dans une allocution prsidentielle au congrs annuel de lAssociation amricaine dvaluation. Le texte de cette communication a par la suite t publi en 1994 dans la revue Evaluation Practice (vol. 15, n 1), o lvaluation habilitative est dfinie comme lutilisation des concepts, des techniques et des rsultats dvaluation afin de favoriser lamlioration et lautodtermination (p. 1, traduction). Il est noter que cette dfinition a t depuis utilise dune manire constante par le fondateur (voir Fetterman, 1996; 1997; 2001; 2005).
1 Un bref survol des ressources disponibles sur support papier et en ligne permet de faire ce constat. Voir par exemple : Moteur de recherche des ressources documentaires de la Socit canadienne dvaluation; Divay, Hamel, Rose, Sguin, Sncal et Bernard (2004); Baron et Monnier (2003); Jacob et Ouvrard (2009). 2 Bien que cette information soit vhicule dans la plupart des textes sintressant de prs ou de loin lvaluation habilitative, on lit dans un texte de Valry Ridde et al. (2003, p. 274) que la paternit de lapproche de type empowerment nest absolument pas attribuable Fetterman car, ds le milieu des annes 1980, Elizabeth Whitmore soutenait une thse de doctorat sur ce thme.
Outre Fetterman, on peut voir en Abraham Wandersman et Shakeh J. Kaftarian, tous deux docteurs en psychologie, les autres figures emblmatiques de lapproche habilitative. En fait, ds 1996, les trois chercheurs sassocient dans la rdaction du premier ouvrage portant exclusivement sur lvaluation habilitative : Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability. En 2000, Fetterman publie un second ouvrage sur lvaluation habilitative : Foundations of Empowerment Evaluation. Enfin, en 2005, Fetterman et Wandersman sassocient nouveau dans la direction de louvrage collectif Empowerment Evaluation: Principles in Practice. videmment, plusieurs articles ont t publis au fil des ans par ces trois mmes auteurs, certains sur une base individuelle et dautres de faon collective. Aux fins du prsent texte, nous retiendrons la plus rcente dfinition de lvaluation habilitative, laquelle est justement le fruit dun collectif de huit auteurs : valuation habilitative : une approche valuative visant accrotre les probabilits de succs dun programme en (1) fournissant aux parties prenantes du programme les outils leur permettant dapprcier la planification, la mise en uvre et lautovaluation du programme et en (2) intgrant les activits valuatives au reste de la planification et de la gestion du programme/organisation (Wandersman et al., 2005, p. 28, traduction). Partant de cette dfinition, voyons quelques-uns des points saillants de lapproche habilitative. Dabord, celle-ci se veut particulirement approprie pour le dveloppement ou lamlioration des personnes, des programmes ou des institutions (voir aussi Wandersman et al., 2005, p. 29). Les concepteurs de lapproche posent minimalement deux conditions latteinte de cet objectif de dveloppement. Dune part, il doit y avoir habilitation de la communaut touche en matire dvaluation. Plus prcisment, lhabilitation est entendue ici comme un processus par lequel les individus prennent en charge leur environnement (physique, conomique, social, culturel et psychologique) laide des ressources qui leur sont accessibles (Zimmerman, 2000, dans Fetterman, 2005, p. 10, traduction). Dautre part, latteinte de lobjectif de dveloppement ou damlioration est rendue possible par linstitutionnalisation et lintgration la gestion des affaires courantes de la fonction valuative. Ensuite, cette approche est ncessairement participative et collaborative, en ce sens quun certain nombre de parties ayant un intrt dans lobjet de lvaluation (parties prenantes) doivent tre engages dans le processus valuatif. Plus prcisment, la dmarche dvaluation habilitative demande une forte participation puisquelle doit tre littralement pilote et contrle chaque tape par lensemble des parties prenantes. Corollairement, le rle de lvaluateur professionnel dans ce type de dmarche sapparente celui dun accompagnateur, dun facilitateur ou, pour reprendre lexpression de Fetterman, dun ami critique (critical friend). En somme, il importe de comprendre que lensemble de la dmarche valuative ainsi que le pouvoir dcisionnel doivent demeurer entre les mains du groupe, et non entre celles dindividus. Il va sans dire que le choix de lapproche habilitative ne peut tre impos et ncessite que lorganisation ou la communaut dsirant mener lvaluation ait effectu pralablement un travail de rflexion et de dlibration, qui permet entre autres de cibler et dinclure les parties qui participeront la dmarche. Dans la pratique, lvaluation habilitative ne recommande ni nexige de mthodes danalyse ou doutils de collecte de donnes particuliers. En fait, comme nous le verrons, lapproche habilitative sappuie avant tout sur des principes, des thories, des ides et des valeurs, puis sur des mthodes et activits particulires (Fetterman, 2005, p. 2). Mais concentrons-nous dabord sur la pratique. Essentiellement, les concepteurs de lapproche suggrent diffrents plans pour raliser une valuation habilitative, dont un en trois tapes (Fetterman) et un autre en dix (Wandersman)3. Bien que ces deux plans de ralisation soient les plus discuts dans la littrature, tout autre plan peut se valoir dans la pratique, du moment que les principes et valeurs de lapproche habilitative sont respects. Aussi, indpendamment du plan de ralisation choisi, un travail pralable de rflexion et dinclusion est ncessaire. Autrement dit, dcider dentreprendre une valuation habilitative et cibler les parties prenantes ayant voix au chapitre sont deux tapes gnralement amorces en amont de la dmarche valuative en tant que telle. Voyons maintenant, titre dexemple, ce que lapproche en trois tapes de Fetterman implique.
3 Wandersman et al. (2000) dcrivent lapproche par objectifs [The Get to Objectives Approach (GTO)] comme un outil convivial pouvant tre utilis dans le contexte dune valuation habilitative. En fait, lapproche par objectifs est un cadre de gestion en dix tapes pouvant servir la planification, llaboration, la mise en uvre et lvaluation de programmes. Par une srie de questions, ce cadre vise une reddition de comptes par rapport : (1) besoins et ressources; (2) buts, population cible, rsultats escompts; (3) incorporation des meilleures pratiques, dfinies en termes scientifiques; (4) agencement avec dautres programmes; (5) comptences et moyens requis pour la mise en uvre; (6) planification; (7) valuation de la mise en uvre; (8) valuation du rsultat et de limpact; (9) amlioration continue de la qualit; (10) durabilit et institutionnalisation. Les activits de lvaluation habilitative ne sont lies qu une partie des lments de cette liste puisque le processus dvaluation habilitative nest quune partie de ce cadre de gestion par objectifs (Cousins, 2005, p. 192, traduction).
Premirement (mission), les participants discutent et numrent les missions et objectifs du programme par lintermdiaire de phrases cls ou de mots cls. Cette dmarche doit conduire llaboration dun nonc de valeurs reprsentatif de la mission du programme et accept par tous les participants en tant que point de dpart. Cette premire tape peut savrer facultative dans le cas, par exemple, dun programme qui est relativement bien tabli et qui fait consensus en ce qui a trait ses grandes orientations. Deuximement (taking stock), les participants doivent numrer les principales activits lies au programme valu (20 au maximum) et les classer par ordre dimportance, chaque participant ayant, par exemple, 5 droits de vote pour lensemble de la liste dactivits. Chacune des activits considres comme prioritaires doit ensuite tre value sur une chelle de 1 10 par les participants. Cette notation devient en quelque sorte le premier standard de performance du programme. Il est noter que les participants doivent appuyer leurs propos et valuations laide de documents ou de faits reconnus. Troisimement (planning for the future), les participants sont invits dterminer le standard que le programme devrait atteindre dans le futur. ce stade, les objectifs pour obtenir les rsultats voulus et les outils de monitorage sont galement discuts et labors sur une base collgiale. Lencadr qui suit prsente un cas dapplication et permettra de mieux comprendre le plan de ralisation en trois tapes de Fetterman et le fonctionnement gnral dune valuation habilitative.
Exemple dvaluation habilitative mene dans un hpital pour enfants aux tats-Unis
Au dpart, lide de mener une valuation habilitative est issue dune quipe charge de projet travaillant pour lhpital en question. Lobjectif principal de lvaluation tait daider ltablissement se focaliser davantage sur les besoins de la ou des familles. Pour ce faire, une premire anne a dabord t consacre la planification initiale de lvaluation (dsignation des parties prenantes, budgtisation du projet, etc.) et la ralisation de diverses activits de rflexion et dchanges dides autour de la mission de ltablissement. Ce nest qu la suite de ce travail pralable que lquipe dvaluateurs professionnels a t convoque. Celle-ci tait compose dun valuateur principal et de deux valuatrices adjointes. Au total donc, lquipe dvaluation (evaluation team) tait compose des chargs de projet de lhpital et des trois valuateurs professionnels. Le travail pralable ayant t fait, une premire rencontre denviron trois heures a eu lieu entre lquipe dvaluation et lensemble des parties prenantes retenues pour la dmarche (divers employs de lhpital et parents denfants bnficiaires). Cette rencontre devait servir raliser les premire et deuxime tapes du plan dvaluation habilitative. En ce qui concerne la mission (mission), une sance de discussion et dchange dides a permis de rdiger un premier jet de la mission de ltablissement, qui tient en une quinzaine de lignes. Voici quelques exemples dnoncs de valeurs ou de principes que lon retrouve dans ce texte :
notre mission est dinduire un changement culturel par la cration de partenariats dynamiques entre les familles et les professionnels; nous cherchons intgrer, dans une nouvelle vision des soins centre sur la famille, plusieurs perspectives en ce qui a trait aux concepts de sant et de gurison; nous nous efforons de rduire le traumatisme cr par lhospitalisation.
Ltape suivante taking stock visait quant elle inventorier et valuer de manire prliminaire les activits lies la mission de lhpital. Cette dmarche a t effectue en quatre temps. Premirement, un remue-mninges a permis de dterminer les activits cls du programme de lhpital, par exemple :

la ralisation de guides culturels; llaboration de processus dmocratiques; les modes de communication linterne; le travail dquipe; la supervision rflexive.
9
Deuximement, il fallait hirarchiser les activits afin den retenir une dizaine, perues comme prioritaires. Pour ce faire, chaque participant sest vu octroyer cinq droits de vote quil devait attribuer lactivit ou aux activits quil considrait comme prioritaires. videmment, aprs la compilation des rsultats, certaines activits avaient reu beaucoup de votes alors que dautres taient pratiquement ignores. Cest donc en retenant les activits ayant obtenu le plus de votes que la dizaine dactivits cls du programme de lhpital a pu tre cible. Le tableau suivant permet de visualiser lopration.
Participants
A (5 votes) B (5 votes) C (5 votes) TOTAL
Activit no 1
5 votes
Activit no 2
Activit no 3

Activit no 4
2 votes
Activit no 5
1 vote
6 votes
1 vote
Troisimement, chaque participant a d valuer, sur une chelle de 1 10, la performance de lhpital par rapport chacune des activits pralablement cibles comme prioritaires. Cela a donc offert, ultimement, une notation de groupe et individuelle pour chaque activit ainsi que pour lensemble du programme. Le tableau suivant permet de visualiser cette valuation prliminaire et sommaire.
Participants
A B C TOTAL
Activit no 1
7/10 6/10 4/10 5,7/10
Activit no 2
10/10 8/10 5/10 7,7/10
Activit no 3
8/10 7/10 6/10 7/10
Activit no 4
8/10 5/10 6/10 6,3/10
Activit no 5
7/10 4/10 7/10 6/10
valuation globale du programme

8/10 6/10 5,6/10 6,5/10
Cette premire valuation devenait en quelque sorte le premier standard de performance du programme et des activits qui le composent. Mais surtout, ces premiers rsultats devaient servir de base aux discussions et rflexions de la quatrime et dernire phase de ltape taking stock. En effet, une fois lvaluation effectue, une discussion a eu lieu au sujet des rsultats obtenus et des interprtations que lon pouvait en faire. Chaque intervenant a t amen discuter ou justifier ses propres notations et commenter celles des autres participants. ce stade, le rle de lvaluateur-accompagnateur tait crucial. Ce dernier devait sassurer que les divers points de vue pouvaient tre exprims et, surtout, que ceux-ci taient fonds sur des donnes probantes ou, tout le moins, appuys sur des faits reconnus. Enfin, toutes les dcisions, valuations et discussions issues des deux premires tapes de lvaluation habilitative (mission et taking stock) ont t dveloppes plus en profondeur et mises sur papier par lquipe dvaluation. La documentation ainsi produite venait fournir le cadre de rfrence pour mener bien la dernire tape de la dmarche habilitative, soit planning for the future.
10
Essentiellement, cette dernire tape visait tablir des objectifs pour chacune des activits et des stratgies permettant de les atteindre. Bien quune partie de ce travail ait t faite lors de ltape taking stock, ltape de planification exigeait aussi que des moyens et outils soient conus pour mesurer les changements dans le temps. Cela a donc t fait pour chacune des activits cls du programme. Le processus dvaluation habilitative sest par la suite poursuivi pendant plus de deux annes. Lquipe dvaluation a chang au cours de la seconde anne et a notamment cr un poste de directeur de la recherche afin dassurer une meilleure coordination entre les valuateurs internes et externes. Aussi, les trois tapes de la dmarche habilitative (mission, taking stock et planning for the future) ont t nouveau ralises lors de la seconde anne. La mission de ltablissement a t revue et corrige en fonction des nouveaux points de vue exprims par les parties prenantes. La ralisation de lactivit taking stock, elle, a cette fois permis de comparer les rsultats avec les standards de performance qui avaient t crs au moment de la premire ralisation de cette opration. En une anne, les activits perues comme prioritaires avaient lgrement chang, et les russites et rats du programme taient mis en perspective par une nouvelle notation de la part des parties prenantes. Enfin, les objectifs et les moyens pour les atteindre ont t revus, augments et corrigs au besoin. Au final, les valuateurs externes ont donc t mme de constater une appropriation et une institutionnalisation des fonctions valuatives au sein de lhpital.
Ce cas dapplication a t tir, traduit et adapt de D. M. Fetterman (2000), Foundations of Empowerment Evaluation, Thousand Oaks, CA, Sage, p. 44-60.
Deux autres clarifications doivent tre faites avant de conclure ce premier tour dhorizon. Dabord, il y a la question de la dure dune telle dmarche. Si les deux premires tapes de lvaluation peuvent tre ralises lintrieur de quelques semaines, la troisime tape peut schelonner sur plus dune anne. En fait, comme lapproche habilitative implique une dmarche dinstitutionnalisation et dintgration la gestion des affaires courantes de la fonction valuative, elle ne prend fin thoriquement que lorsque la communaut en dcide ou lorsque lobjet de lvaluation nexiste plus (fin dun programme, dissolution de lorganisation, etc.). Ensuite, il y a la question des modalits de participation des diverses parties prenantes. Pour une multitude de raisons (de nature logistique, financire, lgale, thique, etc.), force est dadmettre que toutes les parties prenantes (dcideurs, administrateurs, employs de premire ligne, bnficiaires, bailleurs de fonds, etc.) ne peuvent se consacrer temps plein une dmarche dvaluation. Ainsi, une quipe dvaluation, qui comprend gnralement lvaluateur professionnel ainsi quun nombre plus restreint de parties prenantes, est mise sur pied et excute la majeure partie des tches lies lvaluation. La communaut en entier sera surtout mobilise des fins consultatives et pour lexcution de tches plus lgres ou ponctuelles, souvent lies la collecte des donnes.
3.2 Pour aller un peu plus loin

Maintenant que les grandes lignes de lapproche habilitative ont t discutes et quun cas dapplication a t prsent, nous tenterons dapprofondir et dlargir notre point de vue sur le sujet. Pour ce faire, nous proposons dans un premier temps un expos sur les assises historiques, disciplinaires, thoriques et conceptuelles de lapproche habilitative. Dans un deuxime temps, une discussion plus rflexive et critique sera amorce.
11
3.2.1 Les assises historiques et disciplinaires

Trs largement, on peut tablir des liens entre lapproche habilitative et dautres phnomnes observables depuis quelques dcennies dans la plupart des socits dmocratiques-capitalistes tels que la nouvelle gouvernance (des socits et des institutions), le droit lautodtermination (des peuples et des individus), la dmocratisation de linformation (droits daccs, obligations de transparence, Internet, etc.), lindividuation, le pluralisme. Au fil des ans, ces courants de fond ont videmment travers les univers de la recherche et de la science. En font foi, par exemple, les nombreux questionnements sur lutilit et lutilisation des travaux scientifiques (essor de la recherche applique et de la recherche-action), les considrations de plus en plus nombreuses relatives lthique de la recherche (place et traitement rservs aux sujets dtude), limportance accorde aux aspects construits (culturels, socitaux, etc.) des savoirs, limportance accorde aux donnes probantes. Ainsi, du ct des sciences sociales, on retrouve au moins deux influences majeures dans la conceptualisation de lapproche habilitative et qui sont issues dans une certaine mesure des transformations susmentionnes (Fetterman, 1994, p. 1-2). Dune part, il y a la psychologie communautaire, qui sintresse surtout aux personnes, organisations et communauts tentant de prendre en main le contrle de leur destine (autodtermination). Dautre part, on retrouve lanthropologie-action (recherche-action), qui se focalise sur les faons dont les chercheurs peuvent, par leur travail, aider les groupes en dmarche dautodtermination (par exemple, autochtones) atteindre leurs buts et objectifs. Il est vident enfin que lapproche habilitative a des racines du ct de la discipline4 valuative en tant que telle. Depuis quelques dcennies, lune des tendances lourdes dans le domaine de lvaluation de programme est de porter une attention accrue aux diverses parties prenantes susceptibles de vouloir ou de pouvoir participer aux valuations. Cette tendance a donn lieu au fil des ans llaboration de diverses approches que lon a qualifies de participatives ou de collaboratives : valuation de quatrime gnration (Guba et Lincoln, 1989), centre sur lutilisation (Patton, 2008), dmocratique dlibrative (House et Howe, 2000), responsive (Greene et Abma, 2001), etc. Essentiellement, toutes ces approches se basent, des degrs divers, sur la prmisse voulant que la participation des parties prenantes favorise la pertinence, lappropriation et donc lutilisation du processus valuatif (Cousins et Whitmore, 1998, p. 6). Soulignons galement que les approches participatives tentent gnralement de rpondre aux lacunes et dfauts des valuations traditionnelles , lesquels sont principalement connus comme une tendance au managrialisme, une incapacit daccepter le pluralisme des valeurs et une dpendance trop forte lgard du paradigme scientifique de lenqute (Guba et Lincoln, 1989, p. 31-32, dans Fontan et Lachance, 2005, p. 6). Aux fins du prsent texte, retenons surtout que lvaluation habilitative sinscrit sans contredit dans ce courant participatif.
3.2.2 Les assises thoriques et conceptuelles

Des points de vue thorique et conceptuel, on peut relever trois fondements principaux de lapproche habilitative (Fetterman, 2004). Dabord, il y a la thorie de lhabilitation (empowerment theory). Celle-ci sarticule videmment autour du concept dhabilitation, lequel est dailleurs peru comme un phnomne complexe qui ne renvoie pas encore un cadre conceptuel trs prcis (Le Boss, 2003, p. 30). Fetterman sinspire de cette thorie principalement pour dfinir le rle de l valuateur habilitant et renvoie aux travaux de Mark A. Zimmerman (1990; 1995; 2000), qui dfinit lhabilitation comme un processus par lequel les individus prennent en charge leur environnement (physique, conomique, social, culturel et psychologique) laide des ressources qui leur sont accessibles (Zimmerman, 2000, dans Fetterman, 2005, p. 10, traduction). La thorie de lhabilitation est gnralement structure selon deux grandes catgories : les processus habilitants et les rsultats dhabilitation . Elle met aussi en jeu de nombreux concepts tels que le contrle, la ressource, la capacit analytique, la rsolution de problme, le leadership et la prise de dcision. Enfin, soulignons que dautres auteurs que Zimmerman se sont intresss la thorie de lhabilitation, notamment Douglas D. Perkins, John Lord et Julian Rappaport. Ce dernier dfinit dailleurs lhabilitation comme la capacit des personnes et des communauts exercer un contrle sur la dfinition et la nature des changements qui les concernent (Rappaport, 1987, dans Le Boss, 2003, p. 32).
4 Lvaluation comme discipline fait dbat (voir Jacob, 2008).
12
La deuxime assise thorique de lapproche habilitative est la thorie de lautorgulation (self-regulation theory), jointe au concept dautodtermination (self-determination). Pour Fetterman, lautodtermination est un concept fondamental pour la thorie de lhabilitation et forme le socle thorique de lvaluation habilitative. Celui-ci englobe les mcanismes et les comportements favorisant une habilitation effective. En cette matire, Fetterman sinspire des travaux de Dennis Mithaug (1993) et dfinit lautodtermination comme la capacit dune personne de tracer sa propre voie dans la vie. Et cette capacit globale dcoule de plusieurs autres capacits interrelies telles que la capacit de dfinir et dexprimer ses besoins ou celle de se fixer des buts et dtablir un plan daction pour les atteindre. Enfin, le troisime fondement thorique de lvaluation habilitative relve des thories de laction et de lutilisation. Formule dune manire trs simple, la thorie de laction reprsente la manire dont un programme devrait fonctionner alors que la thorie de lutilisation indique la faon dont le programme fonctionne dans les faits. Utiliss en cours dvaluation et de manire itrative, ces outils thoriques servent principalement observer le dcalage entre lidal et la ralit. En plus de ces trois assises thoriques, lvaluation habilitative sarticule autour de nombreux principes et valeurs. Ds les balbutiements de lapproche habilitative, les auteurs insistaient sur limportance de deux principes en particulier pour la conduite de ce type dvaluation : la vrit et lhonntet. Selon eux, la dmarche dvaluation habilitative doit absolument sappuyer sur une sincre tentative de comprhension dun vnement dans son contexte et selon plusieurs points de vue diffrents (Fetterman, 1997, p. 385, traduction). Quelques annes plus tard, dans le troisime ouvrage entirement consacr lapproche habilitative, dix principes sont mis en avant : (1) lamlioration, (2) lappropriation de la dmarche valuative par la communaut vise, (3) linclusion, (4) la participation dmocratique, (5) la justice sociale, (6) la valorisation des connaissances de la communaut vise, (7) llaboration de stratgies fondes sur des donnes probantes, (8) le renforcement des capacits, (9) lapprentissage organisationnel et (10) lobligation de rendre compte. Selon Wandersman et ses collgues (2005, p. 29), ces dix principes doivent guider la dmarche valuative chacune de ses tapes. Plus encore, ce sont ces dix principes qui, pris ensemble, permettraient de distinguer lapproche habilitative des autres approches valuatives. Cette assertion nous amne droit au cur des dbats entourant lapproche habilitative et qui perdurent depuis sa publicisation en 19945 : quest-ce qui distingue prcisment lapproche habilitative des autres formes dvaluation participative? Voil la principale question qui sera aborde dans la section suivante.
3.3 Un regard rflexif et critique

Essentiellement, deux types de critiques sont adresss lapproche habilitative. Dabord, il y a celles que lon pourrait qualifier de thoriques, de conceptuelles, voire dontologiques. Une premire question principale se trouve au centre de cette catgorie de critiques : quest-ce qui dfinit lvaluation habilitative et quels sont les lments qui la distinguent des autres dmarches participatives telles que lvaluation axe sur lutilisation de Michael Q. Patton ou lvaluation dmocratique dlibrative dErnest R. House et Kenneth R. Howe? Certes, lactuel texte a bien offert quelques lments de rponse en ce qui concerne les lments constitutifs de lapproche habilitative (objectifs dhabilitation et dinstitutionnalisation, application de dix principes ou valeurs, mthode en trois ou dix tapes, contrle du processus exerc totalement par la communaut dvaluation, etc.), mais ces caractristiques comportent un faible pouvoir discriminant par rapport aux autres approches valuatives participatives. ce sujet, Fetterman reconnat ouvertement que lvaluation habilitative a beaucoup de points communs avec dautres formes dvaluation collaborative ou participative. Mais il y a aussi, selon lui et les auteurs quil cite, de relles diffrences entre lapproche habilitative et ses proches parents. Lessentiel de cette discussion se trouve dans le premier chapitre du plus rcent ouvrage sur le sujet (Fetterman et Wandersman, 2005, p. 6-8). On peut y lire essentiellement que lapproche habilitative se distingue des autres approches participatives par (1) lidal de justice sociale qui la sous-tend, (2) le haut niveau de participation et de contrle exerc par les parties prenantes, (3) lobjectif initial (plutt quun avantage marginal dsirable) de renforcement des capacits, (4) son engagement envers des stratgies fondes sur des donnes probantes et par le fait que (5) la participation est fonde sur la logique de lhabilitation plutt que sur celle de lutilit ou de lutilisation. Or, il ne nous semble pas que tous ces traits soient propres lapproche habilitative. Par exemple, lidal de justice sociale sous-tend galement lapproche dmocratique dlibrative de House et Howe. Aussi, le haut niveau de participation et de contrle exerc par
5 Lessentiel de ce dbat se retrouve dans Evaluation Pratice (maintenant lAmerican Journal of Evaluation : vol. 15, no 3; vol. 16, no 2; vol. 18, no 2 et 3) et implique Fetterman, Stufflebeam, Patton et Scriven; Cousins (2005); Donaldson, Patton, Fetterman et Scriven (2009).
13
les parties prenantes nous parat tre une distinction formelle plutt que substantielle. En effet, une forte participation des parties prenantes au processus valuatif est souhaite, en principe, par la plupart des approches dites participatives. Enfin, le bt blesse particulirement en ce qui concerne la quatrime distinction susmentionne. En effet, la position voulant que lengagement envers des stratgies fondes sur des donnes probantes soit un trait distinctif de lvaluation habilitative est tout fait intenable. Nombre dapproches valuatives, dont celle qui centre sur lutilisation (Patton), pour ne nommer que celle-l, mettent laccent sur les donnes probantes. En fait, comme nous lavons mentionn prcdemment, limportance accorde ces donnes est un mouvement de fond qui touche pratiquement tous les domaines lis aux politiques publiques (Jacob, 2009). Dans la mme veine, une seconde question principale se trouve au cur de ce premier type de critiques : compte tenu de ses objectifs avous dhabilitation et dinstitutionnalisation de la fonction valuative, lapproche habilitative est-elle vraiment une dmarche dvaluation ou sapparente-t-elle davantage un service de formation en valuation ou de conseil organisationnel? ce sujet, Daniel Stufflebeam crit que si aider les individus saider eux-mmes est un objectif valeureux, [il] ne sagit pas dun objectif fondamental de la dmarche valuative (1994, p. 323, traduction). Pour Michael Scriven (1997, p. 172), lapproche habilitative confond lenseignement de lvaluation et la pratique de lvaluation. Tout en admettant le caractre essentiel des discussions conceptuelles et ontologiques, Fetterman (1997, p. 260-264) croit quelles crent des barrires artificielles. Plutt que de se demander si lvaluation habilitative peut bel et bien tre qualifie dvaluation, il se rfre au cadre conceptuel dEleanor Chelimsky et William Shadish (1997) et soutient que lapproche habilitative rpond largement aux critres des valuations dont la fonction principale serait le dveloppement (des programmes, des institutions, des personnes, etc.). Le deuxime type de critiques concerne quant lui des dimensions plus pratiques ou mthodologiques de lapproche habilitative. En somme, cest lobjectivit des rsultats qui est mise en cause ici. La grande responsabilit donne aux parties prenantes dans le processus, la logique de dfense des intrts au cur de lapproche (politisation de lvaluation) et la confusion des rles valuvaluateur sont autant dlments susceptibles de menacer lobjectivit des valuations habilitatives (Stufflebeam, 1994, p. 324-25; Scriven, 1997, p. 169-70; Patton, 1997, p. 157-59). Sur ce point, les promoteurs de lapproche en question se veulent rassurants : la dmarche habilitative, comme toute autre dmarche dvaluation, devrait tre systmatique, rigoureuse et sappuyer autant que possible sur des donnes probantes. Plus gnralement, il ne faut pas perdre de vue que lapproche habilitative, comme plusieurs autres approches participatives, se situe (ou se fait situer) dans une pistmologie plus constructiviste que positiviste, et que de nombreux dbats persistent dans la littrature scientifique en gnral entre les tenants des deux coles concernant la validit des savoirs. En bout de piste, et comme le soulignait encore rcemment J. Bradley Cousins, la principale critique que lon peut adresser lvaluation habilitative est peut-tre quelle essaie de plaire tous les points de vue diffrents existant en matire de dmarches participatives [...] et cela nuit sa qute dune identit propre (2005, p. 189, traduction).
En conclusion
Dun point de vue thorique, il y a et y aurait donc encore beaucoup de nuances faire, dlments discuter et clarifier propos de lvaluation habilitative. Mais sous un angle strictement pratique, cette approche est sans conteste une trs proche parente des autres dmarches participatives ou collaboratives. Elle est fonde sur la prmisse que linclusion et la participation des parties prenantes dans le processus valuatif sont ncessaires. La validit des rsultats, leur utilisation, le renforcement des capacits des acteurs et linternalisation ou linstitutionnalisation de lvaluation sont quelques exemples patents des bienfaits escompts de ce type de dmarche. En revanche, lvaluation habilitative, peut-tre plus que les autres dmarches participatives et collaboratives puisquelle exige une participation substantielle de la part des parties prenantes, comporte de nombreux dfis lis au temps, largent et au contexte oprationnel. En effet, opter pour une approche habilitative dans un contexte de crise ou durgence, par exemple, ne serait peut-tre pas le choix le plus judicieux. Mais dans un contexte daprs-crise, on peut croire que lapproche habilitative a beaucoup apporter, notamment pour le travail de rhabilitation qui doit tre fait.
14
RFRENCES
DOCUMENTS Baron, G., et E. Monnier (2003). Une approche pluraliste et participative : coproduire lvaluation avec la socit civile . Informations sociales (110), septembre : 120-129. Chelimsky, E., et W. Shadish (dir.) (1997). Evaluation for the 21st Century: A Handbook. Thousand Oaks, CA, Sage. Cousins, J. B. (2005). Will the Real Empowerment Evaluation Please Stand Up? . Dans D. M. Fetterman et A. Wandersman (dir.), Empowerment Evaluation: Principles in Practice, 183-208. New York, Guilford Press. Cousins, J. B., et E. Whitmore (1998). Framing Participatory Evaluation . New Directions for Evaluation (80) : 5-23. Divay, G., P.-J. Hamel, D. Rose, A.-M. Sguin, G. Sncal et P. Bernard (2004). Projets pilotes de revitalisation urbaine Montral, dmarche dvaluation : Rapport. Montral, Ville de Montral. Donaldson, S. I., M. Q. Patton, D. M. Fetterman et M. Scriven (2009). The 2009 Claremont Debates: The Promise and Pitfalls of Utilization-Focused and Empowerment Evaluation . Journal of MultiDisciplinary Evaluation 6(13) : 15-57. Fetterman, D. M., et A. Wandersman (dir.) (2005). Empowerment Evaluation: Principles in Practice. New York, Guilford Press. Fetterman, D. M. (2004). Empowerment Evaluation . Dans S. Mathison (dir.), Encyclopedia of Evaluation. Thousand Oaks, CA, Sage. Page disponible ladresse suivante: http://www.sage-ereference.com/evaluation/Article_n165.html. Fetterman, D. M. (2004). Branching Out or Standing on a Limb. Looking to Our Roots for Insight . Dans M. C. Alkin (dir.), Evaluation Roots : Tracing Theorists Views and Influences, 304-318. Thousand Oaks, CA, Sage. Fetterman, D. M. (2000). Foundations of Empowerment Evaluation. Thousand Oaks, CA, Sage. Fetterman, D. M. (1997). Empowerment Evaluation and Accreditation in Higher Education . Dans E. Chelimsky et W. Shadish (dir.), Evaluation for the 21st Century: A Handbook, 381-395. Thousand Oaks, CA, Sage. Fetterman, D. M. (1997). Empowerment Evaluation: A Response to Patton and Scriven . Evaluation Practice 18(3) : 253-266. Fetterman, D. M., S. J. Kaftarian et A. Wandersman (dir.) (1996). Empowerment Evaluation: Knowledge and Tools for Self-Assessment and Accountability. Thousand Oaks, CA, Sage. Fetterman, D. M. (1995). In Response . Evaluation Practice 16(2) : 179-199. Fetterman, D. M. (1994). Empowerment Evaluation . Evaluation Practice 15(1) : 1-15. Fontan, J.-M., et . Lachance (2005). Pour une valuation de cinquime gnration . Cahiers de lARUC-S, UQM, (C 18-2005). Greene, J. C., et T. Abma (dir.) (2001). Responsive Evaluation . New Directions for Evaluation (92) : 1-6. Guba, E. G., et Y. S. Lincoln (1989). Fourth Generation Evaluation. Newbury Park, CA, Sage. House, E. R., et K. R. Howe (2000). Deliberative Democratic Evaluation . New Directions for Evaluation (85) : 3-12. Jacob, S., et L. Ouvrard (2009). Lvaluation participative. Avantages et difficults dune pratique innovante . Cahiers de la performance et de lvaluation, automne (1). Jacob, S. (2009). Opration chloroforme ou la rinvention de ltat rationnel : lvaluation et les donnes probantes . Criminologie, 42(1) : 201-223. Jacob, S. (2008). Cross-Disciplinarization: A New Talisman for Evaluation? . American Journal of Evaluation 29(2) : 175-194.
15
Le Boss, Y. (2003). De lhabilitation au pouvoir dagir : vers une apprhension plus circonscrite de la notion dempowerment . Nouvelles pratiques sociales 16(2) : 30-51. Mithaug, D. E. (1993). Self-Regulation Theory : How Optimal Adjustment Maximizes Gain. New York, Praeger. Patton, M. Q. (2008). Utilization-Focused Evaluation, quatrime edition. Los Angeles, Sage. Patton, M. Q. (1997). Of Vacuum Cleaners and Toolboxes: A Response to Fettermans Response . Evaluation Practice 18(3) : 267-270. Patton, M. Q. (1997). Toward Distinguishing Empowerment Evaluation and Placing It in a Larger Context . Evaluation Practice 18(2) : 147-163. Rappaport, J. (1987). Terms of Empowerment/Exemplars of Prevention : Toward a Theory for Community Psychology . American Journal of Community Psychology 15(2) : 121-148. Ridde, V., J. Baillargeon, P. Ouellet et S. Roy (2003). Lvaluation participative de type empowerment : une stratgie pour le travail de rue . Service social 50(1) : 263-279. Scriven, M. (1997). Comments on Fettermans Response . Evaluation Practice 18(3) : 271-272. Scriven, M. (1997). Empowerment Evaluation Examined . Evaluation Practice 18(2) : 165-175. Stufflebeam, D. L. (1994). Empowerment Evaluation, Objectivist Evaluation, and Evaluation Standards: Where the Future of Evaluation Should Not Go and Where it Needs to Go . Evaluation Practice 15(3) : 321-338. Wandersman, A., J. Snell-Johns, B. E. Lentz et al. (2005). The Principles of Empowerment Evaluation . Dans D. M. Fetterman et A. Wandersman (dir.), Empowerment evaluation: Principles in practice, 27-41. New York, Guilford Press. Zimmerman, M. A. (2000). Empowerment Theory: Psychological, Organizational and Community Levels of Analysis . Dans J. Rappaport et E. Seidman (dir.), Handbook of Community Psychology, 43-64. New York, Plenum Press.
SITES INTERNET Passerelles - Cahier de recherches et dinitiatives sociales sur le dveloppement du pouvoir dagir des personnes et des collectivits, Laboratoire de recherche sur le dveloppement du pouvoir dagir des personnes et des collectivits (LADPA), Universit Laval : http://www1.sites.fse.ulaval.ca/passerelles/. The Collaborative, Participatory & Empowerment Evaluation TIG, groupe de discussion thmatique (Topical Interest Group) de lAssociation amricaine dvaluation portant, entre autres, sur lapproche habilitative : http://comm.eval.org/EVAL/cpetig/Home/Default.aspx
16
IV. LVALUATION AFFRANCHIE DES OBJECTIFS : UNE APPROCHE SANS BUT ? HOBIVOLA A. RABEARIVELO ET JIHANE LAMOURI
Lvaluation affranchie des objectifs, ou goal-free evaluation (GFE), est une approche peu courante en valuation. Elle a t conue au dbut des annes 1970 par Michael Scriven, professeur de philosophie la Western Michigan University, qui lon doit de nombreuses contributions aux domaines de la psychologie et de la recherche, mais aussi de la pratique, en matire dvaluation. Lvaluation affranchie des objectifs nest pas une traduction officielle de goal-free evaluation, mais elle nous parat la plus approprie en ltat actuel des choses. On pourrait donner quelques autres traductions comme une valuation libre ou une valuation affranchie des buts du programme , mais elles risqueraient dinduire en erreur sur son essence particulire, en laissant entendre une mthode qui irait tout va, dans le premier cas, ou qui ne ferait pas attention aux objectifs principaux du programme, dans le second. Notre intrt ici est de montrer que, contrairement ce que peuvent faire croire sa dnomination originale et encore plus ses tentatives de traduction en franais, lapproche labore par Scriven ne sgare pas dans des conjectures futiles sur un programme. Elle value les aspects et rpercussions essentiels de celui-ci, mais aussi certains lments qui seraient probablement passs inaperus aux yeux de ses concepteurs. Aprs avoir prsent cette approche, nous la confronterons la ralit de la pratique valuative par lintermdiaire dun cas dapplication, avant de faire quelques commentaires sur les principaux dbats qui ont cours son gard.
4.1 Les principes, les fondements et les mthodes

Le principe de base de lvaluation affranchie des objectifs est relativement simple, mais comme nous le verrons, ses implications sont autrement plus complexes. Ainsi, lapproche se base sur le fait que lvaluateur ignore les objectifs de la politique quil value; celui-ci sattache dterminer lensemble des effets, quels quils soient, du programme plutt que de se limiter aux seules consquences escomptes par son concepteur ou commanditaire (Scriven, 1972). En dautres termes, cette approche permet lvaluateur de se focaliser sur lensemble des effets concrets du programme et non sur ce quil tente de faire, sur le produit en lui-mme et ses rpercussions plutt que sur la proposition ou les motivations qui le sous-tendent. En effet, cest la suite de ses expriences en valuation de programmes dj mis en uvre donc des produits finis , et non de propositions de programme, que Scriven a eu lide de son approche, ce qui lui a fait constater que les valuations jusqualors pratiques ne portaient pas sur les consquences des politiques engages (Scriven, 1972, p. 1). Dans cette optique, lvaluateur doit se concentrer davantage sur les modalits de satisfaction des besoins des consommateurs (lensemble des groupes touchs directement ou indirectement, les populations cibles et les personnes lses) que sur les dclarations dintention ou propositions des concepteurs. Scriven met ainsi les consommateurs, ou usagers-clients1, et les effets du programme au centre de lvaluation afin que cette valuation et le programme en lui-mme leur soient plus accessibles, la manire dont le ferait une association de consommateurs lorsquelle value un produit de consommation courante. La justification de la GFE nest dailleurs pas trangre celle de lvaluation des produits de consommation. Si les associations de consommateurs valuent avec succs des produits tels que des voitures sans connatre les intentions de leurs concepteurs, pourquoi ne pourrait-on pas faire de mme avec des programmes (Scriven, dans Patton, 2008, p. 275)? En outre, Scriven a en partie labor sa thorie contre celle, plus couramment rpandue, de la goal-based evaluation (GBE ou valuation fonde sur les objectifs du programme), qui, comme son nom lindique, cherche dterminer si les buts et objectifs du projet ont t atteints, et sattache donc plus la performance. Mais, selon Scriven (1972), sen tenir troitement aux buts et objectifs affichs dun projet, lvaluateur risque fort de passer ct des effets les plus importants de celui-ci. La rhtorique des objectifs dun programme qui sert souvent de nombreux buts politiques fournit en effet une base pauvre pour mener une valuation pertinente. Lvaluation affranchie des objectifs permet ainsi de se prmunir des biais ports par une valuation fonde sur les objectifs dun programme, o lvaluateur risque dtre influenc par les effets escompts et de passer ct des effets rels qui peuvent tre inattendus ou omis, induits par un effet dillre (tunnel vision); en bref, [...] la considration et lvaluation des objectifs [attendus sont] non seulement une tape non ncessaire, mais possiblement une source de contamination (Scriven, 1972, p. 1, traduction). Lapproche de Scriven constitue cet gard un dispositif thorique puissant en matire de pratique de lvaluation, car elle encourage les valuateurs aller au-del de ce que les concepteurs prtendent avoir lintention de faire, en nonant les objectifs affichs et en mettant en lumire les objectifs non exprims par les commanditaires.
1 Pour Scriven, presque toutes les entits qui gravitent autour dun programme sont un moment ou un autre des consommateurs de celui-ci et sintgrent dans une chane de consommation. Il distingue ainsi les consommateurs finaux (downstream consumers groupes cibles, communauts, etc.) des consommateurs intermdiaires (midstream consumers commanditaires, personnel administratif, etc.).
17
Sur le plan pistmologique, la thorie de lvaluation affranchie des objectifs a merg en mme temps que la thorie ancre (grounded theory). Comme la GFE, la thorie ancre considre que la recherche devrait tre conduite depuis le terrain sans prsupposs thoriques pralables pour se prmunir des biais potentiels de tout postulat (Iverson, 2003, p. 26). Il sagit en somme d une approche inductive par laquelle limmersion dans les donnes empiriques sert de point de dpart au dveloppement dune thorie sur un phnomne et par laquelle le chercheur conserve toujours le lien dvidence avec les donnes de terrain (Guillemette, 2006, p. 32-33). Lapproche de Scriven se fonde galement sur les principes utilitaristes tels que ceux qui ont t mis en avant par John Stuart Mill et Jeremy Bentham : en se concentrant sur les rpercussions du programme plutt que sur ses objectifs, on met en vidence les effets (primaires, secondaires, voulus, inattendus, etc.) qui semblent les plus utiles au plus grand nombre en fonction des besoins des consommateurs (cibles, commanditaires, administrations, autres partenaires, etc.) (Scriven, 2007, p. 4). Ainsi, le mrite dun programme ne se dtermine quen fonction de ses effets qui doivent rpondre avec pertinence aux besoins des populations touches (House, 1978, p. 5). La vise dune telle dmarche est plus formative que sommative. Cest en tout cas ce que suggre Scriven (1972, p. 1-2) : en raison de sa nature, elle sintgre plutt dans une optique damlioration de programme, ce qui nempche pas quelle puisse proposer un bilan de programme pour en valuer la performance. La GFE trouve ainsi sa place en amont de programme, en dbut ou plus tard dans la mise en uvre. Les mthodes de lvaluation affranchie des objectifs sont relativement souples. La question centrale de lvaluateur Quels sont tous les effets du programme? est somme toute vague et permet lemploi de diverses mthodes lies des approches aussi bien dductives quinductives. Il apparat quelle ouvre un large horizon qui permet une valuation tant a priori qua posteriori, mais des praticiens semblent privilgier lapproche inductive, tel Iverson lorsquil prsente la GFE dans son ouvrage Preparing Program Objectives: Theory & Practice (2003), et ce, probablement du fait du dveloppement parallle de la mthode avec la thorie ancre , mais surtout en raison de la vise formative que prfre Scriven et qui a servi de contexte la conception de la thorie. Lanalyse logique ltude des relations de cause effet peut servir dans une approche aussi bien thorique quempirique. Lvaluateur peut aussi sattacher tudier les modes opratoires, lenchanement des processus au sein du programme, et ainsi sappuyer pour cela sur des mthodes qualitatives. Enfin, mme si cela ne constitue pas une obligation, le fondement pistmologique de lapproche, soit la primaut de lempirisme sur le cartsianisme, oriente la dmarche de lvaluateur, qui peut se rfrer des prcdents (closed cases). Aussi les questionnements et mthodes prdisposent-ils lvaluateur gnraliser les conclusions de lvaluation, au moins partiellement. Toutefois, bien que les mthodes employes dans lapproche GFE soient relativement peu dfinies, elles doivent rpondre un certain nombre de critres assurant quelles couvrent bien lintgralit des aspects de la politique value et proposent, entre autres, une dfinition oprationnelle de chaque lment permettant den mesurer la performance (Stufflebeam et Schinkfiel, 2007, p. 380). ce sujet, Scriven (2007) a tabli une liste de critres dvaluation, tels que la dfinition des besoins, les exigences lgales, les standards professionnels, qui permet de donner un cadre plus prcis la mise en uvre de son approche.
18
4.2 Une tude de cas sur la complmentarit entre la GBE et la GFE

Parmi dautres, Scriven reconnat lui-mme que les contraintes de son approche en limitent lutilisation. Aussi est-il rare de trouver une valuation o celle-ci est employe seule. Nous pensons en outre que pour avoir un aperu de la puissance de lapproche, la prsentation dun cas dapplication o lapproche affranchie des objectifs et celle qui est base sur les objectifs sont mises en relation est trs pertinente. Ltude sur laquelle nous portons notre attention concerne une valuation de programmes scolaires dt destins des lves en difficult (Schrter, Coryn et Youker, 2006). Deux valuateurs (suivant respectivement lune et lautre approche) ont recours la liste dlments valuer dfinie par Scriven pour les deux approches, mais celui qui ignore les buts du programme se prpare galement mener un certain nombre dvaluations qualitatives sur la base de la liste dfinie par Patton (2003) pour les valuations qualitatives. Le cadre de son enqute se prsente ainsi : observation de la classe (prsence personnelle rgulire aux cours en compagnie des lves), entrevues dure indtermine avec les lves et visites de classes limproviste. Les auteurs de ltude montrent que les deux approches aboutissent des conclusions communes : sur les sept buts poursuivis par le programme (dont crer un environnement propice de travail, provoquer la curiosit des lves, leur permettre dappliquer les connaissances acquises), lvaluateur utilisant lapproche GFE en a dcel six peu prs similaires. Les valuateurs dtectent aussi tous les deux des effets non escompts; parmi ceux-ci, ils souponnent le programme de faire passer les lves, prts ou non, dans la classe suprieure; en retour, les lves conomiseraient leurs efforts durant lanne, comprenant que ce programme estival leur assurerait de toute faon un passage quasi automatique. Mais en plus de ces effets non dsirs, lvaluateur ignorant les objectifs du projet en dcle cinq non attendus. Il constate entre autres que la formule pdagogique permet des lves qui en temps normal ont peut-tre plus de difficult socialiser, de nouer des liens de solidarit et damiti entre eux. Si cette observation peut tre perue de faon positive, lvaluateur note toutefois qu bien des gards, les liens entre ces lves pourraient entretenir les mauvais comportements. Enfin, lvaluateur relve un autre effet secondaire, qui, sil peut surprendre de prime abord, exprime bien lapport particulier de la GFE par rapport aux autres formes dvaluation. Il sagit de limpact environnemental du programme, pour lequel les commanditaires navaient exprim aucune attente particulire. En effet, deux bouteilles deau recyclables par jour taient distribues aux 65 lves pendant 19 jours, soit un total de 2 470 bouteilles pour toute la dure du programme; or, la plupart de celles-ci ont fini dans un coin sur le terrain de basket de lcole Plutt que dengager des frais de rcupration levs et non attendus par les commanditaires, lvaluateur qui a recours lvaluation affranchie des objectifs a propos quune seule bouteille par jour soit distribue chaque lve, que soit installe une fontaine et que les enseignants et les lves soient sensibiliss au recyclage. Si le gain court terme napparat pas de prime abord, les bnfices collectifs plus long terme sont plus faciles imaginer. Lapproche GFE a donc, entre autres, mis en avant la ncessit de prendre en compte limpact cologique de la politique, ce qui navait pas t envisag initialement. Enfin, en ce qui a trait la note lettre, lvaluation affranchie des objectifs apprciait le programme un peu plus svrement que lvaluation base sur les objectifs (C contre C++). Cet exemple nous montre que, malgr son abord peu commode, lvaluation affranchie des objectifs a un intrt non ngligeable et peut complter de manire pertinente toute valuation dont lapproche se fonde sur les buts du programme.
19
4.3 Les critiques et les dbats autour du concept

Lvaluation affranchie des objectifs marque par sa complexit et par son cadre un peu flou, autant pour le profane que pour lvaluateur un peu plus expriment. Cela a produit de nombreux dbats son sujet, dont nous synthtisons ici les points les plus importants. Lapproche peu traditionnelle de Scriven a suscit un certain nombre dinterrogations parmi les thoriciens en valuation quant sa nature mme : sagit-il dune mthode proprement parler? Dune approche ( strategy ), comme le soutient Daniel Stufflebeam (1972)? Ou encore dune cole de pense2 ( persuasion ) plutt quun modle (Nevo, 1983, p. 117)? Sil ne fait aucun doute que la GFE constitue une approche valuative au sens donn par Pierre-Marc Daigneault en introduction et au premier chapitre, il nous apparat cependant utile de relever les polmiques qui existent quant son usage dans un sens plus troit parmi les thoriciens. Ernest House (1978), de son ct, relve un certain paradoxe dans les principes qui sous-tendent la mthode : en pratique, lvaluateur se base principalement sur des avis personnels et non des instruments de mesure. Il en rsulte que lthique subjectiviste, cest--dire laction de se fonder sur le jugement de linterlocuteur, sous-tendue par cette pratique contraste avec lpistmologie objectiviste, qui cherche tendre vers lobjectivit, dont se rclame Scriven. Il rpond nanmoins ce problme par le fait que lvaluation affranchie des objectifs met en valeur la rduction des biais par son dsir dexhaustivit ainsi que par lintersubjectivit, cest--dire la mise en rapport dune multitude davis personnels subjectifs pour tendre vers des conclusions plus gnrales et impersonnelles , do le caractre objectiviste et non objectif de la GFE. Outre ces questionnements thoriques, de nombreux observateurs constatent galement que lvaluation affranchie des objectifs prsente de notables difficults de mise en uvre (House, 1978, p. 5; Stufflebeam, 1972, p. 5). Ainsi, il peut sembler ardu de dfinir un programme sans en aborder les objectifs. Dans quelle mesure le commanditaire est-il en mesure de taire les objectifs motivant son programme (Shepard, 1977, p. 21)? Sans compter que cette exigence peut tre perue par le dveloppeur du projet comme une menace, celui-ci voyant son contrle sur le processus valuatif clairement diminu (Scriven, 1972, p. 3; Shepard, 1977, p. 21). En outre, Stufflebeam (1972) sinterroge sur la manire dont devrait tre mene une GFE, notamment en ce qui a trait aux rapports entre lvaluateur et le commanditaire ou le concepteur du programme. Il admet que, bien que Scriven ait mis en place la Key Evaluation Checklist (cest--dire une liste de contrle valuative ), la mthode de collecte de linformation ne rpond pas lensemble de la question (Stufflebeam et Schinkfiel, 2007, p. 369-399). Pourtant, malgr sa comprhension et sa mise en uvre complexes, lvaluation affranchie des objectifs est une approche avantageuse certains gards. House (1978) constate par exemple que son essence utilitariste a pour consquence quelle emploie des mthodes assimilables celles qui sont utilises par les associations de consommateurs, ce qui sous-entend quelle est plus accessible aux publics cibles des programmes. Par ailleurs, la GFE et la GBE ont une grande complmentarit dans le sens o lvaluation base sur les objectifs du programme renseigne ce qui est attendu par les concepteurs ou commanditaires, alors que lvaluation affranchie des objectifs met en exergue les effets secondaires, voire tertiaires, et ceux qui sont escompts, mais aussi ceux qui sont inattendus, et qui nauront pas t cibls par lautre approche. Qui plus est, une valuation mene avec les deux approches permet de mettre en avant trois jugements : celui de la GBE seule, celui de la GFE seule, mais aussi celui, synthtique, qui est issu de la mise en rapport des deux prcdents. Cest dailleurs sur limportance de cette complmentarit que nous nous sommes attards dans la prsentation du cas dapplication de lvaluation affranchie des objectifs. Lapproche dfinie par Scriven se fonde donc sur un principe particulirement simple : ignorer les objectifs attendus du programme valuer pour faire apparatre un nombre maximal deffets, qui seront utiles aux consommateurs ou usagers-clients, dans une acception trs large du terme. Lapproche semble par ailleurs se rvler particulirement utile lorsquelle est utilise de manire complmentaire avec une approche base sur les objectifs du programme, puisquelle rvle des rpercussions qui nont pas toujours t envisages, ou qui ont t minimises, alors quelles peuvent avoir un effet non ngligeable si lon value le rapport cot-avantage de la mise en uvre de la politique. Mais derrire ce vu pieux et des outils dune grande puissance se cachent de nombreuses contraintes et difficults qui en font une approche dont la complexit singulire peut rendre ses utilisateurs potentiels rticents lemployer. Cest probablement lune des raisons qui font quelle apparat plus conviviale lorsquelle vient complter une approche fonde sur les objectifs du programme.
2 Il nous est apparu difficile de trouver une traduction qui reflte toute lide du concept, et celle-ci nous semble la plus approprie, quoique toujours sujet dbat au sein de la communaut francophone.
20
Le lecteur francophone aura pu, grce aux dveloppements prcdents, mieux cerner les principes et les enjeux de lvaluation affranchie des objectifs. Cette approche peu usite, aussi simple que soit son principe de base, se rvle finalement complexe dans son utilisation, dont de nombreux aspects sont encore sujets dbat ou appellent toujours des rponses. Au-del des seules questions sur son ontologie, ses modalits pratiques demandent tre approfondies, notamment pour ce qui est des moyens explicites pour lvaluateur de ne pas tre influenc par les objectifs des commanditaires de programme. Car si lapproche est relativement peu usite, cest trs plausiblement parce que sa pratique ne dispose pas encore dun mode demploi prsentant des techniques suffisamment videntes, aux yeux du nophyte, pour viter la contamination conscutive linteraction entre lvaluateur et le dveloppeur de programme. En outre, comme Pierre-Marc Daigneault le souligne avec raison dans ce numro, la thorie en valuation souffre de ngligence, et, notre avis, celle-ci nest pas bnigne en ce qui a trait la GFE. Scriven lui-mme prtendait que les considrations thoriques ne sont pas une ncessit pour lvaluateur (1991, dans Christie, 2003, p. 33), et de toute vidence, mal lui en prit en ce qui concerne sa propre approche thorique. En effet, nous pensons que si cette approche avait fait lobjet de plus amples dveloppements thoriques, sa comprhension par les valuateurs aurait t beaucoup plus grande et son utilisation, facilite, et elle serait certainement plus employe. Lvaluation affranchie des objectifs est une approche trs puissante qui souffre malheureusement dun manque dattention ses qualits aussi bien thoriques que pratiques, et des dveloppements plus approfondis sur ces aspects ne pourront que lui accorder la place qui lui est due parmi les approches valuatives. Lappellation mme de lapproche, goal-free evaluation, est une illustration flagrante de sa complexit : en franais, on ne peut, hlas, lui donner une dnomination simple, contrairement nombre dautres approches et mthodes. Mais il est nanmoins amusant de remarquer que Marvin Alkin soulve non sans humour le mme problme de dnomination dans la langue de Shakespeare : The GFE [ici, goal-free evaluator] should perhaps be called an OFE (Objective-Free Evaluator) but the unfortunate auditory association with OAF3 might lead one to think of him as someone who just sits around with no particular purpose in mind (1972, p. 5). Si les valuateurs anglophones ne semblent pas avoir totalement clos leurs discussions sur le concept et la pratique de lvaluation affranchie des objectifs, il apparat important quun effort soit men dans le mme sens au sein de la communaut francophone afin que son utilisation soit plus facile pour tous, et les dbats de toutes parts nen seront quenrichis.
3 Il sagit ici probablement dun jeu de mots avec le sens obtus de oaf (dim-witted), qui laisse entendre que la fermeture desprit sous-entendue de lvaluateur le ferait errer sans but dans son travail.
21
RFRENCES
Alkin, M. C. (1972). Wider Context Goals and Goal-Based Evaluators . Evaluation Comments 3(4) : 5-6. Christie, C. A. (2003). What Guides Evaluation? A Study of How Evaluation Practice Maps onto Evaluation Theory . New Directions for Evaluation (97) : 7-35. Guillemette, F. (2006). Lapproche de la grounded theory. Pour innover? . Recherches qualitatives (26)1 : 32-50. House, E. R. (1978). Assumptions Underlying Evaluation Models . Educational Researcher 7(3) : 4-12. Iverson, A. (2003). Preparing Program Objectives: Theory & Practice. Ottawa, Centre de recherches pour le dveloppement international (CRDI). Nevo, D. (1983). The Conceptualization of Educational Evaluation: An Analytical Review of the Literature . Review of Educational Research (53)1 : 117-128. Patton, M. Q. (2008). Utilization-Focused Evaluation, quatrime edition. Los Angeles, Sage. Patton, M. Q. (2003). Qualitative Evaluation Checklist (Evaluation Checklists Project). Kalamazoo, The Evaluation Center, Western Michigan University. Page disponible ladresse suivante : http://www.wmich.edu/evalctr/archive_checklists/qec.pdf. Schrter, D., L. Coryn et B. Youker (2006). Evaluation of the KPS Middle School Summer Enrichment Program 2005. Kalamazoo, The Evaluation Center, Western Michigan University. Scriven, M. (1972). Pros and Cons About Goal-Free Evaluation . Evaluation Comments 3(4) : 1-4. Scriven, M. (2007). Key Evaluation Checklist (Evaluation Checklists Project). Kalamazoo, The Evaluation Center, Western Michigan University. Page disponible ladresse suivante : http://www.wmich.edu/evalctr/checklists/kec_feb07.pdf. Shepard, L. A. (1977). A Checklist for Evaluating Large-Scale Assessment Programs . Occasional Papers, Kalamazoo, Western Michigan University. Page disponible ladresse suivante : http://www.eric.ed.gov/PDFS/ED163057.pdf Stufflebeam, D. L. et A. Schinkfiel (2007). Evaluation Theory, Models and Applications. San Francisco, Jossey-Bass. Stufflebeam, D. L. (1972). Should or Can Evaluation Be Goal-Free? . Evaluation Comments 3(4) : 4-5.
22
V. LVALUATION DMOCRATIQUE DLIBRATIVE FLORENCE THBERGE

Selon certaines conceptions, lvaluation de programme est considre comme une pratique objective et impartiale qui doit se tenir loin des questions normatives ou encore comme une activit technique qui porte des jugements, certes, mais en prenant comme point de rfrence les valeurs des dcideurs politiques (Vestman et Conner, 2006). Or, ce ne sont pas toutes les approches valuatives qui dlaissent les questions politiques et normatives. Certaines approches se revendiquent dune idologie et de valeurs explicites qui peuvent non seulement diffrer des valeurs des commanditaires, mais galement entrer en conflit avec celles-ci. Cest notamment le cas de lapproche prsente dans ce chapitre, lvaluation dmocratique dlibrative (EDD), qui vise rconcilier la thorie valuative avec la philosophie politique contemporaine. Les deux fondateurs de lapproche, Ernest R. House et Kenneth R. Howe (1999), dsirent par lintermdiaire de lvaluation dfendre trois principes qui devraient tre la base des institutions et des politiques de toute socit dmocratique : linclusion, le dialogue et la dlibration. Ces principes, qui constituent le cur de lEDD, seront expliqus dans la section subsquente. Il sera ensuite question des racines de lapproche et du dbat sur lequel sont bases les principales proccupations des auteurs. Suivra un exemple dapplication concrte de lEDD dans un contexte ducatif. Une rflexion sur cette approche et une critique de celle-ci viendront complter et clore la prsentation.
5.1 Les principes de base

Le premier principe de lEDD est loin de faire figure dexception dans le monde de lvaluation. Effectivement, linclusion de toutes les parties prenantes, cest--dire tous les groupes ayant des intrts lis au programme ou la politique, est prsente dans plusieurs approches participatives. Lors dune EDD, lvaluateur doit sassurer quil y a une galit de pouvoirs entre les parties prenantes et, dans le cas contraire, mettre en place des mcanismes qui la garantissent. Cela signifie quil doit accorder une attention spciale aux intrts des participants qui passeraient autrement inaperus. Condition ncessaire une approche qui se veut dmocratique, la reprsentation de tous ceux qui ont des intrts lgitimes dans les dcisions qui les touchent constitue la principale diffrence entre la dmocratie et les autres rgimes politiques. Le deuxime principe qui dfinit lEDD est la ncessit que celle-ci soit le fruit dun dialogue permettant aux parties prenantes de dterminer leurs intrts. Un dialogue inclusif et authentique est primordial pour articuler clairement les intrts des parties prenantes. Cette tape nest pas toujours facile. Il a t question prcdemment des dfis dans lvaluation du poids des diffrents intrts, dfis encore plus grands tant donn que les parties prenantes ne sont pas toujours capables de dterminer leurs propres intrts. En engageant des dialogues multiples entre les diffrentes parties prenantes, celles-ci peuvent claircir leur vision et mieux dfinir leurs intrts alors quun dialogue insuffisant peut mener du paternalisme et une mauvaise comprhension des perspectives des participants (House et Howe, 2000). Sur le plan pratique, House et Howe suggrent, pour tablir une relation de confiance et de respect entre les parties prenantes, que le dialogue se fasse en personne, et non par crit ou par tlphone. Cependant, la russite du dialogue et de la dlibration qui suit peut tre menace par les difficults de communication entre des parties prenantes venant de diffrents horizons sociaux : Il faut surtout que des acteurs issus de milieux sociaux diffrents apprennent travailler ensemble, tche dautant plus difficile lorsque leurs interactions ne sont pas fixes dans un cadre rglementaire qui dterminerait clairement une hirarchie, ce qui est le cas dans une valuation. A [sic] titre dexemple, la lecture des comptes-rendus de runions montre bien que les rgles de prise de parole ne sont pas clairement dtermines et que des tensions peuvent natre entre un prsident habitu des dbats strictement rglements et un universitaire plus coutumier de dbats entre gaux, o la parole dtermine la valeur du locuteur et non linverse (Loiseau, 1996, p. 322).
23
Finalement, lvaluation doit comprendre une dlibration, soit un processus cognitif, bas sur la raison, les donnes probantes et les principes dargumentation valables. Alors que le dialogue permet de dterminer les vritables intrts des parties prenantes, la dlibration est loccasion dvaluer collectivement le poids quil faut leur attribuer dans une optique de bien commun. Cest une tape complexe, incertaine et souvent sujette la controverse. Elle est cependant ncessaire et, pour la conduire de la manire la plus objective possible, lvaluateur et les parties prenantes doivent juger la force morale des intrts : ceux qui sont lis aux besoins sont plus lgitimes que ceux qui sont rattachs aux dsirs ou aux objectifs (House et Howe, 2000). La ralisation dune valuation permet de faire ressortir les valeurs importantes, qui mergent et se transforment la suite de la dlibration. Au moment de la dlibration, lvaluateur ne doit pas influencer les participants aller contre leurs intrts, mais il peut les persuader dopter pour un chemin qui rpond ceux-ci (Howe et Ashcraft, 2005). Pour conclure cette section, signalons que les principes dinclusion, de dialogue et de dlibration sont interrelis et que la qualit de lun dpend des autres. Lapplication de ces trois principes permet dobtenir une valuation qui sapproche le plus prs possible de lidal dimpartialit. Cependant, comme mentionn en introduction, lEDD est thorique, et sa mise en uvre ne peut se faire sans concessions. Cette approche se veut un guide gnral lintention de lvaluateur plutt quune recette dtaille. Lvaluateur agit ainsi en professionnel consciencieux qui tente de rpondre du mieux quil peut aux conditions dinclusion, de dialogue et de dlibration de manire produire des rsultats les moins biaiss possible. Dans lide daider les valuateurs appliquer lEDD, House et Howe ont fait un effort doprationnalisation de leur thorie en dix questions (2000, p. 11, traduction) :

Quels sont les intrts reprsents? Est-ce que les principales parties prenantes sont reprsentes? Y a-t-il des parties prenantes exclues? Y a-t-il de srieux problmes de dsquilibre de pouvoir? Y a-t-il des procdures pour contrler ces dsquilibres? Comment les individus participent-ils lvaluation? Leur participation est-elle authentique? Dans quelle mesure sont-ils engags dans lvaluation? La dlibration est-elle rflexive? Comment la dlibration est-elle considre par les parties prenantes et mene par les valuateurs?
24
5.2 Son histoire

Lapproche conue par House et Howe dans les annes 1990 plonge ses racines dans une plus grande famille, celle des valuations dmocratiques. Les valuations dmocratiques ont t trs influentes en Grande-Bretagne la fin des annes 1970, un pays o les citoyens valorisent la transparence et le public right to know (le droit du public de savoir). La valeur des valuations dmocratiques tait particulirement reconnue en ce qui concerne les enjeux ducatifs locaux (Ryan, 2004). En 1976, lorsque Barry MacDonald a conu lapproche dmocratique, il a tabli une classification des valuations selon leurs prtentions politiques. Les deux premiers types dvaluation, bureaucratique et autocratique, reprsentent la vision de MacDonald des pratiques existantes. Craignant que les professionnels de lducation ne soient dpossds de leur pouvoir au profit des politiciens et des fonctionnaires, MacDonald propose une troisime catgorie, lvaluation dmocratique, quil dcrit comme suit : Lvaluation dmocratique est un service dinformation pour toute la communaut propos des caractristiques dun programme scolaire. Les commanditaires de lvaluation nont pas un statut privilgi leur permettant de faire des rclamations spciales. Lvaluateur dmocratique reconnat la pluralit des valeurs et cherche reprsenter une gamme dintrts dans la formulation des enjeux (MacDonald, 1974, dans MacDonald et Kushner, 2004, traduction). Bref, MacDonald dfend une valuation o linformation est accessible tous et o chacun possde une connaissance approfondie de lautre. Mme si elle est moins populaire aujourdhui, lvaluation dmocratique est toujours dactualit puisque plusieurs auteurs ont labor leur propre approche partir de ses principes. Effectivement, le terreau de lvaluation dmocratique est fertile et, outre House et Howe, Ryan et DeStephano (2001) sen sont servies pour concevoir leur propre approche, tout comme lont fait Niemi et Kemmis (1999) avec lvaluation communicative (communicative evaluation). Cette fertilit peut tre explique par laudace de lvaluation dmocratique, qui a propos des rponses pertinentes certains dilemmes fondamentaux dans le domaine de lducation. Parmi ceux-ci, on peut penser aux relations de pouvoir, linclusion de parties prenantes et la ncessit de produire de linformation utile et utilise (Ryan, 2004). Malgr le temps qui sest coul, ces enjeux sont rests dactualit et House et Howe ont eux aussi propos des solutions. Thoriques, ces solutions sont ancres dans la pense philosophique politique contemporaine. Par exemple, la rflexion de House et Howe sur linclusion des parties prenantes et sur la gestion des rapports ingalitaires alimente un dbat majeur sur la distribution des biens sociaux, tels les revenus, les services de sant et lducation. House et Howe (1999) reprochent aux thoriciens galitaristes libraux de chercher liminer les ingalits par des programmes daide offerts par les plus privilgis, ce qui perptue les carts entre les classes sociales. Une socit dmocratique devrait plutt inclure les plus dfavoriss dans la prise de dcision concernant la distribution des biens sociaux. Cest en partie par cette prise de position dans le dbat philosophique que House et Howe dfendent la lgitimit des principes dinclusion, de dialogue et de dlibration.
5.3 Une proposition sur les faits et les valeurs

LEDD sinsre dans un dbat pistmologique majeur qui fait rage tant en valuation quen sciences sociales. Il sagit de lopposition entre le positivisme, qui dichotomise les faits et les valeurs, et le constructivisme radical, qui soutient que la vrit et lobjectivit sont inatteignables en raison du caractre construit de la ralit. Opposs ces deux conceptions, House et Howe proposent une troisime manire de concevoir les faits et les valeurs. Pour mieux la comprendre, examinons dabord les raisons de leur opposition aux approches positiviste et constructiviste.
25
En valuation, le positivisme domine depuis les annes 1960. Selon House et Howe, il est reprsent entre autres par Donald Campbell (1982) et William Shadish, Thomas Cook et Laura Leviton (1995). Tout en reconnaissant la qualit des travaux produits par ces valuateurs et sans remettre en question leur contribution lavancement de la thorie valuative, House et Howe critiquent leur conception des valeurs. En adhrant la dichotomie faits-valeurs, Campbell soutient que ce nest pas le rle des valuateurs de juger les valeurs, une attitude qui, selon House et Howe (1999), nglige des aspects importants des programmes et des politiques valus. la suite dune tude des diffrentes approches, Shadish, Cook et Leviton (1991) prconisent quant eux lutilisation de mta-analyses ou danalyses cot-avantage dans loptique de synthtiser les valeurs des parties prenantes et dainsi sassurer que tous les aspects cruciaux du programme pour les participants soient connus des valuateurs. Cette synthse comprend une description des valeurs des parties prenantes ainsi que, dans certains cas, une prescription propos de valeurs consensuelles, telle la lutte contre la pauvret ou le racisme. Seules ces valeurs consensuelles sont traites avec la mme rigidit intellectuelle que le sont les faits puisque leur pertinence en ce qui a trait aux objectifs de lvaluation est discute. Cette diffrence de traitement entre les valeurs dites descriptives et celles qui sont dites prescriptives dplat grandement House et Howe, qui voient dans le refus des auteurs dvaluer la lgitimit des premires une minimisation de leur importance. Alors que les tenants du positivisme soutiennent tre en mesure de produire des conclusions rationnelles, vridiques et objectives, le constructivisme radical, quon associe en valuation notamment Egon Guba et Yvonna Lincoln (1989), nie lexistence de la ralit objective, chaque tre humain ayant sa propre interprtation du monde qui lentoure. Avec cette approche, tant donn quil y a autant de ralits sociales construites quil y a dindividus, lobjectif de lvaluation est de ngocier une comprhension commune de ces multiples ralits (House et Howe, 1999, p. 57, traduction). House et Howe (1999, p. 61) objectent Guba et Lincoln que ce nest pas parce que les connaissances sont un produit social quelles ne peuvent pas tre critiques de manire rationnelle. La conception des faits et des valeurs des fondateurs de lEDD soppose donc la fois au positivisme dominant et au constructivisme radical. Effectivement, House et Howe considrent que les faits et les valeurs font partie dun tout quil est impossible de sparer. Au lieu de les rattacher aux sentiments, ils soutiennent que les valeurs peuvent et doivent tre analyses objectivement par les valuateurs, linstar des faits.
5.4 Une illustration de lapproche

En lan 2000, dans le district scolaire de Boulder Valley au Colorado, a t mene une valuation dmocratique dlibrative dune dure dun an. Elle portait sur les politiques dopen enrollment permettant aux parents de choisir lcole de leurs enfants au lieu de les restreindre ltablissement de leur quartier (Howe et Ashcraft, 2005). En cinq ans, la multiplication des politiques dopen enrollment a gnr une rapide et imprvue hausse de la frquentation dans certaines coles et une baisse importante dans dautres. La situation tait critique puisque, la suite de la fermeture dune cole et de la fusion dautres tablissements, le dbat senvenimait entre les partisans de lopen enrollment et ses opposants. Les responsables du district ont donc command une valuation dimpact avec pour objectif de dterminer les consquences de lopen enrollment et de modifier au besoin leurs politiques. Au moment de lvaluation, approximativement 27 000 lves du primaire et du secondaire frquentaient le district et 12 % dentre eux taient dorigine latino-amricaine; il sagit de la minorit la plus importante du district. La collecte de donnes sest faite de plusieurs manires, soit par questionnaires et par groupes de discussion auprs des parents et des ducateurs, par entrevues avec les directeurs ainsi que par sondages tlphoniques auprs des parents. Des statistiques et autres documents amasss par ladministration ont galement t consults. Trente sondages ont t mens dans chacune des huit rgions gographiques de Boulder Valley. Au total, 466 individus ont particip aux groupes de discussion et aux entrevues alors que 240 parents ont rpondu au sondage tlphonique. Les groupes de discussion sont la mthode privilgie par lEDD, et les valuateurs ont confirm la justesse de leurs rsultats au moyen dautres mthodes.
26
Parmi les trois principes de lEDD, cest linclusion qui a t le plus facile transposer sur le terrain. Les valuateurs ont obtenu des chantillons reprsentatifs des parties prenantes dsignes comme ayant des intrts en jeu concernant les politiques dadmission du Boulder Valley School District, soit les parents, les professeurs et les administrateurs des coles. Les parents qui ne simpliquent pas dans les coles o tudient leurs enfants ont t joints par tlphone. Les groupes de discussion ont quant eux permis aux parties prenantes dentrer en dialogue et, sans laide des valuateurs, les participants ont eux-mmes engag des dbats critiques. Avec plus de temps, le dialogue aurait pu tre plus profond et permettre aux parties prenantes de dfinir plus prcisment leurs intrts, mais les valuateurs ont choisi dentendre le plus dopinions possible dfaut de les approfondir. Par ailleurs, il rgnait un climat de mfiance envers les valuateurs, considrs comme tant la solde des administrateurs qui dsiraient faire connatre les bienfaits des admissions ouvertes. Les valuateurs ont donc opt pour une attitude plus discrte. Comme nous lavons mentionn prcdemment, les principes sont interrelis, et latteinte incomplte de lun dentre eux compromet latteinte des autres. Dans le cas qui nous intresse, le fait que le dialogue entre les parties prenantes soit rest en surface a empch le processus de dlibration davoir lieu. Lvaluation a rvl quil y avait un fort consensus au sujet des bienfaits de lopen enrollment comme rponse la diversit des intrts et besoins des tudiants. Cependant, certains parents plus pauvres ne sont pas en mesure de se rendre dans lcole de leur choix pour y inscrire leur enfant, un dplacement ncessaire pour ladmission du jeune. Ces familles doivent donc se contenter de lcole de quartier au lieu davoir un accs diversifi, qui lui est accessible aux familles plus aises. Les valuateurs ont par consquent conclu que donner le droit aux parents de choisir lcole de leur enfant crait une multitude dingalits, dont limportance variait selon les parties prenantes. Certaines coles se retrouvent avec des proportions plus importantes de minorits ethniques et de familles faible revenu alors que dautres voient le nombre de familles riches et de parents engags dans leurs campagnes de financement augmenter. Cette situation a pour consquence que la qualit denseignement nest pas partout la mme puisque les meilleurs professeurs se dirigent vers les coles dont les budgets sont plus importants. Bien quil ny ait pas eu de dlibration dans le cadre mme de lvaluation, celle-ci a mis en place des conditions ayant permis une dlibration ultrieure. Effectivement, les conclusions et les recommandations des valuateurs ont amen les habitants de Boulder Valley dlibrer sur la place publique et ont indirectement contribu aux changements de politiques qui ont suivi. Deux importantes recommandations de lquipe dvaluation, soit la centralisation de lopen enrollment et labolition de lobligation des parents de visiter lcole o ils souhaitent envoyer leur enfant, ont notamment t adoptes par le district. Quant aux recommandations qui nont pas t suivies (par exemple, offrir gratuitement le transport scolaire tous les lves), elles ont tout de mme t prises en considration par ladministration avant dtre rejetes, souvent pour des raisons financires. Selon Howe et Ashcraft (2005), il est donc possible de conclure que, malgr les concessions qui ont t faites, lEDD a t un succs : elle a aid les citoyens de Boulder Valley adopter des politiques qui amliorent la situation des parties prenantes. Cette russite est attribuable, selon les valuateurs, lapplication des principes dinclusion et de dialogue, qui ont permis aux partisans de la politique dopen enrollment et ses opposants de sallier pour produire des rsultats et recommandations qui les reprsentent. Dun autre ct, lvaluation du district de Boulder Valley a mis en lumire les difficults mener une vritable dlibration entre des parties prenantes quon souhaite libres et gales. Cette dernire constatation nous amne la prochaine section, qui synthtise les apports et les limites de lEDD.
27
5.5 Des critiques

La faible utilisation de lapproche dmocratique dlibrative par les valuateurs sur le terrain comparativement son anctre, lvaluation dmocratique, peut tre en partie explique par sa relative jeunesse ainsi que par le choix des auteurs de se concentrer sur la thorie plutt que sur la pratique. Effectivement, avec un objectif aussi ambitieux que la rconciliation de la pense philosophique contemporaine avec la thorie valuative, les auteurs ne semptrent pas dans les questions de dtail. Depuis les dix annes dexistence de lEDD, ils se concentrent plutt sur les caractristiques gnrales que les valuations devraient idalement avoir sans dfinir prcisment les outils et techniques ncessaires leur atteinte. Comme ils le mentionnent en ouverture de leur ouvrage, House et Howe croient que la thorie est utilise pour justifier et informer la pratique, la thorie fait donc la diffrence sur le long terme (1999, p. x, traduction). De plus, selon eux, privilgier la thorie par rapport la mthode permet de comprendre les liens inextricables entre lvaluation, la structure sociopolitique et les institutions (House et Howe, 2000). Cependant, en cartant les questions de mthode, ils diminuent les probabilits que leur approche influence le dveloppement de la socit. On peut effectivement croire que les valuateurs sur le terrain vont prfrer une approche moins vague qui leur indiquerait quelle mthodologie utiliser aux diffrentes tapes de lvaluation. Lvaluation est un moyen de dfinir les politiques et les institutions; or, si lapproche nest pas utilise, elle perd son pouvoir. Une seconde critique, formule par Robert E. Stake, crateur de la responsive evaluation, sattaque lessence mme de lEDD. Effectivement, Stake (2000) soutient que la promotion de la dmocratie au moyen de lvaluation nest pas un objectif lgitime. Les valuateurs devraient plutt se concentrer sur les intrts des parties prenantes. De plus, Stake est davis que le rle de lvaluateur dans lEDD est trop important et que limpartialit quon voudrait lui attribuer nest pas possible. Il argumente en faveur dun rle plus modeste o lvaluateur na pas dfinir les diffrents poids donner aux intrts des parties prenantes. Celui-ci devrait se contenter de noter quelles sont les valeurs importantes pour les parties prenantes, sans les juger (cest--dire une approche descriptive par rapport aux valeurs). Stake a raison de souligner les responsabilits importantes qui incombent lvaluateur dans une approche dmocratique. Lvaluateur en tant quexpert a une position de choix dans lEDD; on lencourage mme influencer les participants rvaluer leurs intrts, pour leur bien . Limpartialit de lvaluateur est-elle vraiment possible? Lvaluateur est-il mieux plac pour juger des besoins des participants que les parties prenantes elles-mmes? Lvaluation sinsre dans une gamme de relations de pouvoir prexistantes et, dans certains contextes, il peut tre particulirement tentant pour lvaluateur de se laisser guider par des pressions politiques. Dans le cadre de lvaluation de politiques publiques pour lesquelles les lus ont des partis pris qui peuvent ou non leur assurer une rlection, lvaluateur, de mme que le commanditaire, doit tre prt prendre des risques politiques pour encourager la poursuite du dbat dmocratique hors des murs du Parlement (Loiseau, 1996). Dautre part, lEDD semble avoir des difficults sappliquer des valuations qui ne se droulent pas lchelle locale. Sil est possible de dlibrer en faveur du bien commun dans de petites communauts engages dans une mme cause, Gary T. Henry (2000) juge que cela devient impraticable au sein dentits plus grandes. Comme il lexplique, pour une rgion mtropolitaine, une province, un tat ou un pays, il est difficile dimaginer que les liens du capital social soient assez forts pour faire merger le bien commun comme proccupation majeure au cours dune seule valuation (2000, p. 93, traduction). Henry avance aussi que House et Howe ont une vision trop idaliste de la dlibration. En effet, selon lui, il est difficile de modifier les opinions qui ont souvent t formes bien avant lvaluation. De plus, les recherches ont prouv quil y a souvent une importante rsistance aux changements, mme si ceux-ci visent le bien commun (Henry, 2000, p. 93-94). En dpit des critiques qui sont diriges vers elle, lapproche labore par House et Howe offre des pistes intressantes pour lvaluation. Bien que son application doive tre amliore, on peut esprer dpasser la ngociation des intrts individuels pour largir la discussion au bien-tre gnral. De plus, dlibrer sur le poids des diffrents intrts semble tre une tape pertinente dans lvaluation tant donn quil apparat sens de privilgier les besoins primaires plutt que les dsirs. Cependant, en pratique, les besoins et dsirs peuvent se confondre et il manque lEDD une mthodologie claire qui lui permettrait de se rapprocher de ses objectifs.
28
Conclusion
En dfinitive, lapproche dmocratique dlibrative prsente une manire originale, la fois idaliste et thorique, daborder lvaluation. LEDD prne des valuations en trois temps qui font intervenir galement toutes les parties prenantes vises dans un dialogue sur leurs intrts et dans une dlibration sur le poids leur donner. Encore ses premiers pas, lEDD ose sattaquer des sujets controverss qui dpassent largement le cadre de lvaluation. Peut-on juger les valeurs? Le cas chant, sur quelles bases? Comment, si cela est possible, les juger de manire impartiale? Peut-on juger les valeurs dune autre culture? La rflexion sur les valeurs dans laquelle sinsre lEDD est cruciale dans le contexte multiculturel actuel qui nous amne rflchir sur les rgles du vivre-ensemble et les revoir.
29
RFRENCES
Badie, B., P. Birnbaum, P. Braud et G. Hermet (2000). Dictionnaire de la science politique et des institutions politiques, quatrime dition. Paris, Cursus. Campbell, D. (1982). Experiments as Arguments . Dans E. R. House, S. Mathison, J. A. Pearsol et H. Preskill (dir.), Evaluation Studies Review Annual 7, 117-128. Guba, E. G., et Y. S. Lincoln (1989). Fourth Generation Evaluation. Newbury Park, CA, Sage. Henry, G. T. (2000). Benefits and Limitations of Deliberation . New Directions for Evaluation (85) : 91-96. House, E. R. (1993). Professional Evaluation : Social Impact and Political Consequences. Newbury Park, CA, Sage. House, E. R., et K. R. Howe (1999). Values in Evaluation and Social Research. Thousand Oaks, CA, Sage. House, E. R., et K. R. Howe (2000). Deliberative Democratic Evaluation . New Directions for Evaluation (85) : 3-12. Howe, K. R., et C. Aashcraft (2005). Deliberative Democratic Evaluation: Successes and Limitations of an Evaluation of School Choice . Teachers College Record 107(10) : 2274-2297. Kymlicka, W. (1991). Liberalism, Community and Culture. New York, Oxford, University Press. Loiseau, F. (1996). Apports et limites de lvaluation dmocratique des politiques publiques comme outil de gouvernabilit . Dans F. Loiseau et al. (dir.), La gouvernabilit, 314-324. Paris, Presses universitaires de France. MacDonald, B. (1976). Evaluation and the Control of Education . Dans D. Tawney (dir.), Curriculum Evaluation Today: T rends and Implications, 125-134. Londres, Macmillan Education. MacDonald, B., et S. Kushner (2004). Democratic Evaluation . Dans S. Mathison (dir.), Encyclopedia of Evaluation. Thousand Oaks, CA, Sage. Page disponible ladresse suivante : http://www.sage-ereference.com/evaluation/Article_n141.html (page consulte le 23 septembre 2010). Niemi, H., et S. Kemmis (1999). Communicative Evaluation . Lifelong Learning in Europe. 4(1) : 55-64. Ryan, K. (2004). Serving Public Interest in Educational Accountability: Alternative Approaches to Democratic Evaluation . American Journal of Evaluation 25(4) : 443-460. Ryan K., et L. DeStefano (2001). Dialogue as a Democratizing Evaluation Method . Evaluation 7(2) : 195-210. Shadish, W., T. Cook et L. Leviton (1995). Foundations of Program Evaluation. Thousand Oaks, CA, Sage. Stake, R. E. (2000). A Modest Commitment to the Promotion of Democracy . New Directions for Evaluation (85) 97-106. Vestman, O. K., et R. F. Conner (2006). The Relationship Between Evaluation and Politics . Dans I. F. Shaw, J. C. Greene et M. M. Mark (dir.), Handbook of Evaluation: Policies, Programs and Practices, 225-242. Thousand Oaks, CA, Sage.
30
VI. DES THORIES POUR COMPRENDRE ET AGIR ALICE DIGNARD

Participer au dialogue entre la thorie et la pratique de lvaluation de programme est une occasion de faire un retour sur mes annes de travail, pendant lesquelles jai agi, en grande majorit, titre de spcialiste de lvaluation des programmes publics et de responsable dquipe dvaluateurs dans diffrentes missions du gouvernement du Qubec, vocation conomique, ducative ou sociale. Dans ce numro, les auteurs prsentent des approches thoriques participatives ou centres sur les parties prenantes, soit lvaluation affranchie des objectifs ou de type goal-free, lvaluation habilitative (empowerment evaluation) et lvaluation dmocratique dlibrative. Ces approches nous amnent sortir des approches dites plus classiques comme lvaluation centre sur latteinte des objectifs dun programme et lvaluation causale, qui vise dmontrer un lien entre les rsultats obtenus et le programme. Cette dernire approche fait appel aux modles exprimentaux et quasi exprimentaux qui sont utiliss lorsque lon cherche savoir si les participants un programme, une intervention, un service, un projet ont eu de meilleurs rsultats quun groupe de comparaison form de non-participants ayant des caractristiques semblables. Dautres approches sont aussi possibles lorsquil y a un seul groupe de participants avec des observations avant et aprs la participation ou avec des sries temporelles. cela sajoute lvaluation defficience, qui dcoule de la thorie conomique. Mon propos est de montrer que, sans tre toujours mobilises explicitement, les thories, prsentes par les tudiantes et les tudiants diplms avec la complicit de leur professeur Pierre-Marc Daigneault, permettent de comprendre et dagir sur le terrain. Dabord, il me semble important de situer lvaluateur qui travaille dans nos organisations publiques et, peut-tre, dy intresser une relve. Par la suite, je montrerai le lien entre la pratique et la thorie et examinerai quelques utilisations des approches participatives.
6.1 Lvaluateur des programmes publics

Il faut se rappeler qu au Canada, le souci de rendre compte des rsultats des dpenses publiques et damliorer linformation servant la planification a abouti lvaluation des programmes fdraux au cours de la priode 1977 1981 (Conseil du Trsor du Canada, 1991, p. A-2). Au Qubec, un groupe de sous-ministres crait en 1989 le Groupe des responsables en analyse et valuation de programme (GRAEP) pour favoriser le dveloppement et la promotion de la fonction de lvaluation de programme dans les ministres et organismes du gouvernement provincial (GRAEP, 1992). Dans le contexte de la fonction publique qubcoise, lvaluation de programme se dfinit comme suit : [] une dmarche rigoureuse de collecte et danalyse dinformation qui vise porter un jugement sur un programme, une politique, un processus ou un projet pour aider la prise de dcision. Elle permet dapprcier la fois la pertinence du programme, lefficacit avec laquelle ses objectifs sont poursuivis, lefficience des moyens mis en place ou sa rentabilit, ainsi que son impact (Secrtariat du Conseil du trsor du Qubec, 2002, p. 6). Le terme de programme dsigne ici toute intervention publique pour laquelle des ressources sont alloues pour sa ralisation. Ce terme sera utilis tout au long de ce texte et comprend aussi des politiques, des activits, des produits et services, des projets ou projets pilotes et des exprimentations. En somme, le rle de lvaluateur de programme est de rendre disponibles des documents et de linformation sur la performance (rsultats, effets et retombes) et la pertinence des programmes. On fait appel son objectivit, mais aussi sa capacit de faire valoir lensemble des points de vue des parties prenantes. Ce dernier aspect est sans contredit une valeur ajoute de lvaluation. La production du rapport dvaluation amne lvaluateur produire des analyses desquelles dcouleront des constatations et des recommandations sur diffrents aspects du programme. Selon le mandat dvaluation, ces aspects peuvent porter sur la pertinence de sa raison dtre, sur latteinte ou non des objectifs, sur sa mise en uvre ou son implantation, sur ses rsultats, ses effets et retombes (Secrtariat du Conseil du trsor, 2002, p. 6-7).
31
Au sein des ministres et des organismes du gouvernement du Qubec, les professionnels occupant des emplois de conseiller ou de conseillre en valuation de programme ont pour la majorit dentre eux une formation universitaire de deuxime cycle qui leur a permis dacqurir des connaissances en recherche et en mthodes. Plusieurs ont galement une formation plus spcifique en valuation; les programmes dtudes se sont dvelopps en ce sens. Dautres non-initis se sont perfectionns aprs avoir accept un emploi en valuation de programme. En raison de leur formation initiale, ces conseillers ou valuateurs viennent de domaines aussi varis que les sciences sociales ou les sciences appliques. Ils ont ncessairement t exposs diverses thories lies leurs champs dtudes. Ils se sont aussi initis aux approches thoriques de lvaluation. Au fil des annes, dans leur pratique professionnelle, ils ont dvelopp leur expertise et expriment diverses approches. La fonction publique qubcoise regroupe donc des valuateurs avec de fortes comptences lies aux approches qualitatives et dautres ferrs dans les approches quantitatives. Sans tre des experts de toutes les thories, ils peuvent gnralement tous faire appel une varit de modles do dcouleront des mthodes pour rassembler des donnes tant qualitatives que quantitatives. Il ny a aucun doute, ils partagent un fond commun en matire de concepts, de dfinitions, dapproches et de rgles dthique propres lvaluation. Plus concrtement, ils sont membres dassociations qui se consacrent au dveloppement de lvaluation, ce qui leur donne loccasion de prsenter les rsultats de leurs travaux, de faire tat davances dans le domaine de lvaluation et de se perfectionner. Plus rcemment, la Socit canadienne dvaluation (SCE) a mis en place un processus qui vise la reconnaissance de la profession de lvaluation et a conu le titre dvaluateur accrdit (EA) dans le but, notamment, de promouvoir un exercice professionnel qui rpond aux plus hauts standards dthique, de qualit et de comptence (SCE, 2010). Ces professionnelles et professionnels ont choisi de travailler en valuation des programmes publics pour des ministres et des organismes dont les missions sont diversifies (tant sociales quconomiques). Par exemple, citons la sant et les services sociaux, lducation, lemploi, la solidarit sociale, la culture, les ressources naturelles, la famille et les ans, lenvironnement, les transports, le loisir et les sports, lagriculture, la scurit publique, limmigration et les communauts culturelles, les affaires municipales et lorganisation du territoire. Plusieurs de ces ministres interviennent des paliers local, rgional et national. Ces diverses situations amnent ncessairement des approches diversifies et une richesse dexpriences que lon devrait sans doute mieux connatre. La notion dquipe dvaluateurs vient galement prendre tout son sens dans les organisations publiques o la fonction est bien tablie. Elle se concrtise par une unit administrative clairement dsigne dans la structure organisationnelle. Cette quipe comprend trois, quatre, six et mme plus dune douzaine de professionnels et professionnelles en valuation. Dans une organisation o la fonction dvaluation est organise et o les ressources peuvent rpondre la demande dvaluation des autorits, les projets dvaluation se rpartissent en tenant compte des spcialits et des connaissances de chaque personne et idalement de son expertise. De plus, chaque membre dune quipe peut bnficier au besoin de lexpertise dun ou dune collgue.
32
6.2 La thorie influence ncessairement la pratique

Dune part, les approches thoriques prsentes dans le prsent numro ont le mrite de faire comprendre ce qui se passe dans la pratique. Dautre part, il faut reconnatre que les thories sont galement choisies par lvaluateur et utilises en regard du contexte, dune situation bien prcise et du besoin du demandeur de lvaluation. La pratique de lvaluation nvolue pas de faon indpendante de la thorie. Elle tient compte de plusieurs facteurs lis, entre autres, lindpendance de la fonction et lobjet de lvaluation. Par exemple, un valuateur qui examine les retombes des organismes communautaires peut explorer les approches participatives dans le but de crer une culture valuative au sein mme de ces organismes et ultimement, par une approche valuative approprie, daccrotre la connaissance pour amliorer les retombes de leurs interventions. Le rappel des aspects thoriques doit se retrouver dans le cadre dvaluation du programme, aussi appel plan ou devis dvaluation. Ce document de planification de la dmarche dvaluation comprend une description du programme valu souvent prsente sous la forme dun modle logique, la dsignation des personnes et des groupes touchs, dont un portrait des clientles vises par lvaluation, la composition du comit dvaluation, une revue de littrature dans le but de cerner des variables de contrle pertinentes lanalyse ou les concepts thoriques lis lobjet valu, le type dvaluation, lapproche mthodologique et ses limites, un chancier des principales tapes et, au besoin, une estimation des ressources requises pour raliser le projet dvaluation. Le rapport dvaluation prsente galement des aspects thoriques ainsi que les limites mthodologiques. Et pour nourrir la discussion, les rsultats obtenus sont compars, lorsque cela est possible, ceux qui ont t obtenus par dautres tudes valuatives. Le cadre et le rapport dvaluation sont produits par lvaluateur responsable du projet dvaluation. On peut dplorer que certains cadres dvaluation escamotent en partie la description dtaille de lapproche thorique lie la dmarche dvaluation. Et pire encore, quils offrent peu dindications quant lapproche utilise en regard de lobjet valu. La contrainte de temps est une ralit avec laquelle lvaluateur doit composer. Malgr cela, au moment dentreprendre une valuation, il faut rappeler limportance deffectuer un rigoureux examen des donnes dj disponibles et de raliser une revue de la littrature dans le but de cibler des expriences semblables et de brosser un tat de la connaissance dans le domaine. Cette rflexion pralable conduit effectuer des choix en regard dune thorie pour proposer un cadre conceptuel toff et propre au programme valu. Dans certains cas, une analyse de faisabilit de lvaluation est requise. En somme, les valuations dun programme de formation (sciences de lducation), dune campagne de sensibilisation (marketing social), dun programme daide au dmarrage des entreprises dans un secteur de pointe (sciences administratives) et dune mesure daide aux jeunes adultes pour favoriser leur insertion en emploi (sciences sociales) font appel des postulats, hypothses, indicateurs deffets bruts et nets diffrents, et donc un cadre thorique distinctif et propre lobjet valu quil a lieu de documenter. Cette tape me semble cruciale pour laborer une solide approche valuative qui, selon mon exprience, doit ncessairement combiner des choix thoriques du domaine de lvaluation et du domaine de connaissance du programme valu. terme, cette approche rapportera des rsultats crdibles, fiables et utiles la prise de dcision quant lavenir du programme et aux mesures qui permettraient, le cas chant, daccrotre ses retombes ou la satisfaction des clientles et des groupes touchs.
6.3 Quelques utilisations des approches participatives

Cette partie prsente des situations qui utilisent avec succs deux des approches prsentes prcdemment par les auteurs. Dentre de jeu, chaque valuation est, pour lvaluateur, une occasion dapprendre grce une exprience relle o lobjet valu, les enjeux, le contexte et les acteurs touchs vont crer une situation unique. Les projets dvaluation auxquels jai particip mont donn loccasion de me situer par rapport diffrentes approches dont le choix est fortement influenc par la nature du programme, le contexte de sa ralisation, les questions et le besoin dinformation de la personne qui demande une valuation.
33
Dans lapproche dmocratique dlibrative, lvaluateur joue un rle daccompagnateur ou peut tre totalement absent. Cette approche prsente un intrt lorsquil sagit de demander un valuateur daccompagner un groupe de travail qui a pour mandat dlaborer une nouvelle politique ou un nouveau programme dans le contexte dune dmarche consultative. Au moment de llaboration dune nouvelle intervention, il est alors possible dintroduire une dmarche daccompagnement pour arriver dfinir les besoins et cerner les problmes rsoudre par une intervention publique. Par la suite, il sera possible de dfinir des objectifs mesurables, de clarifier les concepts, de documenter certaines variables, de mettre en place un systme dinformation et de tenir compte de paramtres qui serviront par la suite lvaluation. Mais, dans les faits, il nest pas toujours possible de participer cette tape puisque les programmes sont souvent dj en place et que leur mise en uvre se ralise souvent en situation de crise et durgence. Lvaluation centre sur le pouvoir dagir ou valuation habilitative, traduction de langlais empowerment evaluation o lvaluateur est un accompagnateur, est une dmarche participative qui vise une amlioration du programme ou des services par une prise en charge par les personnes et groupes touchs. Cela se ralise par la cration dune culture dvaluation interne et ancre dans la gestion ou lacquisition dhabilets en valuation pour un groupe ou plusieurs groupes touchs. Le mrite de ces approches est dapporter un clairage sur les personnes et les groupes lis la ralisation dun programme et de dterminer qui est davantage en mesure dinfluencer son succs et ses retombes pour les participants et la socit. Ces approches visent amliorer certains aspects de la ralisation ou de lefficacit du programme en regard denjeux qui sont gnralement dtermins par les parties prenantes. Quoique utiles dans certaines situations, elles ne permettent pas toujours de rpondre aux questions lies aux effets nets et lefficience des programmes dont les rsultats intressent les personnes qui financent lintervention. Dans lexemple qui suit, il est clair que lvaluation a pour but damliorer la russite des lves par une prise en charge des problmes par les principaux intresss, soit les enseignants et les lves eux-mmes. Le programme damlioration des coles secondaires du Manitoba, soit le Manitoba School Improvement Program Inc., bnficie dun soutien financier externe dune organisation de charit non gouvernementale pour raliser lvaluation (Dignard, 2003, p. 740742). Dune approche participative plus classique , le modle dvaluation sest transform en une valuation habilitative o les enseignants de certaines coles ont pris en charge le processus dvaluation et o, dans une autre cole, les tudiants ont ralis une enqute tlphonique auprs danciens lves pour effectuer un suivi de leur parcours. En somme, la consultante en valuation, qui a apport tout au long du projet un soutien conseil et technique, affirmait that having the teachers who are the owners and the doers of their own evaluation processes is indeed a powerful tool in stimulating and sustaining significant school improvement (Lee, 1999, p. 159). Soulignons que cette exprience sest droule sur au moins sept annes. Il a t dmontr au fil du temps que les coles ont su dvelopper leurs propres comptences dans le domaine de lvaluation et quelles se sont inscrites dans un processus damlioration continue. Lvaluation a permis de mettre en vidence le progrs accompli par chacune des coles, qui diffrent les unes des autres. Elle a galement permis de conclure que la progression nest pas toujours linaire ni statique. Mme sil nest pas toujours possible de faire participer toutes les parties prenantes ou celles qui sont vises par le programme, dans la pratique, il est fortement recommand de mettre en place un comit dvaluation form de reprsentants touchs par la ralisation du programme. Il comprend non seulement les gestionnaires viss, mais le plus souvent des reprsentants directement en lien avec les clients, les utilisateurs ou consommateurs. Il est galement souhaitable que des reprsentants externes puissent y participer. Ce comit consultatif a pour rle de faciliter la ralisation du projet, et les membres sont invits donner leurs commentaires, notamment sur le projet de rapport dvaluation. Lvaluateur demeure responsable du respect des rgles reconnues en valuation de programme et de la production du rapport dvaluation. Les groupes ou personnes qui bnficient du programme valu ont loccasion dmettre leurs points de vue sur diffrents aspects du programme. Lutilisation des groupes de discussion, des entretiens et des sondages permet de joindre ces clientles.
34
6.4 Lvaluation formative et sommative

Il est assez rare que le cadre dvaluation produit par lvaluateur, et gnralement adopt par ceux qui ont demand lvaluation dun programme, prcise toutes les thories et les auteurs qui soutiennent lapproche valuative retenue. Toutefois, si lon y regarde de plus prs, les renseignements essentiels lis lapproche valuative retenue pour un projet dvaluation particulier y seront prsents. Dans la pratique, plusieurs facteurs viendront influencer les choix thoriques et mthodologiques de lvaluateur. Ces choix se font en regard du besoin dvaluation exprim soit par ceux qui financent le programme, soit par ceux qui le ralisent, soit par ceux qui lutilisent, cest--dire les parties prenantes lvaluation. Des considrations dordre pratique et stratgique, comme le dlai accord pour la ralisation dune valuation souvent conditionn par le moment de la prise de dcision sur lavenir du programme valu ainsi que les ressources alloues au projet dvaluation, sont dterminantes. Mais avant tout, cest le contexte li la ralisation du programme qui proccupe lvaluateur. En effet, il nest pas rare de constater que les objectifs dun programme ne sont pas clairement dfinis et de voir que la mise en uvre dun programme varie dune rgion lautre ou que celui-ci rpond des besoins diffrents dune rgion lautre. Souvent, ces situations se documentent par la ralisation dune premire phase qui est une valuation formative. Cette tape permet de cerner de faon concrte la mise en uvre ou la ralisation dun programme et linformation est obtenue gnralement par lvaluateur lui-mme et directement auprs de ceux qui administrent le programme ou de ceux qui loffrent, auprs de ceux qui lutilisent et, le cas chant, auprs des partenaires. Cette tape savre souvent incontournable pour comprendre la faon dont le programme se ralise et les besoins auxquels il rpond. La collecte de donnes auprs de sources primaires est certes une valeur ajoute de lvaluation de programme. Dans le secteur du march du travail, il est facile de simaginer que loffre demplois, la disponibilit de la main-duvre, loffre de formation, lconomie, les ressources communautaires et les organisations amnent observer des ralits rgionales diffrentes. Ces ralits peuvent tre mieux comprises par une valuation formative. Cette approche sera encore plus utile dans le cas dune premire valuation pour un nouveau programme, un projet pilote ou une exprimentation. Lanalyse documentaire, lexamen des donnes statistiques disponibles, les outils denqute, comme les entretiens semi-dirigs, les groupes de discussion et les sondages auprs des parties prenantes, sont utiliss. Ce volet formatif peut aussi tre une approche exploratoire qui sapparente lvaluation affranchie des objectifs o les objectifs dun programme sont gnraux ou mal dfinis, ou encore, pourraient varier en fonction des besoins locaux. Dans ce cas, les rsultats de cette tape viendront dterminer lapproche valuative qui sera redfinie ou prcise par la suite. Ou encore, il est possible de faire des emprunts lapproche dmocratique dlibrative qui fait intervenir les parties prenantes touches dans un change o elles ont loccasion de faire connatre leur point de vue en regard de leur propre exprience. Lvaluateur est souvent la voix des minorits silencieuses qui ont des choses dire et qui peuvent les exprimer lorsque les occasions sont cres. Cette premire phase pourra tre suivie par une valuation sommative. Il va sans dire que la dmonstration de la valeur, de lutilit et des retombes dun programme ou dune intervention publique est une exigence associe directement la saine gestion des deniers publics. Ce volet est aussi requis pour la reddition de comptes et doit servir la prise de dcision en regard du maintien, de lamlioration ou de labandon dun programme. Les moyens utiliss visent cerner les effets bruts et nets ainsi que lefficience du programme. Lorsque la situation le permet, les modles exprimentaux ou quasi exprimentaux, les modles sries de mesures temporelles (mesures avant, pendant et aprs) avec groupe de comparaison et les modles conomtriques sont utiliss. cela sajoutent les enqutes auprs des participants ou des non-participants du programme ainsi que les analyses defficience qui font appel aux approches conomiques comme lanalyse cot-avantage. Dautres mthodes sont galement utilises comme ltude de cas, lobservation directe sur le terrain et la consultation dexperts.
35
Le choix des mthodes qui permettent de collecter et danalyser des donnes tant qualitatives que quantitatives fait partie dune stratgie ou dune approche valuative conue en regard de lobjet de lvaluation et du contexte. Lvaluateur a galement recours la triangulation de plusieurs sources de donnes ou de mthodes de collecte ou danalyse ou lutilisation de plusieurs thories pour soutenir et corroborer les constatations de son valuation. La triangulation se dfinit ainsi : Cest une stratgie de recherche au cours de laquelle le chercheur superpose et combine plusieurs techniques de recueil de donnes afin de compenser le biais inhrent chacune dentre elles. La stratgie permet galement de vrifier la justesse et la stabilit des rsultats produits. Le recours la triangulation dcrit un tat desprit du chercheur, lequel tente activement et consciemment de soutenir, de recouper, de corroborer les rsultats de son tude (Mucchielli, 2004, p. 289). La multiplicit des approches permet une triangulation des rsultats, ce qui confre davantage de validit et de fiabilit aux constatations et recommandations qui dcoulent de lanalyse de lensemble des rsultats. Chaque modle, thorie ou approche prsente ses limites et ses contraintes (Cook et Campbell, 1979). Celles-ci sont principalement lies aux ressources humaines et financires alloues la ralisation, au temps requis, au moment opportun pour transmettre les rsultats ainsi qu la qualit des donnes disponibles. Nanmoins, elles doivent tre utilises dans une combinaison qui vise rduire les incertitudes et accrotre la solidit de la dmarche valuative et de la mthodologie retenues pour chacune des valuations.
6.5 valuer : tout un art, une profession

Si cela nest pas dj fait, il est grand temps de raliser que le domaine de lvaluation de programme a su au fil du temps concevoir sa propre thorie pratique ( Evaluation Theory , 2005) qui se caractrise par les lments suivants :

le rle de lvaluateur (son indpendance) et le respect des rgles dthique; la nature et lobjet de la demande dvaluation; les faons de faire pour obtenir la contribution et les points de vue des personnes et des groupes touchs; le contexte, les enjeux et les proccupations des parties prenantes, y compris celles de la majorit silencieuse (le contribuable); la prise en compte des caractristiques lies aux besoins sociaux ou individuels ainsi qu la pertinence dintervenir, lefficacit des moyens, les retombes et lefficience du programme valu; la rflexion sur les choix mthodologiques et leurs limites incluant une combinaison approprie des mthodes quantitatives et qualitatives pour rpondre aux questions et proccupations des parties touches qui conduit laborer un cadre dvaluation dot dune solide approche valuative pour en arriver une dmonstration probante; la qualit de la collecte des donnes et, pour arriver en dgager une synthse des rsultats, des constatations partir de lanalyse des donnes de sources multiples (triangulation) et ainsi, produire un rapport dvaluation et des recommandations justifies; la communication de rsultats et des recommandations au moment opportun pour la prise de dcision; la diffusion des rsultats des travaux dvaluation (intranet et Internet); le suivi de la prise en compte des recommandations de lvaluation.
36
la lumire de la ralit dun mandat dvaluation, lvaluateur intgre dans sa pratique professionnelle diverses thories issues de diffrents domaines, dont celui des sciences sociales. Les thories et approches quantitatives ou qualitatives en valuation ne sopposent pas; elles sutilisent lorsque le contexte permet de le faire. Je suis davis que lart dvaluer sacquiert, non seulement grce une solide formation universitaire, mais aussi par la ralisation dvaluations et la production de documents dvaluation. Lexprience acquise au fil du temps rend lvaluateur apte cerner les conditions de russite et de validit, crer une solide combinaison dapproches pour collecter des donnes pertinentes, tenir compte des limites des approches utilises et des analyses effectues ainsi que de la plausibilit de ses rsultats et de ses constatations. En somme, chaque valuation est une exprience unique et offre, lvaluateur et toutes les personnes touches par un projet dvaluation, une occasion dapprendre et davancer la lumire dun vcu concret.
37
RFRENCES
[s.a.] (2005). Evaluation Theory . Dans S. Mathison (dir.), Encyclopedia of Evaluation, 142-143, Thousand Oaks, CA, Sage. Cook, T. D., et D. T. Campbell (1979). Quasi-Experimentation. Design & Analysis Issues for Field Settings. Chicago, Houghton Mifflin. Dignard, A. (2003). Evaluating Educational Programs and Projects in Canada . Dans T. Kellaghan, D. L. Stufflebeam et L. A. Wingate (dir.), International Handbook of Educational Evaluation, vol. 9, 733-749. Dordrecht, Kluwer Academic. Conseil du Trsor du Canada (1991). Mthodes dvaluation des programmes. Mesures et attribution des rsultats des programmes. Ottawa, Gouvernement du Canada, Ministre des Approvisionnements et Services Canada, Division des communications. Groupe des responsables en analyse et valuation de programme (GRAEP) (2009). Manuel du responsable en valuation de programme, premire dition. Qubec, GRAEP. Groupe des responsables en analyse et valuation de programme (GRAEP) (1992). Lanalyse de programme au gouvernement du Qubec : un atout pour le citoyen. Qubec, GRAEP. Lee, L. E. (1999). Building Capacity for School Improvement Through Evaluation : Experiences of the Manitoba School Improvement Program Inc. . Canadian Journal of Program Evaluation, 14 (dition spciale) : 155-178. Mark, M. M., Henry, G. T. et G. Julnes (2000). Evaluation: An Integrated Framework for Understanding, Guiding, and Improving Public and Nonprofit Policies and Programs. San Francisco, Jossey-Bass. Mucchielli, A. (dir.) (2004). Dictionnaire des mthodes qualitatives en sciences humaines, deuxime dition. Paris, Armand Colin. Secrtariat du Conseil du trsor (2002). Lvaluation de programme. Document destin aux dirigeants et dirigeantes de ministres et dorganismes. Qubec, Gouvernement du Qubec. Socit canadienne dvaluation (SCE) (2010). Programme de titres professionnels . Page disponible ladresse suivante : http://www.evaluationcanada.ca/site.cgi?fr:5:6
38
VII. LE MOT DE LA FIN PIERRE-MARC DAIGNEAULT

Ce numro des Cahiers de la performance et de lvaluation avait dune part pour objectif de discuter limportance fondamentale des approches thoriques et plus gnralement de la thorie en valuation et dautre part de faire connatre quelques-unes des avenues mconnues qui soffrent aux valuateurs : lvaluation habilitative, lvaluation affranchie des objectifs et lvaluation dmocratique dlibrative. Un regard sur lensemble des contributions sur ces thmes mamne dire : mission accomplie. Les trois approches valuatives prsentes me semblent en effet offrir des perspectives nouvelles ou, plus exactement, des perspectives diffrentes sur la manire de concevoir lvaluation. Cela est dautant plus vrai pour les valuateurs dont la formation sinscrit dans lvaluation de troisime gnration et repose sur une perspective plus scientifique, comme la prsente le manuel Evaluation: A Systematic Approach (Rossi, Lipsey et Freeman, 2004).
7.1 La perspective dune valuatrice chevronne sur la thorie

Pour paraphraser des propos attribus Yogi Berra, si en thorie il ny a pas de diffrence entre la thorie et la pratique, en pratique, il y en a une Il mapparaissait donc essentiel que ce numro donne galement la parole aux praticiens de lvaluation. Voil pourquoi jai invit Alice Dignard, praticienne dexprience, rdiger un texte sur les approches thoriques. La prsente section rappelle de manire synthtique les principaux lments relatifs lutilisation et la valeur des approches valuatives quelle a soulevs dans son texte trs stimulant. Les valuateurs ont-ils recours la thorie dans le cadre de leur pratique? La rponse de lauteure cette question semble tre celle-ci : oui, mais cela nest pas toujours suffisamment dmontr, selon ce quon entend par thorie. Dignard souligne dabord que les valuateurs, ayant des formations disciplinaires diverses, ont recours aux thories des sciences sociales pertinentes en fonction de lobjet tudi. Lvaluation dune campagne de sensibilisation fera par exemple appel aux thories du marketing social. Le texte fait galement rfrence au modle logique qui, sans tre exactement la mme chose que la thorie du programme, est un outil quon utilise pour la reprsenter schmatiquement (Porteous, 2009). En ce qui concerne les approches thoriques qui offrent des prescriptions dorientation pratique relatives la pertinence et lorganisation de lvaluation, notamment sa vise, ses questions, ses mthodes, le rle de lvaluateur et des parties prenantes ainsi que la manire de grer les contraintes, force est de constater que la rponse est plus complexe et moins tranche. Lauteure soutient en effet que, si diffrentes approches valuatives figurent au menu des valuateurs qui y feront appel en regard du contexte, dune situation bien prcise et du besoin du demandeur de lvaluation (p. 33), ces approches ne sont pas toujours mobilises explicitement (p. 31) par ces derniers. Son texte souligne dailleurs que les cadres ou plans dvaluation ne sont pas toujours explicites sur lapproche thorique utilise. Tout en reconnaissant lapport de certaines approches valuatives prsentes dans ce numro, Dignard souligne avec justesse dailleurs que leur application nest pas possible dans tous les contextes. Le cycle de vie du programme et les vises de lvaluation sont des variables, pour nen nommer que deux, qui peuvent et doivent influencer le choix dune approche thorique. Ainsi, lapproche habilitative serait peut-tre moins approprie pour raliser une valuation sommative du rendement dun programme et lvaluation affranchie des objectifs est inapplicable dans le cas o lon cherche vrifier latteinte des objectifs dun programme tablis ds sa mise en uvre. Pour cette situation, le modle fond sur les objectifs (Boulmetis et Dutwin, 2000) sera plus souvent utilis. Lvaluateur cherche alors mesurer leffet net du programme sur diffrentes variables, et plus particulirement lorsquil est possible de comparer les rsultats dun groupe de participants ceux qui ont t obtenus par un groupe contrle ou de comparaison. Dans sa conclusion, Dignard nous enjoint par ailleurs reconnatre le fait que les valuateurs ont su concevoir leur thorie pratique, qui recoupe plusieurs lments lis au rle de lvaluateur, la contribution des personnes et groupes viss et lorganisation de lvaluation. ce propos, elle ajoute que la russite dun mandat dvaluation repose sur la capacit de lvaluateur concevoir une approche qui fasse appel non seulement cette thorie pratique, mais aussi diverses thories du domaine dexpertise de lintervention ou du programme valu. En bref, elle estime que seule une solide combinaison dapproches thoriques permettra de collecter une information de qualit et deffectuer des analyses qui mnent des rsultats, des observations et des recommandations qui sont loccasion de porter un jugement sur la valeur dun programme et, ultimement, den amliorer les retombes pour la population et la socit.
39
7.2 Vers une pratique valuative thoriquement informe

Pour conclure, jajoute quelques rflexions trs personnelles sur lapport des approches thoriques en valuation. Je prcise que mon propos est de porte gnrale; il ne se limite donc pas aux trois approches prsentes dans ce numro. Je dois demble reconnatre que jai adopt au chapitre II une perspective quelque peu manichenne par rapport la thorie valuative, entre autres pour stimuler le dbat et la rflexion sur ce sujet. Il nest donc pas superflu dintroduire ici quelques nuances. Jai laiss entendre que les thories explicites, soit les thories quon retrouve dans diffrentes publications et qui portent gnralement un nom servant les dsigner lvaluation habilitative par exemple , sont plus labores que les thories implicites, qui sont tacites et se rvlent dans laction. Or, dune part, jai peut-tre jug un peu svrement la thorie implicite des valuateurs : celle-ci est probablement plus riche que je ne lai dpeinte dans mon texte. Je crois quil est possible dtre autodidacte en valuation (cest-dire apprendre sur le tas ) et de raliser de bonnes valuations. Dautre part, il semble y avoir un niveau danalyse intermdiaire entre les thories explicites, qui sont ni plus ni moins des systmes de pense portant sur la nature et lorganisation de lvaluation, et les thories tacites de plusieurs praticiens. En effet, je constate quil existe un bagage de connaissances thoriques explicites commun la plupart des valuateurs. Ce bagage commun, quon acquiert dans les cours, formations et manuels dvaluation mais aussi au contact dautres valuateurs, est form de concepts (valuation formative, modle logique, etc.) et de prescriptions (par exemple, il faut dabord cerner le besoin des clients de lvaluation et ensuite concevoir une stratgie dvaluation qui y soit adapte). Si lon ajoute cela le fait que lexamen de la thorie du programme et le recours aux thories des sciences sociales semblent tre pratique commune, comme le suggre Dignard, on peut donc conclure sans trop de controverse que les valuateurs sont loin dtre athoriques . Cela tant dit, les approches thoriques explicites telles que lvaluation habilitative, lvaluation dmocratique dlibrative, lvaluation affranchie des objectifs, lvaluation axe sur lutilisation ou lvaluation de quatrime gnration pourraient certainement occuper une meilleure place dans la pratique de lvaluation (je rappelle que mon propos est gnral et vise lensemble des approches valuatives). lappui de cette affirmation, je rappelle ici quune tude empirique rcente ralise auprs dun chantillon de praticiens de lvaluation a rvl que seulement 10 % de ceux-ci utilisaient une approche thorique particulire et environ 5 % un livre de rfrence propre leur pratique (Christie, 2003, p. 33). Ma propre exprience en recherche sur lvaluation suggre galement que les approches valuatives sont peu utilises, du moins si lon se fie ce que les rapports dvaluation en disent. Dignard reconnat dailleurs dans son texte que la description dtaille de lapproche thorique utilise est trop souvent escamote dans les rapports dvaluation. Plusieurs facteurs (le contexte ne sy prte pas, les clients veulent gnralement des valuations plus traditionnelles, etc.) pourraient contribuer expliquer le fait que la place accorde aux approches valuatives explicites dans la pratique ne soit pas aussi grande quelle pourrait ltre. Jmets ce sujet une piste de rponse qui mapparat plausible en regard de ltude cite cidessus : les valuateurs ne sont peut-tre pas assez familiers avec ces approches. Cette hypothse devra bien entendu faire lobjet de vrifications empiriques. Au chapitre II, jai soutenu la thse selon laquelle une meilleure connaissance des approches valuatives pourrait rehausser la qualit et lutilit du travail des valuateurs. Par l, je ninsinue videmment pas que le travail des valuateurs de programme soit de mauvaise qualit. Jai au contraire beaucoup de respect pour les valuateurs du Qubec et du monde entier qui doivent composer avec des contraintes importantes sur les plans financier, logistique, thique et politique. Je crois seulement quil est possible de faire encore mieux. Il serait lourd de reproduire ici lensemble de largument prsent au chapitre II, mais il est nanmoins opportun den rappeler les grandes lignes. Llment central de mon argument est que les approches valuatives explicites, linstar de celles qui sont prsentes dans ce numro, offrent des outils conceptuels et pratiques pour bien planifier et raliser lvaluation. Ces thories constituent en quelque sorte des lunettes qui amnent lvaluateur percevoir diffremment certains aspects importants dune situation. Chaque approche met en effet laccent sur des aspects diffrents de la dmarche valuative. Par exemple, si plusieurs valuateurs portent une attention la question de lutilisation de lvaluation, certaines thories, au premier chef lapproche axe sur lutilisation propose par Patton (2008), insistent particulirement sur cet enjeu et offrent diverses prescriptions ce sujet. En essayant diffrentes paires de lunettes, lvaluateur de programme embrasse ainsi des faons de voir diffrentes qui peuvent le sensibiliser diffrents aspects de son travail. Il est alors en mesure de mieux dcoder le contexte de lvaluation et de proposer des stratgies dvaluation encore meilleures.
40
Je souhaite terminer en rappelant que les Lignes directrices de la Socit canadienne dvaluation en matire dthique exigent de lvaluateur quil sinscrive dans un processus damlioration continue : Les valuateurs devraient constamment chercher amliorer leurs habilits [sic] sur le plan mthodologique et leur pratique . Sil ne fait aucun doute quun bon valuateur doive tre familier avec plusieurs thories et mthodes des sciences sociales, je demeure convaincu quune solide connaissance des diffrentes approches valuatives peut par ailleurs contribuer rehausser la qualit et lutilit de son travail.
41
RFRENCES
Boulmetis, J., et P. Dutwin (2000). The ABCs of Evaluation: Timeless Techniques for Program and Project Managers. San Francisco, Jossey-Bass. Christie, C. A. (2003). What Guides Evaluation? A Study of How Evaluation Practice Maps onto Evaluation Theory . New Directions for Evaluation (97) : 7-35. Patton, M. Q. (2008). Utilization-Focused Evaluation, quatrime dition. Los Angeles, CA, Sage. Porteous, N. (2009). La construction du modle logique dun programme . Dans V. Ridde et C. Dagenais (dir.), Approches et pratiques en valuation de programme, 87-105. Montral, Presses de lUniversit de Montral. Rossi, P. H., M. W. Lipsey et H. E. Freeman (2004). Evaluation: A Systematic Approach, septime dition. Thousand Oaks, CA, Sage. Socit canadienne dvaluation (s.d.). Lignes directrices de la Socit canadienne dvaluation en matire dthique. Page disponible ladresse suivante : http://evaluationcanada.ca/site.cgi?s=5&ss=4&_lang=fr.
42

Cahier 49

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cahier 49

Transféré par

Droits d'auteur :

Formats disponibles

Les approches thoriques en valuation

Pierre-Marc Daigneault (dir.)

TABLE DES MATIRES

III. Lvaluation habilitative Jean-Franois Blanger ......................................................................................................................7

V. Lvaluation dmocratique dlibrative Florence Thberge .................................................................................................23

VI. Des thories pour comprendre et agir Alice Dignard ...........................................................................................................31

VII. Le mot de la fin Pierre-Marc Daigneault ...................................................................................................................................39

Les approches thoriques en valuation

I. INTRODUCTION GNRALE PIERRE-MARC DAIGNEAULT

Les approches thoriques en valuation

2.1 Les multiples visages de la thorie en valuation

Les approches thoriques en valuation

Les approches thoriques en valuation

2.2 La thorie valuative : un luxe pour les praticiens?

Les approches thoriques en valuation

2.3 Une pratique valuative thoriquement informe

2.4 Vers un partenariat fertile entre thorie et pratique

Les approches thoriques en valuation

Les approches thoriques en valuation

III. LVALUATION HABILITATIVE JEAN-FRANOIS BLANGER

3.1 Lapproche habilitative en bref

Les approches thoriques en valuation

Les approches thoriques en valuation

Les approches thoriques en valuation

valuation globale du programme

Les approches thoriques en valuation

3.2 Pour aller un peu plus loin

Les approches thoriques en valuation

3.2.1 Les assises historiques et disciplinaires

3.2.2 Les assises thoriques et conceptuelles

4 Lvaluation comme discipline fait dbat (voir Jacob, 2008).

Les approches thoriques en valuation

3.3 Un regard rflexif et critique

Les approches thoriques en valuation

Les approches thoriques en valuation

Les approches thoriques en valuation

Les approches thoriques en valuation

4.1 Les principes, les fondements et les mthodes

Les approches thoriques en valuation

Les approches thoriques en valuation

4.2 Une tude de cas sur la complmentarit entre la GBE et la GFE

Les approches thoriques en valuation

4.3 Les critiques et les dbats autour du concept

Les approches thoriques en valuation

Les approches thoriques en valuation

Les approches thoriques en valuation

V. LVALUATION DMOCRATIQUE DLIBRATIVE FLORENCE THBERGE

5.1 Les principes de base

Les approches thoriques en valuation

Les approches thoriques en valuation

5.2 Son histoire

5.3 Une proposition sur les faits et les valeurs

Les approches thoriques en valuation

5.4 Une illustration de lapproche

Les approches thoriques en valuation

Les approches thoriques en valuation

5.5 Des critiques

Les approches thoriques en valuation

Les approches thoriques en valuation

Les approches thoriques en valuation

VI. DES THORIES POUR COMPRENDRE ET AGIR ALICE DIGNARD

6.1 Lvaluateur des programmes publics

Les approches thoriques en valuation

Les approches thoriques en valuation