Ce travail a t ralis par le Groupe valuation de l'Espace Rgional de Sant Publique (ERSP) : Denis FONTAINE, Mdecin de sant publique,

e, Directeur d'tudes de l'ORS Rhne-Alpes (Observatoire Rgional de la Sant). Louisa BEYRAGUED, Sociologue, Charge de programmes conseiller mthodologique au CRAES-CRIPS (Collge Rhne-Alpes d'Education pour la Sant Centre Rgional d'Information et de Prvention du Sida). Catherine MIACHON, Ethno-sociologue au CNDT (Centre Rgional de Prvention des Conduites Risque) et coordinatrice du CIRDD (Centre d'Information et de Ressources sur les Drogues et Dpendances).

Il a t financ dans le cadre du Contrat de Plan Etat Rgion par : La DRASS Rhne-Alpes, Direction Rgionale des Affaires Sanitaires et Sociales, La Rgion Rhne-Alpes, L'URCAM Rhne-Alpes, Union Rgionale des Caisses d'Assurance Maladie.

ISBN : 2-9521336-1-1
Dpt lgal : mai 2004. Impression : ORS Rhne-Alpes, 9 quai Jean Moulin, 69001 Lyon

Contact : Groupe valuation, Espace Rgional de Sant Publique, 9 quai Jean Moulin, 69001 LYON Tel. : 04 72 10 94 37 fax : 04 72 07 46 21 Courrier lectronique : denis.fontaine@ors-rhone-alpes.org Site de l'Espace Rgional de Sant Publique : www.ersp.org

SOMMAIRE
Introduction : Pourquoi ce document ? 4

1re partie Les principes de l'valuation : historique, concepts et limites

Chapitre 1 : Vous avez dit "Evaluation" ?

Quatre champs qui convergent vers la ncessit de l'valuation L'valuation des programmes d'action L'valuation "pragmatique" L'valuation pendant ou la fin d'un programme

Chapitre 2 : Les principes de lvaluation

Pourquoi valuer ? L'valuation, qu'est-ce que c'est ? L'valuation, pour faire quoi ? Des dimensions techniques, stratgiques et sociales Diffrencier lvaluation de ce quelle nest pas

18

Chapitre 3 : Des enjeux prendre en compte dans lorganisation de lvaluation 28

Des enjeux multiples, explicites et cachs Une tension saine et sage Sorganiser pour susciter la confiance Attention aux objectifs parasites : ni audit, ni publicit Qui fait quoi ?

Chapitre 4 : Evaluer quoi ? Les objets de l'valuation

Les cinq objets d'valuation d'un programme Evaluer les efforts Evaluer les effets

40

2me partie La pratique de l'valuation : mthodes et tapes

Chapitre 5 : Comment valuer ? La mthodologie 54

Modle ax vers les buts ou modle systmique ? L'approche systmique du processus et de l'impact L'approche pidmiologique des effets Les difficults de l'valuation : mesure et apprciation

Chapitre 6 : Les tapes d'une valuation

Le pralable : l'valuation est-elle pertinente et ralisable ? La prparation : du comit d'valuation au cahier des charges La ralisation : du recueil des donnes au rapport final La valorisation : diffusion des rsultats et suivi post-valuation

70

Conclusion : pour un langage commun en valuation Annexes :

1. Lexique de l'valuation et index 2. Bibliographie

83

87 97

Introduction : Pourquoi ce document ?

"Il faut valuer !". L'injonction est forte. Elle vient d'en haut : les dcideurs le martlent, les financeurs l'exigent. Elle vient aussi d'en bas : le bnficiaire est souvent aussi un contribuable, qui parfois doute de l'utilit de certaines actions. Quant aux acteurs des programmes de sant ou du social, souvent dbords de travail, ils s'interrogent sur leurs rsultats ou regrettent qu'ils ne soient pas mieux reconnus. L'valuation dclenche aussi des rticences, voire une certaine rsistance instinctive [34], pour deux raisons principales. D'une part, elle est parfois envisage comme un moyen de contrle de la part des financeurs, des dcideurs ou du pouvoir de tutelle en gnral [2]. D'autre part, elle a un 1 cot qui peut paratre insupportable dans un contexte de ressources rares et de calendriers de travail surchargs. Ces rticences sont fondes sur des inquitudes lgitimes, car il y a dune part des enjeux politiques, donc des risques de manipulation dans toute valuation, et dautre part il faut des moyens humains et financiers pour valuer une action. Mais elles peuvent aussi cacher des difficults tenant au sujet mme de l'valuation : Il est difficile de se comprendre quand on parle d'valuation. Tout le monde n'emploie pas les mmes termes pour dsigner les mmes choses. Ou l'inverse, tout le monde ne met pas le mme sens derrire les mmes mots. Il existe tellement d'lments valuer dans une action ou un programme relevant du domaine de la sant ou du social que parfois on ne sait pas sur quoi l'valuation doit porter prcisment pour tre opportune.

Partant du principe qu'il est prfrable de s'emparer de la question de l'valuation pour en faire un outil de travail, plutt que de se la voir impose, nous avons ralis ce document. Il a pour objectif de proposer un rfrentiel commun pour l'valuation des programmes sant ou social,

"On estime gnralement que les moyens financiers dgager pour une valuation reprsentent entre 5% et 20% des dpenses globales d'un programme de sant" [2]. Toutefois, on ne peut en tirer une rgle. Plus le programme est petit, plus la part de l'valuation sera leve.

c'est--dire un langage, des concepts et des mthodes partags par l'Espace Rgional de Sant Publique Rhne-Alpes et ses partenaires. Nous avons donc tent de rpondre aux trois principales questions que se pose toute personne concerne par l'valuation d'un programme sant ou social : 1. De quoi parle-t-on au juste ? 2. Quel(s) type(s) d'valuation est(sont) utile(s) pour le programme tel que nous le connaissons aujourd'hui ? 3. Comment nous y prendre pour raliser cette valuation ? Pour cela, nous avons relu les documents mthodologiques de l'valuation et tent d'extraire leurs lments essentiels, communs et ventuellement divergents. Pour plus de "robustesse" dans l'analyse, quatre domaines d'application de l'valuation ayant des rfrences diffrentes ont t tudis : la sant (les soins et les programmes de sant), l'ducation pour la sant / promotion de la sant, le domaine social (incluant le dveloppement social urbain) et l'aide aux pays en dveloppement. Chaque domaine n'a pas t explor exhaustivement, car la littrature consacre l'valuation est d'un volume trs important. Nous avons fait une revue slective des documents les plus importants publis en langue 2 franaise des annes 90 2001, soit qu'ils fassent autorit, soit qu'ils soient trs pdagogiques. L'originalit de ce travail est de s'appuyer sur de nombreuses citations extraites des 37 publications analyses, afin de rester aussi proche que possible de ces sources. Pour faciliter la lecture, les citations sont simplement notes en italiques, sans utiliser les guillemets. Toutefois, ce rfrentiel n'est pas une simple compilation de la bibliographie. Il constitue une synthse de toutes les notions cls ncessaires pour valuer des programmes dans le domaine de la sant ou du secteur social. Enfin, il est orient vers la pratique de l'valuation et non vers la seule connaissance. Il reflte donc les choix que nous avons faits, en raison de la plthore de vocabulaire et des divergences de point de vue qui existent parfois entre les auteurs. Ces principaux choix sont les suivants :

Les auteurs amricains classiques ont pratiquement tous t traduits et adapts en franais, notamment par les Qubcois.

L'valuation est le moteur du changement, plus que la phase de planification. Les acteurs sont souvent pris dans une logique d'action qui les pousse initier leurs programmes partir d'un diagnostic souvent implicite et intuitif, bas sur leur connaissance du "terrain". Ce n'est qu'aprs un certain temps que les questions mergent, face des problmes, ou quand se pose la question des effets du programme. C'est pourquoi l'valuation est envisage dans ce document pour les programmes ayant dj dbut. Bien entendu, il est prfrable de prvoir lvaluation ds la planification du programme. Les acteurs des programmes sont les premiers acteurs de l'valuation. C'est par eux que passe le dveloppement d'une "culture d'valuation". Mme externe, une valuation a peu de chances de succs si elle n'obtient pas l'adhsion des acteurs du programme. Ce document se place d'abord de leur point de vue, sachant qu'une valuation doit cependant prendre en compte les regards et les attentes des diffrents partenaires (financeurs, bnficaires, etc.). C'est pourquoi le modle de l'valuation participative et ngocie est privilgi. L'valuation n'est jamais un exercice banal, et les rticences qu'elle entrane ne doivent pas tre sous-estimes. Toute valuation "systmatique" et obligatoire court le risque d'tre neutralise et de devenir un exercice de style anecdotique. L'valuation doit donc s'inscrire un moment pertinent de la vie du programme et rpondre un rel besoin de connaissance en vue d'une prise de dcision. L'valuation n'est jamais un exercice simple, car un programme repose sur les interactions complexes entre plusieurs acteurs. Il n'y a de bonne valuation que "sur-mesure". La mthodologie ne peut donc tre simplifie et standardise. De mme le vocabulaire, qui reflte des histoires professionnelles et des regards divers. Nous avons pris le parti de rassembler les concepts en grande catgories, quitte prendre pour synonymes des mots qui ne se recouvrent pas exactement pour les spcialistes.

Ce document comporte trois parties : 1. Dans la 1 partie (chapitres 1 4) sont abords les concepts principaux de l'valuation : ses dfinitions, ses logiques, ses enjeux, ses objets. Cette premire partie correspond la phase de planification de lvaluation. partie (chapitres 4 et 5) sont abords les aspects 2. Dans la 2 pratiques de l'valuation : les mthodes, les tapes, les facteurs de russite (les critres de qualit) de l'valuation. Cette seconde partie correspond la mise en uvre de lvaluation.
me re

3. Enfin, en annexes, un lexique reprend les dfinitions des principaux termes utiliss dans ce document, et pour en savoir plus, les rfrences bibliographiques sont dtailles. Chaque partie peut tre lue de faon indpendante. Pour une lecture rapide et plus opratoire, vous pouvez lire les encadrs de dbut de chapitre ("Lessentiel"), ainsi que la conclusion. Si vous abordez lvaluation pour la premire fois, nous vous suggrons de 3 commencer par notre document "l'valuation en neuf tapes" .

Document tlchargeable sur le site de l'ERSP : www.ersp.org

1ERE PARTIE :

LES PRINCIPES DE L'EVALUATION :

HISTORIQUE, CONCEPTS ET LIMITES

Chapitre 1 : Vous avez dit "Evaluation" ?

Lessentiel : L'valuation apparat de plus en plus comme un exercice incontournable dans les secteurs de la sant et du social. Cependant, il s'agit d'un domaine encore rcent. Situe la jonction de la connaissance et de l'action, lvaluation ne repose ni sur un cadre conceptuel unique, ni sur un vocabulaire standardis. Tout exercice d'valuation doit donc s'accompagner d'une clarification de l'approche et des mots utiliss. Ce rfrentiel est bas sur l'analyse de la bibliographie dans quatre champs de lvaluation : la sant (les soins et programmes), l'ducation pour la sant, le domaine social (notamment le dveloppement social urbain) et l'aide aux pays en dveloppement. Il traite de l'valuation d'un programme ou d'une action mis en oeuvre dans le but de rsoudre un ou des problmes dans le domaine de la sant ou du social. Il sintresse lvaluation qui s'effectue en cours ou la fin du programme ou de laction. Le diagnostic avant le lancement d'un programme nest pas abord ici. Il faut diffrencier l'valuation d'un programme, qui sintresse des actions, et la supervision, qui sintresse aux personnes, cette dernire s'inscrivant dans un cadre de management. Ce document ne traite pas de la supervision des personnes, de l'valuation des outils, de lvaluation des politiques, ni d'valuation conomique.

L'valuation peut s'appliquer dans de multiples domaines et de nombreux objets. Nous avons donc d cibler les champs d'application de l'valuation. Ce chapitre comporte un rapide historique des dmarches d'valuation, puis il trace les limites d'application des concepts d'valuation dvelopps dans ce document. Historiquement, les premires demandes dvaluation se situent dans le me champ de lducation et remontent au dbut du 20 sicle. Elles portent sur la mesure de la performance, en vue d'une recherche defficacit des systmes ducatifs. Les pouvoirs publics doivent faire face ainsi des questions indites et cherchent du ct de la science des rponses que les me systmes politique et administratif du 19 sicle sont impuissants fournir [26],[6]. C'est ensuite partir de la question de l'allocation optimale des ressources que se dveloppe l'valuation, que ce soit dans le champ de l'action publique ou dans celui de l'entreprise. Ces dveloppements nord-amricains de la planification par projet sont repris en France aprs la seconde guerre mondiale. La planification conomique et sociale a sans doute contribu [depuis les annes soixante-dix] instaurer et dvelopper les dmarches d'valuation de l'efficacit des politiques, y compris celles du domaine sanitaire et social : Rationalisation des Choix Budgtaires (RCB), mesure cot-efficacit, audits et tudes de productivit, missions des grands corps de contrle de l'tat, observatoires divers, etc. L'objectif le plus souvent recherch est d'amliorer la qualit du service rendu l'usager. Il est aussi, dornavant, d'optimiser les dpenses Les politiques contractuelles se sont d'ailleurs dveloppes tous les niveaux de l'action sociale : les financeurs imposent une claire dfinition des objectifs, moyens et stratgies, et aussi un dispositif d'valuation des rsultats [10]. Il ne faudrait cependant pas analyser la monte des pratiques d'valuation sur le mode d'un vritable raz-de-mare. Au contraire, son dveloppement fut assez lent [] en dpit de quelques programmes phares. C'est surtout partir de 1980 que la mcanique s'emballe. Une nouvelle tape commence en 1990 avec la mise en place [] d'un dispositif assez complexe d'impulsion et de rgulation de l'valuation [les politiques publiques] : Comit Inter-Ministriel de l'Evaluation [CIME], fonds de financement et Conseil Suprieur de l'Evaluation [CSE] [10].

Quatre champs qui convergent vers la ncessit de l'valuation

Venant d'horizons varis, et tant amens valuer des programmes trs diffrents dans le domaine sanitaire et social, nous avons cibl notre

10

recherche documentaire sur quatre domaines d'application de l'valuation, qui ont chacun leur histoire : la sant (les soins), l'ducation pour la sant, le domaine social (et notamment le dveloppement social urbain), et l'aide aux pays en dveloppement. Dans le domaine de la sant, les auteurs amricains sont les premiers avoir tudi l'valuation des pratiques mdicales et de la qualit des soins dans les annes soixante et soixante-dix. Paralllement, s'imposait la ncessit de soumettre les nouvelles thrapeutiques une valuation de leur efficacit avant leur diffusion. Dans les deux cas il y avait l'ide de rationaliser les choix, de les appuyer sur des arguments scientifiques, dans un double objectif d'efficacit et de minimisation des cots. Les Qubcois ont ensuite repris ces travaux dans les annes quatre-vingts et les ont adapts de faon plus large aux programmes de sant, incluant la prvention et l'approche communautaire, et non plus seulement les soins curatifs. L'ouvrage de R. Pineault et C. Daveluy est ainsi une rfrence dans ce domaine [35]. En France, lAndem (Agence nationale pour le dveloppement de l'valuation mdicale), devenue depuis lANAES (Agence nationale de l'accrditation et de l'valuation en sant) a repris ces travaux et elle a produit un guide pour l'valuation d'une action de sant publique, qui est le principal document mthodologique franais [1]. En ducation pour la sant, lvaluation sest principalement dveloppe dans les annes quatre-vingts, en sinspirant des mthodes de la sant publique. Dans le champ de lducation pour la sant on peut distinguer deux formes : [lune quon peut qualifier] de profane qui est le fait de tout ducateur (ex. : parent) [et lautre] dite "savante" qui repose sur un corpus de thories explicatives. [La premire] est permanente et sinscrit dans les gestes quotidiens. Son efficacit est difficilement quantifiable [mais] son impact est certainement prpondrant. [La seconde] est le fait de professionnels et est cense utiliser un rpertoire dinterventions dont les effets ont fait lobjet dune valuation. Dans les deux cas il sagit de favoriser ladoption 4 dattitudes et de comportements conduisant une meilleure sant pour lindividu ou la population, court ou long terme [26]. Au cours de ces dernires dcennies, de nombreux programmes en ducation pour la sant et en prvention des comportements risque ont t dvelopps. Les valuations de ces programmes dducation pour la
4

Une attitude est une disposition polarise, pour ou contre quelqu'un ou quelque chose, qui pousse un comportement. S'agissant d'un tat d'esprit propre la personne, elle n'est pas observable mais elle peut tre tudie partir de ses dclarations.

11

sant ont montr des effets limits en termes de changement de comportements. Ce constat a conduit une rflexion densemble et un dveloppement de lvaluation. Lamlioration des mthodes dintervention ducative et des techniques dvaluation a surtout t le fait dquipes de recherche nord-amricaines, scandinaves ou hollandaises. [] Dans ces pays, il existe en gnral des ples universitaires de psychologie sociale cognitive faisant suite lcole de psychologie comportementale et des ples universitaires de sant publique intresss par les comportements de sant [26]. En matire dvaluation, deux concepts dinterventions coexistent et se justifient chacun par le type dapproche utilis dans les programmes. Les tenants dune premire cole se rfrent lapproche "pidmiologiste" []. Ceux dune deuxime cole, se rfrent aux approches "communautaires". []. La premire cole dvaluateurs utilise la mthode exprimentale qui consiste comparer lvolution dune population ayant bnfici dun programme ducatif celle dune population nen ayant pas bnfici ou ayant bnfici dun programme alternatif. La seconde cole dvaluateurs propose de mettre laccent sur lvaluation de processus, cest--dire du pilotage fin des actions ralises, en particulier par des valuations qualitatives permettant non pas de mesurer un changement mais de comprendre comment le programme a t appliqu, compris, vcu, accept. [] La premire cole dfendrait donc une efficacit scientifiquement dtermine partir dindicateurs quantitatifs, et la seconde une efficacit dmocratiquement dtermine, cest--dire par un jury comprenant financeurs, population, intervenants et experts [26]. Actuellement, il est intressant de noter que les tenants des deux coles dvaluateurs ne sopposent pas et se rejoignent sur diffrents points. Enfin, en ducation pour la sant, les campagnes nationale de communication grand public sont values, mais on ne mesure que trs moyennement la qualit dune communication. Lorsquon parle dvaluation de campagne, on parle le plus souvent de post-test. Les post-tests portent sur un chantillon reprsentatif de la population cible par la campagne et mesurent au minimum : limpact, la mmorisation, lapprciation, le pouvoir 5 dincitation et le pouvoir dimplication . Pour M. Demarteau, le dveloppement de lvaluation est li au dveloppement de lducation pour la sant. Il faut dvelopper de nouveaux modes daction en mme temps que de nouveaux modes d'valuation [16].

Chauvin F., Brixi O., Roussille B. (Eds). Du bon usage de la communication en ducation pour la sant. Sminaire international Chteau de Bierville (Essonne), 16 et 17 dcembre 1996. Vanves : Editions CFES, Avril 1998, 289 p.

12

Dans le domaine social, les auteurs amricains ont rflchi ds les annes trente lvaluation des programmes, mais cest dans les annes soixante et soixante dix que la rflexion sur lvaluation se structure. En France, lvaluation merge partir dun double mouvement : rpondre une demande sociale damlioration des conditions de vie dans les quartiers dhabitat social souvent situs en priphrie des grandes villes et valuer les rponses apportes dans le cadre des dispositifs de la politique de la ville (Habitat et Vie Sociale, Dveloppement Social des Quartiers, Dveloppement Social Urbain, Contrat de Ville). Il sagit de voir en quoi ce type de politique publique conduit un impact sur les phnomnes sociaux, particulirement la suite des violences urbaines des annes quatre-vingts, qui ont vu une population de jeunes rsidant en "banlieue" manifester pour leur intgration dans les activits sociales et professionnelles de la socit franaise. Les programmes dvelopps dans le cadre de la politique de la ville favorisent lmergence de nouveaux mtiers et de nouveaux acteurs, interface entre les populations et les institutions. Dans ce cadre, lvaluation devient un outil dapprentissage et de mobilisation pour les politiques publiques visant provoquer des changements sociaux puis adapter les orientations politiques. Lvaluation est lie la fois la recherche, en sappuyant sur lanalyse de lvolution des problmatiques locales et lexprimentation sur le changement social, et aux orientations des politiques publiques, avec la cration de la Dlgation Interministrielle la Ville. Elle doit contribuer produire du dbat public, en favorisant la notion de "citoyennet" principalement recherche partir de la "participation des habitants" la politique publique. Au fil des annes, les valuations ont abandonn une logique trop simpliste visant relier des objectifs, des moyens et des rsultats au profit d'une logique s'efforant de rapprocher les acteurs, les problmes, les interventions et les effets. Cette dmarche pour apprhender la complexit du social a eu son revers en terme de difficult matriser les processus de production de l'valuation. [Toutefois], l'valuation n'est pas l'outil dfinitif de rgulation du social, elle est [] un outil parmi d'autres, la contribution au dveloppement d'une culture [plus] qu'une aide dterminante la prise de dcision [10]. Dans les pays en dveloppement, la raret des ressources rend plus forte la contrainte des choix de priorits et de la planification, et par consquent l'valuation. Dans la cadre de la gnralisation de la stratgie des soins de sant primaires lance en 1978, l'Organisation Mondiale de la Sant a apport sa contribution la diffusion des connaissances sur l'valuation en publiant en 1981 des principes directeurs pour l'valuation des programmes de sant [34]. Les pays donateurs de l'Aide Publique au

13

Dveloppement ont galement encourag l'valuation dans les annes quatre-vingts, dans tous les secteurs, dont celui de la sant. En France, le Ministre de la Coopration a repris la proccupation gnrale d'valuation des politiques publiques et il a publi un guide des principes de l'valuation [31]. La proccupation d'valuation touche galement les Organisations Non Gouvernementales (ONG), pour qui la recherche de l'efficacit passe plus par des actions de proximit que par de grands programmes nationaux. Mais la demande des bailleurs de fonds a l aussi t un facteur de dveloppement de l'valuation. Dans les annes quatre-vingt-dix, un fonds a t constitu pour accompagner les ONG dans leurs dmarches d'valuation, des dbats et formations ont t organiss sur ce sujet. La Fondation de France, qui finance des actions de dveloppement local, a galement publi un document synthtique sur l'valuation des actions de dveloppement [19].
6

L'valuation des programmes d'action

Un auteur amricain (Patton), a recens ds 1981 quelques 132 formes d'valuation. Il faut donc prciser ce qui nous intresse dans ce document. Nous nous sommes limits ici l'valuation d'actions, d'interventions, de programmes et/ou de projets. Tous les auteurs n'entendent pas ces mots comme quivalents : les programmes ou projets sont des ensembles coordonns d'actions ou d'interventions. Nous emploierons dans ce document le terme gnral de "programme" pour dsigner l'un ou l'autre de ces termes, car la dmarche d'valuation est la mme, quel que soit le degr de complexit d'une intervention (Cf. encadr 1). Les rseaux (de soins, de prvention, ou mdico-sociaux) se rapprochent beaucoup des programmes par leur aspect partenarial et peuvent tre 7 valus comme eux . Les "programmes" ainsi dfinis se diffrencient d'une part des "techniques" et des "pratiques", et d'autre part des "politiques", dont l'valuation n'est pas aborde dans ce document : Les outils et techniques (que ce soient des techniques de soin, d'animation) et les pratiques (les actes accomplis par les

6 7

avant son intgration dans le Ministre des Affaires Etrangres. Pour plus de dtails sur l'valuation des rseaux, voir les publications de l'Agence Nationale d'Accrditation et d'Evaluation en Sant (ANAES) : Principes d'valuation des rseaux de sant. Paris : ANAES, 1999, 140 p. Evaluation des rseaux de soins. Bilan de l'existant et cadre mthodologique. Paris : ANAES, 2001, 63 p. Publication en ligne sur le site www.anaes.fr.

14

professionnels dans le cadre de leurs activits), sont d'un niveau "infrieur". Ce sont les "briques" des programmes, puisque les actions (dont l'ensemble forme un programme) sont bases sur des outils et des techniques (qui peuvent concerner les soins, les quipements, l'animation, la formation). Les politiques sont d'un niveau "suprieur", puisqu'elles se composent d'actions de type lgislatif, rglementaire, de l'organisation des ressources humaines et matrielles, etc., en plus de programmes. Mais les programmes tant l'une des composantes d'une politique, l'valuation d'un programme contribue en partie l'valuation de la politique dans laquelle il s'insre.

Encadr 1. Dfinition du programme. Un programme est l'ensemble des moyens (physiques, humains, financiers []) organiss dans un contexte spcifique, un moment donn, pour produire des biens ou des services dans le but de modifier une situation problmatique [11]. La notion de programme s'applique [] aussi bien au domaine de la prvention et de la promotion de la sant qu' celui des services [de soins ou sociaux] [17]. Il existe d'autres dfinitions du programme. Toutes dcrivent les mmes lments constitutifs : des ressources organises, des activits ou des services raliss par des acteurs (et en gnral destines des groupes cibles ou bnficiaires), des objectifs (lis des situations problmatiques), un contexte donn, des rsultats et des consquences ou impact [12]. Ces lments seront aussi les principaux points d'entre de l'valuation (Cf. chapitre 4).

Par exemple : Un ordinateur qui simule la courbe d'alcoolmie en fonction de la quantit bue est un outil de prvention. Ce logiciel peut tre utilis lors danimations auprs des clients des discothques, qui constituent une pratique de prvention. Un programme de prvention de la conduite en tat d'alcoolmie peut tre constitu de plusieurs actions : des animations auprs des clients des discothques, des autorisations de fermeture plus tardive des discothques sans distribution d'alcool, la promotion des "capitaines de soire" (conducteur sobre), etc.

15

Une politique de prvention de l'alcoolisation excessive s'appuie sur plusieurs programmes, tels que le prcdent, mais aussi sur des mesures comme la rpression de l'alcoolisation au volant, la limitation de la publicit pour l'alcool, le dveloppement de consultations d'alcoologie, etc.
Enfin, il faut diffrencier l'valuation des programmes de la supervision des personnes. L'valuation a pour objet un programme, qui est analys en vue d'une dcision le concernant. On n'value pas les personnes, on les supervise. La supervision est tourne vers les personnes. Elle fait partie du management des ressources humaines et a pour but l'amlioration (ou le 8 maintien) de la performance des personnes.

L'valuation "pragmatique"
La plupart des auteurs opposent l'valuation pragmatique et l'valuation de recherche (ou recherche valuative) [1],[3],[11],[24] : L'valuation pragmatique est ralise par des professionnels de terrain dans le cadre de leurs pratiques. Elle a pour but de comparer la pratique quotidienne aux donnes acquises de la science puis d'examiner les causes d'une ventuelle discordance afin d'y remdier [24]. Elle vise s'assurer de la conformit de la mise en uvre du programme et/ou l'obtention des effets attendus, donc l'amlioration de la performance du programme [3]. L'valuation de recherche est pratique par des chercheurs et a pour finalit de dfinir les pratiques optimales, autrement dit elle contribue remettre en cause et amliorer les donnes de la science, qui ne sont jamais dfinitivement acquise [24]. Elle vise tablir l'efficacit de nouvelles interventions, autrement dit elle a une finalit fondamentale [12], qui est la poursuite de la connaissance [3]. Un exemple de ce type d'valuation est l'essai thrapeutique, o l'efficacit d'un nouveau traitement est compare celle d'un ancien traitement.
9

D'autres auteurs dfinissent l'valuation de recherche de faon plus large. Pour eux, il y a recherche valuative ds lors qu'on met en place une dmarche scientifique pour tester la relation entre une intervention et ses effets. Suivant cette dfinition, l'valuation de recherche concerne galement les programmes professionnels. Les mthodes diffrent peu
8

Pour plus de dtails sur la supervision, voir par exemple : Flahault D., Piot M., Franklin A. La supervision des personnels de sant au niveau du district. Genve : OMS (Organisation Mondiale de la Sant), 1988, 107 p. 9 Ou valuation de routine, valuation professionnelle

16

entre ces deux types d'valuation. Leur distinction a donc peu dintrt pratique.

L'valuation pendant ou la fin d'un programme

L'analyse ou diagnostic de situation est une forme particulire d'valuation qui se fait avant de lancer une action. Elle a une finalit stratgique [12], elle permet de valider la planification avant de lancer le programme. Nous l'avons exclue de ce travail car il nous parat plus conforme aux attentes des acteurs de rflchir aux programmes dj en place. D'autre part, elle est tellement lie la planification qu'elle ne peut en tre dissocie. Nous ne nous intresserons ici qu' l'valuation concernant des actions dj mises en place ou qui se terminent : c'est l'valuation post-dcision [35] ou encore valuation rtrospective [31], qui fournit des informations sur la mise en place, le fonctionnement et les effets du programme [35]. Toutefois, cette valuation post-dcision doit tre prvue le plus tt possible, cest--dire ds la conception du programme. En effet, plus le diagnostic aura t prcis, plus les objectifs et le plan daction auront t dfinis avec prcision, plus lvaluation sera facile organiser. Nanmoins, si le programme a dbut sans que ces lments aient t formaliss, il sera possible de les reconstituer a posteriori pour construire lvaluation. Enfin, l'valuation conomique des programmes n'est pas non plus dtaille dans ce document. Elle est base sur l'analyse des cots des ressources mobilises pour un programme ou un service. Ces cots sont ensuite mis en relation avec des activits produites (analyse de la productivit), avec des rsultats obtenus (analyse cot-utilit, analyse cot12 efficacit ou efficience ou rendement), ou encore avec toutes les consquences possibles (analyse cot-bnfice). L'valuation conomique n'est pas aborde ici en raison de ses mthodes spcifiques et parce qu'elle ne correspond pas aux questions frquemment poses lors d'une valuation de terrain.
11 10

Elle porte de nombreux autres noms : tat des lieux, analyse ou valuation des besoins, tude de milieu, analyse prliminaire, valuation prospective, valuation de faisabilit, valuation de la planification, valuation a priori, valuation ex-ante ou pr-dcision. 11 Pour plus d'informations sur l'valuation conomique, voir par exemple : Drummond M.F., O'Brien B., Stoddart G., Torrance G.W. Mthodes d'valuation conomique des programmes de sant. Paris : Economica, 1998, 331 p. Beresniak A., Duru G. Economie de la sant. Paris : Masson, 1992, 157 p. 12 L'efficience est brivement aborde page 50.

10

17

Chapitre 2 : Les principes de lvaluation

Lessentiel : L'valuation est un outil de mesure et de conduite du changement. Elle a deux buts principaux : le but formatif, qui vise amliorer la mise en uvre du programme (le pilotage) ; le but sommatif, qui analyse les effets du programme pour en tirer les leons. Evaluer, c'est rpondre la question gnrique "Est-ce que a marche ?", en vue d'une dcision concernant le programme. Toutes les dfinitions de lvaluation associent trois dimensions : 1/ Une collecte d'informations systmatique et diversifie sur le programme. 2/ Une apprciation critique porte en rfrence des critres et des normes. 3/ Des recommandations en vue d'une dcision. On ne peut pas ne pas valuer. Toute personne, toute organisation a des pratiques d'valuation intuitives. Elles ne sont pas suffisantes mais peuvent servir de base pour construire une valuation fonde sur une analyse systmatique du programme, aussi explicite et formalise que possible. On ne peut pas tout valuer. Il faut donc prciser les questions les plus importantes qu'on se pose sur le programme, et l'utilisation qui sera faite des rsultats de l'valuation (les dcisions instruire). Autrement dit, rpondre aux questions : Pourquoi valuer ? Evaluer pour faire quoi ?

18

Ce document s'intresse, rappelons-le, l'valuation qui s'effectue en cours ou la fin d'un programme d'action men par des professionnels de terrain dans le but de rsoudre un ou des problmes dans le domaine de la sant ou du social. Il faut valuer ! Mais pourquoi ? Les questions qui sont donc poses l'valuation, sont souvent les mmes : "Est-ce que a marche ?" ; "Est-ce que a sert quelque chose ?" ; "Qu'est-ce qui a chang ?".

Pourquoi valuer ?
L'valuation se place dans le cycle de la planification [4]. Classiquement, l'valuation ferme la boucle de la planification (Cf. Schma 1) [35]. Cependant, il faut en avoir une vision plus large : elle doit tre considre comme une partie intgrante et continue du travail d'ensemble de la planification : elle est un processus d'analyse prsent chaque tape comme en fin d'action. [7] ; dans cette conception, l'valuation est au centre du processus de planification (Cf. Schma 2). Schma 1 : La place de l'valuation dans le cycle de planification Source : Pineault R. et Daveluy C., 1995 [35]

19

Schma 2 : La place de l'valuation dans la planification d'intervention d'ducation pour la sant Source : Bury J.A., 1988 [7]

Pourquoi valuer un programme ? C'est la premire question se poser avant d'organiser une valuation. Les auteurs distinguent deux grands buts d'valuation : le but formatif (en cours de programme) et le but sommatif (en fin de programme). 1. L'valuation formative maintient une rtroaction constante tout au long du processus d'laboration et d'implantation du programme, permettant celui-ci d'tre continuellement modifi mesure que des donnes nouvelles sont connues [35]. Il s'agit de fournir de l'information pour l'amlioration, la modification ou en gnral la gestion du programme [9]. Elle favorise une meilleure connaissance de l'action, permet une prise de conscience critique du travail ralis, fournit des repres pour rajuster le tir et maintenir le cap : elle est apprentissage dans l'action et action autocorrectrice [30].

20

Il s'agit d'valuation concurrente ou concomitante qui survient en mme temps que les tapes du programme se droulent [35], ou valuation en 13 cours de programme [1]. 2. L'valuation sommative s'attache aux rsultats obtenus par une intervention ou un programme [35]. Plus gnralement, elle s'intresse toutes les consquences du programme : il s'agit de dterminer les rsultats et l'impact du programme [9]. Cette valuation permet de comprendre les effets induits dans leur globalit, et ce lien entre action et effet permet de donner un sens aux actions [14]. L'ANAES (ex ANDEM) distingue deux formes d'valuations sommatives : les valuations strictement comparatives de type avant/aprs ou ici/ailleurs qui permettent de montrer l'efficacit du programme par rapport un groupe tmoin qui n'en a pas bnfici, et les valuations analytiques qui recherchent les causes de dysfonctionnement ou de changement [1]. L'valuation sommative se situe la fin du programme ou d'une de ses phases. Selon le cas, il s'agit de l'valuation intermdiaire (en fin de phase) ou de l'valuation finale [1]. Elle peut aussi se situer un certain 15 temps aprs la fin du programme : l'valuation ex-post permet de vrifier l'impact ou le prolongement de l'impact du projet et d'en apprcier la durabilit [2]. Les objectifs de lvaluation se traduisent en questions poses par rapport au programme. La question gnrique de toute valuation ("Est-ce que a marche ?") peut se dcliner en grandes questions [35] : 1. Est-ce que la mise en uvre du programme s'est faite telle que prvu ? 2. Est-ce que les ressources mobilises taient adquates ? 3. Est-ce que les actions mises en place taient appropries ? 4. Est-ce que les objectifs spcifiques du programme ont t atteints ? 5. Est-ce que le programme tel que conu et ralis correspond des priorits ? 6. Est-ce qu'il rpond des problmes importants du point de vue de la socit et [est-ce] qu'il va dans la direction attendue ? [35].
14

Autres termes pour l'valuation formative : valuation continue [13], valuation permanente [7],[8], valuation endoformative pour renforcer l'ide que cette valuation est souvent faite par les acteurs eux-mmes et pour eux-mmes [29], ou encore valuation dynamique de type rtro-action [1]. 14 Autres termes pour l'valuation sommative : valuation rcapitulative [29], valuation globale [7],[8], valuation-bilan [37]. 15 Tous les auteurs ne font pas cette distinction : beaucoup considrent comme synonymes valuation ex-post et valuation la fin du programme.

13

21

L'valuation, qu'est-ce que c'est ?

En raison de la diversit des regards sur l'valuation, il n'existe pas de dfinition unique de l'valuation de programme. L'encadr 2 donne quelques dfinitions synthtiques qui montrent le sens de lvaluation. Encadr 2. Quelques dfinitions courtes de l'valuation de programme. De faon courte et concrte, l'valuation c'est : Une rflexion sur laction [16]. Un moyen systmatique de tirer les leons de l'exprience [34]. Mieux comprendre afin de mieux agir [3]. Aider rvler le besoin, rvler la nature des logiques et des contradictions, faire de la maeutique, de l'entremlage [27]. Se poser des questions et se donner les moyens d'y rpondre [1]. L'valuation informe, juge, aide rorienter [19]. Essentiellement un regard de rtroaction [35]. Evaluer une action, c'est en produire le sens [30]. Produire des connaissances sur lesquelles on applique un jugement pour prendre des dcisions [33]. Identifier ce qui est satisfaisant pour le maintenir et ce qui ne l'est pas pour l'amliorer [2].

Dautres dfinitions plus prcises sont indiques dans le lexique en annexe. Quoiquil en soit, trois lments se retrouvent dans toutes les dfinitions de lvaluation de programme (Cf. schma 3) : pour rpondre aux questions d'valuation, il faut une collecte d'informations, sur lesquelles on porte une apprciation critique, et qui dbouche sur des propositions en vue d'une prise de dcision.

22

Schma 3 : Comment rpondre aux questions d'valuation ?

EVALUER
SE POSER DES QUESTIONS

S'INFORMER
RECUEILLIR DES DONNEES

APPRECIER
ANALYSER LES DONNEES

PROPOSER
FAIRE DES RECOMMANDATIONS

1. Une collecte d'informations de nature quantitative (mesures) et qualitative, avec un effort de collecte systmatique et une recherche d'objectivit, ou en tout cas de diversification des points de vue. L'valuation a donc d'abord une dimension cognitive [14],[12]. 2. Une apprciation critique (un "jugement" de valeur), base sur la comparaison de ces informations, sous forme de critres et dindicateurs des rfrences ou "normes" (Cf. encadr 3). La deuxime dimension de l'valuation est donc une dimension normative [14],[12]. Cette apprciation critique peut galement tre porte en mettant en relation deux ou plusieurs objets du programme [17]. Par exemple, en s'interrogeant sur la pertinence d'une action d'information pour atteindre un objectif de changement de comportement ; ou en s'interrogeant sur l'adquation des ressources utilises et des services produits. 3. Des propositions qui contribuent une prise de dcision. Ceci implique d'organiser l'valuation (les mthodes, les objets valuer, les informations recueillir) en fonction des questions auxquelles lvaluation doit rpondre, et ensuite de communiquer les rsultats et les propositions aux dcideurs, notamment sous forme dun rapport, pour que la rtroaction se fasse. L'valuation a donc une dimension utilitaire [12] ou instrumentale [14] : c'est un instrument orient vers la dcision [34]. Elle a aussi une dimension dmocratique (elle alimente des dbats) [12]. Toutefois, les enseignements de l'valuation ne sont pas les seuls lments jouer dans une prise de dcision [33] et parfois des modifications souhaitables ne dpendent pas des acteurs (dcideurs, ralisateurs, concepteurs, partenaires) impliqus dans l'action. La dcision elle-mme constitue un autre temps, et doit tre spare de l'valuation.

23

Encadr 3. Critres, indicateurs, normes. Un critre est un angle de vue port sur un objet [19]. C'est une caractristique observable [] correspondant aux lments du programme valu [35]. C'est lui qui donne du sens l'valuation. Ces mmes critres ne seront manipulables qu'une fois traduits en indicateurs. Un indicateur est un fait reprsentatif de la ralit [2], une variable qui aide mesurer des changements [34]. C'est un instrument de mesure, qui donne de l'information. Il doit rpondre certaines qualits : il doit d'abord tre valide (il mesure effectivement ce qu'il est cens mesurer [34]), mais aussi tre reprable, tangible, ventuellement quantifiable, [] disponible, [] sensible et fiable (il doit varier dans les mmes proportions que le phnomne qu'il mesure) [2]. La norme (ou standard) est la valeur associe au critre [ou l'indicateur] qu'on considre comme acceptable [9].
16

Exemples : 1. la mortalit est un critre de l'tat de sant des nourrissons, le taux de mortalit infantile est un indicateur, et depuis les annes 1990, la norme est de moins de 10 dcs avant l'ge de 1 an pour mille naissances vivantes en France. 2. La pauvret est un critre de la prcarit, le revenu est un indicateur, la norme est moins de 60% du revenu mdian de la population, soit 475 de revenu par personne et par mois en France en 2003.

L'valuation, pour faire quoi ?

Qu'elle soit formative ou sommative, l'valuation est un instrument de changement. Son principal enjeu est de prparer des changements, intentionnels et planifis : elle permet d'amliorer, d'adapter le programme [28]. Elle donne chaque acteur et partenaire les attributs ncessaires une relle volution et/ou remise en cause [8]. L'valuation est d'une certaine manire une faon de questionner ce qui a t institutionnalis dans une organisation. [Elle peut remettre] en cause un compromis tabli dans le temps. L'valuation, de par sa nature, sera
D'autres auteurs assimilent le critre une norme en mettant en avant sa valeur numrique. Ce choix introduit notre avis un risque de confusion.
16

24

toujours un moyen parmi d'autres de ngocier les limites acceptables l'intrieur desquelles le compromis reflt dans les pratiques pourra tre questionn et remis en cause. En fait, c'est en produisant une dstabilisation que les connaissances produites par l'valuation sont un ingrdient essentiel du changement dans les organisations [12] (Cf. encadr 4). Encadr 4. Comment l'valuation permet le changement. L'valuation favorise le changement par la prise en compte des recommandations et galement par les dbats qu'elle suscite entre les acteurs concerns. Il faut donc que l'valuation ouvre la fois une nouvelle comprhension de la ralit et une capacit agir diffremment : Une nouvelle comprhension de la ralit : Le rle de l'valuation consiste prcisment en la constitution d'une position "dcale" par rapport aux noncs ordinaires qui [] sont souvent trop massifs et volontairement flous (ou consensuels) pour donner lieux dbat contradictoire [14]. L'valuation porte donc en soi un fort potentiel de controverses. Les acteurs ne peuvent ignorer totalement [les] informations [issues de celle-ci]. Mme dans le cas o ils souhaitent les discrditer, ils doivent dvelopper un argument leur permettant de les rejeter. Les acteurs doivent se doter d'un processus de dlibration permettant de donner du sens ces donnes et de s'entendre sur une interprtation viable pour la pratique. [] La pratique de l'valuation doit donc toujours tre attentive ce lien indissociable entre la production d'information et la production de la comprhension en milieu organis [12]. Une capacit agir diffremment : L'valuation doit constituer un outil performant d'apprentissage et de mobilisation pour les acteurs des politiques publiques [14]. Par son effet de renforcement des acteurs, l'valuation peut mme devenir un lment de prennit des quipes de prvention [36]. Quelle que soit la hauteur laquelle on place l'enjeu, il est clair qu'on doit aussi valuer pour soi, en tant qu'acteur, et pas seulement pour les autres : progresser en analysant les erreurs et les obstacles, capitaliser les expriences pour les rinvestir dans d'autres lieux ou d'autres programmes, est sans doute un enjeu motivant pour un professionnel si le contexte de l'valuation le lui permet [18].

25

Des dimensions stratgiques, techniques et sociales L'acte d'valuation ainsi dfini appelle plusieurs remarques : L'valuation est la fois un ensemble de dcisions ou de choix stratgiques, et une dmarche mthodologique. Autrement dit elle est enjeu politique et dmarche technique. Tout ce qui touche le cur de l'valuation est enjeu politique : choix de l'objet d'valuation, des objectifs, du moment, des critres et indicateurs en fonction desquels sera porte l'apprciation, choix des acteurs de l'valuation, des instruments de recueil de l'information, et utilisation des rsultats. La dimension technique renvoie la dmarche et aux procdures d'valuation, la faon d'appliquer les techniques d'enqute, aux rgles de construction des outils [], aux mthodes de traitement des donnes et d'analyse des rsultats [30]. M. Demarteau insiste sur un troisime aspect de l'valuation : l'valuation est loin [] d'tre seulement une dmarche scientifique, c'est aussi une pratique sociale. Ce qui importe est autant la rationalit accrue qu'elle apporte que la parole qu'elle libre [16]. Diffrencier lvaluation de ce quelle nest pas L'valuation consiste en une dmarche rigoureuse et systmatique [17]. Cet effort d'explicitation diffrencie l'valuation de l'analyse ralise de manire intuitive et informelle par les intervenants dans le cadre de leurs interventions (Cf. encadr 5). Il n'y a pas d'valuation sans apprciation critique. Le suivi, la surveillance (ou monitoring, monitorage), qui consiste relever ou mesurer rgulirement des donnes (donnes de sant d'une population, ou droulement d'un programme) sans les comparer d'autres, ne sont pas de l'valuation, parce qu'il manque cette comparaison une norme qui permet l'apprciation [1],[17],[19],[35]. Cependant, la mme information peut servir la fois la surveillance et l'valuation [35], et sans un bon suivi, il est difficile de faire une bonne valuation [19]. Le suivi est en gnral bas sur un tableau de bord, qui regroupe l'ensemble des indicateurs recueillis. S'agissant du suivi d'un programme, les donnes sont en gnral regroupes dans un rapport d'activit. Il n'y a pas d'valuation sans jugement, mais il s'agit d'une apprciation critique de situations donnes qui conduisent formuler des conclusions judicieuses et des propositions utiles en vue d'une action ultrieure. Il ne s'agit pas de prononcer un jugement la manire d'un

26

tribunal qui condamne les personnes pour des fautes [34]. Nous reviendrons sur cette diffrence essentielle entre contrle et valuation au chapitre suivant.

Encadr 5. L'valuation : une pratique courante mais souvent intuitive. Toute action planifie implique au dpart une certaine valuation : engag dans l'action, on ne peut pas ne pas valuer ; on fait toujours le point sur l'action en cours. Dans ce sens, l'valuation fait depuis longtemps partie des pratiques courantes. Mais cette pratique d'valuation [] reste souvent informelle. Bien que valable [], elle apparat limite et inacheve [30]. Cela signifie que : Aucun organisme ne part de rien pour construire une valuation des actions qu'il mne. L'enjeu est donc d'aider les organismes ralisant des programmes systmatiser les pratiques valuatives qu'ils ont dveloppes dans l'action au fil du temps [30]. Malgr les efforts pour que l'valuation soit aussi explicite et formelle que possible, il est rare que l'ensemble du processus (incluant l'utilisation qui sera faite des recommandations) le soit totalement. Il est donc frquent qu' un moment ou l'autre de l'valuation ces aspects implicites et informels ressortent. Ils doivent alors tre pris en compte.

27

Chapitre 3 : Des enjeux prendre en compte dans lorganisation de lvaluation

Lessentiel : Lvaluation est une dmarche technique qui a des enjeux multiples et complexes, car elle s'inscrit dans un contexte politique, social et institutionnel, et elle interroge les logiques stratgiques des acteurs. La crainte de ces derniers peut tre celle d'une valuation qui n'en serait pas une, et poursuivrait un but de contrle, voire de manipulation. Evaluer n'est jamais un exercice banal. La tension entre le besoin de reconnaissance et le risque de la critique est constitutive de l'acte d'valuation. Une "vritable" valuation est possible condition d'tre suffisamment transparente pour tablir la confiance, dsamorcer les craintes de contrle et prendre en compte les attentes diffrentes quelle suscite. Cela suppose de disposer d'un espace d'autonomie par rapport aux dcideurs de laction, de construire et ngocier lvaluation avec les acteurs, de l'appuyer sur une rpartition des rles et une mthodologie explicites. Une dmarche d'valuation transparente, construite avec et ngocie entre les principaux acteurs, est le meilleur moyen pour susciter la confiance et entraner leur adhsion. Qu'elle soit interne ou externe, l'valuation s'appuie toujours sur un travail collectif ncessitant la participation des acteurs du programme. Une rpartition claire des rles est un lment de la transparence de l'valuation.

28

Lvaluation, telle quelle a t dfinie dans le chapitre prcdent, est un exercice simple : il sagit de se poser des questions et essayer dy rpondre. Nanmoins, elle est lobjet denjeux souvent importants pour les acteurs et les institutions concernes. Cest ce qui fait sa complexit.

Des enjeux multiples, explicites et cachs

Les questions poses par rapport au programme aboutissent la commande d'une valuation. Ces questions constitueront les objectifs de lvaluation. Cependant, l'valuation, parce qu'elle est porteuse de transformations, peut faire l'objet de manipulation en fonction d'intrts particuliers [12]. C'est pourquoi elle dclenche souvent de la mfiance parmi les acteurs du programme. Ils craignent que l'valuation soit en fait un prtexte pour exercer un contrle sur eux, voire des manipulations. L'amalgame que font souvent les acteurs entre contrle et valuation tient essentiellement la crainte du jugement. En effet, le jugement renvoie une faute et la condamnation d'une personne, et notre perception intuitive de l'valuation est celle des notes reues l'cole. Evaluer le client signifie aussi, pour le travailleur social, valuer sa propre pratique. Et l est l'ambigut de la dmarche. Quand le travailleur social rend compte son employeur (ou un collgue, ou tout autre service) de l'volution de son client, il se met en position de vulnrabilit par rapport eux. Il place autrui en position de dire : est-il un bon professionnel ou pas ? Entrent en jeu des mcanismes implicites (ou conscients) o le travailleur social met l'autre en position d'tre son valuateur. Ce qui l'oblige donner une image positive de lui-mme. Il peut tre amen mettre en uvre des jeux stratgiques, quitte tronquer la ralit, faire passer au premier plan tel ou tel aspect et relativiser tel autre. Personne ne souhaite donner de lui-mme l'image d'un professionnel incomptent [10]. Rappelons que le "jugement" dont il est question dans l'valuation est une apprciation critique portant sur des situations, et non sur des personnes (Cf. page 16). Il est donc essentiel de diffrencier l'valuation du contrle (Cf. encadr 6).
17

17

Le terme de "client" utilis par l'auteur est ici quivalent "usager".

29

Encadr 6. Ne pas confondre valuation et contrle. L'valuation et le contrle s'opposent sur plusieurs points selon Y. Harvois : L'valuation est une dmarche systmique et dmocratique, comportant de multiples niveaux de comprhension, pouvant questionner les vrits prtablies, visant produire de la comprhension, centr sur l'expression de toutes les parties en prsence avec leurs diversit. C'est un processus accompagnant l'action et dbouchant sur "l'autre chose possible", le devenir, donnant l'autorisation politique s'emparer de l'avenir, voluer, aller vers l'autonomie [25]. A l'oppos, le contrle est une dmarche analytique et hirarchique, jugeant sur la base d'une norme prtablie ne pouvant tre remise en question, o il y a sparation entre le contrleur et le contrl, le premier ayant une supriorit dans la relation. C'est un processus conservateur, sanctionnant l'action et visant au maintien des acquis du prsent et la 18 dpendance l'autorit [25].

De faon voisine, J. Beaudry pointe le risque de drive de l'valuation vers le contrle bureaucratique, qui consiste s'intresser des questions de performance et de rendement du personnel ou se mettre au service de professionnels intransigeants qui elle permet de s'assurer que les intervenants ne drogent pas du plan d'intervention [4].

Plus grave encore, l'exercice appel "valuation" peut poursuivre des objectifs implicites, inavous ou mme cachs. Il s'agit alors de 19 manipulation ou pseudo-valuation , telle que : jeter de la poudre aux yeux (autrement dit, faire de la publicit) ; paralyser l'valuation ou tenter de retarder l'valuation vritable plus tard [] en se livrant un exercice symbolique ou en dplaant l'attention des vrais problmes ; cacher certains aspects rprhensibles par des informations d'apparence favorables, vridiques ou mensongres ; exclure certaines personnes sous le faux prtexte d'une prtendue mauvaise performance [3].

18 Cette prsentation vise bien diffrencier le contrle de l'valuation. Elle ne signifie pas que le contrle est rejeter. Il a un rle rgulateur important dans tout systme car il permet l'application de la loi. 19 L'valuateur doit se garder de ces pseudo-valuations, car il en payera toujours la note, soit que l'valuation se fasse saboter (et il sera accus d'incomptence), soit qu'il y perde luimme son emploi (et il servira tout simplement de bouc missaire) [3].

30

D'o viennent les rticences, voire rsistances l'valuation ? Au del de la peur du contrle, il y a souvent des divergences de perception sur ce qu'est l'valuation et sur l'utilisation qui peut en tre faite, selon les catgories d'acteurs concernes par le programme. Les proccupations des acteurs peuvent tre diffrentes. En gnral, les financeurs et dcideurs sont d'abord intresss par la bonne utilisation des crdits et veulent constater une amlioration de l'tat de sant d'une population ou dune situation sociale. Les acteurs des programmes veulent tre rellement utiles, mieux s'organiser pour tre plus efficaces, faire savoir [ce qu'ils font], convaincre de l'utilit de leur travail. La population cherche trouver une solution ses problmes [33]. Au del des buts officiellement assigns l'valuation, les buts officieux des diffrents acteurs, souvent implicites, sont aussi trs importants considrer. Les administrateurs qui demandent une valuation peuvent vouloir retarder une dcision, lgitimer une dcision dj prise, accrotre leur pouvoir et le contrle qu'ils exercent sur l'intervention, satisfaire aux exigences des organismes de tutelle. Les valuateurs peuvent chercher faire avancer les connaissances, mais aussi accrotre leur prestige et leur pouvoir, obtenir une promotion, promouvoir une ide qui leur est chre. Les utilisateurs peuvent chercher bnficier de services diffrents de ceux disponibles habituellement, rduire leur dpendance vis--vis des professionnels. Le personnel d'une organisation peut chercher court-circuiter les rgles hirarchiques, obtenir un avancement [11]. L'valuation se dveloppe partir d'un postulat, celui de la rationalit des activits que l'on analyse, car les acteurs sont soumis des objectifs formels assigns par le programme [12]. Mais un programme est bien plus complexe qu'une srie de ressources mobilises pour mettre en uvre des actions en fonction d'objectifs prcis. Il est avant tout une interaction entre des "acteurs", personnes et organismes, qui sont impliqus pour son financement, son organisation, sa mise en uvre, ou qui en sont bnficiaires. Ces interactions sont complexes, mettant en jeu des logiques d'acteurs et d'institutions comme celles de pouvoir, de contrle, de profit, voire de survie Autrement dit, la lecture que fait un acteur d'une situation est fonction d'une logique stratgique et dtermine largement ses comportements. L'valuation fait donc face souvent au problme de devoir se positionner entre des logiques explicites et officielles et des logiques plus clandestines mais tout aussi marquantes [12].

Par exemple, un programme peut avoir pour objectif de dvelopper l'estime de soi chez les enfants des coles primaires, afin de prvenir l'chec scolaire et les conduites risque l'adolescence. Pour cela, des partenaires internes

31

l'cole (enseignants, service de sant scolaire) et externes (organismes de prvention) vont mettre en place des animations avec les enfants. Cette logique dicte par les objectifs va interroger d'autres logiques du systme scolaire, telles que la place de l'cole et le rle des enseignants dans la sant mentale et l'ducation des enfants (notamment en rapport avec la place des parents), le rle et la lgitimit des intervenants extrieurs l'cole (notamment pour ceux qui ont une formation "psy"), ou encore la place des innovations l'cole.
En rsum, on peut dire que le programme (ainsi que son valuation) s'inscrit dans un environnement, un contexte, dans lequel J. Beaudry diffrencie trois systmes : 1. Le macrosystme est le contexte politique. Tout programme s'inscrit dans une action politique, parfois argumente, contestable (visibilit politique, rassurer la population). Quelle que soit la raison d'tre du programme l'tude, toute valuation comporte une dimension politique plus ou moins importante. L'valuateur devrait donc examiner s'il y a congruence entre ses actions et les objectifs qu'il poursuit en tant qu'agent de changement social avant de s'engager dans une valuation [4]. 2. L'exosystme est le contexte social. L'valuateur n'est qu'un des acteurs [] et il n'y tient pas ncessairement le rle principal. Politiciens, fonctionnaires, gestionnaires, praticiens, groupes de pression et usagers peuvent, un moment ou un autre, avoir droit de regard sur un projet d'valuation. Ces derniers, ayant des intrts particuliers dfendre et des besoins spcifiques combler, pourraient tre tents d'influencer leur avantage le cours de la dmarche valuative. L'valuateur ne peut pas se permettre d'ignorer ces pressions. D'autre part, les normes et valeurs de la communaut dans laquelle s'effectue [l'valuation] peuvent, leur tour, exercer une influence directe sur la slection des critres de russite de l'intervention [4]. 3. Le microsystme est l'organisme de services [ou lorganisme qui conduit le programme]. L'valuateur [...] doit pouvoir compter sur la collaboration des intervenants activement engags dans le programme. Sans leur participation, les chances de russite de l'valuation sont quasi-inexistantes. L'valuateur ne peut donc pas ignorer ou mettre en veilleuse les apprhensions qu'ils manifestent l'gard de son tude. Il peut s'agir : a) du refus des intervenants transfrer la recherche des ressources normalement alloues l'intervention; b) d'une crainte que l'valuation ne remette en cause leur comptence et mme leur poste; c) de l'expression du pessimisme des praticiens vis--vis de l'utilit ou la pertinence de l'valuation; d) de leur inconfort face l'valuateur qui s'immisce dans leur travail et e) de leur refus de modifier les rles et

32

fonctions pour lesquels ils ont t engags. La condescendance ou la ngation du bien fond de ces craintes risquent de ne pas convaincre. L'valuateur a donc intrt considrer srieusement les apprhensions des intervenants l'gard de l'valuation, en discuter avec eux et chercher des solutions propres les satisfaire autant que lui-mme [4].

Une tension saine et sage

L'valuation doit composer avec cette complexit, dans laquelle elle se trouve elle-mme incluse. En fait, c'est l que se situe son enjeu principal. L'valuation est d'autant plus productive qu'elle permet des acteurs en milieu organis de repenser les liens entre des objectifs qu'ils se donnent, des pratiques qu'ils dveloppent et leur contexte d'action [12]. Encadr 7. D'abord ne pas nuire Le contrle et les pseudo-valuations sont des dtournements vidents de la dmarche d'valuation. Toutefois, une valuation, mme si elle est bien cadre et organise, peut avoir des effets dltres. Par exemple, un questionnaire d'valuation de la qualit de vie peut tre vcu comme intrusif dans l'intimit de la personne. Ou encore, s'intresser un groupe de personnes repres comme ayant des besoins prioritaires peut renforcer l'exclusion sociale dont elles souffrent dj. Le premier principe thique de toute intervention s'applique aussi l'valuation : d'abord ne pas nuire.

Pour L. Gaudreau et N. Lacelle, l'valuation engendre toujours une tension entre : D'un ct le danger d'un dtournement de mission, la quantit de travail fournir, les enjeux de la connaissance et de pouvoir (jugements du bailleur de fonds, jugements sur les personnes...). De l'autre ct les apports potentiels : reconnaissance de notre travail, assurance que l'argent a t dpens bon escient, vrification de nos intuitions, dcouverte d'aspects inaperus de notre travail, amlioration de nos interventions... [21].

33

Cette tension de dpart est saine et sage [et] ne doit jamais nous quitter parce qu'elle nous indique deux choses parfaitement essentielles. Elle nous dit [d'une part] de quel ct nous sommes, quel est le vrai "but du jeu" d'une valuation : amliorer le sort de celles et ceux avec qui, pour qui, nous travaillons []. Elle nous dit [d'autre part] sur quel terrain de jeu nous mettons les pieds, o sont les buts, les filets chaque bout de terrain pour marquer des points. L'valuation nous apparat instinctivement comme un instrument de pouvoir et de connaissance, et c'est ce qu'elle est. [...] Tout aussi instinctivement, on sait que cet instrument qu'est l'valuation doit servir la mission du groupe, "tre profitable au monde". [21].

Sorganiser pour susciter la confiance

L'valuation semble donc tre une sorte d'utopie. Elle est base sur la transparence, l'explicitation, la "dmocratie", la recherche partage d'une meilleure connaissance pour une meilleure performance. Alors que le systme qu'elle tudie (et dont elle fait elle-mme partie) est travers sinon pilot par des enjeux contradictoires puissants, pour une bonne part implicites voire cachs, et par des conflits. L'exercice parat difficile, et pourtant lutopie peut fonctionner, sans se rduire des gnralits superficielles et inutiles. C'est la confiance qui le permet. Cette confiance n'est pas acquise d'avance. Elle doit se gagner, d'abord par la cration d'une "zone d'autonomie" de l'valuation entre la dcision, le contrle et la connaissance pure [14]. Il sagit dlaborer un travail tenant compte la fois des donnes objectives recueillies par lvaluateur, croises avec la demande du commanditaire, qui permette une prise de dcision finale (poursuite de laction, adaptation dune nouvelle mthodologie, etc.). Cette zone dautonomie doit contribuer produire du dbat et des changes partir dun processus de production de connaissances qui tiennent lgard de la politique une distance critique [14]. Llucidation des prsupposs, la mise en discussion des catgories de laction, de ses orientations et de ses finalits aident la distance critique. La confiance se gagne aussi par l'explicitation de l'ensemble de la dmarche d'valuation, c'est--dire : des objectifs de l'valuation [3] clairement noncs et partags par les acteurs ; des critres de jugement, qui permettent d'afficher les valeurs qui soustendent ce qu'on considre comme "bien" ou "mal" [6] ; de la mthodologie et du processus d'valuation (le droulement de l'valuation sur le terrain). D'autres lments seront dvelopps sur les facteurs de qualit de l'valuation (Cf. page 81). Mais d'ores et dj, il est clair qu'une valuation

34

ne doit pas tre une parole d'expert, mais un travail partenarial dynamique qui permette de renforcer l'action [14]. L'valuation reste une affaire d'quipe. Une dmarche individuelle d'valuation, concentre dans le chef d'une seule et mme personne, risque, terme, d'tre confronte un problme de lgitimit [2]. La dmarche d'valuation inspire d'autant plus confiance aux acteurs du programme qu'elle est participative et ngocie [21] : L'valuation participative permet de donner la parole aux membres de l'organisme et ceux de la communaut dans laquelle il s'insre [21]. L'approche participative accorde une place centrale la participation de toutes les personnes concernes. Elle prend en considration leurs valeurs, leurs points de vue, leurs intrts et leurs attentes, toutes les tapes du processus d'valuation [30]. L'valuation est ngocie l'interne (la dcision d'valuer est prise aprs dbats dans l'organisme), et l'externe (pour que l'organisme valu ait sa place en tant que partenaire de l'valuation) [21]. Parce qu'elle reprsente un enjeu politique, l'valuation ncessite une ngociation. La ngociation consiste en un processus dynamique au cours duquel deux [ou plusieurs] parties ayant la fois des intrts communs et des intrts opposs essaient de convenir des termes d'une entente [30].
20

L'valuation participative et ngocie n'est pas seulement un prtexte pour djouer les rsistances l'valuation : l'implication des acteurs et des populations dans l'valuation est en soi un moyen fort pour les rendre acteurs des changements qui sont dans les objectifs du programme. D'ailleurs, l'opposition entre "chercheur" (ou valuateur) extrieur l'action et "acteur" impliqu dans l'action de routine devient parfois tnue, car on se situe souvent dans une dmarche de recherche-action, d'exprimentation sociale, et alors il se cre un pacte de connivence affective dans lequel le chercheur ne peut s'empcher de devenir acteur et l'acteur s'aperoit tout d'un coup qu'il est en train de chercher [27].

20

Ou valuation participante [37], valuation pluraliste [31].

35

Encadr 8. Faut-il toujours valuer ? Dans le principe, la rponse est oui. Une valuation est toujours ncessaire, mme si son intrt est parfois discut []. L'valuation est d'autant plus utile que : le thme est innovant dans le contexte local ; le programme est ambitieux ; l'acceptabilit n'est pas spontane ; les rsultats ou effets potentiels de l'action sur la population sont importants [1]. Cependant, dans certaines circonstances, il est prfrable de ne pas valuer car l'valuation risque de faire plus de tort que de bien [35] : Si l'valuation pose des problmes techniques importants ou a un cot lev, alors que le programme semble bien aller et que la population y adhre [35]. S'il n'y a pas de place pour des changements. Par exemple, lorsqu'on sait une activit peu efficace mais que le public souhaite la maintenir tout prix ; ou lorsque les acteurs ne sont pas prts remettre en 21 question leurs pratiques [35]. S'il y a un conflit ou un problme entre les personnes ou les organismes impliqus dans le programme. Une dmarche de rsolution de problme ou de gestion de conflit est plus indique dans ce cas [21]. Diffrer lvaluation ne signifie pas rester inactif, mais au contraire prparer activement les conditions de sa mise en place, par des actions de sensibilisation, de rsolution de problmes, de gestion des ressources humaines, etc.

Attention aux objectifs parasites : ni audit, ni publicit

D'autres objectifs que les buts formatif et sommatif sont parfois assigns l'valuation. Il faut les prendre en compte avec certaines prcautions : Certains demandent l'valuation une fonction comptable [3], autrement dit le contrle de l'utilisation des finances alloues [18],[31]. La bonne utilisation des fonds du programme est une question souvent pose l'valuation. Sa lgitimit ne se discute pas, et les ressources sont un des objets de l'valuation. Mais pour viter toute ambigut entre contrle et valuation, il est prfrable de bien sparer ce qui relve
Un travail pralable, soit avec le public, soit avec les acteurs, est alors ncessaire avant qu'une vritable dmarche d'valuation soit mene.
21

36

d'un audit financier et ce qui relve de l'valuation du programme. Dans le mme sens, nous dconseillons de parler de "bilan" pour une valuation : un bilan est une analyse gestionnaire qui vise tablir la valeur montaire d'une organisation et qui renvoie au concept d'audit. Des objectifs de communication sont parfois assigns l'valuation. Il s'agit par exemple de rendre visible le travail des associations ou groupes communautaires, de permettre d'autres groupes, oeuvrant dans le mme domaine, de justifier du mme type d'action [37], ou encore de lever la suspicion sur l'efficacit et la lgitimit d'un programme de promotion de la sant [18]. L'valuation tant un exercice bas sur la diversification et l'explicitation des points de vue, et la restitution orale ou crite d'informations, elle participe de fait la communication. Nanmoins, cet objectif ne peut tre central, au risque de driver vers une sorte de publicit. C'est toujours la rponse aux questions souleves par le programme qui constitue le cur d'une valuation.

22

Qui fait quoi ?

Compte-tenu de ce qui vient d'tre dit sur les risques perus d'une valuation, le besoin de confiance dans son processus et la rigueur mthodologique ncessaire, la question du "Qui fait quoi ?" n'est pas anodine. Le choix de l'valuateur ainsi que la rpartition des rles d'valuation conditionnent le droulement de l'valuation et son succs. Deux types d'valuation peuvent tre diffrencis : Dans une valuation externe, l'valuateur est choisi en dehors de la structure responsable du projet [31]. L'extriorit de l'valuateur est son principal avantage. Cette distance est perue en effet comme un gage d'objectivit, de neutralit, voire de libert par rapport aux pressions ventuelles. Ses comptences d'expert sont garantes de la rigueur scientifique du travail accompli et il peut jouer un rle de mdiateur entre les divers responsables et acteurs du programme [2]. L'valuation externe est donc considre comme la plus valide. Toutefois, elle court le risque d'tre dconnecte des proccupations des acteurs [19], car l'valuateur externe connat mal le programme et peut tre tent par une dmarche trop thorique au service de ses propres recherches. De plus, l'extriorit de l'valuateur ne garantit pas,

22 L'audit est un contrle de lgalit et de conformit par rapport aux normes de fonctionnement dfinies par les lois et les rglements, directives, budgets, circulaires, notes internes [31].

37

de sa part, l'absence de tout prjug ou ide prconue sur la sant ou la communaut concerne, et il a un cot qui doit tre assum[2]. Dans une valuation interne , l'valuateur appartient la structure responsable du projet [31]. Elle est ralise par les responsables [] de l'action [19]. Nanmoins, ils peuvent tre assists par un expert externe. L'valuation interne a l'avantage de s'appuyer sur ceux qui connaissent le mieux le programme et la population vise. Les valuateurs peroivent mieux les problmes rencontrs et ils possdent, en outre, une bonne connaissance du programme en cours. Cette proximit permet ds lors d'entretenir plus aisment une dynamique d'valuation permanente destine amliorer la dynamique du projet, le processus en cours [2]. Toutefois, trop de proximit [] peut conduire l'valuateur ne plus prendre suffisamment de distance par rapport l'objet de son travail [2], et l'valuation peut tourner l'autosatisfaction [19]. Enfin, le temps et les moyens ncessaires l'valuation peuvent manquer l'valuateur, ainsi que certaines connaissances mthodologiques de base [2] (Cf. encadr 9). L'autovaluation est une modalit particulire d'valuation interne , pratique par des "bnficiaires" de l'action ou leurs reprsentants. Elle constitue pour ce groupe d'acteurs une mthode d'appropriation de l'action, et ils l'valuent selon leurs propres critres [19]. Il ne s'agit pas de l'valuation que formulent les bnficiaires de l'action d'un autre, mais bien de l'valuation d'un groupe communautaire et de son action par lui-mme [2]. Il peut cependant tre assist par un "accompagnateur" externe.
24 23

23

Ou endo-valuation, valuation par une personne "du dedans", par opposition l'allovaluation, ou valuation par une personne extrieure [6]. 24 Tous les auteurs ne distinguent pas cette modalit, beaucoup considrent l'autovaluation et l'valuation interne comme synonymes.

38

Encadr 9. Participation et objectivit sont compatibles Si les [] acteurs participent l'valuation de leur propre travail, s'ils sont partie prenante du jugement sur la valeur de ce qu'ils font, n'y a-t-il pas de danger qu'ils soient la fois juge et partie ? Comment garantir alors l'objectivit du jugement et se prmunir contre les biais de la subjectivit ? Comment imprimer un caractre scientifique la dmarche d'valuation ? [30]. Dans une valuation, le "jugement" de valeur n'est pas objectif, si l'on entend par l qu'il serait neutre, subjectivement dsengag. Il n'est pas non plus subjectif, dans le sens qu'il serait dnu de tout fondement. Au contraire, dans toute valuation systmatique, le jugement se base sur des informations qui sont mthodiquement recueillies avec toute l'objectivit requise. L'valuation est donc la fois marque par l'objectivit et la subjectivit. L'valuation est une dmarche o est investie la subjectivit des [] valuateurs, et qui est rgie par les rgles d'objectivit de l'enqute sociale [30].

En conclusion, la responsabilit de l'valuation doit tre assume de faon diffrente, c'est--dire par des personnes diffrentes, selon l'lment du programme que l'on veut valuer et selon le but poursuivi par l'valuation. Ainsi, pour une valuation sommative, c'est--dire visant dterminer les effets d'un programme, la place du chercheur, externe au processus d'implantation, est prpondrante. Par ailleurs, lors de l'implantation du programme, alors que la recherche formative est particulirement approprie, la contribution des personnes responsables de la mise en uvre du programme est essentielle. []. Plusieurs auteurs sont donc d'accord pour conclure que l'valuation devrait runir idalement, et les chercheurs responsables de l'valuation, et les gestionnaires directement responsables de la mise en uvre du programme [35]. Ces questions d'organisation de l'valuation et de mthode seront vues plus en dtail dans la seconde partie (chapitres 4 et 5). Il faut auparavant prciser sur quels "objets" l'valuation va porter.

39

Chapitre 4 : Evaluer quoi ? Les objets de l'valuation

Lessentiel : Une fois dfinis les objectifs de l'valuation et les questions poses l'valuation (chapitre prcdent), il faut dfinir les objets du programme qui seront concerns par l'valuation et le type d'valuation qui sera faite. L'ensemble de ces lments constitue le "cur" de l'valuation, c'est-dire la stratgie d'valuation mettre en uvre au moyen d'une mthodologie. Un programme a cinq niveaux, qui rsument la logique de lintervention et qui peuvent tre objets d'valuation : 1. Des ressources ncessaires sa ralisation (valuation de la structure). 2. Des activits ou services raliser (valuation du processus). 3. Des groupes cibls par les activits ou services (valuation d'implantation). 4. Des objectifs ou rsultats attendus dans ces groupes-cibles (valuation du rsultat, efficacit ou utilit). 5. Un impact, ou des retombes (valuation d'impact). Les valuations portant sur les trois premiers objets s'intressent aux efforts des acteurs pour mettre en uvre ou implanter le programme. Elles sont les plus importantes dans un but formatif. Les valuations portant sur les deux derniers objets s'intressent aux effets du programme dans les groupes-cibles ou bnficiaires, et au del. Elles sont les plus importantes dans un but sommatif. L'valuation des effets ne prend du sens que si elle est relie la mise en oeuvre du programme.

40

Dans ce chapitre sont abords les objets de l'valuation, c'est--dire les parties des programmes qui peuvent faire l'objet d'valuation, et les diffrents types d'valuation qui s'y rapportent. L'valuation peut porter soit sur l'ensemble d'un programme, soit sur une 25 partie de celui-ci . Un programme peut se dcomposer en cinq niveaux pouvant chacun faire l'objet d'une valuation.

Les cinq objets d'valuation d'un programme

Il est classique, tout d'abord, de diffrencier trois objets d'valuation principaux : les ressources, les activits ou services, les objectifs. A chaque niveau correspond un type d'valuation : 1. Ressources ou structure (ou "input", entres, intrants). L'valuation de la structure s'intresse l'adquation des ressources ("adequacy") : la quantit, la qualit et l'agencement des ressources humaines, physiques et financires du programme [35]. On parle aussi d'valuation des ressources [29]. La structure renvoie donc aux ressources mais aussi l'organisation d'ensemble avec ses mandats, ses rgles et son fonctionnement [17].

Exemple : pour raliser un programme d'change de seringues en pharmacie ( destination des usagers de drogues par voie injectable), une association de rduction des risques a besoin des ressources suivantes : - Disposer de personnel pour raliser le programme en partenariat avec des officines et d'autres partenaires (financeurs, etc.). - Disposer d'un vhicule pour transporter les kits d'injection et les conteneurs de dchets. - Disposer d'un financement pour l'achat des kits, des conteneurs, et pour le fonctionnement du personnel associatif mobilis pour ce programme.

Par analogie avec la chimie, on peut diffrencier l'approche molaire si le programme est valu dans sa globalit, et l'approche molculaire si l'valuation est limite certaines stratgies ou actions spcifiques [4]. On peut galement parler de mthode des traceurs pour cette approche partielle [24], qui consiste en une sorte de sondage : l'valuation se focalise sur une partie qui semble reprsentative de l'ensemble du programme.

25

41

2. Activits ou services (ou processus, "output", sorties, extrants). L'valuation du processus s'intresse la justesse (appropriateness) des activits. Dans le cas d'un service, on s'intresse trois aspects : la qualit de ses aspects techniques [] (bonnes pratiques), la qualit de la relation entre le bnficiaire et le professionnel, et les processus organisationnels [35]. On parle aussi d'valuation des procdures [5],[28], terme qui est plus adapt aux procdures de soins.

Exemple : les principales activits du programme d'change de seringues en pharmacie sont le recrutement des pharmacies et la mise en place d'un protocole d'change de kits, la sensibilisation et la formation des quipes officinales, l'approvisionnement en kits et conteneurs, l'change proprement dit des kits neufs contre les kits usags, puis la rcupration et l'limination des conteneurs de dchets.
3. Objectifs. L'valuation des rsultats se rapporte aux objectifs du programme. Les services produits ("output") ont-ils provoqu les changements attendus ("outcome") ? Par "rsultats" on entend gnralement des changements directement lis la raison d'tre du programme, c'est--dire des changements lis aux problmes viss par le programme et pour lesquels celui-ci a t labor [9]. S'agissant de programmes de dveloppement des services de sant, les objectifs sont dfinis en terme d'tat de sant ou de comportements relatifs la sant de la part des bnficiaires viss ou atteints par le programme [35]. Mais tous les programmes n'ont pas directement des objectifs de sant : il peut s'agir d'objectifs de connaissance, de pratique professionnelle, d'utilisation d'un service

Exemple : l'objectif spcifique du programme d'change de seringues en pharmacie est de rduire la prise de risque infectieux (notamment VIH/sida et hpatites virales B et C) chez les usagers de drogues par voie injectable par l'utilisation systmatique de matriel de prparation et d'injection striles.
La seule approche quantitative des rsultats n'est pas suffisante. Une approche plus analytique des rsultats amne se poser les questions plus prcises telles que : Quels sont les aspects du programme qui sont efficaces ? Comment et en quoi sont-ils efficaces ? Pour qui sont-ils efficaces ? [6].

42

Encadr 10. Ne pas confondre efficacit et utilit. La distinction entre bnficiaires viss et bnficiaires atteints par le programme permet de diffrencier l'efficacit et l'utilit. Dans le cas o le dnominateur est l'ensemble de la population vise par le programme 26 (population-cible), l'on parle d'valuation de l'efficacit ("effectiveness") du programme. S'il s'agit seulement de la population rejointe par le programme, 27 l'on parlera d'valuation de l'utilit ("efficacy"). [35].

Exemple : - L'utilit du programme d'change de seringues en pharmacie est mesure par le pourcentage des usagers de drogue injectable (UDI) qui utilisent systmatiquement du matriel strile par rapport tous les UDI qui rentrent dans le protocole d'change de seringues. - L'efficacit du mme programme est mesure par le pourcentage des UDI qui utilisent systmatiquement du matriel strile par rapport tous les UDI habitant dans la zone du programme.
La relation entre les deux dpend en effet d'une part du taux de pntration dans la population vise (% de la population rejointe), et du taux d'observance de l'action de sant par cette population et les fournisseurs de soins (% d'observance), si bien qu'on peut poser l'quation suivante [35] : Efficacit relle = utilit * % pntration * % observance
28

Deux autres objets d'valuation peuvent complter les trois qui viennent d'tre dcrits : les populations-cibles et l'impact : 4. Populations-cibles. Dans l'aspect organisationnel de l'valuation du processus, F. Champagne inclut le fait de savoir si le programme atteint les populations vises [9]. A l'inverse, J. Beaudry prfre parler de 29 l'valuation d'implantation , qui conduit [] l'identification de la
L'efficacit dans des situations concrtes et relles o des contraintes existent peut encore s'appeler efficacit relle [35] ou efficacit populationnelle [11]. 27 L'utilit dans des conditions optimales peut encore s'appeler efficacit potentielle [35]. De faon plus prcise, l'efficacit d'utilisation concerne la population-cible rejointe dans les conditions du terrain (donc avec une observance plus ou moins grande), alors que l'efficacit thorique et l'efficacit d'essai correspondent des situations o l'intervention est contrle, la premire en laboratoire et la seconde dans un essai exprimental [11]. 28 Le signe * indique une multiplication. 29 L'implantation d'une action ou d'un service dans la population-cible est aussi appele couverture [12],[28],[32] ou pntration [35].
26

43

population qui fait effectivement usage des services mis en place [4]. Il souligne ainsi l'importance de rejoindre la population-cible : la participation de la population-cible constitue une mesure critique de la validit d'un programme. Toutefois, il englobe aussi dans l'valuation d'implantation un second volet qui s'intresse aux ressources et aux activits [4]. Par souci de clart, nous diffrencions ici l'valuation d'implantation prise dans son sens premier (la population atteinte) de l'valuation du processus et de la structure (qui s'attachent respectivement aux activits et aux ressources).

Exemple : la population-cible du programme d'change de seringues en pharmacie est celui des usagers de drogues injectables. Comme ils sont touchs par le biais des pharmacies qu'ils frquentent, les quipes officinales sont une population-cible intermdiaire pour les activits de support et d'approvisionnement.
5. Consquences, retombes, ou impact du programme : Alors que les rsultats sont des changements directement lis aux objectifs du programme, l'impact inclut un grand nombre de changements directs et indirects, voulus ou non voulus, lis ou non aux objectifs explicites du programme, tant sur la population vise que sur la population entire. L'valuation de l'impact peut donc porter sur l'tat de sant de la population, sur l'utilisation des services de sant en gnral ainsi que sur des phnomnes environnementaux, conomiques, sociaux, etc. [9].

Exemple : l'impact attendu du programme d'change de seringues en pharmacie est plusieurs niveaux : - Au niveau sanitaire, une rduction des nouvelles infections (notamment VIH/sida et hpatites B et C) chez les UDI, mais peut-tre aussi une augmentation du recours aux traitements de substitution. - Au niveau social, une meilleure perception rciproque des pharmaciens et des UDI, et plus gnralement un regard social moins stigmatisant pour les UDI. - Au niveau environnemental, moins d'objets piquants-coupants dans les ordures mnagres et les lieux publics.
L'impact est donc une approche large des effets du programme : il 31 comprend la fois la dimension temporelle du long terme , la
30

Dans les campagnes de communication, le terme "impact" est utilis pour dsigner le nombre de personnes qui se souviennent d'avoir vu le film, l'affiche, ou entendu le spot radio (Voir : Roussille B., Arwidson P. L'ducation pour la sant est-elle efficace ? Vanves : CFES, 1998, 45 p.). Ce terme est toutefois impropre puisqu'il s'agit de savoir si la population

30

44

dimension populationnelle, c'est--dire les effets sur une population plus large que la population rejointe ou la population-cible et, finalement, la dimension non spcifique des effets, c'est--dire des consquences plus larges que les rsultats spcifiques du programme, comme les consquences du programme pour le dveloppement sanitaire et social [35]. Ainsi, il est ncessaire de concevoir aussi des systmes d'valuation qui permettent de mesurer les effets non attendus (positifs ou pervers) d'un programme, en plus des effets prvus [15]. Par exemple, le retrait prventif des femmes enceintes de milieux de travail dangereux pour le ftus peut donner des rsultats en terme de rduction de la morbidit et mortalit prinatale, mais peut avoir pour impact une discrimination des femmes pour certains emplois. Les questions de la prennit des effets, de la viabilit des mcanismes d'action mis en place sont galement une composante de l'valuation d'impact. Ils permettent de rpondre la question de la rplicabilit du programme, savoir la possibilit de reproduire ailleurs ce qui a t valid dans un contexte donn [19],[31]. La viabilit s'apprcie en termes institutionnels, financiers et techniques [31]. En rsum, un programme est constitu de cinq lments qui sont, dans l'ordre de leur mise en place sur le terrain : des ressources ("input"), permettant de raliser des activits ou services ("output") en direction d'un ou plusieurs groupes-cibles, qui vont donner des rsultats (autrement dit, atteindre leurs objectifs) ("outcome") et d'autres consquences (impact). Ces lments constituent le cadre logique du programme. Ils peuvent tre figurs sur un schma qui rcapitule les phases de planification et de mise en uvre du programme (Schma 4).

cible a t rejointe : selon la terminologie adopte ici, il s'agit de l'implantation (ou de la couverture). 31 La plupart des auteurs adoptent cette distinction entre rsultats et impact, mais certains les entendent dans le sens oppos (impact = effet court terme, rsultat = effet moyen ou long terme)

45

Schma 4 : Les "objets" du programme : tapes de la planification et de l'action. Source : Fontaine D., 1992 [20]

46

Les cinq grands types d'valuation, vus ci-dessus, ne suffisent pas rpondre toutes les questions de l'valuation. En effet, valuer chaque "objet" du programme ne suffit pas : il faut aussi valuer les liens entre ces "objets" ou composantes. De plus, certains types d'valuation peuvent tre regroups. A nouveau, il faut revenir aux questions poses. On peut regrouper les types d'valuation selon les deux grands buts de l'valuation (Cf. page 20) : l'valuation formative (ou concurrente, concomitante, continue, permanente, dynamique, en cours) et l'valuation sommative (ou rcapitulative, globale, intermdiaire ou finale).

Evaluer les efforts

L'valuation formative a un objectif de rtroaction rapide en vue du pilotage, de l'amlioration, de l'adaptation de la gestion du programme au cours de sa mise en uvre. Cette valuation est centre sur les efforts dploys par les acteurs du programme pour mobiliser les ressources, raliser les activits, et rejoindre les groupes-cibles concerns [20]. Les valuations de la structure, du processus, et d'implantation sont donc les plus intressantes dans ce cas (Cf. Schma 5). Ces trois valuations peuvent tre regroupes sous le terme d'valuation de la mise en uvre [17], ou d'valuation d'implantation prise au sens 32 large [4]. Cette valuation s'intresse au droulement rel du programme [et] permet de connatre la faon dont les ressources ont t utilises, si les activits prvues ont t ralises, les produits et les services offerts (extrants ), la satisfaction [et] le degr d'atteinte [les publics viss], etc. De faon plus globale, elle s'intresse la dynamique interne du programme et aux facteurs tant internes qu'externes qui influencent sa mise en uvre [17]. Elle devrait faire partie des tches routinires de tout organisme [4]. On peut diffrencier deux types d'valuation de la mise en uvre (ou d'implantation), selon la rfrence utilise pour l'apprciation : Dans le cas o les ressources, activits et groupes-cibles sont valus en rfrence la programmation prvue, il s'agit de l'valuation de 33 l'cart entre le programme "idal", c'est--dire le programme tel qu'on l'a planifi et [le] programme "actuel" c'est--dire tel qu'on l'a implant.

32 Ce sens large tant rpandu, nous l'avons conserv. Nous prfrons cependant l'employer dans son sens restreint, qui est l'atteinte des populations-cibles du programme (Cf. page 43). 33 Ou valuation du droulement de l'action [1], valuation oprationnelle [35], valuation normative (qui inclut galement l'atteinte des objectifs) [12].

47

[Elle] est essentielle car souvent les programmes rels sont significativement diffrents de ceux qui avaient t prvus. La ralit d'excution et d'implantation des programmes provoque souvent des ajustements et changements majeurs [9].

Exemple : dans le programme d'change de seringues en pharmacie, l'valuation de l'cart s'intresse la mobilisation relle des ressources (de l'association comme de celle des partenaires) et la mise en place des activits suivant le calendrier retenu, en commenant par le recrutement des pharmacies volontaires, leur formation, la mise en place du protocole d'change de seringues, puis ensuite l'activit d'change de seringue rellement mene, par rapport l'activit qui tait attendue en raison de la file active estime.
Dans le cas o les ressources, activits et groupes-cibles sont valus en rfrence aux objectifs poursuivis (donc la stratgie d'action), il 34 s'agit de l'valuation de la cohrence [1],[31],[33]. Les moyens, ressources, interventions mis en place vont-ils permettre de remplir les objectifs ? [33]. Autrement dit, le programme a-t-il t implant en cohrence avec ses objectifs ?

Exemple : dans le programme d'change de seringues en pharmacie, l'valuation de la cohrence s'interroge sur la capacit des ressources mobilises dans le cadre du programme mener toutes les activits ncessaires pour mobiliser, former et approvisionner les quipes officinales, pour que celles-ci puissent proposer l'change de seringues aux usagers de drogues injectables de faon retenir leur attention et qu'ils disposent du matriel strile et de l'information leur permettant d'utiliser au mieux ce service d'change de kits.

34

Ou analyse du programme [9], analyse logique de l'intervention [12], ou encore valuation tactique [35], qui inclut l'valuation des objectifs spcifiques (valuation des rsultats).

48

Schma 5 : les valuations centres sur les efforts ou la mise en oeuvre Source : Fontaine D., 1992 [20]

49

Evaluer les effets

L'valuation sommative s'intresse aux effets du programme, c'est--dire tout comportement ou tout vnement dont on peut raisonnablement dire qu'il a t influenc par un aspect quelconque du programme [7]. L'valuation des rsultats et l'valuation d'impact, dj vues prcdemment (Cf. pages 42 et 44), sont donc les deux principales valuations faire dans un but sommatif. Elles permettent de rpondre aux deux critres classiques que sont l'efficacit et l'impact : L'efficacit. Le programme a-t-il atteint ses objectifs ? Il s'agit de mettre en lien l'atteinte des objectifs (l'valuation des rsultats) d'une part avec les activits qui ont t implantes et d'autre part avec les objectifs prvus avant le lancement du programme. On a dj diffrenci l'efficacit et l'utilit selon la population concerne (Cf. page 43). L'impact. L'ensemble des consquences du programme, dont on a soulign la globalit, la dure dans le temps, et l'extension plusieurs populations. L encore, il s'agit de mettre en lien les activits et les consquences.

La distinction entre rsultats et impact n'est pas toujours trs pertinente, 35 aussi peut-on les regrouper en valuation des effets , qui s'intresse au degr d'atteinte des rsultats escompts et des autres consquences et porte sur les rsultats spcifiques obtenus par le programme en regard des objectifs pr-tablis ou encore sur les consquences ou l'impact du programme [35]. Deux autres critres sont classiques dans une valuation sommative, l'efficience et la pertinence : L'efficience, ou rendement ("efficiency"), est une valuation conomique qui met en relation les rsultats obtenus et les ressources mobilises. Autrement dit elle est base sur le calcul du cot unitaire du rsultat. Dans ce document, nous navons pas trait ce type d'valuation qui ncessite des analyses de cots pousses et une homognit des rsultats. La question qui est en fait pose l'valuation est plutt celleci : les rsultats obtenus l'ont-il t un cot acceptable ? La question se rapproche de celle de la cohrence entre les ressources et le rsultat. La rponse n'est donc pas un chiffre mais un ordre de grandeur.

Certains auteurs utilisent le terme d'valuation d'impact au sens large pour l'valuation de tous les effets d'un programme, en incluant les rsultats.

35

50

Exemple : dans le programme d'change de seringues en pharmacie, l'valuation de l'efficience s'intresserait au cot du kit neuf utilis par un usager de drogue injectable avec destruction d'un kit usag.
La pertinence. Le programme existe en fonction d'une situation problmatique identifie et analyse lors de la phase de planification. Quelle peut tre la contribution du programme la solution des problmes identifis ? [35]. L'valuation stratgique vise apprcier l'adquation entre le programme et les problmes rsoudre. En d'autres termes, il s'agit de juger de la pertinence des objectifs du programme en regard des problmes qui affectent la population en question [35]. Cette valuation peut galement s'appeler valuation de la 36 pertinence et R. Pineault et C. Daveluy diffrencient l'valuation de la pertinence thorique qui se situe ex-ante, au moment de la planification et l'valuation de la pertinence relle ou empirique qui se situe la fin du programme [35]. La pertinence relle prend en considration tous les effets du programme, rsultats et consquences. Elle s'alimente pour ainsi dire l'valuation des rsultats et l'valuation d'impact, en les inscrivant dans un contexte de pertinence par rapport au contexte plus large dans lequel les problmes de sant sont poss et les priorits tablies. Il y a donc un lien trs troit entre l'valuation d'impact et l'valuation de la pertinence relle [35]. Elle met donc en relation l'impact du programme (incluant les rsultats) et la situation problmatique qui l'avait justifi. Cette conception [de la pertinence] suppose d'avoir dvelopp une capacit d'analyse et de diagnostic social [10] avant le dbut du programme.

Exemple : dans le programme d'change de seringues en pharmacie, l'valuation stratgique s'interroge sur la pertinence de la distribution des kits striles en officine en retour de matriel usag pour lutter contre l'pidmie d'infections VIH/sida et d'hpatites virales B et C qui touche frquemment les usagers de drogues injectables.
Les trois principales valuations dans un but sommatif sont donc l'valuation des rsultats, lvaluation d'impact, et l'valuation de la pertinence (ou valuation stratgique) (Schma 6). L'valuation des effets est celle qui retient le plus d'attention. Cependant, il faut d'abord s'intresser aux ressources et aux activits, car c'est en les reliant aux effets que l'valuation prend son sens. Si le programme tudi ne
36 R. Pineault et C. Daveluy mettent en garde contre l'utilisation du terme valuation de l'adquation pour l'valuation de la pertinence, car l'adquation devrait tre rserve aux ressources, donc l'valuation de la structure [35].

51

rejoint pas la population cible pour laquelle il a t conu ou si les oprations prvues ne sont pas appliques de faon consquente avec les objectifs de l'intervention, on ne peut pas s'attendre ce que ses rsultats [] soient pertinents ou mme senss [4]. Autrement dit, l'valuation des efforts est une tape pralable l'valuation des effets. Schma 6 : Les valuations centres sur les effets Source : Fontaine D., 1992 [20]

52

2me PARTIE :

LA PRATIQUE DE L'EVALUATION :

METHODES ET ETAPES

53

Chapitre 5 : Comment valuer ? La mthodologie

Lessentiel : Chaque programme est unique par ses acteurs, ses objectifs, ses activits et son contexte. Il n'y a pas de "recette" en valuation. Une bonne mthodologie comporte la fois des lments d'analyse selon la rationalit des objectifs du programme (modle ax vers les buts) et des lments d'analyse selon les rationalits des acteurs dans leur environnement (modle systmique). Le modle ax vers les buts s'inscrit dans les mthodes de la recherche en pidmiologie. Il cherche mettre en vidence un lien entre une intervention et des effets. Il est souvent plus appropri pour l'valuation des rsultats. Le modle systmique s'inscrit dans les mthodes de la recherche en sociologie. Il est souvent plus appropri pour l'valuation du processus et de l'impact. Le recueil d'information fait appel la recherche documentaire, l'observation, aux entretiens et aux enqutes par questionnaires ou par entretiens. Les points cls de la mthode d'valuation concernent les "mesures" (validit des indicateurs) et lapprciation critique porte sur celles-ci (construction des critres et des normes en rfrence un systme de valeur). Ceci donne d'autant plus d'importance la rigueur mthodologique. La diversification des sources de donnes et des mthodes de recueil, ou "triangulation", est un lment important pour renforcer la validit de l'valuation.

54

Les mthodes d'valuation drivent des mthodes de la recherche : soit de la recherche pidmiologique, soit de la recherche en sciences sociales. Ces deux champs correspondent deux modles ou paradigmes diffrents du programme et de son valuation. Le programme est-il considr d'abord comme une entit finalise et rationnelle, ou un systme dynamique complexe ? Privilgie-t-on l'observation extrieure ou les interactions ? L'objectivit ou les subjectivits ? L'approche quantitative ou qualitative ? [35],[14]. On peut concevoir le programme soit comme une entit rationnelle axe vers les buts, soit comme un systme complexe d'interactions (Cf. encadr 11). Encadr 11. Deux modlisations du programme. Dans le premier modle, l'organisation est conue comme une entit simple poursuivant un ou des buts facilement identifiables. Toutes les activits sont orientes vers la poursuite de ces buts et l'valuation [] consiste savoir jusqu' quel point le programme mis en place a atteint le but principal tabli au dpart [35]. Ce modle rationnel ou ax vers les buts, a t le modle dominant en valuation. Ce type d'valuation vise essentiellement apprcier les rsultats obtenus, sans trop se proccuper des processus qui interviennent lors de l'implantation du programme [35]. Le deuxime modle, au contraire, dfinit l'organisation comme un systme complexe et dynamique poursuivant [] des buts [] beaucoup plus fluides et instables [] et constamment redfinis par les acteurs en prsence dans l'organisation et dans l'environnement [35]. Dans ce modle systmique, l'accent est donc davantage plac sur les processus organisationnels mis en place pour assurer le fonctionnement et la survie de l'organisation. Les critres d'valuation de la performance sont alors tablis par rapport l'utilisation optimale des ressources pour tenir compte de la nature changeante de l'organisation, des multiples acteurs et de leurs points de vue divergents. La difficult est de dterminer dans un tel contexte ce qui est optimal [35]. La sociologie des organisations propose un modle danalyse des enjeux des acteurs dans la situation. Il sagit danalyser la place de lacteur dans le systme, pour comprendre les stratgies quil va dvelopper afin de garder ou modifier sa position en fonction de celles des autres acteurs prsents. Lanalyse de ces enjeux permet frquemment de reprer les zones de pouvoirs et la performance du systme. Par exemple, l'analyse institutionnelle repose sur une identification des acteurs et institutions, de leurs rapports entre eux (ou contrats), de leurs valeurs (ou conventions) et des modles d'action privilgis [22].

55

Modle ax vers les buts ou modle systmique ?

Au modle ax vers les buts correspond une approche d'valuation base sur la dmarche hypothtico-dductive utilis en biologie. Elle privilgie les donnes quantitatives, l'objectivit, la distance par rapport aux observations, l'approche fragmentaire [35]. Il est associ l'valuation sommative [35], et plus particulirement l'valuation des rsultats. Au modle systmique correspond une approche d'valuation base sur la dmarche inductive utilise en sciences humaines et sociales. Elle privilgie les donnes qualitatives, la subjectivit, la proximit des milieux d'observation, l'approche holistique [35]. Ce modle est surtout associ l'valuation formative, [qui] permet, grce une rtroaction continue, de rajuster ou de modifier certains lments du programme pour en amliorer la performance [35]. Il est galement intressant dans l'valuation sommative. En effet, rpondre la question "est-ce que a marche ?" ne suffit pas, encore faut-il pouvoir rpondre aux questions "pourquoi a marche ?" et "comment a marche ?". C'est l'enjeu d'une dmarche valuative qui ne soit pas oriente vers la ncessit d'obtenir des rsultats quantifiables [2]. Aucune de ces deux approches n'est meilleure que l'autre : diffrentes mthodes sont indiques pour diffrentes situations. Il est donc prfrable d'identifier et d'organiser les preneurs de dcision et utilisateurs de l'information produite par l'valuation pour dfinir partir de leurs besoins la 37 ou les mthodes utiliser, ou protocole d'valuation [35]. L'valuateur devrait tre suffisamment souple dans sa dmarche pour tre en mesure d'adapter ses approches et ses mthodes aux questions envisages. L'application de mthodes hypothtico-dductives ncessite une comprhension nuance et dtaille tant de l'intervention que des rsultats qu'elle entend produire et l'application de mesures qualitatives enrichit et complmente les informations recueillies partir de mesures essentiellement quantitatives [4] Nous allons dtailler d'abord l'approche systmique, base sur la mthode sociologique, puis l'approche axe vers les buts, base sur la mthode pidmiologique.

37

Les Nord-amricains utilisent le terme de "devis" (en anglais device), que nous n'avons pas repris car il dsigne en France l'estimation des prix pour un travail demand.

56

L'approche systmique du processus et de l'impact

La mthode sociologique, qui drive de la recherche en sciences humaines et en sciences sociales, est de plus en plus utilise. Elle est base sur le recueil de donnes de nature qualitative obtenue au moyen d'tudes de cas, d'observations participantes, et d'entretiens semi-directifs. L'valuateur vise la comprhension d'un phnomne par sa description plus ou moins exhaustive, cherche avant tout dcrire et comprendre le fonctionnement du programme, identifier les informations que dsirent obtenir ceux qui sont engags dans l'intervention et slectionner les mthodes de recherche qui conviennent plus particulirement aux interrogations souleves [4]. Elles conviennent particulirement aux valuations formatives, o c'est la rtroaction qui est vise. Elle est utilise dans l'valuation du processus et de l'implantation. Elle sert galement dans l'valuation d'impact, pour identifier des effets imprvus, et dans l'valuation de la pertinence du programme. Les outils utiliss sont : la recherche documentaire ( la recherche d'autres expriences voisines), la lecture des dossiers et archives du programme, l'observation directe des ralisations du programme, les opinions d'experts, de responsables, de personnes concernes par le programme, de bnficiaires, exprimes lors d'enqutes ou d'entretiens collectifs ou individuels [31]. Ces mthodes se rclament d'une rigueur scientifique aussi contraignante que celle des mthodes statistiques. Il faut sortir des approches intuitives et trop personnelles. Produire des connaissances, c'est sortir d'une approche trop subjective ou approximative, fonde sur des perceptions et des expriences individuelles ; c'est mettre en place et assurer rgulirement un recueil de donnes rpondant des rgles prcises [33]. Quatre types de donnes peuvent tre recueillies : il faut s'entendre sur les valeurs, dfinir les critres et indicateurs, se constituer un recueil de donnes d'activits, et recueillir le point de vue du public. S'entendre sur les valeurs. La question des valeurs qui sous-tendent le programme est rarement discute. Or en matire de prvention et de promotion de la sant, un mme objectif peut recouvrir des visions trs diffrentes de ce qu'est la sant, la sexualit, l'insertion sociale. [] Dbattre de ces questions est fondamental et devrait tre fait au dmarrage du programme, mais si a n'a pas t le cas, la mise en place d'une valuation obligera le faire [33]. Dfinir des critres qui permettront de dcrire l'atteinte des objectifs. Chacun de ces critres sera traduit en indicateurs qui pourront s'exprimer

57

en terme de prsence ou d'absence. Il s'agit de dcomposer l'objectif principal, ou l'tat auquel on souhaite arriver, en tapes ou en tats intermdiaires que l'on peut dfinir et dcrire ou mesurer. Les indicateurs [] serviront la construction d'un recueil de donnes. Tous les indicateurs auxquels on peut penser pour valuer une action ne sont pas forcment accessibles ou d'un intrt gal. Il faudra trier, et retenir ceux qui sont les plus utiles l'valuation et qui ne posent pas trop de problmes documenter [33]. On peut se servir d'indicateurs utiliss dans le cadre d'activits similaires dj values [2], ce qui facilite les comparaisons. Cinq catgories de mesures de changement sont utilises dans les tudes valuatives en ducation pour la sant : 1 lacquisition de connaissances, 2 la variation dattitudes, 3 la modification dclare de comportement, 4 l acquisition daptitudes ragir face une situation, 5 la modification dun certain nombre de caractristiques personnelles [26]. Encadr 12. Il n'y a pas de "recette" en valuation de programme. Dans une approche systmique, on ne peut concevoir un modle d'valuation standard, qui puisse tre appliqu tout programme, comme une "recette". Chaque programme est diffrent, de par ses actions, son contexte, ses objectifs, et il lui faut des critres et indicateurs d'valuation qui lui soient propres. Les indicateurs standardiss, qui sont intressants pour les comparaisons, sont souvent peu interprtables pour un programme donn. Ceci est particulirement vrai pour les programmes d'ducation pour la sant, qui ont leur spcificit. Ce qui est spcifique, ce sont les objets de l'valuation due la nature de l'action d'ducation pour la sant. L'valuation s'adaptera cette spcificit par le choix des indicateurs, des critres, des instruments, du recueil d'information, des analyses. Mais la nature de l'valuation ne change pas [16]. Pour l'valuation du processus, il faut se constituer un recueil de donnes d'activit tout au long de l'action. Les activits ne se limitent pas celles en direction du public vis. Il y a aussi les activits de coordination et concertation avec les financeurs, partenaires et dcideurs, et les activits de communication. Le recueil de donnes fait aussi appel des indicateurs. Comme pour les objectifs, on ne peut pas tout recueillir. Il faut se laisser guider par la faisabilit (donnes observables, faciles dfinir, recueillir, temps de recueil pas trop long) et l'utilit (certaines donnes ne prsentent que peu d'intrt pour l'valuation du processus ou des rsultats). Chaque activit que l'on veut valuer demande un recueil de donnes spcifiques. Il

58

ne faut cependant pas oublier les sources d'information "naturellement" disponibles, comme les compte-rendus de runion, les lments de communication [33]. Le recueil des donnes peut tre complt par le point de vue du public auquel est destin laction [33]. Des entretiens semi-directifs ou des enqutes de satisfaction, par exemple, peuvent servir de base de donnes. Le recueil de donnes relve de deux approches complmentaires : les enqutes qualitatives et les enqutes quantitatives. Les enqutes qualitatives utilisent des outils tels que : Lentretien individuel partir dune grille dentretien construite par lvaluateur en fonction des questions poses et des donnes quil cherche recueillir. Les entretiens individuels sont arrts lorsqu'on aura atteint ce qu'on appelle la saturation des donnes ; ceci signifie que mme si on ajoutait des rpondantes ou rpondants, ceux-ci n'apporteraient plus rien de nouveau aux rponses dj recueillies [21]. La saturation se produit dautant plus rapidement que la population tudie est homogne dans ses caractristiques et ses comportements, souvent entre quinze et trente entretiens. Les entretiens collectifs et groupes focaux lors desquels plusieurs partenaires sexpriment partir de questions pralablement labores, en apportant le plus de prcisions possibles eu gard aux connaissances de chacun. L'entretien de groupe a l'avantage de permettre l'interaction entre les participants, qui peuvent construire ainsi un aperu de l'objet. Il permet aussi dapprcier les normes en matire de reprsentation et de comportements. Le groupe focal diffre de l'entretien collectif par la composition du groupe et par l'objectif de la runion. Le groupe focal regroupe des personnes diversifies connaissant bien le sujet et ayant une grande capacit s'exprimer ; il a pour but de diversifier les points de vue plus qu'aboutir une construction commune ; il ncessite une animation par un "facilitateur" [21]. La participation des runions institutionnelles, apportant des lments sur le processus de travail du programme valuer, ou la lecture de comptes-rendus de runions et tous documents pouvant rendre compte de ce processus.

59

Encadr 13. Raliser des entretiens et les analyser. Lentretien est un procd dinvestigation scientifique, utilisant un processus de communication verbale, pour recueillir des informations, en relation avec le but fix [23]. Il s'appuie sur une grille dentretien qui saisira les matriaux les plus significatifs par rapport lobjectif poursuivi par lvaluation. Pour la conduite dun entretien, lenregistrement est parfois utilis mais, dans la pratique, il nest pas toujours possible (il est parfois mal accept, et sa retranscription et son exploitation sont coteuses). Une fois les entretiens termins on vrifie la concordance et luniformit des rponses. Ensuite on sinterroge sur la pertinence dtudier les interviews par personne ou de rassembler les rponses de tous les enquts question par question [23]. Toutefois, dans une premire tape, les rponses par enqut doivent toujours tre examines, car elles seules font apparatre les contradictions ou, au contraire, le lien entre certaines questions qui se compltent. Elles permettent galement de mieux juger le travail de lenquteur. Ce nest quensuite que lon aborde, sil y a lieu, ltude de toutes les rponses, question par question. Ce tableau reflte mieux lopinion globale de lchantillon sur un point prcis, il est indispensable pour pratiquer une analyse de contenu gnrale, ensuite on procde lanalyse de contenu des propos recueillis. Lanalyse de contenu, est une technique de recherche pour la description objective, systmatique et quantitative, du contenu manifeste des communications, ayant pour but de les interprter [23] : Objective. lAnalyse doit procder selon des rgles, obir des consignes suffisamment claires et prcises pour que des analystes diffrents, travaillant sur le mme contenu, obtiennent les mmes rsultats. Ceci suppose quils se soient mis daccord sur les aspects analyser, les catgories utiliser et la dfinition oprationnelle de chaque catgorie. Systmatique. Tout le contenu doit tre ordonn et intgr dans les catgories choisies, en fonction du but poursuivi. Des lments dinformation ayant trait lobjectif ne doivent pas tre laisss de ct. Quantitative. Le plus souvent, il sagit de dnombrer des lments significatifs, de calculer leur frquence, etc. Mais cette condition nest pas indispensable et certaines analyses de type qualitatif recherchent les thmes plus quelles ne les mesurent [23].

60

Les enqutes quantitatives sadressent un plus grand nombre de personnes par lintermdiaire de questionnaires proposant des questions fermes ou choix multiples. Ce type de recueil de donnes permet de reprer des rgularits sur un point prcis et de dgager des points de vue dominants. Il est plus souvent utilis dans lapproche pidmiologique. Les questions peuvent porter sur la perception d'une action ou sur ses effets, par exemple le degr de satisfaction, degr d'atteinte des objectifs [ou] la frquence de comportements, d'attitudes, de savoirs, de reprsentations ou de croyances [33]. L'approche qualitative est prfrable au questionnaire quand le retour des questionnaires risque de poser problme (population mouvante, public peu l'aise avec l'crit) ou quand les domaines explors sont complexes (les questions ouvertes risquent alors d'avoir des rponses gnrales ou trop vagues) [33]. Encadr 14. Les rgles thiques des enqutes Quel que soit le type d'enqute, il y a des rgles thiques respecter. Les principales sont : le consentement libre et clair des rpondants, le droit de se retirer de l'tude sans prjudice, l'anonymat des rpondants, la confidentialit des rponses individuelles, et la demande d'autorisation de citer des passages s'il s'agit d'entretiens. Lorsque les rpondants sont mineurs, il faut obtenir l'autorisation des parents ou tuteurs [30],[21]. Il convient d'tre particulirement vigilant sur ces rgles thiques lorsqu'on a affaire une population "captive" telle que des jeunes en milieu scolaire.

L'approche pidmiologique des effets

La mthode pidmiologique pose comme hypothse l'existence d'une relation entre le programme (variable indpendante) et les effets dsirs (variable dpendante). La vrification de cette hypothse requiert ensuite un protocole de recherche [35]. Ce protocole dcrit les donnes qui devront tre recueillies, leur mode de recueil, et la faon dont elles seront analyses. Il s'agit ici d'analyse statistique qui va permettre dans un premier temps de dcrire les effets de faon quantitative et dans un second temps de raliser des tests statistiques reliant ces effets diffrents facteurs dont la participation au programme.
Seule l'pidmiologie valuative (qui analyse les effets des interventions) est prsente ici. L'pidmiologie comporte classiquement deux autres domaines qui ne sont pas abords ici: l'pidmiologie descriptive (qui vise informer sur une situation sanitaire) et l'pidmiologie analytique (qui met en relation des tats de sant avec des facteurs de risque).
38

38

61

Rappelons que tester cette relation entre programme et effets ne peut se faire qu'aprs une analyse du programme et de son implantation, pour montrer la ralit de l'atteinte des bnficiaires, une certaine homognit 39 ou stabilit des interventions, ainsi que pour dfinir "l'exposition " ces interventions. Evaluer veut dire comparer et la comparaison la plus habituelle, pour valuer une intervention prventive ou thrapeutique consiste en celle de deux groupes : un groupe de sujets bnficiant de l'intervention valuer, ou groupe intervention, et un groupe de sujet n'en bnficiant pas, le groupe 40 tmoin [5]. A partir de cette comparaison, on souhaite porter deux jugements : un jugement de signification (est-ce que les rsultats dans le groupe [intervention] sont significativement meilleurs que dans le groupe [tmoin] ?) et un jugement de causalit (est-ce que la diffrence de rsultats constate est explique par la diffrence entre les deux interventions ?). Le jugement de signification dpend de calculs statistiques. Dans le jugement de causalit intervient pour une grande part la mthodologie de l'tude d'valuation et en particulier son adquation aux objectifs de l'tude [5]. La validit interne [de l'valuation] permet de conclure que l'effet obtenu est rellement d la variable indpendante et non des facteurs ou variables de confusion ("confounding factors"), l'effet de ces dernires ayant t pris en considration et contrl dans le [protocole]. La validit interne est garantie lorsqu'on contrle l'influence des variables concomitantes ou variables de confusion sur l'effet du programme. Une variable de confusion est une variable qui est associe aussi bien la variable indpendante (le programme) qu' la variable dpendante (l'effet du programme) [35]. Exemple de variable de confusion : un programme de cours prnatals est organis pour amliorer les connaissances et les comportements de sant des femmes durant la grossesse. Ces connaissances et comportements sont mesurs par un test avant les cours (prtest) et aprs (postest). Si une srie d'missions de tlvision sur la sant des femmes enceintes est diffuse en mme temps que les cours, on ne sait pas si la diffrence observe entre les deux tests est due aux cours prnatals ou aux missions de tlvision. Le facteur "mission de tlvision" est un facteur de confusion dans la relation entre le programme (les cours prnatals) et l'effet sur les connaissances et comportements mesur par les tests.
Par analogie avec la liaison d'une maladie avec l'exposition un facteur de risque, on teste ici un tat de sant (ou tout autre effet) en relation l'exposition une intervention, qui l'inverse d'un facteur de risque est suppose avoir un effet protecteur. 40 Ce groupe tmoin n'est soumis aucune intervention ou bnficie de l'intervention habituelle selon le cas.
39

62

Lorsqu'on ralise une comparaison, le risque majeur de biais est li la non-comparabilit des groupes tudis, c'est--dire au fait que les deux groupes diffrent sur d'autres points que l'intervention. Deux sont particulirement importants : le comportement vis--vis de la prvention et les caractristiques pronostiques des deux groupes compars. []. Les solutions proposes pour viter [les] biais [] sont de deux ordres : l'exprimentation et le tirage au sort [5]. L'exprimentation signifie que l'observateur choisit la population laquelle l'intervention doit tre applique, dcide du moment de cette application, et met en place les moyens d'informations ncessaires l'valuation. Un avantage important est d'assurer que la mise en place de l'intervention ne s'accompagne pas d'autres modifications de comportement vis--vis de la prvention [5] Le tirage au sort [ou randomisation] veut dire ici que l'appartenance au groupe [intervention ou tmoin] est dtermin de faon alatoire. Cette faon de procder a pour but d'assurer que les deux groupes sont comparables pour tous les facteurs pronostiques (connus ou inconnus) [5].

41

Il y a trois grands types de protocoles, par degr de validit interne dcroissant : exprimental, quasi-exprimental, et pr-exprimental (ou d'observation) [3] (Cf. encadr 15). Encadr 15. Les protocoles d'tudes pidmiologiques. 1. Protocole exprimental : c'est l'essai clinique randomis (randomized clinical trial) : l'investigateur exerce un contrle sur l'intervention et procde l'allocation des sujets de faon alatoire [en deux groupes] suivis et compars en regard de certains indices d'impact. Pour minimiser les biais 42 possibles, la randomisation devrait de prfrence s'effectuer double insu , sans que le sujet et le thrapeute participant l'tude ne connaissent l'appartenance des sujets randomiss aux groupes constitus [3]. Le tirage au sort peut tre individuel (pour une intervention individuelle) ou par groupe (pour une intervention collective). L'unit de tirage au sort est la plus petite unit d'intervention [5]. Ce protocole est le plus valide, mais il pose des problmes : cot lev, dure longue, groupes pas toujours reprsentatifs, perdus de vue,
Biais : erreurs systmatiques dans la mesure par rapport aux valeurs relles. Double insu, ou double aveugle : ni les sujets ni l'exprimentateur ne savent l'appartenance des sujets un des deux groupes (groupe exprimental ou groupe tmoin). Simple insu, ou simple aveugle : seuls les sujets ignorent leur appartenance un des deux groupes.
42 41

63

problmes thiques [3],[35]. De plus, il n'est pas toujours possible de rpartir les sujets au hasard. 2. Protocole quasi-exprimental : l'intervention est contrle par l'investigateur mais la randomisation (le tirage au hasard) est impossible. On distingue les tudes ici-ailleurs et avant-aprs : * Les tudes ici-ailleurs comparent deux groupes gographiquement distincts, un groupe expos l'intervention, et un groupe tmoin qui ne l'est pas. Les problmes des protocoles ici-ailleurs sont les mmes que pour le protocole exprimental, ainsi que l'absence de contrle des variables de 43 confusion non identifies par le chercheur, et l'absence d'insu . Ces biais favorisent habituellement le groupe expos [3]. D'autre part, il faut s'assurer de l'tanchit de l'intervention, car le groupe tmoin ne doit pas tre concern par l'intervention tudie [22]. * Les tudes avant-aprs concernent un groupe observ avant et aprs l'intervention (pr-test et post-test) [3],[5]. Le problme est un effet de confusion de l'histoire (des vnements importants non contrls survenant en mme temps que l'intervention). Il est possible de faire plusieurs mesures avant et aprs le programme (sries chronologiques). Il est possible de combiner les deux mthodes avant-aprs et ici-ailleurs : un groupe tmoin peut aussi tre observ avant et aprs l'intervention pour prendre en compte l'volution spontane hors du programme (effet de maturation, ou effets d'autres vnements). Les protocoles quasi-exprimentaux sont les plus valides lorsque la randomisation n'est pas possible, sous rserve d'une bonne analyse des risques de biais. 3. Protocole pr-exprimental ou d'observation : l'investigateur ne contrle pas l'intervention et ne peut randomiser. Les rsultats de ce type d'tudes sont interprter avec prudence, car le risque de biais est ici trs important. On distingue deux types d'tudes d'observation, qui toutes deux 44 sont rtrospectives [3] : les tudes cas-tmoins et les tudes transversales. * Etudes cas-tmoin : deux groupes sont constitus selon un tat final et compars en fonction de leur participation antrieure l'intervention et

Voir note prcdente. Les tudes rtrospectives se situent aprs l'intervention et s'intressent la faon dont la personne a t "expose" celle-ci. Elles se diffrencient des tudes prospectives prsentes dans les protocoles exprimentaux et quasi-exprimentaux o on constitue avant l'intervention des groupes qu'on suit jusqu' la fin de celle-ci.
44

43

64

d'autres facteurs explicatifs. Les difficults sont de constituer le groupe tmoin et de contrler les variables de confusion [3]. * Etudes transversales : il s'agit d'enqutes dans une population o on mesure simultanment la participation l'intervention et un tat final [3]. Les tudes d'observation sont de ralisation rapide, peu coteuses et ne posent pas de problmes thiques, mais leur validit est conditionne par une bonne analyse des risques de biais. Les biais possibles sont trs nombreux dans les tudes valuatives. Ils peuvent tre dus l'histoire (des vnements autres que le programme), la maturation (l'volution spontane des personnes), aux tests et aux instruments de mesure (qualit et reproductibilit des mesures, rgression statistique vers la moyenne), la slection des personnes (non comparabilit des groupes au dpart ou suite des abandons). Les facteurs de confusion les plus connus peuvent cependant tre neutraliss, soit par le protocole dans le recrutement des groupes tudis (appariement, stratification), soit au moment de l'analyse par des techniques statistiques (standardisation, analyse multivarie) [35]. Les nombreux obstacles la validit interne des tudes valuatives font qu'il vaut mieux s'y engager avec l'aide d'une personne qualifie et qu'il ne faut pas trop faire "parler" les chiffres. Reste la dernire question, une fois qu'une diffrence entre groupes a t mise en vidence et a t attribue au programme : ces rsultats peuvent-ils tre gnraliss un ensemble d'individus plus grand que celui tudi ? La validit externe permet de gnraliser les rsultats une population plus grande ou d'autres situations ou contextes plus larges [35]. C'est la reprsentativit de l'chantillon tudi qui permet d'extrapoler les rsultats toute une population [35]. A dfaut de tirage au sort, qui est la meilleure mthode, on s'approchera de la reprsentativit par des critres comme le sexe, l'ge, le lieu de rsidence, le niveau socio-ducatif [33].

65

Encadr 16. Raliser une enqute par questionnaire et l'analyser. Les tudes valuatives s'appuient sur des enqutes quantitatives qui s'adressent un grand nombre de personnes (le plus souvent plusieurs centaines) [33]. Elles sont bases sur des questionnaires qui peuvent tre remplis par un enquteur ou auto-administrs. Ils visent recueillir des donnes gnrales sur les personnes, des donnes sur l'intervention et sur les facteurs de confusion connus, et des donnes de rsultat ou d'impact. Comme on l'a vu, les questionnaires descriptifs peuvent galement servir valuer les opinions des personnes cibles sur la qualit de l'intervention. Le questionnaire doit tre aussi court que possible : il faut cibler les questions sur des choses pertinentes, utiles, significatives pour l'valuation. Si on utilise un questionnaire dj existant, il faut obtenir l'autorisation de l'utiliser. Si on construit le questionnaire soi-mme, il faut suivre quelques rgles : privilgier les rponses fermes (oui/non, chelle numrique ou 45 semi-quantitative , liste de rponses au choix), utiliser des mots simples et non ambigus, formuler des questions affirmatives (sans ngation), vrifier qu'il n'y a qu'une seule question par nonc. Enfin, il est recommand de tester le questionnaire auprs de quelques personnes du groupe interroger avant la passation gnrale [21]. L'analyse des donnes est d'abord descriptive, et consiste calculer les distributions de frquences des rponses, ou des moyennes pour les variables quantitatives [21]. Des analyses croises ou multivaries permettront d'effectuer les tests statistiques liant les effets observs et l'intervention.

Les points cls de l'valuation : mesure et apprciation

La validit de l'valuation repose en premier lieu sur le protocole de l'valuation, dans le choix des mthodes et des critres. Elle repose ensuite sur la validit des instruments de mesure que sont les indicateurs et la qualit de leur recueil, ce qui pose la question de la validit des dclarations recueillies dans les questionnaires ou par entretiens. Elle repose enfin sur la validit de l'apprciation, donc de la rfrence qui sert de comparaison. La validit des mesures a deux grandes composantes, la fiabilit et la validit :

45

Par exemple : pas du tout, un peu, beaucoup, tout fait.

66

Une mesure fiable est celle qui produit des rsultats constants lorsqu'elle est applique de faon rptitive. Il s'agit donc ici de la variation due au hasard (random error). Autrement dit, plusieurs mesures faites par des observateurs diffrents ou des moments diffrents doivent donner le mme rsultat. La fiabilit est une condition ncessaire, mais non suffisante, pour la validit [35]. La validit d'une mesure renvoie la capacit de celle-ci mesurer rellement ce qu'elle doit mesurer. En d'autres termes, une mesure 46 valide reprsente rellement l'objet de la recherche [35].

Ces questions de validit sont centrales dans l'valuation des programmes de prvention sanitaire, de promotion de la sant, ou de dveloppement social. L'tat de sant d'une population [] est une notion trs abstraite. Les actions de prvention et de promotion de la sant [] visent [souvent] des modifications ou des adaptations des comportements []. Mais les comportements humains sont complexes et les facteurs qui les influencent sont eux-mmes complexes. Les comportements ne sont pas seulement influencs par les connaissances, ou par des lments rationnels. Bien d'autres facteurs, culturels, sociaux, conomiques, juridiques et politiques entrent en jeu. D'autre part, la plupart des comportements humains lis la sant sont difficilement observables, du moins dans leur totalit []. Enfin, modifier un comportement ou l'adapter en fonction de donnes nouvelles prend du temps [et] maintenir cette modification du comportement n'est pas facile [33]. De plus, il est souvent plus pertinent de s'intresser aux pratiques des individus, cest dire leurs comportements (re)contextualiss dans leur environnement. Cette approche comprhensive oblige prendre en considration les lments sociaux et familiaux explicatifs de la stabilit ou des changements des comportements de la personne. En soi, le comportement nest rien sans lanalyse du contexte dans lequel il se dveloppe, perdure ou se transforme. Ce contexte est compos dlments dont les interactions vont plus ou moins dterminer ou permettre les modifications de penser, dtre ou les manires de faire du sujet. Ces difficults obligent interroger systmatiquement la validit des indicateurs, parfois complexes (par exemple, la qualit de vie, l'estime de soi), et des modles explicatifs qui sont utiliss lors d'une valuation des rsultats. Il est donc recommand de diversifier les indicateurs pour aborder le mme concept sous plusieurs angles, d'utiliser des outils dj valids et
On peut distinguer la validit de contenu, qui consiste, pour la mesure, reprsenter toutes les dimensions, tous les aspects du concept qu'elle mesure, la validit de critre [qui] consiste comparer une mesure avec une autre variable extrieure au phnomne tudi, et la validit de construit [qui] repose sur la thorie relative au domaine tudi [35].
46

67

de ne crer les siens que si aucun outil n'existe dj, et enfin de "trianguler" (Cf. encadr 17). Encadr 17. Renforcer la validit par la "triangulation". La "triangulation" est une barrire de scurit qui renforce la crdibilit de l'valuation. Elle consiste tudier la concordance ou la discordance entre diffrentes donnes, sources de donnes ou mthodes de collecte de donnes sur un mme phnomne (l'objet d'valuation). Il y a donc trois triangulations possibles [21] : Triangulation des donnes : il s'agit de comparer un groupe de donnes avec un autre, que les sources et les mthodes de collecte soient ou non les mmes. Par exemple, comparer les changements d'attitude dcrits par des usagers avec les objectifs atteints par des intervenants dans un programme semblable ; ou croiser la satisfaction des participants avec leur acquisition de connaissances. Triangulation des sources : il s'agit de prendre une mme technique [] mais l'appliquer des sources de donnes diffrentes. Par exemple, comparer l'apprciation d'usagers et d'intervenants, vus chacun en entretien de groupe, sur le programme. Triangulation de la mthode : il s'agit d'appliquer des moyens ou des techniques d'valuation diffrents [] pour produire les mmes genres d'information [], ce qui permettra de voir si un groupe de donnes confirme ou non l'ensemble de donnes produites par l'autre moyen. Par exemple, analyser le degr de satisfaction des usagers par enqute par questionnaire et par entrevue de groupe [21].

Outre les problmes de mesure qui viennent d'tre voqus, la validit de l'valuation dpend de la validit de l'apprciation qui est donne, donc de celle des normes qui servent de comparaison. Rappelons que la norme ou standard est la valeur du critre ou de l'indicateur qui est considre comme acceptable (Cf. page 24). Les normes peuvent tre tablies de deux faons : 1) de faon normative, c'est--dire gnralement partir du jugement et de l'opinion d'un groupe d'individus bien informs et considrs comme comptents dans le domaine ; ou 2) de faon empirique, c'est--dire sur la base d'expriences antrieures provenant soit de la recherche, soit de la comparaison avec d'autres systmes ou programmes jugs semblables [35].

68

Les normes peuvent tre de diffrents registres : normes biologiques (par exemple, la dure de la grossesse), normes administratives (par exemple, quatre consultations prnatales pour le suivi d'une grossesse normale), normes professionnelles de qualit (par exemple, recherche d'albumine dans les urines chaque consultation prnatale), normes dfinies dans le cadre du programme (par exemple, les objectifs fixs, les activits dcides, les ressources devant tre mobilises). Les critres et les normes peuvent tre implicites ou explicites. Les critres et normes implicites ne sont pas fixs l'avance, mais plutt laisss au jugement de l'valuateur : on fait confiance sa connaissance du sujet. Les critres et normes explicites sont tablis d'avance : ils sont alors connus et utiliss de faon uniforme par les valuateurs [35]. Evidemment, le problme pos par les critres et les normes est principalement celui de la validit. Ils peuvent tre dfinis par les professionnels, les bnficiaires, un groupe de pression, les politiques : selon les individus concerns, les critres et les normes risquent d'tre dfinis de faon fort diffrente [35]. De plus, il n'y a pas de normes pour tout. On peut tre amen examiner des activits [] pour l'valuation desquelles il n'existe pas d'indicateurs ni de critres appropris. Dans ces cas, on posera des questions pertinentes sur l'activit valuer [34] : le recours aux normes implicites s'impose, celles-ci devant tre discutes par les acteurs du programme.

69

Chapitre 6 : Les tapes de lvaluation

Lessentiel : La mise en uvre d'une valuation passe par quatre tapes : 1. Avant de lancer une valuation, il faut au pralable s'assurer qu'elle est pertinente et ralisable. 2. La prparation de l'valuation consiste mettre en place un comit d'valuation, dfinir (ngocier) les questions d'valuation, les objets de l'valuation, les critres et les mthodes de recueil des informations, consigner ces lments dans un cahier des charges, puis mobiliser les ressources. 3. La ralisation de l'valuation consiste collecter les informations et les analyser, comme indiqu dans le cahier des charges, en tirer des conclusions et des recommandations, et enfin rdiger un rapport qui reprend ces diffrents points. 4. La dernire tape est la valorisation des rsultats. Elle consiste diffuser les rsultats de l'valuation, au moyen de supports diversifis. Il peut tre utile de suivre la prise en compte des recommandations.

70

Lvaluation est un processus li laction, depuis sa conception jusqu' sa ralisation complte et aux rsultats obtenus [1]. L'valuation doit donc tre organise (prparation), mise en uvre (ralisation), et ses conclusions doivent tre diffuses pour qu'elle soit utilise (valorisation) [31]. Mais il y a un pralable.

Le pralable : l'valuation est-elle pertinente et ralisable ?

Avant de planifier une valuation, il faut s'assurer de sa pertinence et de sa faisabilit. Pour cela, les quatre questions suivantes doivent tre poses [21],[30],[31] : 1. Y a-t-il un rel besoin d'valuer ? Autrement dit, un rel besoin de connaissances propos d'un programme ou d'un service [21], une volont d'amlioration du projet [31]. Mme si l'valuation est exige par le bailleur de fond, il est indispensable qu'il y ait un rel besoin de connaissances et [] que l'on se pose des questions authentiques : une valuation qui n'est pas pertinente est voue l'chec [21]. L'organisme est-il prt au changement ? Il faut une ouverture, une motivation, une perception et une attitude positive des personnes concernes face l'valuation. Il vaut mieux ne pas valuer si le personnel n'est pas prt remettre en question ses pratiques ou ses 47 conceptions [21]. Est-il possible d'intgrer l'valuation dans [la] planification du travail ? Autrement dit, il faut prvoir la place qu'occupera l'valuation [21], et plus gnralement pouvoir lui accorder des ressources [31]. Sommes-nous un bon moment pour le faire ? On ne doit pas recourir 48 l'valuation pour tenter de rsoudre un conflit ou un problme l'intrieur de l'organisme. Si l'valuation est faite la demande du bailleur de fonds, il faut galement vrifier qu'il n'y a pas de conflit ouvert avec les partenaires externes [21]. Enfin, l'valuation ne doit pas intervenir en cas de situation extraordinaire ou dans des priodes de pointe d'activit [31].

2.

3.

4.

Le fait que l'valuation a t prvue ds le lancement du programme est un facteur facilitant celle-ci, mais ce n'est pas une condition pralable. Autrement dit, il est toujours possible de faire une valuation mme si rien
Un temps de prparation et d'explication est ncessaire si des blocages l'valuation mergent, afin d'aboutir une ouverture minimale rendant possible le travail d'valuation. 48 En cas de conflit, c'est un processus de mdiation qui doit tre mis en place, et non une valuation qui serait vraisemblablement dtourne de son objet.
47

71

n'a t prvu au dpart. Pour toute valuation, il faut repartir des intentions de dpart, qu'elles aient t crites ou non.

La prparation : du comit d'valuation au cahier des charges

Si les rponses aux questions pralables sont positives, on peut passer la prparation de l'valuation proprement dite. Cette partie est particulirement importante puisque c'est durant cette phase qu'on dtermine les enjeux et le contexte du programme ainsi que les questions qui orienteront l'valuation, que l'on choisit les indicateurs permettant d'y rpondre et les techniques de collecte de donnes [17]. Elle se dcompose en sept tapes [31] : 1. Mettre en place une instance responsable de la ralisation de l'valuation, comit de pilotage ou comit d'valuation. Cette instance doit tre indpendante du gestionnaire du projet [31]. Ses membres et son mode de fonctionnement doivent tre dfinis pour garantir le pluralisme, la comptence et la disponibilit pour organiser l'valuation. Cinq est un bon nombre pour travailler et ne pas avoir trop de mal fixer des runions. Le comit est responsable de l'valuation, mais ses membres ne sont pas obligatoirement celles et ceux qui feront les oprations. [21]. Comprendre l'objet de l'valuation : le projet valuer, son contexte et les hypothses faites au dpart, donc la stratgie, les objectifs, le contenu du programme [31]. Identifier/dfinir les questions auxquelles l'valuation devra rpondre, autrement dit QUOI valuer et POURQUOI valuer [21]. Il s'agit de dfinir les objectifs de l'valuation, puis de traduire les objectifs gnraux de l'valuation en interrogations concernant des faits vrifiables, des processus observables et des grandeurs mesurables. Cette tape est labore grce la lecture du document de projet, des entretiens avec les commanditaires, et la lecture d'valuations du mme type [31]. Dans la mesure o les questions sont souvent nombreuses, il est prfrable de les classer par ordre de priorit [21]. Recenser l'information disponible, de faon dterminer les besoins en informations complmentaires [31]. Concevoir une stratgie d'valuation : les mthodes, les indicateurs, les techniques de collecte et d'analyse de donnes. Puis dfinir le programme de travail correspondant, les moyens ncessaires, et le budget prvoir [31]. Autrement dit COMMENT valuer et QUI fait quoi dans l'valuation [21]. La slection des informations et arguments

2.

3.

4. 5.

72

rassembler et donc [] le choix de la mthode d'valuation utiliser est certainement la plus grande difficult dans la conception d'une valuation. La question se poser frquemment est la suivante : est-ce que la dmarche d'valuation recommande apportera des rponses crdibles aux questions de dpart et est-ce qu'elle est pratiquement ralisable dans les limites de temps et de budget imparties ? [31] 6. Ecrire les termes de rfrence que devront suivre les valuateurs [31], 49 ou le cahier des charges [33], ou devis d'valuation pour les Nordamricains [30],[21]. Une lecture des principales rubriques est dans l'encadr 18.

Encadr 18. Exemple de rubriques du cahier des charges d'une valuation [31]. 1- Origine du projet d'valuation : qui demande l'valuation et dans quelles circonstances ? 2- Objet de l'valuation : sur quoi porte l'valuation, et ventuellement ses limites (ce qui est hors valuation) ? 3- Description schmatique du projet valuer : objectifs, rsultats attendus, indicateurs de rsultats, partenaires, budget, activits, calendrier. 4- Motifs de l'valuation : pourquoi veut-on valuer ? Quelles sont les principales questions qui se posent, et ventuellement les hypothses valider ? 5- Les questions prcises poses l'valuation, les critres, les rsultats concrets attendus de l'valuation. 6- Mthode et plan de travail : approche gnrale de l'valuation, informations collecter, analyses effectuer, indicateurs collecter, calendrier de ralisation, quels documents seront produits, quand et pour qui, et quelle(s) restitution(s). 7- Dispositif d'valuation : composition de l'quipe, profil de l'valuateur externe recruter si ncessaire, moyens complmentaires raliser, calendrier, organisation du travail et rpartition des tches, dispositif de suivi et de compte-rendu progressif. 8- Eventuellement, le plan du rapport final. 9- Si un valuateur externe est requis, le prix, les modalits de facture et de rglement. Il est aussi prcis qui l'valuateur rendra compte, qui appartiennent les donnes et les rapports produits, et comment ils seront utiliss [33].
49

Nous ne recommandons pas ce terme qui est ambigu en France.

73

7.

Mobiliser les moyens. Le calendrier de l'valuation doit tre le plus court possible pour assurer la pertinence de l'valuation car les proccupations des dcideurs, des acteurs et le contexte se modifient avec le temps [31]. Le choix de l'quipe d'valuation est primordial, et notamment l'valuateur externe : il doit tre plus animateur et pdagogue qu'inquisiteur. Il devra pouvoir apporter des garanties d'objectivit, travailler en toute transparence, avoir une capacit d'coute dveloppe, un esprit ouvert, critique mais constructif et avoir des connaissances dans le domaine tudi [31]. Le plus tt est le mieux pour embaucher une personne spcialise en valuation : juste aprs la formulation du cahier des charges. Si cette personne intervient seulement au moment de l'analyse des donnes, il y a deux risques : d'une part qu'elle ne soit pas suffisamment imprgne de la dmarche du programme, et d'autre part qu'elle ne puisse pas tirer grand chose des donnes si les instruments ne sont pas adapts aux analyses faire et aux objectifs de l'valuation [21].

Dans une dmarche participative, la ngociation accompagne la rdaction du cahier des charges de l'valuation. Elle s'effectue d'abord aux diffrents paliers de l'organisme concern (conseil d'administration, personnel, membres, usagers). Il s'agit ensuite d'une ngociation externe des formulations acceptes l'interne. En retour, il faudra soumettre l'interne les rsultats de cette ngociation, et continuer ce processus jusqu' un accord sur le protocole d'valuation. [21]. Les groupes communautaires menant des actions ne disposent souvent pas d'une grande marge de manuvre pour ngocier [leurs] conditions d'valuation avec le bailleur de fonds [37]. Nanmoins, cette tape, qui a pour but d'aboutir une entente satisfaisante pour les deux parties ne doit pas tre nglige. Quelques conseils peuvent leur tre donns pour prparer et accompagner cette ngociation (Cf. encadr 19). Le cadre de la ngociation n'est pas toujours clairement dfini. Il prend parfois la forme d'un comit de travail plutt que l'aspect d'une sance formelle de ngociation. Cette runion doit donc tre bien prpare, en ce qui concerne l'objet de la ngociation, c'est--dire ce sur quoi porte la ngociation (comme l'objet d'valuation, les critres d'apprciation) et en ce qui concerne le processus de ngociation, c'est--dire comment l'objet est ngoci (comme les attitudes, la tactique de ngociation).

74

En gnral, la ngociation comporte une tape initiale, qui vise surtout un 50 change d'informations, puis une tape d'mondage qui vise identifier une zone d'entente avec l'autre partie, et une tape finale [qui] conduit la conclusion d'une entente [30]. Encadr 19. Conseils aux groupes communautaires pour ngocier avec le bailleur de fonds les conditions d'une valuation [37]. 1. Passez en revue tout ce qu'a dit [et crit] le bailleur de fonds pour expliquer pourquoi il finance votre groupe et pourquoi il demande une valuation. 2. Comparez toutes ces donnes avec les descriptions que vous-mmes avez donnes du travail que vous vous proposez de faire. Relevez les points de divergence et de convergence. 3. Rdigez votre propre version de l'affaire : pourquoi, selon vous, avezvous reu une subvention et pour quelles raisons vous demande-t-on une valuation ? 4. Si vous le jugez utile [], envoyez cette version au reprsentant du bailleur de fonds [] ; sollicitez son accord ou demandez-lui des prcisions. 5. Demandez au bailleur de fonds de prciser ce qu'il attend du processus d'valuation en tant que tel : exigences, objets d'valuation, priode, critres 6. Soyez nergiques et srs de vous. N'oubliez pas que l'valuation doit d'abord et avant tout rpondre aux besoins de votre groupe.

La ralisation : du recueil des donnes au rapport final

Raliser l'valuation, c'est faire ce que dit notre projet d'valuation, [mme si] certaines parties seront ajustes. Les personnes qui ralisent l'valuation ont besoin d'une trousse de travail personnalise qui comporte le projet d'valuation, un contrat prcisant leur mission, la dontologie qu'ils doivent respecter, un calendrier des oprations raliser, les personnes auxquelles ils peuvent se rfrer, et des lments matriels (documents, magntophone, cassettes, piles, cls, cahiers) [21].
50 Au sens propre, c'est l'lagage des arbres, le tri et le nettoyage des graines. Dans le cadre d'une ngociation, c'est le tri parmi les revendications, la modification des demandes initiales et la prsentation de contre-propositions.

75

La ralisation de l'valuation passe par huit tapes [31] : 1. Exploitation des donnes dj disponibles (donnes essentiellement documentaires) et la prparation de la collecte de donnes nouvelles [31]. Collecte des donnes : prparation des instruments d'enqute ou d'entretiens, et leur mise en uvre [31]. Une attention particulire doit tre accorde au respect de l'anonymat des personnes enqutes et la confidentialit des donnes [33],[37]. Analyse, en multipliant les angles d'approche, en croisant les points de vue et les sources d'information, pour comprendre les logiques d'acteurs [31]. Argumentaire et conclusions. Une bonne transparence dans la prsentation de l'argumentaire est importante puisque l'objectivit se vrifie par le fait que l'argumentation peut tre reconstruite par d'autres que les auteurs de l'valuation qui doivent pouvoir parvenir aux mmes conclusions. Les limitations et les forces des conclusions doivent tre clairement listes. Il peut arriver [] qu'il s'avre ncessaire d'obtenir des informations complmentaires en reprenant des travaux de collecte ou d'analyse. Les conclusions doivent tre pertinentes par rapport l'aide la dcision, et en particulier doivent correspondre aux questions poses au dbut de l'valuation [31]. Recommandations. Une sparation doit tre faite entre conclusions et recommandations. Les recommandations sont des acquis conforter, des lacunes combler, des orientations nouvelles suivre. L'valuation ne doit pas aller jusqu' la programmation dtaille de nouveaux objectifs et tches, qui doit tre laisse ceux qui conoivent les projets [31]. Restitution du rapport provisoire. Une valuation doit se donner le temps de la restitution. La dmarche suivie [par les valuateurs] doit tre comprhensible [] par n'importe quel lecteur. La prsentation doit bien distinguer le constat de la ralit d'une part et la formulation d'un jugement d'autre part. Sur la base du rapport provisoire, il y a lieu de donner toutes les parties en prsence [] la possibilit de faire valoir leur point de vue, si possible lors de dbats contradictoires largement ouverts. Il peut arriver qu' l'issue de confrontations les valuateurs souhaitent reprendre tout ou partie de leur argumentaire et de leurs conclusions [31].

2.

3.

4.

5.

6.

76

7.

Le rapport final doit traduire le double caractre descriptif et analytique de l'valuation. Les rsultats du travail de l'quipe d'valuation peuvent tre complts par des avis, ventuellement divergents, exprims lors de la confrontation. Il [doit] comporter un rsum et toutes les donnes utiles en annexe. Un exemple de plan est donn dans l'encadr 20.

Encadr 20. Exemple de plan d'un rapport d'valuation [31]. 1- Un rsum analytique de 1 3 pages reprenant tous les chapitres. 2- Des lments d'information suffisants dcrivant le projet valu. 3- Un rappel du contexte de l'valuation, du commanditaire, de ses objectifs (les questions auxquelles l'valuation devait rpondre). 4- Un expos mthodologique rappelant les choix oprs, les techniques utilises et les tapes du travail d'valuation. 5- Le constat. Un compte-rendu des tudes ralises [et] des dveloppements informatifs partir des donnes recueillies et des observations effectues. 6- Les conclusions. Des raisonnements bien identifis permettant de formuler des conclusions par rapport aux critres retenus pour l'valuation. Bien expliquer les normes utilises des fins de comparaison pour juger des niveaux d'atteinte des objectifs. 7- Les recommandations, rpondant strictement aux demandes adresses aux valuateurs dans les termes de rfrence et clairement relies aux conclusions. 8- Les annexes : donnes de cadrage, liste des personnes rencontres, instruments de collecte de l'information, rappel des termes de rfrence

L'valuation se termine par un retour sur la dmarche d'valuation ou mtavaluation. Cette tape consiste valuer l'valuation, son droulement, les vnements qui ont eu lieu, les leons tirer pour la prochaine valuation que l'on pourrait avoir faire, mais aussi les bonnes ides conserver. Cela peut se faire par un court questionnaire adress tous les participants, ou par une entrevue de groupe [21].

77

La valorisation : diffusion des rsultats et suivi post-valuation

Cette phase est importante car elle permet finalement l'valuation de trouver son utilit. Elle comporte deux dmarches : la diffusion des rsultats et la prise en compte des recommandations [31]. Diffuser n'est pas neutre. La dcision de diffuser peu ou prou les rsultats d'une valuation conditionnera ds lors la porte et les retombes de celle-ci dans l'environnement social. [Elle] peut avoir un impact relativement important sur le programme en lui-mme [] mais aussi sur les intervenants, les bnficiaires, les dcideurs, les financeurs [2]. L'valuateur doit donc planifier adquatement la phase de diffusion des rsultats et y consacrer le temps et les efforts ncessaires, mme si cela ne garantit [] pas leur utilisation ventuelle [4]. La diffusion des rsultats se fait sous diverses formes : rapport intgral, rsum analytique, article de revue, publication, runions, sminaires, ateliers de travail. En particulier, diverses runions sont souvent organises avec les responsables des projets pour discuter de la mise en uvre des recommandations et de l'utilisation des rsultats pour la conception des actions futures [31]. Plusieurs facteurs sont considrer dans la communication des rsultats : 1. Il est important que tous les acteurs concerns par lvaluation aient accs la totalit du rapport. Pour une lecture plus facile, une synthse peut tre propose. Il peut tre dangereux de rdiger des rapport diffrents pour chaque catgorie dacteurs, car ils risquent de ne pas percevoir la globalit de l'analyse et des recommandations. 2. La valence de l'information : mettre l'accent sur les aspects ngatifs dclenche des rticences. Il vaut mieux prsenter dans un premier temps les aspects positifs de l'intervention et ensuite les lments qu'il faudra amliorer court et long terme [4]. 3. Le rapport final dvaluation doit tre rdig de faon tre accessible par lensemble des acteurs concerns. Il vaut mieux viter l'utilisation d'un jargon technique mme s'il permettrait de renforcer la crdibilit de lvaluation. Le rapport d'valuation ne devrait jamais contenir de surprises dsagrables majeures qui prennent les intervenants au dpourvu, risquent de les menacer, et de se retourner contre l'valuateur et son rapport [4].
51

La valence indique la puissance d'attraction (valence positive) ou de rpulsion (valence ngative) d'un objet.

51

78

4. D'autres supports de communication que le seul rapport et son rsum peuvent tre utiliss (Cf. encadr 21) pour toucher des publics plus larges et divers. Encadr 21. Diversifier les supports d'information sur l'valuation. Les rsultats de l'valuation peuvent intresser d'autres organismes qui ralisent des actions semblables. Il peut donc tre intressant de diffuser le rapport ou le rsum l'extrieur par une publication ou un article, et de communiquer dans des colloques et congrs [21]. Des panneaux d'affichage avec des explications, des graphiques, des photos, des extraits d'interview, permettent aussi de communiquer avec la population concerne, surtout s'ils sont sur un lieu de passage ou s'ils sont exposs lors d'un vnement spcial. Cela permet galement de valoriser les personnes ayant particip l'action, et d'inscrire le programme dans la vie de la cit [33]. Les media locaux (presse, radio, tlvision) peuvent aussi tre sollicits. Mais il ne suffit pas de leur envoyer le rapport d'activit ou le rsum. Rencontrez-les, invitez-les sur le terrain, faites leur rencontrer des participants. Ces supports sont en gnral valorisants pour les financeurs et commanditaires et pour le public destinataire. Mais attention aux effets pervers [d']un mauvais article ou [d']une rupture d'anonymat [33].

La prise en compte des recommandations. Le temps de l'valuation (et de sa conclusion) doit tre bien spar du temps de la dcision. Evaluation et dcision sont en effet deux moments et deux responsabilits distinctes. [] La prise en compte des recommandations de l'valuation dpend des dcideurs [31]. L'instance d'valuation dispose cependant de cinq moyens pour favoriser la prise en compte des rsultats et recommandations de l'valuation (Cf. encadr 22).

79

Encadr 22. Comment favoriser la prise en compte des rsultats et recommandations de l'valuation [4]. 1Les recommandations doivent suggrer les changements susceptibles d'amliorer le programme tudi. Elles doivent tre ralistes, tenir compte des contraintes de l'organisme, explicites [sur] la dmarche de leur implantation, et dcrire les cots et ressources inhrents leur adoption. La participation du personnel : si elle intervient chacune des tapes, elle permet l'valuateur de respecter les attentes de ce personnel et encourage [] intervenants et gestionnaires donner suite l'tude. Si elle n'a pas t effective au dpart, leur participation doit intervenir le moment venu d'interprter les rsultats et de formuler ses recommandations. Le synchronisme du rapport : il va de soi que l'valuation doit tre conclue avant que les dcisions concernant les changements au programme ne soient prises. L'valuateur a parfois avantage diffuser ses rsultats au fur et mesure qu'ils sont disponibles. La validit de l'tude : la puret mthodologique [de l'valuation] ne constitue pas en soi une condition suffisante pour assurer l'utilisation de ses rsultats. Toutefois, ceci n'implique surtout pas que l'valuateur opte pour le laxisme et diminue la rigueur de son approche mthodologique. Le suivi de l'valuation : il se peut fort bien que l'organisme dcide de ne pas modifier son programme. Il est souvent utile de faire le point aprs quelques temps de la prise en compte des rsultats de l'valuation, mme si ce temps n'a pas t prvu par le commanditaire. Il est parfois ncessaire que quelques intervenants servent de catalyseurs afin d'acclrer le processus de changement [4].

2-

3-

4-

5-

La prise en compte des recommandations est le but de toute dmarche d'valuation. C'est ce moment qu'on peut finalement juger de l'utilit de l'valuation. Une valuation est vritablement utile si ses recommandations sont prises en compte. Pour qu'une valuation soit utile, elle doit tre crdible (digne de confiance), pertinente et accessible [31] :

80

La crdibilit s'appuie d'abord sur la validit, donc la rigueur mthodologique : qualit et transparence des mthodes employes, qualit des mesures et des relations causales tablies, reproductibilit des conclusions, sparation des conclusions et des recommandations dans le rapport. Elle dpend aussi de l'adhsion des personnes au processus d'valuation, donc de leur confiance. Plusieurs facteurs y contribuent : explicitation des objectifs et des questions d'valuation, modestie (valuation cible sur quelques questions principales), caractre participatif et ngoci de l'valuation, "zone d'autonomie" de l'valuation, qualits des valuateurs (comptence, impartialit, indpendance par rapport aux gestionnaires du programme). La pertinence de l'valuation signifie que l'valuation rpond bien aux questions qu'on se pose sur le programme. Plusieurs facteurs y contribuent : questions poses l'valuation correspondant aux proccupations des responsables du programme, du commanditaire et des autres partenaires du programme, valuation ralise un moment opportun du programme, participation des acteurs toutes les phases mthodologique, souplesse de la dmarche pour adapter les approches et les mthodes aux questions et l'environnement, rsultats disponibles temps pour tre pris en compte au moment de la dcision. L'accessibilit de l'valuation est la facilit avec laquelle on peut se l'approprier. Elle pose essentiellement la question de la communication. Il faut y consacrer du temps et des efforts : l'valuateur joue le rle d'un agent facilitateur et de pdagogue dans l'utilisation des rsultats. En effet, l'information issue de l'valuation [doit tre] considre comme un outil de ngociation entre des intrts multiples et non comme une vrit absolue [11]. Plusieurs facteurs contribuent l'accessibilit. Un rapport structur, clair, concis prsentant de faon assez complte les arguments, distinguant bien les hypothses, les observations et les apprciations, y contribue [31]. Des recommandations bien identifies, ralistes par rapport aux contraintes de l'organisme et l'environnement du programme, et prcises sur leurs modalits d'application et leur cot [4]. La diversification des modes de communication, comme la restitution orale, ou d'autres supports.

81

Encadr 23. Pour russir l'valuation. Les facteurs de russite, ou critres de qualit de l'valuation ont t vus tout au long de ce document, chaque tape. Voici les 5 points cls : L'valuation est prvue le plus tt possible, ds la phase d'laboration du programme. Il s'agit alors de convenir d'une stratgie d'valuation, plus que de dfinir compltement le plan d'valuation, cause des modifications et rajustements qu'on apportera invitablement au programme [4]. Les conditions pralables sont remplies : rel besoin de connaissance, ouverture par rapport au changement, ressources disponibles pour la raliser, moment opportun pour la faire en dehors d'un conflit ouvert ou d'une situation extraordinaire. Les enjeux sont pris en compte dans lorganisation : lvaluation dispose dune zone dautonomie [14], sappuie sur un travail de groupe (comit dvaluation) [30], et est participative et ngocie [21]. Un processus planifi. L'valuation doit suivre un plan [qui] indique les tapes du processus d'valuation et la faon d'y participer, les sources et le type d'information recueillir, et les mthodes suivre. Il faut prparer [le recueil des donnes] et viter d'improviser. Les donnes doivent donner lieu une apprciation. Le processus d'valuation se termine par un rapport qui [] contient des recommandations d'amlioration [30]. Respect des principes thiques : pas de risque de nuisance ; transparence [] en informant les acteurs et les participants [1] ; rgles de confidentialit et de dontologie rgissant toute recherche impliquant des sujets humains [30].

En conclusion, une valuation n'a de sens que si [] elle produit du changement tout en produisant de la connaissance [10].

82

Conclusion : pour un langage commun en valuation

Issue des pratiques des acteurs de terrain, mais utilisant des mthodes issues de la recherche, la jonction des mthodes quantitatives et qualitatives, l'valuation est un concept aux contours multiples, qui regroupe diverses ralits, selon les questions qui lui sont poses. N'existant de manire formalise que depuis quelques dcennies, il est normal que cette discipline jeune soit foisonnante : chaque auteur ou presque s'est forg ses dfinitions et ses classifications. Cette analyse de la littrature montre que, malgr cette diversit (et parfois mme des contradictions), il est possible de dmythifier l'valuation, de la structurer et d'adopter un langage commun. Dmythifier l'valuation Tantt repoussoir, tantt objet du dsir, l'valuation n'est pas un outil "magique". Elle ne va pas du jour au lendemain dcrter que tel type d'intervention est "bon" et doit tre dupliqu partout, et que tel autre est "mauvais" et doit tre abandonn. L'valuation d'un programme va aboutir des apprciations nuances (points forts, points faibles) pour un programme donn, dans son contexte. Ses conclusions pourront, dans certaines conditions, tre extrapoles ou compares d'autres interventions. L'valuation est un processus qui associe un recueil d'informations systmatiques et diversifies selon les points de vue, une apprciation pose sur la base de critres, d'indicateurs et de normes, et qui se termine par des recommandations en rponse aux questions qui sont poses en vue de dcisions concernant un programme. Elle est un processus, la fois politique et technique, men dans une logique de changement organis. Elle s'inscrit soit en cours de programme dans une rtroaction rapide pour le pilotage (valuation formative), soit en fin de phase ou en fin de programme dans le but d'analyser ses effets (valuation sommative). Cependant, cette logique d'amlioration n'est pas la seule en jeu dans un programme. Les acteurs ont des proccupations diffrentes, ils ont parfois des buts officieux, voire cachs sur ce qu'il convient de faire de l'valuation. L'valuation, tout comme le programme lui-mme, s'inscrit donc dans des logiques sociales et des stratgies d'acteurs. Ces enjeux politiques et les risques de manipulation qu'ils comportent, peuvent entraner des rsistances. La premire crainte dclenche par l'valuation est celle du

83

contrle. Il importe donc de diffrencier l'valuation du contrle. En ce sens, la question de "qui value" est particulirement importante. Nanmoins, l'valuation reste une utopie possible, si elle s'inscrit dans une zone d'autonomie, si elle est transparente dans ses objectifs, ses critres et ses mthodes, si les acteurs en ont ngoci les termes et s'ils sont impliqus toutes les tapes (que l'valuation soit interne ou externe). L'valuation s'applique sur tout ou partie des composantes d'un programme, et sur tout ou partie des objets de celui-ci. Les cinq objets ou niveaux d'un programme sont sa structure (ses ressources), ses activits (ou processus), les populations-cibles qui elles sont destines (ou l'implantation), ses rsultats (ou objectifs) et son impact (ou consquences). A chaque niveau correspond un type d'valuation au moins. Selon l'objectif formatif (o on s'intresse surtout aux efforts des acteurs) ou sommatif (o on s'intresse surtout aux effets dans les groupes-cibles), plusieurs niveaux du programme peuvent tre concerns par une valuation. Structurer l'valuation Les mthodes de l'valuation des programmes drivent des mthodes de la recherche pidmiologique et de la recherche en sciences sociales. Chacun de ces champs correspond un modle de conception du programme : modle rationnel orient vers les buts pour l'approche pidmiologique, modle complexe ou systmique pour l'approche sociologique. Ces deux approches doivent souvent tre combines pour apporter des rponses pertinentes aux questions poses lors d'une valuation. Le recueil des donnes fait appel la recherche documentaire, l'observation, aux entretiens individuels ou de groupe, aux enqutes quantitatives. Chaque mthode a ses exigences de qualit, le protocole dcrivant les mthodes utiliser chaque tape est un lment de rfrence pour assurer la validit de l'valuation. La triangulation, qui permet de comparer des informations issues de mthodes, de sources ou de donnes diffrentes, est une faon de renforcer la validit des donnes. L'apprciation est base sur la comparaison des donnes l'aide des rfrences que sont les critres et les normes. En l'absence de normes explicites dans de nombreux domaines des programmes de sant et du social, les normes sont implicites. L'apprciation porte sur un programme lors d'une valuation n'est donc pas objective (car elle n'est ni neutre ni dsengage) sans tre pour autant subjective (puisqu'elle se fonde sur des informations systmatiquement recueillies avec une mthode objective). Il ne s'agit pas d'un jugement "couperet", mais d'une apprciation sujette

84

discussion, laboration, explication dans un but de comprhension et d'amlioration. Comme le programme lui-mme, une valuation se planifie, se met en uvre et s'value. Une valuation est peu utile, et peut mme tre dangereuse, dans un contexte conflictuel ou bloqu. Il faut donc vrifier au pralable qu'elle est pertinente et faisable avant de la planifier. L'valuation standardise, "prt--porter", n'existe pas. Il ne peut y avoir que du "sur-mesure" : l'valuation se construit, ce qui suppose un projet, des "objets" et une mthode. On ne peut pas se contenter de "demander une valuation" d'un programme, sans spcifier en vue de quelle(s) dcision(s) elle doit tre faite, sans dterminer les questions prioritaires qui sont poses, sans reprendre les intentions de dpart (c'est dire les documents de planification), et sans disposer de donnes sur le droulement du programme (rapports ou relevs d'activit). Ces diffrents points doivent tre vus collgialement par un comit d'valuation qui va assurer le pilotage de l'valuation. La rdaction d'un cahier des charges indique les points fondamentaux de l'valuation et dcrit son droulement. La ralisation de l'valuation consiste essentiellement faire ce qui a t dcid et rendre compte des informations recueillies, des apprciations, et des recommandations proposes sous forme d'un rapport d'valuation. D'autres modes de communication que le rapport crit sont possibles et souhaitables. Du temps doit tre consacr la valorisation des conclusions de l'valuation. C'est la prise en compte des recommandations qui permet l'valuation de trouver son utilit.

Adopter un langage commun L'valuation suppose un partenariat effectif et une bonne communication entre valuateurs, acteurs de terrain, financeurs et dcideurs, puisqu'elle est base sur une diversification des points de vue et ncessite leur clarification. Ceci n'est possible que si tous adoptent le mme vocabulaire. C'est l'enjeu principal de ce document que de dfinir un langage commun de l'valuation. Les termes principaux vus et expliqus tout au long de ce document sont regroups dans un lexique-index (Cf. annexe 1).

85

Quelques conseils pour la pratique

Lvaluation est souvent demande par le bailleur de fonds. Ce nest pas une catastrophe mais une opportunit pour prendre du recul par rapport ses actions et capitaliser son exprience. L'valuation interne permet aux acteurs eux-mmes de rpondre de nombreuses questions suscites par les programmes qu'ils mnent. Il est toujours possible de solliciter une aide mthodologique en cas de difficult. Voici quelques conseils pour "passer l'acte" d'valuation : Lvaluation permet de s'interroger sur ses activits, sur ses actions et souvent aide orienter ses dcisions. Elle a une dimension sociale ou dmocratique, en librant la parole des acteurs. Lvaluation doit tre comprise comme une activit au mme titre que d'autres activits d'un programme. Comme les autres, elle doit tre pense, programme et finance. Sa position intermdiaire ou finale ne doit pas laisser penser qu'elle nest pas ncessaire ou primordiale. Il n'y a pas d'valuation possible s'il n'y a pas de projet. Il faut donc repartir des intentions de dpart, des objectifs poursuivis, des activits mises en places et des moyens mobiliss. Un programme est un acte social organis qui dit quelque chose sur ses auteurs et son environnement. L'valuation en cours, ou valuation continue, permet de prendre du recul, de faire un "arrt sur image". Cette position rflexive par rapport l'action permet d'arrter l'activisme pour un temps. Souvent, les acteurs des programmes adoptent dj cette position, mais de manire rapide, parcellaire, et informelle. Le faire de faon mthodique, systmatique et transparente cote un peu plus en temps, mais peut viter que programme ne "drape", ce qui peut reprsenter une conomie substantielle. Lvaluation ne simprovise pas, elle fait appel des mthodes et techniques quil est ncessaire de sapproprier par un apprentissage. Elle poursuit des objectifs qui sinscrivent dans un cadre conceptuel. Il est important, dans une dmarche d'valuation, de sattarder sur les questions thiques quelle soulve et de sentendre sur le sens de cette dmarche. Enfin, ladhsion et laccord de toutes les personnes concernes sont le minimum ncessaire. Leur participation active est encore plus souhaitable.

86

ANNEXE 1 : LEXIQUE - INDEX

Note importante Ce lexique est constitu des dfinitions que nous avons retenues suite l'analyse bibliographique. D'autres dfinitions peuvent exister, parfois dans un sens diffrent. Nous avons indiqu les termes que nous considrons comme quivalents, ainsi que les termes qu'il est important de diffrencier. Les termes dconseills n'apparaissent pas ici. Nous vous invitons vous reporter au texte pour plus d'explications ou des exemples. La page tant indique, ce lexique peut aussi tre utilis comme index.

87

Analyse de contenu (p. 60). Technique de recherche pour la description objective, systmatique et quantitative, du contenu manifeste des communications, ayant pour but de les interprter [23]. Elle est utilise pour analyser les entretiens individuels ou de groupe, ainsi que les questions ouvertes ( rponse libre). Diffrencier de : analyse statistique. Analyse de situation (p. 17). Evaluation systmatique de la nature, de la profondeur et de l'tendue d'un problme et des besoins en vue d'tablir des priorits et d'implanter [] un programme [30]. Termes voisins : tat des lieux, diagnostic de situation, tude de milieu, analyse des besoins, valuation des besoins, analyse prliminaire, v. prospective, v. a priori, v. ex-ante, v. prdcision, v. de la planification, v. de la faisabilit. Diffrencier de : valuation postdcision. Analyse statistique (p. 61). Elaboration d'informations numriques ou catgorielles en vue de dcrire des phnomnes, mettre en vidence des relations entre variables ou gnraliser les rsultats [31]. Elle est utilise pour analyser les questionnaires ou les mesures dans les tudes quantitatives. Diffrencier de : analyse de contenu. Audit (p. 37). Contrle de lgalit et de conformit par rapport aux normes de fonctionnement dfinies par les lois et les rglements, directives, budgets, circulaires, notes internes [31]. Terme voisin : contrle. Diffrencier de : valuation. Autovaluation (p. 38). Modalit particulire de l'valuation interne pratique par des "bnficiaires" de

l'action ou leurs reprsentants [] selon leurs propres critres [19]. Voir aussi valuation interne. Avant-aprs (tude) (p. 64). Catgorie de protocole quasi-exprimental o un ou plusieurs groupe(s) est(sont) tudi(s) avant et aprs l'intervention (pr-test et post-test). Diffrencier de : ici-ailleurs (tude). Biais (p. 63-65). Erreur systmatique l'origine d'un cart entre le rsultat tabli par une tude (ou une mesure) et la ralit. Voir aussi validit des mesures. Cahier des charges (d'une valuation) (p. 73). Ensemble des questions auxquelles l'valuation devra permettre de rpondre et des contraintes que l'valuateur devra respecter [31]. Terme voisin : termes de rfrence. Diffrencier de : protocole. Cohrence (p. 48). Voir valuation de la cohrence. Contrle (p. 29-30). Processus hirarchique visant vrifier que les dpenses, les calendriers et les activits sont raliss en conformit avec les normes et les plans tablis et sanctionner si ce n'est pas le cas. Terme voisin : audit. Diffrencier de : valuation. Couverture (p. 43). Voir valuation d'implantation. Critre (p. 24 & 57). Un point de vue qui permet de porter un jugement d'apprciation sur un objet [31]. Une caractristique observable [] correspondant aux lments du programme valu [35]. Diffrencier de : indicateur, norme.

88

Efficacit (Anglais : effectiveness) (p. 43, 50). Degr d'atteinte des objectifs dans la population vise par le programme. Termes voisins : efficacit relle, efficacit populationnelle. Diffrencier de : efficience, utilit. Efficience (Anglais : efficiency) (p. 50). Evaluation conomique qui exprime le rapport des rsultats d'un programme ou d'une action de sant aux moyens engags (ressources humaines, financires et autres, processus et technologie sanitaires, temps) [34]. Terme voisin : rendement. Diffrencier de : efficacit, utilit. Evaluation (p. 22). Processus qui associe un recueil d'informations systmatiques et diversifies selon les points de vue, une apprciation pose sur la base de critres, d'indicateurs et de normes, et qui se termine par des recommandations en rponse aux questions qui sont poses en vue de dcisions concernant une intervention. Voir dautres dfinitions de l'valuation de programme dans lencadr page suivante. Diffrencier de : audit, contrle, suivi, supervision. Evaluation externe (p. 37). Evaluation o l'valuateur est choisi en dehors de la structure responsable du projet [31]. Terme voisin : allo-valuation. Diffrencier de : valuation interne. Evaluation formative (p. 20, 47). Elle favorise une meilleure connaissance de l'action, permet une prise de conscience critique du travail ralis, fournit des repres pour rajuster le tir et maintenir le cap : elle est apprentissage dans l'action et action autocorrectrice [30].

Termes voisins : valuation continue, v. permanente, v. en cours, v. endoformative, v. concurrente, v. concomitante, v. dynamique. Diffrencier de : valuation sommative

Evaluation interne (p. 38). Evaluation o l'valuateur appartient la structure responsable du projet [31]. Terme voisin : endo-valuation. Diffrencier de : autovaluation, valuation externe. Evaluation ngocie (p. 35). Evaluation dont le cahier des charges (voir ce terme) a fait l'objet d'une entente l'interne (entre les acteurs) et l'externe (bailleur de fonds, dcideurs). Diffrencier de : valuation participative. Evaluation participative (p. 35). Elle accorde une place centrale la participation de toutes les personnes concernes. Elle prend en considration leurs valeurs, leurs points de vue, leurs intrts et leurs attentes, toutes les tapes du processus d'valuation [30]. Terme voisin : valuation participante, v. pluraliste. Diffrencier de : valuation ngocie. Evaluation sommative (p. 21, 50). Elle dtermine les rsultats et l'impact du programme [9] et permet de comprendre les effets induits [18ar le programme] dans leur globalit [14]. Termes voisins : valuationbilan, v. des effets, v. globale, v. rcapitulative, v. comparative, v. analytique, v. intermdiaire, v. finale. Diffrencier de : valuation formative.

89

QUELQUES DEFINITIONS DE L'EVALUATION DE PROGRAMME (voir aussi page prcdente et p. 22) Une dmarche pour fournir aux intervenants et aux gestionnaires des renseignements qui les aideront identifier les actions poser afin de corriger certains aspects de leur programme [4]. La comparaison d'un objet d'intrt, d'un ensemble d'informations et d'une norme standard d'acceptabilit, d'un ensemble de critres adquats, pour prendre une dcision, juger entre diverses dcisions possibles, sur base de rapport d'valuation [7]. Une dmarche qui consiste nourrir le corpus de connaissance des acteurs []. A partir de meilleures connaissances ils ajusteront leurs reprsentations, leurs comportements, leurs dcisions. [27]. Un processus d'analyse quantitative et/ou qualitative qui consiste apprcier soit le droulement d'une action ou d'un programme, soit mesurer leurs effets (c'est--dire les effets spcifiques et les consquences ou l'impact) ; c'est une dmarche d'observation et de comparaison [] entre les donnes recueillies et un rfrentiel [1]. Une pratique qui s'efforce d'tablir un lien explicite entre une dimension "cognitive" (acqurir de nouvelles connaissances), une dimension "normative" (jugement sur la russite ou le bien fond d'une action), une dimension "instrumentale" (produire du changement) [14]. Apprcier le travail conduit, le visibiliser et progresser dans les pratiques en intgrant les acquis et en analysant les obstacles et erreurs [18]. Vrifier la pertinence et la cohrence du concept de dpart, dcrire la mise en oeuvre des moyens et de leur cot, valuer la qualit de cette mise en oeuvre, mesurer le niveau d'atteinte des objectifs et en apprcier les effets et leur durabilit [31]. Un processus de production dun jugement de valeur pour conduire une action par des dcisions. Une valuation comporte donc trois phases ou trois composantes qui sont le processus, le produit [les conclusions et recommandations] et son usage. Ces trois composantes recouvrent trois enjeux de lvaluation : connatre, juger et dcider. La connaissance est lenjeu de la science, quelle sinspire de lpidmiologie ou des sciences humaines. Le jugement, les valeurs, sont un enjeu de la philosophie, de la justice. La dcision est lenjeu de la politique [16]. Porter un jugement de valeur sur une intervention en mettant en uvre un dispositif permettant de fournir des informations scientifiquement valides et socialement lgitimes sur une intervention ou sur n'importe laquelle de ses composantes de faon ce que les diffrents acteurs concerns, qui peuvent avoir des champs de jugement diffrents, soient en mesure de prendre position sur l'intervention et de construire un jugement qui puisse se traduire en actions [12].

90

Les encadrs ci-dessous donnent les dfinitions des types dvaluation : Selon le moment du programme. Selon l'objet du programme.

EVALUATIONS SELON LE MOMENT DU PROGRAMME Analyse de situation : voir ci-dessus page 88. Evaluation en cours (p. 21). Evaluation qui a lieu pendant le programme. Voir aussi valuation formative. Termes voisins : valuation concurrente, valuation concomitante. Diffrencier de : valuation intermdiaire, valuation finale, valuation ex-post. Evaluation intermdiaire (p. 21). Evaluation qui a lieu en fin de phase du programme. Voir aussi valuation sommative. Diffrencier de : valuation en cours, valuation finale, valuation ex-post. Evaluation finale (p. 21). Evaluation qui a lieu la fin du programme. Voir aussi valuation sommative. Diffrencier de : valuation en cours, valuation intermdiaire, valuation expost. Evaluation ex-post (p. 21). Evaluation qui a lieu un certain temps aprs la fin du programme. Voir aussi valuation sommative. Diffrencier de : valuation en cours, valuation intermdiaire, valuation finale. Evaluation post-dcision (p. 17 et 21). Evaluation qui a lieu aprs la dcision de lancer le programme, donc n'importe quel stade de son avancement. Elle inclut les valuations en cours, intermdiaire, finale et ex-post (voir ces termes). Termes voisins : valuation rtrospective, valuation a posteriori. Diffrencier de: analyse de situation.

91

EVALUATIONS SELON L'OBJET DU PROGRAMME Evaluation de la cohrence (p. 48). Evaluation qui apprcie si le programme tel qu'il a t ralis (ses ressources, ses activits et son implantation dans la population-cible) va bien dans le sens de ses objectifs de dpart. Elle fait partie de l'valuation de la mise en oeuvre (voir ce terme) : elle vrifie que les efforts dploys dans la ralisation du programme vont dans le sens des objectifs. Voir aussi valuation de la structure, valuation du processus, valuation d'implantation. Termes voisins : valuation tactique, analyse du programme, analyse logique de l'intervention. Diffrencier de : valuation de l'cart. Evaluation de l'cart (p. 47). Evaluation qui apprcie si le programme tel qu'il a t ralis (ses ressources, ses activits et son implantation dans la population-cible) correspond ce qui avait t prvu au dpart. Elle fait partie de l'valuation de la mise en oeuvre (voir ce terme) : elle vrifie que les efforts dploys dans la ralisation du programme sont conformes la planification. Voir aussi valuation de la structure, du processus, d'implantation. L'valuation de l'atteinte des objectifs prvus peut aussi faire partie de l'valuation de l'cart (voir valuation des rsultats). Termes voisins : valuation oprationnelle, valuation normative, valuation du droulement de l'action. Diffrencier de : valuation de la cohrence. Evaluation de la structure (p. 41). Evaluation de l'adquation des ressources [] : la quantit, la qualit et l'agencement des ressources humaines, physiques et financires du programme [35]. Termes voisins : valuation des ressources, valuation de l'input, des entres, des intrants. Diffrencier de : valuation du processus, valuation de l'implantation, valuation des rsultats, valuation d'impact. Evaluation des rsultats (p. 42, 50). Elle se rapporte aux objectifs du programme [], c'est--dire [aux] changements lis aux problmes viss par le programme et pour lesquels celui-ci a t labor [9]. Terme voisin : valuation de l'outcome, valuation des objectifs. Diffrencier de : valuation du processus, valuation du processus, valuation de l'implantation, valuation d'impact. Continuez page suivante

92

EVALUATIONS SELON L'OBJET DU PROGRAMME (fin) Evaluation des effets (p. 50). Un effet est tout comportement ou tout vnement dont on peut raisonnablement dire qu'il a t influenc par un aspect quelconque du programme [7]. L'valuation des effets s'intresse au degr d'atteinte des rsultats escompts et des autres consquences [35]. Elle inclut les valuations des rsultats, d'impact (sens restreint), de la pertinence (voir ces termes). Terme voisin : valuation d'impact (sens large). Diffrencier de : valuation des efforts. Evaluation de la mise en oeuvre (p. 47). Ensemble des valuations centres sur la mise en uvre du programme et l'atteinte des populations-cibles. Elle inclut les valuations de la structure, du processus, d'implantation, de l'cart et de la cohrence (voir ces termes). Termes voisins : valuation des efforts, valuation d'implantation (sens large). Diffrencier de : valuation des effets. Evaluation de la pertinence (p. 51). Elle juge de la contribution du programme la solution des problmes identifis. [35]. Elle fait partie de l'valuation des effets. Terme voisin : valuation stratgique. Evaluation d'impact (p. 44, 50). Dans son sens restreint elle s'intresse un grand nombre de changements directs et indirects, voulus ou non voulus, lis ou non aux objectifs explicites du programme, tant sur la population vise que sur la population entire [9]. Dans son sens large : voir valuation des effets. Diffrencier de : valuation de la structure, valuation du processus, valuation de l'implantation, valuation des rsultats. Evaluation d'implantation (p. 43, 47). Dans son sens restreint, elle conduit [] l'identification de la population qui fait effectivement usage des services mis en place [4] ou qui a t rejointe par les activits du programme. Elle peut tre analyse de faon quantitative et qualitative. Dans son sens large : voir valuation de la mise en uvre. Termes voisins : valuation de la couverture, valuation de la pntration. Diffrencier de : valuation de la structure, valuation du processus, valuation des rsultats, valuation d'impact. Evaluation du processus (p. 42). Evaluation de la justesse (appropriateness) des activits [35]. Elle peut tre analyse de faon quantitative et qualitative. Termes voisins : valuation des procdures, valuation de l'output, des sorties, des extrants. Diffrencier de : valuation de la structure, valuation de l'implantation, valuation des rsultats, valuation d'impact.

93

Exposition (au programme) (p. 62). Participation d'une personne ou d'un groupe au programme. Par analogie avec la liaison entre une maladie et l'exposition un facteur de risque, on recherche lors de l'valuation d'un programme la liaison entre un effet et l'exposition au programme. Voir aussi groupe intervention. Facteur de confusion (p. 62). une variable qui est associe aussi bien la variable indpendante (le programme) qu' la variable dpendante (l'effet du programme). [35]. Un facteur de confusion peut faire croire tort qu'il existe une relation entre le programme et un effet, ou au contraire masquer une relation existante entre le programme et un effet. Terme voisin : variable de confusion. Fiabilit (d'une mesure, d'un indicateur) (p. 24, 67). Qui produit des rsultats constants lorsqu'elle est applique de faon rptitive [35] dans le temps ou par des personnes diffrentes. Groupe intervention (p. 62). Population-cible du programme dans lequel on va mesurer les effets de celui-ci. Selon le type d'tude, ce peut tre la population vise (voir efficacit), ou la population effectivement rejointe (voir utilit). Diffrencier de : groupe tmoin. Groupe tmoin (p. 62). Groupe n'ayant pas bnfici de l'intervention (ou selon le type d'tude, ayant bnfici de l'intervention habituelle, ou avant intervention). Ce groupe est compar au groupe intervention pour analyser l'effet propre du programme. Diffrencier de : groupe intervention.

Ici-ailleurs (tude) (p. 43). Catgorie de protocole qui compare deux groupes gographiquement distincts, un groupe intervention ("ici"), et un groupe tmoin qui ne l'est pas ("ailleurs"). Diffrencier de : avant-aprs (tude). Impact (p. 44, 50). Voir valuation d'impact. Implicites (normes, critres) (p. 69). Qui ne sont pas fixs l'avance, mais plutt laisss au jugement de l'valuateur [35]. Diffrencier de : explicites (normes, critres) Indicateur (p. 24, 66). Variable qui aide mesurer des changements [34]. Mesure dont les valeurs fournissent une indication incomplte mais utile sur un phnomne dont on cherche apprcier l'volution [31]. Diffrencier de : critre, norme. Norme (p. 24, 68). La valeur associe au critre [ou l'indicateur] qu'on considre comme acceptable [9]. Terme voisin : standard. Diffrencier de : critre, indicateur. Objectif (p. 42). Enonc formul en termes clairs, prcis et oprationnels qui dcrit le rsultat qu'on se propose d'atteindre. L'objectif doit prciser les personnes vises, la nature de la situation dsire [] ainsi que la priode de temps [] ncessaire [30]. On peut dfinir les objectifs d'un programme, mais aussi les objectifs de l'valuation. Evaluation des objectifs d'un programme : voir valuation du rsultat. Termes voisins : but, rsultat. Diffrencier de : objet d'valuation.

94

Objet d'valuation (p. 41). Ce sur quoi portera l'valuation, c'est--dire la "chose" sur laquelle [on] souhaite porter un jugement [30]. Diffrencier de : objectif (d'valuation). Pertinence (p. 51). Voir valuation de la pertinence. Population-cible (p. 43). Groupe vis par le programme. Terme voisin : groupe-cible, bnficiaires. Programme (p. 14, 15). L'ensemble des moyens (physiques, humains, financiers, symboliques) organiss dans un contexte spcifique, un moment donn, pour produire des biens ou des services dans le but de modifier une situation problmatique [11]. Voir aussi valuation de programme. Termes voisins : projet, action, intervention. Diffrencier de : technique, outil, pratique, politique. Prospective (tude) (p.64). Etude o les groupes intervention et tmoin (voir ces termes) sont constitus avant l'intervention et sont suivis durant celle-ci. NE PAS CONFONDRE avec l'valuation prospective ou analyse de situation (voir ce terme) Diffrencier de : rtrospective (tude). Protocole d'valuation (p. 63-65). Ensemble des rgles dfinies avant une valuation dcrivant sa mthodologie ainsi que ses diffrentes tapes. Il est, dans ses grandes lignes, un lment du cahier des charges (voir ce terme). Il est plus dtaill l'usage des personnes qui ont raliser l'valuation. Dans le cas d'tudes pidmiologiques, on distingue, selon

le degr de contrle de l'intervention, les protocoles exprimentaux, quasiexprimentaux et pr-exprimentaux. Diffrencier de : cahier des charges. Question d'valuation (p. 21, 71, 72). Interrogation se rapportant l'objet d'valuation et correspondant ce que [on] veut rellement savoir propos de l'objet retenu [30]. Randomisation (p. 63). Le tirage au sort [ou randomisation] veut dire ici que l'appartenance au groupe [10ntervention ou tmoin] est dtermin de faon alatoire. Cette faon de procder a pour but d'assurer que les deux groupes sont comparables pour tous les facteurs pronostiques (connus ou inconnus). [5]. Termes voisins : tirage au sort, tirage au hasard. Rtrospective (tude) (p.64). Etude se situant aprs l'intervention et s'intressant la faon dont les personnes ont t exposes celle-ci. Voir aussi protocole pr-exprimental. NE PAS CONFONDRE avec valuation rtrospective ou valuation post-dcision (voir ce terme) Diffrencier de : prospective (tude). Suivi (p. 27). Collecte mthodique de donnes sur les activits et l'utilisation des ressources d'un programme. Termes voisins : surveillance, monitoring, monitorage. Diffrencier de : valuation. Supervision (p. 16). Processus de management des ressources humaines ayant pour but d'amliorer ou de maintenir la performance des personnes et des quipes. Diffrencier de : valuation.

95

Tableau de bord (p. 27). Document regroupant une srie d'indicateurs recueillis rgulirement pour le suivi d'un programme ou d'une population. Voir aussi suivi. Tirage au sort randomisation. (p. 63). Voir

Triangulation (p. 68). Elle consiste tudier la concordance ou la discordance entre diffrentes donnes, sources de donnes ou mthodes de collecte de donnes sur un mme objet d'valuation [21]. Voir aussi validit des mesures. Utilit (Anglais : efficacy) (p. 43). Atteinte des objectifs dans la population rejointe par le programme (efficacit d'utilisation) ou dans des conditions d'intervention idales (efficacit potentielle, efficacit thorique, efficacit d'essai). Termes voisins : efficacit d'utilisation, efficacit potentielle, efficacit thorique, efficacit d'essai. Diffrencier de : efficacit, efficience. Validit des mesures (ou d'un indicateur) (p. 24, 66-67). Qualit d'une mesure bien reprsenter l'objet dont elle doit rendre compte.

Validit interne (p. 62). En gnral, qualit de la mthodologie qui fait que les rsultats de l'valuation refltent bien la ralit. En pidmiologie, qualit de la mthodologie et de l'analyse des donnes qui permet de conclure que l'effet obtenu est rellement d la variable indpendante [10ci, le programme valu] et non des facteurs ou variables de confusion, l'effet de ces dernires ayant t pris en considration et contrl dans le [protocole] [35]. Voir aussi protocole, facteur de confusion. Diffrencier de : validit externe. Validit externe (p. 65). Qualit de la mthodologie de l'valuation qui permet de gnraliser les rsultats une population plus grande ou d'autres situations ou contextes plus larges. [35]. Terme voisin : reprsentativit. Diffrencier de : validit interne. Viabilit (p. 45). Possibilit de poursuivre, aprs la fin du programme, des activits dveloppes grce ce projet. La viabilit s'apprcie en termes institutionnels, financiers et techniques [31]. prennit. Terme voisin :

96

ANNEXE 2 : BIBLIOGRAPHIE
Les rfrences soulignes sont les plus pertinentes et les plus accessibles pour approfondir la mthodologie de l'valuation. Toutes ces rfrences sont consultables dans les centres de documentation de l'Espace rgional de Sant Publique. 1. ANDEM- Service Formation. Evaluation d'une action de sant publique : recommandations. Paris : Agence Nationale pour le Dveloppement de l'Evaluation Mdicale (ANDEM), 1995, 48 p. 2. BANTUELLE M., MOREL J., DARGENT D. L'valuation, un outil au service du processus. Bruxelles : asbl Sant, Communaut, Participation, 2001, 53 p. 3. BATTISTA R.N., TREMBLAY J. Mthodes d'valuation. In : Dufresne J., Dumont F., Martin Y. (Eds). Trait d'anthropologie mdicale. Qubec : Presses de l'Universit du Qubec, 1985, p. 497-532. 4. BEAUDRY J. L'valuation de programme. In : Begin C. (Ed). Evaluation : un cadre conceptuel et une application au systme de sant et de services sociaux. Qubec : Universit Laval, 1986, p. 391-415. 5. BREART G., BOUYER J. L'valuation, l'exemple de la prinatologie. In : Brcker G. & Fassin D. (Eds). Sant publique. Paris : Ed. Marketing, 1989, p. 840-847. 6. BULART C., LAHAYE D., PADIEU R., RICAUX G. L'valuation en toxicomanie : questions pralables. Revue documentaire Toxibase, 1995, 2, 1-19. 7. BURY J.A. Education pour la sant. Bruxelles : De Boeck Wesmael, 1988, 224 p. 8. CFES. La sant en action. Paris : CFES, 1987, 112 p. 9. CHAMPAGNE F., CONTANDRIOPOULOS A.P., PINEAULT R. Un cadre conceptuel pour l'valuation des programmes de sant. Rev. Epidem. et Sant Publ., 1985, 33, 173-181.

97

10. CNAF (Caisse Nationale des Allocations Familiales). L'action sociale est-elle efficace ? Informations sociales, 1997, 57, 130 p. 11. CONTANDRIOPOULOS A.P., CHAMPAGNE F., DENIS J.L., PINEAULT R. L'valuation dans le domaine de la sant : concepts et mthodes. In : Lebrun T., Sailly J.C., Amouretti M. (Eds). L'valuation en matire de sant. Des concepts la pratique. Journe d'tude avril 1991. Lille : CRESGE, 1992, 480 p. 12. CONTANDRIOPOULOS A.P., CHAMPAGNE F., DENIS J.L., AVARGUES M.C. L'valuation dans le domaine de la sant : concepts et mthodes. Rev. Epidem. et Sant Publ., 2000, 48, 517-539. 13. COPPE M., SCHOONBROODT C. Guide pratique d'ducation pour la sant. Rflexion, exprimentation, et 50 fiches l'usage des formateurs. Bruxelles : De Boeck Wesmael, 1992, 296 p. 14. CRDSU. L'valuation de la politique de la Ville. Les Cahiers du CRDSU (Centre de Recherche sur le Dveloppement Social Urbain), 1995, n8, 44 p. 15. DECCACHE A. Pour mieux choisir son valuation Dfinition et rles des valuations en ducation pour la sant. Lige : APES (Association pour la Promotion de l'Education pour la Sant), 1989, 9 p. 16. DEMARTEAU M. Les pratiques d'action en ducation pour la sant et leurs modes d'valuation : rflexions critiques et questions pour la recherche sur l'valuation. Communication au colloque "L'valuation en ducation pour la sant : entre pidmiologie et sciences humaines". Bordeaux, 15-17 septembre 1998, 14 p. 17. DEROSIERS H. & coll. Cadre de pratique pour l'valuation des programmes. Application en promotion de la sant et en toxicomanie. Montral : Gouvernement du Qubec, 1998, 130 p. + fiches techniques. 18. DIREPS Grand Sud-Ouest. Commission mthodologique Etudes Recherches Evaluation. Outil daide lvaluation des programmes dducation et de promotion de la sant. Albi : DIREPS Grand Sud-Ouest Dlgation Inter-Rgionale pour lEducation et la Promotion de la Sant du Grand Sud-Ouest, Avril 1997, 99 p.

98

19. FONDATION DE FRANCE. Charte de l'valuation dans le cadre d'un travail de dveloppement. Paris : Fondation de France, 1995, 12 p. 20. FONTAINE D. Evaluer les actions de sant dans le tiers-monde. L'enfant en milieu tropical. 1992, n198, 65 p. 21. GAUDREAU L., LACELLE N. Manuel d'valuation participative et ngocie. Montral : Universit du Qubec - Service aux collectivits, 1999, 4 cahiers, 29+42+14+38 p. 22. GERBAUD L. L'valuation des actions de sant publique. In : Pomey M.P., Poullier J.P., Lejeune B. (Eds). Sant publique. Paris : Ellipses, 2000, p. 201-208. 23. GRAWITZ M. Mthodes des sciences sociales. Paris : Dalloz, 2001, 1019 p. 24. GREMY F., GOLDBERG M. Les sciences de l'information dans le domaine de la sant. Paris : Facult de mdecine, 1981, 325 p. 25. HARVOIS Y. Le contrle, cet obscur objet du dsir. Pour, 1986, n107 (L'valuation au pouvoir), 116-119. 26. INSERM (expertise collective). Education pour la sant des jeunes. Dmarches et mthodes. Paris, Editions Inserm, 2001, 247 p. 27. INUDEL RHONE-ALPES. Evaluation dans le dveloppement social urbain. Lyon : Association rgionale pour l'innovation urbaine et le dveloppement local (Inudel), rencontre interrgionale, Fvrier 1991, 146 p. 28. KRGER C., WINTER H., SHAW R. Guide dvaluation des actions de prvention des toxicomanies lintention des planificateurs et des valuateurs de programme. Mnich : OEDT (Office europen des drogues et toxicomanies), 1998, 77 p. 29. MANDERSCHEID J.C. Les valuations en ducation pour la sant. Thse Universit Montpellier 1, 1992, 344 p. 30. MIDY F., VANIER C., GRANT M. Guide d'valuation participative et de ngociation. Montral : Universit du Qubec - Service aux collectivits, 1998, 4 fascicules : 18+32+26+26 p.

99

31. MINISTERE DE LA COOPERATION. Guide des principes dvaluation au Ministre de la Coopration, Pour valuer plus et mieux. Paris : Ministre de la Coopration, 1997, 85p. 32. MONTOYA-AGUILAR C. Evaluation de l'efficacit des actions de sant publique. Rev. Epidm. et Sant Publ., 1981, 29, 233-244. 33. NOCK F. Petit guide de l'valuation en promotion de la sant. Paris : Mutualit franaise, 2000, 89 p. 34. ORGANISATION MONDIALE DE LA SANTE. L'valuation des programmes de sant. Principes directeurs. Genve : O.M.S., 1981, 49 p. 35. PINEAULT R., DAVELUY C. La planification de la sant. Concepts, mthodes, stratgies. Montral : Editions nouvelles, 1995, 480 p. 36. TARDY L. Action de prvention du sida "Gnrer des dynamiques locales" 1995-1997. Evaluation des facteurs de prennit. Paris : Aides Editions FNMF, 1997, 181 p. 37. WOMENS RESEARCH CENTRE. Maintenir le CAP. Guide dvaluation pour les groupes communautaires. Vancouver : Womens Research Centre, 1990, 84 p. Traduction franaise : Montral : Relais femmes (1265 rue Berri, #810, Montral, Qubec, H2L4X4)

100

Avec le soutien financier de :

101